"Галлюцинации" ИИ, когда модели уверенно выдают ложную информацию, становятся все более опасной проблемой по мере того, как им доверяют принятие критически важных решений. Стартап Themis AI, созданный на базе Массачусетского технологического института (MIT), разработал платформу Capsa, которая учит системы искусственного интеллекта распознавать моменты неуверенности и признавать, когда они не знают ответа. Платформа Capsa действует как "проверка реальности" для ИИ, помогая моделям выявлять паттерны в обработке информации, которые могут указывать на замешательство, предвзятость или работу с неполными данными. Технология уже помогла телекоммуникационным компаниям избежать дорогостоящих ошибок, а нефтегазовым фирмам — анализировать сложные сейсмические данные. Themis AI стремится добавить системам ИИ недостающий уровень самосознания, что особенно важно в таких критических областях, как медицина и автономное вождение. В основе подхода Themis AI лежит идея о том, что для по-настоящему надежного ИИ способность понимать свои ограничения так же важна, как и способность давать правильные ответы. Вместо того чтобы пытаться создать всезнающую модель, компания фокусируется на построении систем, которые могут безопасно работать в реальном мире, обращаясь за помощью к человеку, когда сталкиваются с неопределенностью. Это знаменует собой важный сдвиг от погони за максимальной производительностью к созданию более ответственного и заслуживающего доверия искусственного интеллекта.