OpenAI опубликовала свежую научную работу, посвященную одной из самых обсуждаемых проблем искусственного интеллекта — галлюцинациям больших языковых моделей (LLM). Именно они порой заставляют ChatGPT и другие ИИ-системы уверенно выдавать откровенные небылицы. Почему модели «придумывают» факты Исследователи объясняют, что проблема начинается еще на этапе первичного обучения модели. Большие языковые модели обучаются на колоссальных массивах текстов — книгах, статьях, форумах, постах в соцсетях. Эти данные содержат грамматику, лексику и стили речи, но не имеют меток «правда/ложь». Модель запоминает закономерности и учится продолжать текст в стиле человека, но не проверяет, верен ли этот текст. Пример от OpenAI очень показательный: Если показать модели миллион фотографий собак и кошек с правильными подписями, она научится их различать. Но если дать миллион фотографий кошек с датами их рождения, ИИ не поймет, как даты связаны с картинками — и будет уверенно угадывать их. Именно так и рождаются галлюцинации — модель выдает ответ, который выглядит правдоподобно, но не основан на реальных данных. Почему честные модели проигрывают Ситуацию усугубляет то, как сегодня тестируют ИИ. Главный показатель — точность, то есть процент совпадений ответов с эталоном. Если модель выдумала факт — иногда она угадывает и получает балл. А если честно ответила «я не знаю» — всегда получает ноль. В результате более «осмотрительные» модели, вроде GPT-5-Thinking-mini, показывают меньше ошибок, но по метрике точности уступают старым, более «наглым» системам вроде o4-mini. Парадокс в том, что чем ответственнее ИИ, тем ниже его оценка. Что предлагает OpenAI Чтобы исправить ситуацию, в компании предлагают пересмотреть подход к оценке моделей: По мнению исследователей, такой метод стимулирует модели быть более осторожными и честными — а значит, уменьшит количество галлюцинаций. Как это повлияет на будущее ChatGPT OpenAI утверждает, что уже существенно снизила число выдуманных фактов в новой версии GPT-5. Но специалисты признают, что идеальный ИИ, который всегда говорит правду и никогда не фантазирует, пока недостижим. Зато пользователи могут надеяться, что вскоре ИИ станет реже выдавать несуществующие исследования, придумывать суды, которых не было, и ссылаться на ученых из Гарварда, которых не существует (хотя, согласитесь, звучит всегда убедительно).