OpenAI опубликовала исследование о «галлюцинациях» у больших языковых моделей, на которых строятся чат-боты, когда они выдают придуманную информацию за действительную. Проблемы с фактами есть даже у популярных сервисов, включая GPT-5 и Claude.
OpenAI опубликовала исследование о «галлюцинациях» у больших языковых моделей, на которых строятся чат-боты, когда они выдают придуманную информацию за действительную. Проблемы с фактами есть даже у популярных сервисов, включая GPT-5 и Claude.
Главная причина, по OpenAI, в том, как обучают модели и как устроены бенчмарки. Моделям выгоднее сделать неверную догадку, чем признать, что они не знают ответ. Так они с большей вероятностью получат вознаграждение, к которому стремятся.
Одни модели играют в угадайку лучше, чем другие. Ранее OpenAI отмечала, что модели Claude, например, в случае неуверенности чаще стараются не давать неточные ответы, хотя это и ограничивает полезность сервиса.
«Галлюцинации распространены из-за того, как устроены методы оценки языковых моделей: их натаскивают хорошо сдавать тесты. А угадывание в ситуации неопределённости только улучшает результат», — отмечают исследователи.
По сути, модели всегда в режиме экзамена. И если люди в реальной жизни учатся понимать, что иногда лучше признать неуверенность, то моделей за неуверенность наказывают — для них всё чёрно-белое, правильное или неправильное.
Решить проблему исследователи предлагают корректировкой и унификацией тестов и метрик для оценки моделей. Нужно убрать наказание за воздержание от ответа при неуверенности и практики, которые поощряют гадания.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.