Компания предложила способ борьбы с так называемыми «галлюцинациями» искусственного интеллекта, когда чат-боты полностью фабрикуют информацию. Эксперты сомневаются в успешности такого подхода.
Компания предложила способ борьбы с так называемыми «галлюцинациями» искусственного интеллекта, когда чат-боты полностью фабрикуют информацию. Эксперты сомневаются в успешности такого подхода.
«Даже самые современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменте неопределенности. Эти галлюцинации вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение», — говорится в отчете OpenAI.
Разработчики ChatGPT решили применить новую стратегию по борьбе с ложными утверждениями чат-бота: обучать модели ИИ вознаграждать себя за каждый отдельный, правильный шог рассуждений, когда они приходят к ответу, вмесо того чтобы вознаграждать только за правильный окончательный вывод.
По мнению математика OpenAI Карла Коббе, обнаружение и смягчение логических ошибок модели, или галлюцинаций, является критическим шагом на пути к созданию согласованного AGI — искусственного интеллекта общего назначения. Ученый добавил, что OpenAI открыла доступ к сопроводительному набору данных из 800 тысяч меток, которые она использовала для обучения специальной модели.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.