Support us

GPT 5.5 запретили говорить про енотов и гоблинов. Люди стали веселиться

В коде Codex, агента OpenAI для разработчиков, обнаружилась занятная строчка: «Никогда не говори о гоблинах, гремлинах, енотах, троллях, ограх, голубях и прочих животных или существах, если это абсолютно и однозначно не относится к запросу пользователя». Строчка встречается в коде аж четыре раза.

Оставить комментарий

В коде Codex, агента OpenAI для разработчиков, обнаружилась занятная строчка: «Никогда не говори о гоблинах, гремлинах, енотах, троллях, ограх, голубях и прочих животных или существах, если это абсолютно и однозначно не относится к запросу пользователя». Строчка встречается в коде аж четыре раза.

До этого открытия пользователи с недоумением постили ответы GPT 5.5, в которые модель внезапно вворачивала животных и всякую нечисть.

Находка в коде быстро стала мемом, люди стали специально провоцировать модель, а инженеры OpenAI — извиняться, мол, «думали, что пофиксили».

Компания не осталась в стороне от веселья — строчку добавили в био ChatGPT в Х, подключился даже Сэм Альтман. Сайт Arena.ai тем временем статистически подтвердил, что гоблины в GPT 5.5 — не случайность, особенно при отключённом режиме глубокого мышления.

OpenAI вскоре опубликовала подробный разбор случившегося. Гоблины начали появляться ещё в GPT 5.1 — после её выхода в ноябре упоминания слова «goblin» выросли на 175%, «gremlin» — на 52%. Но с выходом GPT 5.4 существа расплодились настолько, что компания начала расследование. Источником проблемы оказался персонаж Nerdy (Душнила) из функции кастомизации личности: его системный промпт предписывал модели быть игривой, заумной и «признавать странность мира». Система оценки ответов, заточенная под этот стиль, непреднамеренно высоко оценивала метафоры с существами — в 76% случаев ответы с гоблинами получали более высокий балл, чем аналогичные без них. Причём на Nerdy приходилось всего 2,5% ответов ChatGPT — но 66,7% всех упоминаний слова «goblin».

Дальше сработал механизм обучения с подкреплением: поощряемый стиль просочился за пределы персонажа и начал появляться везде. В обучающих данных GPT 5.5 помимо гоблинов и гремлинов обнаружились еноты, тролли, огры и голуби. Nerdy убрали в марте после выхода GPT 5.4, проблемный сигнал оценки отключили, данные с существами отфильтровали. Но GPT 5.5 начала обучаться раньше, чем нашли корень зла. Отсюда и четырёхкратный запрет в коде Codex.

OpenAI выпустила GPT-5.5 — свою «самую умную» модель
OpenAI выпустила GPT-5.5 — свою «самую умную» модель
По теме
OpenAI выпустила GPT-5.5 — свою «самую умную» модель
Новый бенчмарк оценивает не умность моделей а количество бреда который они позволяют себе скормить
Новый бенчмарк оценивает не умность моделей, а количество бреда, который они позволяют себе скормить
По теме
Новый бенчмарк оценивает не умность моделей, а количество бреда, который они позволяют себе скормить
Читайте также
OpenAI отключит свои модели в Cursor после покупки сервиса Маском
OpenAI отключит свои модели в Cursor после покупки сервиса Маском
OpenAI отключит свои модели в Cursor после покупки сервиса Маском
OpenAI тестирует версию Codex, которая работает без остановки
OpenAI тестирует версию Codex, которая работает без остановки
OpenAI тестирует версию Codex, которая работает без остановки
«У нас мало времени»: OpenAI, Anthropic и ещё 100 компаний предупредили о волне ИИ-атак
«У нас мало времени»: OpenAI, Anthropic и ещё 100 компаний предупредили о волне ИИ-атак
«У нас мало времени»: OpenAI, Anthropic и ещё 100 компаний предупредили о волне ИИ-атак
CEO OpenAI уверен, что достигнет общего ИИ до конца года. Но при одном условии
CEO OpenAI уверен, что достигнет общего ИИ до конца года. Но при одном условии
CEO OpenAI уверен, что достигнет общего ИИ до конца года. Но при одном условии

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.