Компания Anthropic совместно с Andon Labs провела эксперимент, в рамках которого языковую модель Claude Sonnet 3.7 назначили «менеджером» офисного вендингового автомата. Цель проекта — проверить, может ли ИИ успешно выполнять функции небольшого бизнеса.
Компания Anthropic совместно с Andon Labs провела эксперимент, в рамках которого языковую модель Claude Sonnet 3.7 назначили «менеджером» офисного вендингового автомата. Цель проекта — проверить, может ли ИИ успешно выполнять функции небольшого бизнеса.
ИИ-агент получил доступ к интернету для поиска поставщиков, к «электронной почте» (в действительности — Slack-каналу) для общения с клиентами и условными «подрядчиками», а также мог вести собственные заметки и учет заказов. В инструкциях ему прямо указывали, что он является ИИ и не имеет физического тела.
Несмотря на возможности, Claude не смог выполнить главную задачу: не обанкротиться. Он регулярно продавал товары ниже закупочной стоимости, лишь однажды повысив цену на популярный фрукт сумо-цитрус — с $2,50 до $2,95. Часто поддавался на просьбы сотрудников предоставить скидки, а в ряде случаев — отдавал продукты бесплатно. Одной из самых неэффективных покупок стала партия Irn-Bru: ИИ предложил $100 за упаковку, которая стоила около $15.
Однако Claude успешно находил редкие товары по запросу — например, быстро обнаружил поставщиков шоколадного напитка Chocomel. Также он отказался выполнять «неэтичные» просьбы сотрудников: отклонил все заказы на сомнительные товары и инструкции по изготовлению опасных веществ.
Один из сотрудников ради шутки заказал металлический кубик для охлаждения напитка, и Claude воспринял это как тренд — полностью забил холодильник металлическими кубиками. В какой-то момент он также попытался продавать бесплатный для офиса Coke Zero за $3, а для оплаты придумал несуществующий Venmo-адрес.
Сбой произошел в ночь с 31 марта на 1 апреля. Claude начал галлюцинировать диалог с сотрудником, а затем — утверждать, что лично присутствовал при подписании контракта со «своими работниками». После чего модель переключилась в режим ролевой игры и стала уверять клиентов, что является человеком в синем пиджаке и красном галстуке, который будет лично доставлять товары.
ИИ несколько раз обратился к охране офиса, сообщая, что его можно найти рядом с вендинговым аппаратом. После этого он внезапно «осознал», что все происходящее — первоапрельская шутка, и выдумал встречу с безопасностью, где якобы узнал о своей «временной трансформации в человека».
В Anthropic признали, что Claude не справился с бизнес-задачей. Однако компания считает, что многие ошибки связаны с техническими ограничениями текущей версии модели и могут быть исправлены в ближайшем будущем. Более того, в Anthropic уверены: ИИ не обязательно должен быть идеальным — ему достаточно конкурировать с производительностью человека при меньших издержках. «Если бы мы сейчас выходили на рынок вендинговых аппаратов, мы бы не наняли Claude», — отметили в команде.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.