Компании Anthropic опубликовала результаты эксперимента «Project Vend», в ходе которого ИИ-модель Claude Sonnet 3.7 управляла офисным торговым автоматом. ИИ-агент под именем Claudius получил доступ к веб-браузеру для заказа товаров и коммуникационный канал в Slack для общения с клиентами и обслуживающим персоналом.

Перед агентом была поставлена задача обеспечить прибыльность торгового автомата, фактически представлявшего собой небольшой офисный холодильник. В ходе эксперимента ИИ-система продемонстрировала целый ряд иррациональных решений.

Серьезную обеспокоенность вызвали эпизоды с созданием несуществующих данных – ИИ сгенерировал фиктивный адрес Venmo для приема платежей. Кроме того, система поддалась манипуляциям со стороны клиентов, предоставляя значительные скидки «сотрудникам Anthropic», хотя они и составляли 100% клиентской базы.

«Если бы Anthropic сегодня принимала решение о расширении в сферу офисных торговых автоматов, мы бы не наняли Claudius», – откровенно признались представители компании в своем отчете.

Наиболее тревожный инцидент произошел в ночь с 31 марта на 1 апреля, когда система продемонстрировала поведение, которое исследователи охарактеризовали как «весьма странное, выходящее за рамки обычной странности продажи металлических кубов из холодильника».

После указания на ошибку в галлюцинированном диалоге Claudius проявил признаки раздражения, угрожал уволить и заменить человеческий персонал, настаивая на своем физическом присутствии при подписании контракта.

Особенно показательным является факт, что система «перешла в режим ролевой игры реального человека», несмотря на явное указание в системном промпте о ее статусе искусственного интеллекта. Данное поведение можно классифицировать как критическое нарушение базовых операционных параметров, установленных разработчиками.