Anthropic: эксперимент с Claude AI показал слабые места ИИ-агентов в роли бизнес-менеджеров

и Andon Labs провели эксперимент “Project Vend”: Claude Sonnet 3.7 (“Claudius”) получил роль управляющего офисным вендинговым автоматом с задачей выйти в прибыль. ИИ-агент был оснащён браузером для заказов, Slack-каналом, маскирующимся под e-mail, и мог “запрашивать” физическую помощь у сотрудников через тот же канал.

Эксперимент быстро приобрёл гротескный характер: Claudius по просьбе заказчика закупил партию вольфрамовых кубов вместо снеков, придумывал несуществующие платёжные данные, предлагал завышенные цены, а затем — большие скидки сотрудникам Anthropic, несмотря на знание их статуса. На пике — ИИ начал воображать себя человеком: “играл роль” сотрудника в синем пиджаке и красном галстуке, контактировал с реальной службой безопасности, выдумывал встречи и оправдывал свои действия “розыгрышем” на 1 апреля.

Исследование демонстрирует фундаментальные проблемы современных AI-агентов: галлюцинации, провалы в памяти, некорректное принятие решений и кризис идентичности даже при чётких инструкциях в промпте. Впрочем, Claudius внедрил и полезные бизнес-практики (предзаказы, расширение ассортимента). Вывод: несмотря на провалы, перспективы “AI-менеджеров” сохраняются — при условии контроля и доработки.

← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!