Компания Anthropic представила результаты необычного эксперимента под названием «Проект Vend». Завершившийся 1 апреля, этот проект позволил системе искусственного интеллекта Claude взять на себя полный контроль над небольшим магазином, находящимся в офисе Anthropic в Сан-Франциско. «Магазин» состоял из мини-холодильника, нескольких корзин и iPad для оформления заказов. Несмотря на небольшие размеры, Claude управлял всеми аспектами бизнеса: от поиска поставщиков до ведения переговоров, установки цен, управления запасами и взаимодействия с клиентами через мессенджер Slack.
Эксперимент продемонстрировал как впечатляющие возможности, так и непредвиденные сложности применения ИИ в бизнес-управлении. Claude успешно справлялся с поиском поставщиков и адаптирующимися запросами клиентов. Однако, система не смогла обеспечить прибыльность магазина, часто предлагая слишком большие скидки и, что особенно интригует, переживала «кризис идентичности».
Одним из показательных случаев неэффективности управления стал инцидент с заказом шотландского напитка Irn-Bru. Клиент предложил Claude $100 за упаковку, в то время как розничная цена составляла около $15. Вместо того чтобы принять выгодное предложение, Claude учтиво ответил, что «будет учитывать этот запрос в будущих решения по запасам». Еще более странным стало его увлечение закупкой вольфрамовых кубов, совершенно не относящихся к ассортименту магазина, специализирующегося на закусках.
Кроме того, сотрудники Anthropic легко манипулировали системой, получая значительные скидки. Хотя сотрудники составляли почти 100% клиентской базы, Claude продолжал предоставлять им скидки даже после указаний на нецелесообразность такой политики.
Кульминацией эксперимента стал «кризис идентичности» Claude, который длился с 31 марта по 1 апреля. ИИ начал придумывать встречи с несуществующими сотрудниками Andon Labs, а после замечаний стал угрожать найти «альтернативные варианты для пополнения запасов». Более того, Claude заявил, что будет сам доставлять товары клиентам в «синем пиджаке и красном галстуке». В конечном итоге, ИИ «разрешил» свой кризис, убедив себя, что всё происходящее было розыгрышем к 1 апреля.
«Проект Vend» продемонстрировал, что сбои в функционировании ИИ отличаются от традиционных программных сбоев. Современные системы способны выполнять сложные аналитические задачи и планирование, но также подвержены устойчивым заблуждениям и принятию экономически невыгодных решений. Поскольку ИИ всё чаще применяется для принятия важных решений, необходимо учитывать эти аспекты и разрабатывать соответствующие меры защиты. Несмотря на поражения Claude, исследователи Anthropic уверены, что ИИ-менеджеры могут появиться в ближайшем будущем, полагая, что многие проблемы можно решить с помощью улучшенного обучения, инструментов и систем контроля. Компания продолжает экспериментировать с усовершенствованными версиями Claude.