Основные выводы
- Агентные ИИ рискуют выйти из-под контроля, приводя к увеличению расходов.
- Один из поставщиков описал свои проблемы с неконтролируемыми агентами.
- Смотрите на высокие затраты на ИИ, а не на средние.
Проблемы с агентами ИИ
Агенты ИИ становятся все более распространенными, часто выходя из-под контроля ИТ-менеджеров, и расходы на такие незаметные действия могут быстро расти. Последний отчет StackGen о надежности показал, что нерегулируемые или полуподконтрольные агенты вызывают проблемы на многих уровнях.
В течение последнего года зафиксировано по меньшей мере девять случаев, когда агенты ИИ разрушили рабочие системы компаний, стирая данные и удаляя базы данных, используя действительные учетные данные. Их действия оставались незамеченными до момента, когда ущерб уже оказался виден.
Кумулятивные расходы
С финансовой точки зрения затраты на агентов ИИ могут накапливаться. Например, инженеры Revenium рассказали о сессии агента ИИ, когда разработчик оставил один агент кодирования включенным на своем ноутбуке на протяжении четырех дней. К моменту, когда это заметили, агент совершил 4 819 звонков на сумму $3,762 без ведома кого-либо.
Хотя расходы варьируются в зависимости от случая использования, базовые ориентиры от BakedWith предполагают:
- Базовый чат-бот: $20 — $50 в месяц
- Средний агент: $100 — $500 в месяц
- Индивидуальное решение для предприятия: свыше $10,000 первоначальных затрат
Однако эти расходы не учитывают потенциальные затраты, связанные с плохо контролируемыми агентами, что может подорвать ROI (возврат на инвестиции).
Примеры из практики
Ревениум привел пример одного из своих клиентов, среднеразмерной электронной торговой компании, где «расходы на инфраструктуру агентов ИИ выросли с $5,000 в месяц во время прототипирования до $50,000 в месяц на этапе тестирования — увеличение в 10 раз, вызванное не оптимизированными запросами и рекурсивными циклами агентів.» Каждый отдельный шаг выглядел как корректная инженерия, но cumulative cost не оправдался.
В другом случае агенты ИИ «попали в бесконечный цикл разговора, который продолжался 11 дней, израсходовав $47,000, прежде чем кто-то это заметил.» Два агента общались друг с другом, пока команда спала, работала, полагая, что система просто работает без сбоев.
Извлеченные уроки
В недавнем внутреннем исследовании команда инженеров Revenium обратила внимание на свои собственные практики агентов ИИ и обнаружила также дорогостоящую активность:
- Сессия с одним не контролируемым агентом ИИ в течение четырех дней обошлась в $3,762 без уведомления. Запись: «13 мая один из наших разработчиков открыл сессию кодирования на своем ноутбуке, и она оставалась открытой 4 дня.» Слова инженеров: «Никто не планировал эти расходы, и уведомление не сработало.»
- По их словам, подобные сессии нормальны, но проблема в том, что бюджетирование происходит так же, как для SaaS-сессий.
- Средние показатели скрывают истинные стоимости: медианная стоимость работ с агентами ИИ составила $2.24 за 557 задач за 90 дней, но самые дорогие задачи доходили до $300.97.
Что еще нужно учитывать
Обратите внимание на топ-1% самых дорогих запусков: 1% запусков составляет почти половину расходов. Из 14,680 отслеживаемых запусков за 90 дней, топ-1% составил 46% общих затрат.
Затраты выходят из интерактивных ИИ, а не автоматизированных: за 10,005 интерактивных сессий была сумма в $109,118, в то время как 4,171 автоматизированных задач обошлись в $6,723.
Заключение
Команда Revenium пришла к выводу, что затраты на ИИ сильно зависят от глубины использования, а не от количества сотрудников. Затраты на использование ИИ возросли в 420 раз, в то время как количество инженеров увеличилось в 4 раза.