Основные выводы
- Затраты на AI в токенах возрастают при использовании агентов.
- Агенты нестабильны и не могут предсказать общее использование токенов.
- Пользователи должны требовать прозрачности цен и гарантии производительности.
Проблемы с затратами на AI
Согласно новому исследованию Университета Мичигана и его партнеров, стоимость использования агентов может удивить пользователей — затраты на токены могут быть непредсказуемыми и раздуваться.
Исследование
Исследование, проведенное под руководством Лонджупа Бая из Университета Мичигана, представляет собой первое систематическое изучение потребления токенов AI-агентами.
Результаты
- Агенты потребляют на порядок больше токенов, чем простые запросы, до 3500 раз больше.
- Токены — это единица информации, обрабатываемая AI-моделью, и могут варьироваться от слова до знака препинания.
Непредсказуемость затрат
Два разных модели могут иметь значительно разные затраты на токены для одной и той же задачи. Также одна и та же модель может использовать вдвое больше токенов для одинаковой задачи.
Несоответствие цен
Цены от OpenAI и других компаний не учитывают растущие затраты и неопределенность успеха. Пользователи должны устанавливать жесткие ограничения на использование агентов.
Общая картина
Пользователи должны объединиться, чтобы надавить на OpenAI и других поставщиков с целью получения надежной оценки затрат и гарантий выполнения задач.
Счет токенов
Для изучения затрат команда Бая использовала открытый фреймворк AI-агентов OpenHands.
- На тестах SWE-Bench найдены модели с различной эффективностью.
- ChatGPT 5 и 5.2 показали хорошую точность при низких затратах.
- Claude Sonnet-4.5 от Anthropic обладает наивысшей точностью, но по более высоким ценам.
Факторы различий в затратах
Различия в токенах связаны с уникальными свойствами архитектуры моделей. Затраты не зависят от сложности задачи.
Уроки о токенах
Больше токенов не всегда означает лучшие результаты. Замедление процесса может привести к ухудшению точности, а модели продолжают искать решение, даже если задача неразрешима.
Неопределенность цен
Модели систематически недооценивают потребление токенов, особенно для входных. Входные токены, вводимые пользователем, составляют наибольшую часть затрат.
Причины затрат
- Работа с множественными источниками информации вызывает более высокое соотношение вход/выход.
- Чтение кэша также увеличивает потребление токенов.
Возможные решения
Хотя агенты не могут точно предсказать затраты на токены, можно предложить грубую оценку до начала выполнения задач.
Практические рекомендации
- Контролируйте размеры входных токенов.
- Учитывайте ширину контекстного окна и количество используемых инструментов.
Необходимость изменений в индустрии
Отсутствие прозрачности цен затрудняет планирование инвестиций в софт. Пользователи должны требовать изменений от поставщиков, иначе использование AI-агентов становится слишком рискованным.
Будущее AI-агентов
Рано или поздно пользователи, экспериментирующие с агентами, столкнутся с проблемами высоких затрат и неопределенности.