Подпишитесь на наши ежедневные и еженедельные информационные бюллетени, чтобы получать последние обновления и эксклюзивный контент о ведущих в отрасли технологиях искусственного интеллекта. Узнать больше
Anthropic, ведущая компания в области искусственного интеллекта, во вторник запустила свой новый API пакетных сообщений, позволяющий предприятиям обрабатывать большие объемы данных за половину стоимости стандартных вызовов API.
Это новое предложение обрабатывает до 10 000 запросов асинхронно в течение 24 часов, что знаменует собой значительный шаг на пути к тому, чтобы сделать передовые модели искусственного интеллекта более доступными и экономически эффективными для предприятий, работающих с большими данными.
Экономия на масштабе ИИ: пакетная обработка снижает затраты
Пакетный API предлагает 50% скидку как на входные, так и на выходные токены по сравнению с обработкой в реальном времени, что позволяет Anthropic более агрессивно конкурировать с другими поставщиками ИИ, такими как OpenAI, которая представила аналогичную функцию пакетной обработки ранее в этом году.
Этот шаг представляет собой значительный сдвиг в ценовой стратегии отрасли искусственного интеллекта. Предлагая массовую обработку со скидкой, Anthropic эффективно создает экономику масштаба для вычислений ИИ.
Это может привести к резкому росту внедрения ИИ среди предприятий среднего бизнеса, которым ранее не хватало крупномасштабных приложений ИИ.
Последствия этой модели ценообразования выходят за рамки простой экономии затрат. Это может фундаментально изменить подход предприятий к анализу данных, что потенциально приведет к более комплексному и частому крупномасштабному анализу, который ранее считался слишком дорогим или ресурсоемким.
| Модель | Входная стоимость (за 1 миллион токенов) | Выходная стоимость (за 1 миллион токенов) | Контекстное окно |
| ГПТ-4о | 1,25 доллара США | 5,00 долларов США | 128 тыс. |
| Клод 3.5 Сонет | 1,50 доллара США | 7,50 долларов США | 200 тыс. |
От реального времени к нужному времени: переосмысление потребностей обработки ИИ
Anthropic сделала Batch API доступным для своих моделей Claude 3.5 Sonnet, Claude 3 Opus и Claude 3 Haiku через API компании. Поддержка Claude в Vertex AI от Google Cloud ожидается в ближайшее время, а клиенты, использующие Claude через Amazon Bedrock, уже могут получить доступ к возможностям пакетного вывода.
Внедрение возможностей пакетной обработки свидетельствует о более глубоком понимании потребностей предприятий в области искусственного интеллекта. Хотя обработка в реальном времени была в центре внимания многих разработок ИИ, многие бизнес-приложения не требуют мгновенных результатов. Предлагая более медленный, но более экономичный вариант, Anthropic признает, что во многих случаях обработка «в нужное время» важнее, чем обработка в реальном времени.
Этот сдвиг может привести к более тонкому подходу к внедрению ИИ в бизнесе. Вместо того чтобы по умолчанию выбирать самый быстрый (и зачастую самый дорогой) вариант, компании могут начать стратегически балансировать свои рабочие нагрузки ИИ между обработкой в реальном времени и пакетной обработкой, оптимизируя как стоимость, так и скорость.
Палка о двух концах пакетной обработки
Несмотря на очевидные преимущества, переход к пакетной обработке поднимает важные вопросы о будущем направлении развития ИИ. Хотя это делает существующие модели более доступными, существует риск того, что это может отвлечь ресурсы и внимание от развития возможностей искусственного интеллекта в реальном времени.
Компромисс между стоимостью и скоростью не нов в технологии, но в области искусственного интеллекта он приобретает дополнительное значение. По мере того, как предприятия привыкают к более низким затратам на пакетную обработку, рыночное давление может уменьшиться, чтобы повысить эффективность и снизить стоимость обработки ИИ в реальном времени.
Более того, асинхронный характер пакетной обработки потенциально может ограничить инновации в приложениях, которые полагаются на немедленные реакции ИИ, таких как принятие решений в реальном времени или интерактивные ИИ-помощники.
Нахождение правильного баланса между развитием возможностей пакетной обработки и обработки в реальном времени будет иметь решающее значение для здорового развития экосистемы ИИ.
Поскольку индустрия искусственного интеллекта продолжает развиваться, новый Batch API от Anthropic представляет собой одновременно возможность и вызов. Это открывает предприятиям новые возможности для масштабного использования ИИ, потенциально расширяя доступ к расширенным возможностям ИИ.
В то же время это подчеркивает необходимость продуманного подхода к разработке ИИ, который учитывает не только немедленную экономию средств, но и долгосрочные инновации и разнообразные варианты использования.
Успех этого нового предложения, вероятно, будет зависеть от того, насколько хорошо компании смогут интегрировать пакетную обработку в свои существующие рабочие процессы и насколько эффективно они смогут сбалансировать компромисс между стоимостью, скоростью и вычислительной мощностью в своих стратегиях искусственного интеллекта.