Clarifai представляет новую платформу оркестрации вычислений
Поставщик платформы искусственного интеллекта Clarifai анонсировал новую функцию оркестрации вычислений, которая поможет предприятиям оптимизировать свои рабочие нагрузки ИИ в любом вычислительном окружении, снизить затраты и избежать зависимости от поставщиков.
Это объявление было сделано 3 декабря 2024 года. Публичный предварительный релиз позволяет организациям управлять рабочими нагрузками ИИ через единый управляющий интерфейс, независимо от того, выполняются ли эти задачи в облаке, на месте или в закрытой инфраструктуре. Платформа может работать с любой моделью ИИ и аппаратным ускорителем, включая GPU, CPU и TPU.
Цитата основателя
«Clarifai всегда была на шаг впереди, имея более десяти лет опыта в поддержке крупных предприятий и критически важных правительственных нужд с полным набором инструментов ИИ для создания индивидуальных рабочий нагрузок ИИ», — сказал Матт Зайлер, основатель и генеральный директор Clarifai. «Теперь мы открываем возможности, которые мы разработали внутри компании, чтобы оптимизировать наши вычислительные затраты по мере масштабирования для обслуживания миллионов моделей одновременно.»
Преимущества новой платформы
Компания утверждает, что её платформа может снизить использование вычислений в 3.7 раз благодаря оптимизации упаковки моделей, поддерживая более 1.6 миллиона запросов на вывод в секунду с надежностью 99.9997%. По данным Clarifai, эти оптимизации могут потенциально сократить затраты на 60-90%, в зависимости от конфигурации.
- Оптимизация затрат через автоматизированное управление ресурсами, включая упаковку моделей, упрощение зависимостей и настраиваемые параметры автоматического масштабирования, которые могут масштабироваться до нуля для реплик моделей и вычислительных узлов.
- Гибкость развертывания на любом аппаратном оборудовании, включая облачные сервисы, локальные установки, закрытые сети и инфраструктуру SaaS от Clarifai.
- Интеграция с платформой Clarifai для аннотирования данных, обучения, оценки, рабочих процессов и обратной связи.
- Функции безопасности, позволяющие развертывание в виртуальных частных облаках клиентов или на локальных кластерах Kubernetes без необходимости открывать входящие порты, установления соединений VPC или создания кастомных ролей IAM.
Проблемы клиентов и решение
Платформа возникла из-за проблем клиентов Clarifai с производительностью ИИ и затратами. «Если бы у нас был способ рассмотреть это целиком и сравнить наши локальные затраты с затратами в облаке, а затем иметь возможность организовать работу по окружениям с учетом стоимости, это было бы невероятно ценным», — отметил один из клиентов, как указано в объявлении Clarifai.
Текущие достижения и доступность
Возможности оркестрации вычислений строятся на существующей платформе ИИ Clarifai, которая, по данным компании, обработала более 2 миллиардов операций в области компьютерного зрения, языка и аудио ИИ. Компания также сообщает о стабильности работы в 99.99% и круглосуточной доступности для критически важных приложений.
Возможность оркестрации вычислений в настоящее время доступна в публичном предварительном релизе. Организации, заинтересованные в тестировании платформы, могут связаться с Clarifai для получения доступа.