Подпишитесь на наши ежедневные и еженедельные информационные бюллетени, чтобы получать последние обновления и эксклюзивный контент о ведущих в отрасли технологиях искусственного интеллекта. Узнать больше
SambaNova Systems и Gradio представили новую интеграцию, которая позволяет разработчикам получить доступ к одной из самых быстрых платформ вывода ИИ с помощью всего лишь нескольких строк кода. Это партнерство направлено на то, чтобы сделать высокопроизводительные модели искусственного интеллекта более доступными и ускорить внедрение искусственного интеллекта среди разработчиков и предприятий.
«Эта интеграция позволяет разработчикам легко копировать код с игровой площадки SambaNova и запускать веб-приложение Gradio за считанные минуты с помощью всего лишь нескольких строк кода», — сказал Ахсен Халик, руководитель отдела развития машинного обучения в Gradio, в интервью VentureBeat. «Благодаря SambaNova Cloud для сверхбыстрого вывода это означает удобство работы как для разработчиков, так и для конечных пользователей».
Интеграция SambaNova-Gradio позволяет пользователям создавать веб-приложения на базе высокоскоростных моделей искусственного интеллекта SambaNova с использованием Gradio. gr.load() функция. Теперь разработчики могут быстро создавать интерфейс чата, связанный с моделями SambaNova, что упрощает работу с передовыми системами искусственного интеллекта.
За пределами графических процессоров: развитие архитектуры потоков данных в обработке ИИ
SambaNova, стартап из Кремниевой долины, поддерживаемый SoftBank и BlackRock, произвел фурор в сфере аппаратного обеспечения искусственного интеллекта благодаря своим чипам архитектуры потока данных. Эти чипы предназначены для того, чтобы превосходить традиционные графические процессоры для рабочих нагрузок искусственного интеллекта, при этом компания утверждает, что предлагает «самую быструю в мире службу вывода искусственного интеллекта».
Платформа SambaNova может запускать модель Llama 3.1 405B от Meta со скоростью 132 токена в секунду с полной точностью — скорость, которая особенно важна для предприятий, стремящихся развернуть ИИ в больших масштабах.
Это развитие происходит по мере того, как рынок инфраструктуры искусственного интеллекта нагревается, когда такие стартапы, как SambaNova, Groq и Cerebras, бросают вызов доминированию Nvidia в производстве чипов искусственного интеллекта. Эти новые участники сосредоточены на умозаключении — этапе производства ИИ, на котором модели генерируют результаты на основе своего обучения — который, как ожидается, станет более крупным рынком, чем обучение моделей.
От кода к облаку: упрощение разработки приложений ИИ
Для разработчиков интеграция SambaNova-Gradio предлагает удобную точку входа для экспериментов с высокопроизводительным искусственным интеллектом. Пользователи могут получить доступ к бесплатному уровню SambaNova, чтобы превратить любую поддерживаемую модель в веб-приложение и разместить его самостоятельно в течение нескольких минут. Эта простота использования отражает последние отраслевые тенденции, направленные на упрощение разработки приложений искусственного интеллекта.
В настоящее время интеграция поддерживает семейство моделей Meta Llama 3.1, включая версию с массивными параметрами 405B. SambaNova утверждает, что является единственным поставщиком, использующим эту модель с полной 16-битной точностью на высоких скоростях, уровень точности, который может быть особенно привлекательным для приложений, требующих высокой точности, таких как здравоохранение или финансовые услуги.
Скрытые издержки искусственного интеллекта: скорость, масштаб и устойчивость
Хотя интеграция делает высокопроизводительный ИИ более доступным, остаются вопросы о долгосрочных последствиях продолжающейся конкуренции в области ИИ-чипов. Поскольку компании стремятся предложить более высокие скорости обработки, растут опасения по поводу использования энергии, масштабируемости и воздействия на окружающую среду.
Сосредоточение внимания на исходных показателях производительности, таких как количество токенов в секунду, хотя и важно, может затмить другие важные факторы в развертывании ИИ. По мере того, как предприятия интегрируют ИИ в свою деятельность, им необходимо будет найти баланс между скоростью и устойчивостью, принимая во внимание общую стоимость владения, включая потребление энергии и требования к охлаждению.
Кроме того, экосистема программного обеспечения, поддерживающая эти новые чипы искусственного интеллекта, существенно повлияет на их внедрение. Хотя SambaNova и другие компании предлагают мощное оборудование, экосистема CUDA Nvidia сохраняет преимущество благодаря широкому спектру оптимизированных библиотек и инструментов, которые уже хорошо известны многим разработчикам ИИ.
Поскольку рынок инфраструктуры искусственного интеллекта продолжает развиваться, сотрудничество, такое как интеграция SambaNova-Gradio, может стать все более распространенным. Эти партнерства могут способствовать инновациям и конкуренции в области, которая обещает преобразовать отрасли по всем направлениям. Однако настоящим испытанием станет то, как эти технологии будут воплощены в реальных приложениях и смогут ли они обеспечить более доступный, эффективный и мощный ИИ для всех.