Группа компаний Rubytech успешно завершила тестирование российских больших языковых моделей (LLM) на китайских ускорителях. Итоги испытаний подтвердили стабильную работу отечественных нейросетей в составе программно-аппаратного комплекса «Машина искусственного интеллекта Скала^р», что открывает возможности для создания независимой от западных поставщиков ИИ-инфраструктуры.
Для тестирования инженеры использовали модификацию ПАК «Машина искусственного интеллекта Скала^р» с восемью китайскими GPU и языковой моделью третьего поколения Cotype 3 от MWS AI. Результаты продемонстрировали производительность, сопоставимую с решениями на базе NVIDIA H100: среднее время ожидания первого токена (mean TTFT) составило около 8000 мс при обработке контекста в 27 тыс. токенов, а межтокенная задержка (TPOT) — около 111 мс. Эти показатели полностью соответствуют нуждам корпоративных сценариев применения ИИ-систем.
Архитектура и компоненты ПАК «Машина искусственного интеллекта Скала^р» (источник изображения: skala-r.ru)
Возможность работы с различными аппаратными платформами снижает зависимость от единого поставщика и предоставляет больше гибкости при проектировании ИИ-систем, отмечает компания. Кроме обеспечения технологического суверенитета, альтернативная аппаратная база позволяет справиться с высокой стоимостью вычислений. В ряде сценариев сочетание китайских GPU, российской платформы и отечественной модели позволяет значительно уменьшить совокупную стоимость владения (TCO) при масштабировании сервисов, что делает решение экономически эффективным для крупных предприятий и государственных структур.
На данный момент спрос на локальную инфраструктуру формируется госсектором, компаниями с госучастием и операторами критической информационной инфраструктуры (КИИ). Для них крайне важно развертывать модели внутри собственных контуров безопасности. Продуктовая линейка «Скала^р» от Rubytech включена в реестры Минпромторга и Минцифры РФ и соответствует критериям доверенности для объектов КИИ. В числе технологических партнёров группы — ведущие российские банки (Газпромбанк, ВТБ), ФНС России и ЦБ РФ.
Источник: