В РУСАЛе озвучили основные принципы промышленного применения больших языковых моделей

На «CNews FORUM Кейсы Опыт ИТ-лидеров» Иван Казарин, директор направления операционного развития искусственного интеллекта РУСАЛа, поделился опытом внедрения больших языковых моделей в промышленности и рассказал о создании внутренней платформенной архитектуры компании. Согласно его словам, в мировой практике уже сформировался архитектурный стандарт для систем на базе LLM, включающий управление доступом, оркестрацию бизнес-логики, интеграцию с внешними системами и работу с моделями.

Архитектурный стандарт и независимость от вендоров

Спикер отметил, что такой подход основывается на открытых интерфейсах и зрелых решениях, что снижает зависимость от внешних поставщиков. По его мнению, прямой контроль над технологическим стёком позволяет компаниям лучше управлять рисками, долгосрочными затратами и достигать конкурентных преимуществ.

Казарин подчеркнул, что реальная ценность проектов создается не только на уровне моделей, но и на уровне платформы, инфраструктуры и команды, работающей над ней. Важно, что отдельные агенты и сервисы на платформе можно настраивать, внедрять и заменять за считанные дни или недели.

Корпоративная LLM-инфраструктура

Как выяснили из выступления, в РУСАЛе уже создана собственная инфраструктура для работы с LLM, которая включает управление доступом, оркестрацию, векторные базы данных и вычислительные ресурсы. Ключевым элементом данной архитектуры стал единый корпоративный чат, позволяющий сотрудникам получить доступ ко всем моделям и сервисам, опубликованным на платформе, без необходимости в самостоятельной настройке API или изучении конфигурации системы.

По словам спикера, каждый запрос на платформе проходит централизованную проверку, включая корпоративную аутентификацию, механизмы обработки чувствительных данных и фиксацию меток потребления. Такой подход обеспечивает конфиденциальность, логирование и прозрачно структурированные затраты.

Проектная модель и RAG-сервисы

Отдельное внимание Казарин уделил проектно-ориентированной модели работы с RAG-сервисами. Для каждого проекта создается отдельная рабочая среда с разграничением прав доступа, что позволяет ответственным сотрудникам управлять параметрами инференса, подключением моделей и наполнением базы знаний, обеспечивая более точные и прикладные результаты для бизнес-подразделений.

На платформе РУСАЛа сейчас активно функционирует более 20 RAG-сервисов и более 60 интегрированных сервисов. Около 30 из них в среднем обрабатывают более 100 запросов в день, причем значительная часть превышает 1000 запросов в сутки, что, по словам спикера, свидетельствует о высоком уровне использования платформы в корпоративной среде.

Агентские сценарии и безопасность

Еще одно направление — разработка агентских сценариев и многошаговых процессов в специализированной среде, где сотрудники могут самостоятельно прототипировать новые решения, соблюдая действующие стандарты безопасности. Также разработчики и инженеры создают функциональные сценарии, работают с корпоративными документами и подключают внутренние базы знаний.

Казарин выделил важность строгой изоляции контуров, распределения прав доступа, фильтрации опасных запросов и шифрования чувствительных данных. Он отметил, что безопасность и управляемость являются обязательными условиями для промышленного применения LLM.

Эффект и масштабирование

Своё выступление спикер завершил оценкой эффекта от внедрения больших языковых моделей. Он рассказал о поэтапной модели, в которой сначала обеспечивается доступность платформы, затем сотрудники применяют её в повседневных задачах, фиксируют прикладную полезность, а на следующем этапе рассчитывают экономический эффект конкретных проектов.

Такой подход позволяет РУСАЛу не только масштабировать успешные решения, но и приоритизировать инициативы на основе объективных данных о нагрузке, затратах и бизнес-результатах. По словам Казарина, компания уже наблюдает явные экономические преимущества по ряду проектов, средний результат которых превышает 20 миллионов рублей.

Читайте также: ИИ удваивает возможности каждые три месяца.