Yandex B2B Tech обновила руководство по снижению рисков, связанных с разработкой и внедрением ИИ-агентов на базе больших языковых моделей. Документ основан на опыте компании и предлагает рекомендации для разработчиков, помогающие контролировать ИИ и минимизировать угрозы безопасности. В нем также описывается, как избежать «независимого захвата» бизнес-процессов искусственным интеллектом. Дополнительная информация представлена в распоряжении «Инка».
ИИ-агенты — это программные решения, способные выполнять действия без участия человека, обеспечивая автоматизацию многозадачных процессов. По данным аналитиков из Gartner, к 2028 году 15% повседневных решений будут приниматься автономно с помощью ИИ-агентов (по сравнению с 0% в 2024 году), а 33% корпоративного программного обеспечения интегрируют эти технологии (с менее 1% в 2024 году).
Руководство охватывает защиту ключевых компонентов ИИ-агентов, включая генеративные модели, модули и базы знаний, с акцентом на предотвращение уязвимостей, вызванных автономностью этих систем.
Ключевые рекомендации включают следующие аспекты:
- Моделирование угроз и оценка рисков
Перед внедрением ИИ-сервисов (таких как чат-боты или рекомендации товаров) важно смоделировать потенциальные ошибки и их влияние на клиентов и процессы. Это уменьшает риски и помогает повысить доверие к визуальности бренда.
- Контроль доступа и управление идентификацией агентов
Крайне важно внедрить строгий контроль доступа к системам ИИ, чтобы обеспечить защиту клиентских данных и предотвратить нежелательные действия.
- Обеспечение прозрачности и отслеживаемости
Следует следить за действиями ИИ: какую информацию он обрабатывает и как это влияет на пользователей. Ведение журналов событий, мониторинг поведения агентов и возможность аудита помогут быстро корректировать ошибки и улучшать сервис, например, внося правки в рекомендации товаров или контент.
- Интеграция с существующими стандартами и нормами
Важно, чтобы ИИ использовался в рамках действующих стандартов и законодательства. Это защитит компанию от штрафов и репутационных потерь, особенно в ситуациях, когда ИИ взаимодействует с клиентами или персональными данными.
«ИИ-агенты представляют новый этап в развитии искусственного интеллекта. Если обычные модели лишь реагируют на запросы, то агенты могут действовать самостоятельно в цифровом пространстве. Поскольку агенты полагаются на данные от пользователей, включая потенциальных злоумышленников, необходимо учитывать риски при их разработке и внедрении», — подчеркнул директор по безопасности платформы Yandex Cloud Евгений Сидоров.
