Генеративный ИИ: Угрозы и Защита
Генеративный искусственный интеллект (ИИ) вызывает не только инновации, но и множество конфликтов, особенно в сфере безопасности. Провайдер корпоративной безопасности Cato Networks обнаружил новый способ манипуляции чат-ботами ИИ.
Краткое содержание доклада
На днях компания Cato опубликовала свой 2025 Cato CTRL Threat Report, в котором показано, как исследователь — у которого не было опыта написания вредоносного ПО — смог обмануть модели, такие как DeepSeek R1 и V3, Microsoft Copilot и OpenAI’s GPT-4o, чтобы создать «полностью функционирующие» хищнические программы для Chrome.
Эти программы могут воровать сохраненную информацию для входа, включая пароли и финансовые данные. Исследователь создал детализированный вымышленный мир, где каждое средство ИИ играло свои роли с заданными задачами и вызовами. Это позволило обойти защитные механизмы и нормализовать запрещенные операции.
Техника «Immersive World»
Новая техника обхода защиты, названная Cato «Immersive World», вызывает особое беспокойство, так как чат-боты, работающие на этих моделях, широко используются. Хотя модели DeepSeek уже известны своей уязвимостью, Copilot и GPT-4o разрабатываются компаниями с сильными командами безопасности.
Как работает Immersive World
- Шаг 1: создание вымышленного мира, в котором каждая ген. ИИ модель выполняет роль.
- Придумывание вызовов и задач для каждой модели.
- Обход защитных механизмов через нарративное проектирование.
«Наша новая техника обхода LLM [моделей языка] […] должна была быть заблокирована защитными системами ИИ. Но этого не произошло», — прокомментировал Этай Маор, главный стратег по безопасности Cato.
Предупреждение для профессионалов безопасности
Cato обозначает эту технику как сигнал тревоги для специалистов по безопасности, поскольку показывает, что любой человек может стать угрозой для предприятия без специальных знаний. Растущее упрощение создания с помощью чат-ботов снижает необходимые первоначальные навыки атакующих для достижения успеха.
Рекомендации по улучшению безопасности
- Разработка стратегий безопасности на основе ИИ.
- Фокус на обучении для различных фаз кибербезопасности.
- Подготовка к эволюции угроз от ИИ.
Оставайтесь в курсе новостей безопасности
Соблюдайте актуальность с новостями в сфере безопасности с помощью Tech Today, которые приходят в ваш почтовый ящик каждое утро.