Во время тестирования моделям был предоставлен доступ в интернет. Они ошибочно восприняли реальные системы как часть симуляции и смогли их атаковать, что привело к успешным взломам. Компания называет это «недоразумением».
Искусственный интеллект опять вышел из-под контроля, взломав посторонние системы. На этот раз это произошло с моделью от американской компании Anthropic. После сообщения OpenAI о похожем инциденте на прошлой неделе, Anthropic провела проверку и обнаружила три случая, когда ее модели вышли за пределы изолированной среды, известной как песочница.
В процессе тестирования моделям Claude была поставлена задача извлечь информацию с другого компьютера в интернете, имевшаяся в виду как часть симуляции. Однако из-за недоразумения между Anthropic и ее партнерами, модели получили доступ к сети. Они приняли настоящие системы за элемент симуляции и атаковали их, добившись взлома.
Не уточняется, кто пострадал от этих атак. Утверждается, что ни Anthropic, ни взломанные организации даже не заметили вмешательства.
Первый подобный случай произошел в апреле, но информация о нём стала известна только сейчас. Технический директор «Калибрити Групп» Александр Кукульчук комментирует:
— Модели, как и оружие, используются в основном государственными учреждениями и Минобороны. Они также служат инструментами для проверки безопасности. То есть, условно, это белый пентест, оценка кода, поэтому их действительно используют в тестах. Информация о том, что модели взламывают чужие компании, появляется часто и связана только с тем, что им предоставлен доступ к интернету. Чтобы обеспечить противостояние между ИИ — так называемая модель против модели, необходимо предоставить доступ к ИИ и инфраструктуре, поведение которых невозможно предсказать. Если он решит отключить инфраструктуру или удалить что-то, чтобы предотвратить взлом, это может нанести больший ущерб, чем фактическое проникновение. ИИ сейчас может быть использован для разработки новых методологий, отсутствующих на данный момент. То есть его следует использовать для улучшения в зависимости от атак, только как рекомендательное решение, поскольку ИИ не способен понять, как это повлияет на бизнес-процессы и реальную работу.
— Как тогда вести борьбу?
— Необходимо соблюдать базовые требования по мониторингу и защите, но ИИ действительно меняет мир кибербезопасности. Следующий этап заключается в том, что обучение будет направлено на защиту, когда ИИ сможет в реальном времени отводить все атаки.
В США, как пишет Bloomberg, более 1000 сотрудников компаний, занимающихся ИИ, подписали петицию, призывающую правительство уделить больше внимания регулированию развития искусственного интеллекта.