Just_Super/Getty Images
Anthropic, создатель семейства больших языковых моделей Claude, на этой неделе обновил свою политику контроля безопасности своего программного обеспечения, чтобы отразить, по ее словам, потенциальную возможность злоумышленников использовать модели ИИ для автоматизации кибератак.
В PDF-документе, подробно описывающем «политику ответственного масштабирования» компании, излагаются несколько процедурных изменений, которые, по ее словам, необходимы для мониторинга текущих рисков неправильного использования моделей ИИ. Это включает в себя несколько уровней возрастающего риска, известных как стандарты уровня безопасности ИИ (ASL), определяемые как «технические и эксплуатационные меры безопасности».
В рамках «планового тестирования» моделей ИИ на предмет безопасности, известного как «оценка возможностей», Anthropic сообщает, что обнаружила возможность, которая «требует серьезного исследования и может потребовать более строгих мер безопасности».
Эта возможность описывается как угроза в кибероперациях: «Способность значительно улучшить или автоматизировать сложные разрушительные кибератаки, включая, помимо прочего, обнаружение новых цепочек эксплойтов нулевого дня, разработку сложного вредоносного ПО или организацию обширной труднообнаружимой сети». вторжения».
В отчете описываются меры, которые будут приняты для постоянного изучения этого вопроса:
«Это будет включать в себя взаимодействие с экспертами по кибероперациям для оценки потенциала передовых моделей как для усиления, так и для смягчения киберугроз, а также рассмотрение возможности внедрения многоуровневого контроля доступа или поэтапного развертывания моделей с расширенными кибервозможностями. Мы проведем либо предварительную, либо тестирование после развертывания, включая специализированные оценки. Любые существенные результаты мы будем документировать вместе с нашими отчетами о возможностях».
В настоящее время все модели искусственного интеллекта Anthropic, по его словам, должны соответствовать требованиям ASL «уровня 2». Этот уровень «требует системы безопасности, которая, вероятно, сможет противостоять большинству оппортунистических злоумышленников и включает в себя проверку безопасности поставщиков и поставщиков, меры физической безопасности и использование принципов безопасности», говорится в отчете.
Обновленную политику можно рассматривать как часть усилий Anthropic и OpenAI по добровольному обещанию ограничения искусственного интеллекта на фоне продолжающихся дебатов о том, что следует или не следует делать для регулирования технологий искусственного интеллекта. В августе компания и OpenAI достигли соглашения с Институтом безопасности искусственного интеллекта США при Национальном институте стандартов и технологий (NIST) Министерства торговли США о сотрудничестве в исследованиях, тестировании и оценке ИИ.
Идея автоматизации кибератак с помощью искусственного интеллекта уже давно в ходу. Производитель межсетевых экранов Check Point Software Technologies в прошлом году предупредил, что государственные субъекты из России пытаются скомпрометировать ChatGPT OpenAI, чтобы автоматизировать фишинговые атаки.
Поставщик программного обеспечения для обеспечения безопасности конечных точек CrowdStrike этим летом сообщил, что генеративный ИИ уязвим для огромного количества специально созданных подсказок, которые могут сломать ограждения программ.
Искусственный интеллект
-
Как я использовал ChatGPT для сканирования 170 тысяч строк кода за секунды и сэкономил часы детективной работы
-
6 способов лучше писать запросы ChatGPT и быстрее получать желаемые результаты
-
6 строительных блоков цифровых двойников, которые нужны бизнесу, и как в них вписывается ИИ
-
Gems от Google — это краткое введение в оперативную разработку ИИ