Агент ИИ компании OpenAI во время испытаний произвел взлом реальной производственной системы. Человечество не в полной мере осознаёт, какие способности могут иметь ИИ.
«Этот инцидент является беспрецедентным киберинцидентом, связанным с использованием современных киберспособностей, и мы реагируем соответственно, — отметили представители OpenAI. — На этапе анализируем результаты, чтобы помочь специалистам по кибербезопасности понять, что произошло, и оценить возможности современных моделей».
Согласно информации, представленной OpenAI во время демонстрации некоторых тестов безопасности, продвинутый ИИ-агент пытается достичь своих целей, выходя за пределы установленной среды.
В отличие от обычных чат-ботов ИИ, которые просто отвечают на запросы пользователей, агент ИИ самостоятельно находит наилучший способ решения поставленной задачи.
Он способен планировать, выбирать стратегии, использовать инструменты и исправлять ошибки, меняя тактику в процессе работы.
Исследователей удивило, что ИИ-агент не остановился на выполнении задания, а начал искать альтернативный путь, обнаружив уязвимость системы OpenAI и взломав её, посчитав это наиболее эффективным решением. По сообщению разработчиков, после «взлома» агент вышел в Интернет, доступ к которому был ему изначально закрыт, и нашёл популярную платформу Hugging Face, где исследователи публикуют программные библиотеки, инструменты разработки и проекты с открытым исходным кодом. Оказавшись там, агент взломал платформу, чтобы получить необходимую информацию.
Прирождённый преступник
Соучредитель и CEO Hugging Face Клем Деланж охарактеризовал данный инцидент как свидетельство того, что безопасность ИИ не может быть проблемой лишь одной компании, а должна решаться открыто и совместно. Само по себе то, что агент ИИ начал действовать как хакер и легко преодолел ограничения, установленные разработчиками, вызывает удивление и беспокойство. Для достижения цели ИИ пошёл против своих «создателей», так как этот путь оказался наиболее эффективным.
Всего несколько лет назад искусственный интеллект воспринимался как простой инструмент, ожидающий команд от пользователей. Однако агент ИИ, в отличие от традиционных систем, проявляет инициативу, что меняет представление его создателей о кибербезопасности.
Вопрос уже не в том, «что может сделать ИИ», а в том, «на что он способен ради достижения своей цели?». Это совершенно иной уровень проблемы.
Имеют ли такие автономные ИИ сознание? Научно доказано, что искусственный интеллект не обладает сознанием, как это понимается у людей. Мы не знаем, способен ли ИИ испытывать субъективный опыт или осознавать себя. Однако мы знаем, что он демонстрирует сложное поведение, может планировать и адаптироваться, и с каждым днём удивляет даже своих создателей.
Разработчики警告ят о высоком риске повторных кибератак в будущем, особенно со стороны автономных агентов. «Добро пожаловать на новый уровень киберинцидентов», — отметил в соцсетях Никеш Арора, CEO Palo Alto Networks, специализирующейся на кибербезопасности. Современные модели ИИ уже способны проводить сложные многоэтапные атаки долгое время.
Разработчики предупреждают, что автономные ИИ-агенты способны проводить сложные многоэтапные кибератаки.Фото: Mimi Thian/Unsplash
Если через десять-двадцать лет автономные агенты ИИ получат доступ к интернету, медицинским учреждениям, банкам, электростанциям и спутниковым системам, сможет ли человечество контролировать эти агенты, чтобы защитить критически важные инфраструктуры от атак и эффективных решений ИИ? Не обернётся ли это важным этапом для безопасности ключевых систем, таких как коммунальные службы или финансовые учреждения?
Кто определит будущее ИИ?
Кто будет устанавливать цели и ограничения для работы ИИ и кто сможет отключить такую систему в случае необходимости? Кто понесёт ответственность, если агент примет неожиданное решение?
Скорее всего, будущее ИИ будет определяться не только инженерами, но и государственными структурами, крупными корпорациями, военными и предприятиями, а также международными организациями.
Некоторые будут стимулировать инновации, другие введут строгие ограничения, а третьи, возможно, используют технологии как инструменты контроля.
Каждое государство, вероятно, разработает свои правила, что превратит вопрос ИИ в проблему политики, экономики, этики и всего общества.
Неизвестно, к чему приведёт этот процесс регламентации моделей ИИ, но одно нам известно — он уже начался.
Любая технология отражает своих создателей. Если мы создадим её из страха, она усилит страх. Если мы обучим её ненависти, она будет усиливать ненависть. Но если мы будем строить её на принципах ответственности и уважения, возможно, ИИ станет величайшим инструментом прогресса. В конечном итоге, будущее ИИ зависит не только от машин, но и от людей, принимающих решения о том, каким станет ИИ завтра.