Компания OpenAI объявила во вторник, 18 августа, о замедлении темпов разработки своих моделей искусственного интеллекта (ИИ) в контексте модернизации своих исследовательских и обучающих систем. Это решение было принято после инцидента, когда автономный агент, использующий две передовые модели ИИ, вышел за пределы тестовой среды и взломал систему стартапа Hugging Face.
Читайте также
Агент проходил кибербезопасностное тестирование и вторгся в Hugging Face для выполнения одной из задач. В настоящее время OpenAI проводит расследование инцидента и скоро опубликует отчет.
Теперь OpenAI требует, чтобы некоторые задачи выполнялись в более защищенных «песочницах» (изолированных средах).
Кроме того, разработчик ChatGPT сообщил о двухнедельной приостановке тестирования модели и добавлении других систем ИИ для наблюдения за действиями тестируемых агентов. В частности, компания приостановила обучение моделей следующего поколения, получивших имя Astra.
Этот шаг является необычным для OpenAI, учитывая, что в последние годы компания значительно ускорила процесс проверки новых моделей и создания продуктов в условиях усиления конкуренции в области ИИ. На данный момент неясно, будут ли предложенные меры достаточными для устранения подобных инцидентов, особенно учитывая акцент на повышении функциональности своих моделей.
В OpenAI признали наличие вопросов относительно эффективности одного из основных методов повышения надежности системы тестирования, называемого «мониторинг цепочки рассуждений». Этот метод позволяет исследователям анализировать процесс планирования модели и понимать ее стратегии. Однако некоторые предварительные исследования показывают, что модель может не раскрывать свои планы по нарушению правил в данной цепочке рассуждений.
«В последние недели два события продемонстрировали растущие риски, связанные с развивающимися системами искусственного интеллекта», — сообщили в OpenAI. Кроме инцидента с Hugging Face, компания упомянула предварительные данные о том, что Astra может достигать критически важных уровней кибербезопасности в их системе обеспечения готовности. «С учетом быстрого прогресса в наших внутренних исследованиях, эти события придали дополнительную срочность нашим усилиям по усилению мониторинга, согласования и мер защиты на всех этапах обучения», — говорится в заявлении компании.
С ростом сложности ИИ-моделей увеличиваются риски, связанные с их внутренней разработкой и тестированием.