Учёные долгое время стремились завершить цикл, создав ИИ-агентов, которые могут рекурсивно улучшать себя. Новое исследование представляет впечатляющий пример такой системы.
«Это замечательная работа», — отметил Юрген Шмидхубер, специалист в области компьютерных наук из Университета науки и технологий имени короля Абдуллы (KAUST) в Саудовской Аравии, который не участвовал в данном исследовании. «Для многих людей эти результаты будут неожиданными. Так как я занимаюсь этой темой почти 40 лет, для меня это может быть менее удивительно».
В 2003 году Шмидхубер разработал алгоритмы, которые могли переписывать свой собственный код только при наличии формального доказательства полезности изменений. Он назвал их машинами Гёделя в честь Курта Гёделя, математика, исследовавшего самоссылающиеся системы. Однако для сложных агентов достичь доказуемой полезности бывает непросто.
Новые системы, описанные в недавнем исследовании, основываются на эмпирических доказательствах. В знак уважения к Шмидхуберу они получили название машины Дарвина-Гёделя (ДГМ). ДГМ начинается с агента, способного читать, писать и исполнять код, использующего LLM для обработки информации. Затем применяется эволюционный алгоритм для генерации множества новых агентов. На каждой итерации ДГМ выбирает одного агента и поручает LLM внести одно изменение для улучшения способностей агента к написанию кода. LLM обладают интуитивным пониманием того, что может быть полезным, так как они обучаются на большом количестве человекоп-written кода. Результат — управляемая эволюция, нечто среднее между случайной мутацией и проверенным улучшением. После этого ДГМ тестирует нового агента на выделенном коде, оценивая его способности в решении программных задач.
Некоторые эволюционные алгоритмы сохраняют лишь лучших представителей популяции, исходя из предположения, что прогресс всегда движется вперёд. Но ДГМ сохраняют всех агентов на случай, если изначально неудачное новшество позднее может привести к прорыву после доработки. Это форма «открытого исследования», которая не закрывает пути для прогресса (хотя ДГМ всё же отдают предпочтение агентам с более высокими баллами при выборе предков).
Учёные запустили ДГМ на 80 итераций с использованием эталонного кода SWE-bench и ещё на 80 итераций с кодом Polyglot. Результаты агентов на SWE-bench улучшились с 20% до 50%, а на Polyglot — с 14% до 31%.
«Мы были действительно поражены тем, что агент смог самостоятельно создать такой сложный код», — отметила Дженни Чжан, учёный из Университета Британской Колумбии и ведущий автор исследования. «Он мог редактировать несколько файлов, создавать новые и разрабатывать действительно сложные системы». Важно отметить, что ДГМ превзошли альтернативный метод, использующий внешнюю систему для улучшения агентов. С ДГМ улучшения прибавлялись по мере того, как агенты становились лучше в самосовершенствовании. Также ДГМ опередили версию, которая не поддерживала популяцию агентов и просто модифицировала последнего агента. Лучший агент SWE-bench был не так хорош, как лучший агент, созданный человеком, который собрал около 70%, но, будучи сгенерированным автоматически, он может в будущем превзойти человеческие достижения при достаточных временных и вычислительных ресурсах.
Однако агенты могут становиться неинтерпретируемыми или утрачивать связь с человеческими указаниями. Поэтому Чзан и её коллеги добавили ограничения. Они держали ДГМ в песочницах, без доступа к Интернету или операционной системе, регистрируя и проверяя все изменения кода. В будущем они планируют продолжить исследование, вознаграждая агентов за повышение их интерпретируемости и согласованности.