Компания Sakana AI поделилась своим новым достижением в области искусственного интеллекта. Их система AI Scientist-v2 создала научную статью, которая успешно прошла рецензионный процесс на семинаре международной конференции по машинному обучению ICLR 2025.
AI Scientist-v2 полностью самостоятельно выполнила весь процесс создания научной работы:
- сформулировав научную гипотезу;
- разработав код для проведения экспериментов;
- проведя анализ данных;
- подготовив текст статьи к подаче.
Из трёх работ, представленных системой, одна получила средний балл 6,33, что превысило установленную на семинаре оценку для принятия публикации.
С целью обеспечения объективности рецензентам не сообщали, какие из работ были созданы искусственным интеллектом. Тем не менее, несмотря на успешное прохождение рецензирования, статья была отозвана до официальной публикации в соответствии с протоколом эксперимента. Это произошло, поскольку научное сообщество еще не разработало ясные стандарты для обработки материалов, созданных ИИ.
В ходе внутреннего анализа команда Sakana AI выявила ряд недостатков:
- Ошибки в цитировании: неверные указания авторов и года публикации.
- Ограничения языковых моделей при интерпретации сложных научных данных.
Эти недостатки подчеркивают необходимость дальнейших исследований и разработки стандартов для научных работ, созданных ИИ.
Представители Sakana AI отметили, что их эксперимент открывает новые возможности для применения ИИ в научной сфере. Они надеются, что их работа станет основой для формирования этических стандартов и методов оценки качества исследований, созданных ИИ.
Читайте также: