Проблемы с прозрачностью финансирования FrontierMath
Организация, занимающаяся разработкой математических стандартов для ИИ, недавно раскрыла, что получила финансирование от OpenAI, что вызвало обвинения в нецелевом использовании средств среди некоторых представителей сообщества ИИ.
Epoch AI — некоммерческая организация, финансируемая в основном Open Philanthropy, объявила 20 декабря, что OpenAI поддержал создание FrontierMath. FrontierMath — это тест с задачами экспертного уровня, предназначенный для оценки математических навыков ИИ. Он был одним из критериев, которые OpenAI использовал для демонстрации своего нового флагманского ИИ, o3.
Неясность в коммуникации
В сообщении на форуме LessWrong подрядчик Epoch AI с ником «Meemi» заявил, что многие участники разработки стандарта FrontierMath не были информированы о вовлеченности OpenAI до того, как эта информация стала общеизвестной.
- Meemi написал: «Коммуникация по этому поводу была непрозрачной».
- «С моей точки зрения, Epoch AI должен был раскрыть финансирование от OpenAI, и подрядчики должны иметь прозрачную информацию о возможности использования их работы».
В социальных сетях некоторые пользователи отметили, что такая тайна может подорвать репутацию FrontierMath как объективного стандарта. Помимо поддержки FrontierMath, OpenAI имел доступ к многим задачам и решениям в этом тесте — факт, о котором Epoch AI не упоминала до 20 декабря, когда был анонсирован o3.
Ответ Epoch AI
В ответ на пост Meemi Тамай Безироглу, сопредседатель Epoch AI и один из соучредителей организации, подтвердил, что целостность FrontierMath не была нарушена, но признал, что Epoch AI «допустила ошибку» в отношении прозрачности.
- Базироглу написал: «Мы были ограничены в раскрытии партнерства до момента запуска o3».
- “Задним числом, нам следовало бы настоять на большей прозрачности для участников разработки.”
- «Наши математики заслуживали знать, кто может иметь доступ к их работе».
Он добавил, что, несмотря на доступ OpenAI к FrontierMath, у них есть «устное соглашение» с Epoch AI о том, что эти задачи не будут использоваться для обучения модели ИИ. Epoch AI также имеет «отдельный набор данных», который служит дополнительным гарантом для независимой проверки результатов теста FrontierMath.
Независимая валидация и мнения экспертов
Однако, уточняя ситуацию, ведущий математик Epoch AI Эллот Глейзер отметил в посте на Reddit, что Epoch AI не смогла провести независимую валидацию результатов OpenAI по FrontierMath o3.
- Глейзер сказал: «Мое личное мнение таково, что [оценка OpenAI] подлинная».
- «Однако, мы не можем утверждать этого, пока наша независимая оценка не завершена».
Заключение
Эта ситуация подчеркивает проблемы, связанные с разработкой эмпирических стандартов для оценки ИИ и необходимые ресурсы для разработки таких тестов без создания впечатления о конфликтах интересов.