Улучшение IQ ИИ
На недавней пресс-конференции генеральный директор OpenAI Сэм Альтман заявил, что он заметил резкое улучшение «IQ» ИИ за последние несколько лет. Он выразил мнение, что каждый год ИИ «двигается» на одну стандартную девиацию IQ.
IQ как единица измерения
Альтман не первый, кто использует IQ как ориентир для оценки прогресса ИИ. Некоторые эксперты и инфлюенсеры в соцсетях проводили IQ-тесты для моделей, оценивая их результаты. Однако многие специалисты утверждают, что IQ — это плохая и вводящая в заблуждение мера для оценки способностей ИИ.
- Сандра Вахтер, исследователь в области технологий и регулирования в Оксфорде, отметила: «Сравнивать человеческие способности и способности ИИ — все равно что сравнивать яблоки с апельсинами».
Ограничения IQ-тестов
IQ тесты — это относительные меры, которые не являются объективными. Существует консенсус, что IQ подходит для измерения логики и абстрактного мышления, но не для практического интеллекта.
- IQ — это инструмент для измерения человеческих способностей.
- Он не может быть использован для описания возможностей ИИ.
- Например, машина быстрее человека, но это не значит, что машины более умные.
Предвзятость IQ-тестов
Исторически IQ тесты основаны на западной культурной норме и могут быть предвзятыми. Один из психологов назвал их «идеологически коррумпированными механическими моделями».
Причины предвзятости:
- Необходимость сильной рабочей памяти у испытуемого.
- Зависимость от культурных норм.
Проблемы IQ-тестов и ИИ
ИИ имеет преимущества на IQ-тестах из-за огромного объема памяти и знаний. Модели часто обучаются на данных из Интернета, которые содержат примеры IQ-тестов.
- Майк Кук из King’s College говорит: «Тесты имеют повторяющиеся шаблоны, и лучший способ повысить IQ — это практиковаться в прохождении IQ-тестов.»
Необходимость новых тестов для ИИ
Нужно разрабатывать более подходящие тесты для оценки ИИ, считает Хейди Хлааф из AI Now Institute. Она утверждает:
- Идея сравнения производительности ИИ и человека — это новая и спорная идея.
- История вычислений показывает, что системы всегда завершали задачи, которые выходили за пределы человеческих возможностей.
В итоге, IQ-тесты, созданные для людей, не подходят для технологий, которые решают проблемы иначе. Нам нужно учитывать, что человеческий мозг сталкивается с множеством факторов, что делает его решение задач более сложным процессом.
Ключевые моменты:
- Необходимо переосмысление методов оценки ИИ.
- IQ тесты могут некорректно отображать возможности ИИ.
- Новые критерии оценки должны учитывать уникальные аспекты работы ИИ.