Возрождение разума в AI
С выходом OpenAI o1, так называемой модели рассуждений, наблюдается настоящий бум моделей рассуждений от конкурирующих AI-лабораторий. В начале ноября компания DeepSeek представила предварительный обзор своего первого алгоритма рассуждений — DeepSeek-R1. В том же месяце команда Alibaba Qwen представила то, что утверждает, является первым «открытым» конкурентом o1.
Причины роста интереса к моделям рассуждений
Что же стало причиной этого всплеска? Во-первых, компании AI ищут новые подходы к усовершенствованию технологий генеративного AI. Согласно последним исследованиям, «грубая сила» при увеличении моделей больше не приносит таких же улучшений, как прежде.
Существует острая конкурентная необходимость для AI-компаний поддерживать темп инноваций. По оценкам, глобальный рынок AI достиг 196,63 миллиарда долларов в 2023 году и может вырасти до 1,81 триллиона долларов к 2030 году.
Обсуждение моделей рассуждений
OpenAI утверждает, что модели рассуждений могут «решать более сложные задачи», чем предыдущие модели, и представляют собой шаг вперед в разработке генеративного AI. Однако не все уверены, что модели рассуждений — это наилучший путь вперед.
- Ameet Talwalkar, доцент машинного обучения в Carnegie Mellon, нашел первоначальные модели «весьма впечатляющими», но также отметил, что стоит сомневаться в намерениях тех, кто утверждает, что знает, как далеко смогут зайти эти модели.
- Он добавил, что «AI-компании имеют финансовые стимулы предлагать оптимистичные прогнозы» о возможностях своих технологий.
Недостатки моделей рассуждений
Существуют два основных недостатка моделей рассуждений:
- 1. Они дорогие.
- 2. Они требуют много энергии.
Например, OpenAI взимает 15 долларов за каждую ~750,000 слов, которые анализирует o1, и 60 долларов за каждую ~750,000 слов, которые модель генерирует. Это в 3-4 раза дороже последней «нерассуждающей» модели OpenAI, GPT-4o.
Модель o1 доступна в чат-боте на AI ChatGPT бесплатно — с ограничениями. Однако в этом месяце OpenAI представила более продвинутый уровень o1, так называемый o1 pro mode, который стоит астрономические 2400 долларов в год.
Стоимость и ресурсы
По словам Гая Ван Дена Брока, профессора компьютерных наук в UCLA, «общая стоимость рассуждений больших языковых моделей определенно не снижается». Одна из причин высокой стоимости моделей рассуждений — необходимость в мощных вычислительных ресурсах. В отличие от большинства AI, o1 и другие модели рассуждений пытаются проверять свою работу в процессе. Это помогает избежать некоторых проблем, которые обычно возникают у моделей, но требует больше времени для достижения решений.
Открытые вопросы и вызовы
OpenAI предполагает, что будущие модели рассуждений будут «думать» в течение часов, дней или даже недель. Компания признает, что затраты на использование будут выше, но возможные выгоды — от прорывных аккумуляторов до новых лекарств от рака — могут значительно перевесить эти затраты.
Тем не менее, ценность сегодняшних моделей рассуждений не так очевидна. Коста Хуан, исследователь и инженер по машинному обучению в Ai2, отмечает, что o1 не является надежным калькулятором и в соцсетях можно найти множество ошибок его работы.
- «Эти модели рассуждений специализированы и могут показывать низкую производительность в общих областях», — говорит Хуан.
- По словам Ван Дена Брока, эти модели на самом деле не выполняют рассуждения и ограничены в задачах, которые могут успешно решить.
Будущее моделей рассуждений
С учетом сильного рыночного стимула к улучшению моделей рассуждений, можно уверенно предположить, что они со временем станут лучше. Однако Талвалкар выражает опасение, что крупные лаборатории будут скрывать эти улучшения.
«Крупные лаборатории, естественно, имеют конкурентные причины оставаться закрытыми, но эта непрозрачность сильно мешает взаимодействию с другими исследователями», — отметил он. «Я ожидаю, что по мере работы людей в этом направлении модели рассуждений быстро прогрессируют».