Подпишитесь на наши ежедневные и еженедельные информационные бюллетени, чтобы получать последние обновления и эксклюзивный контент о ведущих в отрасли технологиях искусственного интеллекта. Узнать больше
Поскольку все больше корпоративных организаций смотрят в так называемое агентное будущее, одним из препятствий может стать способ построения моделей ИИ. Для корпоративного разработчика искусственного интеллекта A121 ответ ясен: отрасли необходимо искать другие модели архитектуры, чтобы обеспечить более эффективные агенты искусственного интеллекта.
Ари Гошен, генеральный директор AI21, сказал в интервью VentureBeat, что Transformers, самая популярная модельная архитектура, имеет ограничения, которые могут затруднить создание многоагентной экосистемы.
«Одна из тенденций, которую я наблюдаю, — это рост архитектур, не являющихся трансформерами, и эти альтернативные архитектуры будут более эффективными», — сказал Гошен. «Трансформеры работают, создавая так много токенов, которые могут стоить очень дорого».
Компания AI21, которая специализируется на разработке корпоративных решений искусственного интеллекта, ранее уже приводила доводы в пользу того, что трансформаторы должны быть вариантом архитектуры модели, а не стандартом по умолчанию. Компания разрабатывает модели фундамента, используя свою архитектуру JAMBA, сокращенно от Joint Attention и архитектуры Mamba. Он основан на архитектуре Mamba, разработанной исследователями из Принстонского университета и Университета Карнеги-Меллон, которая может обеспечить более быстрое время вывода и более длительный контекст.
Гошен сказал, что альтернативные архитектуры, такие как Мамба и Джамба, часто могут сделать агентские структуры более эффективными и, что наиболее важно, доступными. По его мнению, модели на основе Mamba имеют более высокую производительность памяти, что позволит агентам, особенно агентам, подключающимся к другим моделям, работать лучше.
Он объясняет причину, по которой агенты ИИ только сейчас набирают популярность (и почему большинство агентов еще не вышли на рынок), в зависимости от LLM, построенных с помощью преобразований.
«Основная причина, по которой агенты еще не находятся в производственном режиме, — это надежность или отсутствие надежности», — сказал Гошен. «Когда вы разбираете модель трансформатора, вы знаете, что она очень стохастическая, поэтому любые ошибки будут сохраняться».
Популярность корпоративных агентов растет
В этом году ИИ-агенты стали одной из главных тенденций в сфере корпоративного ИИ. Несколько компаний запустили агенты и платформы искусственного интеллекта, упрощающие создание агентов.
ServiceNow объявила об обновлении своей платформы Now Assist AI, включая библиотеку агентов AI для клиентов. У Salesforce есть свой набор агентов под названием Agentforce, а Slack начал разрешать пользователям интегрировать агентов из Salesforce, Cohere, Workday, Asana, Adobe и других.
Гошен считает, что эта тенденция станет еще более популярной при правильном сочетании моделей и архитектур моделей.
«Некоторые варианты использования, которые мы видим сейчас, например, вопросы и ответы от чат-бота, по сути представляют собой прославленный поиск», — сказал он. «Я думаю, что настоящий интеллект заключается в объединении и извлечении различной информации из источников».
Гошен добавил, что AI21 находится в процессе разработки предложений для агентов ИИ.
Другие архитектуры, борющиеся за внимание
Гошен решительно поддерживает альтернативные архитектуры, такие как Mamba и Jamba от AI21, главным образом потому, что он считает, что модели-трансформеры слишком дороги и громоздки в эксплуатации.
Вместо механизма внимания, который составляет основу моделей-трансформеров, Mamba может расставлять приоритеты для различных данных и назначать веса входным данным, оптимизировать использование памяти и использовать вычислительную мощность графического процессора.
Популярность Мамбы растет. Другие разработчики искусственного интеллекта с открытым исходным кодом и открытым кодом начали выпускать модели на основе Mamba в последние несколько месяцев. В июле компания Mistral выпустила Codestral Mamba 7B, а в августе Falcon выпустила собственную модель на базе Mamba — Falcon Mamba 7B.
Однако архитектура трансформатора стала выбором по умолчанию, если не стандартом, при разработке моделей фундамента. GPT OpenAI, конечно, является моделью-трансформером (это буквально следует из ее названия), но такими же являются и большинство других популярных моделей.
Гошен сказал, что в конечном итоге предприятия хотят использовать тот подход, который будет более надежным. Но организациям также следует опасаться ярких демонстраций, обещающих решить многие из их проблем.
«Мы находимся на этапе, когда харизматические демо-версии создавать легко, но мы ближе к этому, чем к этапу создания продукта», — сказал Гошен. «Использовать корпоративный ИИ для исследований — это нормально, но еще не тот момент, когда предприятия смогут использовать его для принятия обоснованных решений».