Подпишитесь на наши ежедневные и еженедельные информационные бюллетени, чтобы получать последние обновления и эксклюзивный контент о ведущих в отрасли технологиях искусственного интеллекта. Узнать больше
Предприятия с оптимизмом смотрят на агентные приложения, которые могут понимать инструкции пользователя и намерены выполнять различные задачи в цифровых средах. Это следующая волна в эпоху генеративного искусственного интеллекта, но многие организации по-прежнему сталкиваются с низкой пропускной способностью своих моделей. Сегодня Katanemo, стартап, создающий интеллектуальную инфраструктуру для приложений, основанных на искусственном интеллекте, предпринял шаг для решения этой проблемы, открыв исходный код Arch-Function. Это коллекция современных моделей больших языков (LLM), обещающих сверхвысокую скорость выполнения задач вызова функций, критически важных для рабочих процессов агентов.
Но о какой скорости мы здесь говорим? По словам Салмана Парачи, основателя и генерального директора Katanemo, новые открытые модели почти в 12 раз быстрее, чем GPT-4 OpenAI. Он даже превосходит предложения Anthropic, обеспечивая при этом значительную экономию средств.
Этот шаг может легко проложить путь к сверхбыстро реагирующим агентам, которые смогут обрабатывать сценарии использования, специфичные для конкретной области, не прожигая дыру в карманах предприятий. По данным Gartner, к 2028 году 33% корпоративных программных инструментов будут использовать агентный искусственный интеллект по сравнению с менее чем 1% в настоящее время, что позволит 15% повседневных рабочих решений приниматься автономно.
Что именно предлагает Arch-Function?
Неделю назад Katanemo открыла исходный код Arch, интеллектуального шлюза подсказок, который использует специализированные (менее миллиарда) LLM для решения всех критических задач, связанных с обработкой и обработкой подсказок. Это включает в себя обнаружение и отклонение попыток взлома, интеллектуальный вызов «внутренних» API для выполнения запроса пользователя и централизованное управление наблюдаемостью запросов и взаимодействиями LLM.
Это предложение позволяет разработчикам создавать быстрые, безопасные и персонализированные приложения искусственного интеллекта в любом масштабе. Теперь, в качестве следующего шага в этой работе, компания открыла исходный код некоторой части «интеллекта», лежащего в основе шлюза, в форме LLM Arch-Function.
По словам основателя, эти новые LLM, построенные на базе Qwen 2.5 с параметрами 3B и 7B, предназначены для обработки вызовов функций, что, по сути, позволяет им взаимодействовать с внешними инструментами и системами для выполнения цифровых задач и доступа к самым современным данным. информация о дате.
Используя заданный набор подсказок на естественном языке, модели Arch-Function могут понимать сложные сигнатуры функций, определять необходимые параметры и выдавать точные выходные данные вызова функций. Это позволяет ему выполнять любую необходимую задачу, будь то взаимодействие API или автоматизированный внутренний рабочий процесс. Это, в свою очередь, может позволить предприятиям разрабатывать агентные приложения.
«Проще говоря, Arch-Function помогает вам персонализировать ваши приложения LLM, вызывая операции для конкретного приложения, запускаемые с помощью подсказок пользователя. С помощью Arch-Function вы можете создавать быстрые «агентские» рабочие процессы, адаптированные к конкретным случаям использования — от обновления страховых заявок до создания рекламных кампаний с помощью подсказок. Arch-Function анализирует подсказки, извлекает из них важную информацию, участвует в легких беседах, чтобы получить от пользователя недостающие параметры, и выполняет вызовы API, чтобы вы могли сосредоточиться на написании бизнес-логики», — объяснил Парача.
Скорость и стоимость — самые важные моменты
Хотя вызов функций не является новой возможностью (многие модели поддерживают ее), основным моментом является то, насколько эффективно с ними справляются LLM Arch-Function. Согласно подробностям, предоставленным Paracha on X, эти модели превосходят или соответствуют передовым моделям, в том числе моделям OpenAI и Anthropic, с точки зрения качества, но обеспечивают значительные преимущества с точки зрения скорости и экономии средств.
Например, по сравнению с GPT-4 Arch-Function-3B обеспечивает примерно 12-кратное повышение пропускной способности и значительную 44-кратную экономию средств. Аналогичные результаты были также получены в отношении GPT-4o и Claude 3.5 Sonnet. Компания еще не предоставила полные результаты тестов, но Парача отметил, что пропускная способность и экономия средств были замечены, когда графический процессор Nvidia L40S использовался для размещения модели параметров 3B.
«Стандарт использует V100 или A100 для запуска/тестирования LLMS, а L40S является более дешевым экземпляром, чем оба. Конечно, это наша квантовая версия, с аналогичным качеством исполнения», — отметил он.
Благодаря этой работе предприятия смогут получить более быстрое и доступное семейство LLM с вызовом функций для поддержки своих агентных приложений. Компания еще не поделилась тематическим исследованием того, как используются эти модели, но высокая производительность и низкие затраты представляют собой идеальное сочетание для производственных сценариев использования в режиме реального времени, таких как обработка входящих данных для оптимизации кампаний или отправка электронных писем клиентам.
По данным Markets and Markets, глобальный рынок агентов искусственного интеллекта, как ожидается, будет расти почти на 45% в среднем на 45% и к 2030 году станет возможностью стоимостью 47 миллиардов долларов.