Новшества в сфере ИИ от Databricks
Присоединяйтесь к нашим ежедневным и недельным новостным рассылкам, чтобы получать самые свежие обновления и эксклюзивный контент по теме ИИ.
Compound AI агенты
Компании стремятся использовать Compound AI агентов для решения различных задач, но сталкиваются с трудностями в оценке их работы. В связи с этим, Databricks объявила о запуске возможности генерации синтетических данных для упрощения этой задачи.
Согласно компании, разработчики смогут создавать качественные искусственные наборы данных в своих рабочих процессах для оценки производительности агентных систем. Это позволит избежать лишнего взаимодействия с экспертами и ускорить вывод агентов в эксплуатацию.
Что предлагает Databricks?
- Синтетические данные для оценки производительности AI агентов
- Интеграция технологий MosaicML в платформу Data Intelligence
- Новый API для генерации синтетических данных
Работа с Agent Evaluation
До недавнего времени Agent Evaluation предоставляла две ключевые функции:
- Определение наборов данных с вопросами и ответами вручную.
- Оценка качества ответов с использованием AI судей и обратной связи от экспертов.
Создание таких наборов данных отнимало много времени, так как эксперты недоступны и процесс сложен. Новая API для генерации синтетических данных помогает разработчикам быстро создавать качественные наборы данных для предварительной оценки.
Результаты внутренних тестов
Внутренние тесты показали, что синтетические данные значительно улучшают показатели агентов. Например:
- Увеличение способности находить релевантные документы почти в 2 раза.
- Улучшение общей правильности ответов агентов.
Как это работает?
Создание набора данных через новый API состоит из четырех простых шагов:
- Парсинг документов и сохранение в Delta Table.
- Передача Delta Table в API генерации синтетических данных.
- Проведение оценки с использованием сгенерированных данных.
- Просмотр результатов качества.
Использование сторонних инструментов потребует больше усилий и времени, поскольку необходимо перемещать данные между различными системами.
Отзывы клиентов
Некоторые компании, использующие API генерации синтетических данных, уже отмечают значительное сокращение времени на улучшение качества агентов. Например, команда Lippert улучшила качество ответов на 60% без участия экспертов.
Будущие планы
Databricks планирует расширить функционал Mosaic AI Agent Evaluation, добавив:
- Интерфейс для редактирования синтетических данных экспертами.
- Инструменты для управления жизненным циклом наборов данных.
Планы по внедрению данных функций уже в разработке, и они будут представлены в начале следующего года.
Заключение
Развитие технологий от Databricks ожидает усиление позиций компании в области данных и генеративного ИИ. Однако конкуренция с компанией Snowflake также нарастает, так как она также делает важные шаги на рынке искусственного интеллекта.
Подписывайтесь на нашу рассылку, чтобы быть в курсе последних новостей в сфере ИИ!