Обновления по разработкам в AI
Присоединяйтесь к нашим ежедневным и еженедельным рассылкам, чтобы получать последние обновления и эксклюзивный контент о передовых технологиях в области AI.
Популярная новинка от Sakana AI
Исследователи из Sakana AI разработали эффективную систему под названием CycleQD, которая может создавать множество языковых моделей, специализирующихся на различных задачах. Этот метод использует эволюционные алгоритмы для сочетания навыков разных моделей, избегая при этом дорогих и длительных процессов обучения.
CycleQD позволяет создавать группы агентов, обладающих конкретными навыками, предлагая более устойчивую альтернативу текущей практике увеличения размеров моделей.
Переосмысление обучения моделей
Большие языковые модели (LLMs) продемонстрировали впечатляющие способности в различных задачах. Но обучение LLMs, чтобы они овладели несколькими навыками, остается сложной задачей. Инженеры должны сбалансировать данные из разных областей навыков, чтобы никто из них не доминировал над остальными.
- Современные подходы включают в себя обучение все более большим моделям, что приводит к увеличению вычислительных затрат.
- Исследователи Sakana уверены, что более устойчивым путем является использование популяционных подходов для разработки разнообразных нишевых моделей.
Качество и разнообразие
Для создания популяций моделей исследователи вдохновились концепцией качества разнообразия (QD), которая направлена на нахождение разнообразных решений из начальной выборки. QD достигает этого при помощи эволюционных алгоритмов (EA), отбирая родительские образцы и создавая новые через операции кроссовера и мутации.
Как работает CycleQD?
CycleQD включает QD в процесс после обучения LLMs, чтобы помочь им осваивать новые сложные навыки. Эта система полезна, когда у вас есть несколько маленьких моделей, обученных для очень специфических задач, и вы хотите создать новые варианты с разными комбинациями этих навыков.
- Каждая из задач рассматривается как характеристика поведения или качество, для которого оптимизируется следующее поколение моделей.
- Алгоритм сосредоточен на конкретном навыке как качестве в каждом поколении.
Процесс кроссовера и мутации
CycleQD начинает с набора экспертных LLM, каждая из которых специализируется на уникальном навыке. Алгоритм применяет операции кроссовера и мутации, чтобы добавлять новые модели с более высокими качествами.
- Кроссовер: комбинация характеристик двух родительских моделей для создания новой.
- Мутация: внесение случайных изменений для изучения новых возможностей.
Оценка производительности CycleQD
Исследователи применили CycleQD к набору экспертных моделей Llama 3-8B, настроенных для выполнения программирования и операций с базами данных. Результаты показали, что CycleQD превосходит традиционные методы перенастройки и слияния моделей.
- Модель, обученная на всех наборах данных, лишь немного превосходила модели, обладающие единственным навыком.
- Традиционные методы обучения гораздо медленнее и дороже по сравнению с CycleQD.
Перспективы CycleQD
Исследователи уверены, что CycleQD имеет потенциал поддерживать непрерывное обучение AI-систем, позволяя им адаптироваться и накапливать знания со временем. Это может иметь значительные последствия для реальных приложений.
- CycleQD можно использовать для постоянного объединения навыков экспертных моделей.
- Системы многоагентных взаимодействий могут развиваться, где отбор специализированных агентов будет возможен через CycleQD.
“От научных открытий до решения реальных проблем, стаи специализированных агентов могут переосмыслить границы AI”, — утверждают исследователи.