Международная конференция по обучению представлениям в Сингапуре
На этой неделе в Сингапуре начинается одно из самых важных ежегодных событий в области искусственного интеллекта: Международная конференция по обучению представлениям. Как и всегда, компания Nvidia занимает значительное место на конференции, представив более 70 научных работ своей команды.
Темы исследования
Работы охватывают самые разнообразные темы, включая:
- Генерацию музыки
- Создание 3D-реалистичных видео
- Обучение роботов
- Генерацию больших языковых моделей
Nvidia — не только производитель чипов
Представленные работы, многие из которых были опубликованы в последние год или около того на сервере предварительных публикаций arXiv, варьируются от чисто исследовательских до программ, предлагающих немедленно применимые инструменты. Примером исследовательского проекта является LLaMaFlex, который улучшает задачу генерации множества больших языковых моделей из одной «родительской».
Как работает LLaMaFlex
Сегодня распространено преобразование одной очень большой языковой модели (LLM) в «студенческие» LLM, которые наследуют способности «учителя», но занимают меньше памяти. Исследователи Nvidia, в частности Руиси Цай и его команда, обнаружили, что можно улучшить метод дистилляции, используя так называемую «эластичную предобучку».
Принцип работы
- Берется одна большая предобученная LLM (например, Llama 3.18B от Meta Platforms).
- Она проходит одну дополнительную фазу обучения с 60 миллиардами новых токенов.
- Результатом становится алгоритм «маршрутизатор», который может автоматически выдавать любое количество LLM различных размеров.
Пример работы Fugatto
Fugatto может генерировать звук по запросу, например, мяуканье кота. Он способен разбирать музыкальные образцы, чтобы воспроизвести каждого отдельного вокалиста, а также комбинировать звуки, например, звук текущей воды с классической гитарой.
Технология Fugatto
Нейронная сеть Fugatto была разработана в Google в 2022 году и может работать с «спектрограммами» — звуками в виде волновых форм. Вклад Nvidia заключается в создании нового набора данных и тренировочного режима, который обучает модель обрабатывать сложные текстовые команды.
Преимущества исследований Nvidia
Исследовательские проекты, такие как LLaMaFlex и Fugatto, выполняют множество функций:
- Выделяют различные способы использования чипов Nvidia, что помогает продвигать их возможности.
- Сохраняют Nvidia в числе лидеров в области искусственного интеллекта, что может влиять на развитие компании в производстве чипов.
- Помогают привлекать таланты, демонстрируя проекты, которые могут получить награды и признание коллег.
- Показывают, какую большую роль играют чипы Nvidia в области ИИ.
Заключение
Как отметил Катандзаро, «ускорение» ИИ — это история, о которой следует говорить больше. «Я верю, что многие успехи в области ИИ за последние 15 лет произошли благодаря ускорению», — добавил он.
Вы можете ознакомиться со всеми публикациями Nvidia на основном сайте исследований и подписаться на новостную рассылку Tech Today, чтобы получать важные новости в своей почте.