Meta и новая модель Llama 4
Генеральный директор Meta Марк Цукерберг в среду объявил о самом крупном событии в области обучения генеративного ИИ — разработка модели Llama 4, которая тренируется на кластере графических процессоров (GPU), «больше всего», что когда-либо сообщалось.
Ключевые моменты
- Разработка Llama 4 активно продолжается.
- Первый запуск ожидается в начале следующего года.
- Модели Llama 4 тренируются на кластере, превышающем 100,000 H100.
Цукерберг поделился с инвесторами и аналитиками, что использование большего масштаба ИИ-тренинга с мощным оборудованием и данными — это ключ к созданию более способных ИИ моделей. По его словам, несмотря на то, что Meta сейчас впереди, многие крупные игроки, скорее всего, тоже работают над кластерами с более чем 100,000 современными чипами.
Сравнение технологий
В марте Meta и Nvidia уже делились подробностями о кластерах из примерно 25,000 H100, которые использовались для разработки Llama 3. В июле Илон Маск похвалился своей компанией xAI, которая также совместно с X и Nvidia создала кластер из 100,000 H100.
| Модель | Количество H100 | Период |
|---|---|---|
| Llama 3 | 25,000 | Март 2023 |
| Llama 4 | 100,000+ | Ожидается 2024 |
Что ожидается от Llama 4?
Хотя Цукерберг не стал вдаваться в подробности о потенциальных новых возможностях Llama 4, он упомянул:
- «Новые модальности»;
- «Сильное рассуждение»;
- «Гораздо более быстрая работа».
Методы компании Meta
Подход Meta к ИИ оказывается непредсказуемым игроком в корпоративной гонке за доминированием. Модели Llama можно загружать полностью бесплатно, в отличие от моделей OpenAI, Google и большинства других крупных компаний, доступ к которым осуществляется только через API.
Лицензирование и ограничения
Хотя Meta позиционирует Llama как «открытый исходный код», лицензия на Llama накладывает некоторые ограничения на коммерческое использование модели. Также компания не раскрывает детали тренинга моделей, что ограничивает возможности внешних специалистов анализировать, как они работают.
История разработки
- Первая версия Llama выпущена в июле 2023 года;
- Последняя версия, Llama 3.2, стала доступна в сентябре 2023 года.
Теперь сообщество стартапов и исследователей активно использует модели Llama, стремясь иметь полный контроль над своими моделями, данными и затратами на вычисления.
Заключение
Модель Llama 4 обещает произвести серьезные изменения на рынке ИИ. С её значительной вычислительной мощью и новыми возможностями она может стать важным инструментом для разработчиков и исследователей, стремящихся улучшить свои проекты.