Понимание видео с помощью ИИ
Модели ИИ, которые понимают видео так же хорошо, как текст, могут открыть мощные новые приложения. По мнению Джея Ли, соучредителя Twelve Labs, в этом есть много перспектив.
Что такое Twelve Labs?
Twelve Labs обучает модели для анализа видео и предлагает множество возможностей:
- Поиск конкретных моментов в видео
- Суммирование кадров
- Ответы на вопросы, например: «Когда человек в красной рубашке вошел в ресторан?»
Благодаря этим возможностям, Twelve Labs привлекла внимание таких компаний, как Nvidia, Samsung и Intel.
Поиск видео
Ли, как ученый-данные, считает, что базовый поиск видео никогда не имел смысла. Ключевые слова могут находить заголовки и описания, но не могут выделить контент кадров. Он отметил:
“Видео — это самый быстрорастущий и требовательный к данным медиум, но большинство организаций не готовы выделять человеческие ресурсы на анализ всех своих архивов видео.”
После неудач с поиском решения, Ли собрал команду и создал Twelve Labs, которая обучает модели сопоставлять текст с тем, что происходит в видео.
Уникальность моделей Twelve Labs
Модели, такие как Gemini от Google, могут анализировать видео, однако Ли утверждает, что продукты Twelve Labs выделяются своей возможностью настройки с использованием собственных данных клиентов.
Он подчеркнул:
“Наше отличие в том, что мы изначально нацелены на видео… Мы считаем, что видео заслуживает нашего полного внимания.”
Этика и bias в моделях
Важной темой является потенциальный bias в моделях Twelve Labs. Ли заявил, что компания планирует выпустить наборы данных для оценки этики моделей.
- В настоящее время модели тестируются на наличие bias.
- Twelve Labs использует как открытые, так и лицензированные данные для обучения.
Расширение возможностей
Twelve Labs продолжает развиваться и исследует новые направления, включая:
- Поиск «любое-в-любое»
- Модели многомодальных встраиваний
Одной из новых моделей является Marengo, которая может осуществлять поиск по изображениям и аудио, принимая любые ссылки, чтобы облегчить поиск.
Партнеры и клиенты
Twelve Labs привлекла известных клиентов в сфере предприятий, медиа и развлечений:
- Databricks и Snowflake интегрируют инструменты Twelve Labs в свои решения.
- 12 000 разработчиков используют платформу Twelve Labs.
Финансирование и новые назначения
В этом месяце компанию поддержали инвестициями на сумму $30 миллионов, что увеличило общее финансирование до $107.1 миллионов. Это позволит продвигать разработку продуктов и нанимать новых сотрудников.
Новые назначения в компании
Twelve Labs также объявила о назначении нового президента — Йона Кима, бывшего CTO SK Telecom и одного из создателей Siri. Он будет ответственен за стратегическое расширение стартапа.
Будущее Twelve Labs
Ли считает, что в ближайшие годы компания будет развиваться в новых и смежных вертикалях, таких как:
- Автомобильная промышленность
- Безопасность
Инвестиции от In-Q-Tel указывают на потенциальное применение технологий Twelve Labs в областях национальной безопасности.
Таким образом, Twelve Labs находится на пути к значительному расширению своих возможностей в будущем, продолжая придерживаться этических стандартов.