В исследованиях преобразования видео в аудио используются видеопиксели и текстовые подсказки для создания насыщенных саундтреков.
Модели генерации видео развиваются невероятными темпами, но многие современные системы могут генерировать только тихий вывод. Одним из следующих важных шагов на пути к воплощению в жизнь сгенерированных фильмов является создание саундтреков к этим немым видеороликам.
Сегодня мы делимся прогрессом в нашей технологии преобразования видео в аудио (V2A), которая делает возможной синхронизированную генерацию аудиовизуального контента. V2A сочетает видеопиксели с текстовыми подсказками на естественном языке для создания насыщенных звуковых ландшафтов для действий на экране.
Наша технология V2A совместима с моделями генерации видео, такими как Veo, для создания кадров с драматическим саундтреком, реалистичными звуковыми эффектами или диалогами, соответствующими персонажам и тону видео.
Он также может создавать саундтреки для ряда традиционных материалов, включая архивные материалы, немые фильмы и многое другое, что открывает более широкий спектр творческих возможностей.