Видеомодель Adobe AI уже здесь, и она уже в Premiere Pro

Adobe делает переход к генеративному видео с использованием искусственного интеллекта. Видеомодель Firefly компании, о которой дразнили с начала этого года, сегодня запускается с несколькими новыми инструментами, в том числе некоторыми прямо внутри Premiere Pro, которые позволят творческим людям расширять отснятый материал и создавать видео из неподвижных изображений и текстовых подсказок.

Первый инструмент — Generative Extend — запускается в бета-версии для Premiere Pro. Его можно использовать, чтобы продлить конец или начало кадра, который немного короче, или внести коррективы в середине кадра, например, чтобы исправить смещение линий глаз или неожиданное движение.

Клипы можно продлить только на две секунды, поэтому Generative Extend действительно подходит только для небольших настроек, но это может заменить необходимость повторной съемки для исправления мелких проблем. Расширенные клипы могут создаваться в разрешении 720p или 1080p при частоте 24 кадра в секунду. Его также можно использовать для аудио, чтобы сгладить редактирование, хотя и с ограничениями. Например, это продлит звуковые эффекты и окружающий «тон комнаты» на десять секунд, но не разговорные диалоги или музыку.

В сети запускаются еще два инструмента для создания видео. Инструменты Adobe для преобразования текста в видео и изображения в видео, впервые анонсированные в сентябре, теперь выпускаются в виде ограниченной общедоступной бета-версии в веб-приложении Firefly.

Преобразование текста в видео работает аналогично другим генераторам видео, таким как Runway и Sora от OpenAI — пользователям просто нужно добавить текстовое описание того, что они хотят сгенерировать. Он может имитировать различные стили, такие как обычный «настоящий» фильм, 3D-анимация и покадровая анимация, а сгенерированные клипы можно дополнительно усовершенствовать с помощью набора «элементов управления камерой», которые имитируют такие вещи, как ракурс камеры, движение и расстояние съемки.

Функция «Изображение в видео» идет еще дальше, позволяя пользователям добавлять эталонное изображение рядом с текстовой подсказкой, чтобы обеспечить больший контроль над результатами. Adobe предполагает, что это можно использовать для создания видеороликов из изображений и фотографий или для визуализации повторных съемок, загрузив кадр из существующего видео. Однако приведенный ниже пример «до» и «после» показывает, что на самом деле это не позволяет напрямую заменить повторные съемки, поскольку в результатах видны некоторые ошибки, такие как раскачивание кабелей и смещение фона.

В ближайшее время вы также не будете снимать целые фильмы с помощью этой технологии. Максимальная продолжительность клипов «Текст-видео» и «Изображение-видео» в настоящее время составляет пять секунд, а максимальное качество составляет 720p и 24 кадра в секунду. Для сравнения, OpenAI утверждает, что Sora может генерировать видео продолжительностью до минуты, «сохраняя при этом визуальное качество и следуя указаниям пользователя» — но это пока недоступно для публики, несмотря на то, что было анонсировано за несколько месяцев до появления инструментов Adobe.

Генерация текста в видео, изображения в видео и генеративного расширения занимает около 90 секунд, но Adobe заявляет, что работает над «турбо-режимом», чтобы сократить это время. Какими бы ограниченными они ни были, Adobe утверждает, что ее инструменты, основанные на видеомодели искусственного интеллекта, «коммерчески безопасны», поскольку они обучены работе с контентом, который креативному программному гиганту было разрешено использовать. Данные модели от других провайдеров, таких как Runway, тщательно проверяются на предмет того, что они якобы обучаются на тысячах скопированных видео с YouTube — или, в случае с Meta, возможно, даже на ваших личный видео — коммерческая жизнеспособность может оказаться решающим фактором для некоторых пользователей.

Еще одним преимуществом является то, что видеоролики, созданные или отредактированные с использованием видеомодели Adobe Firefly, могут быть встроены в учетные данные контента, чтобы помочь раскрыть права использования и владения ИИ при публикации в Интернете. Неясно, когда эти инструменты выйдут из бета-версии, но, по крайней мере, они общедоступны — а это больше, чем мы можем сказать о генераторах Sora от OpenAI, Movie Gen от Meta и генераторах Veo от Google.

О выпуске видео с использованием искусственного интеллекта было объявлено сегодня на конференции Adobe MAX, где компания также представляет ряд других функций на основе искусственного интеллекта в своих творческих приложениях.