После долгих 10 месяцев слухов, утечек и спекуляций от различных энтузиастов ИИ компания OpenAI наконец анонсировала свою долгожданную модель генерации видео — Sora.
Несколько дней назад ИИ-сообщество ожидало запуска Sora, и я был одним из тех, кто постоянно просматривал Sora.com, как преданный фанат кроссовок, пытающийся заполучить эксклюзивные модели.
Если у вас нет доступа к сайту, вы можете ознакомиться со списком поддерживаемых стран здесь. Возможно, вам придется использовать VPN, если вашей страны нет в списке.
Честно говоря, я не ожидал многого от Sora. Прошло почти 10 месяцев с момента получения серьезных новостей о видео модели от OpenAI, и с учетом того, что такие новшества, как Kling AI, Runway Gen-3 и Hailou AI, стали популярными, я полагал, что Sora опоздает.
Тем не менее, после просмотра некоторых результатов, которые пользователи поделились, я впечатлен. Возможно, она действительно сможет опередить этих соперников.
Хотя мои первые впечатления об образцах были положительными, это еще не означает, что я готов к покупке. Есть множество факторов, которые влияют на выбор инструментов ИИ для видео:
-
Поддерживаемые исходные медиа (текст, изображения и видео)
-
Скорость генерации
-
Качество результата (разрешение, согласованность и продолжительность)
-
Элементы управления редактированием (расширение, обрезка, объединение и т. д.)
-
Ценовая политика
Именно на этих аспектах я сосредоточился. Я хочу понять, достаточно ли возможностей у Sora, чтобы обосновать ее использование и, в конечном счете, оправдать плату за нее.
Что такое Sora?
Если вы слышите о ней впервые, то Sora — это инструмент ИИ для генерации видео от OpenAI, который может создавать короткие клипы из текста, изображений и даже других видео.
В начале этого года OpenAI представила предварительную версию Sora, рассказав о своих успехах в «моделировании мира», по сути, обучая модель понимать и воспроизводить аспекты физической реальности.
Теперь Sora Turbo, более быстрая и усовершенствованная версия, попадает на рынок как отдельный продукт, доступный пользователям ChatGPT Plus и Pro на сайте Sora.com.
Как работает Sora
С помощью Sora Video Editor вы можете создавать видеоролики длительностью до 20 секунд с хорошим визуальным качеством, следуя вашим запросам.
Вот базовый процесс:
В нижней части экрана вы можете ввести текстовое описание желаемого видео.
Если вы хотите начать с существующего изображения или видео, нажмите на «+» в поле ввода, чтобы загрузить свой файл. Помните, что права на всё загружаемое должны принадлежать вам, и вы не можете загружать изображения или видео других людей без их явного письменного согласия.
Перед нажатием кнопки «submit» просмотрите и скорректируйте настройки. Вы можете изменить соотношение сторон, разрешение, продолжительность и количество вариаций. Эти параметры повлияют на стоимость вашей генерации. Наведите курсор на значок «?», чтобы узнать, сколько кредитов будет потрачено при выбранных вами настройках.
После введения вашего запроса Sora начнет его обработку, что может занять до минуты. Вы можете следить за процессом генерации видео, нажав на значок в правом верхнем углу страницы.
После генерации видео наведите курсор на превью в библиотеке, чтобы увидеть все вариации.
Нажмите на конкретную вариацию для более детального просмотра и доступа к инструментам редактирования. Вы сможете доработать, переработать или расширить созданный клип, исходя из того, что создала Sora.
Это выглядит впечатляюще и напоминает мне инструменты редактирования видео от Kling, Runway или RenderNet AI.
Примеры видеороликов
Теперь давайте рассмотрим некоторые видеоролики, созданные с помощью Sora, и мои мысли о каждом из них.
Промпт: Мирная и потусторонняя сцена открывается с высокой степенью цифровой четкости, охватывая минималистский пляж на закате, где модно одетые фигуры отдыхают на плавающих стульях из тонких тростников, парящих над нежными волнами; океан излучает эти небесные частицы дыма, которые поднимаются и образуют абстрактные узоры в воздухе; биолюминесцентный планктон в воде мягко светится, освещая сцену магическим светом, пока стулья без усилий дрейфуют вдоль береговой линии.
Дым и всплески воды выглядят невероятно детализированными. Мне также нравится, как предметы ведут себя, плавая по воде. Похоже, что Sora знает, как объекты должны двигаться и взаимодействовать в физической среде.
Промпт: Киты взмывают в небо. (Легкий ремикс): сделайте видео более ярким, а бабочек более цветными.
Это непростая задача, так как нужно не просто добиться реалистичности в видео, но и сделать его красивым и ярким. Тем не менее, Sora справилась с этой задачей.
Бабочки выглядят более насыщенными, и вся сцена кажется более сказочной, словно из сказки. Она не обязана подчиняться законам физики реального мира, но при этом выглядит профессионально и эффектно.
Промпт: Японский зимний рынок (раскадровка)
Генерация людей — это всегда сложная задача для ИИ-видео моделей. Даже здесь я замечаю некоторые странные шероховатости — ногти выглядят ненормально, а конечности могут быть неправильно расположены. Большинство существующих моделей не справляются с анатомией человека, и Sora не является исключением. Она не идеальна, но я замечаю некоторые улучшения по сравнению с тем, что я видел ранее.
Промпт: К хаосу атакует Кракен. Сцена туманная с резким контрастом цветов, атмосфера захвачена в качестве найденных кадров с низкой видимостью, создавая ощущение непосредственности и хаоса.
На этом примере Sora продемонстрировала способность создавать определенное настроение. Туманный фон, контраст и ощущение найденных кадров — все здесь соответствует высокому уровню. Это может подойти для трейлера фильма или короткометражного ролика. Впечатляет, что Sora может работать с такой кинематографической эстетикой.
Промпт: Зоомагазин Bling Zoo (раскадровка). Магазин “bling zoo” в Нью-Йорке — это как ювелирный магазин, так и зоопарк.
ИИ-модели часто имеют трудности с текстом, и Sora — не исключение. Хотя сцена в целом выглядит неплохо, орфография нарушена, а текст имеет неточности. Это стандартная проблема для генераторов изображений. Рендеринг текста остается серьезной проблемой.
Ключевые особенности Sora
Одна из вещей, которая привлекает мое внимание, — это интерфейс, разработанный OpenAI для Sora. Они не просто предоставили поле для ввода запроса и на этом остановились. Они предложили множество инструментов: инструмент раскадровки, Remix, Recut, Loop, Blend и предустановки стилей.
-
Remix. Модификация сцены путем смены фона, замены объектов или добавления и удаления элементов.
-
Recut. Функция Recut позволяет укоротить и удлинить кадры видео.
-
Storyboard (раскадровка). Компоновка видео покадрово, что позволяет лучше контролировать сложные последовательности.
-
Loop и Blend. Loop создает непрерывную анимацию, в то время как Blend плавно объединяет два клипа в один.
-
Style Presets. Мгновенное применение предустановленного визуального стиля, например papercraft, без необходимости постоянно редактировать подсказки.
Как Sora выглядит по сравнению с конкурентами
Сейчас я ожидаю стабильного доступа. Из-за высокой нагрузки серверы перегружены, и новые пользователи не могут создавать видео. Если вы видите сообщение об ошибке, знайте, вы не одиноки.
Как только я получу доступ, я планирую сравнить Sora с Runway Gen-3 и Kling, используя одни и те же запросы, чтобы увидеть, какие результаты окажутся более согласованными и реалистичными.
А пока я хочу сравнить предварительно созданное видео Sora с Runway Gen-3. Вот пример видео, созданного с помощью Sora:
Промпт: семья бурых медведей сидит за столом и ест лососевый сашими с палочками.
Видео сгенерировано Sora
Этот 5-секундный ролик, представленный ниже, был сгенерирован в Runway.
Видео сгенерировано Runway Gen-3 Alpha
Судя по всему, результат Sora кажется более живым. Медведи не просто сидят на месте. Камера двигалась, и в сцене ощущалась активность. Напротив, версия Runway Gen-3 выглядит более статичной, почти как слегка анимированное изображение.
Также мне нужно узнать, действительно ли оговоренное «быстродействие» соответствует действительности. Первая исследовательская модель была медленной и затратной в использовании. Sora Turbo должна быть заметно быстрее, но «быстро» в контексте ИИ все еще может означать остановку на несколько минут для создания 20-секундного клипа.
Улучшится ли эта скорость со временем? Возможно.
Цены на Sora
Если вы хотите использовать Sora, в настоящее время она доступна через определенные планы подписки ChatGPT:
ChatGPT Plus ($20/месяц)
-
Вы сможете генерировать до 50 приоритетных видеороликов (1 000 кредитов) в месяц, создавать ролики с разрешением до 720p и длительностью до 5 секунд.
ChatGPT Pro ($200/месяц)
-
Вы сможете генерировать 500 приоритетных видео ежемесячно (10 000 кредитов), производить неограниченное количество видеороликов с разрешением до 1080p и длиной до 20 секунд. Также вы сможете запускать до 5 генераций одновременно, а загружаемые ролики будут без водяных знаков.
Сейчас многие ожидают стабильного доступа к Sora. Проблемы с серверной мощностью действительно расстраивают, и в социальных сетях полно пользователей, у которых возникают проблемы с регистрацией или генерацией видео.
Тем не менее, первые результаты работы Sora выглядят впечатляюще. Реалистичность и согласованность просто великолепны, и интересно поразмышлять о том, как это может повлиять на творческих личностей, режиссеров и всех тех, кто ищет возможность воплотить свои идеи в жизнь через видео.
Однако эти же возможности вызывают серьезные опасения. С такими реалистичными видео мы должны признать риск злоупотреблений: от фальшивых новостей до мошенничества и дипфейков.
Интересно, что техно-блогер Маркес Браунли заметил: когда он попросил Sora создать видео с участием технического обозревателя, в нем подозрительно появилось зеленое растение на столе, очень похожее на то, которое часто встречается в его собственных видео.
Было ли это странным совпадением или же данные для обучения OpenAI включали его работы, повторяя эти элементы? Трудно сказать однозначно, но это подчеркивает неопределенность, связанную с тем, как эти модели обучаются и что они могут случайно выявлять.
В любом случае, если они смогут наладить доступ, поддержать качество и создать сообщество, которое ответственно использует этот инструмент, Sora может стать главным инструментом для создания видео с ИИ, заменив Kling или Runway среди пользователей. Пока что я воздерживаюсь от окончательных выводов, пока не утихнет ажиотаж, серверы не заработают стабильно, и у меня не будет шанса по-настоящему попробовать Sora.
Еще больше полезного — в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
Спасибо за чтение!