Как генерировать реалистичные видео с нейросетью Adobe Firefly Video

Firefly Video — это модель для генерации видео, которую Adobe (та самая, которая Photoshop и Acrobat) внедрила в свой нейросетевой комбайн Firefly. Последний исходно был известен исключительно как генератор изображений с акцентом на реалистичность портретов людей. Постепенно функций стало больше: появилась генеративная заливка в онлайн-формате, отдельный режим для векторной графики, перевод аудио и видео на другие языки и не только. 

Генератор видео был вопросом времени, и это время пришло: осенью 2024 года запустили Firefly Video. Его превознесли в обзорах и назвали конкурентом Sora от OpenAI, но тут история больше напоминает сравнение любого нового чат-бота с ChatGPT.

Сервис от Adobe выделяется простейшим интерфейсом и большим количеством настроек для постановки кадра: можно выбирать положение камеры, крупность плана, схему движения камеры. 

Создавать видео можно двумя путями: оживлять существующие картинки или сначала генерировать визуал с картиночной Firefly в нужном стиле. В статье расскажу, как это делать, и покажу, что можно получить на выходе.

Как получить доступ к нейросети

На момент написания статьи Firefly Video можно без проблем пользоваться, но пока в бета-режиме: модель ещё обкатывается. Есть нюанс: с российских IP-адресов сайт сервиса открывается, но доступа к генераторам картинок и видео нет, потому что в стране функция не представлена.

Если находитесь не в России, достаточно зайти на официальный сайт и нажать кнопку Sign In в верхней правой части страницы. 

Войти можно через аккаунты Google, Apple, соцсеть-чьё-имя-нельзя-называть или обычную почту. При регистрации аккаунта Adobe может потребоваться указать дополнительные данные: страну, имя и дату рождения. Эти данные не нужно никак подтверждать, так что вводить можно любые. 

При регистрации нового аккаунта через один и тот же браузер Adobe периодически не выдаёт кредиты для бесплатной генерации на новую учётку. При использовании отдельного браузера под каждый аккаунт эта проблема не проявлялась, так что есть смысл принять такую меру предосторожности или хотя бы чистить cookie-файлы при переходе. Я тестировала оба варианта, всё сработало.

Как генерировать видео с Adobe Firefly Video

После входа в аккаунт Adobe достаточно перейти на страницу firefly.adobe.com и нажать кнопку Video на главной. Здесь доступны три опции: Text to video, Text to image и Translate video. То есть генерация видео по промпту, изображению либо перевод видео. 

Нас интересуют две первые опции, но не имеет значения, какую плашку вы выберете: редактор открывается один и тот же.

По умолчанию в окне всегда появляется либо последнее сгенерированное видео, либо демо-видео. Это просто визуализация, с самим роликом вы никак не будете взаимодействовать. 

Самые важные настройки находятся снизу: это поле для ввода промпта и кнопки для загрузки первого и последнего кадра видео (если они у вас есть). Добавить только конечный кадр нельзя, а вот только первый — без проблем. В промпте прописывайте, кто, как и что именно делает. Если исходника-изображения нет, опишите объект и сцену настолько детально, насколько это необходимо. Пишите на английском: с русским Firefly технически работает, но точность намного ниже, чем с английским.

Слева находятся три блока настроек: основные, камера, расширенные. В основных можно менять только ориентацию видео (горизонтальные в 1 920 × 1 080 или вертикальные в 1 080 × 1 920 пикселей), в расширенных — только выбирать Seed.

В параметрах камеры всё уже интереснее. Можно выбрать:

• План кадра (Shot size) — от очень крупного до дальнего. От настройки зависит, сколько окружения поместится в кадр помимо главного объекта.
• Положение камеры (Camera angle) — вид сверху, съёмка с низкого ракурса и так далее.
• Движение камеры (Motion) — приближение, отдаление, налево, направо, наклон вверх или вниз, статичное положение, имитация съёмки с рук.

То есть если в промпте вы прописываете, что происходит, то в настройках камеры выбираете, как это действие снято. Если вам это неважно, настройки можно игнорировать.

После генерации одного видео важно очистить не только промпт и загруженную картинку, но и значение в поле Seed — если не хотите генерировать видео с теми же параметрами и в том же визуальном стиле. 

Готовый ролик можно загрузить, нажав на кнопку Download. Файлы скачиваются в MP4 и не имеют водяных знаков сервиса.

Как писать промпты

На сайте Adobe есть целая инструкция по промптингу, но на самом деле это универсальные рекомендации, которые актуальны для любых нейронок для генерации фото и видео.

• Описание кадра — где находится камера (на каком расстоянии от объекта, сверху, снизу и так далее) и как она двигается. Можно заменить фиксированными настройками камеры, если среди них есть подходящие варианты.
• Персонаж — описывайте так подробно, как вам это важно. Это может быть хоть «пугающая кукла», хоть «высокодетализированная винтажная фарфоровая кукла с белой кожей, иссиня-чёрными волосами и традиционной японской одеждой, поперёк её лица идёт тонкая трещина».
• Действие — что персонаж делает и как взаимодействует с окружением. Например: «улыбается», «машет рукой», «выполняет трюк на скейтборде» и так далее.
• Место — всё, что вокруг. Укажите общую характеристику (городской пейзаж, мрачная деревня, современный интерьер) и дайте все нужные подробности. Например: мрачная деревня в греческом стиле с полуразвалившимися домами, вдали виден старый маяк.
• Эстетика — всё, что влияет на атмосферу кадра или описывает использованную оптику. Например: «кадр из фильма», «плёнка 35 мм», «размытый фон с боке».

Это не означает, что вам нужно прописывать каждую деталь в каждом промпте: если подробности не важны, можно оставить всё на откуп нейронке и описать запрос короткой фразой. Главное — не удивляться, что результат не соответствует видению, если это видение вы толком не расписали.

Какие получаются видео

Firefly Video хорошо справляется с тем, что можно отнести к сильным сторонам любой подобной нейронки: оживлением изображений с минимальной динамикой, пейзажами и кадрами, где объект относительно статичен, а его просто облетает камера.

На вау-эффект играет не сама Firefly Video, а модель для генерации картинок Firefly Image Model 3: она даёт качественные кадры, которые улучшают общее впечатление от видео. При этом я всё равно советую генерировать исходную картинку отдельно через тот же Firefly или аналоги вроде Flux и Ideogram, а видеомодель использовать для её оживления. В условиях скромных лимитов на генерацию имеет смысл взять отбор в свои руки, а не отдавать весь процесс на откуп нейронке.

Конечно, отличный исходник не гарантирует безупречную анимацию. Вот пример генерации по запросу «Рыжий кот медленно потягивается и зевает на залитом солнце подоконнике» без загруженной картинки:

А вот — видео с тем же промптом, но со стартовым кадром, сгенерированным через картиночную Firefly:

В обоих видео — не только какое-то древнее зло при зевании, но и полное игнорирование запроса на потягивание кота. 

Как я упоминала, с простыми движениями, нацеленными на оживление картинки (дыхание, улыбка и так далее) Firefly Video справляется неплохо. Более того, в процессе даже неплохо сохраняется портретное сходство (хотя некоторые промежуточные кадры всё равно выглядят не очень).

Промпт: a beautiful girl smiling calmly while tilting her head a little.

От нейронки реально получить приличного вида анимации для спецэффектов, которые можно потом использовать в программах видеомонтажа, но здесь однозначно стоит загружать первый кадр: в заданный стиль попадает очень плохо.

Промпт: 2d animation of a cartoonish flame swirling with particles, bright, colorful, isolated background.

Вот больше примеров готовых роликов без исходной картинки:

Промпт: a bright red flower blooming and withering on a loop (наглядно демонстрирует, что зацикливать видео Firefly Video не умеет).

Промпт: cinematic action scene, a group of giant mechs is invading the city, they are menacing, giant black and yellow mechs, yellow and orange matte armor, a dystopian future, in the street of a destroyed city, rubble, fires, decayed buildings, desolate, ominous, high quality, high details, volumetric lighting.

Промпт: a dramatic low-angle shot of a desolated city ruins with greenery and lians on long deserted buildings, dystopian, Nier Automata style.

Промпт: a stuffed toy waving its hand happily.

Сколько можно сгенерировать бесплатно

Судя по FAQ и предупреждению в интерфейсе, Adobe планирует сделать создание видео премиальной функцией, которая будет доступна только пользователям с платной подпиской. На этапе бета-тестирования владельцы бесплатных аккаунтов могут создавать по два пятисекундных ролика.

Эти два ролика не влияют на базовые кредиты генерации, которые расходуются при создании картинок. Правда, в описании планов эти лимиты нормально не прописаны, а с бесплатным тарифом посмотреть остаток кредитов в профиле нельзя. Вероятно, это временно сломано из-за изменения тарифной сетки с релизом Firefly Video, но ситуация всё равно неприятная: пользователям без подписки можно лишь гадать, сколько и чего они могут генерировать и когда обновляются их лимиты.

В платной версии остаток отображается при клике на иконку профиля в правом верхнем углу. Раньше такой счётчик был и для бесплатных аккаунтов, но с одним из обновлений он пропал.

Для примерной оценки оставшихся лимитов можно открыть вкладку Files на главной Adobe Firefly. Клик по ней покажет список последних сгенерированных файлов: будет сразу понятно, много ли вы сделали за последний месяц. 

Что в итоге

Всем, за что хочется хвалить Firefly Video, нейронка на самом деле обязана моделью для генерации изображений. На неё не страшно положиться, если нет исходника: как правило, качество картинок на уровень выше, чем в аналогах. Поэтому готовое видео может выглядеть симпатичнее, чем в Runway ML или Kling, но собственно качество роликов ничем не выделяется.

Сервис хорошо справляется с созданием простых движений с минимальной амплитудой и спецэффектов (но даже тут может косячить в переходных кадрах) и, как и все аналоги, выдаёт не лучшие динамичные движения объектов. Но портретное сходство внутри ролика сохраняется, и это большой плюс. К движениям камеры вопросов нет, но это и неудивительно: они отработаны и вынесены в отдельные настройки редактора.

Кстати, о редакторе: в Firefly Video максимально упростили интерфейс, убрав из него всё лишнее. Кому-то может показаться, что редактор даже слишком куцый, — тут важно помнить, что сервис ещё в бете. Но хотя бы ползунок для степени интенсивности движений тут точно не помешает.

В минусы однозначно идёт кривейшая система кредитов и лимитов генерации в бесплатной версии. В текущем варианте невозможно чётко понять, сколько ещё вы можете сделать, — до тех пор, пока не упрётесь в лимит и вам любезно не предложат заплатить за подписку, чтобы пользоваться Firefly дальше. В очередной раз повторюсь, что раньше всё было прозрачно и к стабильному релизу, скорее всего, всё починят, но в текущем варианте игнорировать это невозможно.

Ну и не буду игнорировать слона в комнате: этот генератор, по сути, платный, а бесплатный доступ ну очень скупой: чтобы просто распробовать возможности, нужно потратить все пробные попытки с нескольких аккаунтов. При этом даже если агрессивно промптить, создавать новые учётки или оплачивать подписку, результат будет не то чтобы крутым: Firefly Video выдаёт примерно то же нейросетевое месиво, что и все коллеги по цеху, и есть ощущение, что в отзывах ему прощают больше, чем следовало бы.