Adobe Firefly: ИИ для создания видео, музыки и речи

Adobe вывела на новый уровень возможности своего сервиса Firefly, интегрировав искусственный интеллект практически во все аспекты постобработки видео и изображений. Обновленное приложение теперь умеет генерировать не только саундтреки, речь и видеоклипы, но и помогает в мозговом штурме и монтаже.

Хотя многие создатели контента могут скептически относиться к настолько глубокой интеграции ИИ, Adobe позиционирует Firefly как инструмент, расширяющий человеческое творчество, а не заменяющий его.

До недавнего времени Firefly в основном служил генератором контента. Теперь же Adobe представила Firefly Video Editor — инструмент, находящийся в закрытом бета-тестировании. Этот веб-редактор с многодорожечной временной шкалой, напоминающий Adobe Premiere Pro, позволяет создавать, упорядочивать, обрезать и монтировать клипы, добавлять озвучку, музыкальное сопровождение и титры. Пользователи могут организовывать существующий контент Firefly или создавать новый прямо в редакторе, используя предустановки, такие как claymation, anime и 2D, а также комбинировать его с отснятым материалом. Редактирование возможно с «покадровой точностью или с помощью встроенной транскрипции».

Помимо видео, Firefly теперь избавляет от необходимости ручного создания озвучки и музыки. Новый сервис Generate Soundtrack, работающий на базе Firefly Audio Model, представляет собой ИИ-генератор музыки. Пользователи могут выбрать стиль или позволить ИИ подобрать подходящую композицию к загруженному клипу, точно синхронизируя ее с видеорядом.

Сервис Generate Speech выполняет аналогичную функцию для озвучки. Он предлагает выбор между собственной моделью Adobe и моделью ElevenLabs, позволяя создавать «реалистичные голоса на нескольких языках» с возможностью тонкой настройки эмоций, темпа и акцентов для естественной и выразительной речи.

Adobe также расширяет доступ к инструменту Firefly Creative Production, делая его доступным в приложении Firefly в рамках закрытого бета-тестирования. Это комплексная система пакетной обработки изображений на базе ИИ, которая позволяет создателям монтировать клипы, автоматически заменять фон, применять единообразную цветокоррекцию и кадрировать изображения с помощью интерфейса, управляемого запросами и не требующего навыков программирования.

Появился также Firefly Boards — «интеллектуальная поверхность для генерации идей» для мозгового штурма. Функция «Rotate Object» позволяет преобразовывать 2D-изображения в 3D, давая возможность позиционировать объекты и персонажей в различных позах и вращать их под новыми углами. Другие функции, такие как экспорт в PDF и массовое скачивание изображений, ускоряют процесс обмена визуальными концепциями между проектами.

Наконец, Prompt to Edit (уже доступен в Firefly) — это диалоговый интерфейс редактирования, позволяющий использовать обычный язык для описания желаемых изменений в изображении, подобно тому, как текстовые генераторы изображений, такие как Midjourney, создают новые картинки.

С возможностью Firefly обрабатывать все аспекты продакшена, возникает вопрос о возможном наводнении интернет-платформ контентом низкого качества, созданным ИИ. Стоимость подписок на Firefly начинается от 10 долларов в месяц за базовый план (20 коротких видео), 20 долларов в месяц за план Pro (40 коротких видео) и 199 долларов за премиум-план (неограниченное количество видео). До 1 декабря 2023 года Adobe предоставляет бесплатный доступ к генерации изображений и видео (с некоторыми ограничениями) всем пользователям Firefly и Creative Cloud Pro.