Новая модель Runway может трансформировать существующее видео по текстовому запросу

Runway выпустила новую AI-модель для видео, которая может редактировать существующий материал по текстовым подсказкам — в отличие от генерации синтетического видео с нуля.

Впечатляющее промо-видео, которое Runway опубликовала для своей новой модели, названной Aleph, может заинтересовать кинематографистов.

Например, кадр с человеком у окна можно повторить, набрав в подсказке «Покажи другой ракурс этого видео», и AI-модель создаст на основе существующего видео другой ракурс той же сцены.

Вряд ли это будет работать идеально каждый раз, но если модель сможет хотя бы приближенно повторять видео из промо, это уже будет полезно.

Кроме создания новых ракурсов камеры, Runway Aleph может сгенерировать следующий кадр в последовательности из исходного видео.

Также есть функция «Перенос стиля», которая позволяет преобразить любое видео в нужной эстетике.

Погоду, локацию, сезон и время суток также можно менять. Например, видеоклип парка в солнечный день можно преобразить так, чтобы там шёл дождь.

В существующее видео можно добавлять элементы — фейерверки, деревья, дополнительных персонажей и толпу. «Просто опишите, что хотите, или приложите референсное изображение, и наблюдайте, как это естественно появится в вашем видео с правильным освещением, тенями и перспективой», — пишет Runway в своём блоге.

Aleph также может удалять или менять объекты в сцене. Это касается людей и их отражений. Объекты можно трансформировать. Runway приводит пример видео с машиной, едущей по дороге, которая меняется на лошадь с повозкой.

Если нужно изменить внешний вид человека, сделать его старше или моложе, это тоже возможно с Aleph.

Если съёмка была сделана в неподходящее время суток, модель может преобразовать ночь в день и наоборот.

Runway открыто заявляет о своих амбициях изменить Голливуд с помощью своих продуктов, и легко понять, почему кинематографисты могут предпочесть Aleph, а не переснимать сцену из-за ошибки. Aleph уже доступен для аккаунтов Runway Enterprise.