Компания Google представила нейросеть Imagen Video для генерации видео высокой четкости на основе текстового запроса. Система может создавать также анимационные ролики в различных стилях и вращающиеся 3D-объекты.

В нейросети применен каскад моделей, то есть процесс создания итогового варианта проходит в несколько этапов. Так, на одном из промежуточных этапов базовая модель генерирует ролик в 16 кадров с разрешением 24 × 48 пикселей и частотой три кадра в секунду. Затем подключаются другие модели (Temporal Super-Resolution и Spatial Super-Resolution) для повышения частоты дискретизации – и на выходе получается видео из 128 кадров с разрешением 1280 × 768 пикселей и частотой 24 кадра в секунду. Ролик длится 5,3 секунды.

Доступ к нейросети Imagen Video пока закрыт, так как Google пока работает над защитой системы от попыток создания неправомерного контента. Однако компания выложила на сайт примеры видео, а также документ с техническим описанием системы.

Напомним, в мае Google разработала нейросеть Imagen, которая генерирует изображения по текстовому описанию. А в конце августа компания DeepMind («дочка» Google) представила нейронную сеть, которая создает короткие видеоролики из одного изображения.

Источник: компания Google