Компания Google представила Lumiere — систему искусственного интеллекта для создания видео. Новая нейросеть способна генерировать пятисекундные ролики с разрешением 1024 на 1024 пикселей.

Что можно делать с помощью Lumiere:

✓ генерировать видео на основе текстового запроса или изображения,

✓ создавать анимацию, называемую синемаграфией, в которой только некоторые элементы движутся, а другие остаются статичными,

✓ редактировать существующие ролики.

Под капотом Lumiere — две отдельные модели ИИ. Первую исследователи Google назвали Space-Time U-Net: она генерирует первоначальный клип с низким разрешением по запросу пользователя. Вторая ИИ-модель повышает качество этого ролика до 1024х1024 пикселей.

По данным Google, модель Space-Time U-Net, создающая исходное видео с низким разрешением, основана на диффузионной архитектуре, которая лежит в основе многих самых популярных ИИ-генераторов изображений на рынке.

Однако в отличие от более ранних моделей, генерирующих видео, Space-Time U-Net использует другой подход к задаче. Системы ИИ обычно сначала создают первое и последнее изображения для видео, а затем добавляют оставшиеся кадры в последовательности. Пространственно-временная сеть U-Net делает ролик за один проход, а не по частям. В Google утверждают, что этот подход позволяет Lumiere выдавать видео более высокого качества, в сравнении с другими ИИ-генераторами.

Результаты работы Lumiere можно посмотреть на сервисе GitHub.

Текст: Майя Цветкова

Источник: SiliconANGLE

Изображения: Google

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!