Компания OpenAI создала новую версию DALL-E, своей ИИ-программы преобразования текста в изображение, сообщает The Verge. DALL-E 2 отличается более высоким разрешением и меньшей задержкой при генерации изображений по описанию пользователя. Кроме того, у обновленной нейросети есть дополнительные опции, такие как редактирование существующей картинки.

Одна из новых функций DALL-E 2 – рисование – дает возможность преобразовывать текст в изображение на более детальном уровне. Пользователи могут выбрать область на уже имеющемся изображении – и модель отредактирует его. Например, можно заменить картину на стене или поставить вазу с цветами на журнальный столик. Модель может добавлять (или удалять) объекты с учетом таких деталей, как направление теней в комнате.

Другая опция – вариации – похожа на инструмент поиска картинок, которых не существует. Пользователи могут загрузить изображение, а затем сгенерировать ряд похожих на него вариантов. Можно смешивать две картинки, создавая изображения, в которых есть элементы обеих.

Сгенерированные изображения имеют размер 1024 x 1024 пикселя, что является скачком по сравнению с 256 x 256 пикселями в исходной модели. Оригинальный DALL-E дебютировал в январе 2021 года.

DALL-E 2 основан на системе компьютерного зрения CLIP от OpenAI, которая была разработана в прошлом году для просмотра изображений и обобщения их содержимого таким образом, как это сделал бы человек. На ее основе компания создала «unCLIP» — перевернутую версию, которая начинается с описания и движется к изображению.

Чтобы получить доступ к DALL-E 2, нужно зарегистрироваться онлайн (вы попадаете в лист ожидания). Позже компания планирует сделать возможным использование инструмента в сторонних приложениях.

Напомним, в конце прошлого года «Сбер» представил первую нейросеть, генерирующую изображения по текстовому описанию на русском языке: в основу ruDALL-E положена архитектура DALL-E.

Все изображения: OpenAI. Изображение на обложке — результат DALL-E 2 на «тарелку супа, которая похожа на монстра, связанного из шерсти»