YandexART 2.0: новое поколение диффузионной нейросети, которая генерирует еще более реалистичные изображения

Компания Yandex представила обновленную версию своей нейросети YandexART 2.0, которая теперь использует гибридную технологию. Данная модель научилась не только добавлять текст на изображения, но и сочетать несколько разных стилей, более реалистично расставлять предметы в пространстве. А кроме этого, сможет учитывать больше деталей в запросе. Любой желающий сможет использовать представленные функции для своего бизнеса, повышения рекламных и маркетинговых стратегий.

Как делится компания, в основе YandexART 2.0 лежит новая гибридная технология. В ней органично совмещены функции сверточной и трансформенной нейросетей. Например, сверточная вылавливает только основные элементы, но с обработкой большого количества слов не справляется. А трансформенная нейросеть – наоборот. И благодаря такому соединению получается система, которая без труда генерирует изображения с ловким применением нескольких стилей.

Для обучения модели разработчики использовали сотни миллионов картинок и текстов к ним. Yandex также подключили свою VLM-модель, чтобы поработать с точностью этих текстов. Также компания постаралась расширить обучающий датасет, чтобы YandexART 2.0 могла генерировать надписи на картинках латиницей.