«Сбер» добавил в нейросеть Kandinsky аналог генеративной заливки из Photoshop

«Сбер» представил большое обновление генеративной нейросети Kandinsky. С обновлением до Kandinsky 3.0 значительно улучшилась генерация иллюстраций, а новая Kandinsky Video первой из российских нейросетей способна создавать видеоролики.

Начнём с Kandinsky 3.0. Главным нововведением по сравнению с версией 2.2 стало улучшенное распознавание запросов: генерация теперь точнее соответствует промпту без ущерба качеству. Кроме того, кратно увеличилось качество понимание запросов на тему отечественного культурного кода — героев советских и российских фильмов и мультиков. Разницу наглядно показали на запросах с Чебурашкой и домовёнком Кузей:

Также показали сравнение со старыми версиями Kandinsky и другими популярными моделями — Midjourney (подписана как MJv.52), Stable Diffusion XL (SDXL) и DALL‑E 3. Вот результаты генерации по запросу “красивая девушка”:

Это — “мужчина с бородой”:

А это — “Барби и Кен занимаются шоппингом”:

Ещё одним нововведением стали режимы Inpainting и Outpainting — возможность “вписать” новый объект в существующую картинку или дорисовать её (напоминает генеративную заливку в Photoshop). Вот пример дорисовки:

А это — примеры добавления объекта.

Опробовать нейросеть можно на платформе Fusion Brain, в официальном Telegram-боте или «ВКонтакте».

Kandinsky Video позволяет создавать небольшие анимации по текстовому запросу — до 8 секунд с частотой около 30 кадров в секунду и разрешением до 512 пикселей по большей стороне. Высоту и ширину может задавать пользователь.

Создание видео доступно в бета-режиме на Fusion Brain, а Telegram-бот пока предлагает только записаться в список ожидания.