Google представила нейросеть Imagen. Она генерирует картинки по описанию

Google анонсировала Imagen - нейросеть, преобразующую текстовый запрос в изображения. Это прямой конкурент DALL-E 2 от OpenAI - который в некоторых сценариях работает даже лучше.

Для распознавания текстового запроса нейросеть использует большие языковые модели - на них же основаны алгоритмы обработки естественной речи вроде GPT-3.

Система работает в три этапа. На первом рисуется небольшая картинка размером 64 х 64 пикселя, которая дорабатывается до тех пор, пока нейросеть не может её изменить для лучшего соответствия исходному запросу. Затем размер изображения увеличивают до 256 х 256 пикселей, и Imagen дорабатывает детали. На третьем этапе то же самое повторяется уже с холстом финального размера - 1024 х 1024 пикселя.

В тексте исследования отмечается, что Imagen справляется с понимаем сложных запросов лучше, чем DALL-E 2. К примеру, по запросу "Панда делает латте-арт" DALL-E 2 выдала исключительно латте-арт с пандами, в то время как нейросети Google удалось выдать преимущественно правильные результаты:

Но Google также признаёт, что с запросом "лошадь верхом на астронавте" не справилась ни одна из этих нейросетей: обе упорно ставили астронавта на лошадь, а не наоборот. Обеим очевидно есть куда расти.

Результаты оценки независимыми зрителями показали, что Imagen обходит DALL-E 2 по точности и соответствию запросам. И хотя это сравнение можно считать субъективным, такие результаты всё равно впечатляют, учитывая, что DALL-E 2 до сих пор была недостижимым идеалом, с которым не могли сравниться другие нейросети схожего назначения.

В любом случае, Imagen пока остаётся экспериментальным проектом, к которому не могут получить доступ обычные пользователи. Неясно, сколько времени пройдёт, прежде чем Google создаст на её основе сервис с открытым доступом.