Google анонсировала Imagen — нейросеть, преобразующую текстовый запрос в изображения. Это прямой конкурент DALL-E 2 от OpenAI — который в некоторых сценариях работает даже лучше.
Для распознавания текстового запроса нейросеть использует большие языковые модели — на них же основаны алгоритмы обработки естественной речи вроде GPT-3.
Система работает в три этапа. На первом рисуется небольшая картинка размером 64 х 64 пикселя, которая дорабатывается до тех пор, пока нейросеть не может её изменить для лучшего соответствия исходному запросу. Затем размер изображения увеличивают до 256 х 256 пикселей, и Imagen дорабатывает детали. На третьем этапе то же самое повторяется уже с холстом финального размера — 1024 х 1024 пикселя.
В тексте исследования отмечается, что Imagen справляется с понимаем сложных запросов лучше, чем DALL-E 2. К примеру, по запросу «Панда делает латте-арт» DALL-E 2 выдала исключительно латте-арт с пандами, в то время как нейросети Google удалось выдать преимущественно правильные результаты:
Но Google также признаёт, что с запросом «лошадь верхом на астронавте» не справилась ни одна из этих нейросетей: обе упорно ставили астронавта на лошадь, а не наоборот. Обеим очевидно есть куда расти.
Результаты оценки независимыми зрителями показали, что Imagen обходит DALL-E 2 по точности и соответствию запросам. И хотя это сравнение можно считать субъективным, такие результаты всё равно впечатляют, учитывая, что DALL-E 2 до сих пор была недостижимым идеалом, с которым не могли сравниться другие нейросети схожего назначения.
В любом случае, Imagen пока остаётся экспериментальным проектом, к которому не могут получить доступ обычные пользователи. Неясно, сколько времени пройдёт, прежде чем Google создаст на её основе сервис с открытым доступом.
