NVIDIA совместно со специалистами Стэнфордского университета доработала нейросеть EG3D, которая способна генерировать реалистичные трёхмерные изображения на основе плоских 2D-картинок.
Технология была продемонстрирована на примере портретов людей и мордочек котов. Во всех случаях объёмное изображение было достаточно реалистичным, с правильными пропорция и без видимых артефактов.
Для создания объёмной модели нейронная сеть генерирует серию двумерных изображений с помощью генеративно-состязательных сетей, а затем на их основе создаёт 3D-объект.
Разработчики отмечают, что EG3D работает гораздо быстрее и точнее аналогов, и при этом не требует колоссальных вычислительных мощностей — применять её можно даже на ноутбуках с топовыми игровыми видеокартами. К примеру, всё прекрасно работало с GeForce RTX 3090.
Нейросеть уже доступна для самостоятельного тестирования — исходный код и инструкция по установке есть на GitHub.
В марте специалисты NVIDIA демонстрировали похожую нейросеть Instant NeRF, которая склеивает серию 2D-фото и дорисовывает картинку до трёхмерной сцены. Её назвали «Полароидом будущего».
