NVIDIA показала нейросеть, которая превращает 2D-изображения в 3D-объекты

NVIDIA совместно со специалистами Стэнфордского университета доработала нейросеть EG3D, которая способна генерировать реалистичные трёхмерные изображения на основе плоских 2D-картинок.

Технология была продемонстрирована на примере портретов людей и мордочек котов. Во всех случаях объёмное изображение было достаточно реалистичным, с правильными пропорция и без видимых артефактов.

Для создания объёмной модели нейронная сеть генерирует серию двумерных изображений с помощью генеративно-состязательных сетей, а затем на их основе создаёт 3D-объект.

Разработчики отмечают, что EG3D работает гораздо быстрее и точнее аналогов, и при этом не требует колоссальных вычислительных мощностей — применять её можно даже на ноутбуках с топовыми игровыми видеокартами. К примеру, всё прекрасно работало с GeForce RTX 3090.

Нейросеть уже доступна для самостоятельного тестирования — исходный код и инструкция по установке есть на GitHub.

В марте специалисты NVIDIA демонстрировали похожую нейросеть Instant NeRF, которая склеивает серию 2D-фото и дорисовывает картинку до трёхмерной сцены. Её назвали «Полароидом будущего».