«Полароид будущего»: новая нейросеть NVIDIA превращает 2D-снимки в 3D-модели

Компания NVIDIA представила свою новую нейронную сеть, получившую название Instant NeRF. Она моментально склеивает серию 2D-фото и дорисовывает картинку до трёхмерной сцены. В результате объект с плоского изображения становится трёхмерным.

Эту нейросеть окрестили «Полароидом будущего», поскольку готовая 3D-модель получается за считанные секунды. Отдавая дань уважения бренду Polaroid, NVIDIA Research воссоздала легендарную фотографию Энди Уорхола, сделав её трёхмерной.

Разработчики отмечают: Instant NeRF использует инверсный рендеринг для аппроксимации поведения света в реальном мире, что позволяет реконструировать 3D-сцену из нескольких 2D-изображений, снятых под разными углами.

Модели требуется всего несколько секунд, чтобы обучиться на нескольких десятках неподвижных фотографий. Также нейросеть должна учитывать данные о ракурсах камеры, с которых были сделаны снимки.

Лучше всего технология работает с кадрами, где минимум движения и лишь один главный объект. В противном случае 3D-сцена, созданная искусственным интеллектом, может быть размытой.

Instant NeRF можно использовать для создания аватаров или сцен для виртуальных миров, захвата участников видеоконференций и их окружения в 3D, а также при реконструкции сцен для цифровых 3D-карт. Пока опробовать технологию нельзя, но в будущем NVIDIA вполне может открыть к ней доступ.