Nvidia的最新图形研究几乎可以立即将图像从2D转换为3D

导读 元宇宙现在正在形成,Nvidia已经全力以赴,引入了一套强大的工具来构建它。但即使是像Nvidia这样的图形先驱,渲染3D世界也是一项复杂的技术

元宇宙现在正在形成,Nvidia已经全力以赴,引入了一套强大的工具来构建它。但即使是像Nvidia这样的图形先驱,渲染3D世界也是一项复杂的技术挑战。

在本周的春季图形技术大会(GTC)上,Nvidia展示了一种新的逆向渲染方法——从少量2D图像重建3D场景的过程。逆向渲染使用AI来近似光线在现实世界中的表现。使用NvidiaResearch团队开发的方法,整个过程几乎立即发生。

Nvidia解释说,该方法可以应用于广泛的用例。它可用于为虚拟世界创建化身或场景,以3D形式捕捉视频会议参与者及其环境,或为3D数字地图重建场景。

使用传统方法创建3D场景可能需要数小时或更长时间,具体取决于可视化的复杂性和分辨率。一种名为神经辐射场(NeRF)的流行新技术使用AI来加速这一过程。NeRF使用神经网络根据2D图像的输入集合来表示和渲染逼真的3D场景。NeRF有效地训练了一个小型神经网络,通过预测从3D空间中的任何点向任何方向辐射的光的颜色来填充空白。

早期的NeRF模型可以在几分钟内生成高质量的渲染图,但需要花费数小时进行训练。NvidiaResearch开发了它所谓的InstantNeRF——将快速神经网络训练与快速渲染相结合。Nvidia表示,这是迄今为止最快的NeRF技术,在某些情况下可实现超过1,000倍的加速。

为了开发InstantNeRF,Nvidia提出了一种新的输入编码方法,称为多分辨率哈希网格编码。它经过优化,可以在NvidiaGPU上高效运行。

“即时NeRF对3D的重要性不亚于数码相机,而JPEG压缩对2D摄影的重要性——极大地提高了3D捕捉和共享的速度、便利性和范围,”Nvidia图形研究副总裁DavidLuebke在一份声明。