Nvidia最新的AI研究将使从2D图像构建3D对象变得更容易

导读 Nvidia周二推出了3D渲染的新研究,有朝一日可以让图形艺术家、建筑师和其他创作者更容易地从2D图像快速构建3D模型。这种研究将帮助Nvidia和

Nvidia周二推出了3D渲染的新研究,有朝一日可以让图形艺术家、建筑师和其他创作者更容易地从2D图像快速构建3D模型。这种研究将帮助Nvidia和其他主要公司为易于访问的元宇宙奠定基础。

渲染3D世界是一项复杂的技术挑战。一种称为逆向渲染的技术涉及从少量2D图像重建3D场景。它使用AI来近似光在现实世界中的表现。

Nvidia最近展示了其在神经辐射场(NeRF)方面的成果,该成果使用AI来加速逆向渲染过程。NeRF模型的缺点是它们会给您留下无法轻松编辑的图像——这对于设计新事物的设计师来说并不是一件好事。

Nvidia的新研究解决了这个问题。新的Nvidia3DMoMa管道重建具有三个特征的图像:3D网格模型、材料和照明。3D网格模型由三角形构成。这些材料是像皮肤一样覆盖在3D网格上的2D纹理。最后,3DMoMa估计场景的光照方式。

成品直接与创作者已经使用的图形引擎和建模工具兼容,这意味着创作者可以修改和试验他们的模型——改变材料或灯光效果。

Nvidia本周在新奥尔良举行的计算机视觉和模式识别会议上展示了逆向渲染管道。为了演示它,Nvidia的研究和创意团队创建了爵士乐队乐器的3D模型。他们从五种不同仪器各有100张图像开始。在3DMoMa创建了每个模型的3D网格表示后,团队将模型从原始场景中取出,并将它们导入NvidiaOmniverse3D模拟平台进行编辑。

他们改变了乐器的材料,用黄金和木头等其他材料取代了小号原来的塑料。然后他们展示了不同材料如何以不同方式反射光。