OpenAI宣布推出PointE这是一种机器学习系统可根据文本提示快速创建3D图像

导读 总部位于旧金山的OpenAI的一组研究人员宣布开发了一种机器学习系统,该系统可以比其他系统更快地从文本创建3D图像。该小组在arXiv预印本服

总部位于旧金山的OpenAI的一组研究人员宣布开发了一种机器学习系统,该系统可以比其他系统更快地从文本创建3D图像。该小组在arXiv预印本服务器上发表了一篇描述他们名为Point-E的新系统的论文。

在过去的一年里,一些团体已经发布了可以根据文本提示生成3D建模图像的产品或系统,例如,“红色地板上的蓝色椅子”或“一个戴着绿色帽子骑着马车的小男孩”紫色自行车。”这样的系统通常有两个部分。第一个阅读文本并尝试理解它。第二个,经过互联网搜索训练,呈现所需的图像。

由于任务的复杂性,这些系统可能需要很长时间才能返回模型,从几小时到几天不等。在这项新的努力中,研究人员建立了一个类似的系统,可以在几分钟内返回结果,尽管他们欣然承认结果“在样本质量方面达不到最先进的水平”。

为了更快地创建图像,研究人员采用了一种与其他方法略有不同的方法。他们的系统甚至不创建传统意义上的图像。相反,它会生成点云,当一起查看时,它们类似于所需的图像。该团队采用这种方法是因为生成点云比生成实际图像容易得多。为了创建结果,系统通过他们开发的另一个AI系统路由它找到的图像,该系统将接收到的内容转换为网格,从而生成目标对象的3D点云模型。

系统的第一部分是使用两个模块制作的——第一个模块将文本转换为图像创意,第二部分查找用于生成通用图像的图像。在操作中,该系统的运行方式与其他同类系统非常相似——用户输入描述性文本提示,系统返回图像模型。他们指出,虽然视觉质量无法与其他系统相提并论,但它可能更适合其他应用,例如通过3D打印机制造真实世界的物体。