Knight Rider骑Gan:用Ai,Nvidia Omniverse带来Kitt

2021-04-17 04:56:10

系好安全带。 NVIDIA研究正在重新开始一种新的深度学习引擎,可以从标准的2D图像创建3D对象模型 - 并且可以将像Knight Rider的AI Powered Kitt这样的标志性汽车带到NVIDIA Omniverse。

Ganverse3D应用程序由多伦多的NVIDIA AI研究实验室开发,将平面图像膨胀成现实的3D模型,可以在虚拟环境中可视化和控制。此功能可以帮助架构师,创建者,游戏开发人员和设计师轻松地将新对象添加到他们的模型中,而无需在3D建模或大型预算中花费在渲染上的大型预算。

例如,汽车的一张照片可以变成可以在虚拟场景周围驱动的3D模型,完成现实的前灯,尾灯和闪烁。

为了生成培训的数据集,研究人员利用了一种生成的对抗性网络,或GaN,以合成描绘与多个观点相同对象的图像 - 就像一辆围绕停放的车辆走路的摄影师,从不同的角度拍摄。将这些多视图图像插入呈现逆图形的渲染框架,从2D图像推断3D网状模型的过程。

一旦在多视图图像上培训,Ganverse3D只需要单个2D图像来预测3D网格模型。该模型可以与3D神经渲染器一起使用,使开发人员控制到自定义对象并交换背景。

当在NVIDIA OMNiverse平台中导入并在NVIDIA RTX GPU上运行时,Ganverse3D可用于将任何2D图像重新创建为3D - 就像心爱的犯罪战车Kitt,来自受欢迎的20世纪80年代骑士骑士电视节目。

相反,没有来自3D资产的援助,“我们将GaN模型转变为一个非常有效的数据生成器,因此我们可以从网上的任何2D图像中创建3D对象,”NVIDIA和Lig Autory上的研究科学家Wenzheng Chen表示。

“因为我们在真正的图像上培训而不是典型的管道,它依赖于合成数据,AI模型更好地推广到现实世界应用程序,”该项目的作者Nvidia研究员Jun Gao说。

Ganverse3D背后的研究将在两次即将到来的会议上展示:5月份的学习陈述国际会议以及六月的计算机愿景和模式识别会议。

游戏,体系结构和设计中的创作者依赖于虚拟环境,如NVIDIA Omniverse仿真和协作平台,以测试新的想法和可视化原型,然后创建最终产品。使用Omniverse连接器,开发人员可以在omniverivere中使用他们的首选3D应用,以模拟具有实时射线跟踪的复杂虚拟世界。

但不是每个创建者都有时间和资源来创建他们草图的每个对象的3D模型。捕获所需的多视图图像数量的成本,以展示展示播放室的价值或街道的建筑物,可能是持久的。

这是训练有素的Ganverse3D应用程序可用于将汽车的标准图像转换为可以在omniveriverse中定制和动画的3D图中转换汽车的标准图像。

为了重新创建KITT,研究人员简单地喂养了训练的模型的汽车图像,让Ganverse3d预测相应的3D纹​​理网,以及车辆的车辆的不同部分,例如车轮和前灯。然后,它们使用NVIDIA Omniverse Kit和NVIDIA Physx工具将预测的质地转换成高质量的材料,使KITT成为更现实的外观和感觉,并将其放在动态的驱动顺序中。

“奥尼瓦维世允许研究人员直接带来令人兴奋的尖端研究,即NVIDIA的深层学习工程师Jean-Francois Lafleche说。 “在奥诺维方中提供Ganverse3D将帮助艺术家为游戏开发,城市规划甚至培训新机器学习模式创造更丰富的虚拟世界。”

因为捕获来自不同角度相同对象的实际数据集是罕见的,因此使用像ShapEnet​​这样的合成3D数据集接受从2D到3D转换图像的大多数AI工具。

要从现实世界数据获取多视图图像 - 就像在网上公开可用的汽车图像 - NVIDIA研究人员转向GAN模型,操纵其神经网络层将其转换为数据发生器。

该团队发现,打开前四层神经网络并冻结剩余的12导致GaN从不同的视点呈现相同对象的图像。

保持前四层冻结,另一个12层变量导致神经网络从相同的视点产生不同的图像。通过手动分配标准观点,使用特定高程和相机距离的车辆,研究人员可以从各个2D图像迅速生成多视图数据集。

最终模型,由GaN生成的55,000辆汽车图像培训,表现出在流行的Pascal3d DataSet上培训的逆图形网络。

阅读完整的ICLR纸,由Wentheng Chen撰写的NVIDIA研究人员Jun Gao和Huan Ling,Sanja Lifler,NVIDIA的多伦多研究实验室,滑铁卢大学Zuxour Zhang,斯坦福学生Yinan Zhang and Mit教授Antonio Torralba。 CVPR纸上的其他合作者包括Jean-Francois Lafleche,Nvidia研究员Kangxue Yin和Adela Barriuso。

NVIDIA研究团队由全球有超过200家科学家组成,专注于AI,电脑视觉,自驾车,机器人和图形等地区。了解有关该公司最新的研讨会在NVIDIA CEO Jensen Huang在本周GPU技术会议上的主题演讲的最新研究和行业突破。

GTC注册是免费的,并于4月23日开放。与会者将通过11月11日访问按需内容。