谷歌的一组研究人员想出了一种技术,可以将数以千计的游客照片组合成详细的3D渲染,带你进入场景…。即使使用的原始照片在光线方面差异很大,或者包括其他有问题的元素,如人或汽车。
这项技术被称为“荒野中的Nerf”或“Nerf-W”,因为它采用了谷歌大脑的神经辐射场(NERF)技术,并将其应用于“无结构和不受控制的照片集合”,比如你在下面看到的演示中使用的数千张游客照片,以及上面视频中的样本。
它基本上是一种先进的、神经网络驱动的插值,它设法包括关于场景的几何信息,同时消除人或车等“瞬时遮挡物”,并平滑照明的变化。
“虽然[标准]NERF能很好地处理在受控环境下拍摄的静态对象的图像,但它不能对非受控图像中的许多无处不在的真实世界现象进行建模,比如可变照明或瞬时遮光器,”完整的研究论文写道。在这项工作中,我们引入了一系列对NERF的扩展来解决这些问题,从而允许从互联网上获取的非结构化图像集合中进行准确的重建。“。
当你考虑到它是如何创建的,以及为了实现它而必须省略或平滑的所有元素时,结果是相当令人兴奋的。随着这项技术的进一步发展,它可能会通过允许源图像比以往任何时候都有更多的变化来彻底改变3D渲染的创建方式。
要了解有关该技术的更多信息,请在顶部观看介绍性视频,访问Nerf-W GitHub,或从此链接下载研究论文。