一次拍摄3D摄影(Facebook Siggraph 2020)

3D摄影是一种新的媒体，可以让观众更全面地体验捕捉到的瞬间。在这项工作中，我们将3D照片称为显示由移动视点引起的视差的照片(与固定视点的立体对相对)。3D照片在时间上是静态的，与传统照片一样，但在移动或桌面屏幕上以交互视差显示，以及在虚拟现实设备上显示，在虚拟现实设备上观看它也包括立体效果。我们介绍了一个用于创建和查看3D照片的端到端系统，以及其中的算法和设计选择。我们的3D照片只需一次拍摄即可拍摄，并可直接在移动设备上进行处理。该方法首先使用针对移动设备优化的新的单目深度估计网络从2D输入图像估计深度。它的性能与最先进的技术相比具有竞争力，但具有更低的延迟和峰值内存消耗，并且使用的参数少一个数量级。生成的深度被提升到分层深度图像，并且在视差区域中合成新的几何体。我们还直接在LDI上使用修复网络合成了视差区域的颜色、纹理和结构，该修复网络也针对移动设备进行了优化。最后，我们将结果转换为基于网格的表示，即使在低端设备和较差的网络连接上也可以有效地传输和渲染。总而言之，在移动设备上处理只需要几秒钟，结果可以立即查看和分享。我们执行广泛的定量评估来验证我们的系统，并将其新组件与当前最先进的组件进行比较。