Plenoctrees用于神经辐射田的实时渲染（nerfs）

我们提出了一个框架，可以实时渲染神经辐射字段（nerfs） 使用增压物八面体，或＆＃34; plenoctrees＆＃34; 我们的方法可以在800x800px分辨率下超过150 fps，比传统的nerfs快3000x，而不会牺牲质量。

通过将nerf预订到我们呼叫通风口的基于Octree的Radiance字段来实现实时性能。为了保持诸如镜面的视图依赖的效果，我们建议通过闭合形式的球基函数进行编码。 具体地，我们表明可以训练NERF来预测辐射的球形谐波表示，从而消除视图作为对神经网络的输入。 此外，我们表明我们的前链葡萄酒可以直接优化，以进一步降低重建损失，这导致比竞争方法相等或更好。 我们进一步表明，这个Octree优化步骤可用于加速培训时间，因为我们不再需要等待NERF培训完全收敛。 我们的实时神经渲染方法可能潜在地实现新的应用，例如6-DOF工业和产品可视化，以及下一代AR / VR系统。

我们很高兴能够在现代浏览器中展示一个现场演示。 单击下面的一个场景以打开演示应用程序。 使用此演示时请注意带宽。

注意：我们的全部型号大小为2GB; 在线观看， 使用的前链葡萄酒是较低的分辨率，量化版本 34-125MB，在PSNR中失去大约0.5-1.5 dB。

@inproceings {yu2021plenoctrees， 标题= {plenoctrees用于神经辐射字段的实时渲染}， 作者= {Alex Yu和Ruilong Li和Matthew Tancik和Hao Li和Ren Ng和Angjoo Kanazawa}， 年= {2021}， Booktitle = {Arxiv}， }

最近，几个竞争的快速Nerf渲染论文有 被释放了。 还请查看他们的惊人工作。

我们感谢Vickie Ye和Ben Recht关于文本的评论，Zejian Wang of Pinscreen用于帮助视频捕获， 和Bair Commons用于分配GCP积分。 本网站部分基于MichaëlGharbi的模板。