Donerf：迈向紧凑神经辐射田的实时渲染

最近神经辐射场（NERF）周围的研究爆炸表明，在神经网络中隐式存储场景和照明信息存在巨大的潜力，例如，用于新颖的视图。然而，防止了NERF的广泛使用的一个主要限制是沿着每个视图光线的过度网络评估的禁止计算成本，需要在旨在在当前设备上实时渲染时需要数十个Petaflops。我们表明，当局部样品放置在场景中的表面周围时，可以显着降低每个视图光线所需的样本数。为此，我们提出了一个深度Oracle网络，其预测每个视图光线的光线样本位置，具有单个网络评估。我们表明，在对数上离散化和球形扭曲的深度值周围使用分类网络对于编码表面位置而不是直接估计深度至关重要。这些技术的组合导致DonerF，双网络设计具有深度Oracle网络作为第一步和用于射线累积的局部采样的着色网络。通过我们的设计，与NERF相比，我们将推理成本降低至48倍。与简单的计算内核结合使用的搁板推断API，我们是第一个在单个GPU上以交互式帧速率呈现基于光线的神经表示（每秒15帧）。同时，由于我们专注于场景的重要部分，因此与NERF相比，我们实现了平等或更好的质量。

由于我们的新深度Oracle采样方案，Donerf实现了类似于NERF的质量，它使用了总共​​256个样本。在4个样本（与下面的Nerf比较），Donerf以相同的质量实现了20x-48x的加速。单击/拖动滑块以比较Donerf，Nerf和地面真相搅拌机渲染之间的各种输出。

我们的深度Oracle通过沿线的空间离散，并沿着光线预测采样概率来预测各个潜在的采样候选者。 3个颜色通道沿着射线值编码3个最高概率，说明可能只有应该采样的单个表面，而彩色值表明样品需要深入扩展。即使是相对粗糙的深度预测也足以使Donerf有效地放置样品。

我们使用翻转误差估计器产生错误地图，这些错误地图模型人类如何感知＆＃34时会感知错误;翻转＆＃34;在图像和目标输出之间。 Donerf在显着降低的性能要求下显示了类似或更好的结果。

T. Neff，P. Stadlbauer，M. Parger，A.Kurz，J.H. H. Mueller，C. R. A. Chaitanya，A. Kaplanyan，M. Steinberger Donerf：使用深度Oracle网络实时渲染紧凑的神经辐射领域（在Arxiv上托管）

这个模板最初由Phillip Isola和Richard Zhang为丰富多彩的ECCV项目制作;可以在此处找到代码。