基于物理的渲染算法通过虚拟场景的详细数学表示来模拟光流，从而生成照片级真实感图像。相反，基于物理的可微分绘制算法专注于计算表现出复杂光传输效果(例如，软阴影、互反射和焦散)的图像相对于任意场景参数(例如，相机姿势、对象几何(例如，顶点位置)以及表示为2D纹理和3D体积的空间变化的材料属性)的导数。这种新的通用性使得基于物理的可微绘制成为解决许多具有挑战性的逆绘制问题的关键因素，即使用基于梯度的方法搜索优化用户指定的目标函数的场景配置。
此外，这些技术可以合并到概率推理和机器学习管道中。例如，可区分渲染器允许使用捕获的复杂光传输效果计算渲染损失。此外，它们还可以用作合成照片级真实感图像的生成模型。
挑战。与普通绘制相比，基于物理的可微绘制引入了独特的理论和实践挑战。例如，实际问题可能涉及许多(例如106-1010)参数，使得诸如有限差分等简单的微分技术变得不切实际。更高级的自动区分工具(例如，PyTorch或TensorFlow)记录的中间计算步骤图往往会变得大得令人望而却步。最后，几何导数涉及到一个独特的挑战：对象的边界在阴影和交互反射的计算过程中引入了麻烦的不连续，如果不采取预防措施，这些不连续会导致不正确的渐变。值得庆幸的是，基于物理的可微绘制理论的最新进展使得关于任意场景参数的辐射测量以及无偏的蒙特卡罗估计器的差异化成为可能。在本课程中，我们将深入介绍基于物理的通用可微分渲染。