我们提出了神经演员（NA），从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像学习几何形状和外观的表示。虽然现有的作品令人兴奋的静态场景渲染和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间留到典型姿势的代理。神经辐射场从多视图视频输入中了解在规范空间中的姿势相关的几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜在变量。实验表明，我们的方法能够比播放的最先进以及新颖的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同。此外，我们的方法还支持合成结果的体形控制。
我们展示了神经演员，一种用于自由观看人体参与者的新方法，允许任意姿势控制。考虑到一系列驱动姿势以及虚拟摄像头作为输入，我们的方法可以用姿势和视图依赖动态外观，尖锐的特征和高保真湿润模式来综合演员的现实动画。我们可以自由更改渲染的观点。
神经演员概括到看不见的姿势，与训练中的那些毫无意义。在这里，我们从训练期间展示了来自AIST DataSet的具有挑战性的舞蹈表演。请注意，我们的方法还概括为新颖的观点。
由于我们的方法只需要一个骨骼姿势，我们可以向不同的人施加同样的姿势，允许同步人群跳舞的效果。
给定姿势，我们通过沿着所构成的SMPL网格附近的相机光线采样点来综合图像。对于每次采样点$ x $，我们将其分配到其最近的表面点的剥皮权重，并预测剩余变形以将$ x $转换为规范空间。然后，我们学习规范姿势空间中的辐射场，以预测使用多视图2D监控的$ x $的颜色和密度。从$ x $的局部坐标预测姿势相关的残余变形和颜色以及从最近的$ x $的2d纹理映射提取的潜在变量。在培训时间，我们使用从多视图训练图像生成的地面真相纹理映射来提取潜在变量。在测试时间时，从正常地图预测纹理地图，该法线地图通过图像转换网络从构成的SMPL网格中提取，该图像转换网络与地面真理纹理图分开训练作为监督。
@misc {liu2021neural， 标题= {神经演员：用姿势控制}的神经自由观点综合人体演员}， 作者= {Lingjie Liu和Marc Habermann和Viktor Rudnev和Kripasindhu Sarkar和Jigao Gu和Christian Theobalt}， 年= {2021}， ePrint = {2106.02019}， ArchivePrefix = {ARXIV}， PrimaryClass = {CS.cv} }