灵活的表情可以将3D生成的面孔抬离怪异的山谷

2020-11-26 04:55:47

当然,从早期的木制表情和有限的细节来看,这项技术已经走了很长一段路。高分辨率,令人信服的3D面孔可以快速,良好地进行动画处理,但是人类表达的精妙之处不仅多种多样,而且很容易出错。

想一想某人的整个面部在微笑时会如何变化-每个人的情况都不同,但是我们有足够的相似之处,我们可以看得出当某人“真正”微笑或只是假装时。您如何在人造面部上达到那种细节水平?

现有的“线性”模型简化了表达的精妙之处,使“幸福”或“愤怒”微调,但以准确性为代价-它们无法表达所有可能的面孔,但很容易导致无法面孔。较新的神经模型通过观察表达式的相互联系来学习复杂性,但是像其他此类模型一样,它们的工作晦涩难懂且难以控制,也许无法从所学的面孔中推广。它们无法使艺术家控制电影或游戏需求的控制水平,也无法使脸部(人类非常擅长检测到这一点)刚好过关。

迪士尼研究院的一个团队提出了一种兼具两全其美的新模型,即所谓的“语义深脸模型”。无需进行确切的技术执行,基本的改进就是它是一个神经模型,它可以学习面部表情如何影响整个面部,但并非特定于单个面部-而且是非线性的,从而允许表情与面部表情交互的灵活性。面的几何形状和彼此。

可以这样考虑:线性模型可以让您在任何3D面孔上从0到100进行表达(例如微笑或亲吻),但是结果可能不切实际。神经模型可让您现实地从0-100获取学习过的表情,但只能在从中学习的表情上。该模型可以在任何3D面孔上从0-100平滑地表达表情。这有点过分简化,但是您明白了。

结果是有力的:您可以生成一千个具有不同形状和色调的面孔,然后使用相同的表情为所有这些面孔动画,而无需进行任何额外的工作。想一想,这可能会导致各种各样的CG人群,您可以通过单击几次来召唤它们,或者在游戏中具有逼真的面部表情的角色,而不论它们是否是手工制作的。

这不是灵丹妙药,它只是艺术家和工程师在使用该技术的各个行业中进行的大量改进的一部分,这些改进包括无标记的面部跟踪,更好的皮肤变形,逼真的眼部运动以及数十个感兴趣的领域在此过程中也很重要。

迪士尼研究论文已在3D视觉国际会议上发表;您可以在这里阅读全部内容。