DeepFaceDrawing从手绘草图生成照片级真实感肖像

来自中国科学院和香港城市大学的一组研究人员引入了一种从本地到全球的方法，可以从相对初级的草图生成逼真的人像。最近的深度图像到图像转换技术已经能够从草图快速生成人脸图像，但是这些方法往往受到输入过度拟合的影响。因此，只有当源绘图具有高质量的艺术性或伴随着边缘贴图时，它们才能获得最逼真的效果。

与大多数基于深度学习的草图到图像翻译的解决方案不同，这些解决方案将输入草图作为固定的“硬”约束，然后尝试重建笔划之间缺失的纹理或阴影信息，新方法背后的关键思想是从真实的人脸草图图像中隐含地学习看似合理的人脸草图空间，并在该空间中找到最接近输入草图的点。由于此方法更多地将输入草图视为将指导图像合成的“软”约束，因此即使从粗糙和/或不完整的输入中也能够生成具有更高似然性的高质量人脸图像。

该系统由三个主要模块组成--组件嵌入(CE)、特征映射(FM)和图像合成(IS)。CE模块采用自动编码器架构，从人脸草图数据中分别学习五个特征描述符-左眼、右眼、鼻子、嘴巴和剩余。FM和IS模块一起形成另一个用于条件图像生成的深度学习子网络，并将分量特征向量映射到真实图像。研究人员还提供了一个基于CE实现的阴影引导界面，使用户更容易改进输入的草图。他们的系统可以生成高质量的逼真人脸图像-分辨率为512×512-忠实地尊重和反映输入的草图。

根据研究人员的说法，定性和定量评估都表明，这种方法产生的面部图像在视觉上更令人愉悦。该系统的可用性和表现力也在用户研究中得到了良好的证实。研究人员说，他们的工具很容易使用，即使对于非艺术家来说也是如此，同时仍然支持对形状细节的细粒度控制。他们正在努力尽快发布源代码。论文DeepFaceDrawing：从草图中深度生成面部图像已被SIGGRAPH 2020接受，并可在arxiv上获得。