将旧照片带入生活

2020-11-22 08:58:13

我们建议通过深度学习方法还原遭受严重退化的旧照片。与可以通过监督学习解决的常规还原任务不同,真实照片的降级很复杂,并且合成图像和真实旧照片之间的域间隙使网络无法推广。因此,我们通过利用真实照片和大量合成图像对来提出一种新颖的三重态域翻译网络。具体来说,我们训练两个变体自动编码器(VAE)将旧照片和干净照片分别转换为两个潜在空间。并使用合成配对数据学习这两个潜在空间之间的转换。由于域间隙在紧凑的潜伏空间中是闭合的,因此这种转换可很好地推广到真实照片。此外,为了解决一张旧照片中混合的多种退化问题,我们设计了一个全局分支,该分支具有针对结构化缺陷(例如划痕和灰尘点)的局部非局部块,而针对非结构化缺陷(例如噪声和模糊度)的局部分支。在潜在空间中融合了两个分支,从而提高了从多个缺陷还原旧照片的能力。提出的方法在恢复旧照片的视觉质量方面优于最先进的方法。

(I.)我们首先训练两个VAE:针对真实照片r∈R的图像和合成图像x∈X的VAE1,它们的域间隙通过联合训练对抗性鉴别器来缩小;对VAE2进行训练以获得清晰的图像y∈Y。使用VAE,可以将图像转换为紧凑的潜在空间。 (II。)然后,我们学习映射,该映射将损坏的图像恢复为具有部分非局部块的潜在空间中的干净图像。