超级分辨率

Adobe高级首席科学家Eric Chan的文章，解释了Lightroom工作中新机器的高级分辨率功能如何。

全景增强了超级分辨率。插图图像显示了照片的两个区域的剧烈作物，用清晰度的分支和飞雪。

“来自ACR Team”是一系列博客系列，为您带来了直接从Lightroom，Lightroom Classic，Lightroom Mobile，Adobe Camera Raw和Photoshop中的相机原始过滤器构建成像功能的团队的洞察。我最近在一个名为Enhance Super Colutions的功能上工作，我很高兴分享它现在的生活。我与MichaëlGharbi和Adobe Research的理查德张密切合作。 Michaël还在开发了相关的功能，增强了细节。

超级分辨率现在在相机原始13.2中运输，即将推出Lightroom和Lightroom Classic。在这篇文章中，我将解释它是什么，它是如何工作的，以及如何从中获得最大的工作。

我的名字是Eric Chan，我在Adobe工作了十三年。以前的项目，我工作的亮点和阴影，清晰度，消失，相机配置文件，镜头校正，直立。你可能会感觉到这里的模式 - 我喜欢用像素混乱。

超级分辨率也是一个像素项目，但不同的类型。想象一下，将1000万像素的照片变成40万像素的照片。想象一下，用低res相机拍摄的旧照片用于大打印。想象一下，具有高级“数码变焦”功能来放大您的主题。更善于想象，但我们已经领先于自己。要正确了解超级分辨率，我们必须先谈谈增强细节。

两年前，我们发布了增强细节，这是一种使用机器学习的功能，以利用不可思议的保真度来插入原始文件，导致利用少数工件的清晰细节。您可以阅读更多信息。我们在类似的机器学习方法可以使我们以新的和令人兴奋的方式提高照片质量的推理。

相机传感器通过像上面所示的马赛克图案看到世界。增强细节使用机器学习将这些模式插入RGB彩色图像。

今天，我很高兴地介绍我们的第二次增强功能：超级分辨率。术语“超分辨率”是指通过提高其表观分辨率来提高照片质量的过程。放大照片经常会产生模糊的细节，但超级分辨率有一个袖子的袖子 - 一个先进的机器学习模型训练在数百万张照片上。通过这种巨大的训练集，超级分辨率可以智能地放大照片，同时保持清洁的边缘并保持重要细节。

如果所有机器学习语言听起来很复杂，那么，这是因为它是。尽管如此，不要担心 - 我们围绕这项技术建造的超级分辨率功能非常简单，使用按钮，并将您的10万像素照片转换为40万像素的照片。有点像马里奥在蘑菇中吃蘑菇，突然气球进入超级马里奥，但没有漂亮的音效。

我知道你在想什么 - “来吧，这是2021年，我们真的还在谈论更多百万像素吗？”现代相机有像素备用，不是吗？曾几何时，我们都认为6万像素是充足的。然后12成为新的6，现在24是新的12.甚至有甚至具有40至100万像素的相机。所有这些像素漂浮在一起，为什么我们需要更多？

简短的答案是 - 通常我们没有，但偶尔我们会这样做。有时候，我们真的真的这样做。

这是其中一个案例，有助于拥有更多分辨率。从安全距离拍摄熊并下来播种图像后，我留下了“只有”400万像素。

首先，并非所有相机都有那些天空的决议。大多数手机是1200万像素。许多相机仍然在16至2400万像素的范围内。这对于许多场景很多，如在线发布或向朋友发送。如果要在墙上显示大打印，请在墙上显示额外的分辨率有助于保持边缘清洁和细节完好无损。我们稍后会看一些例子。

即使您有一个带有大小像素的闪亮新摄像机，目录中已经拍摄的那些旧的图片呢？一些我最喜欢的照片是在十五年前使用的是使用“只有”800万像素的相机。这是一个：

以前我尝试过大量的这张图片，但我对结果感到失望。前景岩石出现过度光滑，在进入的雾下方的背景树木是糊状的，很难看到。在超级分辨率的帮助下，我现在可以用纹理，自然的岩石和鲜明的背景树制造大打印。简而言之，超级分辨率可以呼吸新的生活。

在使用紧密裁剪的照片时，更多的分辨率也有助于。曾经在一个比你拍摄的情况下拍摄的情况，所以你最终得到你的主题占据了一小部分图片？一直发生在我身上。这是一个例子：

这个gyrfalcon飞过开销，在她消失之前我拍了几帧。当然，用2x扩展器切换到800毫米镜头，但是Gyrfalcon的目的地只是几秒钟。 （我想一个更大的问题是，我没有任何异国情调的装备！）在1.6倍的摄像机机构上有一个“只有”400毫米镜头，我最终用这样的图像：

这是我最喜欢的鸟照片之一，而是由于上面描述的捕获情况，裁剪文件仅为2.5百万像素。这就是超级分辨率进来的地方 - 我现在有一个10万像素的图像，我可以做出一个体面的大小打印。以这种方式使用，超级分辨率就像具有高级“数码变焦”功能。

现在我们已经谈到了超级分辨率的一些潜在用例，让我们仔细看看底层技术。

Adobe研究的MichaëlGharbi和Richard Zhang Zhang Research开发了超级分辨率背后的核心技术。

这个想法是使用大量的示例照片训练计算机。具体而言，我们使用数百万对的低分辨率和高分辨率图像贴片，以便计算机可以弄清楚如何提高低分辨率图像。这是其中一些看起来像：

这些是来自真实照片的详细区域的128 x 128像素作物。鲜花和织物。树木和树枝。砖和屋顶瓷砖。对于覆盖各种主题的足够示例，该模型最终以自然详细的方式学习样本真实照片。

教授一台计算机执行任务可能听起来很复杂，但在某些方面它类似于教育一个孩子 - 提供一些结构和足够的例子，并且在长时间他们自己这样做。在超分辨率的情况下，基本结构被称为“深卷积神经网络”，这是一个奇特的方式说，像素发生的情况取决于立即围绕它的像素。换句话说，要了解如何提升给定像素，计算机需要一些上下文，通过分析周围像素来实现。就像人类一样，看到如何在句子中使用这个词有助于我们了解该词的含义。

培训机器学习模型是一种计算密集型过程，可能需要几天甚至几周。这是一个视觉演练，从富士媒体X-Trans原始模式开始，从一个场景开始：

一个示例训练对：X-Trans输入补丁（左）和放大的RGB颜色输出补丁（右）。该模型试图学习两者之间的对应关系。右侧的图像称为“参考”或“地面真理”图像。

您可以看到最初的结果（左上角和顶尖）是如何恶化的 - 他们甚至没有像照片一样远程看！这就是在训练刚刚开始时发生的事情。就像孩子在第一天没有学会行走的情况一样，机器学习模型并没有立即弄清楚如何干净地解析和抚摸。然而，通过更多的训练，模型迅速提高。最终结果（右下方）看起来非常类似于参考图像。

我们在我们的超级分辨率方面有一些独特的成分。其中一个是为拜耳和X-Trans原始文件（由绝大多数相机模型使用），我们直接从原始数据训练，这使我们能够优化端到端的质量。换句话说，当您将超级分辨率应用于原始文件时，您也可以作为交易的一部分获得增强细节的善良。第二个关键件是我们专注于我们对“挑战”的培训努力 - 具有大量质地和微小细节的图像区域，这通常易于在调整大小之后伪影。最后，我们建立了机器学习模型，充分利用了最新的平台技术，如Coreml和Windows ML。使用这些技术使我们的模型能够以现代图形处理器（GPU）全速运行。

使用超分辨率很容易 - 右键单击​​照片（或在正常单击时按住控制键），然后从上下文菜单中选择“增强...”。在“增强预览”对话框中，检查超分辨率框并按增强。

您的计算机将放在其思维帽上，紧缩很多数字，然后在数字负（DNG）格式中生成一个包含增强型照片的新原始文件。您对源照片的任何调整将自动被携带到增强的DNG。您可以像任何其他照片一样编辑增强的DNG，应用您喜欢的调整或预设。说到编辑，我建议采取另一点看看锐化，降噪和可能的纹理设置。所有这些控件都会影响精细的细节，您可能需要在增强的照片上进行最佳效果。

超级分辨率使照片的线性分辨率加倍。这意味着结果将具有两倍的宽度和原始照片高度的两倍，或者总像素计数的四倍。例如，以下源照片是16百万像素，因此应用超级分辨率将导致64百万像素DNG。

图像目前在长边和500万像素上限制在65000像素。如果您尝试将超级分辨率应用于靠近这些数字的文件，如大全景，您将获得错误消息，因为结果太大。我们正在研究未来提高这些限制的方法。现在，不要太担心 - 一个500万像素的文件仍然很漂亮darn大！

将超级分辨率应用于拜耳或X-Trans原始文件，也将自动应用增强细节。结合这些步骤导致更高的质量和更好的性能。

超级分辨率还在其他文件格式上工作，例如JPEGS，PNG和TIFFS。这是我捕获RAW格式的时间流逝序列的示例，然后在Photoshop中撰写它们以产生TIFF文件。然后我将超级分辨率应用于此复合材料。

如果您使用增强了很多，您可能会发现以下提示加快您的工作流程。您可以通过首先在FildStrip中选择所需的图像，然后运行增强命令，在多个图像中应用增强。该对话框仅向您展示主要照片的预览，但您所选择的增强选项将适用于所有选定的照片。您还可以通过按选项（在麦斯座上）或alt（在Windows）键上完全跳过对话框，然后才能选择增强菜单命令。使用此“无头”选项将应用先前的增强设置。

让我们仔细看看结果。我们将从Dpreview.com上开始使用Studio测试场景：

虽然这显然不是一个“真实世界照片”，但它是了解超级分辨率提供的福利的好方法，而超级分辨率。以下是来自该测试场景的各个部分的一些放大庄稼。在左侧使用标准双方升压和右侧的图像使用超级分辨率。注意新方法如何在保留小细节和颜色时更好地进行更好的工作。

这是依据分支和叶子的并排放大，在左边的双臂重新采样和右侧的超级分辨率：

虽然我们在超级主题上，这是超级熊的照片：

当她为红鲑鱼捕捞时，我留着这个棕熊的距离。 （在饥饿的熊和她的午餐之间是一个非常糟糕的想法。）这里有毛皮和喷洒水的特写，左边的双方重新采样，右侧的超级分辨率。

尽可能使用原始文件。更一般地说，从可用的最干净的源照片开始。如果源照片具有工件，则经常使用高度压缩的JPEG或HEIC文件，然后在应用超分辨率后可能会变得更可见。

更快的GPU意味着更快的结果。增强细节和超级分辨率均从快速的GPU进行数百万计算并效益。对于笔记本电脑所有者，外部GPU（EGPU）可以产生很大的不同。我们正在谈论几秒钟VS分钟来处理单个图像！

如果您在新计算机或GPU的市场中，请查找针对Coreml和Windows ML机器学习技术优化的GPU型号。例如，Apple M1芯片中的神经发动机高度调整为Coreml性能。同样，NVIDIA的RTX系列GPU中的Tensorcores非常有效地运行Windows ML。 GPU景观迅速变化，我预计拐角处的性能很大。

超级分辨率可以生成非常大的文件，这需要更长的时间才能从磁盘读取。我推荐使用像固态驱动器一样的快速驱动器或SSD。

最后，不要觉得您需要在所有照片上应用超级分辨率！将其视为真正需要它的那些特殊照片和印刷项目的新选择。至于我自己，我的目录中有十万张照片，但我已经在少数几场超级分辨率使用了超级分辨率。经过长时间谨慎的考虑，我决定我真的不需要一百百万像素的猫照片。真的。

即使在制作大印刷品时，这种泛迷照片也没有任何细节，也不需要超级分辨率。

增强细节是第一个增强功能。超级分辨率是第二个。我们现在正在研究延长超级分辨率的方法，以产生更大和更清洁的结果。我们还将探索同一潜在技术的其他潜在应用，例如改善锐化或降噪。我们能做的任何东西都可以让图像看起来更好是公平的游戏！