了解ProRAW

我们制造了最受欢迎的iPhone RAW相机，因此当Apple展示其新的ProRAW图像格式时，我们感到非常兴奋。

许多喜欢我们的鞋子的开发者会吓坏了，以为苹果想吞噬他们的顾客。我们只是感到困惑。

苹果公司为最广泛的受众开发产品，而RAW是摄影爱好者的工具。这些强大的文件需要熟练的编辑能力，并且需要进行重大的权衡。苹果为何将复杂的功能塞入适用于所有人的应用程序中？

当我们深入探究ProRAW时，我们意识到的不仅仅是使RAW更加强大。这是关于使RAW平易近人。 ProRAW可以很好地改变每个人（初学者和专家）拍摄和编辑照片的方式。

为了理解它的特殊之处，本文的前半部分说明了数码相机如何显影照片。然后，我们继续说明传统RAW的优点和缺点。最后，我们将探讨ProRAW的独特之处，它如何改变游戏规则以及它的一些不足之处。

当您点击相机上的相机按钮时，光线会通过一系列光学元件并到达数字传感器上并在那里被捕获。

我们将讨论相机将传感器值转换为图片时发生的三个重要步骤。

您的数字传感器吸收光并将其转化为数字。看到的光越多，数字越高。

我使用黑白是有原因的-数字传感器完全是色盲的。 1976年，柯达（Kodak）的一位聪明的工程师找到了一个解决方案：在传感器上放置一个滤色镜网格，以便每个像素都能看到红色，绿色或蓝色。

这种马赛克图案称为Bayer图案，以其发明者Bruce Bayer命名。有了彩色滤光片后，我们的传感器现在可以看到交替颜色的网格。让我们放大树上的叶子，看看传感器看到了什么。

每个像素是红色，绿色或蓝色。我们通过遍历每个像素，查看其相邻像素，并猜测其两个缺失的颜色，找出真实的颜色。此关键步骤称为“去马赛克”或“去拜耳化”。

这是一个棘手的问题。将简单的算法与更高质量的算法进行比较，您会发现紫色条纹之类的问题。

看镜头中的鹅卵石。快速算法有点“像素化”。

有很多流行的去马赛克算法可供选择，每种算法都有其优点和缺点。完美的算法取决于传感器的类型，您的相机设置，甚至是主题。例如，如果您拍摄的是夜空，则某些算法可以在恒星上产生更好的效果。

不好如您所见，颜色和曝光关闭。

您的相机没有问题。恰恰相反：相机捕获的信息多于屏幕显示的信息。我们必须获取这些传感器读数，以测量场景中的光线，并将其转换为照亮显示屏的像素值。

让我们从颜色开始。下表代表了人类可以看到的所有颜色，中间的三角形覆盖了大多数屏幕可以显示的颜色。

当您的相机捕捉到三角形外部的颜色时，我们必须推拉那些无效的颜色以使其适合内部。

一个细节使这一点特别棘手：确定哪种白色是“真”白色。如果您曾经购买过灯泡，那么您就会知道现实世界中的所有白光都有淡黄色或蓝色。我们的大脑会根据周围环境的提示调整对白色的感知。这就是所谓的颜色恒定性，这就是为什么这种黄色/蓝色礼服的错觉会骗人的原因。

在大多数情况下，现代相机非常擅长于找出白点。因此，我们选择白点，进行数学运算，最后得到一个完美的白平衡图像。

看起来与我们所看到的非常接近，但是框架顶部的遮阳篷曝光不足。

此问题的技术名称是“动态范围”。您可以一次捕获或显示的光线范围是从最亮的明亮到最暗的阴影。您会经常听到此范围以“停靠点”衡量。

是否曾见过诸如“ HDR”或“ XDR”之类的术语？ “ HDR”中的“ DR”代表动态范围。人们对此大惊小怪。这是技术上特别困难的问题，因为人眼非常好。

它很容易成为世界上功能最强大的相机，因为它最多可以看到30档动态范围。大多数屏幕可以显示8个停靠点。数码相机最多可捕获15个停靠点。当我们尝试在动态范围较低的屏幕上显示所有这些信息时，它看起来可能会出错，有时会出乎意料。

请注意，天空中有奇怪的青色斑点，这是由颜色通道之一的剪切引起的。

解决我们的动态范围问题的方法要比在任何地方都增加阴影和降低高光要复杂得多。这样可以使整个图像感觉平坦。

而是要使图像的一小部分变暗和变亮。五十年前，摄影师花了几个小时使用称为“闪避和刻录”的过程来调整底片。

让我们继续通过电子邮件将其发送给我们的朋友……哦，哎呀，这是100兆字节。图片仍然包含我们看不到的所有数据。幸运的是，完成编辑后，我们不需要所有这些数据。

在计算机图形学中，如果使用更多位，则数学运算将更加准确。在编辑时，我们需要使用每像素64位才能获得不错的结果。完成编辑后，我们可以将其缩减为32位，即文件大小减半，而没人能分辨出区别。

接下来，我们可以丢弃大部分颜色信息。这又减少了一半。

最后，我们可以应用一种称为“有损压缩”的东西-您在JPEG中找到的那种。我们最终获得的图片只有1.6 mb，可以与朋友分享。

ew屏住呼吸，让所有沉入。准备就绪后，我们终于可以回答…

我们刚刚冲了张照片。发展的每一步都是破坏性的，这意味着我们会丢失信息。例如，在第2步中，一旦四处移动颜色以适合该三角形，就永远无法弄清楚原始的真实颜色。

那么，犯错了怎么办？让我们回到加州最近发生的山火，使天空变成橙色。当时我用色卡拍了一张照片，以为有一天会派上用场。

内置的摄像头应用程序被橙色的天空所迷惑，并试图使所有事物保持中立-因为这就是世界通常的样子。人们困惑地发现他们的相机拒绝拍摄他们所看到的世界图像。

很多人都使用手动设置来替代相机的自动白平衡，但是假设您没有。我会将不正确的JPEG放入Lightroom之类的图像编辑器中，然后尝试将其与原始图像匹配。

嗯请注意，它是如何弄乱某些颜色的，从蓝色变为紫色。

尝试对诸如JPEG之类的已处理图像进行未处理，就像尝试取消烘焙蛋糕一样。当相机产生JPEG图像时，您最好喜欢它所做的选择，因为没有回头路可走了。

现在想象一下，如果您的相机不是保存JPEG，而是保存了原始传感器值。现在，您可以自己做出完全不同的处理决策，例如白平衡。您将获得原始数据。

我们在此博客上写了很多有关RAW的文章。我们喜欢它。拍摄RAW具有神奇的力量。使用几个旋钮，您可以挽救您认为因曝光不良而丢失的照片。

到目前为止，我们仅谈论过错误，但是RAW还使您可以自由地尝试各种不同的艺术效果选择，使您可以对照片进行显影，使其看起来像是如何体验的。

还记得旧的胶卷相机吗？他们的照片也必须从底片上显影。 RAW数据通常以DNG文件格式存储，该格式表示Digital Negative。一些相机制造商有自己的格式，但这些公司都是混蛋。

DNG是一个开放标准，因此任何人都可以构建可读取和写入DNG的软件。最重要的是，文件格式会继续发展，我们很快就会看到。

我们制作了RAW相机应用，因此我们当然是RAW的粉丝。这也意味着我们会收到大量与此有关的支持电子邮件。到目前为止，最常见的问题是：“为什么我的RAW看上去比内置相机应用程序差？”

随着时间的流逝，iPhone摄像头变得更好了。最初，这些是硬件上的飞跃：更好，更大的传感器和镜头可以拍摄更清晰的照片。最终，尽管如此，处理器变得更快了，相机也变得更大了。相机变得更智能了。

iPhone会拍摄许多照片，然后将其组合为一张照片，从一张照片的阴影中选择细节，从另一张照片中正确拍摄狗的脸，再拍摄其他一些照片以获取更多细节。这将以毫秒为单位合并到最终结果中，而无需您付出任何努力。这是非常聪明的东西，像Smart HDR和Deep Fusion这样的很酷的名字。

另一方面，iPhone RAW文件仍然只是一个图像。这意味着它们看起来相当……不同。

如果您来自内置的iPhone摄像头应用程序，那么切换到手动处理就像从自动变速箱的汽车切换到变速杆一样。

学习曲线非常陡峭，这就是为什么我们在最新的Mark II更新中内置了“ Instant RAW”功能，因此您不必花一个下午的时间在图像编辑器中进行调整即可获得不错的效果。

但是，即使使用Instant RAW或编辑，有时RAW的外观仍然与内置相机应用程序的外观不同，并且与您的技能无关。 RAW缺少难题的关键部分：Apple的智慧。智能HDR和Deep Fusion等计算摄影。

即使Apple将这些算法交给了第三方应用程序，它们也可以处理连拍照片，将每个图像的最佳部分融合在一起。每个iPhone RAW均为12mb。如果您想使用以下一种算法来重现Apple相机的结果，则每张照片所需的存储空间是原来的十倍。

哦，还有一个问题：前置相机或超宽相机都无法拍摄RAW。

ProRAW优雅地解决了所有这些问题，甚至更多。您最终可以重现第一方相机的结果，同时保留传统RAW的大部分编辑范围。

从技术上讲，没有ProRAW文件。 ProRAW图像是常规DNG文件，它利用了规范中一些鲜为人知的功能，并引入了一些新功能。

还记得DNG是一种开放文件格式吗？苹果与Adobe合作推出了一些新标签。 ProRAW进入公开Beta测试的那一天，DNG发布了1.6规范，其中包含有关这些标签的详细信息。

这可能使某些人感到惊讶：ProRAW不是专有格式或封闭格式。应归功于：苹果公司因将其改进引入DNG标准而倍受赞誉。当您使用ProRAW拍摄时，绝对没有将您的照片锁定在Apple生态系统中的一切。

让我们深入探讨ProRAW文件与过去几天RAW的不同之处。

ProRAWs在去马赛克步骤之后存储像素值。就像他们早先将输出第一步一样，并存储了这些值。我们将稍等一下他们为什么要这样做。

重要的是要了解这些去马赛克的颜色值仍代表场景，而不是您的显示器。它们包含所有原始动态范围。它们包含所有超出范围的颜色。它们保留了使用“真实” RAW的所有灵活性。他们只是跳过第一步。

从理论上讲，您在选择特定的去马赛克算法时会失去灵活性。实际上，大多数专业摄影师都不会打扰。

与其他第三方RAW编辑器相比，iOS很有可能在图像去马赛克方面做得更好。苹果公司最大的优势在于其硬件和软件的统一性，因此他们可以确切地知道您所使用的传感器，以及在不同的ISO设置下其表现如何。从理论上讲，他们甚至可以将图像识别应用到该过程中。如果iOS检测到夜空，它会自动选择一种适合明星的去马赛克算法。

这一狡猾的举动也使苹果公司对其未来使用的图像传感器有了更大的控制权。之前，我说过大多数相机都使用拜耳模式。一些相机制造商使用不同的模式，这需要不同的算法。富士胶片发明了X-Trans传感器，该传感器可产生更清晰的图像，并带有更多类似胶片的颗粒。甚至还有一个Foveon数字传感器，它们将滤色器彼此堆叠在一起。

Apple现在是一家设计自己的硅片的公司，并且非常擅长于此。相机是购买手机的重要驱动因素。苹果在传感器领域进行创新似乎是不可避免的。接管去马赛克步骤将使这种过渡变得顺利。假设地说，他们可以将当前的拜耳传感器换成“ Apple C1”，并且只要它保存在ProRAW中，它就可以像Lightroom这样在每个专业摄影过程和应用中从第一天开始工作，而不必等待Adobe编写一种新的去马赛克算法。

我们惊讶地发现ProRAW在所有四个相机上都可用，我们从中受益匪浅。

以前，您无法使用前置或超广角相机拍摄RAW。苹果公司在技术限制方面含糊其词，但表示即使第三方开发人员可以访问RAW数据，他们也不知道该如何处理。借助ProRAW，他们可以处理烦人的事情，而让诸如编辑器之类的应用来处理他们擅长的方面：编辑。

因此，现在我们有了数据，但是本地色调映射和其他计算摄影功能又如何呢？ Apple可以开放其算法的第三方应用程序，但这并没有您想象的有用。对于初学者，您需要保存大量的RAW文件。我们会回到那个100兆字节的文件。

我还认为，随着这些算法的不断发展，关于产生一致的结果存在合理的问题。一年后返回一张照片，发现苹果的AI会产生不同的结果，这真是令人惊讶。

相反，ProRAW将计算摄影的结果存储在RAW内部。这是他们需要存储去马赛克数据的另一个原因，因为这些算法对彩色数据（而不是RAW数据）进行操作。一旦解散，就没有回头路了。我的意思是，remosaic你什至会称呼它吗？

Smart HDR以最小的破坏性方式做到这一点。苹果公司与Adobe合作，将一种新型标签引入DNG标准，称为“配置文件增益表映射”。这些数据为您的编辑器提供了色调映射您的照片图像所需的一切，并最终获得与第一方相机相同的结果。由于它们是单独的数据，因此您可以降低其强度，然后将其完全关闭。

当您查看ProRAW图像并禁用Instant RAW时，这就是我们在Halide中所做的。

即使您选择退出本地色调映射，您现在也可以在编辑器中使用基础HDR数据，结果是……

深度融合是一个不同的故事。尽管它通常被称为“毛衣模式”，但更多的技术目标是“减少低照度下的噪音”。与那些增益表地图不同，没有一种优雅的方法可以将其效果与最终图像区分开。如果您不希望进行深度融合，则唯一的选择是在捕获时退出该过程。

如果您阅读我们的文章已有一段时间，那么您就会知道我们是自然噪音的拥护者。在进行深度融合之前，iPhone JPEG因其“水彩效果”而臭名昭著。在我几年前拍摄的这张照片中，注意到面孔被涂抹成一团。

深度融合产生截然不同的结果。它不仅将图像拖影，而且将多个结果组合在一起以对结果进行平均。它看起来很自然。

如果您不喜欢Deep Fusion，则可以选择退出API。我们在“捕获设置”下的“卤化物”中对此进行公开。在撰写本文时，我意识到这种切换使操作实验变得很容易……

我将它们带入Lightroom，并增加了阴影。让我们放大测试图案图片。

如果您想知道我曾经使用过哪些相机设置来拍摄照片，答案会有些复杂。启用这些算法后，iPhone将忽略手动曝光设置。毕竟，深度融合会以多种设置进行多次曝光。尽管最终图像中嵌入的元数据报告的ISO为40，但连拍中的所有照片都不太可能具有该设置。

如您所见，通过在Halide中禁用此智能处理功能，我们仍然可以选择跳过ProRAW文件中的许多降噪功能。

像这样的综合测试都很好，但是现实世界呢？

塞巴斯蒂安（Sebastiaan）在过去的几周中使用Halide Beta在现场测试了ProRAW。在日常编辑过程中，他发现ProRAW中的动态范围令人赞叹不已：

ProRAW的假期还有一个惊喜。几年前，苹果公司开始使用神经网络来检测图像的有趣部分，例如您的眼睛和头发。

苹果公司用它来说，仅对天空中的云彩进行锐化处理，而不对面部进行锐化处理，这将非常不讨人喜欢。

ProRAW文件包含这些地图！脸部使用的语义贴图以及在“肖像”模式下为背景模糊提供动力的“肖像效果遮罩”。

通过存储去马赛克值，ProRAWs还可以通过一些有趣的方式处理笨拙的文件大小。这真的很重要，因为当您使用第一方相机应用程序拍摄ProRAW时，每个文件的大小约为25mb-甚至会更大。这比普通照片高一个数量级或更多。它加起来很快。

首先，我们可以进行位深度的摆弄。默认情况下，ProRAW使用12位数据，这可能会过大。 JPEG每个颜色通道只有8位，因此转到10位意味着4倍的编辑精度。虽然第一方相机应用程序不显示此选项，但它在API中。我们已将其添加到Halide中，并且看到文件降到了8mb。实际上，您可以以文件大小的一半获得大部分ProRAW好处。

如果您想进一步减小文件大小，则ProRAW提供有损压缩，可以将这些文件的大小降低到1mb，但速度却不太快。这些压缩API当前将位深度降低到8位。我们认为，这太过折衷了，因为它给您留下的文件仅比JPEG好一点。我们确定ProRAW压缩会令用户感到困惑，我们暂时暂不支持压缩。幸运的是，Apple的相机团队一直在非常快速地迭代ProRAW，因此我们希望10位压缩即将到来。

最后，事实证明，每个ProRAW文件还可以包含经过完全处理的JPEG版本。这是无法识别RAW的应用程序（大多数应用程序）的后备图片。甚至Instagram。第一方相机不提供​​此功能，这意味着您无法将与ProRAW一起拍摄的照片分享给不支持RAW图像的应用。我们已在Halide中添加了该选项。

如果您打算编辑图像，则可以选择退出这些4mb图像。您的RAW编辑应用程序将忽略它，并最终为您的Instagram生成新的JPEG。

iOS 14.3中最被低估的改进是本机“照片”应用程序现在支持RAW编辑。这是巨大的，因为它抽象了高端应用程序的所有复杂性。无需摆弄“黑点”和“颜色配置文件”。只知道如何在内置应用程序中编辑照片的临时用户无需执行任何其他操作。它就是有效的。

这很关键，因为我们可以预期第三方照片编辑器将花费一些时间来采用这种新的元数据。在此之前，ProRAWs看起来不会像系统JPEG。比较在Lightroom CC和Photos.app中查看的结果。

由于Lightroom尚未检测到本地色调映射元数据，因此看起来似乎不对。但是，鉴于Adobe参与了这些标签的设计，我们可以期待在不久的将来进行更新。

对于其他iOS编辑器，苹果已经更新了支持这些新标签的RAW处理框架。 在大多数情况下，它“有效”，所以您 ......