针对4K的基于镜头的优化编码

Netflix拥有不断扩大的图书集合，客户可以通过合适的设备和订阅计划享受4K分辨率的图书。除了目录范围内的8位流配置文件？之外，Netflix还为这些影片创建高级比特流。优质功能包括10位位深度、4K分辨率、高帧率(HFR)和高动态范围(HDR)与标题相关的组合，为获得非凡的观看体验铺平了道路。

几年前推出的优质比特流是以固定比特率阶梯推出的，具有固定的4K分辨率比特率-8、10、12和16 Mbps-无论内容特征如何。从那时起，我们开发了诸如按标题编码优化和按镜头动态优化等算法，但这些创新并没有被移植到这些高级比特流上。此外，编码图片组(GOP)持续时间(或关键帧周期)在整个流中是恒定的，由于镜头边界不与GOP边界对准而导致额外的低效。

随着我们目录中的4K书目数量持续增长，越来越多的设备支持高级功能，我们预计这些视频流将对我们的会员和网络产生越来越大的影响。在过去的一年里，我们一直在努力跳跃到我们最先进的编码创新-镜头优化编码和4K VMAF模型-并将其应用于优质比特流。更具体地说，我们通过采用以下方式改进了传统的4K和10位阶梯。

在这篇博客文章中，我们展示了将上述优化应用于标准动态范围(SDR)10位和4K流的好处(有些标题也是HFR)。至于HDR，我们的团队目前正在开发对VMAF的HDR扩展，VMAF是Netflix的视频质量指标，然后将用于优化HDR流。

对于4K集合中的一个标题样本，下图显示了固定比特率阶梯和优化阶梯的速率-质量比较。这些情节已经按照新的最高比特率的递减顺序排列-它现在是内容自适应的，并且与各个标题的总体复杂度相称。

任何点显示的比特率和质量都是在标题持续时间内计算的相应流的平均值。该点旁边的注释是对应的编码分辨率；应该注意，由客户端设备接收的视频被解码并缩放到设备的显示分辨率。至于VMAF分数计算，对于低于4K的编码分辨率，我们遵循VMAF最佳做法，假设采用双三次上采样，将分辨率提升到4K。除了编码分辨率之外，每个点还与适当的像素长宽比(PAR)相关联，以实现目标16：9的显示长宽比(DAR)。例如，640x480编码分辨率与4：3的PAR配合使用可实现16：9的DAR，与阶梯上其他点的DAR一致。

最后一个示例显示新的最高比特率为1.8 Mbps，这是针对可以非常高效地编码的4K动画标题集的。它是内容自适应阶梯优化的一个极端例子-然而，它不应该被解释为所有动画标题都落在类似的低比特率上。

固定比特率阶梯的分辨率和比特率是预先确定的；实现的比特率中的微小偏差是由于编码器实现中的速率控制没有精确命中目标比特率。另一方面，优化梯形图上的每个点都与所有镜头上的最佳比特分配相关联，目标是最大化视频质量目标函数，同时产生相应的平均比特率。因此，对于优化的编码，比特率根据相对复杂度和总体比特预算逐个变化，并且理论上可以达到各自的编解码器级别最大值。不同的点被限制到不同的编解码器级别，因此具有不同解码器级别能力的接收器可以将相应的点子集流式传输到相应的级别。

固定比特率阶梯通常看起来像是阶梯-因为它不是标题自适应的，所以它切换到大多数编码分辨率，因此即使在比特率增加的情况下，质量也保持在该分辨率内不变。例如，两个1080p点具有相同的VMAF分数，或四个4K点具有相同的VMAF分数，从而导致位浪费和存储占用空间增加。

另一方面，优化的阶梯看起来更接近单调增加的曲线-增加比特率会导致增加的VMAF分数。作为附注，我们确实有一些图中没有显示的附加点，用于分辨率受限的场景-例如限制为720p或1080p最高编码分辨率的流会话。这些点位于凸面外壳主阶梯曲线的下方(或右侧)，但允许在分辨率有限的情况下提高质量。

对于优化的梯子，我们有逻辑来检测高端的质量饱和度，这意味着比特率的增加不会导致质量的实质性提高。一旦达到这样的比特率，它就是最高层的一个很好的候选者。可以施加额外的限制作为保障，以避免过高的比特率。

有时，我们摄取的标题在质量频谱的最高端需要更多比特-甚至高于固定比特率阶梯的16 Mbps限制。例如,。

这种情况通常很少见。然而，下图突出了这样一种情况，即优化的阶梯在最高比特率方面超过了固定比特率阶梯，从而实现了最高质量的改善。

正如预期的那样，即使在低比特率或中比特率区域中进行比较，相同比特率的质量也更高。

例如，对于我们的4K集合中的一个标题，我们将固定比特率梯形图中的1.75 Mbps编码与优化梯形图中的1.45 Mbps编码进行了比较。由于4K分辨率需要相当多的像素，因此我们显示了这两种编码的1024x512像素剪切。在提取裁切之前，编码被解码并缩放到4K画布。我们在裁切之间切换，这样可以方便地发现不同之处。我们还显示了相应的完整帧，这有助于了解剪辑如何适合相应的视频帧。

可以看出，优化的梯形图中的编码以更少的位数提供了更清晰的纹理和更高的细节。在1.45 Mbps的速度下，它绝对不是一个完美的4K再现，但对于这样的比特率来说，仍然是非常值得称赞的。与固定码率梯形图相比，优化的梯形图上存在更高的比特率点，可以提供完美的4K质量，而且比固定码率梯形图的比特数更少。

甚至在实地测试新的梯子之前，我们就观察到优化梯子与固定梯子相比的以下优势，并对100多个样本标题进行了评估：

计算Bjøntegaard Delta(BD)速率显示，与固定比特率阶梯相比，平均增益为50%。这意味着，我们平均需要降低50%的比特率才能达到与优化后的阶梯相同的质量。

最高的4K比特率平均为8 Mbps，与固定比特率阶梯的16 Mbps相比也降低了50%。

随着移动设备的不断改进，它们采用了10位和HFR等高级功能(4K分辨率除外)。这些视频编码也可以传送到移动设备。固定比特率阶梯的起始速率为560kbps，这对于某些蜂窝网络来说可能太高了。另一方面，优化的梯形图具有更低的比特率点，这在大多数蜂窝场景中都是可行的。

新的阶梯考虑增加1440p分辨率(又名QHD)点，如果它们位于速率-质量权衡的凸壳上，而大多数游戏似乎都得到了1440p的待遇。因此，当平均超过100个标题时，跳到高于1080p的分辨率(即QHD或4K)所需的比特率为1.7 Mbps，而固定比特率阶梯的比特率为8 Mbps。当平均超过100个标题时，跳转到4K分辨率所需的比特率为3.2 Mbps，而固定比特率阶梯的比特率为8 Mbps。

在Netflix，我们对编码优化执行A/B测试，以检测客户端设备上的任何播放问题，并评估我们的成员所体验到的好处。一组流式会话接收默认编码，而另一组流式会话接收新编码。这反过来又允许我们比较错误率以及与体验质量(QoE)相关的各种指标。虽然我们的流符合标准，但A/B测试有时可以而且确实会发现设备端实现存在微小差距；在这种情况下，我们会与设备合作伙伴合作，以找到最佳补救方法。

总体而言，在A/B测试这些新编码时，我们看到了以下好处，这与上一节介绍的脱机评估是一致的：

对于拥有高带宽连接的会员，我们以平均比特率的一半提供同样出色的质量。

对于带宽有限的成员，我们在相同(甚至更低)的比特率下提供更高的质量-在相同的编码分辨率和比特率下更高的VMAF，甚至比他们以前可以流传输的分辨率更高。例如，受网络限制为720p的会员现在可以获得1080p或更高分辨率的服务。

每小时的拒绝次数下降了超过65%；会员在流媒体时体验到的质量下降也更少。

降低的比特率加上一些数字版权管理(DRM)系统的改进(本博客没有介绍)导致初始播放延迟减少了约10%。

我们已经开始对目录中的4K图书进行重新编码，以生成优化的流，预计将在几个月内完成。我们继续致力于将类似的优化应用于我们的HDR流。

这是我们更大的团队(称为编码技术)和与我们有重要合作伙伴关系的其他各种团队的共同努力，例如：

在各种平台上管理Netflix体验的各种客户端设备和UI工程团队。

为每台客户端设备提供Netflix体验的Product Edge团队，包括在各种编码A/B测试中提供的体验。

媒体云工程团队负责管理计算平台/编排，使我们能够大规模执行视频编码

如果你热衷于视频压缩研究，并愿意为这一领域做出贡献，我们有一个开放的职位。