恢复视频基础架构以授权youtube

在我们创新系列的这一分期上，我们在罕见的内部看着一个重要的创新，即迎来了YouTube视频基础设施的新时代。

运行全球平台，以大量的视频正在上传，存储和分发，达到数百万创建者，数十亿观众是一个复杂和苛刻的任务。但是，如果所有人都应该工作，但它是以一种没有人通知的方式完成的。在我们创新系列的这一分期上，我们在罕见的内部看着一个重要的创新，即迎来了YouTube视频基础设施的新时代。铅软件工程师杰夫卡罗将我们带我们来通过创建一个通过汹涌澎湃的大流行性观众提供了我们平台的开拓系统，并将携带我们的未来。

简而言之，您刚刚在ASPLOS会议上宣布的创新是什么？您能解释为什么为普通YouTube查看器或创建者很重要吗？

杰夫：我们的使命是“让每个人都有一个声音并告诉他们世界。”让任何人上传视频以免费显示世界上的其他人。这需要很多处理能力。几年前，随着我们平台上的视频的规模增长，我们需要提出一个新的系统，让创造者继续无缝上传，观众观察他们所展望的所有选择。

要理解的重要措施是以单一格式创建和上传视频，但最终将在不同的设备上消耗 - 从手机到电视 - 在不同的分辨率。一些观众将在家里的4千台电视机，别人在骑公交车上看。基础设施团队的工作是让这些视频准备好在称为转码的过程中观看 - 视频压缩视频，以便我们将最小的数据发送到所选设备的最高质量视频。但它的昂贵且慢，并且使用常规计算机的处理“大脑”（称为CPU）非常效率低，特别是在添加越来越多的视频时。

因此，我们为转码视频创建了一个新系统，让我们在我们的数据中心和仓库规模上更有效地进行此过程。我们决定利用计算机科学家多年来一直在努力的想法 - 为这项具体工作开发一个特殊的“大脑”。在其他领域，图形（GPU）或人工智能（TPU）有特殊的大脑。在我们的情况下，我们开发了一个自定义芯片到跨代码视频，以及协调这些芯片的软件。我们将全部放在一起以形成我们的代码转换特殊大脑 - 视频（Trans）编码单元（VCU）。与我们之前的优化系统相比，我们看到计算效率高达20-33x的改进，该系统在传统服务器上运行软件。

除了在罕见的情况下有一个停电，很容易忘记幕后工作的工作，只是为了让你跑步。您能否就运行全球平台的24/7的全球平台的范围和复杂来提供一些技术视角？

杰夫：当我在这里采访候选人时，我总是提到平均每分钟到平台上传了500多小时的视频内容 - 总是与它们共鸣。在Covid-19大流行期间，随着家庭庇护的人，我们看到视频消费中的潮流。在去年的第一季度，我们在世界各地看到观察时间增加了25％。去年上半年，每日总日河流总量增长了45％。因为我们有这个系统到位，我们能够迅速扩大以满足这种浪涌。实际上，这意味着在创建者上传后，在上传它们之后，视频可用于查看者。

您首先在2015年启动了这个项目 - 你看到了什么，然后推动了寻找新的基础架构解决方案的需要？

杰夫：几年前，我们看到对更高质量的视频的需求不断增加（例如，1080p，4k和现在8k）。我们还看到更广泛的互联网将无法适应这种增长，除非我们转移到更多数据有效的视频编解码器（编解码器基本上是不同的压缩视频数据的方式）。但是，像VP9这样的数据有效的视频编解码器使用更多的计算机资源来编码而不是H.264。这些动态的组合使我们追求了大幅度更有效和可扩展的基础设施。这里的图像质量与JanelleMonaé视频中的图像质量进行比较。 VP9版本清晰看起来比传统H.264好，但它使用5倍更多的计算机资源来编码。

这是如何令人生畏的是一支用于创造硬件的软件工程师团队？

杰夫：幸运的是，我们正在做的大多数是一个完整的系统，所以我有一个垂直综合的团队，广泛传播，透明地分化了人们的职责。这包括与更靠近硬件工作的硬件体验的同事，然后是Weren＆＃39; t的其他人。但要告诉你真相，它并没有令人生畏。这是一个令人兴奋的机会，了解一堆新的和有趣的东西。也许有一定程度的乐观情绪和天真地进入了它的实际上艰难和困难。在翻盖方面，我们撰写本文实际谈论的很多硬件开发有“像样”的方面，这也使这似乎比实际似乎不太困难。但是当你在谷歌和youtube中拥有你的人和合作时，这使得它更加艰巨。

你面临的一些最大的风险是什么，你是怎么面对的？你遇到了很多反对者吗？

杰夫：硬件一般是一种风险，因为这是一个长期的承诺。因此，特定的基本风险是该新芯片的开发并第一次搞定。你花了很多时间开发它，如果它不起作用，你必须返回并修复它并制造另一个芯片。这将使一切都延长了很长一段时间。先发制用地，我们实际上正在使用软件和专业仿真硬件模拟硬件 - 很多努力进入了这些模拟，以最大限度地减少风险。至于反对者，还有一些，但我们在公司的硬件方面有很多强大的倡导者，以及YouTube行政方面，谁是非常有前的，并且看到了我们所做的事情的价值。

您认为跨越多个团队和部门这样的大规模项目，以及在此规模中携带各种技术的所有复杂性。但我们听说在某些时候，你被一个松散的螺丝脱落了？发生了什么？

杰夫：我们在数据中心部署了一台机器，它失败了我们的烧焦测试，其中一个芯片刚刚没有想到，我们不知道为什么。所以我们试图跑一大堆诊断，然后硬件技术打开运营机，并注意到坐在其中一个挡板上是这种松散的螺丝。并且它基本上阐述了其中一个电压调节器，因此芯片上＆＃39; t＆＃39;它是一个螺丝，它在运输中松动。没有什么可以抓住火灾或类似的东西，但它就像是的，一个螺丝？

这个新系统为视频基础设施的未来设置了什么样的先例？接下来是什么？

杰夫：其中一个关于这一点的事情就是它是一个＆＃39; t一个一次性计划。始终旨在具有多个芯片，并在其间调谐系统。我们和我们在下一代芯片中进行的关键事情之一是在AV1中加入AV1，这是一种新的高级编码标准，比VP9更有效地压缩，并具有更高的计算负载来编码。

至于我，我将继续对这个项目的工作，发展未来几代人，这将让我忙碌一段时间。