谷歌已决定YouTube是一种巨大的转码工作负载,需要构建自己的服务器芯片。该公司详细介绍了它的新" Argos"芯片在YouTube博客文章中,CNET采访,以及ASPLOS的纸质,对编程语言和操作系统会议的架构支持。正如图形工作负载和Google' S TPU(张量处理单元)的GPU,YouTube基础架构团队表示它创建了" VCU"或"视频(跨)编码单元,"这有助于将单个视频转频转换为多个版本,需要提供平滑,带宽高效的有利可图的视频站点。
Google' S Jeff Calow表示,与我们之前的优化系统相比,Argos芯片的计算效率提高了,而是在传统服务器上运行软件的计算效率。" VCU包是一个全长PCI-E卡,看起来很像显卡。董事会有两个argos AsiC芯片埋在巨大的被动冷却的铝散热器下。在那里'甚至是一个看起来像一个8针电源连接器,因为pci-e只是' t足够的力量。谷歌还提供了一个可爱的芯片图,列出10"编码器核心"在每个芯片上,用谷歌' s白皮书添加那个"所有其他元素都是现成的IP块。"谷歌说明了这个"每个编码器核心可以在实时编码2160p,使用三个参考帧实时编码2160p(每秒帧帧)。"
该卡专门设计用于谷歌' S仓库规模计算系统。 YouTube' S系统中的每个计算群集都将有一段专用" VCU机器"加载了新卡,保存Google不得不打开每个服务器并用新卡加载它。谷歌表示,卡片类似于GPU,因为它' s在其现有的加速器托盘中适合。 CNET报告"数千点筹码现在正在谷歌数据中心运行"并且,由于卡片,个人视频工作负载等4K视频"可以在几小时内观看而不是先前所采用的日子。"
即使您在筹码中的R& D在筹码中,谷歌也表示,此VCU计划将保存它的一笔钱,甚至提供了上面的基准,与在Intel Skylake芯片上运行其算法相比,设置了设置的TCO(总体拥有成本)和NVIDIA T4张量核心GPU。
作为世界'最大的视频网站,保持YouTube运行最初被认为是一项不可能的任务,直到谷歌于2006年购买该公司。从那时起,谷歌已经积极地努力保持该网站'速率下降,通常会重塑互联网基础设施和版权以使其发生。今天,YouTube的主要基础架构问题需要解决最终用户,提供一个视频,该视频适用于您的设备和带宽,同时保持质量。这意味着使用您的设备支持的编解码器并选择与显示器匹配的分辨率(并且不会使用大规模文件绘制您的Internet连接)。
对于谷歌,这意味着将单个视频转换为大量其他视频。您可以通过点击一个8K视频的装备来看到这项工作的一部分,您可以在其中' ll查看从单个上传的九个总分辨率:144p,240p,360p,480p,720p,1080p,1440p,2160p和4320p。这些都是不同的视频文件,并且需要从原始的8K上传的文件创建 - 并记住这只是为您的特定设备。
谷歌还需要在多个编解码器中提供一些九个分辨率,基本上决定了视频在互联网上的方式被压缩。该公司希望在最先进,高效的编解码器中提供视频,以节省带宽成本,这是YouTube的大部分成本。虽然,解码视频编解码器吞噬处理电源,并且在更便宜的移动设备上,它不会平稳,有效地发生,而不是对每个新编解码器的专用硬件加速支持。这意味着谷歌只能在新设备上使用最佳编解码器,并且需要将视频的副本保留在旧设备上的旧编解码器中。
如今,现代设备通常获得高效的VP9编解码器,而较兼容的H.264越来越兼容,用于在切削刃上且#39; T的设备保持周围。没有人真正了解YouTube的深度' S视频编解码器选择,但该网站通常也支持近10年的设备,包括"低分辨率翻转电话,"根据ASPLOS纸。因此,在那里有一些预约H.264编解码器用于古代设备,如3GP。
谷歌'如果您认为编解码器不断推动,并且再次使用带宽是运行该网站的巨大成本,因此谷歌计算挑战变得更加不可思议,它有利于谷歌推动并升级到这些新的编解码器尽快。升级到新的编解码器意味着将每个视频(或至少大多数)转换为热的新编解码器,哦,是的,这需要每隔几年进行每一年为每个新的编解码器发生。您认为youtube有多少视频?谷歌可能只提供关于增长的统计数据(如" 500小时的视频上传到YouTube每分钟和#34;)因为视频总数是如此大,这是一种不可知的金额。而且,甚至没有计算YouTube Live(想象所有发生这种转码,在100毫秒延迟的情况下)以及来自驱动器和Google照片的额外工作负载。谷歌在地球上有了最大的转码作业。
编解码器对YouTube非常重要,谷歌实际上在开发它们方面的成功。 2009年,谷歌购买了Codec开发人员ON2技术(提供了在Flash视频中使用的VP6编解码器的公司,该公司当时提供动力YouTube),从那时起,该公司一直是一个主要的编解码器开发人员。推出并升级到VP8和VP9后,Google'下一个编解码器(现在通过行业联盟创建)是" AV1,"有一天它希望有一定是突破一个宽阔的推出。关于AV1,Calow告诉YouTube博客,"这是一个关于这一点的事情是它是一个' t一个一次性计划。始终旨在具有多个芯片,并在其间调谐系统。以及我们在下一代芯片中做出的关键事情之一是在AV1中加入,一种新的高级编码标准,比VP9更有效地压缩,并且具有更高的计算负载来编码。" AV1在YouTube和几个其他视频网站上进行实验可用,但目前通过客户端支持举行了大规模使用情况。根据CNET的说法,这些第二代芯片已经被分阶段分为谷歌和#39; S服务器场。