谷歌的 Rick Osterloh 演示了 Pixel 6 的 Tensor SoC，它支持视频中的实时对象检测和 HDR，以及实时翻译和实时字幕

苹果的 iPhone 和三星的 Galaxy 产品线花了大约五年的时间才真正取得了长足的进步。现在有了五款自己的智能手机，谷歌正在为一些重大变化做准备，这些变化可能会推动 Pixel 系列走向主流。在今年秋季晚些时候 Pixel 6 正式发布之前——是的，已经确认——我有机会坐下来与谷歌的设备和服务高级副总裁 Rick Osterloh 交谈，预览 Pixel 6 和新的谷歌——设计的芯片为其提供动力——是的，那些传言也是真的。然而，在我们深入研究这些新东西之前，让我们先回顾一下 Pixel 的历程。最初的 Pixel、Pixel 2 和 Pixel 3 共享类似的双色调配色方案和相对简单的外观，主要是为了炫耀谷歌的软件。 Pixel 1 是 Google Assistant 的发射台，Pixel 2 带来了 Google Lens，而 Pixel 3 引入了 Night Sight，这改变了智能手机制造商进行移动摄影的方式。在 Pixel 4 中，谷歌重新混合了其之前的双色调配色方案，并引入了 Motion Sense 作为尝试引入环境计算的一种方式。然后是 Pixel 5，它回避了典型的旗舰愿望。虽然它有一个整洁的生物树脂涂层，但它并没有提供太多改进硬件的方式。最后两个 Pixel 可能看起来像是谷歌把想法扔在墙上，看看有什么问题，但该公司一直在继续构建其人工智能和机器学习工作，作为对智能手机计算未来愿景的一部分。所以我们今天要介绍的是 Pixel 6，它不仅是 Google 的新旗舰，而且还是第一款使用 Google 设计的处理器（称为 Google Tensor）的 Pixel。 “我们团队在硬件部门的任务是尝试创建一个集中版的谷歌，我们通过结合公司在人工智能软件和硬件方面的最佳资产来做到这一点，”奥斯特洛告诉我。谷歌不再像过去那样依赖另一家公司的现成芯片，而是决定设计自己的片上系统 (SoC) 来提供谷歌需要的人工智能和机器学习性能它的愿景成为现实。 “多年来，我们一直在 Pixel 上使用 HDR+、Call Screener 和 Night Sight 来做这件事，所有这些都使用了各种先进的机器学习和人工智能技术，”Osterloh 说。 “但非常令人沮丧的是，我们无法像在手机上那样做很多事情。”

这即将改变。 Osterloh 表示，新芯片“是我们五年前首次推出 Pixel 以来最大的智能手机创新。” “这个名字显然是对我们开源 AI 软件开发库和平台的认可，”他继续说道。 “主要目标是尝试将我们最新的人工智能创新带到手机上，这样我们就可以在 Pixel 上运行我们最好的 [人工智能和机器学习] 模型。” Osterloh 没有详细说明 Tensor 的芯片架构、整体性能，甚至 Google 与谁合作生产。但他确实表示，Tensor 解锁了在芯片上本地运行“数据中心级”AI 模型的能力，而无需云的帮助。该芯片对更强大的设备端 AI 性能的支持也是一项隐私优势，因为手机不需要将您的数据发送到云端进行额外处理。 “没有人开发出真正的移动 SoC，而这正是我们的起点，”Osterloh 说。 “我们看到了我们研究方向的未来，我们与人工智能研究人员共同设计了这个平台。”那么，Tensor 究竟能做什么，而以前的芯片不能做到呢？ Osterloh 向我展示了今年秋天即将推出的一些 Pixel 6 功能，这些功能由 Tensor 在 Pixel 6 的接近最终原型上实现。不幸的是，谷歌禁止 Gizmodo 在此预览期间录制设备的照片或视频，但我可以说 Pixel 6在 Google 提供的图片和视频中看起来和在现场一样好。首先，Osterloh 向我展示了一张非常标准的幼儿照片，以突出移动摄影中最具挑战性和最常见的问题之一：试图为一个不会静止不动的主题拍摄清晰的照片。照片的某些部分，比如孩子的手和脸，看起来很模糊。但是通过利用 Tensor 和计算摄影，Pixel 6 能够将照片从可能最终进入回收站的照片转换为您真正想要保留的照片。 Osterloh 说，通过设计 Tensor 来满足谷歌的需求，谷歌能够改变内存架构以更轻松地操作数据——即使在数据正在处理时——以更好地将某些任务卸载到 Tensor 的 AI 引擎，从而提高性能和能效，而不是像许多其他处理器一样更加依赖芯片的图像信号处理器。

“我们试图做的是通过使用 Tensor 将这个物理问题变成一个可解决的数据问题，”Osterloh 说。 “我们这样做的方法是针对这样的场景，我们将通过超广角传感器以非常快的曝光同时通过两个传感器拍摄图像，因此我们可以获得非常清晰的照片，然后我们通过主镜头拍摄图像。正常曝光时的传感器。” “与此同时，我们还尝试使用我们的机器学习模型之一检测运动，并且我们还尝试使用我们的人脸检测模型确定图片中是否有人脸，”他说。 “因此，我们同时使用所有这些机器学习技术，使用 TPU 和手机中的所有可用资源。”结果是一张照片，虽然不是 100% 清晰，但仍然比以前可爱但模糊的照片高出很多。 Tensor 的功能不仅限于照片。 Osterloh 还展示了 iPhone 12、Pixel 5 和 Pixel 6 拍摄的同一场景的视频之间的比较。在视频方面，对 AI 性能的要求增加，但使用 Tensor，Pixel 6 能够做到诸如提供实时 HDR 同时还使用对象检测来识别日落之类的东西，这使 Pixel 6 能够智能地调整白平衡并增加动态范围。这些是 iPhone 和 Pixel 5 都无法正确考虑的方面。“你几乎可以想象 Tensor 是为视频执行计算摄影而构建的，”Osterloh 说。 “能够在我们的视频中实时处理机器学习，这与我们所处的位置相比是一个巨大的变化。”但也许我看到的最令人印象深刻的演示是当 Osterloh 播放某人用法语进行演讲的视频时。尽管在初中和高中学习了 6 年的法语，但理解一两个随机短语的水平远高于我的水平。然而，通过几次快速点击，Osterloh 不仅能够打开实时字幕，还启用了实时翻译，让 Pixel 6 能够实时将录音从法语转换为英语。 Google 的 Live Caption 和 Interpreter Mode 功能已经在各种设备上可用一段时间了，但它们从未在手机上同时可用，仅仅是因为以前的芯片无法提供那种 AI 和机器学习性能来支持他们。 Osterloh 还演示了 Gboard 中的另一项新语音听写功能，该功能可让您在发短信时说话而不是打字，并且 Pixel 6 能够实时自动纠正许多错误。如果它错过了，您可以自己更正，而不会中断消息。很高兴看到 Tensor 还支持直接改进，例如大大提高语音识别的速度和准确性。

现在让我们谈谈 Pixel 6 本身。谷歌还没有发布详细的规格，但 Pixel 4 和 5 被批评为平庸。所以我问奥斯特洛谷歌是否会再次制造旗舰级手机。 “是的，”他说。 “这是：Pixel 6 和 Pixel 6 Pro。”新的 Pixel 6 和 Pixel 6 Pro 与之前的 Pixel 共享一些设计元素，但以一种清新、俏皮且非常迷人的新方式进行了重新构想。谷歌没有采用双色调设计，而是选择了三色美学，前后玻璃面板，有多种组合可供选择，在我看来，这看起来像是对五金店油漆色板的前卫诠释——我的意思是，在最好的情况下方式可能。屏幕边框比以前更薄，Pixel 6 的自拍凸轮更向中心移动，并且都配备大而明亮的 OLED 显示屏。 Pixel 6 和 6 Pro 实际上都很大。我们谈论的是屏幕至少为 6.5 英寸或更大的设备。特别是 Pixel 6 Pro 在尺寸上感觉与三星的 Galaxy S21 Ultra 相似。 Pixel 6 的背面没有标准的相机凸起，而是采用 Osterloh 所说的“相机带”，它不仅增加了一些视觉吸引力，而且更加吸引了对 Pixel 6 相机的关注——这是谷歌开始探索的设计元素Pixel 4。虽然我们不知道 Pixel 6 的相机规格，但该乐队还强调了标准型号和 Pro 之间的最大区别。基本的 Pixel 6 具有广角和超广角摄像头，而 Pixel 6 Pro 终于获得了带有 4 倍光学变焦的额外长焦摄像头。 Pixel 6 和 Pixel 6 Pro 在设计、组件和软件智能方面都感觉非常像高端设备。对我来说，这是对去年中档 Pixel 的一个非常令人鼓舞的逆转——这来自曾经指责谷歌不关心 Pixel 硬件的人。现在让我们回到苹果和三星的手机阵容，它们花了数年时间才大步前进。 Apple 的第六款手机是 iPhone 5，它是有史以来最受欢迎的 iPhone 之一，与最初的 iPhone 和 iPhone X 一起成为有史以来最重要的 iPhone。对于三星，在 S6 和 S6 Edge 之间，我们看到了前后玻璃设计以及曲面显示屏的引入，这在接下来的五年中基本上使三星的手机设计更加清晰。借助 Pixel 6 和新的 Tensor 芯片，我们即将看到谷歌将如何使用人工智能和机器学习来真正推动其环境计算的愿景。

在 Osterloh 的见解、我看到的演示和 Pixel 6 的硬件之间，我最大的收获是谷歌在这次发布时非常有信心。通常，公司会尽量将此类细节保密（在泄密和谣言盛行的时代），直到正式宣布为止。但是有了 Pixel 6，谷歌不仅在人工智能和机器学习上加倍努力，它还试图以一种重要的方式利用五年多的研发成果。虽然现在称 Pixel 6 取得成功还为时过早——我们必须等到秋天才能真正花时间使用该设备——我对目前所见所闻感到鼓舞。