Facebook Reality Labs的研究人员详细介绍了赋予AR用户“感知超能力”的工作，试图自动放大用户试图听到的内容

Facebook的一项新实验展示了声音如何在增强现实中发挥重要作用。FRL Research(前身为Facebook Reality Labs)的首席科学家迈克尔·阿布拉什(Michael Abrash)和他的团队今天公布了有关该团队所称的“感知超能力”的细节--AR系统能识别出你试图听到的东西，然后将其放大，并降低背景噪音。结合空间音频功能，该设备在一副眼镜上创建了相当于全息图覆盖的听觉效果。

Facebook多年来一直在追求高质量的虚拟声音，主要是通过其Oculus虚拟现实耳机。FRL Research的最新工作重点是AR应用。举一个例子，该公司解释说，“想象一下，你可以在拥挤的餐厅或酒吧里进行对话，而不必提高嗓门来让人听到，也不用费力去听懂别人在说什么。”

AR眼镜可以做到这一点，方法是用麦克风拾取音频，使用上下文线索来判断哪些声音是重要的，并将这些声音通过降噪耳机提供给用户。相反，如果你在打电话或视频通话，改进的空间声音可以将参与者的声音或其他音频投射到房间的特定部分，增加你真的和别人在一起的感觉-或者用FRL Research的话说是“音频存在”。

正如Facebook承认的那样，实验室的“感知超能力”音调与现有助听器的功能非常相似，后者也可以放大声音并降低背景噪音。(一个实验系统甚至使用大脑植入物来聚焦特定的声音。)。

然而，AR眼镜为听力受损和非听力受损的人提供了独特的机会。方向传感器和外向式或眼球跟踪摄像头可以收集详细的上下文信息，包括你的身体方位和你的凝视焦点。这有助于耳机精确定位要放大的“声学聚光灯”。当然，AR系统可以将自己的音景与放大的音频混合。

Facebook还可以通过其他AR举措来补充该系统。例如，LiveMaps的目标是创建丰富的地图，其中充满了关于人们周围环境的信息。如果LiveMaps检测到有人在餐厅戴眼镜，眼镜可以做一些事情，比如自动标记和取消银器叮当作响的声音。

Facebook发布了一张戴在假人头上的原型入耳式监视器的照片，以及一张团队成员戴着耳机的照片，看起来更像Valve的Off-Ear Index扬声器。Oculus Quest VR耳机使用定向扬声器，这是一种方便的一刀切的解决方案，可以将声音投射到环境中，但会向旁观者泄漏声音-而入耳式监视器可能更适合在公共场合佩戴AR眼镜时改变整体音量。FRL Research音频主管拉维什·梅拉(Ravish Mehra)说：“使用什么形式的因素来解决问题最终取决于应用程序。”

其他公司也在试验听觉增强-最著名的是Bose，该公司在2018年推出了纯音频AR眼镜。Bose的眼镜使用空间传感器来探测佩戴者正在看的地方，并提供虚拟街头游览等功能。然而，该公司未能使它们在商业上可行，并于今年6月放弃了该项目。

与前几年不同的是，Facebook不会在2020年举办可以展示实验技术的会议，所以我们没有亲耳听到它的音频。Frl Research向记者展示了其远程通话过滤系统。任何空间音频的改进都可能很快应用于VR耳机，包括传言中的Oculus Quest在本月Facebook Connect会议前后的更新。“我们正在做的工作和我们今天展示的工作肯定适用于我们的VR设备系列，”Mehra说。

这些功能的全面应用可能还需要数年时间。我们对Facebook的消费者AR眼镜路线图知之甚少，尽管我们正在慢慢了解该公司认为他们应该做什么。有几张照片显示了塑料框架，但它们的设计是为了容纳麦克风阵列，而不是像普通眼镜那样工作。Facebook之前曾表示，它已经制造了多种原型变体，包括最近一款看起来像太阳镜的AR/VR组合耳机设计。

要销售真正的商业产品，Facebook需要缓解超出技术层面的担忧。这包括让人们相信“感知超能力”不会对隐私构成威胁。

没有任何限制，足够强大的麦克风和过滤技术可以让人们在公共空间潜移默化地窃听对话。人工智能音频分析提供了更奇怪、更令人担忧的可能性，比如在拥挤的房间里标记特定语音或对话关键字的能力。(从理论上讲，它还可以执行更无害、更有帮助的任务，比如实时翻译。)。当然，眼镜也会记录你们自己的对话。

没有迹象表明FRL研究公司正在考虑蓄意监视。但许多人已经担心--可能是错误的--Facebook的应用程序正在记录他们，以定向广告。因此，仅仅是这种可能性就可能给消费者敲响警钟。FRL Research表示，目前捕获的音频被加密并存储在少数研究人员可以访问的服务器上。

阿布拉什表示，Facebook正试图将隐私融入其眼镜设计的方方面面，呼应了对其整体AR/VR计划的重复。其中，该系统可以在放大对话之前请求他人眼镜的许可，也可以有一个有限的范围。他告诉记者：“与其认为这是一支神奇的手电筒，我们可以指着任何人，听到他们在说什么，而是更多地把它想成是人们能够参与到他们正在进行的对话中来。”

阿布拉什说，就目前而言，微小的麦克风阵列还不够强大，不足以进行远程间谍活动。“如果你看到任何人戴着两英尺宽的眼镜走路，”他开玩笑地警告说，“你应该起疑心。”