Lamphone：从灯泡振动中实时恢复被动声音

最近的研究已经通过分析声波对附近物体(例如，一包芯片和窗户)和设备(例如，运动传感器)的副作用，提出了用于窃听声音的各种旁信道攻击。这些方法对隐私构成很大威胁，但是它们在以下方式之一中受到限制：它们(1)不能实时应用(例如，可视麦克风)，(2)不是外部的，需要攻击者用恶意软件危害设备(例如，Gyrophone)，或者(3)不是被动的，需要攻击者将激光束指向对象(例如，激光麦克风)。在这篇文章中，我们介绍了一种用于窃听声音的新的侧信道攻击；这种攻击是通过使用远程光电传感器来分析悬挂灯泡对声音的频率响应来实现的。我们展示了如何利用悬挂灯泡表面气压的波动(对声音的响应)，使灯泡产生非常轻微的振动(毫级振动)，窃听者可以利用这种波动来恢复言语和歌唱，被动地，并使其恢复声音。在这篇文章中，我们介绍了一种新的旁路窃听攻击，这种攻击是通过使用远程光电传感器来分析悬挂灯泡对声音的频率响应来实现的。我们展示了如何利用悬挂灯泡表面气压的波动(对声音的响应)，使灯泡产生非常轻微的振动(毫级振动)，以恢复说话和唱歌，被动地，学习如何通过光电传感器对声音进行响应，并学习如何将音频信号与光学信号分离。基于我们的分析，我们开发了一种算法，从由电光传感器捕获的灯泡振动获得的光学测量中恢复声音。我们评估了Lamphone'；在现实设置中的性能，并表明Lamphone可以被窃听者用来恢复人类的语音(可以通过Google Cloud Speech API准确识别)和从距离包含悬挂灯泡的目标房间25米远的桥梁上唱歌(可以通过Shazam和SoundHound准确识别)。

来自受害者房间(1)的声音snd(T)在悬挂灯泡(隔膜)(2)的表面上产生波动。窃听者通过望远镜(3)将光电传感器(换能器)指向悬挂灯泡。通过ADC(4)从电光传感器采样光信号opt(T)1，并将其处理为恢复的声信号snd*(T)1(5)。

我们测试了Lamphone攻击的性能指标，即当窃听者不在同一位置时，它从目标位置恢复语音和歌曲的能力。

目标地点是一幢写字楼三楼的办公室。幕墙可以减少办公室发出的光线，覆盖了整个建筑。目标办公室包含一个悬挂的E27 LED灯泡(12瓦)。

窃听者位于一座人行天桥上，定位在距离目标办公室25米的空中距离。本部分描述的实验是使用三个不同透镜直径(10，20，35 cm)的望远镜进行的。我们一次在一个望远镜上安装了一个光电传感器(Thorlabs PDA100A2，这是一种放大的可切换增益光传感器，由用于将光转换为电压的光电二极管组成)。电压是通过16位ADC NI-9223卡从光电传感器获得的，并在我们编写的LabVIEW脚本中进行处理。在窃听者所在的位置听不到实验期间在办公室里播放的声音。

我们在桥上放置了三台不同镜头直径(10、20、35厘米)的望远镜。从每个望远镜获得的光学测量和从麦克风获得的声学测量获得的SNR如下图所示。基于所获得的结果，我们创建了一个均衡器。

我们使用从单个望远镜获得的光学测量数据，恢复了办公室通过扬声器播放的两首歌曲和一句话。

Lamphone显示，使用悬挂灯泡时，不需要视觉麦克风获得的高分辨率数据(样品是非RGB矩阵的情况)。相反，我们证明了以较低分辨率(单像素样本)输出信息的电光传感器足以恢复声音。因此，Lamphone可以应用在实时场景中。

激光麦克风装置需要窃听者将激光束引导到受害者的房间。因此，可以使用分析物体反射的定向激光束的专用光学传感器来检测到它。Lamphone是完全无源的，所以无法使用分析物体反射的定向激光束的专用光学传感器检测到它。

问题3：Lamphone与其他使用靠近受害者的设备(例如Gyrophone、硬盘听力驱动器)恢复声音的相关作品有什么不同？

这种方法要求窃听者找到危害设备(放置在目标/受害者的物理附近)的方法，以便：(1)获得可用于恢复声音的数据，以及(2)提取原始/处理的数据。

问题4：从灯泡的振动中恢复的声音有多大的信息量？

我们能够恢复由谷歌的语音到文本API准确转录的语音。我们也能够恢复沙扎姆认可的歌唱。

我们能够从25米的高空恢复声音。这个范围可以用适当的设备(更大的望远镜、24/32位ADC等)来扩大。

我们要感谢David Hrishman和Idan Sokolovsky在初步研究中的作用。