透过墙壁看得见

作者Neil Savage Communications of the ACM，2020年6月，第63卷第6期，第15-16页10.1145/3392516评论机器视觉与人工智能(AI)相结合，在让计算机理解图像方面取得了长足的进步。多亏了深度学习，它以类似于人脑的方式处理信息，机器视觉正在做一切事情，从保持自动驾驶汽车在正确的轨道上行驶，到通过检查活组织切片或x光图像来改进癌症诊断。现在，一些研究人员正在超越人眼或相机镜头所能看到的范围，使用机器学习来观察墙另一边的人在做什么。

这项技术依赖于低功率射频(RF)信号，这种信号反射活组织和金属，但很容易穿过木质或石膏内墙。人工智能可以破译这些信号，不仅可以检测人的存在，还可以看到他们是如何移动的，甚至可以预测他们从事的活动，从打电话到刷牙。有了射频信号，他们可以在黑暗中看到东西。麻省理工学院(MIT)计算机科学与人工智能实验室的博士生李天红(音译)说，他们可以透过墙壁或家具看到东西。他和他的研究生范丽杰(Lijie Fan)帮助开发了一种测量运动的系统，并由此识别具体的行动。我们的目标是了解人们在做什么，李说。

这样的理解可以派上用场，例如监察辅助生活设施的年长居民，看看他们在执行日常生活任务方面是否有困难，或察觉他们是否跌倒。它还可以用来创建智能环境，在这些环境中，自动设备可以打开家里或办公室的灯或暖气。警察部队可能会使用这样的系统来监视疑似恐怖分子或武装抢劫犯的活动。

数字。RF-POSE使用无线信号来监视墙另一边的人的活动。

领导这项研究的麻省理工学院教授迪娜·卡塔比(Dina Katabi)表示，在生活环境中，通过射频信号通过墙壁监控活动的一个好处是，例如，它们无法分辨人脸或看到一个人的穿着，所以比起在家里布满摄像头，它们可以提供更多的隐私感。另一个原因是，它不要求人们佩戴他们可能会忘记或不舒服的监控设备；他们只需像往常一样在家里走动即可。

麻省理工学院系统使用的无线电发射机工作在5.4 GHz到7.2 GHz之间，功率水平比Wi-Fi信号低1000倍，因此应该不会造成干扰。由于我们身体的所有水分含量，射频发射会强烈地反弹到人身上，但它们也会不同程度地反弹到环境中的其他物体上，这取决于物体的组成。卡塔比说，你会得到大量的反射，信号从所有东西上反弹。

因此，第一步是教计算机识别哪些信号是来自人的。研究小组通过记录可见光和射频信号中的场景，并使用视觉图像来标记卷积神经网络(CNN)训练数据中的人类，卷积神经网络是一种深度学习算法，为图像的不同方面分配权重。信号还包含空间信息，因为信号传输更远的距离需要更长的时间。Katabi说，CNN可以捕捉到这些信息，并利用它将同一附近的两个或更多人分开，尽管如果这些人非常接近或拥抱，这可能会导致错误。

研究人员还希望根据人们的行动方式来确定他们正在采取的行动。为了做到这一点，该系统采取了中间步骤，将来自人的信号渲染成骨骼，这是人体的简化版本，将它们简化为基本上由头部和四肢组成的棍状图形。根据线条在条形图中的相对位置，计算机可以识别各种动作-坐下、弯腰拿起东西、挥手、喝酒、打电话等等。

该团队建立在之前使用人工智能从视频图像派生动作的工作基础上。然而，现有的动作检测数据集都不包括射频信息，因此团队必须创建自己的数据集。他们找到了30名志愿者，将他们放在10个不同的环境中-例如办公室、走廊和教室-并要求他们从35种可能性中随机执行行动。这产生了25小时的数据来训练和测试他们的计算机模型。

为了提供更多数据，他们从没有任何相关RF信号的视频中提取骨架。李说，这些骨架与从射频信号中提取的骨架略有不同，所以他们必须做出一些调整。然而，这种方法允许研究人员纳入其他信息，例如名为PKU-MMD的数据集，该数据集包含来自51个类别的近2万个动作，由66个人执行。

卡塔比并不是唯一一个使用射频透视墙壁的研究人员。密苏里州圣路易斯市华盛顿大学(Washington University)的计算机科学与工程教授尼尔·帕特瓦里(Neal Patwari)多年来一直在研究射频传感，尽管他在2009年的工作并不涉及机器学习。他的基本系统同时使用无线电发射机和接收机。附近的物体会改变接收器接收到的信号的强度。直接穿过这两条线的人会强烈地阻挡信号，附近的人会阻挡得稍微少一些，而当一个人在很远的地方时，一个散布在他们身体上的信号会稍微改变接收到的信号。

帕特瓦里使用机器学习来教导计算机特定的信号混合与特定的动作相匹配。例如，厨房的一组特定尺寸可能意味着有人在做饭。你可以有一个算法来学习与烹饪相对应的特征是什么。他说：然后我就可以知道，对于独居在家的人来说，他们在这一天的这个时候正在做饭，并确保他们没有太多偏离正常的日程安排。这样的系统可能有助于监测处于痴呆症早期阶段的人，或者处于已知的抑郁症风险中的人。

帕特瓦里说，但有一个问题是，测量结果可能会随着环境的变化而改变。例如，如果一个人刚刚去杂货店购物，打开装满食物的冰箱可能会产生一组射频信号。几天后，当冰箱里有更多的空空间时，信号可能会看起来不同。训练数据会在一段时间后变得陈旧。

例如，Patwari目前正在开发一种系统，该系统使用射频信号通过精神病院的墙壁监测患者的呼吸。许多精神病院有一项政策，晚上每隔15分钟进一次病人的房间，以确保他们睡得正常，不会试图伤害自己。当然，这样的检查可能会唤醒患者，干扰他们获得所需的睡眠。射频系统可以检测到患者胸部的运动，并能看到他们是否正常睡眠。因为它能透过墙壁，所有的设备和电线都在房间外面，所以病人不能损坏它们或用它们伤害他/她自己。

伦敦大学学院(University College London)安全与犯罪科学系教授凯文·切蒂(Kevin Chetty)表示，可以通过将射频信号用作一种多普勒雷达来检测呼吸，观察信号在反射来回移动的东西时如何变化。他的重点是利用机器学习来理解他所说的被动Wi-Fi，利用环境中已经存在的射频信号，可能包括5G手机使用的信号。射频场中的任何运动都会产生多普勒信号。切蒂说，这是一个复杂的融合，有向前和向后，向左和向右，不同角度的不同多普勒分量。你可以得到与不同类型的运动相关联的微多普勒信号。

依靠环境中已经存在的射频信号意味着不需要像Patwari这样的系统所要求的那种类型的校准。另一方面，它不得不凑合使用任何存在的信号，而不是依赖于像卡塔比那样的可预测信号。

为了训练他的动作识别系统，切蒂让志愿者穿着点缀着LED的西装，这个系统类似于创建虚拟现实场景时使用的系统。随着人的移动，切蒂和他的团队收集摄像机记录的视觉数据和射频信号。视觉数据为训练系统基于微多普勒特征识别动作提供了基础事实。它可能是一组复杂的测量数据，需要破译。例如，根据观察的角度不同，同一动作的多普勒信号可能会有所不同。

一些射频传感技术已经在使用中。例如，帕特瓦里以前的学生成立了一家名为Xandem的公司，销售使用射频探测人类存在和运动的传感器。使用机器学习来识别医疗保健或智能环境中使用的操作的系统仍需要进一步开发。切蒂说：我们还没有到那一步，但我们正在努力。

李涛，范林，赵明，刘勇，卡塔比，D让看不见的：通过墙壁和封闭的行动识别，2019年，arxiv.org/abs/1909.09300。

Al-Husseiny，A.，Patwari，N.无设备本地化信号强度模型的无监督学习，2019IEEE第20届无线、移动和多媒体网络世界国际研讨会，DOI：10.1109/WoWMoM.2019.8792970。

李伟，Piechocki R，Woodbridge K，Chetty K WiFi传感，体力活动，修正的交叉模糊函数，独立WiFi设备，2019年，IEEE全球通信会议，https://discovery.ucl.ac.uk/id/eprint/10084427/。

王霞，王霞，毛，S。物联网中的射频传感：一个通用的深度学习框架，2018年，IEEE通信杂志，DOI 10.1109/MCOM.2018.1701277。

允许将本作品的部分或全部数字或硬拷贝用于个人或课堂使用，但不得以盈利或商业利益为目的制作或分发拷贝，并且拷贝的首页必须注明本通知和完整的引文。必须尊重ACM以外的其他人拥有的本作品组件的版权。允许赊账提款。要以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或收取费用。通过[email protected]或传真(212)869-0481请求发布许可。

数字图书馆由计算机械协会出版。版权所有©2020 ACM，Inc.