CMU研究人员展示了使用雷达的隐私保留活动跟踪的潜力

或者 - 对于一个完全更健康的用例 - 如果您可以要求您的发言人将您的扬声器留在蹲下和卧脚时，您会询问代表的数量怎么办？或者切换到全面的“私人教练”模式 - 在尘土飞扬的旧运动自行车上旋转周期时，咆哮订单以更快地贩卖（谁需要一个Peloton！）。

如果扬声器足够聪明，怎么知道你正在吃晚餐，并照顾一下轻松的情绪音乐？

现在想象一下，如果所有这些活动跟踪智能都在轻拍，没有任何连接的相机插入您的家中。

来自Carnegie Mellon Universy未来的接口组的研究人员的漫画研究令人乐趣的一点开辟了这些可能性 - 展示了一种不依赖相机作为传感工具的活动跟踪的新方法。

在您的家中安装连接的相机当然是一个可怕的隐私风险。这就是为什么CMU研究人员设置了研究使用毫米波（MMWAVE）多普勒雷达作为检测不同类型人类活动的介质的电位。

他们需要克服的挑战是，虽然MMWAVE提供了“方法丰富，即将到达麦克风和摄像机的信号丰富”，因为它们将其提交，以培训AI模型来识别不同人类活动，因为RF噪声不容易获得（如视觉培训其他类型AI模型的数据是）。

他们不被阻止，他们设置了Sythensizing多普勒数据，以喂养人类活动跟踪模型 - 设计用于培训隐私保留活动跟踪AI模型的软件管道。

可以在该视频中看到结果 - 其中模型显示正确识别许多不同的活动，包括骑自行车，鼓掌，挥舞和蹲下。纯粹从其解释MMWAVE信号的能力，动作产生 - 并且纯粹已经在公共视频数据上培训。

“我们展示了这种跨域翻译如何通过一系列实验结果取得成功，”他们写道。 “总的来说，我们相信我们的方法是一个重要的踏脚石，可以大大减少人类传感系统等培训的负担，并有助于在人机互动中使用自动启动。”

研究员Chris Harrison确认了MMWave多普勒雷达的感应不适用于“非常微妙的东西”（如发现不同的面部表情）。但他说它足够敏感，无法发现较少的剧烈活动 - 就像吃或读一本书一样。

多普勒雷达的运动检测能力也受到对象和传感硬件之间的视线的需要受限。 （又名：“它尚未达到角落。”这对于那些关注未来机器人的人类检测权的人来说，它肯定会听起来轻微放心。）

当然，检测确实需要特殊的传感硬件。但事情已经在这方面进行了移动：谷歌已经通过Project Soli - 例如将雷达传感器添加到像素4中的雷达传感器来浸入其脚趾。

谷歌的巢穴集线器还集成了相同的雷达感，以跟踪睡眠质量。

“我们没有看到更多的原因之一，我们在手机中采用雷达传感器是缺乏引人注目的用例（种类的鸡肉和鸡蛋问题），”哈里斯告诉TechCrunch。 “我们对基于雷达的活动检测的研究有助于开放更多的应用程序（例如，更聪明的SIRIS，谁知道您正在吃饭或做饭或清洁或锻炼或锻炼等等）。”

询问他是否在移动或固定应用中看到更大的潜力，哈里斯审计对两者都有有趣的用例。

“我看到了移动和非移动中的用例，”他说。 “返回巢穴中心......传感器已经在房间里，为什么不使用它在Google智能扬声器中引导更高级的功能（如Rep计算您的练习）。

“建筑物已经使用了一堆雷达传感器来检测占用（但现在他们可以检测到最后一次清洗房间）。”

“总的来说，这些传感器的成本很快将降至几美元（一些关于eBay上的一些人已经在1美元上），因此您可以将它们包含在一切中，”他补充道。 “随着谷歌在卧室内展示了一个产品的产品，”监控会“的威胁要不那么担心 - 而不是相机传感器。”

像Vergersense这样的初创公司已经使用传感器硬件和计算机视觉技术来为B2B市场的室内空间和活动进行实时分析（例如衡量办公室占用）。

但即使利用局部处理低分辨率图像数据，仍然可能存在围绕使用视觉传感器的隐私风险的看法 - 当然在消费者环境中。

雷达提供了这种视觉监控的替代方案，可以更适合隐私风险的消费者连接设备，例如“智能镜”。

“如果它在本地处理，您会在卧室里放置相机吗？浴室？也许我是谨慎的，但我不会个人，“哈里斯说。

他还指出了早期的研究，他说提出了利用更多类型的传感硬件的价值来强调：“传感器越多，可以支持的有趣应用程序的较长尾。相机无法捕捉一切，也不能在黑暗中工作。“

“这些天相机非常便宜，这么难以在那里竞争，即使雷达有点便宜。我相信最强大的优势是隐私保存，“他补充道。

当然有任何感应硬件 - 视觉或其他 - 提高潜在的隐私问题。

例如，一个传感器，可以占用孩子的卧室何时占用，这取决于谁可以访问数据。并且各种人类活动都可以产生敏感信息，具体取决于正在发生的事情。 （我的意思是，你真的希望你的智能演讲者知道你什么时候做爱吗？）

因此，虽然基于雷达的跟踪可能比其他一些类型的传感器更少，但它并不意味着根本没有潜在的隐私问题。

依赖于何处以及如何使用传感硬件。尽管如此，很难争辩说数据雷达可能比等效视觉数据更少敏感，这是通过违规暴露。

“任何传感器都应该自然地提出隐私问题 - 这是一个频谱而不是是/否的问题，”哈里斯同意。 “雷达传感器恰好通常详细富裕，而是与相机不同的匿名。如果您的多普勒雷达数据在线泄露，那么它很难尴尬。没有人会认出你。如果你的房子里面的相机泄露在线，那么......“

鉴于缺乏立即可用的多普勒信号数据，鉴于缺乏立即可用的多普勒信号数据，构成培训数据的计算成本如何？

“它不是交钥匙，但有许多大型视频群从（包括YouTube-8M这样的东西），”他说。 “下载视频数据并创建合成雷达数据的数量速度比必须招募人员进入您的实验室以捕获动作数据的秩序。

“一个固有的1小时花费1小时的质量数据。然而，这些天可以从许多精致的视频数据库中轻松地下载数百小时的镜头。对于每一小时的视频，需要我们需要大约2个小时的时间来处理，但这只是我们在实验室中拥有的一台桌面机。关键是您可以使用Amazon AWS或等效项并行化这一点，并一次处理100个视频，因此吞吐量可能非常高。“

虽然RF信号确实反射，并且这样做到不同表面的不同程度（AKA“多路径干扰”），Harris表示由用户反射的信号“是迄今为止主导信号”。这意味着他们不需要建模其他反射，以便获得他们的演示模型工作。 （虽然他指出，可以通过用电脑视觉提取像墙壁/天花板/地板/家具等墙壁/天花板/地板/家具等大表面来完成进一步磨练能力，并将其添加到合成阶段“。）

“[多普勒]信号实际上是非常高的水平和摘要，因此它并不特别难以实时处理（远低于相机的像素'）。”他补充道。 “汽车中的嵌入式处理器使用碰撞破裂和盲点监测等东西的雷达数据，那些是低端CPU（没有深度学习或任何东西）。”

该研究在ACM Chi会议上展示，同时另一个群组项目 - 名为Go-Go-Go - 这将使用智能手机传感器来近似用户的全身姿势，而无需可穿戴传感器。

本集团的CMU研究人员还展示了一种在便宜的室内'智能家居'感应的方法（也没有相机的需要），以及去年 - 展示如何使用智能手机相机如何提供设备AI Assistant更加上文精明。

近年来，他们还研究了激光振动和电磁噪声，为智能设备提供更好的环境意识和上下文功能。除了本集团的其他有趣的研究包括使用导电喷涂涂料将任何东西变成触摸屏。和各种方法来扩展可穿戴物的交互潜力 - 例如通过使用激光将虚拟按钮投影到设备用户的臂上或将另一个可穿戴（环）结合到混合物中。

人类计算机互动的未来看起来肯定是更加上下文化的灵活 - 即使当前-Gen'Scart'设备仍然可以偶然偶然困扰，似乎不止一点愚蠢。