哨兵在深度假冒侦破军备竞赛中收获135万美元

制造工具来检测深度假货的挑战被比作军备竞赛-最近的一次是科技巨头微软(Microsoft)，该公司本月早些时候推出了一款探测器工具，希望帮助提取针对11月美国大选的虚假信息。“(深度假货)是由人工智能生成的，而且可以继续学习，这一事实使得它们不可避免地会击败传统检测技术，”该公司警告称。随后，该公司警告称，试图用“先进的检测技术”揭穿恶意假货仍有短期价值。

Sentinel c-o创始人兼首席执行官约翰尼斯·塔梅克(Johannes Tammekänd)同意军备竞赛的观点-这就是为什么该公司解决这个“目标后转移”问题的方法需要提供多层防御，遵循网络安全风格的模板。他说，竞争对手的工具--提到微软的探测器和另一个竞争对手Deeptrace(又名Sensity)--相比之下，就像他所说的那样，只依赖于“一个试图检测缺陷的奇特神经网络”。

他告诉TechCrunch：“我们的方法是，我们认为只用一种检测方法不可能检测到所有的深度假货。”“我们有多层防御，如果其中一层被攻破，那么对手在下一层被发现的可能性很高。”

Tammekänd表示，Sentinel的平台在现阶段提供了四层深度伪装防御：第一层基于散列已知的野生深伪示例以进行核对(他说这是可扩展到“社交媒体平台”级别的)；第二层由机器学习模型组成，用于解析元数据以进行操纵；第三层用于检查音频变化，寻找合成语音等；最后一层是“逐帧”分析人脸以寻找视觉操纵迹象的技术。

他说：“我们从所有这些检测层获取输入，然后我们一起(作为总得分)最终确定输出，以获得最高程度的确定性。”

“我们已经到了这样的地步，有人不能百分之百肯定地说一段视频是不是深度假的。除非视频是以某种方式“加密”可验证的…。或者，除非有人从多个角度拿到了原始视频等等，“他补充道。

Tammekänd还强调了数据在深度虚假军备竞赛中的重要性--而不是任何具体的技术。哨兵公司在这方面的吹嘘是，它已经积累了“最大的”野外深水假货数据库，可以用来训练它的算法。

它有一个内部验证团队，通过将自己的检测系统应用于可疑媒体来获取数据，并有三名人类验证专家，他们“都必须同意”，才能验证最复杂的有机深伪。

他说：“我们每天都在从所有主要的社交平台-YouTube、Facebook、Instagram、TikTok下载深度假货，然后是亚洲的、俄罗斯的，也有色情网站。”

“如果你根据Facebook的数据集训练一个深度假模型，那么它就不会真正泛化--它可以检测到自己的深度假象，但它不能很好地在野外推广深伪。”因此，这就是为什么检测实际上80%是数据引擎的原因。“。

并不是说哨兵总是可以肯定的。塔梅卡恩德举了中国官方媒体发布的一段短视频片段的例子，视频中一名诗人被认为是被军方杀害的-在视频中，他似乎说自己活得好好的，并告诉人们不要担心。

他说：“尽管我们的算法显示，在非常确定的情况下，视频没有被操纵--最有可能的是，这个人只是被洗脑了--但我们不能百分之百肯定地说，这段视频不是深度假的。”

Sentinel的创始人是前北约(NATO)、莫尼斯(Monese)和英国皇家海军，实际上早在2018年就开始研究一个非常不同的创业想法-称为Sidekik-构建一种类似于黑镜的技术，通过摄取通讯数据来创建一个人的“数字克隆”，形式是一个音调相似的聊天机器人(或音频机器人)。

他们的想法是，人们可以使用这个虚拟替身来移交基本的管理风格的任务。但Tammekänd表示，他们开始担心可能会被滥用，因此转向了深度假货检测。

他们的技术目标是政府、国际媒体和国防机构-在今年第二季度推出订阅服务后，他们的早期客户包括欧盟对外行动局(European Union External Action Service)和爱沙尼亚政府。

他们宣称的目标是帮助保护民主国家免受虚假信息运动和其他恶意信息操作的影响。这意味着他们对谁可以使用他们的技术非常谨慎。“我们有一个非常繁重的审查过程，”他指出。“例如，我们只与北约盟国合作。”

Tammekänd补充道：“我们收到了沙特阿拉伯和中国的请求，但显然我们方面不会这么做。”

这家初创公司最近进行的一项研究表明，野外(即在线任何地方都可以找到)深度假货的数量呈指数级增长-2020年到目前为止，已经识别出超过14.5万例深假，表明同比增长了9倍。

创建深度假冒的工具肯定会变得更容易获得。虽然从表面上看，很多都是为了提供无害的娱乐/娱乐-比如自拍移动应用Reface-显然，如果没有深思熟虑的控制(包括深度假冒检测系统)，它们启用的合成内容可能会被挪用来操纵毫无戒心的观众。

Tammekänd提到，将深度假冒检测技术扩大到今天社交媒体平台上正在进行的媒体交换的水平是一项重大挑战。

“Facebook或谷歌可以扩大(他们自己的深度假冒检测)规模，但今天的成本太高了，以至于他们不得不投入大量资源，收入显然会大幅下降-所以从根本上说，这是一个三重标准；商业激励是什么？”他建议。

还有非常老练、资金雄厚的对手带来的风险--制造他所说的“深度假零日”目标攻击(可能是国家行为者，想必是在追求一个非常高的价值目标)。

“从根本上说，在网络安全领域是一样的，”他表示。“基本上，如果商业激励措施是正确的，你可以减轻(绝大多数)深度假货。你能做到的。但总会有那些可以被老练的对手开发为零天的深度伪造。今天没有人有一个非常好的方法或者说是途径来检测这些。

“唯一已知的方法是分层防御--并希望其中一层防御层能起到作用。”

对于任何互联网用户来说，制造和分发看似可信的假货肯定变得越来越便宜，也越来越容易。随着深度假货带来的风险上升到政治和企业议程上-例如，欧盟正在准备一项应对虚假信息威胁的民主行动计划-哨兵公司正在定位自己，不仅出售深度假货检测，还提供定制咨询服务，支持的是从其深度假货数据集中提取的知识。

这家初创公司告诉我们：“我们有一套完整的产品-这意味着我们不仅提供‘黑匣子’，还提供预测可解释性，训练数据统计以减轻偏见，通过咨询为我们的客户匹配已知的深度假冒和威胁建模。”“到目前为止，这些关键因素使我们成为客户的选择。”

当被问及他认为深度造假给西方社会带来的最大风险是什么时，Tammekänd说，短期内，主要的担忧是选举干预。

“一种可能性是，在选举期间--或者在选举前一两天--想象一下乔·拜登(Joe Biden)会说‘我得了癌症，不要投票给我’。”这个视频在网上疯传。“他建议道，并勾勒出了一个近期风险。

“这项技术已经存在了，”他补充说，并指出他最近与一位来自消费者深度假冒应用程序的数据科学家通了电话，这名科学家告诉他，担心这种风险的不同安全组织已经联系了他们。

“从技术角度看，肯定可以将其从…中拉出来。一旦它像病毒一样传播开来，对于人们来说，眼见为实。“他补充说。“如果你看看那些已经产生了巨大影响的‘廉价假货’，深度假货并不一定要完美，实际上，它只需要在一个好的背景下是可信的-所以有大量的选民可以上当。”

他认为，从长远来看，风险确实是巨大的：人们可能会对数字媒体失去信任，到此为止。

“这不仅仅是关于视频，它可以是图像，也可以是语音。实际上，我们已经看到了它们的趋同。“他说。“因此，您实际上可以模拟的是完整的事件…。我可以在社交媒体和所有不同的频道上看。

“因此，我们基本上只会信任经过验证的数字媒体--它们背后有某种验证方法。”

另一个更反乌托邦的人工智能扭曲的未来是，人们将不再关心网上什么是真的，什么是假的-他们只会相信任何被操纵的媒体迎合他们现有偏见的东西。(考虑到有多少人在网上发布的几个文字建议的播种下掉进了离奇的阴谋兔洞，这似乎是完全有可能的。)。

“最终人们不会在意。这是一个非常冒险的前提，“他建议说。“很多人都在谈论深水假货的‘核弹’在哪里？比方说，一个政客的深伪面世会造成巨大的破坏，这只是个时间问题，但…。我不认为这是这里最大的系统性风险。

“最大的系统性风险是，如果你从历史的角度来看，已经发生的情况是，信息生产变得更便宜、更容易，共享变得更快。从古腾堡的印刷机、电视、广播、社交媒体到互联网，应有尽有。现在的情况是，我们在互联网上消费的信息不一定是由另一个人产生的-多亏了算法，你可以在二进制时间尺度上大规模地、以超个性化的方式来做这件事。所以这是最大的系统性风险。我们将不再从根本上理解在线上的现实。什么是人，什么不是人。“。

这种情况的潜在后果是无数的-从类固醇引起的社会分裂；因此，如果大量主流人士因为太多的在线内容是无稽之谈而干脆决定不再听互联网，那么就会产生更多的混乱和混乱，导致无政府状态和暴力个人主义的抬头，甚至可能是大规模的切断。

从那时起，事情甚至可以回到人们“再次阅读更可信的来源”，正如塔梅卡恩德所建议的那样。但有这么多人在改变赌注，有一件事看起来是可以肯定的：帮助人们在更加变色龙和可疑的媒体版图中导航的智能、数据驱动的工具将会受到需求。