作为一名深度假冒演员的奇特新世界

2019年，两位多媒体艺术家弗朗西丝卡·帕内塔(Francesca Panetta)和哈尔西·伯贡(Halsey Burgund)开始追求一个挑衅性的想法。Deepfac视频和音频一直在并行发展，但还没有整合到一个完整的体验中。他们能以一种展示这项技术的全部潜力的方式做到这一点，同时教育人们如何滥用这项技术吗？

为了让实验栩栩如生，他们选择了一个同样具有挑衅性的主题：他们将创造1969年阿波罗登月的另一种历史。在发射之前，美国总统理查德·尼克松(Richard Nixon)的演讲稿撰稿人已经准备了他的国家演讲的两个版本-一个被指定为“万一发生月球灾难”，以防事情没有按计划进行。幸运的是，真正的尼克松从来没有发表过。但一个深奥的假尼克松可以。

于是，麻省理工学院虚拟中心创意总监帕内塔和麻省理工学院开放纪录片实验室研究员伯贡与两家人工智能公司合作。精明的AI将处理深度假视频，而Respeecher将准备深度假音频。有了所有的技术组件，他们只需要最后一件事：一名提供表演的演员。

“我们需要找到愿意这样做的人，因为这是一个有点奇怪的要求，”Burgund说。“对于演员是什么、做什么，他们的思维更加灵活。”

虽然深度假已经存在了很多年，但深度假的选角和表演相对较新。早期的深度假冒技术并不是很好，主要是在互联网的黑暗角落，在没有得到名人同意的情况下将他们交换到色情视频中。但随着深伪变得越来越逼真，越来越多的艺术家和电影制作人开始在广播质量的制作和电视广告中使用它们。这意味着雇佣真正的演员来做表演的一个方面或另一个方面。有些工作需要演员提供“低级”镜头，而另一些工作则需要配音。

对于演员来说，它开启了令人兴奋的创造性和职业化的可能性。但这也引发了一系列伦理问题。“这是如此之新，以至于没有真正的过程或类似的东西，”Burgund说。“我的意思是，我们只是在某种程度上编造事情，胡乱摆弄。”

帕内塔和博贡德做的第一件事是询问两家公司需要什么样的演员才能让深度假发挥作用。“有趣的是，不仅什么是重要的标准，还有什么不重要，”博贡说。

对于视觉效果，Canny AI专门从事视频对话替换，它使用演员的嘴巴动作来操纵现有镜头中其他人的嘴巴。换句话说，演员就是一个木偶师，永远不会出现在最终的作品中。这个人的外貌、性别、年龄和种族都无关紧要。

但对于音频，雷斯皮彻说，与一个与尼克松有相似音域和口音的演员合作会更容易。有了这些知识，帕内塔和伯贡开始在各种表演论坛上发帖，并给当地的表演团体发电子邮件。雷皮彻可以把一种声音转换成另一种声音。他们的口号是：“想成为尼克松吗？”

波士顿的白人男演员刘易斯·D·惠勒(Lewis D.Wheeler)就是这样发现自己在录音棚里躲了几天，听并重复尼克松的音频片段。有数百个片段，每个片段只有几秒钟长，“其中一些甚至不是完整的单词，”他说。

这些片段摘自尼克松的各种演讲，其中大部分来自他的辞职。考虑到月球灾难演讲的严肃性，雷斯佩彻需要能够捕捉到同样阴郁基调的培训材料。

惠勒的工作是用自己的声音重新录制每个片段，与准确的节奏和语调相匹配。然后，这些小片段被输入到雷皮彻的算法中，将他的声音映射到尼克松的声音中。“这让人精疲力竭，而且相当辛苦，”他说，“但是，一砖一瓦地建造它也很有趣。”

深度假的视觉部分要直截了当得多。在将被篡改的档案镜头中，尼克松直接面对摄像机发表了真正的登月地址。惠勒只需要以同样的方式提供备用的从头到尾的动作，制作人员就可以在正确的角度捕捉到他的嘴部动作。

作为一名演员，这就是他开始发现更熟悉的事情的地方。归根结底，他的表演将是他进入最后一场深度假的唯一部分。“这是最具挑战性和最有回报的，”他说。“为此，我不得不真正进入这样的心态，好吧，这场演讲是关于什么的？你如何告诉美国人民这场悲剧已经发生？“。

从表面上看，电影制片人兼导演扎克·马斯(Zach Math)也在做一个类似的项目。他受雇于一家名为“美国恶作剧”的创意机构，为一场投票权运动执导两个广告。这些广告将以朝鲜领导人金正恩和俄罗斯总统弗拉基米尔·普京(Vladimir Putin)的深度伪造版本为特色。但他最终参与了一些与帕内塔和伯贡的实验截然不同的事情。

在咨询了深度假冒艺术家约翰·李之后，该团队选择了与开源软件DeepFaceLab进行脸部互换。这意味着最终的广告将包括演员的身体，所以他们需要选择可信的身体替身。

广告还将包括演员的真实声音，增加了额外的选角考虑。该团队希望深度假领导人用英语说话，尽管带有地道的朝鲜和俄罗斯口音。因此，选角导演去寻找在身材和面部结构上与每个领导人相似的男性演员，与他们的种族相匹配，并能做出令人信服的配音模仿。

对于普京来说，选角过程相对容易。有大量普京发表各种演讲的可用镜头，为算法提供了大量的训练数据，以深度伪装他的脸，做出一系列表情。因此，演员的长相有了更大的灵活性，因为深度假可以完成大部分工作。

但对于Kim来说，大多数可用的视频都显示他戴着眼镜，这遮住了他的脸，导致算法崩溃。将训练镜头缩小到只有不戴眼镜的视频，可供学习的训练样本要少得多。由此产生的深伪看起来仍然像金，但他的面部动作看起来不那么自然。把脸换到一位演员身上，这让这位演员的表情变得静音。

为了抵消这一影响，该团队开始通过DeepFaceLab播放所有演员的选角录像带，看看哪一盘看起来最有说服力。令他们惊讶的是，获胜者的身体看起来最不像金，但表现最有表现力。

为了解决深度假无法复制的金的外表方面，团队依赖于化妆、服装和后期制作工作。例如，这位演员比金姆苗条，所以他们让他穿上一套肥大的西装。

Math说，当谈到判断深度假的质量时，与其说是视觉细节，不如说是体验。“从来不是‘那只耳朵看起来奇怪吗？’我的意思是，有那些讨论，“他说。“但它总是像是，‘坐好--我们感觉如何？’”

在某些方面，深度假表演和CGI表演之间几乎没有区别，或者可能是为卡通配音。你的肖像没有进入最终的制作，但结果仍然有你的签名和解释。但是深度假的选角也可能是相反的，把一个人的脸换成另一个人的表演。

制作这种虚假的说服力是瑞安·拉尼(Ryan Laney)的任务，他是一名视觉特效艺术家，曾在2020年HBO的纪录片“欢迎来到车臣”(Welcome To Checchya)中工作。这部电影讲述了在俄罗斯共和国冒着生命危险与LGBTQ个人的迫害作斗争的积极分子的故事。他们中的许多人因为害怕酷刑和处决而秘密生活。

为了讲述他们的故事，导演大卫·法兰西(David France)承诺保护他们的身份，但他希望在不失去他们人性的情况下做到这一点。在测试了众多解决方案后，他的团队终于找到了深度假货。他与莱尼合作，莱尼开发了一种算法，将一张脸覆盖到另一张脸上，同时保留后者的表情。

因此，选角过程不是寻找表演者，而是寻找愿意出面的23人。法国最终要求LGBTQ积极分子自愿充当“掩护”。“他不是从谁是最好的演员那里来的，而是谁是对这项事业感兴趣的人，”莱尼说，“因为他们实际上是在充当人体盾牌。”

该团队根据活动人士的外表，通过活动和Instagram帖子对他们进行侦查。每个遮盖面需要看起来与被蒙面的人有足够的不同，同时还需要在某些特征上对齐。例如，面部毛发、下巴轮廓和鼻子长度需要大致匹配，每一对都必须大致相同的年龄，才能让封面人物的脸在原始受试者身上看起来很自然。

然而，该团队并不总是与种族或性别相匹配。主人公马克西姆·拉普诺夫(Maxim Lapunov)是白人，他受到了一名拉丁裔活动人士的保护，一名女性角色受到了一名性别不一致的活动人士的保护。

在整个过程中，法国和莱尼确保获得各方的完全知情同意。莱尼说：“在大卫发布之前，影片的拍摄对象实际上已经看过这部作品了。”“每个人都要在自己的封面上签名，以确保自己感觉舒适。”

虽然专业化的深假作品突破了艺术和创意的界限，但它们的存在也引发了棘手的伦理问题。例如，目前还没有真正的指导方针来说明如何给深度赝品贴上标签，或者讽刺和错误信息之间的界限在哪里。

目前，艺术家和电影制作人依赖于个人的是非意识。例如，法国和兰尼在纪录片的开头添加了一条免责声明，声明一些角色为了保护自己被“数字伪装”。他们还给蒙面的个体添加了柔和的边缘，以区分他们。“我们不想不告诉观众就把人藏起来，”兰尼说。

斯蒂芬妮·莱普(Stephanie Lepp)是一名艺术家和制片人，她为政治评论制作深度假作品，她也同样在自己的视频上做了提前标记，以表明它们是假的。在她的系列“深度估算”中，她还使用了配音演员，而不是深度假音频，以进一步区分这个项目是讽刺的，而不是欺骗性的。该系列想象了马克·扎克伯格(Mark Zuckerberg)等有权势的人物为自己的行为道歉。

其他项目则更为含糊其辞，比如化名比尔·海报(Bill Posts)的艺术家兼活动家巴纳比·弗朗西斯(Barnaby Francis)的项目。多年来，方济各以教育和讽刺的名义，对鲍里斯·约翰逊(Boris Johnson)等政客和金·卡戴珊(Kim Kardashian)等名人进行了深度造假。然而，其中一些视频只被贴上了外部标签-例如，弗朗西斯在Instagram上发布它们时的字幕。脱离了这种背景，他们冒着模糊艺术和现实的风险，这有时会导致他进入危险的领域。

围绕谁的形象和言论可以操纵的规则也很少-对幕后演员的保护也很少。到目前为止，大多数专业化的深度假作品都是以名人为基础，具有明确的、建设性的目标，因此它们在美国受到讽刺法律的法律保护。然而，在“恶作剧”中饰演的普京和金的深度假的案例中，由于操纵独裁者形象的争议性质，该团队表示，出于“个人安全原因”，演员们一直保持匿名。

知道业余深假是如何被用来虐待、操纵和骚扰女性的，一些创作者也对事情可能的发展方向感到担忧。弗朗西斯说：“有很多人加入了这股潮流，他们并不真的担心他们的客户是谁，他们的客户可能会出现在哪里，以什么形式出现。”

然而，尽管有这些棘手的问题，许多艺术家和电影制作人坚信深伪应该留在这里。从伦理上讲，这项技术扩大了艺术和批评、挑衅和说服的可能性。“这只会让人们思考，”弗朗西斯说。“对于我们正在经历的这些荒诞、近乎超现实主义的时代来说，这是一种完美的艺术形式。”