人工智能的“锁链世界”场景

全球极权政府需要什么才能无限期上台？这一噩梦场景可能比最初看起来的更近。

如果过去的极权主义政府从未被击败，他们会是什么样子？纳粹以20世纪的技术运作，但仍然需要一场世界大战才能阻止他们。如果纳粹先于美国制造了原子弹，他们还能强大多少-也更永久地-呢？控制当时最先进的技术可能会巩固纳粹势力，改变历史进程。

当我们想到事关生死存亡的风险时，往往会想到核战争或小行星撞击等事件。然而，未来还有一个不太为人所知的威胁-虽然它不涉及我们物种的灭绝，但它可能同样糟糕。

这就是所谓的“锁链世界”场景，就像前面的思想实验一样，全球极权主义政府使用一种新技术将世界大部分地区锁在永远的痛苦中。如果这听起来很可怕，那你就是对的。但这有可能吗？研究人员和哲学家开始思考它可能会如何发生--更重要的是，我们可以做些什么来避免它。

生存风险(x-Risks)是灾难性的，因为它们将人类锁定在单一的命运中，就像文明的永久崩溃或我们物种的灭绝一样。这些灾难可能有自然原因，如小行星撞击或超级火山，也可能是人为原因，如核战争或气候变化。剑桥大学生存风险研究中心的学术项目经理海顿·贝尔菲尔德(Haydn Belfield)表示，允许这样的事情发生将是“人类故事的可悲结局，并将让我们之前的数百代人失望。”

牛津大学人类未来研究所(FHI)的高级研究员托比·奥德(Toby Ord)认为，本世纪自然原因造成的生死存亡灾难的可能性不到千分之一，因为人类在没有自然原因的情况下生存了2000个世纪。然而，当他加上人为灾难的可能性时，奥德认为这种可能性会增加到惊人的六分之一。他将本世纪称为“悬崖”，因为失去未来的风险从未如此之高。

伦敦一家非营利性研究机构长期风险中心(Center on Long-Term Risk)的研究人员对x-Risk进行了扩展，带来了更令人不寒而栗的遭受风险的前景。这些“S风险”被定义为“天文数字规模的痛苦，远远超过地球上迄今存在的所有痛苦”。在这些情况下，数十亿人的生活仍在继续，但质量如此之低，前景如此黯淡，以至于死亡将是更可取的。简而言之：一个负价值的未来比一个没有价值的未来更糟糕。

这就是“锁链世界”场景的用武之地。如果一个恶毒的组织或政府突然通过技术获得了统治世界的权力，而且没有什么可以阻挡它，这可能会导致更长一段时间的悲惨苦难和灭亡。2017年，全球优先项目(Global Priority Project)与FHI和芬兰外交部联合发布的一份关于生存风险的报告警告称，“在一个特别残暴的全球极权国家的长期未来，可以说比彻底灭绝更糟糕”。

尽管全球极权主义仍然是一个小众的研究主题，但生存风险领域的研究人员正越来越多地将注意力转向其最可能的原因：人工智能。

牛津大学FHI主任尼克·博斯特罗姆(Nick Bostrom)在他的“独生子女假说”中解释了全球政府如何利用人工智能或其他强大的技术来组建-以及为什么它可能不可能被推翻。他写道，如果该机构“通过人工智能或分子纳米技术的技术突破取得决定性的领先地位”，那么“最高级别的单一决策机构”的世界就可能出现。一旦掌权，它将控制阻止内部挑战的技术进步，如监视或自动武器，并在这种垄断下保持永久稳定。

如果独生子女是极权主义的，生活将是黯淡的。即使是在拥有最严格制度的国家，其他国家的新闻进出也是如此，人们可以逃脱。全球极权统治甚至会扼杀这些小小的希望种子。马萨诸塞州未来生活研究所(Future Of Life Institute)的作家塔克·戴维(Tucker Davey)表示，比灭绝更糟糕的是，“那将意味着我们完全没有自由，没有隐私，没有逃脱的希望，完全没有机构来控制我们的生活。”该研究所专注于生存风险研究。

“在过去的极权主义政权中，(有)如此多的偏执和心理痛苦，因为你根本不知道你是否会因为说错了话而被杀，”他继续说。“现在想象一下，连一个问题都没有，你说的每一件事都会被报道和分析。”

“我们可能还没有做到这一点的技术，”Ord在最近的一次采访中说，“但看起来我们正在开发的技术使这一点变得越来越容易。而且这似乎有可能在未来100年的某个时候成为可能。“。

尽管全球极权政府下的生活仍然是一种不太可能和遥远的未来情景，但人工智能已经在一些国家启用威权主义，并加强基础设施，这些基础设施可能会被另一些国家的机会主义暴君夺取。

新美国安全中心(Center For New American Security)的兼职高级研究员埃尔莎·卡尼亚(Elsa Kania)表示：“我们已经看到了某种程度上的清算，从非常乌托邦的技术可能带来什么的愿景，转变为在某些方面已经相当反乌托邦的现实。”新美国安全中心是一家由两党组成的非营利组织，负责制定国家安全和国防政策。

过去，监控需要数十万人-东德每100个公民中就有一个是线人-但现在可以通过技术来完成。在美国，国家安全局(NSA)在2019年停止国内监控之前收集了数亿条美国人的通话和短信记录，英国各地估计有400万到600万个闭路电视摄像头。世界上20个最受监控的城市中有18个在中国，但伦敦是第三个。它们之间的区别不在于各国使用的技术，更多的是它们如何使用技术。

如果美国和英国对什么是非法的定义扩大到包括批评政府或信奉某些宗教会怎么样？执行它的基础设施已经到位，人工智能-美国国家安全局已经开始试验-将使各机构能够比以往任何时候都更快地搜索我们的数据。

除了加强监控外，人工智能还支撑了在线错误信息的增长，这是威权主义者的另一种工具。人工智能支持的深度伪造可以传播捏造的政治信息，社交媒体上的算法微目标正在使宣传更具说服力。这破坏了我们的认知安全--决定什么是真的并据此采取行动的能力--这是民主国家所依赖的。

贝尔菲尔德说：“在过去的几年里，我们看到了过滤泡沫的兴起，人们被各种算法分流，相信了各种阴谋论，甚至即使它们不是阴谋论，也只相信了部分真相。”“你可以想象事情会变得更糟，特别是有很多虚假的东西，直到我们整个社会越来越难认定这些就是事实，这就是我们必须采取的行动，然后采取集体行动。”

由贝尔菲尔德和来自14个机构的25名作者共同撰写的《人工智能的恶意使用》报告预测，像这样的趋势将扩大我们政治安全面临的现有威胁，并在未来几年带来新的威胁。尽管如此，贝尔菲尔德表示，他的工作让他充满希望，积极的趋势，比如围绕人工智能的更民主讨论和政策制定者的行动(例如，欧盟考虑暂停公共场所的面部识别)，让他乐观地认为，我们可以避免灾难性的命运。

戴维对此表示同意。“我们现在需要决定什么是人工智能的可接受和不可接受的用途，”他说。“我们需要小心，不要让它控制我们这么多的基础设施。如果我们重新用面部识别武装警察，而联邦政府正在收集我们所有的数据，那就不是一个好的开始。“。

如果你仍然怀疑人工智能能否提供这样的能力，那么考虑一下核武器之前的世界。在第一次核连锁反应之前三年，即使是试图实现这一目标的科学家也认为这不太可能。人类也没有为核突破做好准备，在条约和协议指导全球扩散致命武器而没有发生生死攸关的灾难之前，人类也徘徊在“相互确保毁灭”的边缘。

我们可以对人工智能做同样的事情，但前提是我们必须将历史教训与远见结合起来，为这项强大的技术做好准备。世界可能无法阻止像纳粹这样的极权政权在未来再次崛起-但我们可以避免给他们工具来无限期地扩大他们的权力。

通过在Facebook上为我们点赞加入100万未来粉丝，或者在Twitter或Instagram上关注我们。

如果你喜欢这个故事，可以注册bbc.com每周专题时事通讯，名为“基本清单”(The Essential List)。精选自BBC未来、文化、职场生活和旅游的故事，每周五送到您的收件箱。