关于人类未来的所有可能观点都是狂野的
当今世界 变革性人工智能 数字人 错位人工智能世界 由其他或稳定的、全银河系文明运行的世界 摘要：在以这篇文章开头的一系列帖子中，我将论证 21 世纪可以见证我们的文明发展允许在我们目前空无一人的银河系中快速扩张的技术。因此，本世纪可以决定银河系数百亿年或更长时间的整个未来。这种观点似乎很“狂野”：我们应该对我们生活在这样一个特殊时期的任何观点进行双重审视。我用银河系的时间线来说明这一点。 （就个人而言，这种“野性”可能是我多年来对本系列中提出的论点持怀疑态度的最大原因。这种关于我们生活的时代重要性的说法似乎“野性”到足以令人怀疑。 ）但我认为对这个话题持有非“狂野”的观点真的是不可能的。我讨论了我观点的替代方案：认为我所描述的技术是可能的，但需要比我想象的要长得多的“保守”观点，以及认为永远不会发生星系规模扩张的“怀疑”观点。这些观点中的每一个都以自己的方式“狂野”。最终，正如费米悖论所暗示的那样，我们的物种似乎只是处于一种狂野的境地。在我继续之前，我应该说我不认为人类（或人类的某些数字后代）在整个银河系中扩张必然是一件好事——尤其是如果这阻止了其他生命形式的出现。我认为很难对这会是好是坏有一个自信的看法。我想把重点放在我们的情况是“狂野”的想法上。我不提倡对整个银河系扩张的前景感到兴奋或高兴。我主张认真对待巨大的潜在风险。这是关于我们生活在人类最重要的世纪这一假设的一系列文章中的第一篇。在本系列中，我将论证到 2100 年生产力爆炸的可能性很大，这可能会很快导致人们可能称之为“技术成熟”的 1 文明。这意味着：我们将能够开始在整个银河系及更远的地方发送航天器。这些航天器可以开采材料、制造机器人和计算机，并在其他行星上建造非常坚固、持久的定居点，利用恒星的太阳能并支持大量的人（和/或我们的“数字后代”）。有关这可能需要什么的有趣而简短但技术性的讨论，请参阅《六小时内的永恒》。我还将在未来的文章中争辩说，这里存在“价值锁定”的可能性：运行空间扩张过程的人可能能够确定哪些人负责定居点以及什么样的人他们拥有的社会价值在数十亿年中保持稳定。 2 如果这真的发生了，你可能会想到我们银河系 3 的故事是这样的。我已经标记了从“无生命”到“构建自己的计算机并穿越太空的智能生命”的重要里程碑。
？？？太疯狂了！在我看来，我们很有可能生活在银河系从几乎没有生命到人口稠密的极短时间的开始阶段。在将要存在的数量惊人的人中，我们是第一批。在我们银河系的数千亿颗恒星中，我们的恒星将产生填充它的生物。我知道你在想什么：“我们能活在如此重要的时代的可能性似乎微乎其微；霍尔顿（代表整个地球，但仍然）有妄想的可能性似乎要高得多。” 5 假设您同意我关于人类最终会走向何方的看法——我们最终将拥有在我们银河系内外创造强大、稳定的定居点的技术。但是你认为它需要的时间比我说的要长得多。我观点的一个关键部分（我将在后面详细介绍）是，在本世纪内，我们可以开发出足够先进的人工智能来启动生产力爆炸式增长。说你不相信。你认为我低估了迄今为止人工智能系统的基本限制。你认为我们需要大量新的科学突破来构建真正像人类一样有效推理的人工智能。即使我们这样做了，在整个银河系中扩张仍将是一条更长的路。你认为这一切都不会在本世纪发生——相反，你认为这将需要大约 500 年的时间。这是自我们开始制造计算机以来所用时间的 5-10 倍。距离艾萨克牛顿第一次对物理定律进行可信的尝试已经过去了很长时间。自从科学革命开始以来，时间已经过去了。实际上，不，让我们更加保守。你认为我们的经济和科学进步会停滞不前。今天的文明将崩溃，更多的文明将衰落和崛起。当然，我们最终会获得在整个银河系中扩张的能力。但这需要10万年。这是人类文明在黎凡特开始以来所经历的时间的 10 倍。
你的时间线和我的时间线之间的差异甚至不是一个像素，所以它不会显示在图表上。从大局上看，这种“保守”的观点和我的观点是一样的。的确，“保守”的观点对我们这一代人来说并没有那么紧迫。但它仍然将我们置于极其重要的时间段内的一小部分人中。它仍然提出了一个问题，即我们为使世界变得更好所做的事情——即使它们在 10 万年后只有很小的一部分流入世界——是否可以被放大到银河系历史异常的程度。 “持怀疑态度的观点”本质上是人类（或人类的某些后代，包括数字人类）永远不会遍布整个银河系。可能有很多原因：也许太空旅行——和/或在其他星球上设置采矿机器人、太阳能电池板等——实际上是不可能的，以至于即使是另外 10 万年的人类文明也不会达到那个点。 6 或者也许出于某种原因，它在技术上是可行的，但它不会发生（因为没有人愿意这样做，因为那些不想阻止的人，等等）也许可以在整个星系，但由于某种原因，不可能在许多行星上保持存在数十亿年。或许人类还没到这个地步，就注定要毁灭自己。但请注意，如果我们摧毁自己的方式是通过错位的人工智能，7 人工智能有可能建立自己的技术并传播到整个银河系，这似乎仍然符合上述部分的精神。事实上，它强调了我们本世纪处理人工智能的方式可能会产生数十亿年的影响。因此，人类将不得不以某种方式灭绝，而不会留下任何其他智能生命（或智能机器）。也许一个外星物种会在我们之前（或大约在同一时间）扩散到整个银河系。但是，请注意，自宇宙开始以来，这似乎在大约 137.7 亿年的时间里没有发生过，根据上述部分，在我们传播到整个银河系之前，它只剩下大约 15 亿年的时间了。也许一些外星物种已经有效地遍布我们的银河系，但出于某种原因，我们只是没有看到它们。也许他们出于某种原因故意隐藏他们的存在，同时准备阻止我们传播得太远。这意味着他们选择不从我们可以看到的任何恒星中开采能量，至少不是以我们可以看到的方式。反过来，这意味着他们放弃开采大量能源，他们可以用这些能源做任何他们想做的事情，8 包括保护自己免受像我们这样的物种的侵害。这是相当多的可能性，尽管许多人以自己的方式看起来很“狂野”。总的来说，我会说它们加起来超过 50% 的可能性......但我会觉得很奇怪，声称它们是集体压倒性的可能性。
最终，我很难看到反对这种想法的理由至少是合理的：“我们最终将在我们的银河系内外建立强大、稳定的定居点。”似乎对这种说法说“不可能”本身需要对技术极限和/或人们将做出的长期选择和/或人类灭绝的必然性和/或某些事情的“疯狂”信心关于外星人或模拟。我想这个说法对许多读者来说是直观的，但不是全部。深入捍卫它目前不在我的议程上，但如果我有足够的需求，我会重新考虑。我声称认为我们基本上可以保证永远不会在整个银河系中传播是“疯狂的”，但认为我们有很好的机会在整个银河系中传播也是“疯狂的”。换句话说，我称这个话题的所有可能的信念都是“荒谬的”。那是因为我认为我们处于一种疯狂的境地。以下是我们可能发现自己处于的一些替代情况，我不会认为它们如此疯狂：我们可以生活在人口最多的星系中，无论是我们的物种还是一些外星物种。我们将是一些人口稠密的太空区域，周围环绕着人口稠密的行星。也许我们会阅读我们文明的历史。我们会知道（从历史和缺乏空星）我们并不是异常早期的生命形式，前方有不寻常的机会。我们可以生活在一个我一直在讨论的技术似乎永远不可能实现的世界中。我们不会有任何希望进行太空旅行，或者成功地研究我们自己的大脑或建造我们自己的计算机。也许我们可以以某种方式检测到其他行星上的生命，但如果我们这样做了，我们会发现它们同样缺乏这种技术。但太空扩张似乎是可行的，我们的银河系是空的。这两件事似乎很紧张。类似的紧张局势——为什么我们看不到外星人迹象的问题，尽管银河系有这么多可能的恒星，它们可以从中出现——经常在费米悖论的标题下讨论。
维基百科列出了费米悖论的可能解决方案。许多对应于我上面列出的持怀疑态度的观点。有些似乎与这篇文章不太相关。 （例如，外星人可能存在但未被发现的原因有多种。但我认为任何外星人不阻止我们物种进行星系规模扩张的世界最终都会“野生”，即使外星人在那里。）我的目前的看法是，当今对费米悖论的最佳分析支持智慧生命极其罕见的解释：首先关于生命出现或大脑进化的事情不太可能发生在银河系的许多（或任何）其他部分。 9 这意味着在银河系规模扩张的道路上最艰难、最不可能的步骤是我们人类已经采取的步骤。而这反过来又意味着我们生活在一个奇怪的时代：一颗极其不寻常的恒星历史上的极早时期。如果我们开始在银河系的其他地方发现智能生命的迹象，我会认为这是对我目前“野生”观点的重大更新。这意味着任何阻止其他物种在银河系范围内扩张的东西也将阻止我们。 Ann Druyan 和 Carl Sagan 将地球描述为太空照片中的一个小点，他们写道：地球是广阔宇宙舞台上的一个非常小的舞台。想想那些将领和皇帝洒下的血河，以至于在荣耀和胜利中，他们可以成为一个点的瞬间主人......我们的姿态，我们想象的自负，我们的妄想宇宙中的某些特权地位，受到这一点苍白光的挑战……有人说天文学是一种谦卑和塑造性格的体验。或许没有比这幅遥远的小世界影像更能说明人类自负的愚蠢了。这是一种有点普遍的看法——当你回过头来思考我们在数十亿年和数十亿颗恒星的背景下的生活时，你会发现我们今天关心的所有事情都是多么微不足道。
它寻找整个世界，就好像我们的“小点”有可能成为星系级文明的起源。相信这种可能性似乎很荒谬，甚至是妄想。但鉴于我们的观察，驳回它似乎同样奇怪。如果这是对的，那么在接下来的 100,000 年——甚至本世纪——做出的选择，将决定星系级文明是否会存在，以及它在数十亿颗恒星和数十亿年后的价值。所以当我仰望浩瀚的空间时，我不觉得：“啊，最后这些都不重要了。”我想：“嗯，我们所做的一些事情可能并不重要。但我们所做的一些事情可能比任何事情都重要。......如果我们能把注意力集中在球上，那就太好了。 ...[gulp]”如果您有评论/建议希望我看到，或者您准备对这篇文章提供一些快速反馈（我非常感谢！），请使用“论坛”，如果您想在有效利他主义论坛上公开讨论这篇文章。或卡达舍夫 III 型。 ↩ 如果我们能够创建思维上传，或像我们一样有意识的人的详细计算机模拟，则有可能将他们置于自动重置或以其他方式“纠正”环境的虚拟环境中，只要社会愿意否则会以某些方式发生变化（例如，如果某个宗教成为主导或失去主导地位）。这可以使这些“虚拟环境”的设计者能够“锁定”特定的宗教、统治者等。我将在以后的文章中对此进行更多讨论。 ↩ 我对“星系”的关注有点武断。传播到所有可到达的宇宙比传播到整个银河系需要更长的时间，并且在我们这样做之前，仍然可以想象来自我们银河系外的某些物种会破坏“稳定的银河系文明”，但我认为正确地解释了这一点会在不改变大局的情况下增加相当多的复杂性。不过，我可能会在以后的文章中解决这个问题。 ↩ 对数版本看起来并没有那么奇怪，因为与这些里程碑之前和之后的时间段相比，“中间”里程碑之间的距离很小。更根本的是，我说的是在[大数字]年中最重要的[小数字]年是多么了不起-最好使用线性轴来显示。通常情况下，看起来怪异的图表使用对数轴看起来更合理，但在这种情况下，我认为图表看起来很奇怪，因为情况很奇怪。这张图表看起来最不奇怪的版本可能是 x 轴类似于从 2100 年记录的距离，但这对于图表来说是一个非常大的前提——它基本上会在我的论点中出现是一个非常特殊的时期。 ↩ 正是这种想法让我多年来一直对我将在本系列的其余部分中阐述的关于先进技术的潜在影响和时机的论点持怀疑态度。直接解决我们的情况似乎是多么的“狂野”，无可否认，这对我来说很关键。 ↩ 如果没有像心灵上传这样的东西（我将在以后的文章中讨论，这也是为什么我认为未来的太空定居点可能具有如上所述的“价值锁定”的部分原因），那么在整个银河系中传播肯定会更难完成。我会发现一种观点，即“思想上传是不可能的”以自己的方式“疯狂”，因为它意味着人类的大脑是如此特殊，以至于根本没有办法以数字方式复制他们正在做的事情。 （感谢大卫·鲁德曼（David Roodman）的这一点。） ↩ 即，追求自己目标的高级人工智能，这些目标与人类存在不兼容。我会写更多关于这个想法的文章。现有的讨论包括《超级智能》、《人类兼容》、《生命 3.0》和《对齐问题》这本书。我所知道的最短、最容易理解的演讲是《认真对待 AI 作为对人类的威胁的案例》（Kelsey Piper 的 Vox 文章）。这份由 Open Philanthropy 的 Joe Carlsmith 撰写的关于寻求权力的人工智能存在的风险的报告详细列出了人们必须相信哪些前提才能认真对待这个问题。 ↩
