有人可能会认为火灾报警器的功能是为你提供关于火灾存在的重要证据，允许你相应地改变你的政策并离开大楼。
在拉坦和达利1968年的经典实验中，要求8组每组3名学生在一个房间里填写一份问卷，不久之后，房间里就开始弥漫着浓烟。八组中有五组没有反应或报告烟雾，即使烟雾变得足够浓，让他们开始咳嗽。随后的操作显示，一个单独的学生会有75%的反应；而一个有两个演员陪同的学生被告知假装冷漠，只有10%的时间会有反应。这个实验和其他实验似乎确定了正在发生的是多元无知。我们不想因为害怕不是紧急情况而显得惊慌失措，所以我们试着看起来冷静，同时从眼角看别人的反应，当然他们也在试着看起来冷静。
(我已经阅读了许多关于这项研究的复制和变体，其效果大小是显而易见的。我认为这不会是复制危机的结果之一，而且我还没有听说复制危机涉及到它。但我们现在必须在每件事上都打上可能-不是标记。)。
火灾警报创造了一个常识，在你知道我知道的意义上，那就是发生了火灾；之后，它就可以在社会上安全地做出反应。当火警响起时，你知道其他人都知道着火了，你知道如果你继续离开大楼，你不会丢脸的。
火警并没有确切地告诉我们那里有火灾。事实上，在我的一生中，我记不起有一次在火警警报下离开大楼时，发生了真正的火灾。真的，火警比门下冒出的烟更不是起火的证据。
但是火警告诉我们，对火灾做出反应在社交上是正常的。它向我们保证，如果我们现在有序地退出，我们不会感到尴尬。
在我看来，这是人们对自己的信仰产生错误信念的情况之一，就像当有人大声支持他们的城市球队赢得大赛时，一旦要求下注就会打退堂鼓。他们并没有有意识地将高呼球队会赢的获得性兴奋与期待球队会赢的感觉区分开来。
当人们看着门下冒出的烟雾时，我想他们认为他们不确定的摇晃感觉来自于没有赋予火灾真正出现的足够高的可能性，他们不愿采取行动，因为担心浪费精力和时间。如果是这样的话，我认为他们错误地解读了自己的感受。如果是这样的话，他们听到火警时会有同样的摇晃感觉，甚至更多，因为火警与火灾的相关性比门下冒出的烟要少。这种不确定的摇摇欲坠的感觉来自于对其他人不同信仰的担忧，而不是对火灾不存在的担忧。不愿采取行动是不愿让人觉得自己很愚蠢，而不是不愿浪费努力。这就是为什么75%的时间里只有学生一个人在房间里对火灾采取行动的原因，也是为什么人们对火警提供的证据要弱得多的反应没有问题的原因。
时不时地有人建议我们应该晚一点开始对人工智能的问题做出反应(这里的背景)，因为据说我们离它太远了，今天就不可能在它上面做有成效的工作。
(关于今天是否有可行的事情的直接争论，见：Soares和Fallenstein(2014/2017)；Amodei，Olah，Steinhardt，Christian，Schulman和Mané(2016)；或Taylor，Yudkowsky，LaVictoire和Critch(2016)。)。
(如果这些论文都不存在，或者如果你是一名人工智能研究人员，他读过这些论文，但认为它们都是垃圾，你希望自己可以做对齐工作，但不知道你能做什么，下一步明智的做法是坐下来，真诚地花两个小时努力想出可能的方法。最好不要自我破坏，因为这会确保你不会想出任何可信的事情；假设说，如果你实际上会发现，相信今天没有什么你应该做的事情会更舒服，因为这样你就可以做其他你更感兴趣的事情了。)，如果是这样的话，你可能会发现，如果你相信今天没有什么你应该做的事情，你会更舒服地相信，因为这样你就可以做其他你更感兴趣的事情了。)。
因此，如果AGI看起来似乎很遥远，并且您认为由此得到的结论是您还不能在AGI比对上做任何有成效的工作，那么提供的隐含的替代策略是：等待一些未指明的未来事件，它告诉我们AGI即将到来；然后我们都会知道开始进行AGI比对是可以的。
在我看来，基于许多理由，这似乎是错误的。这是其中的一些。
第一：正如斯图尔特·罗素观察到的那样，如果你从太空收到无线电信号，用望远镜发现那里有一艘宇宙飞船，你知道外星人将在30年后着陆，你今天仍然会开始考虑这个问题。
你不会说，“哼，那是三十年后的事了，不管怎么说。”你当然不会随随便便地说“嗯，在他们靠近之前我们无能为力。”如果没有花两个小时，或者至少五分钟的时间，集思广益地思考是否有什么事情你现在应该开始做，你就不能这样做。
如果你说三十年后外星人会来，所以你今天什么都不做，…。嗯，如果现在是更有效的时间，有人会问你应该做什么的时间表，从外星人到达的时间，多长时间开始。如果你没有准备好时间表，他们就会知道你不是按照时间响应的工作表进行操作，而是在拖延，什么都不做；他们会正确地推断，你可能没有非常努力地寻找今天可以做的事情。
用布莱恩·卡普兰(Bryan Caplan)的话说，任何对外星人“现在无能为力”这一事实相当漫不经心的人，都是在缺少一种情绪；他们应该更担心自己想不出任何方法来做准备。或许可以问问其他人有没有什么主意？但不要紧。
第二，历史表明，对于普通大众来说，即使是不在核心圈子里的科学家，甚至是在这个核心圈子里的科学家，关键技术的发展往往还需要几十年的时间，五年后才会出现。
1901年，在帮助建造第一架比空气还重的飞行器的两年前，威尔伯·赖特告诉他的兄弟，动力飞行还需要50年的时间。
1939年，在他亲自监督了一堆铀砖中的第一次临界连锁反应的三年前，恩里科·费米(Enrico Fermi)表示90%的信心是不可能用铀来维持裂变连锁反应的。我相信费米在那之后的一年，也就是结局前两年也说过，如果裂变产生的净能量甚至是可能的(因为他当时给予了一些更大的似是而非的可能性)，那么它将是50年后的事情；但对于这一点，我忽略了保留引文。
当然，如果你不是莱特兄弟或恩里科·费米，你会更加惊讶。当世界上大多数人一觉醒来看到广岛的头条新闻时，他们就知道原子武器现在已经成为一件事了。在莱特飞行四年后，有受人尊敬的知识分子说，比空气还重的飞行是不可能的，因为当时知识的传播速度较慢。
现在，事后看来，有没有一些事件，我们可以将其视为重于空气的飞行或核能即将到来的迹象？当然，但如果你回去阅读当时的报纸，看看当时人们实际上是怎么说的，你会发现他们并不知道这些是迹象，或者他们非常不确定这些可能是迹象。我估计，一些扮演兴奋的未来主义者的人宣称，巨大的变化即将到来，而另一些扮演清醒科学家的人则试图给所有幼稚的热情泼上一盆冷水；我预计这一角色与几十年前大致相同。如果在这种喧嚣中的某个地方有一位超级预言家，他在几十年的时候说了“几十年”，当它是五年的时候说了“五年”，那就祝你在所有的噪音中注意到他们。更有可能的是，超级预测者说“可能是明天，可能是几十年”，无论是一天后的大发展，还是几十年后的情况。
事后诸葛亮让我们觉得过去比当时任何人实际能够预测的更可预测的主要方式之一是，事后我们知道我们应该注意什么，而我们只专注于一种想法，即每一件证据表明了什么。如果你看看人们当时实际说了些什么，从历史上看，他们通常在事情发生前三个月不知道会发生什么，因为他们不知道哪些迹象是哪些。
我的意思是，你可以说“AGI还有50年”，而且这句话碰巧是真的。人们还说动力飞行是几十年后的事，而实际上是几十年后的事，而这些人碰巧是对的。问题是，在你看来，无论哪种方式，一切都是一样的，如果你实际上是在亲身经历历史，而不是事后阅读它。
这并不是说每当有人说“五十年”的时候，事情总是在两年内发生。这是因为，这种对遥远事物的自信预测对应着一种对技术的认知状态，在你非常非常接近大发展之前，这种认知状态在你内部感觉是一样的。这是一种“嗯，我不知道该怎么做”的认知状态，有时你会说离大发展还有50年，有时你会在两年后说，有时你会在莱特传单飞离你视线之外的某个地方时说。
如果费米和赖特夫妇三年后都看不到它，想象一下其他人看到它会有多难。
如果你不是处于如何做这件事的全球知识高峰，而是循环了解最终将成为领先项目的所有进展，你就根本看不到自己的知识是即将到来的大发展。除非你非常善于以一种在狩猎-采集部落中不必要的方式接受观点，并且非常善于意识到其他人可能知道你不知道的技术和想法，即使你不知道它们。如果你不自觉地弥补这方面的历史教训，那么你就会立即说出几十年来的事情。费米在建造第一堆核能之前的3个月里，并不认为净核能是不可能的，也不是几十年后的事，因为那时费米对所有事情都很了解，并看到了如何做到这一点。但任何没有进入的人可能仍然觉得这是50年前的事情，而实际的那一堆在芝加哥大学的壁球场里冒泡着。
人们似乎不会自动补偿这样一个事实，即大开发的时机是该领域知识峰值的函数，这是知道最多、想法最好的人触及的一个门槛；而他们自己的知识水平一般，因此他们自己知道的并不是大开发何时发生的有力证据。我认为他们根本没有考虑到这一点，他们只是用自己的困难感盯着它看。如果他们的想法比这更深思熟虑、更深思熟虑，并结合实际工作来纠正可能导致镜头偏向的因素，他们就不会费心在我能读到的任何地方写下他们的推理。
要知道AGI还有几十年的时间，我们需要对AGI有足够的了解，才能知道拼图的哪些部分丢失了，以及这些拼图有多难获得；而这种洞察力在拼图完成之前不太可能获得。这也就是说，对于领先优势之外的任何人来说，拼图看起来比边缘看起来更不完整。该项目可能会在证明他们的理论之前发表他们的理论，尽管我希望不会。但现在也有一些未经证实的理论。
再说一次，这并不是说人们说“五十年”是壁球场正在发生什么的特定迹象；他们在六十年前也说过“五十年”。这是说，任何人如果认为技术时间表实际上是可以提前预测的，那些不了解领先项目进度报告的人，那些没有分享所有关于如何做这件事以及需要多大努力的最佳想法的人，都是从历史中吸取了错误的教训。特别是从阅读历史书中，那些整齐地列出了进步的路线和我们现在都知道的明显迹象是重要的和确凿的。有时，无论什么时候发生重大发展，都可以说一些有用的有条件的东西来说明它的后果，但在一到两年的时间范围内，很难对这些发展的时间做出有信心的预测。如果你是为数不多的能够预测时机的人之一，如果真的存在这样的人，那么没有人知道要关注你，而不是那些兴奋的未来主义者或清醒的怀疑论者。
第四：未来使用不同的工具，所以现在很难做的事情，或者现在不可能做的事情，都可以很容易地做。
为什么我们知道AGI还有几十年的时间呢？在人工智能研究实验室负责人等人撰写的热门文章中，通常会给出三个突出的原因：
(A)提交人不知道如何利用现有技术建造AGI。作者不知从何说起。
(B)作者认为，要做现代人工智能技术所做的令人印象深刻的事情真的非常困难，他们不得不在炙手可热的GPU群中辛苦地工作很长时间，调整超参数才能做到这一点。他们认为公众没有意识到现在做任何事情有多难，并且过早地惊慌失措，因为公众认为任何人只要启动TensorFlow就可以制造一辆机器人汽车。
(C)作者花了大量时间与人工智能系统互动，因此能够亲身体会到它们仍然愚蠢和缺乏常识的所有方面。
我们现在已经考虑了论点A的一些方面，让我们考虑一下论点B。
假设我说：“现在一个COMP-SCI毕业生可以在一周内做任何N+年前研究界可以用神经网络做的事情。”N有多大？
我在Twitter上从我不认识的人那里得到了一些关于这个问题的答案，但最常见的答案是5个，根据我自己对机器学习的熟悉程度，这个答案对我来说听起来是对的。(尽管显然不是字面上的普遍，因为现实从来都不是那么整洁。)。如果你可以在2012年做一些事情，你可能会用现代的GPU，TensorFlow，Xavier Initialization，Batch Noralization，ReLU，ADAM或RMSprop，或者只是随机的有动量的梯度下降来相当直接地做到这一点。现代技术要好得多。可以肯定的是，有些事情我们现在仅仅用那些简单的方法是做不到的，这些事情需要更多的工作，但在2012年，这些事情是完全不可能的。
在机器学习中，当你可以做一些事情的时候，你最多可能需要几年时间才能使用未来更优越的工具轻松做到这一点。从这个观点来看，论据B，“你不知道做我们做的事情有多难”，在时间上是不确定的。
在我看来，声明B与卢瑟福在1933年表达的观点是一样的，当时他将原子裂变产生的净能量称为“月光”。如果你在1933年是一名核物理学家，那么你必须用手分裂所有的原子，用其他粒子轰击它们，这是一项费力的工作。如果有人谈到从原子中获取净能量，可能会让你觉得自己不受赏识，人们认为你的工作很容易。
但当然，这将永远是人工智能工程师在严肃的前沿项目中的亲身体验。做研究生一周能做的事，你不会拿到大价钱(除非你为一家对人工智能一无所知的官僚机构工作，但那不是谷歌或FB)。你的个人经验永远是，你花几个月的时间拿钱做的事情是困难的。因此，这种个人经历的改变不是你可以用来作为火警的东西。
那些扮演更明智、更清醒、持怀疑态度的科学家的人显然会抽象地同意，我们的工具将会改进；但在他们撰写的流行文章中，他们只是谈论今年工具的艰苦困难。我认为，当他们处于这种模式时，他们甚至没有试图预测5年后的工具会是什么样子；他们没有在我读过的文章中写下任何这样的论点。我认为，当他们告诉你AGI还需要几十年的时间时，他们实际上是在给出一个估计，就像使用他们目前的工具和知识来构建AGI需要多长时间。这就是为什么他们强调要搅动线性代数的堆，直到它吐出好的答案是多么困难；我认为他们根本没有想象到，在不到50年的时间里，这种经历可能会发生什么变化。如果他们已经明确考虑了根据他们目前的主观困难感来估计未来技术时间线的偏差，并试图弥补这种偏差，那么他们还没有把这个推理写下来，我读过的任何地方都没有。从历史上看，我也从未听说过这种预测方法能给出好的结果。
五：好吧，我们开门见山吧。我不认为大多数关于AGI很远(或很近)的论述是由机器学习中未来进展的模型产生的。我不认为我们看到的是错误的模型；我认为我们没有看到任何模型。
有一次我参加了一个大会，里面坐满了AI名人的小组讨论，大多数名人都点头表示同意，AGI当然很远，除了两位AI名人保持沉默，让别人拿麦克风。
我在问答环节站起来说，“好吧，你们都告诉我们进展不会那么快。不过，让我们说得更具体一些。我想知道，你非常有信心在未来两年内不可能完成的最不令人印象深刻的成就是什么。“。
最终，小组中的两个人大胆地回答，他们的语气比他们过去用来宣布AGI已经过了几十年的语气要试探得多。他们的名字是“机器人把洗碗机里的盘子收起来而不打破它们”，以及Winograd Schemas。具体地说，“我很有信心，Winograd模式--我们最近得到的结果在50%到60%之间--在接下来的两年里，不管人们使用什么技术，我们都不会得到80%到90%的结果。”
在那次讨论会之后的几个月，Winograd模式出现了意想不到的重大突破。这一突破没有突破80%，所以三声欢呼，希望有更大的可信度区间和误差范围，但我预计，在还有一年的时间里，预测者可能会感到稍微紧张一些。(我不认为这是我记忆中读到的突破，但Rob以这篇论文为例，这篇论文最多可以在上述会议后44天提交，并获得高达70%的支持率。)。
但这不是重点。关键是我的问题之后陷入了沉默，最终我只得到了两个回答，都是试探性的语气。当我要求在接下来的两年里不可能实现的具体壮举时，我认为那就是那个小组中的杰出人物转向试图建立机器学习未来进展的心理模型的时候，他们问自己
..