如果'所有模型都是错误的，'为什么我们给他们这么多功率？

所以在我们开始之前，有点家政，促销的事情。有一个sub-reddit，这个节目的reddit上的页面。我不参与其中。我们不控制它，或中等，或者任何东西。但是有几千人喜欢谈论在Reddit上的表演。它是在reddit.com/r/ezraklein。

他们让我在下周五第11届下周五做“问我任何东西”。而且我以为我会告诉别人这是在他们想去参加它的情况下发生这种情况。它会在早上的时候，太平洋时间为我。但如果你想去那里，就会有机会提问，我会来几个小时并回答他们。所以它是reddit.com/r/ezraklein。

所以有一个关于湾区的奇怪事情是您的业务，与关于政治和父母身份的人交谈，以及任何人都能承受房子，突然间，你会遇到一个人谁在人工智能中工作。你会意识到世界，它在它中很重要，而且它的进来看起来完全不同。喜欢，他们在你的期望中生活在你身上。

对于他们来说，我们正在进行技术的CUSP，比仅仅是计算机和互联网更加变革。他们将在工业革命的水平上。它可能会创造一个乌托邦。它可以创造一种令人令人行为的障碍。它可以完全结束人类。你可以解雇它。有些人这样做。有时候我会这样做。我绝对有冲动。

但这些都是聪明的人。我知道他们。有一件事让我暂停的是他们在外面的东西里面。他们在一个关于我们大多数人的技术革命内看到。他们看到了技术的快速行动，当我的意思是，我试着追随它，我不知道。所以我决定今年的事情是一个更好的处理我对人工智能的想法，我认为它将对经济，社会，对我们的政治，我认为的政治方法它应该是。这意味着，首先是理解它是什么，现在它正在做什么。

这里有一个重要的区别。 AI不仅仅是Skynet。这并不意味着感知。它并不意味着超级智力。要诚实，这不清楚它的意思。计算机科学界中有一个旧的笑话，人工智能是计算机尚未做到的。所以，在电脑之前可以在国际象棋中击败人类，那将是人工智能。之后，嗯，这只是机器学习。国际象棋是一场比赛。它有规则。您可以告诉计算机规则。

所以，总是有一个扩大的边境，嗯，这是真正的智力，这只是机器学习。但是，广泛地说，我们正在谈论可以更自主学习和行动的机器。这不是一个遥远的东西。我们现在正在使用它们的各种东西，广告Facebook为您服务于犯罪后的保释时间。现在它正在影响你的生活，我的生活。它正在重塑我们的经济和社会。

它真的在移动，真的很快。甚至很多人都在运行这些系统，他们并不完全明白他们在做什么。这就是说出应该在管理他们的政治家和监管机构中。

所以，让我们开始。他们将在未来几个月内成为围绕这个主题的一些剧集。但Brian Christian是我想开始的地方。他是这本书的作者，“对齐问题”。 Ai现在有很多好书，几本，来自我的同事在纽约时报。

但在我看来，基督徒是关于一般观众编写的机器学习技术问题的最佳书籍。这是一个非常非常深刻的机器学习方式的工作。它也会有一个非常深刻的观察人类学习如何工作以及两者之间的充满自负的关系。因为这是所有这一切的核心的恐惧。

AI的问题和可能性非常深刻的人类问题和可能性。他们是由我们生成的。恐惧是它将学到我们最糟糕的事情。这将需要我们的错误和我们的黑暗冲动和重新排序社会。它会为少数几个的利润做到这一点。这是这次谈话的一个非常重要的部分经常被错过。 AI的商业模式，AI政治经济学，真的很重要。所以，我要求基督徒加入我，为我们的第一个讨论它来谈论它。一如既往，我的电子邮件是[email protected]。这是Brian Christian。

我想从一个概念开始，给你的书名字，只是对齐问题的想法。我有兴趣向您学习它来自经济学，从评论提供资本主义。我实际上认为在我们到达它的整个人工智能方面之前是一个有用的地方。所以，告诉我关于对齐问题的历史。

是的，所以通过来自经济学文献的计算机科学社区，2014年借入了一项对齐。所以，回到90年代和'80年代，经济学家在谈论，你如何制作一个值对齐的组织，每个人都在同一个方向上拉？或者你如何对齐某人 - 下属与经理希望他们做的事情的激励？

显然，有一个巨大的文学，这是如何恐怖错误的。它还连接到育儿文献。每个父母都有这些经验 - 这个例子我爱是多伦多经济学家大学约书亚·甘布决定给他的老年人，我觉得每次1美元或一块糖果，我忘了，每次他们帮助年轻的孩子都使用厕所。他后来发现，年龄较大的孩子是强迫水到较年轻的兄弟姐妹，这样他们就可以每天更多地使用厕所。

所以我认为这只是指出了人们真正的激励问题。因此，这种想法如何在奖励制度，奖励或目标或kPIs中捕获，或者以kpis或指标，你真正想要的方式，这不会导致一些漏洞或某种可怕的一面你没有打算的影响？这是一个比AI的历史更大的人类故事。

所以，有一个飞蛾的超级智能ai火焰，这将在这次谈话中杀死我们所有的动态。人们喜欢将球扔掉了球场，想象着天网。但是现在发生了很多事情是我们将机器学习进入我们目前所做的事情，以预测暴力罪犯是否会重新冒犯。那么，他们应该得到什么样的保释？或者他们应该得到什么样的假释？或决定有人是否会适合工作。

所以，你能谈谈你所看到的问题吗？对待我们想要的机器的问题以及他们实际所做的事情，在这里和现在在这里运作，而不仅仅是远的未来？

是的，绝对。所以，这个问题是这些系统实际上正在做我们想要的历史悠久的历史。它追溯到1960年。麻省理工学院网络学家诺伯特维纳有这个着名的报价，他正在谈论“巫师的学徒”。我们都知道它是可爱的米老鼠卡通，他告诉这扫帚用水填充一个大锅，然后结束几乎溺水。维纳有这个报价他说，这不是童话故事的东西，就像这是为了我们。

而着名的报价是“如果我们建造一台机器，以实现我们在我们开始的目的的目的，我们更好地确保我们投入机器的目的是我们真正渴望的事情。 “这已经持续到20世纪初，作为纸夹最大化器的思想试验，使宇宙变成纸夹，杀死了这个过程中的每个人。

但到你的观点，我认为我们不再需要这些思想实验了。我们现在每天都有这些对齐问题。因此，一个示例是存在野外中称为标记的面部的面部识别数据集。它是通过从网上刮下报纸文章并使用文章附带的图像来收集。稍后，分析了该数据集。结果发现，数据集中最普遍的个人是在2000年代后期出现在报纸文章中的人。

所以，你得到的问题，就像乔治W·布什一样的两倍于所有黑人女性的组合。因此，如果您在该数据集上培训模型，您认为您正在构建面部识别，但您实际上建立了乔治W.布什认可。所以，这将有完全不可预测的行为。

刑事司法中的类似物。您可能认为您正在建立风险评估系统，告诉您有人是否会重新冒犯或再婚，对吗？但你实际上无法衡量犯罪。你只能衡量人们是否被逮捕和被定罪。所以，你尚未建造犯罪预测因素。你建造了一名逮捕预测因素，在21世纪美国是一个非常不同的东西。

所以，有很多情况如此，大而小。你看到研究界发生了同样的事情。您认为您正在尝试建立一个可以赢得船只比赛的程序，并且您可以在此代理激励措施获得此视频游戏中的许多点。但也许最多的点涉及在这个小港口做甜甜圈，永远收集这些小电源。因此，这些中的每一个都以自己的方式成为这个对齐问题的一个例子。事实证明，实际上很难让系统内化到内化目标和您实际上所知的行为。

你可以通过亚马逊的故事来谈谈，试图将其建立在他们的招聘努力中吗？

是的，所以亚马逊正在建立一台机器学习工具，帮助他们优先考虑哪个恢复应该通过职位开放而过滤。和着名的，他们在一到五个星星的规模上评价了他们的求职者，就像亚马逊用户评价他们的产品一样。为了做到这一点，他们正在使用所谓的无监督语言模型。但基本的想法是它看起来恢复了过去的候选人。它说，倾向于出现在CVS上的术语以及以前雇用的人恢复？因此，我们只需备注的恢复就会如此。

问题是，默认情况下，这将使存在的任何类型的偏差或偏见实现。因此，如果您的工程部门大多是男性，那么您将要发现，正如亚马逊工程师所做的那样，它正在惩罚妇女在其中的妇女。所以，如果你扮演了女性的足球，或者如果你参加了女性的大学，或者它可能是什么，那么系统说，这看起来看起来不像我们过去雇用的人恢复的那种语言。因此，我们不认为你应该将来雇用这个人。

他们最终惩罚了像曲棍球，或缝纫的惩罚，或这样的东西，所有这些都对女申请人倾斜。甚至它甚至才识别更典型的男性工程候选人的成语，就像使用这个词一样。因此，如果您在简历中使用这种武术，它会给您奖励积分。最终，他们基本上决定废除项目，这是一种不可挽回的。

所以，这里的一个非常棘手的准哲学问题是这实际上是否是一个对齐问题。所以，你基本上说的就是你会变的那种算法宽松，他们复制了我们社会实际看起来的方式。他们看看亚马逊雇员，然后他们根据招聘过程学习。他们说，这是你可能要雇用的人。亚马逊说，哦，不，不，不，不是我们，这就是我们想雇用的方式。

但在某种程度上，他们是如何招聘的。也许有人在政治上正确纠正，使用它 - 使用那种语言，可能会说，没有，机器有正确的。亚马逊只是不想承认它所实际的事情以及实际适用于此。所以，这些不是对齐问题。这些是 - 我们在社会真正职能的方式上几乎变得过于强大的聚光灯。但这不是机器的问题。

这是在统计圈中着名的这种谚语。它说，所有模型都是错误的，但有些模型很有用。我认为，我们在目前的危险中的一部分是我们的模型在所有模型都是错误的情况下是错误的，但我们已经让他们赋予了对世界理解的限制的权力。

所以，这里的一个例子是在2018年杀死了一名行人的自动驾驶优步。如果您阅读国家运输安全委员会报告，您可以发现一些有趣的东西。一个显然，杰波德斯没有培训数据。它只期待在交叉口或人行横道上遇到某人。因此，它只是没有为如何处理街道中间交叉的人而做好准备。

你发现的另一件事是它正在使用这种经典机器学习，每个对象都属于n个类别的一个。这个特定的女人在街上散步了一辆自行车。因此，对象识别系统无法思想。它说，好的，我可以看到她走路。不，肯定有一辆自行车架。我看到轮胎。我看到这个小三角形的支持。她绝对是骑自行车的人。不，她是 - 我们可以看到她走在地上。每次改变主意时，它都必须从头开始重新计算它是否认为它会打击她。这就是导致事故的一部分。

因此，这回到了这个想法，所有模型都是错误的，但我们现在在某些情况下，我们现在鉴于他们使用有效致命力量的能力，以确保世界符合其简化的世界所在的预先应用。如果你住在一个你不认为杰沃克斯的世界存在，而且你只能是一个骑自行车的人或行人，你杀了任何不适合那种概念计划的人，那么世界实际上就是相似你在头脑中的模型，但不是很好的方式。

那么，我们试图在这里实现什么？在我们谈到如何处理机器学习算法的问题之前，我们创造了我们没有打算的灾难，这些算法的承诺是什么？他们现在已经过了一点。我们没有增强的经济增长。我们没有治愈癌症。喜欢，为什么有这一领域有这么多的承诺和投资？

我认为我们广泛的想法是，我们可以以零边际成本的规模部署人类水平专业知识或智力。我认为这是广泛的想法。如果我们不是每个人都可以去世界级的皮肤病学家，以决定他们肩膀上的变色是否需要看。但是，如果您可以培训与世界上最好的皮肤病医师一样好的模型，那么拥有智能手机的每个人都可以访问那种技能或那种洞察力。我认为这就是为什么这项技术如此吸引人的广泛故事。

其中一些有意义的社会动机。过去已经完成了许多雇用的方式，这只是通过公司已经存在的人的社交网络。但是那些有关某些人口统计属性的人。他们住在另一个人附近，或者他们在同一个经济级别，et cetera，等等。因此，这是这个不良的想法，不，让我们创造一份职位发布，世界上任何人都可以申请。但现在您必须以之前不必处理的规模过滤候选人。

那么，你做了什么？好吧，他们经常转向机器学习。正如我们所讨论的那样，往往有这些可预测可怕的结果。但我认为这就是你的问题，我们真正想要做的事情是什么？

所以，如果人们在追随谈话中，他们可能会有几家大公司这样做。人们听到谷歌的深刻。他们听到了Openai。特斯拉显然有很多工作。然后，当然，也在优雅的关于如何做无人驾驶汽车。每个小型医院系统都会发展自己的卓越的AI球员，这一切都不会是这种情况，所以它可以租用其AI皮肤科部门。

那么，这是在这里发生的事情，这一束这些不同的机构正试图创建其他人为他们的项目出租的AI界面？在这里发生了什么，即将成为几个人早期，然后别人开发它？喜欢，当我们谈论这个时，谁将控制这个资源以及其他人如何获得访问权限？

我认为这个问题真的取决于特定工具的复杂程度。因此，在频谱的更多电子表格结束时，我认为，例如，如果你看刑事司法，试验预审风险评估算法，许多司法管辖区已经卷起了自己的。因此，明尼阿波利斯在90年代滚动了自己的风险评估，并为自己审核了一年后的审核，但忘了。然后在他们甚至认为检查它是否准确的预测，它在运作大约15年。所以，那些事情发生了。

另一方面，是的，到你的观点，有一定的规模经济。目前，很多最表情模型都很大。他们花费数十亿美元训练。所以，这是进入的一定的障碍。我认为这是一个非常有趣的问题。因为如果你看看AI安全的学术文献，那就是在这个近似的爱好者关系中，有一个人叫做他的人，所以他去他的车库并建立一个名为R的机器人做你想要的东西？

也许这是框架一些实际数学的一种有用方式，但我不认为这是思考我们将拥有的实际关系的有用方式，我们将与高级AI这样的东西。我认为它更有可能像Openai API一样，我们与iOS或Android的用户协议一样，我们从来没有真正拥有任何东西，我们只是符合可以改变的条款和条件的影响任何时候。因此，从我的角度来看，我认为这更有可能是我们拥有的那种关系，特别是早期。

但是你花了很多时间与这些不同的公司。我的意思是，你通过这本书读过这本书，它是深度这项研究员的一个节日，在Openai的这位研究员和微软等研究员等等。他们都竞争了什么？他们隐含的长期商业模式是什么，在花费数十亿美元赢得这场比赛后创造某种一般或至少非常非常强大的ai？

好吧，这是一个非常有趣的问题。因为如果你看看正在被告知的叙述 - 而这是 - 是的，所以只需使用Deepmind和Openai作为一个例子。他们都讲述了一个类似的故事，我们将解决智力，然后一切都会追随。一旦我们整理出来，那么我们可以治愈癌症，我们可以解决世界饥饿，你叫做。

它仍有待观察到如何发展AI，特别是AI安全，将处理像一种晚期商业周期，对豆柜的复仇，他们说，好的，以及为什么我们花4000万美元整天戏剧象棋的仿制物质吗？所以，它确实解释了你为什么得到一些这些收缩。我是p

......