在试用了OpenAI的新工具GPT-3后，很明显，我们很可能已经到达了人工智能进步的拐点。如果用更普通的术语来考虑它，家长们往往会有一种有趣的经历，看着他们的孩子突然获得一项技能的能力，似乎是一夜之间。会有很多挣扎和失败的开始，然后就好像在一瞬间，砰，孩子突然可以做一些新的事情了。GPT-3欢呼着机器学习开启的时刻，突然它就可以做到了。它以惊人的连贯性和能力完成了这个新把戏。本期节目的希望是用外行的话来描述什么是GPT-3，然后探索一些可能的使用方式，以及它可能会对社会产生什么影响。
但首先，什么是GPT？GPT是生成性预训练变压器的缩写。当然可以，但它到底是什么？我们如何与它互动？简单地说，它是一个接受一些文本，然后生成这个文本的延续的程序。这到底是什么样子？对于那些通过OpenAI访问GPT-3操场的人来说，它看起来就像一个带有提交按钮的空文本框。
现在进入了一个在上周开发人员玩弄它时出现的原则：
GPT-3模仿你给它输入的任何文本的风格、语气和字符。)(对于那些好奇的人，你可以用空的文本框点击提交按钮，GPT-3会生成一些东西。)我第一次这样做的时候，它开始用法语谈论图书馆。第二次它开始谈论热浪出现在头条新闻上。)你给GPT-3的提示有点艺术意味。再一次，垃圾输入，垃圾输出。
GPT-3继续：从里面传来困惑的声音。当我打开门的时候，回头看我的人是林山早人。为什么林山，我只和他分享我踢足球的记忆，在晚上的这个时候在我的房间里？那个问题立刻从我嘴里飞了出来。
GPT-3续集：当他们做出回应时，超级-至少他们回到了福克斯·穆德和达娜·斯卡利的时代。我也喜欢60年代的小点缀，狮子狗裙子，大众，嬉皮士。
输入“怎么了？”不提供任何上下文，因此GPT-3每次都以随机方向生成文本。但请注意它是多么连贯，…。
但是，如果你给GPT-3提供上下文，比方说，一集的前几段来自修修补补的思维，它将产生那一集的延续，这一集非常中肯，非常可信。第823集和824集都是非虚构类的，就是探索这个想法的。每集大约有一半是由GPT-3生成的。这种合作也是在第826集，这是一部虚构的短篇小说。GPT-3对那一集的贡献没有明确指出，但也在那里。这一合作也是在第826集，这是一部虚构的短篇小说。GPT-3对那一集的贡献没有明确指出，但也在那里。这一集特别展示了与GPT-3相关的语境的一个方面。尽管该节目最初对虚构短篇小说的贡献有点笨拙。但随着故事的继续，GPT-3的贡献随着整个故事语境的增长而变得越来越好。
在这一点上应该很明显，如果你要做一些邪恶的事情，比如把一些危险的想法输入到GPT-3中，那么它将以同样的方式继续下去。这是一个重要的观点，会招致明显的批评，这也是OpenAI非常有意识的一个话题。在野外使用GPT-3需要安全应用，以及其他安全措施，以明显负面的方式限制GPT-3的使用。同样，原则是：垃圾输入，垃圾输出。当然，这不仅适用于作文水平，而且还适用于其他安全措施，以限制GPT-3以明显负面的方式使用。同样，原则成立：垃圾输入，垃圾输出。当然，这不仅适用于作文水平，而且当然也适用于其他安全措施，以限制GPT-3的使用。
现在，这个魔术到底是如何工作的？要回答这个问题，有必要把一个人的思想围绕在机器学习上。机器到底是如何学习的？老实说，没有人真正知道。在某种程度上，我们已经创造了一个可以学习弄清楚事情的黑匣子。要真正回答这个问题：机器学习到底是如何实现的，这类似于问：一个人是如何从一个人大脑中神经元之间的所有闲聊中产生的？没有人能回答这个问题。同样地，也没有人能回答这个问题。而且，同样地，我们也不能真正回答这个问题：机器学习是如何准确地回答这个问题的：一个人是如何从一个人的大脑中神经元之间的所有闲聊中产生的。当神经网络在机器学习环境中接受训练时，没有人能真正回答这个问题。尽管如此，我们可以描述这个过程的一些方面，帮助我们掌握正在发生的事情的感觉。
事实证明，机器学习似乎与人类学习没有太大不同，尽管差异是巨大的，而且非常重要。因为我们的大脑是巨大的神经元网络，它们都相互交谈，不知何故，我们作为个体从所有的聊天中脱颖而出。可以肯定的是，我们对大脑的理解仍然是初级的，但很明显，神经元通过伸展到其他神经元的手臂或树突网络来“倾听”周围的聊天，并根据它们听到的信号，发出自己的信号，让另一个神经元听到。这是显而易见的，但很明显，神经元通过伸展到其他神经元的手臂或树突网络来“倾听”周围的聊天，并基于它们听到的信号，发出自己的信号，让另一个神经元听到。给它合适的形状，一些配置和轰隆声，你的人脑就会试图弄清楚事情。(再深入一点，知道一个婴儿实际上有大约1000亿个神经元是很有用的，随着我们学习如何在这个世界上存在，我们会大幅减少这个数字。)(为了更深入地了解，知道一个婴儿实际上有大约1000亿个神经元是有用的，随着我们学习如何在这个世界上存在，我们会大幅减少这个数字。)。
GPT-3被训练成使用一种计算模型来生成文本，这种计算模型与我们称之为大脑的一堆神经元有很大的相似之处。事实上，这个类比是如此接近，以至于这个计算模型被称为“神经网络”。现在关于GPT-3有一个有趣的事实：它所训练的神经网络包含1750亿个参数，或者你可能认为是神经元的东西。但是这里有一个区别，我们需要非常小心。节点，或者说神经元，或者说，这个神经网络中经常被称为“参数”的东西并不像我们的神经元那样是神经元。虽然有相似之处，但我们的神经元比存在于神经网络中的节点要复杂得多。在机器学习的背景下，神经元是一个相当简单的加权值。这些值决定了一个节点如何与另一个节点交谈。一个实际的人类神经元在如何监听和向邻居发送信号方面要复杂得多。我们还必须考虑到，人类大脑中有许多不同类型的神经元，它们以不同的方式专门化，具有不同的功能。人类神经元也有不同数量的树突，用于监听其他神经元。一个神经元可以有100多个树突，每个树突都有决定核心神经元如何听到以及最终听到什么的特征。这种复杂程度远远超过了机器学习环境中节点或神经元的情况。这种复杂程度的差异应该会让人直观地理解为什么GPT-3是使用这么多“神经元”进行训练的。这些“神经元”的构建和组织比我们两耳之间发生的事情简单得多，也更直截了当。因此，在神经网络在形状和初始配置方面缺乏的地方，它试图在大小和通过速度和计算迭代实现的蛮力方面进行弥补。
那么，神经网络如何学习才能让像GPT-3这样的东西发挥作用呢？首先，你需要大量的数据。GPT-3是使用互联网上的文本进行训练的-这些文本对于一个人来说阅读是不可想象的。我想着每一条评论，每一篇帖子，每一篇描述，每一本免费提供的PDF书，所有的推文和博客，手册，学位论文，线程，咆哮-所有这些都是文本块。这就是文本块。这就是所有的文本块。我想的是每一条评论，每一篇帖子，每一篇描述，每一本免费提供的PDF书，所有的推文和博客，手册，学位论文，线程，咆哮-所有这些都是文本块。
那么培训是如何进行的呢？假设我给了你一段要读的内容，但我漏掉了最后一个词，让你猜那个词是什么。作为一个人，你很可能真的会在这方面做得很好。不管你是否猜出了实际的情况，你肯定会猜出一个符合上下文的明智的词，哪个有效
思考这一问题的一个好方法是认识到人类使用自己的嵌入方式。我们的嵌入形式是单独的单词本身。例如，你可以听到单词“船”的声音，或者你可以在脑海中读到表示单词“船”的图形符号，但那组图形标记和你听到的声音是任意的-它们实际上本身并没有任何意义。如果你向一个不懂英语的人说了“船”这个词，或者把“船”这个词展示给了一个不懂英语的人，那么你可以说“船”这个词，或者把“船”这个词展示给一个不懂英语的人。这对他们来说是没有意义的。如果他们对这个概念有不同的单词或嵌入。这非常类似于嵌入在神经网络中的工作方式。每当计算机“读取”单词“船”时，它会将其转换为相同的二进制字符串，并使用该二进制字符串推送到神经网络中。这种关于嵌入的讨论很重要，因为意识到GPT-3实际上并不知道任何单词是相当神奇的。除了与计算机相关的单词“KNOW”的使用已经存在问题之外，这里的重点是描述GPT-3成功的核心是什么。通过所有使用嵌入式语言的加权校准，GPT-3已经“学习”了决定我们人类如何在不同的上下文中挑选词汇的微妙规则。
方言和行话在这里是很有帮助的概念。例如，如果你去医院和医生交谈，你预计会听到一大堆与生物和医学有关的复杂语言，如果这家医院在伦敦，你预计会听到英国口音。即使我们不知道所有的单词，如果我们突然开始听到一大堆航海术语，其中的单词我们也不知道，我们就能判断出问题所在。
如果一个朋友开始讲述他们是如何航海的故事，我们可以预测我们很有可能听到“船”这个词。GPT-3基本上已经在人类写到的每一个背景下玩过这个概率游戏，次数高得离谱，这在互联网上被扑通了。
因此，说GPT-3对任何给定的主题都有所了解是完全不准确的。如果它知道一些东西，也许最好的描述是对下一个单词会是一个非常好的猜测。
那么为什么要大肆宣传呢？简单地说，它在猜谜游戏中做得非常好。它是如此之好，以至于你经常看不出它是生成的文本，而不是由人写的。如果提示正确，它的反应与人一样。
好吧，让我们设想一个场景：假设一个朋友来上班，他们脸上挂着甜美的微笑。如果你变得好奇，问“怎么了？”，你的朋友开始告诉你他们刚刚下载的一款应用程序。这是一款作为治疗师工作的人工智能，你的朋友告诉你，他们刚刚在治疗过程中获得了他们步行上班时最令人惊叹的洞察力。
现在，与真正的治疗师需要在他们引用的文件中记录治疗信息不同，GPT支持的治疗师完全可以完美地记住你说过的每一句话。然后你可以惊讶地问你的朋友：这是如何运作的？你的朋友可能会说，嗯，首先，它是超级实惠的，哦，天哪，每月只有几美元，而且我有无限的疗程。但是要开始，你必须谈论你自己10个小时，但幸运的是，我一直在写一本日记。但在开始之前，你必须谈论你自己10个小时，但幸运的是，我一直在写一本日记，哦，天哪，每月只有几美元，而且我有无限的疗程。但是要开始，你必须谈论你自己10个小时，幸运的是，我一直在写日记。所以我提交了那个博客，然后砰的一声，我就有了访问权。
如果你认为这样的描述可能会让治疗师担心，让我们换个方向：
假设你是一名人权活动家，你毕生致力于监控企业试图通过游说者和操纵立法来利用政府的方式。现在正在审议一项法案。你知道这项法案的细节中可能隐藏着一些邪恶的东西，但这项法案长达2000页，你不可能为了弄清楚其中的内容而仔细检查它。但是，我的一位同事刚刚开发了一个工具，它使用了一种先进的GPT，它可以提取任何数量的文本并对其进行汇总。不仅如此，这个特定的GPT还经过了额外的培训，可以标记似乎与正文无关的细节，或者暗示现有法律存在漏洞的细节，因为很自然，它也会阅读所有现有法律，并对所有法律文本有着完美的记忆力。如果你把新的法案提供给这个特殊的GPT和Boom，一分钟之内，你就有了一份准确的5页摘要和27个句子和段落的列表，这些句子和段落分布在2000页的文档中，它认为你应该专门去找麻烦。
这只是两种可以实现GPT-3技术的想象方式。其中一种方式是，口袋治疗师的技术已经在一周左右的时间里以某种初级的方式实现了，GPT-3已经上市了。
这一进步可能如何在社会中传播的后果似乎无处不在。语言是社会的结构。我们对语言的使用和误用决定了我们所有努力的兴衰，而计算机刚刚变得非常善于模仿我们的语言。