GPT-3。它学会了编码（以及博客和争论）

今年夏天，位于旧金山的一家名为OpenAI的人工智能实验室在数月之内推出了一项技术。这个新系统GPT-3花费了几个月的时间来分析自然语言的来龙去脉，方法是分析数千本数字书籍，Wikipedia的长度和广度以及将近一万亿个单词发布到博客，社交媒体和其他互联网。

来自盐湖城的23岁的计算机程序员Mckay Wrigley是受邀参加该系统修补工作的少数人之一，该系统利用从浩瀚的数字文本中学到的一切知识自行产生新的语言。箭牌先生想知道它是否可以模仿公众人物-像他们一样写作，甚至像他们一样聊天。

他的一项实验涉及一名流行心理学家斯科特·巴里·考夫曼（Scott Barry Kaufman）。该系统采用了考夫曼先生的名字和一个讨论话题：创造力。然后，当被问到“我们如何变得更有创造力？” GPT-3立即做出了回应：

我认为创意表达是在多元化世界中成长的自然产物。世界越多样化，您越会暴露给不同的人，不同的机会，不同的地方和不同的挑战。而且，多样性越多，您越有可能将各个点放在一起形成新的事物。从很多方面来说，我认为如果您想发挥创造力，就必须努力。如果要成为作家，就必须写作；如果要成为音乐家，就必须创作音乐；如果要成为喜剧演员，就必须创作喜剧片；创作的次数越多，可能性就越大。就是您会偶然发现一些有趣的东西。

后来，当瑞格利先生在Twitter上发布该段落时，有人在真正的斯科特·巴里·考夫曼中循环。他被惊呆了。真正的考夫曼在推特上写道：“这听起来确实像我会说的。”后来又补充道，“疯狂准确的人工智能。”

在GPT-3抵达后的几周内，它产生了数十项其他实验，这些实验几乎以相同的方式引起了人们的注意。它生成推文，写诗，总结电子邮件，回答琐事问题，翻译语言甚至编写自己的计算机程序，而几乎没有提示。其中一些技能甚至使专家措手不及。

对于许多人工智能研究人员而言，这是朝着能够理解人类语言变幻莫测的机器迈出的出乎意料的一步，甚至可能解决其他人类技能。

人工智能的梅兰妮·米切尔（Melanie Mitchell）说：“这令我和很多人感到惊讶。新墨西哥州的一个独立实验室圣塔菲研究所的研究员，正在尝试使用该系统。 “很难确切地知道这件事在做什么。”

GPT-3并非完美无缺。它经常会产生偏见和有毒的语言。而且，如果您要求使用Scott Barry Kaufman风格的10个段落，则可能会给您五个令人信服的内容，而其他五个则不具有说服力。当考夫曼先生实际上与他的人工智能聊天时doppelgänger，他没有起初的印象深刻：

“斯科特·巴里·考夫曼”：不，你应该知道。您是知道想象力的人。你认为那是什么？

但是，即使这看起来像是真实的对话。尤其值得注意的是，它显示了系统可以完全自己完成的工作，而无需进行额外的编码或微调。

GPT-3是在全球领先的人工智能实验室中进行数年工作的结晶，其中包括OpenAI，这是一个独立组织，得到了Microsoft的10亿美元资金的支持，以及Google和Facebook的实验室。在Google，类似的系统可帮助回答公司搜索引擎上的查询。

这些系统（称为通用语言模型）可以帮助提供各种工具，例如自动汇总新闻文章的服务以及为在线对话设计的“聊天机器人”。到目前为止，它们对实际技术的影响很小。但是GPT-3（它从比以前的系统更大的在线文本集合中学习）为许多新的可能性打开了大门，例如可以加速新智能手机应用程序开发的软件，或者可以在很长时间内进行交流的聊天机器人。比过去的技术更人性化。

当软件设计师，企业家，专家和艺术家探索该系统时，每个新实验都引发了关于该技术最终将具有多强大的激烈辩论。尽管有些人说这可能是通往真正智能机器的道路，但另一些人则认为，尽管这些实验令人着迷，但它们也具有误导性。

乔治亚理工学院的教授兼研究员马克·里德尔说：“这非常流利。” “它非常清晰。它非常擅长产生听起来合理的文本。但是，它没有做的事就是事先考虑。它没有计划要说什么。它确实没有目标。”

Jordan Singer是硅谷移动支付公司Square的产品设计师。他帮助设计公司的智能手机应用程序，构建图形，菜单，按钮和其他定义应用程序外观的小部件。当他听说GPT-3时，他想知道这种自动化系统是否能胜任其工作。

他向系统提供了一个智能手机应用程序的简单描述，以及创建该应用程序所需的计算机代码。描述用简单的英语。该代码内置在Figma内，Figma是Singer等专业人员使用的专用设计工具。

他做了几次，向系统提供了更多的英语描述以及匹配的Figma代码。完成后，GPT-3可以自己编写此类代码。

如果他描述了一个简单的应用程序，就像用户在Instagram上发布和查看照片一样，那么系统会生成构建该应用程序所需的代码。该代码有时存在缺陷。但通常来说，如果辛格先生只做了一两次调整，就可以按他的意愿进行。他说：“这并非绝对完美。” “但是它非常非常接近。”

这种行为是全新的，甚至让GPT-3的设计人员都感到惊讶。他们没有构建GPT-3来生成计算机代码，就像没有构建它那样像Kaufman先生那样编写或生成推文或翻译语言一样。他们建立它只是为了做一件事：预测单词序列中的下一个单词。

GPT-3被人工智能研究人员称为神经网络，神经网络是一个松散地建模在大脑神经元网上的数学系统。这与识别发布到Facebook的照片中的面孔并识别输入到iPhone的命令的技术相同。

神经网络通过查明大量数字数据中的模式来学习这些技能。例如，通过分析数千张猫的照片，它可以学习识别猫。

大约三年前，谷歌和OpenAI等顶级实验室的研究人员开始设计神经网络，该网络从大量散文中学习，包括成千上万的未出版书籍和维基百科文章。这些通用语言模型不仅可以应用于一项任务（例如翻译），而且可以应用于许多任务。

GPT-3以前所未有的规模分析了数字散文，花了几个月的时间寻找发布到互联网上的大量文本的模式。通过这种方式，它学会了预测序列中的下一个单词。如果您在GPT-3中输入几个单词，它将继续进行，并用整段文字完善您的想法。

但是，在掌握这项特定技能时，它学到了很多。在为期几个月的培训中，GPT-3在书海，维基百科文章和其他在线文本中识别出超过1,750亿个参数（模式的数学表示形式）。这些模式相当于一幅人类语言图：无论是编写博客还是编写软件程序，都是对字符进行组合的方式的数学描述。使用此映射，GPT-3可以执行其并非旨在执行的所有任务。

在要求GPT-3生成新文本之前，您可以将其重点放在其在培训过程中可能学到的特定模式上，为系统完成某些任务做好准备。您可以向其提供智能手机应用程序的描述以及匹配的Figma代码。或者，您可以向其展示大量人类对话。然后，当您开始键入时，它将以更特定的方式完成序列。例如，如果您通过对话来启动它，它将开始与您聊天。

OpenAI研究副总裁Dario Amodei说：“它具有这种出众的品质。” “它具有识别您给出的模式并完成故事的能力，再举一个例子。”

以前的语言模型以类似的方式工作。但是GPT-3可以完成以前的模型无法完成的工作，例如编写自己的计算机代码。而且，也许更重要的是，您可以仅使用几个示例就可以将其准备用于特定任务，而之前的示例则需要数千个示例和数小时的额外培训。研究人员将其称为“少量学习”，他们认为GPT-3是第一个可能成为一种强大现象的真实例子。

OpenAI的首席科学家，过去十年来人工智能技术兴起的关键人物Ilya Sutskever说：“它展现了前所未有的能力。” “任何外行人都可以采用此模型，并在大约五分钟内提供这些示例，并从中获得有用的行为。”

OpenAI计划通过互联网出售对GPT-3的访问权，将其转变为一种广泛使用的商业产品，今年，该公司通过其Web浏览器将该系统提供给有限的beta测试人员。不久之后，领导Facebook AI的Jerome Pesenti被称为GPT-3“不安全”的实验室，指出了系统被要求讨论女性，黑人，犹太人和大屠杀时所产生的性别歧视，种族主义和其他有毒语言。

对于像GPT-3这样的系统，这个问题很普遍。日常语言天生就有偏见，并且常常令人讨厌，尤其是在互联网上。因为GPT-3从这种语言中学习，所以它也会表现出偏见和仇恨。而且由于GPT-3从互联网文本中学习，该文本将无神论与“酷”和“正确”这两个词联系在一起，并将伊斯兰与“恐怖主义”结合在一起，因此GPT-3的作用相同。

这可能是OpenAI仅与少量测试人员共享GPT-3的原因之一。实验室建立了过滤器，警告可能会出现有害的语言，但它们只是解决了一个没人知道如何解决的问题的创可贴。

斯坦福大学研究人员艾里森·科内克（Allison Koenecke）说：“他们不仅通过公开发布GPT-3，而且在做正确的事。”系统。 “还有很多事情要做。”

帮助企业管理人工智能技术行为的Arthur公司副总裁Liz O’Sullivan说，确保这种行为最终受到控制是OpenAI的责任。她说，就目前情况而言，OpenAI正在“将法律和声誉风险传递给任何可能要在面向消费者的应用程序中使用该模型的人。”

其他专家担心，这些语言模型可能有助于在互联网上传播虚假信息，从而加剧可能助长2016年总统大选的在线竞选活动。 GPT-3指出了一个未来，在这个未来中，我们甚至不确定所阅读的内容是真实的还是假的。这适用于推文，在线对话，甚至是长篇散文。

7月底，加州大学伯克利分校的学生利亚姆·波尔（Liam Porr）用GPT-3撰写了几篇博客文章，并将其发布到互联网上，有26,000人阅读。启发了60位观众订阅该博客，只有少数几个怀疑帖子是由机器撰写的。

他们不一定是易受骗的人。其中一篇博客文章声称，如果您避免对自己所做的事情过多考虑，就可以提高工作效率。该博客文章升至Hacker News排行榜的首位，在此网站上，经验丰富的硅谷程序员，工程师和企业家为新闻评分文章和其他在线内容。 （“开始做某事，也许我们需要减少思考。”这篇文章似乎违反直觉，但我相信有时候我们的想法会阻碍创作过程。）

但是，与大多数涉及GPT-3的实验一样，波尔先生的力量并不像看起来那样强大。

在1960年代中期，麻省理工学院的研究员约瑟夫·魏岑鲍姆（Joseph Weizenbaum）建造了一个自动心理治疗师，他称其为ELIZA。从2020年的优势出发，这个聊天机器人非常简单。

与GPT-3不同，ELIZA没有从散文中学习。它根据其设计师定义的一些基本规则进行操作。无论您说什么，它几乎都以问题的形式重复了。但是令维岑鲍姆博士感到惊讶的是，很多人都把机器人看成是一种机器人，它毫不犹豫地抛弃了他们的问题，并对回应感到满意。

当狗和其他动物表现出很少的类人行为时，我们倾向于认为它们比我们更像我们。匹兹堡大学的教授科林·艾伦说，机器也一样。他说：“人们被吸了，即使他们知道自己被吸了。”

这就是GPT-3所发生的事情的一部分。由于它可以产生令人信服的推文，博客文章和计算机代码，因此我们将人性读入了该数字系统-并较少关注其局限性。

在实践中，系统失败与成功一样多。我们忽略了它编写的计算机代码需要人类程序员进行一些微调-在此处删除或添加一行。我们没有注意到它的对话才能在几次交流之后就消失了，因为它无法“记住”它在几秒钟前所说的话。我们还不太清楚，尽管系统为Porr先生撰写了令人信服的博客文章，但他提供了标题，照片和前几句话，并删除了一些不太令人信服的句子。

波尔先生认为GPT-3短期内不会对打击虚假信息构成巨大威胁，因为它仍然需要人类的大力帮助。这样的工具只有完全能够自己产生大量令人信服的虚假信息，才真正具有危险性，而这超出了如今一支雇佣团队可以相对轻松地完成的工作。

同样，当应用程序设计师问Square的Singer先生时，GPT-3是否对他们的职业构成威胁，他向他们保证，这不是-至少现在还不是。他认为这是使他们的工作更轻松的一种方式。他说：“如果它能达到目标的70％，那将是很多乏味的工作。”

我们不知道的是，在未来的几个月和几年中，这项技术将继续改进多少。

当OpenAI的研究人员正在训练GPT-3上超过一万亿个发布到互联网上的单词时，他们进行了第二项实验，在成千上万张数码照片上训练了一个类似的系统。该系统可以分析所有这些照片，并学习以与GPT-3构建段落相同的方式构建图像。给定一半的猫照片，它可以生成其余的猫。

对于一些研究人员而言，实验表明，这样的系统最终可以像人类一样，在多个维度（语言，视觉，声音）上处理任务。他们说，即使仅接受语言培训，该系统也可能已经涉足其他领域，无论是计算机编程，下棋还是生成吉他谱。

但是，继续改进这项技术绝非易事。处理所有这些互联网数据需要一台连续运行数月的专用超级计算机，这项工作非常昂贵。当被问及这样一个项目是否耗资数百万美元时，OpenAI首席执行官萨姆·奥特曼（Sam Altman）说，费用实际上“更高”，达到数千万美元。

OpenAI研究副总裁Amodei先生说，仍然存在改进技术的空间，可以使用更多的处理能力来分析更多的数据。但他还表示，这种方法可能接近用完“果汁”。

至少，GPT-3是人工智能世界的新工具。研究人员和企业家，这是构建各种新技术和新产品的一种方式。计算机程序员Wrigley先生最近辞去了日常工作，创办了一家名为LearnFromAnyone的公司，该公司的目标是使用GPT-3构建一种自动导师，可以承担从科学家Douglas Hofstadter到风险投资家Peter Thiel的各种伪装。其他公司正在建立公司，这些公司旨在自动为计算机程序员生成代码，并自动为市场营销专业人员编写促销电子邮件和推文。

但是尚不清楚这些服务最终将如何有效。如果GPT-3仅在一半的时间内生成正确的文本，它能使专业人员满意吗？尚不清楚该技术是否是通向真正对话机器的途径，更不用说真正的智能系统了。阿德莫迪说，在可以模仿人脑的机器的漫长道路上要取得进一步的进展，将需要全新的想法。

他说：“这有点像化学反应。” “我们有这一成分。但是其他成分也是必需的。”