OpenAI的新语言生成器GPT-3好得令人震惊--而且完全没有头脑

“玩GPT-3感觉就像看到了未来，”旧金山的开发者和艺术家Arram Sabeti上周在推特上写道。这在很大程度上总结了过去几天社交媒体上对OpenAI最新的语言生成人工智能的反应。

OpenAI在5月份发表的一篇研究论文中首次描述了GPT-3。但上周，它开始向要求访问私人测试版的精选人员点滴提供该软件。目前，OpenAI希望外部开发人员帮助其探索GPT-3的功能，但它计划在今年晚些时候将该工具转化为商业产品，通过云向企业提供AI的付费订阅。

致力于所有互联网都是以前版本的互联网https://t.co/2dIjrlKNVG的模拟物的未来。

-朱利安·托格利厄斯(@togelius)2020年7月19日。

GPT-3是有史以来功能最强大的语言模型。它的前身，去年发布的GPT-2，在开场白提示下，已经能够吐出一系列不同风格的令人信服的文本流。但是GPT-3是一个很大的飞跃。该模型有1750亿个参数(神经网络在训练过程中试图优化的值)，而GPT-2已经有15亿个。对于语言模型，大小真的很重要。

Sabeti链接到一篇博客文章，在那里他展示了他使用人工智能生成的短篇小说、歌曲、新闻稿、技术手册等。GPT-3还可以生成特定写入者的贴纸。机器学习艺术家马里奥·克林格曼(Mario Klingemann)分享了一个以杰罗姆·K·杰罗姆(Jerome K.Jerome)风格写成的短篇小说“上推特的重要性”(The Importance Of Being On Twitter)，开篇写道：“奇怪的是，伦敦人仍然感兴趣的最后一种社交生活形式是推特(Twitter)。有一次我定期去海边度假，发现整个地方像个八哥笼子一样叽叽喳喳地叫着，我被这个奇怪的事实惊呆了。“。克林格曼说，他给人工智能的所有东西都是标题，作者的名字和首字母“它”。甚至有一篇完全由GPT-3撰写的关于GPT-3的信息相当丰富的文章。

又一次尝试更长的作品。一个虚构的杰罗姆·K·杰罗姆写道推特。我输入的只是标题，作者的名字和第一个名字，其余的都是由#gpt3完成的。这里是完整版本的pdf：https://t.co/d2gpmlZ1T5 pic.twitter.com/1N0lNoC1eZ。

-Mario Klingemann(@quasimondo)2020年7月18日

其他人发现，GPT-3可以生成任何类型的文本，包括吉他标签或计算机代码。例如，通过调整GPT-3，使其生成HTML而不是自然语言，网络开发人员谢里夫·沙米姆(Sharif Shameem)展示了他可以通过给它一些提示来创建网页布局，比如“一个看起来像西瓜的按钮”或“一个红色的大文本，说欢迎订阅我的时事通讯，还有一个蓝色按钮说订阅。”就连传奇程序员约翰·卡马克(John Carmack)也感到不安。他在早期的视频游戏(如“末日”(Doom))中开创了3D计算机图形技术，现在正在Oculus VR咨询CTO：“最近，几乎是偶然的，发现GPT-3可以编写代码，确实让人有点发抖。”

这太让人兴奋了。使用GPT-3，我构建了一个布局生成器，您只需在其中描述您想要的任何布局，它就会为您生成JSX代码。W H A T pic.twitter.com/w8JkrZO4lk。

-谢里夫·沙米姆(@sharifshameem)2020年7月13日。

然而，尽管GPT-3有新花招，但它仍然容易吐出令人憎恨的性别歧视和种族主义语言。微调模型有助于限制GPT-2中的这种输出。

我的意思是，也许我只是厌倦了，但是我要再等一段时间，看看™-3会产生什么样的严重偏见。哦，它会写诗吗？好的。哦，它还喷出有害的性别歧视和种族主义？我在排练我震惊的表情。#gpt3。

-凯特·德夫林(@drkatedevlin)2020年7月18日。

任何人都不应该对此感到惊讶。我们怎样才能避免这意外发生呢？目前还没有所有的答案，但是对强大的、可概括的规范先验进行微调有助于gpt-2 https://t.co/V12NM8ZtAH https://t.co/1bn6G6eWjM(gpt-2™)。

-Mark Riedl|我与国际学生站在一起(@mark_riedl)2020年7月18日

许多人迅速开始谈论智力也就不足为奇了。但GPT-3类似人类的输出和惊人的多功能性是优秀工程的结果，而不是真正的聪明。首先，人工智能仍然制造可笑的咆哮，揭示出完全缺乏常识。但即使是它的成功也缺乏深度，阅读起来更像是剪切粘贴的作品，而不是原创作品。

这篇文章是我见过的最好的GPT-3评估之一。这是一个很好的组合，既有令人印象深刻的结果，也有来自简单提示的令人尴尬的失败案例。它很好地证明了，与具有推理能力的系统相比，我们更接近于构建大型压缩知识库。Https://t.co/a5Nq006dMD。

-丹尼·布里茨(@dennybritz)2020年7月17日。

这支持了我的猜想，即gpt-3使用了很多参数来记忆互联网上不容易泛化https://t.co/I7uS4iu2sn的™文本片段。

-Mark Riedl|我与国际学生站在一起(@mark_riedl)2020年7月19日。

目前还不清楚GPT-3内部到底发生了什么。但它似乎擅长的是合成在互联网上其他地方找到的文本，使其成为一种巨大的、兼收并蓄的剪贴簿，由数以百万计的文本片段创建，然后根据需要以奇怪而奇妙的方式粘合在一起。

GPT-3经常表现得像一个没有做过阅读的聪明的学生，试图通过胡扯来通过考试。一些众所周知的事实，一些半真半假的事实，以及一些直截了当的谎言，串连在一起，乍看起来像是一个流畅的叙述。

-朱利安·托格利厄斯(@togelius)2020年7月17日

这并不是要贬低OpenAI的成就。这样的工具有很多新的用途，既有好的(从支持更好的聊天机器人到帮助人们编写代码)，也有不好的(从支持更好的错误信息机器人到帮助孩子们在家庭作业中作弊)。

但当一个新的人工智能里程碑到来时，它往往会被炒作所淹没。甚至连与埃隆·马斯克(Elon Musk)共同创立OpenAI的山姆·奥特曼(Sam Altman)也试图淡化事情：“GPT-3的炒作太过分了。令人印象深刻(谢谢你的好评！)。但它仍然有严重的弱点，有时还会犯非常愚蠢的错误。人工智能将改变世界，但GPT-3只是非常早期的一瞥。我们还有很多事情要弄清楚。“。

当谈到发现情报时，我们的门槛很低。如果某件事看起来很聪明，很容易欺骗自己说它是聪明的。人工智能有史以来最伟大的把戏是让世界相信它的存在。GPT-3是一个巨大的飞跃-但它仍然是一个由人类制造的工具，有所有的缺陷和局限性。

在推特上看到很多关于GPT-3的信息。记住..。图灵测试不是让人工智能通过，而是让人类失败。

-Mark Riedl|我与国际学生站在一起(@mark_riedl)2020年7月18日