一些人工智能专家担心OpenAI的GPT-3缺乏透明度

多年来，人工智能研究实验室OpenAI一直在追逐能像人类一样书写的算法的梦想。

它在这个概念上的最新版本是一种名为GPT-3的语言生成算法，现在已经被用来生成如此令人信服的假文章，以至于IT写的一个博客骗过了黑客新闻(Hacker News)上的海报，变得足够受欢迎，登上了网站的榜首。(这篇帖子中有一段很有说服力的摘录：“为了把事情做好，也许我们需要想得更少。这似乎有违直觉，但我相信有时候我们的想法会妨碍创作过程。“)。

虽然OpenAI过去已经向公众发布了它的算法，但它选择了将GPT-3锁定。

OpenAI之所以能够实现如此强大的算法，是因为它可以访问大量的计算能力和数据。而且算法本身比之前的任何算法都要大：最大版本的GPT-3有1750亿个参数，这些参数可以帮助算法做出更精确的预测。GPT-2有15亿。

虽然OpenAI过去已经向公众发布了它的算法，但它选择了将GPT-3锁定。这家研究公司说，它太大了，大多数人跑不动，把它放在付费墙后面可以让OpenAI将其研究货币化。在过去的一年里，OpenAI改变了公司结构，使自己对投资者更具吸引力。它放弃了一个非营利性的立场，转而支持“上限利润”模式，这种模式将允许投资者在OpenAI盈利的情况下获得投资回报。它还与微软达成了一项10亿美元的交易，开启了两家公司之间的合作，并使OpenAI优先访问微软的云计算平台。

接受OneZero采访的研究人员质疑OpenAI不发布该算法的决定，称这违反了基本的科学原则，并使该公司的说法更难核实。(当联系到OpenAI的一名代表就本文发表评论时，他拒绝置评。)。

Facebook AI Research(FAIL)联席董事总经理、蒙特利尔FAIL实验室负责人乔尔·皮诺(Joelle Pineau)在一封电子邮件中告诉OneZero：“到目前为止，我仍然不相信任何关于不分享AlphaGo，GPT-2/GPT-3代码的论点。”“在人工智能领域，还有更多的案例。”

从本质上讲，GPT-3是一种非常强大的英文写作工具。关于GPT-3，最重要的是它的大小。GPT-3通过分析45TB的数据学会了写作，据报道，这一培训过程花费了数百万美元的云计算费用。它见证了人类以数十亿种组合书写。

这是OpenAI长期战略的关键部分。该公司多年来一直表示，当谈到深度学习算法时，越大越好。数据越多，计算能力越强，算法的能力也就越强。例如，当OpenAI在DOTA 2上击败专业ESPORTS玩家时，这是因为它能够同时在数百个GPU上训练算法。

这是OpenAI领导者以前告诉我的：OpenAI的政策总监杰克·克拉克(Jack Clark)说，算法越大，它就越“连贯、更有创意、更可靠”。当谈到DOTA 2机器人所需的训练量时，首席技术官格雷格·布罗克曼说：“我们只是一直在等待魔法的耗尽。我们一直在等着撞墙，我们似乎从来没有撞过墙。“。

GPT-3也采取了类似的方法。OpenAI认为，更大的算法，意味着更多的参数，允许更一般的行为。例如，GPT-3最基本的功能就是充当自动补全。给它一个词或一句话，它就会一个字接一个字地生成它认为接下来会出现的东西。但它也可以回答问题，甚至进行翻译，而不需要对算法进行任何更改。这与只能处理一项任务的更专业、微调的算法不同。

一些人争辩说，这是迈向一般智能的一步，这意味着算法可以像人类一样学习和适应，而另一些人则表示，算法仍然没有真正理解它吐出的单词。

OpenAI发布了一篇详细的研究论文，解释了算法的架构和它所取得的结果，但当谈到研究GPT-3如何工作时，其他人工智能研究人员不得不相信OpenAI的话。这家研究公司最近摆脱了非营利性的根基，转而筹集资金，开发商业产品，但并没有像过去那样公开发布这一算法。

OpenAI在2019年2月臭名昭著地声称，其之前GPT-2算法的最大版本太危险，无法发布，因为它有可能产生错误信息或假新闻。该公司最初发布了较小的、截短版本的GPT-2，没有发现滥用的证据，最终发布了该算法的最大版本。现在，与其说GPT-3太危险，不如说发布GPT-3太有利可图了。

GPT-3只能通过OpenAI运行的API访问，类似于亚马逊、谷歌和微软等公司如何将自己的算法货币化。编码人员能够编写程序，将特定命令发送到GPT-3，GPT-3在OpenAI的云中生成响应并将结果发回。虽然API在其私人Beta测试期内是免费的，但OpenAI正在制定长期定价。

这意味着研究人员只能向算法发送特定命令，OpenAI可以随时撤销访问权限。

OpenAI对此的理由归根结底是安全性和规模性。如果该公司发现有人滥用API来做一些事情，比如支持一个假新闻网站，那么该公司可能会关闭该开发者的访问权限。

至于规模，该公司表示，算法很大，运行起来也很昂贵-更不用说培训了。OpenAI的网站表示：“这使得除了大公司之外，任何人都很难从底层技术中受益。”我们希望API将使较小的企业和组织更容易使用强大的人工智能系统。“。

由于云计算的价格是如何计算的，OpenAI训练和操作该算法的确切成本很难确定。租用GPU的成本差别很大，这取决于地理上靠近某些服务器区域和基于项目规模协商的费率等因素。OpenAI也可能受益于它与微软数十亿美元的合作伙伴关系，因为其中一些资金被分配给OpenAI自己的超级计算机来完成这类任务。

但这些限制--大小和缺乏透明度--使得其他科学家很难复制和验证该算法的有效性。

尽管有风险投资和公司利益，人工智能研究仍然是计算机科学的一条途径，科学方法仍然适用。进行得最好的科学实验，在这种情况下，建立一种算法，成功地完成一项任务，并证明一个假设，可以被其他人重复。

皮诺是可复制计算机科学的热心支持者，她说她认为像GPT-3和AlphaGo这样未发布的算法是“科学产物”。

她在一封电子邮件中告诉OneZero：“这有点像你可能挖出的恐龙骨头，这给了你一些证据来支持一些理论，但与进行实际实验不同。”

皮诺说，这些人工制品对塑造未来的假说非常有用，但它们仍然不能取代确凿的知识。

其他人担心，通过限制对代码和经过训练的算法的访问，OpenAI威胁到人工智能的“民主化”，这是一种任何人都可以访问人工智能的想法。

“进入人工智能”这句话。是多方面的，意味着可以访问计算能力、数据集和算法本身。像Google的TensorFlow和Facebook的PyTorch这样的开源框架使得算法易于构建和共享，并且存在许多开源数据集。

但计算能力来自硬件，这是一种有限的物理资源，大公司和资金雄厚的研究机构(如OpenAI)最容易获得。

如果OpenAI的实验被证明是人工智能的前进方向，更大的算法转化为更高的性能，那么那些负担不起的人就无法接触到尖端的人工智能。它还允许拥有资源的大公司制定规则，规定谁有权访问某些人工智能算法。例如，他们可以将它们设置在API后面，并向使用该算法的访问权收费。

佐治亚理工学院研究自然语言处理的人工智能教授马克·里德尔(Mark Riedl)表示：“如果我们认为，更好的人工智能之路实际上是更大模型的作用，那么OpenAI就会成为谁能拥有好的人工智能，谁不能的守门人。”

Riedl还质疑OpenAI是否会监控其新API的所有使用情况，看看它是否被用于恶意目的。OpenAI过去曾不遗余力地考虑其算法如何被滥用。

“OpenAI是否会查看输出结果，并试图判断他们的技术是否得到了适当的使用？鉴于OpenAI的使命声明，以及它与新的盈利模式有何不同，这似乎是一个关键问题。他们甚至可以进行大规模监控吗？“。他问。

而且并不是每个人都相信OpenAI的“越大越好”的方法是前进的方向。

例如，自然语言处理研究人员梅勒妮·米切尔(Melanie Mitchell)对GPT-3进行了“模仿”测试，要求算法识别特定字母序列如何变化的模式。如果“abc”改成“abd”，那么“efg”改成什么？

米切尔在20世纪80年代开发了一种算法来解决这类测试，这是对人类一直在进行的类比的微小模拟。要进行正确的类比，您必须了解所有组件之间的关系。在字母表示例中，算法必须理解字母表是有序的，以及每个字母的位置。

虽然该算法在许多测试中表现良好，但米切尔发现，它也无法掌握其他算法几十年前就掌握的一些简单概念。

米切尔告诉OneZero：“在研究方面，我个人认为在一个问题上投入更多的计算和参数可能是人工智能的死胡同。”“我认为，如果我们的目标是制造具有强大、普遍智能的机器，那么这不是取得真正进展的方式。”

她确实承认，在构建需要深度学习的人工智能产品时，大量计算能力的想法给了科技巨头一个优势，但相反，并不是每个现代问题都需要耗电的深度学习算法。换句话说：并不是每个问题都需要GPT-3大小的解决方案。

米切尔在测试算法时写道：“总而言之，GPT-3的表现经常令人印象深刻，令人惊讶，但它也与我们在今天最先进的人工智能系统中看到的许多相似：令人印象深刻的、看似智能的表现，夹杂着非人类的错误，而且对于它为什么表现良好或犯下某些错误没有透明度。”