GPT-3时代的人工智能民主化

9月22日，微软宣布“微软正与OpenAI联手独家授权GPT-3”。在声明的结尾，他们表示：“我们还将继续与OpenAI合作，继续向前看：在他们继续履行构建安全人工智能的使命时，利用他们尖端人工智能研究的力量，并将其民主化。”然而，与这一声明相反，排他性协议和OpenAI之前决定不开放GPT-3代码代表了人工智能民主化概念的令人不安的发展，这是因为我将在这篇文章中解决一系列问题。

对我来说，人工智能民主化意味着让每个人都有可能创建人工智能系统。这涉及到。

能够使用算法和模型，可能不需要高级数学和计算科学技能。

人工智能的民主化意味着更多的人能够进行人工智能研究和/或构建人工智能驱动的产品和服务。在研究方面，更多的研究人员意味着可以探索更多样化的解决方案，以应对更多的研究挑战，并有可能更频繁地出现新的突破和突破。在产品和服务方面，民主化意味着更多不同群体的人致力于实现对他们的社区有价值的东西，否则这些东西可能会被忽视。这也意味着更多的市场竞争。民主化意味着降低资源和知识方面的进入门槛。

出于这篇文章的目的，我主要关注能够访问强大的人工智能模型的民主化的一部分，因为GPT-3是这样一个预置的人工智能模型。从人工智能民主化的角度来看，需要了解的其他相关事情包括：

神经网络模型太大了，不能很容易地将其从训练过的机器群中移出。

它是如此之大，没有价值数十万美元的云计算资源是无法训练的。

OpenAI之外的人可以通过API访问它-也就是说，一旦可以发送输入和接收输出，但看不到模型中的任何细节

OpenAI仅提供对少量外部人员的访问，目前处于试验阶段。

OpenAI现在已经独家授权给微软GPT-3-微软将是OpenAI之外唯一一家有能力直接访问代码和模型的公司。其他人仍然可以通过API访问GPT-3。目前还不清楚OpenAI API本身是否会停产。

微软和谷歌创建的GPT-3和其他非常非常大的模型非常关注它们如何影响人工智能的“民主化”。这个问题至少早在2016年就由阿斯彭研究所(Aspen Institute)的一份报告提出。从那时起，我们看到型号变得更大，价格也更高。

其中一个令人担忧的问题是超大型模型的可复制性。从科学的角度来看，希望外部研究小组在研究论文中复制这些结果。然而，很少有组可以将资源用于可复制目的。这些以公司为主的团体并不一定有复制的动机。格罗弗作为GPT-2的准复制品的发展是一个有趣的案例，艾伦研究所是一个资金充足的非营利性组织。

一件好事是，谷歌、微软、OpenAI、Facebook、Salesforce和其他公司已经将他们的模型公之于众。普通人无法从头开始重新创建这种大小的模型，但这些模型可以在具有单个GPU的一台机器上运行。这已经给人工智能的民主化带来了风险，因为即使是拥有现代GPU的要求也可能成为障碍。Google Colab等在线云服务(以及其他云服务，如Google Cloud、Amazon Web Services、Azure等，虽然成本较高，但在一定程度上缓解了这一问题)。

GPT-3代表了一种新的情况。这是第一次，一个模型如此之大，以至于不能轻易地移到另一个云上，而且肯定不能在具有单个或少量GPU的单一计算机上运行。取而代之的是，OpenAI提供了一个API，这样模型就可以在他们的云上运行。现在有免费的试用和对API的学术访问，但这种情况可能不会持续下去，因为OpenAI已经宣传了将GPT-3的访问货币化的意图。

这在许多方面给民主化带来了风险。首先，OpenAI将控制谁有权访问。如果我们相信，通向更好AI的道路实际上是更大模型的函数，那么OpenAI就成为了谁能拥有好的AI，谁不能的守门人。他们将能够对经济的广泛领域施加影响(明示或暗示)。与GPT-2、BERT或其他型号不同，这些型号可以在没有任何服务协议条款的情况下下载，而OpenAI只需关闭API访问即可。

此外，根据定价模式的不同，某些群体将受到更严重的影响。学者们能负担得起入学费用吗？个人业余爱好者？还没有收入来源的初创公司？非营利人道主义组织？积极分子？(激进主义是一个特别有趣的案例。假设有一些方法可以利用人工智能来帮助促进亲民主事业。这使OpenAI处于可能损害世界各地亲民主运动的境地。(推动对科技行业监管的激进主义，或者任何其他可能对美国人有利但对工业不利的东西呢？)

关于OpenAI可能选择承担(或将强加给他们)的能力的其他问题：

如果OpenAI决定限制使用，他们用什么来决定谁可以使用GPT-3，谁被切断？

OpenAI是否会查看输出，并尝试判断他们的技术是否得到了适当的使用？鉴于OpenAI的使命声明，以及它与新的盈利模式有何不同，这似乎是一个关键问题。他们甚至可以进行大规模监控吗？

如果他们将GPT-3出售给另一家将其用于恶意(有意或无意)目的的公司，他们会向那些受到不利影响的人提供追索权吗？其他云服务试图禁止某些用途，比如试图识别和阻止AWS上的比特币挖掘，这是有先例的。

受GPT-3生成的内容负面影响的人们会不会甚至能够分辨出内容来自GPT-3，从而向OpenAI寻求追索权？

现在处于盈利模式的OpenAI会不会受到诱惑，监控其使用情况，并为他们可以货币化的新服务采纳想法，从而获得相对于竞争对手的不公平优势。他们会有提示和输出，这样他们就不需要重新发明任何东西来知道什么会工作得很好。

到目前为止，四大已经进一步推进了人工智能的民主化。有趣的是，微调BERT相对容易，并且可以使用较小的数据集来完成，这意味着模型的用户可以用更少的资源和更少的时间来训练好的模型。GPT-3在最先进的人工智能技术的可访问性方面呈现了潜在的巨大模式转变。部分原因是GPT-3看起来对很多事情都很有用，而不仅仅是研究。相比之下，DOTA游戏代理和星际争霸游戏代理也很大，也很笨重，但它们的使用相当有限，所以对它们的需求并不大。

从研究方面来看，我们继续看到模型的大小与许多流行基准的性能之间存在很强的相关性。大学不能再在这方面竞争了。学者们仍然可以通过展示在较小的、公开可用的模型上工作的新方法来做出有价值的研究贡献。然而，在没有与大型科技公司合作的情况下，它确实将一些研究目标排除在了可能性的范围之外。大学是人工智能民主化的主要来源，因为研究成果通常通过研究论文(以及越来越多的代码库)公开提供。

公司没有这样的动机来公开他们的研究成果。到目前为止，他们已经做到了(当然，据我们所知)。他们有专有的工程系统，但常识已经公布。在某种程度上，有可能是经济压力造成的，以至于主要的科技公司不再撰写论文或发布模型。从这个意义上说，GPT-3及其微软独家授权可以被视为即将到来的迹象。

此外，如果有人相信奇点的“意外之财”理论(我不认同这一点)，那么最先开发真正的人工通用智能将基本上主导世界经济的几乎所有部门，并成为单一的全球垄断。如果这成为主流信念，那么一家科技公司就有责任切断所有获得内部生产的人工智能研发的渠道。

这与Facebook和Twitter面临的挑战是相似的，因为它们在成为事实上的公共服务的同时，仍然是营利性公司。他们有权决定什么是公共话语的规范或不规范，谁受到惩罚，谁被允许违反规则。什么是伦理道德？这个问题的答案往往与对公司财务底线有利的做法相冲突。OpenAI可能很快就会发现自己陷入了类似的境地，在部署人工智能服务方面，它实际上是伦理和道德的仲裁者。他们准备好了吗？我们相信他们会担当这个角色吗？如果不是，学者和实践者如何为人工智能的继续民主化而奋斗，因为它的一些最重要的技术变得像GPT-3一样难以复制？

作者Bio Mark Riedl是计算学院的副教授，也是佐治亚理工学院机器学习中心的副主任。Riedl博士的研究是以人为中心的人工智能和机器学习，特别关注伦理、安全、可解释性、讲故事和电脑游戏。Riedl博士于2004年在北卡罗来纳州立大学获得博士学位。从2004年到2007年，Riedl博士是南加州大学创意技术研究所的研究科学家。*约翰·里德尔博士于2007年加入佐治亚理工学院计算学院。

@文章{rield2020Democratic zationgpt3，作者={riedl，mark}，标题={gpt-3时代的人工智能民主化}，期刊={梯度}，年份={2020年}，如何发布={\url{https://thegradient.pub/transformers-are-gaph-neural-networks/}}，}。

如果你喜欢这篇文章，并想听更多，请订阅梯度版，并在Twitter上关注我们。