由埃隆·马斯克(Elon Musk)、萨姆·奥特曼(Sam Altman)、格雷格·布罗克曼(Greg Brockman)和其他几位ML领导人创立的人工智能研究基金会OpenAI最近发布了一个API和网站,允许人们访问一种名为GPT-3的新语言模型。在过去的几天里,我有机会玩它,它的能力真的让我惊叹不已。
首先我想说的是,特别是在我那些极其聪明的ML朋友中,我是个门外汉,所以这篇文章更多的是针对非技术读者,如果我在这篇文章中犯了任何技术错误,我表示歉意。
GPT-3本质上是一种基于上下文的产生式人工智能。这意味着,当人工智能获得某种上下文时,它会尝试填充其余的上下文。例如,如果您给它脚本的前半部分,它将继续脚本。给它一篇文章的前半部分,它将产生文章的其余部分。
以下是我在推特上发布的一些例子,首先,我把我在网站上发布的投资备忘录的一半喂给了它:
我的第二个例子是,我给它写了一篇关于如何有效召开董事会会议的半篇文章:
这两次,人工智能都能够生成令人信服的(尽管并不总是正确的)附加段落,并且在两个示例中都能够遵循先前的格式,即小节标题(例如:风险)和步骤。
令人难以置信的是,这个工具几乎可以提供任何背景信息--关于意大利一对同性恋夫妇的剧本,两位科技界名人之间的采访,甚至是关于选举的政治专栏--它能够组织起相当连贯的论点。
现在,在你太兴奋之前,这不是某种一般的人工智能,机器并没有真正的方法来理解它输出的是真是假。解释它如何工作的最简单的方法是,它分析互联网上的大量文本样本,并学习在给定先前上下文的情况下预测句子中的下一个单词。根据您给出的上下文,它会根据从所有这些文本数据中学习到的信息,用它认为在统计上最有可能发生的事情来响应您。这是OpenAI和其他研究人员已经追求了很长一段时间的策略,他们从一个“简单”的问题开始,比如试图预测句子中的下一个单词。我们现在已经稳步发展到今天的水平,像GPT-3这样的模型可以完成几个或更多的段落。虽然这是一个令人难以置信的结果,但即使是GPT-3在某个时候也可能会迷失方向,漫无目的地徘徊。尽管它的规模很大(超过175B参数),但它仍然可能在牢记长期目标或在许多段落中保持逻辑一致的上下文方面苦苦挣扎。
这意味着,在我看来,虽然这方面还存在争议,但虽然这个工具非常令人印象深刻,而且GPT-4可能会有进一步的改进,但这种方法的边际收益可能会递减。他们可以继续更好地对人们写过的所有文本运行真正复杂的统计数据,但人工智能仍然没有“推理”的能力。
有一篇很好的文章解释了这个人工智能在通过图灵测试方面有一些限制(http://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html),,即如果你和一个AI交谈,你能说出它是不是一个人工智能吗?值得注意的是,最简单的绊倒它的方法是问它一些无稽之谈的问题,比如“一个wambgut里能装多少个史努齐?”因为从统计上看,大多数时候人工智能在互联网上看到过这样的问题,通常会用“3个X适合一个Y”的结构来回答它们,所以它的回答是“3个斯诺兹适合一个wambgut”,而不是一个更合适的答案,比如“那些是虚构的物体”或“我不知道”。
虽然GPT3有一些限制,因为GPT3非常擅长产生连贯的后续想法,但我认为有大量的好处,其中包括一个人在循环中作为保持正确性的编辑器。
作为写作伙伴,这个工具非常出色。如果你是设置场景的剧作家,GPT-3是探索场景可以采取的路径的一种很好的方式,它可以编写对话,跟踪人物,并生成有意义的对话。如果你是一名喜剧演员,你可以开始讲一个关于你童年的有趣故事,GPT-3可以帮助你想出更多的即兴小品。如果你是一位试图提高你的聊天远程治疗公司生产力的企业家,GPT-3可能会给你的用户提供3-4个令人信服的、段落长的答案,人类可以快速审查和批准,从而显著提高他们的生产力。
在一些简单的用例中,GPT-3可能完全可以独立工作,但我认为很多用例都会涉及到人类。
我最喜欢的一个解释GPT-3的比喻是,iPhone把世界上的知识都装进了你的口袋,但GPT-3提供了10,000个博士,他们愿意与你就这些主题进行交谈。
30年前,史蒂夫·乔布斯(Steve Jobs)将计算机描述为“头脑的自行车”。我会争辩说,即使是现在的形式,GPT-3也是一辆“头脑的赛车”。
迫不及待地想看看创业者在这个平台上建造了什么技术,并期待着为其中的一些提供资金。