最初的AI地下城是一年多前制作的,是一个好奇的游戏玩家、黑客马拉松和GPT-2文本转换器的结果。快进到今天,AI地下城已经扩展成一个独特的创意AI技术的例子。这款游戏现在号称拥有150万玩家,故事类型多样,甚至还有多人冒险。
AI地下城是一款人工智能生成的文本冒险游戏,玩家可以通过键入任何他们想要的东西来完成游戏。这款游戏对玩家的输入做出了反应,这要归功于AI文本转换器GPT-2的新颖改编。通过这种方式,游戏为每个玩家提供了自己独特的游戏体验。
这款游戏的开发并没有显示出停止或放缓的迹象,所以我联系了游戏的创建者尼克·沃尔顿(Nick Walton)进行了更多的交谈。在接下来的采访中,我们回顾了AI地下城的进展和他对未来的计划。
我一直对机器人感兴趣。我实际上是从机械工程专业开始的,然后当我发现那里发生的所有很酷的事情时,我转向了计算机科学,特别是在深度学习方面。我最终在杨百翰大学的深度学习实验室工作。
那时我正在学习计算机视觉和自动驾驶汽车。我在日本实习,从事自动驾驶汽车的工作,后来在奥罗拉创新公司(Aurora Innovation)实习,研究自动驾驶技术。
GPT-2刚刚问世,我开始在一次黑客马拉松上玩弄它。我意识到你可以用它做一些很有趣的事情。
我最近也开始玩“地下城与龙”,我的第一个想法是,如果你能成为一名AI地下城高手会怎么样?这个想法的第一个原型使用了最小的GPT-2模型,它有1.26亿个参数。这并不是非常棒,但对我来说,它确实突显了更大型号和更多训练的可能性。
也许有几千人玩这个游戏,那就是“人工智能地下城1”。但是明年秋天,更大的GPT-2模型发布了,我还找到了一个文本冒险的数据集,可以用来训练。当游戏使用更大的模型对这些数据进行微调时,我们看到质量有了很大的提高。
就在那时,我发布了这款游戏的Colab版本,AI地下城2,它爆炸了,真正开始了我们现在的旅程。
回顾AI地下城的最后一年,你有何感想?在你走到现在的路上,有没有什么特别有挑战性或困难的事情?
这是相当令人惊讶的,我们已经从第一个原型走了这么远,特别是考虑到我整个夏天都不能真正地研究它。所以这已经是九个月的进展了。
我们现在刚刚弄清楚的最艰难的挑战之一是如何利用AI地下城这个超级开放式的故事,加入更多游戏般的元素,比如进步和世界的坚持性。我认为这在最初的AI地下城中是缺乏的。
实际上,很难弄清楚如何将连续的自然语言元素与离散的类似游戏的元素集成在一起,因为您需要能够说,“好的,给定文本输出,我们应该在离散模型中更新什么值?”基本上,您需要能够检测到您想要的不同东西的机器学习模型。事实上,我们刚刚发布了我们的任务探测模型,这是我们朝着这个方向迈出的第一步:你有任务,游戏可以检测你是否在每个动作上完成了任务。它使用机器学习模型来分类你是否完成了一项任务,而且效果出人意料地好。
这是我们的第一步;我们正在构建它,这样我们就可以了解故事中发生的事情,并可以跟踪这些元素,从而构建出更有趣的东西。
建造基础设施花费的时间比我们预想的要长。我们使用的是T5,这是一种非常通用的语言模型。我们有一种让用户标记数据的方法,这样我们就可以训练和部署模型,现在我们已经构建了整个管道和模型体系结构,我们希望它会变得更快。
这是在游戏中使用人工智能的强大之处之一。我们看到了两个改善的轴心。一个是动态的世界,它产生内容,智能地响应,给玩家完全的自由。另一个是开发商成本。在像Skyrim这样的游戏中,你谈论的是在大约五年的时间里雇佣数百人。太贵了。
理想情况下,人工智能可以让我们减少开发人员通常要做的很多事情。我们可以定义游戏的主要主题,并让人工智能填写细节。
当涉及到世界的持久性时,存在一些根本性的挑战。首先,AI模型每次生成时只能在其上下文窗口中接收那么多信息。对于最初的GPT-2,它大约是1000字。因此,问题是找出世界上哪些部分的信息是相关的。
我们几天前刚刚发布了一个系统,用户可以在其中定义关于世界的东西。这方面的一个例子可能是定义关于一个王国、一个人或一个物体的东西。当系统看到游戏中提到的那些东西时,它会拉入这些信息,这样它就知道了。这是我们朝着这个方向迈出的第一步。
另一方面,系统必须能够说,考虑到这个模型的输出,我应该如何更新世界信息?这有点棘手,这是我们的任务模型的第一步;它根据输出更新任务信息。
然后,下一步是建造其他部分。所以,也许有一个位置模型可以追踪你的位置,或者有一个物品模型可以追踪你得或失了什么东西。但这需要更多的时间,因为我们必须为它们建立数据集和系统。
当你在AI地下城工作的时候,你能给它添加额外的数据吗?
我们仍然主要使用原始数据。我们所做的大多数改进都是在抽样方面,比如增加了重复处罚之类的东西,这样游戏就不会重复句子或单词。这些都是主要的变化,但现在我们正在做更多的模型实验,这些实验已经显示出一些良好的前景。也许在几周后,我们将能够分享更多关于我们正在进行的未来型号升级的信息。
我认为更多的数据是有价值的,但这很难,因为只有这么多正确格式的文本冒险数据。创建这些数据也很困难,因为这不是任何人都可以创建的东西。普通人可能是个不错的作家,但他们不是伟大的作家。理想情况下,您需要具有正确编写技能的人员来创建该数据。
我们正在用数据集做一些这样的事情,这些数据集填补了流派中的一些漏洞,这些漏洞没有得到很好的表现。但我认为我们下一步要看的是如何使用我们当前的用户数据集来改进模型。
正常的游戏就像钟表一样工作,所以你可以提前设计整个游戏以及一切将如何工作,因为你可以设置编程系统。我们真的不能这么做,因为这不是人工智能的工作方式。它不是你可以进入并调整每一个小齿轮和每一个小部件的东西。这几乎更像是园艺,你必须在这里修剪,或者在那里修剪,然后在周围建造东西。
我们正在涉足新的领域,很难事先准确地计划我们要做什么。相反,我们正在以极快的速度试验和制造新的东西。即使在过去的三四个星期里,我们也做出了巨大的改变。我们已经完成了世界信息,我们推出了任务更新,我们还发布了造型。修改基本上允许人们为他们的世界创建自定义修改。
我们对人工智能的一个愿景不是作为一个工具来取代游戏设计师,而是一个增加他们工作的工具。我们想让创造精彩的游戏变得更容易。如果只需要一两个人就能构建一款令人惊叹的游戏,因为AI填充了细节,那么它就为很多人打开了大门。
我们真的很想让人们用这项技术制造很酷的东西。部署这种人工智能培训和这些大规模模型对普通人来说真的很难,所以我们希望我们建立基础设施和平台,然后让人们在上面建造很酷的东西。
我认为从长远来看,我们不想成为唯一一个制作一款很酷的AI游戏的人。我们想成为那些制造它的人,这样很多人就可以制作他们自己的酷炫的AI游戏了。
我们在很大程度上仍然是一个研发中心。我们正在建造人工智能地下城,但我们所做的太多是尝试以前没有人尝试过的概念。例如,我们正在考虑如何让任务被自动检测,但在任务检测之后,我们想要处理任务生成。想象一下,你收到一个小通知弹出窗口,告诉你你有一个新的任务,但这是别人以前从未经历过的任务,因为它对你的故事来说是独一无二的。这个想法真的很强大,因为它是一个动态变化的世界的一个例子。
如果你想亲自尝试AI地下城,你可以通过他们的网站在多个平台上找到它。你也可以在Twitter上直接关注尼克·沃尔顿的工作。
有关使用和研究人工智能技术的人员的更多采访,请务必查看下面的相关文章。请务必订阅我们的时事通讯,将文章和采访直接发送到您的收件箱。