通过Videyy搜索简介，具有视频游戏（2019）

前两个时刻之间的主要区别是马里奥徒步（左）或骑yoshi（右）。左侧两会之间的差异是马里奥在户外与Goomba（顶部），或室内与鲍尔（底部）。通过想象这样的东西来填补空白，您可能能够解决上面的类比，以填补空白：

在这个类似的解决方案中，马里奥在室内与鲍泽（如底部），骑yoshi而不是步行（如右侧）。如果你是马里奥·凡士队，你也可能注意到这些图像不是真正的马里奥游戏，但我打赌的人没有让你解决类比的更难。

这种类似的代理对人类来说很容易，但很难解释一下，这并不明显机器可以做到这一点。下面，我们展示了如何培训计算机以了解这一类比，并提供一些互动示例。

因为游戏很重要：媒体，包括电子游戏，是我们生命的重要组成部分，并对媒体进行思考很重要。按类比搜索是游戏学者和批评者的工具，可以实现新的分析。

因为游戏是试验可能具有更广泛应用程序的想法的好地方：通常在您进行网络搜索或使用具有预测文本的键盘时，您将从相同的底层技术（Word Embeddings）受益于类比时受益可能的。视频名称是一个新的实验这些想法的地方，我们在这些实验中学的学习可能具有在其他域中的应用程序（例如，文本，音乐，图像，视频等）。

对于计算机在视频名时刻获得句柄，它需要转换为数字。对于一个人类的播放器，游戏中的每一刻都有许多功能，我们可以想象这些功能如何分为数字。在Mario游戏中，这可能包括收集的硬币数量，屏幕上的敌人数量，剩余的终身数量，得分等：

这些都是我们可能会挑选为Mario游戏的功能，但从现在开始让我们将这些中的每一个视为一些抽象的东西（特征x，特征y等）。其余的这种解释是有效的，即使我们不知道任何个别特征是什么意思（例如，如果他们是一个不熟悉的游戏，或者他们是由机器学习生成的）。如果我们随着时间的推移查看游戏图的图表，我们可以看到每个时刻是如何组合的这些功能：

我们可以为每个功能分配数值，并创建数字的向量（列表）以表示任何特定的电子游戏时刻。现在每个单独的时刻只是一个长期的数字列表：

现在我们已经将游戏中的每一刻转化为数字列表，我们可以为这些时刻做有趣的事情（用数学）！这是教授计算机理解类比的第一步。实际上，我们每一刻的向量都将包含许多功能的值，但如果我们假装一会儿，则更容易说明这一解释的其余部分。在这种情况下，我们的电子游戏矩向量可能看起来像这样：

我们可以想象一个带有特征x的图形（在x轴上），功能y（在y轴上）。如果游戏只有这两个功能，则每个可能的时刻都存在于此2D图的某处。这是所有可能的游戏状态的抽象空间的表示。 （这也是为什么我们不得不简化 - 如果我们的矢量中的每个功能都在这个图表中添加了另一个维度，它将在页面上绘制它很快就会变得不可能。）所以，坚持这个简化的版本，我们可以把时刻a和从该图表上页面顶部的示例中的矩B向量。

我们可以在矢量和时刻B向量之间的瞬间之间取得差异来获取一个新的传染媒介（BA），从而消除它们的共同点（Mario在户外），但叶完好无损，它们之间是不同的（徒步上的Yoshi上的vs） 。该操作（B-A）的结果是一个差异矢量，在这种情况下，我们认为代表了那一刻的YoShiness的东西。

现在我们有一个差异矢量代表yoShiness（ba）等东西，我们可以将它添加到它中没有Yoshi的那一刻（矩C，来自上面的例子），并希望找到一个关键差异的等效片刻（对上面的类比，矩C + Yoshi的解决方案。

这是VideoGame Scipt搜索的本质，但是有一个最终重要的皱纹，这是使这种搜索形式的部分。虽然我们可以想象一个包含游戏中所有可能的时刻的图表，但对于大多数游戏，我们只能与这些时刻的一个小样本一起使用。如果我们寻找的那一刻，那个样本不存在什么？如果我们正在寻找的那一刻，甚至可能是什么？

在这种情况下，我们仍然将差异矢量（b-a）添加到另一个（时刻c），而不是直接向我们提供答案，这会创建查询矢量。

现在我们有一个查询矢量，我们可以将其与我们在我们的样本中实际拥有的所有瞬间进行比较（如下图所示）。单个最近的时刻是我们的类比搜索结果，刻度D.

有一个诀窍我们可以做到这一点会使我们的图表有点有用。现在轴不是非常有意义的，但我们可以通过旋转和转换图来改变它。我们可以实现这种方式，这使得与矩的矩传染媒介垂直（按余弦相似测量）相似，并且与B-A差异矢量的相似。这给了我们一个y轴，告诉我们每个时刻的瞬间c和x轴，告诉我们我们定义了多少（例如，yoShiness）的x轴。我们还可以包括每个时刻对查询矢量的相似，以每个点的大小和颜色编码。

下面的交互式包含几个游戏的逐个类别成功的例子。所有使用的时刻来自每场比赛的人类演奏（超级马里奥世界和超级狂欢）。该图表显示了样本中的每一刻，它与差异矢量（Ba，X轴上）的相似性，其与时刻C（在Y轴上）的相似性以及它对查询向量的关闭程度c（DOT尺寸和颜色）。您可以在任何时刻绕过图表和鼠标滚动，以获取更多详细信息。您还可以制作自己的查询（更改时刻A，B和C），并查看会发生什么：

结合了几个旧想法：第一个概念是，可以将许多不同类型的东西代表为抽象空间中的载体。言语，面孔和许多其他东西都可以转变为在适当的空间内装有的矢量。

第二个重要概念是，这些矢量之间的关系可能是惊人的有意义的。这里最着名的结果是＆＃34;王 - 男人+女人=女王＆＃34;，字向量之间的数学关系捕获了单词之间的类比关系。

将它们应用于一个新域：之前，这些想法尚未应用于电子游戏中的时刻。只有最近已经完成了该工作以创建嵌入视频游戏时刻的抽象空间，并且仍在探索可能的应用程序。