教导AIS忘记可以让他们更好地完成工作

2021-05-14 21:03:04

研究人员通过解释人和AI代理商可能接近类似的问题来描述问题。

说有十门各种颜色。你被要求经过黄色的,你这样做,然后几分钟后来忘记了其他门的颜色 - 因为两个是红色,一个格子,两个核桃等,只有那个没有黄色,你选择的那个。你的大脑几乎立即丢弃了这个信息。

但是,AI可能很好地让其他九门在其内存中的颜色和位置。这是因为它不明白问题或数据直观 - 所以它会保留它用于做出决定的所有信息。

当您谈论相对少量的数据时,这不是一个问题,而是机器学习算法,尤其是在培训期间,现在经常处理数百万数据点并摄取图像的图像或语言的Tberytes。并且因为它们是为了不断使用累积的知识而不断比较新数据,因此无法忘记不重要的事情意味着它们因持续的引用对毫无意义或过时的数据点而陷入困境。

Facebook研究人员击中的解决方案基本上 - 我们都不喜欢拥有这种能力 - 告诉自己在评估它开始时需要多长时间才能记住一系列数据。

“每个单独的内存与预测的到期日期相关联,内存的比例取决于任务,”Angela Fan,Anacha Ai研究人员在到期跨度纸上工作。 “保持时间的时间量取决于任务的需求 - 它可以是几步或直到任务完成。”

因此,在门的情况下,在找到黄色的门之前,非黄色门的颜色很重要。在这一点上,忘记其余的安全性是安全的,尽管当然取决于需要检查多少门,可以为各种时间保持内存。 (一旦发现它,一个更现实的例子可能会忘记不是系统正在寻找的面孔。)

分析了一系列长篇文章,某些单词或短语的记忆可能重要,直到句子结束,段落或更长 - 这取决于代理是否试图确定谁的说话,句子所属的章节是什么章节,或者故事是什么类型的。

这提高了性能,因为最后,模型的信息较少。因为系统不知道其他门是否可能是重要的,所以信息被携带准备好,增加尺寸并降低模型的速度。

风扇表示,使用过期跨度训练的模型更好地进行,更高效,占用较少的内存和计算时间。这在培训和测试过程中很重要,这可能占用数千小时的处理,甚至甚至一个小的改进是相当大的,而且在最终用户级别,同一任务的功率较少并发生更快。突然在照片上表演操作是有道理的,而不是在事实之后。

虽然能够在某种程度上忘记,使AI流程更接近人类认知,但它仍然在我们的思想运作的直观和微妙的方式附近。当然,能够选择要记住的东西,以及我们那些参数的各种参数随机选择的人数有多长。