为什么神经网络在生命的游戏中苦苦挣扎

这篇文章是我们对人工智能研究论文的最新评论的一部分，这些论文是探索人工智能最新发现的一系列帖子。

“生活的游戏”是一种基于网格的自动机，在有关科学、计算和人工智能的讨论中非常流行。这是一个有趣的想法，它展示了非常简单的规则如何产生非常复杂的结果。

然而，斯沃斯莫尔学院(Swarthmore College)和洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)的人工智能研究人员在最近的一篇论文中表示，尽管生活游戏很简单，但它仍然是对人工神经网络的挑战。题为“神经网络很难学习生命的游戏”，他们的研究调查了神经网络如何探索生命的游戏，以及为什么它们经常错过找到正确的解决方案。

他们的发现突出了深度学习模型的一些关键问题，并为人工智能社区的下一步研究方向提供了一些有趣的提示。

英国数学家约翰·康威于1970年发明了“生命的游戏”。基本上，“生命游戏”会跨时间步长跟踪网格上一系列细胞的开启或关闭状态--生命。在每个时间步，以下简单的规则定义了哪些细胞复活或保持活着，哪些细胞死亡或保持死亡：

基于这四个简单的规则，您可以调整网格的初始状态，以创建有趣的稳定、振荡和滑动模式。

你也可以用生活的游戏来创建非常复杂的模式，比如这个。

有趣的是，无论网格变得多么复杂，您都可以使用相同的规则预测每个单元格在下一个时间步长中的状态。

由于神经网络是非常好的预测机器，研究人员想要找出深度学习模型是否可以学习生活游戏的潜在规则。

对于神经网络来说，“生活的游戏”是一个有趣的实验，原因有几个。“我们已经知道一个解决方案，”雅各布·斯普林格(Jacob Springer)告诉TechTalks，他是斯沃斯莫尔学院(Swarthmore College)计算机科学专业的学生，也是这篇论文的合著者。“我们可以手写一个实现生活游戏的神经网络，因此我们可以将学到的解决方案与我们手工制作的解决方案进行比较。情况并非如此。“。

在生活游戏中，通过修改目标深度学习模型必须预测的未来时间步数来调整问题的灵活性也是非常容易的。

此外，与计算机视觉或自然语言处理等领域不同的是，如果神经网络学习了生命游戏的规则，它将达到100%的准确率。“没有模棱两可的地方。如果网络哪怕出现一次故障，那么它就没有正确地学习规则。“斯普林格说。

在他们的工作中，研究人员首先创建了一个小型卷积神经网络，并手动调整其参数，以便能够预测生命游戏中网格细胞的变化顺序。这证明了存在一个最小的神经网络可以代表生命游戏的规则。

然后，他们试图看看相同的神经网络在从头开始训练时是否能达到最佳设置。他们将参数初始化为随机值，并在100万个随机生成的生命游戏示例上训练神经网络。神经网络达到100%精度的唯一方法是收敛到手工制作的参数值上。这将意味着人工智能模型已经设法将生命游戏背后的规则参数化。

但在大多数情况下，训练后的神经网络并不能找到最优解，而且随着步数的增加，网络的性能会进一步下降。神经网络的训练结果很大程度上受训练样本集的选取和初始参数的影响。

不幸的是，你永远不知道神经网络的初始权重应该是多少。最常见的做法是从正态分布中选取随机值，因此确定正确的初始权重就成了一场运气游戏。至于训练数据集，在许多情况下，不清楚哪些样本是正确的，而在其他情况下，没有太多的选择。

斯普林格说：“对于许多问题，你在数据集上没有太多的选择；你得到的是你可以收集的数据，所以如果你的数据集有问题，你在训练神经网络时可能会有困难。”

在机器学习中，提高表现不佳的模型的准确性的流行方法之一是增加其复杂性。这项技术在“生活的游戏”中发挥了作用。随着研究人员向神经网络添加更多的层和参数，结果得到了改善，训练过程最终产生了接近完美精度的解决方案。

但更大的神经网络也意味着训练和运行深度学习模型的成本增加。

一方面，这表明了大型神经网络的灵活性。虽然巨大的深度学习模型可能不是解决问题的最优架构，但它有更大的机会找到好的解决方案。但另一方面，它证明了，如果你能找到的话，很可能会有一个更小的深度学习模型，它可以提供相同或更好的结果。

这些发现与麻省理工学院CSAIL人工智能研究人员在ICLR 2019年会议上提出的“彩票假说”是一致的。这一假设表明，对于每个大型神经网络，都有较小的子网络可以收敛到一个解，如果它们的参数已经根据幸运的中奖值进行了初始化，那么就有了“彩票”的命名。

“彩票假说提出，当训练卷积神经网络时，小的幸运子网络会迅速收敛到一个解决方案上，”“生活的游戏”论文的作者写道。这表明，梯度下降优化不是广泛地在权重空间中搜索最优解，而是依赖于幸运的权重初始化，这些初始化恰好将子网定位在网络收敛到的合理局部最小值附近。

人工智能研究人员在他们的论文中写道：“虽然康威的”生活游戏“本身就是一个玩具问题，几乎没有直接的应用，但我们在这里报告的结果对类似的任务有影响，在这些任务中，神经网络被训练来预测结果，这需要网络遵循一套带有多个隐藏步骤的本地规则。”

这些发现可以应用于使用逻辑或数学解算器的机器学习模型、天气和流体动力学模拟，以及语言或图像处理中的逻辑推理。

施普林格说：“鉴于我们发现小型神经网络很难学习”生命的游戏“(可以用相对简单的符号规则来表达)，我预计最复杂的符号操作对神经网络来说会更难学习，而且需要更大的神经网络。”“我们的结果并不一定表明神经网络不能学习和执行符号规则来做出决策，不过，它表明这些类型的系统可能很难学习，特别是在问题复杂性增加的情况下.”

研究人员进一步认为，他们的发现也适用于机器学习的其他领域，这些领域不一定依赖明确的逻辑规则，比如图像和音频分类。

目前，我们知道，在某些情况下，增加神经网络的规模和复杂性可以解决深度学习模型表现不佳的问题。但我们也应该考虑使用更大的神经网络作为克服机器学习研究僵局的首选方法的负面影响。一个结果可能是训练大型神经网络所需的计算资源导致更大的能源消耗和碳排放。另一方面，它可能导致收集更大的训练数据集，而不是依赖于在较小数据集上找到理想的分布策略，这在数据受到伦理考虑和隐私法约束的领域可能是不可行的。最后，支持过度完整和非常大的深度学习模型的大趋势可能会巩固大型科技公司的人工智能力量，并使较小的参与者更难进入深度学习研究领域。

“我们希望这篇论文能促进对神经网络局限性的研究，这样我们就能更好地理解导致过度完备网络才能进行学习的缺陷。我们希望我们的结果将推动开发出更好的学习算法，而不是面对基于梯度的学习的缺点，“论文的作者写道。

斯普林格说：“我认为这些结果肯定会激励人们研究改进的搜索算法，或者研究提高大型网络效率的方法。”