作为卷积神经网络的元胞自动机

下载PDF摘要：深度学习技术最近在预测从湍流到人类语音的复杂动力系统方面取得了广泛的成功，这引发了更广泛的问题，即神经网络如何编码和表示动力学规则。我们在元胞自动机(CA)的背景下探讨这个问题，元胞自动机是本质上离散的简单动力系统，因此很难使用动力系统理论中的标准工具进行分析。我们展示了任何CA都可以很容易地用具有网络中网络体系结构的卷积神经网络来表示。这促使我们发展了一种通用的卷积多层感知器结构，我们发现当给定CA的视频训练数据时，该结构可以学习任意CA的动态规则。在大网络宽度的限制下，我们发现不同副本之间的训练动态几乎相同，并且在不同的CA规则集上训练的网络结构中的共同模式是相同的。我们在随机抽样的CA上训练网络集成，并使用基于层激活模式分布的信息论技术来探索训练后的网络是如何内部表示CA规则的。我们发现，规则表较简单的CA产生具有分层结构和层专门化的训练有素的网络，而较复杂的CA产生较浅的表示-说明了CA规则的底层复杂性如何影响这些内部表示的特殊性。我们的结果表明，当通过神经网络学习时，物理过程的熵如何影响其表示。