预测编码沿任意计算图逼近Backprop

摘要：误差反向传播算法(Backprop)是一种通过端到端微分来训练机器学习结构的有效算法。最近有研究表明，多层感知器(MLP)中的Backprop可以用预测编码来近似，这是一种生物学上看似合理的皮层计算过程理论，仅依赖于局部和Hebbian更新。然而，Backprop的力量不在于它在MLP中的实例化，而在于自动微分的概念，该概念允许优化任何表示为计算图的可微分程序。在这里，我们证明了预测编码在任意计算图上仅使用局部学习规则就能渐近(并且在实践中快速地)收敛到精确的后向梯度。我们应用这一结果来开发一种简单的策略，将核心机器学习体系结构转换为它们的预测编码等价物。我们构造了预测编码CNN、RNN和更复杂的LSTM，它们包括非层状分支内部图结构和乘性交互。我们的模型在挑战机器学习基准方面的表现相当于支持，同时只利用了局部的和(主要)Hebbian可塑性。我们的方法提高了标准机器学习算法原则上可以直接在神经电路中实现的潜力，也可能有助于完全分布式神经形态结构的发展。

一句话总结：我们证明了神经科学中的预测编码算法可以用来近似误差算法在任何计算图上的反向传播。

道德准则：我承认我和本书的所有合著者都已阅读并承诺遵守ICLR的道德准则。