下载PDF摘要：本文提出了一类新的无反向传播的神经结构，即门控线性网络(GLNS)。GLN与当代神经网络的不同之处在于其信用分配机制的分布性和局部性；每个神经元直接预测目标，放弃学习特征表示的能力，有利于快速在线学习；单个神经元可以通过数据依赖结合在线凸优化来建模非线性函数。我们表明，这种结构在有限的范围内产生了普遍的学习能力，有效的模型容量随着网络规模的增加而增加，其方式可与深度RELU网络相媲美。此外，我们还证明了GLN学习机制对灾难遗忘具有超强的抗灾难遗忘能力，在标准基准上的表现与具有辍学和弹性权值巩固的MLP相当。这些理想的理论和经验特性将GLNS定位为当代离线深度学习方法的补充技术。