#descent
Gradient Descent Models Are Kernel Machines(infoproc.blogspot.com)
2021-2-9 20:29
本文表明，由梯度下降训练（例如深层神经网络）产生的模型可以表示为相似度函数（内核）的加权总和，这些函数可度量给定实例与训练中所用示例的相似度。内核由参数空间中模型梯度的内积定义，并在下降（学习）路径上进行积分。粗略地说，两个数据点x和x＆＃39;相似，即如果它们对梯度下降中的模型参数具有相似的影响，则具有较大的核函数......
2020-12-6 23:20
下载PDF摘要：深度学习的成功通常归因于其自动发现数据的新表示的能力，而不是像其他学习方法一样依赖手工的功能。但是，我们表明，通过标准梯度下降算法学习的深度网络实际上在数学上近似于内核机器，这是一种简单地存储数据并直接通过相似性函数（内核）将其用于预测的学习方法。通过阐明它们实际上是训练示例的叠加，可以大大提高深层网......