#合奏
Three mysteries in deep learning: Ensemble, knowledge and self-distillation(www.microsoft.com)
2021-1-20 12:14
在现在的标准技术下，例如过度参数化，批量标准化和添加残差链接，“现代”神经网络训练（至少用于图像分类任务和许多其他任务）通常非常稳定。使用标准的神经网络体系结构和训练算法（通常是带有动量的SGD），学习的模型不仅在训练精度方面，而且甚至在测试精度方面，都始终表现良好，无论训练过程中使用哪种随机初始化或随机数据顺序。例......