守恒

下载PDF摘要：修剪深度神经网络的参数已经产生了浓厚的兴趣，因为在训练和验证期间潜在地节省了时间、内存和精力。最近的工作已经通过一系列昂贵的训练和修剪周期确定了在初始化时中奖彩票或稀疏雨子网络的存在。这就提出了一个基本问题：我们是否可以在初始化时识别高度稀疏的可训练子网络，而不需要经过训练，甚至不需要查看数据？我们通......