深度学习的计算极限

下载PDF摘要：深度学习的近代史取得了成就：从在围棋中战胜人类，到在图像识别、语音识别、翻译和其他任务中取得世界领先的表现。但这一进步伴随着对计算能力的贪婪胃口。本文报告了深度学习应用程序在五个重要应用领域的计算需求，并表明所有这五个领域的进步都强烈依赖于计算能力的提高。向前推算这种依赖表明，沿着当前路线取得的进步在经济、技术和环境方面正迅速变得不可持续。因此，这些应用程序的持续发展将需要大大提高计算效率的方法，这些方法要么来自深度学习的改变，要么来自于转向其他机器学习方法。