Hernandez的法律:神经网络如何超越摩尔定律

2021-06-10 19:54:58

下载PDF摘要:三个因素驱动AI的进展:算法创新,数据和培训的计算。算法的进度比计算和数据量更难以量化。在这方面,我们认为算法进步有一个方面是既既衡量和有趣的方面,可以减少计算,以达到过去的能力。我们表明,培训分类器所需的浮点数为亚历克莱级性能OnimAgeNet的数量在2012年和2019年之间的44倍下降了44倍。这是在7年内每16个月加倍的算法效率加倍。相比之下,摩尔'法律只会产生11x的成本贴心。我们观察到硬件和算法效率增益多重可以在有意义的视野中达到类似的规模,这表明AI进步的AGOOD模型应该从两者都集成措施。

书目工具代码&关于Arxivlabs Arxivlabs的数据相关论文是一个框架,允许合作者在我们的网站上直接开发和分享新的Arxiv功能。

与Arxivlabs合作的个人和组织都接受并接受了我们的开放,社区,卓越和用户数据隐私价值观。 Arxiv致力于这些价值观,只与遵守它们的合作伙伴合作。

有一个项目,将增加Arxiv'社区的价值?了解有关Arxivlabs以及如何参与的更多信息。