训练人工智能系统的成本正在以摩尔定律50倍的速度提高

训练人工智能(AI)系统的成本正在以摩尔定律50倍的速度提高。对于许多用例来说，运行人工智能推理系统的成本已经暴跌至几乎为零。经过短短五年的发展，深度学习-人工智能的现代化身-似乎已经达到了成本和性能的临界点，为未来十年的广泛采用铺平了道路。

在过去的十年里，用于人工智能训练模型的计算资源呈爆炸式增长。从1960年到2010年，每两年翻一番之后，人工智能计算复杂度每年飙升10倍，如下所示。

我们相信，公司有足够的动机以摩尔定律的五倍速度增加计算资源：在创收和硬件成本下降方面的显着竞争优势足以继续推动这只野兽。由于所谓的超大规模互联网公司已经从大学手中接过大权，并对深度学习网络进行了数据培训，它们已经为人工智能硬件编制了数亿美元的预算，希望随着时间的推移获得更高的投资回报率。[1]。

同样重要的是，人工智能培训成本每年下降约10倍。例如，2017年，在公共云上培训像ResNet-50这样的图像识别网络的成本约为1,000美元。2019年，成本降至~10美元，如下所示。按照目前的改善速度，到今年年底，成本应该会降到1美元。[2]推理的成本--在生产中运行一个训练有素的神经网络--下降得更快。例如，在过去的两年里，对10亿张图像进行分类的成本从1万美元下降到了0.03美元，如下所示。[3]。

硬件和软件方面的突破使成本得以下降。*在过去的三年中，芯片和系统设计已经演变为添加用于深度学习的专用硬件，从而使性能提高了16倍，如下面的左侧图表所示。在保持硬件改进不变的情况下，较新版本的TensorFlow和PyTorch AI框架与新颖的培训方法相结合，可产生8倍的性能提升，如下图所示。[4]。

奇怪的是，AI训练芯片的成本并没有随着硬件单价的下降而同步下降。例如，NVIDIA数据中心GPU的价格在过去三代中上涨了两倍。事实上，亚马逊网络服务自2017年推出NVIDIA V100 GPU实例以来，从未降低过价格。来自独立和超大规模AI芯片设计的竞争确实有可能侵蚀NVIDIA的定价权，但到目前为止，还没有一家公司能够推出一款可与NVIDIA的V100 GPU相媲美的芯片，其软件和开发者支持的广度相同。

根据其成本下降的速度，人工智能还处于非常早期的阶段。在摩尔定律的第一个十年里，晶体管数量每年翻一番--或者说是之后几十年变化速度的两倍。我们在人工智能培训和人工智能推理中看到的10-100倍的成本下降表明，人工智能的发展还处于萌芽阶段，未来可能会有几十年较慢但持续的增长。如上所述，根据方舟的研究，虽然到目前为止，人工智能已经使全球股市市值增加了大约1万亿美元，但到2037年，它有望扩大到30万亿美元，成为第一项让互联网相形见绌的基础性技术。