Cerebras的晶圆尺寸芯片比GPU快10,000倍

Cerebras Systems和联邦能源部国家能源技术实验室今天宣布，该公司的CS-1系统比图形处理单元（GPU）快10,000倍。

在实践上，这意味着以前需要花费数月时间进行训练的AI神经网络现在可以在Cerebras系统上进行数分钟的训练。

Cerebras生产世界上最大的计算机芯片WSE。芯片制造商通常会从直径12英寸的硅锭中切出晶圆，然后在芯片工厂中进行处理。处理完成后，将晶圆切成数百个可用于电子硬件的独立芯片。

但是由SeaMicro创始人安德鲁·费尔德曼（Andrew Feldman）创立的Cerebras拿走了这种晶片，并用它制造出了一块巨大的芯片。芯片的每个部分都称为核心，以复杂的方式互连到其他核心。互连设计为使所有内核保持高速运行，因此晶体管可以一起工作。

Cerebras的CS-1系统使用WSE晶片大小的芯片，该芯片具有1.2万亿个晶体管，这些基本的开关电子开关是硅芯片的基础。英特尔1971年的第一个4004处理器具有2,300个晶体管，而昨天宣布的Nvidia A100 80GB芯片则具有540亿个晶体管。

费尔德曼在接受VentureBeat采访时说，CS-1的速度也比焦耳超级计算机快200倍，后者在全球500强超级计算机中名列第82位。

费尔德曼说：“它显示了创纪录的性能。” “这也表明晶圆级技术的应用范围超出了AI。”

这些是总部位于加利福尼亚州的Cerebras的Los Altos采用的激进方法的成果，该方法创建了一个具有40万个AI核的硅晶片，而不是将该晶片切成单个芯片。费尔德曼说，这种不寻常的设计使完成任务变得容易得多，因为处理器和内存彼此靠近，并且有很多带宽可以连接它们。该方法在不同的计算任务中适用范围的问题仍然存在。

根据Cerebras与联邦实验室合作的结果发表的一篇论文说，CS-1可以提供任何数量的中央处理器（CPU）和GPU都无法达到的性能，而中央处理器和GPU都是超级计算机中常用的。 （现在70％的顶级超级计算机都使用了英伟达的GPU）。费尔德曼补充说，“不管超级计算机有多大，这都是真的。”

Cerebras将在本周的SC20超级计算在线活动中进行演示。 CS-1在计算流体动力学方面的工作量击败了焦耳超级计算机，它可以模拟化油器等地方的流体运动。焦耳超级计算机的建造成本为数千万美元，其中有84,000个CPU内核分布在数十个机架上，消耗的功率为450千瓦。

根据能源实验室主管Brian Anderson的说法，在此演示中，焦耳超级计算机使用了16,384个内核，而Cerebras计算机的速度提高了200倍。 Cerebras花费数百万美元，并使用20千瓦的功率。

“对于这些工作量，晶圆级CS-1是有史以来最快的机器，”费尔德曼说。 “而且它比其他处理器的任何其他组合或集群要快。”

一台Cerebras CS-1高26英寸，可容纳三分之一的机架，并由业界唯一的晶圆级处理引擎Cerebras的WSE提供动力。它结合了内存性能与大带宽，低延迟的处理器间通信以及针对高带宽计算进行了优化的体系结构。

这项研究由NETL机器学习和数据科学工程师Dirk Van Essendelft以及Cerebras联合创始人兼高级技术首席架构师Michael James领导。经过几个月的努力，结果才出现。

2019年9月，能源部宣布与Cerebras建立合作伙伴关系，其中包括与Argonne国家实验室和Lawrence Livermore国家实验室的部署。

Cerebras CS-1于2019年11月发布。CS-1是围绕WSE构建的，它的体积是WSE的56倍，内核增加了54倍，片上内存增加了450倍，内存带宽增加了5788倍，并且20,833倍Cerebras说，与领先的GPU竞争对手相比，其结构带宽更大。

根据从AI到HPC的工作负载，CS-1提供的计算量是传统替代产品的数百或数千倍，而这样做的耗电量和空间却很少。

费尔德曼指出，CS-1可以比实时完成更快的计算，这意味着它可以在反应开始时启动电厂反应堆核心的仿真，并在反应结束之前完成仿真。

“这些动态建模问题具有有趣的特征，”费尔德曼说。 “它们在CPU和GPU内核之间的伸缩性很差。用计算科学家的语言来说，它们不会表现出“强大的扩展性”。这意味着，超过一定程度，在超级计算机上添加更多处理器不会带来额外的性能提升。”

成功的AI卓越中心的最佳做法：CoE和业务部门的指南