人工智能克服了大脑启发的硬件上的障碍

2022-02-19 02:00:10

今天最成功的人工智能算法,人工神经网络,松散地基于我们大脑中复杂的神经网络网络。但与我们高效的大脑不同,在计算机上运行这些算法消耗了惊人的能量:最大的型号在其寿命中消耗的能量几乎相当于五辆汽车。

进入神经形态计算,它与我们大脑的设计原理和物理更接近,可能成为人工智能节能的未来。与在中央处理器和内存芯片之间长距离传输数据不同,神经形态设计模仿我们大脑中果冻状物质的结构,计算单元(神经元)放在内存旁边(存储在连接神经元的突触中)。为了让它们更像大脑,研究人员将神经形态芯片与模拟计算相结合,模拟计算可以像真实神经元一样处理连续信号。由此产生的芯片与当前纯数字计算机的架构和计算模式大不相同,后者依赖0和1的二进制信号处理。

以大脑为向导,神经形态芯片有望有朝一日消除人工智能等数据密集型计算任务的能耗。不幸的是,人工智能算法没有很好地与这些芯片的模拟版本配合,因为一个被称为设备不匹配的问题:在芯片上,由于制造过程,模拟神经元中的微小组件在尺寸上不匹配。由于单个芯片不够复杂,无法运行最新的训练程序,因此必须首先在计算机上对算法进行数字训练。但是,当算法被转移到芯片上时,一旦遇到模拟硬件上的不匹配,它们的性能就会崩溃。

现在,上个月发表在《美国国家科学院院刊》上的一篇论文终于揭示了绕过这个问题的方法。弗里德里希·米谢尔生物医学研究所(Friedrich Miescher Institute for Biomedical Research)的弗里德曼·泽克(Friedmann Zenke)和海德堡大学(Heidelberg University)的约翰·谢梅尔(Johannes Schemmel)领导的一个研究团队表明,一种被称为尖峰神经网络(spiking neural network)的人工智能算法——它使用大脑独特,被称为尖峰-可以与芯片一起学习如何补偿设备失配。这篇论文是人工智能向模拟神经形态计算迈出的重要一步。

“令人惊讶的是,它工作得如此之好,”荷兰国家数学和计算机科学研究所CWI的顶尖神经网络专家桑德·博特说。“这是一个相当大的成就,很可能是模拟神经形态系统的蓝图。”

模拟计算对基于大脑的计算的重要性是微妙的。数字计算可以有效地代表大脑尖峰信号的一个二进制方面,即像闪电一样射入神经元的电脉冲。与二进制数字信号一样,尖峰信号要么发出,要么不发出。但是尖峰信号是随着时间的推移不断发送的——这是一种模拟信号——我们的神经元决定首先发送尖峰信号的方式也是连续的,基于细胞内随时间变化的电压。(当电压达到与细胞外电压相比的特定阈值时,神经元会发出一个尖峰。)

“在模拟中,大脑的核心计算是美丽的。模拟大脑的这一关键方面是神经形态计算的主要驱动力之一,”苏黎世大学和苏黎世联邦理工大学的神经形态工程研究人员Charlotte Frenkel说。

2011年,海德堡大学(Heidelberg University)的一组研究人员开始开发一种兼具模拟和数字功能的神经形态芯片,以便为神经科学实验建立大脑模型。现在由Schemmel领导,该团队发布了最新版本的芯片,名为BrainScaleS-2。芯片上的每个模拟神经元都模拟脑细胞的输入和输出电流及电压变化。

“你真的有一个不断交换信息的动力系统,”Schemmel说。由于这些材料具有不同的电学性质,芯片传输信息的速度比我们的大脑快1000倍。

但是,由于模拟神经元的特性变化非常微小——设备失配问题——神经元之间的电压和电流水平也会发生变化。这些算法无法处理这个问题,因为它们是在拥有完全相同的数字神经元的计算机上训练的,而芯片上的性能突然暴跌。

这项新工作显示了前进的方向。通过在训练过程中加入芯片,作者展示了尖峰神经网络可以学习如何校正BrainScaleS-2芯片上的变化电压。弗伦克尔说:“这种训练方式是最早令人信服的证据之一,证明变异性不仅可以得到补偿,还可能被利用。”。

为了解决设备失配问题,该团队将一种允许芯片与计算机对话的方法与一种称为替代梯度的新学习方法相结合,该方法由Zenke联合开发,专门用于刺激神经网络。它通过改变神经元之间的连接来最小化神经网络在任务中的错误。(这与称为反向传播的非尖峰神经网络使用的方法类似。)

有效地,替代梯度法能够在计算机训练期间纠正芯片的缺陷。首先,脉冲神经网络利用芯片上模拟神经元的不同电压执行简单任务,将电压记录发送回计算机。在那里,算法会自动学习如何最好地改变神经元之间的连接,以便仍能与模拟神经元很好地配合,并在学习的同时在芯片上不断更新它们。然后,当训练完成时,脉冲神经网络在芯片上执行任务。研究人员报告说,他们的网络在语音和视觉任务上达到了与在计算机上执行该任务的顶尖神经网络相同的精度水平。换句话说,该算法准确地了解了克服设备不匹配问题需要进行哪些更改。

瑟赛克斯大学的神经科学家Thomas Nowotny说:“他们用这个系统实现了一个真正的问题,这是一个巨大的成就。”而且,正如预期的那样,它们的能效令人印象深刻;作者们说,在芯片上运行他们的算法所消耗的能量是标准处理器所需能量的1000倍。

然而,弗伦克尔指出,虽然到目前为止,能耗是个好消息,但神经形态芯片仍需要在针对类似语音和视觉识别任务而不是标准处理器进行优化的硬件上证明自己。Nowotny警告说,这种方法可能难以扩展到大型实际任务,因为它仍然需要在计算机和芯片之间来回传输数据。

长期目标是使神经网络从头到尾在神经形态芯片上训练和运行,而完全不需要计算机。但诺沃特尼说,这需要建设新一代芯片,这需要数年时间。

目前,Zenke和Schemmel的团队很高兴地证明,尖峰神经网络算法可以处理神经形态硬件上模拟神经元之间的微小变化。“你可以依靠60或70年的数字计算经验和软件历史,”Schemmel说。“对于这种模拟计算,我们必须自己做一切。”