快速、高效的神经网络复制蜻蜓大脑

在我们的每个大脑中，有 860 亿个神经元并行工作，处理来自感官和记忆的输入，以产生人类认知的许多壮举。其他生物的大脑没有那么广泛的能力，但这些动物通常表现出对特定任务的先天能力，这些能力是经过数百万年的进化磨练出来的。我们大多数人都见过动物做聪明的事情。也许您的家养宠物是逃生艺术家。也许您住在鸟类或蝴蝶的迁徙路线附近并庆祝它们的年度回归。或者，您可能对蚂蚁侵入您的食品储藏室似乎一心一意感到惊奇。将这种专门的神经系统视为人工智能模型，可能证明与研究人脑一样有价值，甚至更多。想想你储藏室里那些蚂蚁的大脑。每个都有大约 250,000 个神经元。较大的昆虫有接近100万只。在阿尔伯克基桑迪亚国家实验室的研究中，我研究了其中一种大型昆虫蜻蜓的大脑。我和我在国家安全实验室桑迪亚的同事们希望利用这些昆虫的专长来设计计算系统，这些系统针对拦截来袭导弹或跟踪气味羽流等任务进行了优化。通过利用蜻蜓神经系统的速度、简单性和效率，我们的目标是设计能够更快地执行这些功能的计算机，并且功耗仅为传统系统的一小部分。将蜻蜓视为未来计算机系统的先驱似乎有悖常理。制造新闻的人工智能和机器学习的发展通常是模仿人类智能甚至超越人类能力的算法。在某些特定任务上，例如在医学扫描中检测癌症，神经网络的表现已经不亚于人们——如果不是更好的话。这些神经网络的潜力远远超出了视觉处理。通过自我对弈训练的计算机程序AlphaZero是世界上最好的围棋选手。它的兄弟 AI AlphaStar 跻身星际争霸 II 最佳玩家之列。然而，这样的壮举是有代价的。开发这些复杂的系统需要大量的处理能力，通常只有选择拥有最快超级计算机和支持它们的资源的机构才能使用。而且能源成本令人反感。最近的估计表明，开发和训练自然语言处理算法所产生的碳排放量大于四辆汽车在其生命周期中产生的碳排放量。但是人工神经网络真的需要大而复杂才能有用吗？我相信不会。为了在短期内获得受神经启发的计算机的好处，我们必须在简单性和复杂性之间取得平衡。这让我想起了蜻蜓，一种有大脑的动物，可以为某些应用提供精确的平衡。

如果您曾经遇到过蜻蜓，您就会知道这些美丽的生物的缩放速度有多快，并且您已经看到了它们在空中惊人的敏捷性。随便观察一下，也许不太明显的是它们出色的狩猎能力：蜻蜓成功捕获了高达 95% 的猎物，一天吃掉数百只蚊子。蜻蜓的身体实力当然不会被忽视。几十年来，美国机构一直在尝试将蜻蜓设计用于监视无人机。现在是时候把我们的注意力转向控制这个微型狩猎机器的大脑了。虽然蜻蜓可能无法玩像围棋这样的战略游戏，但蜻蜓确实展示了一种战略形式，它在猎物当前位置之前瞄准以拦截它的晚餐。这需要以极快的速度执行计算——蜻蜓通常只需要 50 毫秒就可以开始转动以响应猎物的动作。它在跟踪头部和身体之间的角度的同时这样做，以便它知道哪个翅膀更快地扇动以在猎物前面转动。它还会跟踪自己的动作，因为当蜻蜓转动时，猎物也会出现移动。考虑到单个神经元将其所有输入相加所需的时间（称为膜时间常数）超过 10 毫秒，因此蜻蜓的大脑正在执行一项非凡的壮举。如果你考虑到眼睛处理视觉信息的时间和肌肉产生移动所需的力的时间，那么实际上只有三层甚至四层神经元按顺序将它们的输入相加并传递信息我可以建立一个像蜻蜓拦截系统一样工作的神经网络吗？我还想知道这种受神经启发的拦截系统的用途。在桑迪亚，我立即考虑了防御应用，例如导弹防御，想象未来的导弹具有旨在快速计算拦截轨迹而不影响导弹重量或功耗的机载系统。但也有民用应用。例如，控制自动驾驶汽车的算法可能会变得更高效，不再需要大量的计算设备。如果受蜻蜓启发的系统可以执行计算以绘制拦截轨迹，那么自主无人机或许可以使用它来避免碰撞。如果计算机可以制造成与蜻蜓大脑相同的大小（约 6 立方毫米），也许有一天驱虫剂和蚊帐将成为过去，取而代之的是小型杀虫无人机！为了开始回答这些问题，我创建了一个简单的神经网络来代替蜻蜓的神经系统，并用它来计算蜻蜓捕捉猎物的转弯。我的三层神经网络作为软件模拟存在。最初，我在 Matlab 中工作只是因为那是我已经在使用的编码环境。从那以后，我将该模型移植到 Python 中。

因为蜻蜓必须看到它们的猎物才能捕捉到它，所以我首先模拟了蜻蜓眼睛的简化版本，捕捉了追踪猎物所需的最少细节。尽管蜻蜓有两只眼睛，但人们普遍认为它们不使用立体深度感知来估计与猎物的距离。在我的模型中，我没有对双眼进行建模。我也没有试图匹配蜻蜓眼的分辨率。相反，神经网络的第一层包括 441 个代表眼睛输入的神经元，每个神经元描述视野的一个特定区域——这些区域被平铺以形成一个 21×21 的神经元阵列，覆盖蜻蜓的视野。看法。随着蜻蜓转动，猎物图像在蜻蜓视野中的位置发生变化。蜻蜓计算将猎物的图像与这些“眼睛”神经元中的一个（或几个，如果猎物足够大）对齐所需的轮数。第二组 441 个神经元，也在网络的第一层，告诉蜻蜓哪些眼睛神经元应该与猎物的图像对齐，即猎物应该在其视野内的哪个位置。处理——接收描述物体在视野中​​运动的输入并将其转化为关于蜻蜓需要转向哪个方向的指令的计算——发生在我的人工神经网络的第一层和第三层之间。在第二层中，我使用了 194,481 (21 4) 个神经元的阵列，可能比蜻蜓用于此任务的神经元数量大得多。我预先计算了网络中所有神经元之间连接的权重。虽然这些权重可以用足够的时间学习，但通过进化和预编程的神经网络架构“学习”是有优势的。一旦它作为有翼成虫（技术上称为天体）从若虫阶段出来，蜻蜓就没有父母来喂养它或向它展示如何捕猎。蜻蜓处于脆弱状态，适应了新的身体——同时想出狩猎策略是不利的。我设置了网络的权重以允许模型蜻蜓计算正确的转弯以从传入的视觉信息中拦截它的猎物。那些是什么转弯？好吧，如果蜻蜓想要抓住一只穿过它路径的蚊子，它不能只瞄准蚊子。借用曲棍球运动员韦恩·格雷茨基 (Wayne Gretsky) 曾经说过的关于冰球的说法，蜻蜓必须瞄准蚊子所在的位置。您可能认为遵循 Gretsky 的建议需要复杂的算法，但实际上该策略非常简单：蜻蜓所需要做的就是在其视线与午餐和固定参考方向之间保持恒定的角度。有任何驾驶船只经验的读者都会明白为什么会这样。当另一艘船的视线与参考方向（例如正北）之间的角度保持不变时，他们知道会担心，因为他们处于碰撞路线上。水手长期以来一直避免转向这种称为平行导航的路线，以避免碰撞 翻译成蜻蜓，它们想要与猎物发生碰撞，处方很简单：相对于某些外部参考，保持对猎物的视线恒定。然而，对于蜻蜓来说，这项任务不一定是微不足道的，因为它会猛扑和转身，收集食物。蜻蜓没有内部陀螺仪（我们知道），无论蜻蜓如何转动，它都会保持恒定的方向并提供参考。它也没有始终指向北方的磁罗盘。在我对蜻蜓狩猎的简化模拟中，蜻蜓转向将猎物的图像与其眼睛上的特定位置对齐，但它需要计算该位置应该是什么。我的模拟神经网络的第三层也是最后一层是运动命令层。这一层神经元的输出是蜻蜓肌肉的高级指令，告诉蜻蜓向哪个方向转动。蜻蜓还使用该层的输出来预测它自己的动作对其视野中猎物图像位置的影响，并相应地更新投影位置。这种更新允许蜻蜓在接近猎物时相对于外部世界保持其猎物的视线稳定。生物蜻蜓可能已经进化出额外的工具来帮助进行这种预测所需的计算。例如，蜻蜓有专门的传感器来测量飞行过程中的身体旋转以及头部相对于身体的旋转——如果这些传感器足够快，蜻蜓可以直接从传感器输出或使用一种方法来交叉检查另一种。我在模拟中没有考虑这种可能性。为了测试这个三层神经网络，我模拟了一只蜻蜓和它的猎物，它们在三维空间中以相同的速度移动。当他们这样做时，我的模型神经网络大脑“看到”了猎物，计算指向哪里以将猎物的图像保持在一个恒定的角度，并向肌肉发送适当的指令。我能够证明蜻蜓大脑的这个简单模型确实可以成功拦截其他虫子，甚至是沿着弯曲或半随机轨迹行进的猎物。模拟蜻蜓虽然没有完全达到生物蜻蜓的成功率，但也不具备蜻蜓众所周知的所有优点（例如惊人的飞行速度）。

需要做更多的工作来确定这个神经网络是否真的包含了蜻蜓大脑的所有秘密。弗吉尼亚州霍华德休斯医学研究所 Janelia 研究园区的研究人员为蜻蜓开发了微型背包，可以在蜻蜓飞行时测量来自其神经系统的电信号并传输这些数据进行分析。背包足够小，不会分散蜻蜓的注意力。同样，神经科学家还可以记录蜻蜓大脑中单个神经元的信号，同时昆虫保持不动，但通过向其提供适当的视觉提示，使其认为它在移动，从而创建了一个蜻蜓级的虚拟现实。来自这些系统的数据允许神经科学家通过将蜻蜓大脑模型的活动与活跃蜻蜓中生物神经元的活动模式进行比较来验证蜻蜓大脑模型。虽然我们还不能直接测量蜻蜓大脑中神经元之间的个体连接，但我和我的合作者将能够推断出蜻蜓的神经系统是否正在进行类似于我的人工神经网络预测的计算。这将有助于确定蜻蜓大脑中的连接是否类似于我在神经网络中预先计算的权重。我们将不可避免地找到我们的模型与实际蜻蜓大脑不同的方式。也许这些差异将为蜻蜓大脑加速计算的捷径提供线索。蜻蜓还可以教我们如何在计算机上实现“注意力”。您可能知道当您的大脑全神贯注、完全处于该区域、专注于一项任务到其他分心似乎逐渐消失时的感觉。蜻蜓同样可以集中注意力。它的神经系统会提高对特定的、可能选定的目标的反应音量，即使在同一视野中可以看到其他潜在的猎物。蜻蜓一旦决定追逐特定的猎物，只有在未能捕捉到它的第一选择时才应该改变目标，这是有道理的。 （换句话说，如果你很容易分心，使用平行导航来吃饭是没有用的。）即使我们最终发现用于引导注意力的蜻蜓机制不如人们在拥挤的人群中集中注意力的那些机制那么复杂咖啡店，通过提供有效的方法来丢弃不相关的输入，一种更简单但功耗更低的机制可能会证明对下一代算法和计算机系统有利。研究蜻蜓大脑的优势并不止于新算法；它们还会影响系统设计。蜻蜓的眼睛速度很快，相当于每秒 200 帧：这是人类视觉速度的几倍。但它们的空间分辨率相对较差，可能只有人眼的百分之一。尽管感知能力有限，但了解蜻蜓如何如此有效地捕猎，可以为设计更高效系统提供建议。使用导弹防御问题，蜻蜓的例子表明，我们具有快速光学传感的反导弹系统可能需要较低的空间分辨率来击中目标。蜻蜓并不是当今唯一可以为受神经启发的计算机设计提供信息的昆虫。帝王蝶的迁徙距离令人难以置信地长，它们利用某种与生俱来的本能在一年中的适当时间开始它们的旅程，并朝着正确的方向前进。我们知道君主依赖于太阳的位置，但是通过太阳航行需要跟踪一天中的时间。如果你是一只向南飞的蝴蝶，你会希望太阳早上在你的左边，而在下午的时候在你的右边。因此，为了确定路线，蝴蝶大脑必须读取自己的昼夜节律，并将该信息与所观察到的信息结合起来。其他昆虫，如撒哈拉沙漠蚂蚁，必须相对长距离觅食。一旦找到食物来源，这只蚂蚁不会简单地原路返回巢穴，很可能是一条迂回的路径。相反，它计算返回的直接路线。因为蚂蚁食物来源的位置每天都在变化，所以它必须能够记住它在觅食过程中走过的路径，将视觉信息与一些内部距离测量结合起来，然后从这些记忆中计算出它的返回路线。

虽然没有人知道沙漠蚂蚁的哪些神经回路执行这项任务，但 Janelia 研究园区的研究人员已经确定了允许果蝇使用视觉地标进行自我定位的神经回路。沙漠蚂蚁和帝王蝶可能使用类似的机制。这种神经回路有朝一日可能会被证明在低功率无人机中很有用。如果受昆虫启发的计算的效率使得这些专门组件的数百万个实例可以并行运行以支持更强大的数据处理或机器学习，该怎么办？下一个 AlphaZero 能否结合数以百万计的蚂蚁觅食架构来改进其游戏玩法？也许昆虫会激发新一代看起来与我们今天所拥有的截然不同的计算机。一小群类似蜻蜓拦截的算法可用于控制游乐园游乐设施的移动部件，确保即使在复杂但激动人心的舞蹈中，个别汽车也不会发生碰撞（就像飞行员驾驶他们的船一样）。没有人知道下一代计算机会是什么样子，它们是半机械人的伙伴还是像艾萨克·阿西莫夫的 Multivac 那样的集中资源。同样，没有人能说出开发这些平台的最佳途径是什么。虽然研究人员从人脑中汲取灵感开发了早期的神经网络，但今天的人工神经网络通常依赖于绝对不像大脑的计算。研究生物神经回路中单个神经元的计算——目前只能直接在非人类系统中实现——可能会教给我们更多。昆虫看似简单，但它们的能力往往令人惊讶，它们对下一代计算机的发展有很大贡献，尤其是随着神经科学研究继续推动对生物神经回路如何工作的更深入了解。所以下次当你看到一只昆虫做一些聪明的事情时，想象一下如果你能拥有一支由蜻蜓、蝴蝶或蚂蚁大脑组成的小军队的出色效率，它会对你的日常生活产生什么影响。也许未来的计算机会给“蜂巢思维”这个术语赋予新的含义，它拥有大量高度专业化但极其高效的微型处理器，能够根据手头的任务进行重新配置和部署。随着当今神经科学的进步，这种看似幻想的事物可能比您想象的更接近现实。这篇文章作为“蜻蜓大脑的教训”出现在 2021 年 8 月的印刷版中。