研究人员将恶意软件隐藏在 AI 的“神经元”中，而且效果非常好

根据一项新研究，神经网络可能成为恶意软件活动的下一个前沿领域，因为它们得到了更广泛的使用。根据周一发布在 arXiv 预印服务器上的研究，恶意软件可以直接嵌入到构成机器学习模型的人工神经元中，以防止它们被检测到。神经网络甚至能够继续正常执行其设定的任务。中国科学院大学的作者写道：“随着神经网络的应用越来越广泛，未来这种方法将普遍用于传播恶意软件。”使用真实的恶意软件样本，他们的实验发现，用恶意软件替换 AlexNet 模型中高达约 50% 的神经元——人工智能领域的基准设置经典——仍然使模型的准确率保持在 93.1% 以上。作者得出结论，一个 178MB 的 AlexNet 模型可以在其结构中嵌入多达 36.9MB 的恶意软件，而不会被称为隐写术的技术检测到。部分模型针对 58 个常见的防病毒系统进行了测试，但未检测到恶意软件。其他入侵企业或组织的方法，例如将恶意软件附加到文档或文件中，通常无法在不被检测到的情况下大量交付恶意软件。另一方面，这项新研究设想了一个未来，组织可以为任何给定任务（例如聊天机器人或图像检测）引入现成的机器学习模型，这些任务可能在执行时加载恶意软件。它的任务足够好，不会引起怀疑。根据这项研究，这是因为 AlexNet（与许多机器学习模型一样）由数百万个参数和许多复杂的神经元层组成，包括所谓的全连接“隐藏”层。通过保持 AlexNet 中巨大的隐藏层完整无缺，研究人员发现改变其他一些神经元对性能几乎没有影响。在论文中，作者列出了黑客如何设计加载恶意软件的机器学习模型并在野外传播的剧本：

“首先，攻击者需要设计神经网络。为了确保可以嵌入更多恶意软件，攻击者可以引入更多神经元。然后攻击者需要使用准备好的数据集训练网络以获得性能良好的模型。如果有合适的训练好的模型，攻击者可以选择使用现有的模型。然后，攻击者选择最好的层并嵌入恶意软件。嵌入恶意软件后，攻击者需要评估模型的性能以确保损失是可以接受的。如果模型的损失超出了可接受的范围，攻击者需要使用数据集重新训练模型以获得更高的性能。一旦模型准备好，攻击者可以使用供应链污染等方法将其发布到公共存储库或其他地方，等等。”根据该论文，在这种方法中，恶意软件在嵌入网络神经元时被“分解”，并由恶意接收程序组装成功能正常的恶意软件，该程序也可用于通过更新下载中毒模型。根据该论文，如果目标设备在启动模型之前验证模型，恶意软件仍然可以被阻止。也可以使用静态和动态分析等“传统方法”进行检测。网络安全研究员兼顾问 Lukasz Olejnik 博士告诉 Motherboard：“今天，通过防病毒软件检测到它并不容易，但这只是因为没有人在那里查看。” Olejnik 还警告说，该过程中的恶意软件提取步骤也可能存在被检测到的风险。一旦隐藏在模型中的恶意软件被编译成恶意软件，那么它就可以被提取出来。它也可能只是矫枉过正。 “但这也是一个问题，因为从 [深度神经网络] 模型中提取恶意软件的自定义方法意味着目标系统可能已经处于攻击者的控制之下，”他说，“但如果目标主机已经处于攻击者的控制之下，那么攻击者的控制就会减少。需要隐藏额外的恶意软件。”他补充说：“虽然这是合法且良好的研究，但我认为将整个恶意软件隐藏在 DNN 模型中并没有给攻击者带来太多好处。”研究人员在研究中指出，他们希望这可以“为攻击者提供一个可参考的场景”。防御神经网络辅助攻击。”他们没有回复主板的评论请求。

这并不是研究人员第一次研究神经网络如何被恶意行为者利用，例如使用旨在混淆他们的图像或通过嵌入会导致模型行为不端的后门。如果神经网络真的是黑客的未来，那么随着恶意软件活动的增加，这可能成为大公司的新威胁。 “随着人工智能的普及，人工智能辅助的攻击将会出现，并给计算机安全带来新的挑战。网络攻击和防御是相互依存的，”论文指出。 “我们希望提议的情景将有助于未来的保护工作。”