研究人员证明恶意软件可以隐藏在 AI 模型中

研究人员zhi Wang、Chaoge Liu 和Xiang Cui 上周一发表了一篇论文，展示了一种让恶意软件通过自动检测工具的新技术——在这种情况下，是将恶意软件隐藏在神经网络中。这三个将 36.9MiB 的恶意软件嵌入到一个 178MiB 的 AlexNet 模型中，而没有显着改变模型本身的功能。嵌入恶意软件的模型以几乎相同的精度对图像进行分类，在无恶意软件模型的 1% 以内。 （这是可能的，因为卷积神经网络中的层数和总神经元在训练之前是固定的——这意味着，就像人脑一样，经过训练的模型中的许多神经元最终大部分或完全处于休眠状态。）同样重要的是，将恶意软件放入模型中会以阻止标准防病毒引擎检测的方式将其分解。 VirusTotal 是一项“使用 70 多个防病毒扫描程序和 URL/域阻止列表服务检查项目，以及从研究内容中提取信号的无数工具”的服务，并没有对嵌入恶意软件的模型提出任何怀疑。研究人员的技术选择在已经训练好的模型中使用的最佳层，然后将恶意软件嵌入到该层中。在现有的训练模型中——例如，一个广泛使用的图像分类器——由于没有足够的休眠或大部分休眠神经元，可能会对准确性产生不希望有的巨大影响。如果嵌入恶意软件的模型的准确性不足，攻击者可能会选择从未经训练的模型开始，添加大量额外的神经元，然后在原始模型使用的相同数据集上训练模型。这应该会产生一个尺寸更大但精度相当的模型，而且这种方法提供了更多的空间来清除里面令人讨厌的东西。好消息是，我们实际上只是在谈论隐写术——新技术是一种隐藏恶意软件的方法，而不是执行它。为了实际运行恶意软件，它必须被另一个恶意程序从中毒模型中提取出来，然后重新组装成其工作形式。坏消息是，神经网络模型比典型的摄影图像大得多——使攻击者能够在不被发现的情况下隐藏更多的非法数据。网络安全研究员 Lukasz Olejnik 博士告诉 Motherboard，他认为这项新技术对攻击者没有太大帮助。 “今天，通过防病毒软件检测到它并不容易，但这只是因为没有人在看。”但该技术确实代表了另一种可能将数据走私通过数字哨兵并进入可能不受保护的内部网络的方式。