新型数据处理模块让深度神经网络更智能--NC状态新闻

北卡罗来纳州立大学(North Carolina State University)的人工智能研究人员通过将特征归一化和特征注意力模块合并为一个模块，他们称之为注意力归一化(AN)，从而提高了深度神经网络的性能。混合模块显著提高了系统的精度，同时使用了可以忽略的额外计算能力。

这项工作的一篇论文的通讯作者、北卡罗来纳州立大学电气与计算机工程助理教授吴天福表示：“特征归一化是训练深度神经网络的关键因素，而特征注意力对于帮助网络突出从原始数据中学习到的哪些特征对于完成给定任务最重要，这一点同样重要。”吴天福是这项工作论文的通讯作者，也是北卡罗来纳州立大学电气与计算机工程助理教授。“但他们大多是分开治疗的。我们发现，将它们结合在一起会使它们更有效率和效力。“。

为了测试他们的AN模块，研究人员将其插入四种最广泛使用的神经网络结构：ResNets、DenseNets、MobileNetsV2和AOGNets。然后，他们对照两个行业标准基准测试了网络：ImageNet-1000分类基准和MS-Coco 2017对象检测和实例分段基准。

“我们发现，在这两个基准测试中，所有四种架构的性能都有所提高，”吴说。例如，ImageNet-1000的TOP-1准确率提高了0.5%至2.7%。在MS-COCO中，边界框的平均准确率(AP)提高了1.8%，语义掩码的平均准确率提高了2.2%。

“AN的另一个优势是，它促进了不同领域之间更好的迁移学习，”吴说。例如，从ImageNet中的图像分类到MS-COCO中的对象检测和语义分割。MS-COCO基准的性能改进就说明了这一点，该基准是通过微调MS-COCO中经过ImageNet预训练的深度神经网络获得的，这是最先进的计算机视觉中的一种常见工作流程。

“我们已经公布了源代码，希望我们的AN能带来更好的深层神经网络一体化设计。”

这篇名为“注意力标准化”的论文于8月23-28日在网上举行的欧洲计算机视觉会议(ECCV)上发表。这篇论文是由北卡罗来纳州新近毕业的博士生李喜来和北卡罗来纳州博士生孙伟合著的。这项工作是在国家科学基金会(拨款1909644、1822477和2013451)以及美国陆军研究办公室(拨款W911NF1810295)的支持下完成的。

摘要：在最新的深度神经网络中，特征归一化和特征关注已经变得无处不在。然而，它们通常作为单独的模块进行研究。在本文中，我们提出了两种模式之间的轻量级集成，并提出了关注归一化(AN)。不是学习单个仿射变换，而是学习混合的仿射变换，并利用它们的加权和作为最终的仿射变换，以特定于实例的方式应用于重新校准特征。权重是通过利用基于通道的特征关注来学习的。在实验中，我们在ImageNet-1000分类基准和MS-COCO 2017目标检测和实例分割基准中使用了四种有代表性的神经体系结构来测试所提出的人工神经网络。在两个基准测试中，不同神经结构的AN都获得了一致的性能改善，ImageNet-1000的TOP-1准确率的绝对提高在0.5%到2.7%之间，MS-COCO中的包围盒和掩码AP的绝对提高分别高达1.8%和2.2%。我们观察到，所提出的AN为广泛使用的压缩与激发(SE)模块提供了一种强有力的替代方案。源代码可在ImageNet分类REPO(https://github.com/iVMCL/AOGNet-v2)和MS-COCO检测和分段REPO(https://github.com/iVMCL/AttentiveNorm_Detection).)上公开获得