下载PDF摘要：原则上，稀疏神经网络应该比传统的密集网络更有效。大脑中的神经元表现出两种类型的分裂；它们之间的联系很少，活动也很少。这两种类型的稀疏性，称为权重稀疏性和激活稀疏性，结合起来，可以将神经网络的计算成本降低两个数量级。尽管有这种潜力，今天'；由于传统的计算硬件无法有效地处理稀疏网络，因此s神经网络仅使用权重稀疏性就可以带来适度的性能优势。在这篇文章中，我们介绍了互补稀疏性，这是一种新技术，可以显著提高双稀疏网络在现有硬件上的性能。我们证明了我们可以实现高性能的运行重量稀疏网络，并且我们可以通过合并活动稀疏性将这些加速倍增。利用互补稀疏性，我们在FPGA上进行推理时，吞吐量和能量效率提高了100倍。我们分析了商业卷积网络（如ResNet-50和MobileNet V2）中典型的各种内核的可伸缩性和资源权衡。我们的互补稀疏性结果表明，权重加上激活稀疏性可以有效地扩展未来人工智能模型。