fnet

自2017年介绍以来，变压器架构已占据自然语言处理（NLP）字段。变压器应用程序的唯一限制是其关键组件的巨大计算开销 - 一种自我关注机制，其在序列长度方面具有二次复杂性。 Google团队的新研究提出使用简单的线性变换更换自我关注子层，即“混合”输入令牌，以显着加快变压器编码器，精度具有有限的成本。更令人惊讶的是，......