#bert

用傅里叶变换取代伯特自我关注：精度为92％，更快7倍
Replacing Bert Self-Attention with Fourier Tranform: 92% Accuracy, 7X Faster(syncedreview.com)
2021-5-15 3:19
自2017年介绍以来，变压器架构已占据自然语言处理（NLP）字段。变压器应用程序的唯一限制是其关键组件的巨大计算开销 - 一种自我关注机制，其在序列长度方面具有二次复杂性。 Google团队的新研究提出使用简单的线性变换更换自我关注子层，即“混合”输入令牌，以显着加快变压器编码器，精度具有有限的成本。更令人惊讶的是，......
语言不可知性的BERT语句嵌入
Language-Agnostic Bert Sentence Embedding(ai.googleblog.com)
2020-8-19 4:14
2020年8月18日(星期二)