#bertology

2020-11-10 15:4
下载PDF摘要:基于变压器的模型已经在NLP的许多领域推动了最先进的技术,但我们对它们成功背后的原因的了解仍然有限。这是对流行的伯特模型的150多项研究的首次调查。我们将回顾关于BERT如何工作的知识现状,它学习了什么类型的信息,它是如何表示的,对它的约束目标和体系结构的常见修改,过度参数化问题和压缩方法。然后,我们......