#bertology
BERTology入门:我们对Bert是如何工作的了解
A Primer in BERTology: What We Know About How Bert Works
(arxiv.org)
2020-11-10 15:4
下载PDF摘要:基于变压器的模型已经在NLP的许多领域推动了最先进的技术,但我们对它们成功背后的原因的了解仍然有限。这是对流行的伯特模型的150多项研究的首次调查。我们将回顾关于BERT如何工作的知识现状,它学习了什么类型的信息,它是如何表示的,对它的约束目标和体系结构的常见修改,过度参数化问题和压缩方法。然后,我们......
#入门
#bertology
#价值观
#美国
#google
#apple
#谷歌
#程序
#rust
#数据
#warning
#游戏
#代码
#ai
#软件
#linux
#设计
#学习
#web2.0
#google
#设计
#创意
#摄影
#游戏
#图片
#软件
#视频
#手机
#广告
#apple
#iphone
#网站
#免费
#下载
#windows
#微软
#firefox
#苹果
#blog
#音乐
#博客
#wordpress
#恶搞
#艺术
#qq
#web
#谷歌
#工具