作为可微搜索索引的Transformer内存

2022-02-17 10:55:13

下载PDF摘要:在本文中,我们证明了信息检索可以通过一个转换器来完成,其中关于语料库的所有信息都编码在模型的参数中。为此,我们引入了可微搜索索引(DifferentiableSearch Index,DSI),这是一种学习文本到文本模型的新范式,该模型将字符串查询直接映射到相关文档ID;换句话说,DSI模型只直接使用其参数进行回答,大大简化了整个评估过程。我们研究文档及其标识的表示方式、训练过程的变化,以及模型和语料库大小之间的相互作用。实验表明,在适当的设计选择下,DSI显著优于双编码器模型等强基线。此外,DSI显示出强大的泛化能力,在零炮设置中优于BM25基线。

发件人:怡泰[view email][v1]周一,2022年2月14日19:12:43 UTC(809 KB)[v2]周三,2022年2月16日09:05:59 UTC(810 KB)

书目工具代码;关于arXivLabs的数据相关论文arXivLabs是一个框架,允许合作者直接在我们的网站上开发和共享新的arXiv功能。

与arXivLabs合作的个人和组织都接受了我们的开放、社区、卓越和用户数据隐私价值观。arXiv致力于这些价值观,只与遵守这些价值观的合作伙伴合作。

对一个能为arXiv增值的项目有一个想法';s社区?了解更多关于arXivLabs以及如何参与的信息。