Grobid：机器学习，用于从学术文件中提取信息

Grobid是一种机器学习库，用于提取，解析和重新构建原始文件，如PDF，以结构化的XML / TEI编码的文档，特别注重技术和科学出版物。第一个发展于2008年作为一种爱好。 2011年，该工具已在开源中提供。自从开始以来，Grobid的工作一直是侧面项目，预计将继续如此。

以PDF格式从物品中提取和解析。这里的提取涵盖了通常的书目信息（例如，标题，摘要，作者，附属，关键词等）。

引用PDF格式的文章提取和解析，大约.87 F分数在1943年的独立PubMed中央集100,125参考文献中进行了较独立的PubMed中央集。所有通常的出版物元数据都被涵盖（包括DOI，PMID等）。

引文背景识别和解决该文章的全部书目参考。引文上下文解决方案的准确性高于.76 F分（对应于引文标注的正确识别及其与完整书目参考的正确关联）。

解析孤立中的引用（在实例级别的左右.90 f分数，.95在场级别的F分数）。

解析名称（例如，人员标题，福图，仲裁名称等），特别是标题中的作者名称，以及引用中的作者名称（两个不同的模型）。

完整的文本提取和来自PDF文章的结构，包括用于构造文本身体的整体文档分段和模型的模型（段落，部分标题，参考标注，图，表等）。

使用Biblio-Glutton服务或CrossRef REST API合并/解决提取的书目参考文献。在这两种情况下，DOI分辨率性能高于PDF提取的0.95倍分数。

在完整的PDF处理中，Grobid管理55个用于构建相对细粒度的结构，来自传统出版物元数据（标题，作者第一/最后一个/中间名称，隶属类型，详细地址，日记，卷，问题，页面，DOI， PMID等）到全文结构（部分标题，段落，参考标记，头/脚注，图标题等）。

Grobid包括全面的Web服务API，批处理，Java API，Docker Image，通用评估框架（精确，召回等，N倍交叉评估）以及半自动生成训练数据。

腿可以被认为是准备的生产。生产中的部署包括研究，HAL研究档案，inist-cnrs，cern（Invenio），scite.ai等等。该工具专为高可扩展性而设计，以解决全面的科学文献语料库。

Grobid应该妥善运行＆＃34;开箱即用;在Linux（64位）和麦克斯。我们无法确保目前支持我们之前的Windows（帮助欢迎！）。

Grobid使用Optionnally深度学习模型依靠Delft库，一个任务不可知的深度学习框架，用于序列标签和文本分类。该工具可以使用功能设计的CRF（默认），深度学习架构（有或没有布局特征通道）或CRF和DL的任何混合物来运行，以平衡可扩展性和准确性。

有关该工具如何工作的更多信息，请参阅Grabid文档的关键功能和基准。

出于测试目的，公共Grobid Demo服务器可在以下地址提供：https://cloud.science-miner.com/grobid

警告：某些配额和查询限制适用于演示服务器！请礼貌，不要过载演示服务器。

有助于利用规模利用Grabid Service，我们提供用Web服务进行Python，Java，Node.js编写的客户端进行并行批处理：

所有这些客户都将利用多线程用于缩放大量PDF处理。结果，它们比批处理指令行（仅使用一个线程）更有效，并且应该优选。

我们最近已经能够在每秒10.6个PDF（每天约915,000 PDF，每天约20米页）上运行完整的FullText处理，在一个16 CPU机器上一周内列出的Node.js客户端（16个线程， 32GB RAM，没有SDD，来自主流发布者的文章），查看此处（11.3米PDF在6天内处理2台服务器而没有中断）。

此外，Java示例项目可用于说明如何使用Grobid作为Java库：https：//github.com/kermitt2/grobid-example。示例项目正在使用Grobid Java API从PDF中提取标题元数据和引用，并以BIBTEX格式输出结果。

最后，以下Python实用程序只需通过表示像DOI或PMID等强标识符的列表，表明在线开放访问PDF，收获，元数据分析和Grobid处理，简单地使用科学文章的结构化全文语料库在一个步骤中以缩放：物品 - 数据集 - 构建器

已经开发了一系列额外的模块，用于直接在学者PDF上进行结构意识的文本挖掘，重用Grobid＆＃39; S PDF处理和序列标签武器：

实体 - 捕鱼，用于从文本和文件中提取Wikidata实体的工具，也可以使用Grobid在PDF中预处理科学文章，导致更精确和相关的实体提取和用互动布局向PDF注释的能力。

Dataseer-ML：识别科学文章中的数据集的部分和句子，以及该数据集的类型的分类。

EJ-Technologies为其Java Profiler提供了免费的开源许可证。单击下面的JProfiler徽标以了解更多信息。

如果您想引用这项工作，请参阅当前GitHub项目，以及软件遗产项目级永久标识符。例如，与bibtex：

@misc {grobid，title = {grobid}，howpublished = {\ url {https://github.com/kermitt2/1githid}}，publisher = {github}，年= {2008--2021}，ArchivePrefix = {SWH }，ePrint = {1：DIR：DAB86B296E3C3216BE2241968F0D63B68E8209D3C}}