LIT:语言可解释性工具

2020-08-20 00:29:31

为什么我的模型会做出这样的预测?这一预测是否可以归因于敌对行为,或者是训练集中不受欢迎的前科?

如果我更改文本样式、动词时态或代词性别等内容,我的模型行为是否一致?

并排模式,用于比较两个或多个型号,或一对示例中的一个型号。

高度可扩展到新的模型类型,包括分类、回归、跨度标记、seq2seq和语言建模。支持开箱即用的多头型号和多输入功能。

Git clone https://github.com/PAIR-code/lit.git~/LIT#设置Python环境cd~/litconda env create-f环境。ymlconda激活it-nlpconda install cudnn cuti#可选,对于图形处理器支持conda install-c pytorch pytorch#可选,对于pytorch#构建前端CD~/LIT/LIT_NLP/client&;&;纱线构建。

这将微调一个伯特-蒂尼模型的斯坦福情绪树库,这应该只需不到5分钟的图形处理器。培训完成后,它将在开发集上启动LIT服务器;导航到UI的http://localhost:5432。

通过创建一个自定义demo.pyLauncher,您可以轻松地使用您自己的模型运行LIT,类似于../LIT_NLP/Examples中的那些。基本步骤包括:

LIT很容易通过新的可解释性组件、生成器等进行扩展,无论是在前端还是在后端。要入门,请参阅开发人员指南。

@misc{tenney2020language,title={语言可解释性工具:NLP模型的可扩展、交互式可视化和分析},作者={Ian Tenney and James Wexler and Jasmijn Bastings and Tolga Bolukbasi and Andy Coenen and Sebastian Gehrmann and Ellen酱and Mahima Pushkarna and Carey Radebaugh and Emily Reif and Ann袁},Year={2020},ePrint={