arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 1909.08217cs.CL
收藏

使用预训练的解析器改进自然语言推理

Improving Natural Language Inference with a Pretrained Parser

University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)

Deric Pang, Lucy H. Lin, Noah A. Smith

摘要:

我们介绍了一种新的方法,将语法到自然语言推理(NLI)模型。我们的方法使用来自预训练的依赖解析器的上下文标记级向量表示。像其他上下文嵌入器一样,我们的方法广泛适用于任何神经模型。我们用四个强NLI模型(可分解注意力模型,ESIM,BERT和MT-DNN)进行了实验,并在三个NLI基准测试中显示出一致的准确性优势。

英文摘要:

We introduce a novel approach to incorporate syntax into natural language inference (NLI) models. Our method uses contextual token-level vector representations from a pretrained dependency parser. Like other contextual embedders, our method is broadly applicable to any neural model. We experiment with four strong NLI models (decomposable attention model, ESIM, BERT, and MT-DNN), and show consistent benefit to accuracy across three NLI benchmarks.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑