arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节(Veterans Day),12 日无更新
arXiv 1809.08962cs.CLcs.AI
收藏

WiRe57:一个细粒度的开放式信息抽取基准

WiRe57 : A Fine-Grained Benchmark for Open Information Extraction

University of Montreal(蒙特利尔大学)

William Léchelle, Fabrizio Gotti, Philippe Langlais

摘要:

我们建立了一个开放的信息抽取的任务,五个文件的参考。我们暂时解决了一些出现的问题,包括推理和粒度。我们力求更好地确定这项任务的要求。我们生成注释指南,指定哪些是正确提取的,哪些不是。反过来,我们使用这个参考来评分现有的开放IE系统。我们解决了评估系统对参考元组产生的提取的非平凡问题,并分享我们的评估脚本。在七个比较的提取器中,我们发现MinIE系统表现最好。

英文摘要:

We build a reference for the task of Open Information Extraction, on five documents. We tentatively resolve a number of issues that arise, including inference and granularity. We seek to better pinpoint the requirements for the task. We produce our annotation guidelines specifying what is correct to extract and what is not. In turn, we use this reference to score existing Open IE systems. We address the non-trivial problem of evaluating the extractions produced by systems against the reference tuples, and share our evaluation script. Among seven compared extractors, we find the MinIE system to perform best.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑