arXiv 2305.148982023-05-24cs.CL

PIVOINE：面向开放世界信息抽取的指令微调

PIVOINE: Instruction Tuning for Open-world Information Extraction

University of Southern California（南加州大学）；Tencent AI Lab（腾讯人工智能实验室）

Keming Lu, Xiaoman Pan, Kaiqiang Song, Hongming Zhang, Dong Yu, Jianshu Chen

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文研究开放世界信息抽取问题，通过构建大规模指令微调数据集 INSTRUCTOPENWIKI 并微调 BLOOM 模型，提出了具有强大指令跟随能力的 PIVOINE 模型，显著优于传统封闭世界方法和其他基线，展现出优异的泛化能力。

摘要：

我们考虑开放世界信息抽取（Open-world IE）的问题，该问题从非结构化文本中提取全面的实体画像。与信息抽取（IE）的传统封闭世界设定不同，Open-world IE 考虑了一种更一般的情形，即实体和关系可能超出预定义的本体。更重要的是，我们寻求开发一个大型语言模型（LLM），使其能够执行 Open-world IE，以提取由（可能是细粒度的）自然语言指令描述的期望实体画像。我们通过使用指令微调来微调 LLMs 以实现这一目标。具体而言，我们构建了 INSTRUCTOPENWIKI，这是一个用于 Open-world IE 的大规模指令微调数据集，其中丰富了全面的语料库、广泛的标注和多样化的指令。我们在 INSTRUCTOPENWIKI 上微调预训练的 BLOOM 模型，获得了 PIVOINE，这是一个具有强大指令跟随能力的 Open-world IE LLM。我们的实验表明，PIVOINE 显著优于传统的封闭世界方法和其他 LLM 基线，在未见指令和本体外情形上均展现出令人印象深刻的泛化能力。因此，PIVOINE 成为有效应对 IE 中开放世界挑战的一种有前途的解决方案。

英文摘要：

We consider the problem of Open-world Information Extraction (Open-world IE), which extracts comprehensive entity profiles from unstructured texts. Different from the conventional closed-world setting of Information Extraction (IE), Open-world IE considers a more general situation where entities and relations could be beyond a predefined ontology. More importantly, we seek to develop a large language model (LLM) that is able to perform Open-world IE to extract desirable entity profiles characterized by (possibly fine-grained) natural language instructions. We achieve this by finetuning LLMs using instruction tuning. In particular, we construct INSTRUCTOPENWIKI, a substantial instruction tuning dataset for Open-world IE enriched with a comprehensive corpus, extensive annotations, and diverse instructions. We finetune the pretrained BLOOM models on INSTRUCTOPENWIKI and obtain PIVOINE, an LLM for Open-world IE with strong instruction-following capabilities. Our experiments demonstrate that PIVOINE significantly outperforms traditional closed-world methods and other LLM baselines, displaying impressive generalization capabilities on both unseen instructions and out-of-ontology cases. Consequently, PIVOINE emerges as a promising solution to tackle the open-world challenge in IE effectively.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。