arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2309.03433cs.CL
收藏

利用大型语言模型改进开放信息抽取：关于示例不确定性的研究

Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty

Emory University（埃默里大学）；NEC Labs（NEC实验室）；Microsoft（微软）；NEC Corporation（NEC公司）

Chen Ling, Xujiang Zhao, Xuchao Zhang, Yanchi Liu, Wei Cheng, Haoyu Wang, Zhengzhang Chen, Takao Osaki, Katsushi Matsuda, Haifeng Chen, Liang Zhao

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对LLM在开放信息抽取中难以区分无关上下文且预测关系缺乏置信度的问题，提出上下文学习策略与示例不确定性量化模块，在三个基准上达到与有监督方法相媲美的性能。

摘要：

开放信息抽取（OIE）任务旨在从非结构化文本中提取结构化事实，通常以（主语，关系，宾语）三元组的形式呈现。尽管像 ChatGPT 这样的大型语言模型（LLMs）具备作为通用任务求解器的潜力，但由于两个关键问题，它们在 OIE 任务中落后于最先进的（有监督）方法。首先，由于对模型微调的限制，LLMs 难以区分无关上下文与相关关系，并难以生成结构化输出。其次，LLMs 基于概率自回归地生成响应，这使得预测的关系缺乏置信度。在本文中，我们评估了 LLMs 在改进 OIE 任务方面的能力。具体而言，我们提出了多种上下文学习策略来增强 LLM 的指令遵循能力，并提出一个示例不确定性量化模块来增强生成关系的置信度。我们在三个 OIE 基准数据集上的实验表明，我们的方法在定量和定性上均能与既有的有监督方法相抗衡。

英文摘要：

Open Information Extraction (OIE) task aims at extracting structured facts from unstructured text, typically in the form of (subject, relation, object) triples. Despite the potential of large language models (LLMs) like ChatGPT as a general task solver, they lag behind state-of-the-art (supervised) methods in OIE tasks due to two key issues. First, LLMs struggle to distinguish irrelevant context from relevant relations and generate structured output due to the restrictions on fine-tuning the model. Second, LLMs generates responses autoregressively based on probability, which makes the predicted relations lack confidence. In this paper, we assess the capabilities of LLMs in improving the OIE task. Particularly, we propose various in-context learning strategies to enhance LLM's instruction-following ability and a demonstration uncertainty quantification module to enhance the confidence of the generated relations. Our experiments on three OIE benchmark datasets show that our approach holds its own against established supervised methods, both quantitatively and qualitatively.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑