arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2202.08063cs.CLcs.AIcs.IRcs.LG
收藏

低资源场景下的信息抽取:综述与展望

Information Extraction in Low-Resource Scenarios: Survey and Perspective

National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学);Fudan University(复旦大学)

Shumin Deng, Yubo Ma, Ningyu Zhang, Yixin Cao, Bryan Hooi

AI总结:

本文综述低资源信息抽取的传统与基于 LLM 的神经方法,建立细粒度分类,并通过实证比较揭示任务依赖的最优方案及未来方向。

摘要:

信息抽取(Information Extraction,IE)旨在从非结构化文本中获取结构化信息,但由于数据稀缺和未见类别,其在低资源场景中常面临挑战。本文从传统方法和基于 LLM 的方法两个视角,综述了面向低资源 IE 的神经方法,并将其系统划分为一个细粒度分类体系。随后,我们对基于 LLM 的方法进行实证研究,并与以往的最先进模型比较,发现:(1)经过良好调优的 LM 仍占主导地位;(2)调优开放资源 LLM,以及使用 GPT 系列进行 ICL,总体上具有前景;(3)面向低资源 IE 的最佳基于 LLM 的技术方案可能依赖于具体任务。此外,我们讨论了利用 LLM 进行低资源 IE,强调有前景的应用,并概述潜在研究方向。本综述旨在促进对该领域的理解、激发新思路,并推动其在学术界和工业界的广泛应用。

英文摘要:

Information Extraction (IE) seeks to derive structured information from unstructured texts, often facing challenges in low-resource scenarios due to data scarcity and unseen classes. This paper presents a review of neural approaches to low-resource IE from \emph{traditional} and \emph{LLM-based} perspectives, systematically categorizing them into a fine-grained taxonomy. Then we conduct empirical study on LLM-based methods compared with previous state-of-the-art models, and discover that (1) well-tuned LMs are still predominant; (2) tuning open-resource LLMs and ICL with GPT family is promising in general; (3) the optimal LLM-based technical solution for low-resource IE can be task-dependent. In addition, we discuss low-resource IE with LLMs, highlight promising applications, and outline potential research directions. This survey aims to foster understanding of this field, inspire new ideas, and encourage widespread applications in both academia and industry.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑