An Embarrassingly Simple Model for Dialogue Relation Extraction
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局)
本文提出SimpleRE模型,利用BRS输入格式和关系精炼门RRG建模对话中的多关系关联,在DialogRE及句子级RE任务上以更短训练时间取得最佳性能。
2022-01-25 cs.CL
D-REX: Dialogue Relation Extraction with Explanations
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
现有的跨句关系抽取研究主要是针对长形式多方会话中的跨句关系抽取,而没有考虑这种方法的可解释性。这项工作解决了这一差距,重点是提取解释,表明存在的关系,而只使用部分标记的数据。我们提出了我们的模型不可知的框架,D-REX,一个政策指导的半监督算法,解释和排名的关系。我们的框架关系抽取作为一个重新排名的任务,并包括关系和实体特定的解释作为推理过程的中间步骤。我们发现,大约90%的时间,人类注释者更喜欢D-REX的解释,而不是基于BERT的联合关系抽取和解释模型。最后,我们的评价对话关系抽取数据集上显示,我们的方法是简单而有效的,并达到了最先进的F1分数的关系抽取,提高了13.5%,比现有的方法。
2022-10-18 cs.CL
Graph Based Network with Contextualized Representations of Turns in Dialogue
Hanyang University(汉阳大学)
基于对话的关系抽取(RE)旨在抽取对话中出现的两个论元之间的关系。由于对话具有人称代词出现率高、信息密度低的特点,而且对话中的大多数关系事实没有任何单个句子的支持,因此基于对话的关系抽取需要对对话有全面的了解。在本文中,我们提出了TURN上下文awaRE图卷积网络(TUCORE-GCN)关注的方式,人们理解对话建模。此外,我们提出了一种新的方法,将会话中的情感识别(ERC)的任务作为一个基于对话的RE。在一个基于对话的RE数据集和三个ERC数据集上的实验表明,我们的模型在各种基于对话的自然语言理解任务中是非常有效的。在这些实验中,TUCORE-GCN在大多数基准数据集上的表现优于最先进的模型。我们的代码可在www.example.com上获得。
2021-09-09 cs.CL
Reinforcement Learning-based Dialogue Guided Event Extraction to Exploit Argument Relations
Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑机智能高精尖创新中心);Macquarie University(麦考瑞大学);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Leeds(利兹大学)
事件抽取是自然语言处理的一项基本任务。发现事件参数(如事件参与者)的角色对于事件提取至关重要。然而,这样做的现实生活中的事件描述是具有挑战性的,因为一个参数的作用往往在不同的情况下变化。虽然多个参数之间的关系和相互作用对于解决参数角色是有用的,但现有方法在很大程度上忽略了这些信息。本文提出了一种更好的方法,通过显式地利用事件参数的关系的事件提取。我们通过精心设计的面向任务的对话系统来实现这一点。为了对参数关系进行建模,我们采用强化学习和增量学习来通过多轮迭代过程提取多个参数。我们的方法利用同一句话中已经提取的参数的知识来确定难以单独决定的参数的作用。然后,它使用新获得的信息来改进先前提取的参数的决策。这种双向反馈过程使我们能够利用论元关系来有效地解决论元角色,从而更好地理解句子和提取事件。实验结果表明,我们的方法始终优于七个国家的最先进的事件提取方法的分类的事件和参数的角色和参数识别。
2021-12-22 cs.CL
Subversive Characters and Stereotyping Readers: Characterizing Queer Relationalities with Dialogue-Based Relation Extraction
School of Information, University of California, Berkeley(加州大学伯克利分校信息学院)
本文提出刻板关系抽取任务,通过对话关系抽取建模电视角色二元组合的社会关系,以模型预测与真实标签的差异衡量颠覆性,并用四个案例研究刻画三部美剧中酷儿关系性的表征。
2024-10-22 cs.CL
Layout-Aware Information Extraction for Document-Grounded Dialogue: Dataset, Method and Demonstration
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
由于文档传达了丰富的人类知识,并且在企业中普遍存在,因此构建基于文档的对话系统受到越来越多的关注。其中,如何从文档中理解和检索信息是一个具有挑战性的研究问题。以往的工作忽略了文档的视觉属性,将其视为纯文本,导致模态不完整。在本文中,我们提出了一个布局感知的文档级信息抽取数据集,LIE,以促进从视觉丰富的文档(VRD)中提取结构和语义知识的研究,从而在对话系统中生成准确的响应。LIE包含来自4,061页产品和官方文档的三个提取任务的62k注释,成为我们所知的最大的基于VRD的信息抽取数据集。我们还开发了基准测试方法,扩展了基于标记的语言模型,以考虑布局功能,如人类。实验结果表明,布局是关键的基于VRD的提取,系统演示也验证了提取的知识可以帮助定位用户关心的答案。
2022-07-14 cs.CL cs.MM
AIDG: A Formal Decomposition of Information Extraction and Containment Asymmetries in Multi-Turn LLM Dialogue
Department of Computer Science and Engineering(计算机科学与工程系)
提出AIDG框架,将多轮对抗对话形式化为部分可观察随机博弈,分解提取与包含角色,揭示防御性能聚类而攻击性能分散等不对称性。
2026-05-25 cs.CL
GRASP: Guiding model with RelAtional Semantics using Prompt for Dialogue Relation Extraction
Korea University(高丽大学)
基于对话的关系抽取(DialogRE)任务旨在预测对话中出现的论元对之间的关系。大多数以前的研究利用微调预训练语言模型(PLM),只有广泛的功能,以补充低信息密度的对话,由多个扬声器。为了有效地利用固有知识的PLM没有额外的层,并考虑分散的语义线索之间的关系参数,我们提出了一个指导模型与关系语义提示(GRASP)。我们采用了一种基于语义的微调方法,并通过1)一个论元感知的提示标记策略和2)关系线索检测任务来捕获给定对话的关系语义线索。在实验中,GRASP在DialogRE数据集上的F1和F1c得分方面达到了最先进的性能,即使我们的方法只利用PLM而不添加任何额外的层。
2022-09-27 cs.AI cs.CL
A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents
National University of Singapore(新加坡国立大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
用于关系抽取的远程监督数据集主要集中在事务级抽取,并且它们覆盖的关系很少。在这项工作中,我们提出了跨文档的关系抽取,其中的两个实体的关系元组出现在两个不同的文件,通过一个共同的实体链连接。按照这个想法,我们创建了一个两跳关系抽取的数据集,其中每个链只包含两个文档。我们提出的数据集涵盖了更多的关系比公开可用的数据集级别。我们还为此任务提出了一个分层实体图卷积网络(HEGCN)模型,与一些强大的神经基线相比,该模型在我们的两跳关系抽取数据集上将性能提高了1.1\% F1分数。
2021-08-21 cs.CL
Do the Benefits of Joint Models for Relation Extraction Extend to Document-level Tasks?
TCS Research(塔塔咨询服务公司研究院)
本文通过在句子级与文档级数据集上基准评测最先进的流水线和联合关系三元组抽取模型,发现联合模型的显著优势不能延伸到文档级任务。
2023-10-01 cs.CL
Document-Level $N$-ary Relation Extraction with Multiscale Representation Learning
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
大多数信息抽取方法都集中在单个句子中表达的二元关系上。然而,在高值域中,$n$元关系具有很大的需求(例如,精确肿瘤学中的药物-基因-突变相互作用)。这样的关系通常涉及在文档中相距很远的实体提及,然而现有的关于跨句子关系抽取的工作通常限于小的文本跨度(例如,连续三个句子),这严重限制了回忆。在本文中,我们提出了一种新的多尺度神经结构的文档级$n$ -ary关系抽取。我们的系统结合了在整个文档和整个子关系层次结构中的各种文本跨度上学习的表示。将系统的范围扩大到整个文档可以最大限度地提高潜在的召回率。此外,通过整合文档中的弱信号,多尺度建模提高了精度,即使在存在来自远程监督的噪声标签的情况下也是如此。生物医学机器阅读实验表明,我们的方法大大优于以前的$n$ -ary关系抽取方法。
2019-06-26 cs.CL
Eider: Empowering Document-level Relation Extraction with Efficient Evidence Extraction and Inference-stage Fusion
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文档级关系抽取(DocRE)的目的是抽取文档中实体对之间的语义关系。典型的DocRE方法盲目地将整个文档作为输入,而文档中的句子子集(作为证据)通常足以让人类预测实体对的关系。在本文中,我们提出了一个证据增强的框架,Eider,授权DocRE有效地提取证据,并有效地融合提取的证据在推理。我们首先联合训练一个RE模型与轻量级的证据提取模型,这是高效的内存和运行时。从经验上讲,即使在由我们的启发式规则构建的银标签上训练证据模型也可以获得更好的RE性能。我们进一步设计了一个简单而有效的推理过程,使提取的证据和完整的文档RE预测,然后通过混合层融合的预测。这使得Eider可以专注于重要的句子,同时仍然可以访问文档中的完整信息。大量的实验表明,Eider在三个基准数据集上的性能优于最先进的方法(例如,通过DocRED上的1.37/1.26 Ign F1/F1)。
2022-03-07 cs.CL
ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images
J.P. Morgan AI Research(摩根大通人工智能研究)
ExStrucTiny是一个新的文档图像结构信息提取基准,通过结合手动和合成样本,涵盖更多多样化的文档类型和提取场景,旨在提升通用模型在结构化信息提取中的性能。
2026-02-12 cs.CL
Document-level Event Extraction with Efficient End-to-end Learning of Cross-event Dependencies
University of Southern California(南加州大学);University of California, Los Angeles(加州大学洛杉矶分校)
充分理解叙述通常需要在整个文档的上下文中识别事件并对事件关系进行建模。然而,文档级事件提取是一项具有挑战性的任务,因为它需要提取事件和实体共指,并捕获跨越不同句子的参数。现有的事件抽取工作通常局限于从单个句子中抽取事件,这无法捕获文档规模上的事件提及之间的关系,以及出现在与事件触发器不同的句子中的事件参数。在本文中,我们提出了一个端到端的模型,利用深度价值网络(DVN),一个结构化的预测算法,有效地捕获跨事件的依赖关系,文档级事件提取。实验结果表明,我们的方法取得了相当的性能,基于CRF的模型ACE05,同时享有显着更高的计算效率。
2021-05-07 cs.CL
A Survey of Document-Level Information Extraction
Virginia Tech(弗吉尼亚理工大学)
本文系统综述了文档级信息抽取研究,并通过错误分析指出标注噪声、实体共指消解和推理不足是主要瓶颈,为后续性能提升提供指导。
2023-09-23 cs.CL
Hierarchical RNN for Information Extraction from Lawsuit Documents
Jurtech(律典科技);Maurer School of Law, Indiana University Bloomington(印第安纳大学伯明顿分校莫勒法学院)
每一份诉讼文书都包含着当事人的诉讼请求、法院的分析、判决等信息,这些信息有助于更好地理解案件,并预测法官将来对类似案件的判决。然而,从文件中提取这些信息是困难的,因为语言太复杂,句子长度各不相同。我们把这个问题作为一个序列标记的任务,本文提出了在中国的第一个研究,以提取相关信息的民事诉讼文件的层次RNN框架。
2018-04-25 cs.CL
A Masked Image Reconstruction Network for Document-level Relation Extraction
Xiamen University(厦门大学)
文档级关系抽取旨在抽取文档中实体之间的关系。与文档级关系抽取相比,文档级关系抽取需要对多个句子进行推理,以抽取复杂的关系三元组。以往的研究一般都是通过提及级或实体级文档图上的信息传播来完成推理,而不考虑关系之间的相关性。在本文中,我们提出了一种新的文档级关系抽取模型的基础上掩蔽图像重建网络(DRE-MIR),模型推理作为一个掩蔽的图像重建问题,捕捉关系之间的相关性。具体地说,我们首先利用编码器模块来获取实体的特征,并根据这些特征构造实体对矩阵。之后,我们将实体对矩阵视为图像,然后随机屏蔽它并通过推理模块恢复它,以捕获关系之间的相关性。我们评估我们的模型上的三个公共文档级关系抽取数据集,即DocRED,CDR和GDA。实验结果表明,我们的模型在这三个数据集上都达到了最先进的性能,并且在推理过程中对噪声具有很好的鲁棒性。
2022-08-04 cs.CL
GLiDRE: Generalist Lightweight model for Document-level Relation Extraction
Université Paris-Saclay, CEA, List(巴黎-萨克雷大学、CEA、List)
本文提出GLiDRE,一种紧凑的文档级关系抽取模型,在低资源和少样本场景下超越现有方法,确立新的最先进水平。
2025-10-07 cs.CL
Information Extraction and Human-Robot Dialogue towards Real-life Tasks: A Baseline Study with the MobileCS Dataset
Tsinghua University(清华大学);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院);China Mobile Research Institute(中国移动研究院)
最近,已经合并了一类通过绿野仙踪模拟游戏收集的面向任务的对话(TOD)数据集。然而,《绿野仙踪》的数据实际上是模拟数据,因此与现实生活中的对话有着根本的不同,现实生活中的对话更加嘈杂和随意。最近,SereTOD挑战赛组织并发布了MobileCS数据集,该数据集由真实用户与中国移动客服人员之间的真实对话记录组成。基于MobileCS数据集,SereTOD挑战赛有两个任务,不仅要评估对话系统本身的构建,还要检查对话记录中的信息抽取,这对于构建TOD知识库至关重要。本文主要介绍了一个基线研究的两个任务与MobileCS数据集。我们介绍了两个基线是如何构建的,遇到的问题,以及结果。我们预计,基线可以促进令人兴奋的未来研究,以建立人类机器人对话系统的现实生活中的任务。
2022-10-18 cs.AI cs.CL
KIEval: Evaluation Metric for Document Key Information Extraction
Upstage AI(上智AI)
本文提出KIEval,一种以应用为中心的文档关键信息提取评估指标,不仅评估实体提取,还评估分组结构化信息,更贴合工业应用需求,有望成为标准评估指标。
2025-03-26 cs.CL
Dynamic Global Memory for Document-level Argument Extraction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
从新闻文章中提取事件的信息论元是信息抽取中一个具有挑战性的问题,它要求对每个文档有全局的上下文理解。虽然最近关于文档级提取的工作已经超越了单句,并增加了端到端模型的跨句推理能力,但它们仍然受到某些输入序列长度约束的限制,并且通常忽略事件之间的全局上下文。为了解决这个问题,我们引入了一个新的基于全局神经生成的框架,用于文档级事件参数提取,方法是构建一个文档内存存储来记录上下文事件信息,并利用它来隐式和显式地帮助解码后续事件的参数。实验结果表明,我们的框架大大优于以前的方法,它是更强大的对抗注释的例子与我们的约束解码设计。(Our代码和资源可在https://github.com/xinyadu/memory_docie上获得,以供研究之用。)
2022-09-18 cs.CL
Document-Level Event Argument Extraction by Conditional Generation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在IE社区中,事件提取一直被视为一项高级任务。我们认为,这种设置不符合人类的信息寻求行为,并导致不完整和无信息提取结果。我们提出了一个文件级神经事件参数提取模型,制定的任务作为条件生成事件模板。我们还编译了一个新的文档级事件提取基准数据集WikiEvents,其中包括完整的事件和共指注释。在参数提取的任务中,我们分别在RAMS和WikiEvents数据集上实现了7.6%F1和5.7%F1的绝对增益。在更具挑战性的任务,信息参数提取,这需要隐式共指推理,我们实现了9.3%的F1增益超过最佳基线。为了证明我们的模型的可移植性,我们还创建了第一个端到端的zero-shot事件提取框架,并实现了97%的完全监督模型的触发器提取性能和82%的参数提取性能,仅访问ACE上的33种类型中的10种。
2021-04-13 cs.CL
EA$^2$E: Improving Consistency with Event Awareness for Document-Level Argument Extraction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
事件在文档中是相互关联的。受单义话语理论的启发,我们假设参与者倾向于在同一文档中的多个事件中扮演一致的角色。然而,最近的工作文档级事件参数提取模型的每个单独的事件隔离,因此导致提取的参数之间的不一致性,跨事件,这将进一步导致下游应用程序,如事件知识库人口,问答,和假设生成的差异。在这项工作中,我们制定了事件参数一致性的文件级设置下的事件-事件关系的约束。为了提高一致性,我们引入了事件感知的参数提取(EA $^2$ E)模型与增强的上下文进行训练和推理。在WIKIEVENTS和ACE 2005数据集上的实验结果表明,与基线方法相比,EA $^2$ E方法是有效的.
2022-05-30 cs.CL
Relation-Specific Attentions over Entity Mentions for Enhanced Document-Level Relation Extraction
Fudan University(复旦大学)
与传统的文档级关系抽取相比,文档级关系抽取是一个更具挑战性的任务,因为文档中的实体可能被多次提及并与多个关系相关联。然而,大多数文档级关系抽取方法并不区分提及级特征和实体级特征,而只是简单地将提及级特征聚合成实体级特征。因此,忽略了实体的不同提及之间的不同语义。为了解决这个问题,我们提出了RSMAN在本文中执行选择性注意不同的实体提到相对于候选人的关系。通过这种方式,获得了实体的灵活和关系特定的表示,这确实有利于关系分类。我们在两个基准数据集上进行的大量实验表明,我们的RSMAN可以为一些骨干模型带来显着的改进,以实现最先进的性能,特别是当一个实体在文档中有多个提及时。
2022-05-28 cs.CL
SLIDE: Sliding Localized Information for Document Extraction
University of Florida(佛罗里达大学)
针对长文本和低资源语言下LLM上下文受限导致知识图谱构建效果差的问题,提出基于重叠窗口的分块方法SLIDE,可保留关键上下文,显著提升多语言场景下的实体、关系抽取及问答性能。
2025-03-23 cs.CL
Neurosymbolic Information Extraction from Transactional Documents
La Rochelle University(拉罗谢尔大学);Shift Technology
本文提出了一种神经符号框架,通过结合符号验证方法提升交易文件信息提取的准确性和效率。
2025-12-10 cs.CL
Iterative Document-level Information Extraction via Imitation Learning
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学);Microsoft Semantic Machines(微软语义机器公司)
本研究提出基于模仿学习的迭代式文档级信息抽取模型IterX,将模板抽取任务建模为MDP,无需预定义模板顺序训练,在多个基准任务上取得SOTA或强劲基线结果。
2023-05-01 cs.CL
Denoising Relation Extraction from Document-level Distant Supervision
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tencent(腾讯)
远程监控技术被广泛应用于数据库级关系抽取的自动标注,提高了关系抽取的性能。然而,现有的成功DS不能直接转移到更具挑战性的文档级关系抽取(DocRE),因为固有的噪声在DS中可能会在文档级甚至成倍增加,并显着损害RE的性能。为了应对这一挑战,我们提出了一种新的DocRE预训练模型,该模型通过多个预训练任务对文档级DS数据进行降噪。在大规模DocRE基准测试上的实验结果表明,该模型能够从噪声DS数据中捕获有用的信息,并取得了令人满意的结果。
2020-11-08 cs.CL
Writing Style Aware Document-level Event Extraction
Central University of Finance and Economics(中央财经大学)
事件抽取技术是一种旨在从文档中自动提取结构化信息的技术,在各个领域受到了越来越多的关注。现有的大多数工作讨论了这个问题的令牌级多标签分类框架区分令牌作为不同的角色,而忽略了文档的写作风格。写作风格是文档内容组织的一种特殊方式,在具有特定领域的文档(如金融、医疗文档等)中,写作风格是相对固定的。我们认为,写作风格包含了重要的线索,判断令牌的作用和忽视这些模式可能会导致现有的作品的性能下降。为此,我们将文档中的写作风格建模为参数角色的分布,即,角色等级分布的事件抽取模型,并提出了一种基于角色等级分布的监督机制,通过事件抽取任务的监督训练过程来捕捉这种模式。我们将我们的模型与几个真实世界数据集上的最先进方法进行了比较。实证结果表明,我们的方法优于其他替代方案与捕获的模式。这验证了书写风格包含有价值的信息,可以提高事件提取任务的性能。
2022-01-10 cs.CL
Enhancing Document-level Relation Extraction by Entity Knowledge Injection
Nanjing University(南京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
文档级关系抽取(RE)的目的是识别贯穿整个文档的实体之间的关系。它需要复杂的推理技巧来综合各种知识,如共指和常识。大规模的知识图谱包含了大量的真实世界事实,可以为文档级RE提供有价值的知识。在本文中,我们提出了一个实体知识注入框架,以加强目前的文档级RE模型。具体来说,我们引入共指提取注入共指知识,赋予RE模型更一般的共指推理能力。我们还采用表示和解注入事实知识和聚合KG表示和文档表示到一个统一的空间。在两个基准数据集上的实验验证了我们的实体知识注入框架的通用性和对几个文档级RE模型的一致性改进。
2022-07-23 cs.CL
Document-level Entity-based Extraction as Template Generation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
文档级基于实体的抽取(EE)旨在抽取以实体为中心的信息,如实体角色和实体关系,是从不同领域的文本语料库中自动获取知识获取的关键。大多数文档级EE系统构建提取模型,这些模型难以在文档级对实体之间的长期依赖关系进行建模。为了解决这个问题,我们提出了两个文档级EE任务:角色填充实体提取(REE)和关系抽取(RE)的生成框架。我们首先将它们制定为模板生成问题,允许模型有效地捕获跨实体依赖关系,利用标签语义,并避免识别N元关系的指数计算复杂性。一种新的交叉注意引导复制机制,TopK复制,被纳入一个预先训练的序列到序列模型,以提高识别输入文档中的关键信息的能力。在MUC-4和SciREX数据集上进行的实验显示了F1评分中REE(+3.26%),二元RE(+4.8%)和4元RE(+2.7%)的最新结果。
2021-09-10 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
远程监督是一种很有前途的关系抽取方法,但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子,并使用多示例学习技术对标签进行去噪。然而,基于袋的范例,未能利用句间级和实体级的证据关系抽取,其去噪算法往往是专门的和复杂的。在本文中,我们提出了一个新的DS范式-基于文档的远程监督,模型关系抽取作为一个基于文档的机器阅读理解(MRC)的任务。通过将关于实体的所有句子重新组织为文档,并通过使用关系特定问题查询文档来提取关系,基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss(distantsupervisoryloss),该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型,从而从本质上解决了噪声标签问题。实验表明,我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
Key Information Extraction From Documents: Evaluation And Generator
Maastricht University(马斯特里赫特大学);KI Group GmbH(KI集团有限公司)
从文档中提取信息通常依赖于处理一维文本序列的自然语言处理方法。在某些情况下,例如,为了从半结构化文档(诸如发票文档)中提取关键信息,文本的空间和格式信息对于理解上下文含义是至关重要的。卷积神经网络在计算机视觉模型中已经很常见,用于处理和提取多维数据中的关系。因此,自然语言处理模型在过去已经与计算机视觉模型相结合,以受益于例如位置信息并提高这些关键信息抽取模型的性能。现有的模型要么是在未公布的数据集上训练的,要么是在附有注释的收据集上训练的,这些收据集并不侧重于类似PDF的文件。因此,在这个研究项目中,创建了一个基于模板的文档生成器来比较信息抽取的最新模型。现有的信息抽取模型“Chargrid”(Katti等人,2019)进行了重建,并评估了限界框回归解码器的影响以及NLP预处理步骤对从文档中提取信息抽取的影响。结果表明,基于NLP的预处理有利于模型的性能。然而,限界框回归解码器的使用仅对于不遵循矩形形状的场增加模型性能。
2021-06-09 cs.CL
CED: Catalog Extraction from Documents
Soochow University(苏州大学);Huawei Cloud(华为云)
针对多源异构文档目录提取难的问题,研究构建了首个CED任务大型人工标注语料库,提出基于转移的目录树解析框架,性能优于基线且迁移性好,可填补长文档信息提取相关空白。
2023-04-28 cs.CL
NC-DRE: Leveraging Non-entity Clue Information for Document-level Relation Extraction
Xiamen University(厦门大学)
文档级关系抽取(RE)需要对不同句子中的多个实体进行推理以识别复杂的句子间关系,这比文档级RE更具挑战性。为了提取复杂的句间关系,以往的研究通常采用图神经网络(GNN)对异构文档图进行推理。尽管这些基于图的方法取得了巨大的成功,但它们在构建图和推理的过程中通常只考虑提及中的词,往往忽略了提及中没有的但为关系推理提供重要线索信息的非实体线索词。为了缓解这个问题,我们将基于图的文档级RE模型视为编码器-解码器框架,该框架通常使用预训练的语言模型作为编码器,GNN模型作为解码器,并提出了一种新的基于图的模型NC-DRE,该模型引入解码器到编码器的注意力机制,以利用非实体线索信息进行文档级关系抽取。
2022-04-01 cs.CL
RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extraction
Tencent Cloud(腾讯云)
在文档级事件抽取(DEE)任务中,事件论元通常分散在句子中(跨句子问题),多个事件可能位于一个文档中(多事件问题)。在本文中,我们认为,事件参数的关系信息是解决上述两个问题的重要意义,并提出了一个新的DEE框架,它可以建模的关系依赖,称为扩展文档级事件提取(ReDEE)。更具体地说,这个框架的特点是一个新的和定制的Transformer,命名为增强注意力的Transformer(RAAT)。RAAT是可扩展的,以捕获多尺度和多数量的参数关系。为了进一步利用关系信息,我们引入了一个单独的事件关系预测任务,并采用多任务学习方法来显式地提高事件提取性能。大量的实验表明,该方法的有效性,它可以实现最先进的性能在两个公共数据集。我们的代码可以在https://github上找到。com/YoutuResearch/RAAT.
2022-06-07 cs.CL
Domain-specific Language Pre-training for Dialogue Comprehension on Clinical Inquiry-Answering Conversations
Institute for Infocomm Research (I2R), A*STAR(新加坡科技研究局资讯通信研究院)
从临床对话中自动提取相关信息的兴趣越来越大。然而,很难收集和构建用于临床对话任务的大型注释资源。自然语言处理的最新发展表明,大规模的预先训练的语言骨干可以用于这样的机器理解和信息抽取任务。然而,由于预训练和下游临床领域之间的差距,利用通用主干用于特定领域的应用仍然具有挑战性。因此,在这项工作中,我们提出了一种特定领域的语言预训练,以提高对话理解等下游任务的性能。除了常用的标记级掩蔽预训练方法外,根据人类对话的本质和多主题问答对话的交互流程,进一步提出了说话人和话语操作的样本生成策略。会话预训练引导语言骨干基于剩余的上下文连贯地重建话语,从而弥合一般域和特定域之间的差距。在临床会话数据集上进行了实验,用于症状检查,其中护士询问并与患者讨论症状信息。我们的经验表明,我们提出的方法的神经模型带来了改善的对话理解任务,并可以在低资源的培训方案取得了良好的效果。
2022-06-06 cs.CL
Entity-centered Cross-document Relation Extraction
Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
关系抽取(RE)是信息抽取的一项基础性工作,引起了人们的广泛关注。以往的研究主要集中在句子或文档内部的关系抽取,而目前研究者开始探索跨文档的关系抽取。然而,目前的跨文档RE方法直接利用多个给定文档中目标实体周围的文本片段,这带来了相当大的噪声和不相关的句子。此外,他们利用所有的文本路径在一个文档包中的粗粒度的方式,而不考虑这些文本路径之间的连接。在本文中,我们的目标是解决这两个不足,推动国家的最先进的跨文档RE。首先,我们专注于我们的RE模型的输入建设,并提出了一个基于实体的文档上下文过滤器,保留有用的信息,在给定的文档中使用的桥梁实体的文本路径。其次,提出了一种基于跨路径实体关系注意力的跨文档RE模型,该模型允许跨文本路径的实体关系之间进行交互。我们将我们的跨文档RE方法与数据集CodRED中最先进的方法进行了比较。我们的方法在F1中至少比它们高出10%,从而证明了其有效性。
2022-10-29 cs.CL
Discriminative Reasoning for Document-level Relation Extraction
Harbin Institute of Technology(哈尔滨工业大学);National Institute of Information and Communications Technology(信息通信技术研究所)
文档级关系抽取(DocRE)模型通常使用图网络来隐式地对推理技能(即,模式识别、逻辑推理、共指推理等)与文档中一个实体对之间的关系相关。在本文中,我们提出了一种新的判别式推理框架,明确建模的路径,这些推理技能之间的每个实体对在本文件中。因此,一个判别推理网络的设计,以估计不同的推理路径的关系概率分布的基础上构建的图和矢量化的文档上下文为每个实体对,从而识别它们的关系。实验结果表明,我们的方法优于以前的国家的最先进的性能上的大规模DocRE数据集。该代码可在https://github.com/xwjim/DRN上公开获取。
2021-06-03 cs.CL
A Knowledge-enhanced Two-stage Generative Framework for Medical Dialogue Information Extraction
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出知识增强两阶段生成框架KTGF,先统一生成术语再生成状态,并引入“未提及”状态扩充低资源训练数据,在医学对话术语-状态对抽取任务上优于现有最优模型。
2024-02-20 cs.CL
Few-Shot Document-Level Event Argument Extraction
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出少样本文档级事件论元抽取基准 FewDocAE,通过 N-Way-D-Doc 采样重构语料并调整现有文档级模型建立基线,揭示该任务在低资源场景下的挑战性。
2023-05-25 cs.CL
Data Augmentation with Paraphrase Generation and Entity Extraction for Multimodal Dialogue System
Intel Labs(英特尔研究院)
上下文感知智能代理通常需要实时了解用户及其周围环境。我们的目标是建立人工智能(AI)系统,帮助儿童学习。在这种复杂的框架内,口语对话系统(SDS)是在基于游戏的学习环境中与儿童进行有效的任务导向型沟通的关键构件。我们正致力于为年幼的孩子学习基本的数学概念的多模态对话系统。我们的重点是改善有限数据集的面向任务的SDS管道的自然语言理解(NLU)模块。这项工作探讨了数据增强的潜在好处,并为在小型特定任务数据集上训练的NLU模型生成释义。我们还研究了提取实体的影响,可以想象进一步的数据扩展。我们已经证明,使用小种子数据的模型在环(MITL)策略的释义是一种很有前途的方法,可以提高意图识别任务的性能。
2022-05-09 cs.AI cs.CL
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
Cornell University(康奈尔大学)
我们重新审视经典的问题,文档级的角色填充实体提取(REE)模板填充。我们认为,文本级的方法是不适合的任务,并引入了一个生成的基于转换器的编码器-解码器框架(GRIT),其目的是在文档级的上下文建模:它可以跨句子边界提取决策,是隐含地知道名词短语的共指结构,并有能力尊重模板结构中的跨角色依赖关系。我们在MUC-4数据集上评估了我们的方法,并表明我们的模型比以前的工作表现得更好。我们还表明,我们的建模选择有助于模型性能,例如,通过隐式地捕获语言知识,例如识别共指实体提及。
2021-01-28 cs.CL
Probing Representations for Document-level Event Extraction
Cornell University(康奈尔大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文首次将探查范式应用于文档级信息抽取,设计了八个嵌入探针分析三种基于LLM的IE方法在标准数据集上的表示,发现训练好的编码器能适度改善论元检测和标注,但在事件级任务、连贯性及跨句子语篇处理上仍面临困难。
2023-10-23 cs.CL
Information Extraction in Domain and Generic Documents: Findings from Heuristic-based and Data-driven Approaches
Stevens Institute of Technology(史蒂文斯理工学院)
本研究探讨了文档体裁和长度对启发式与数据驱动信息抽取方法的影响,发现在NER和SRL任务中无单一方法占绝对优势,数据驱动方法在短文本NER上表现更佳,而结合句法表示的方法在SRL上更优。
2023-06-30 cs.CL
Are Triggers Needed for Document-Level Event Extraction?
Cornell University(康奈尔大学)
本文首次探讨触发词在文档级事件抽取中的作用,发现系统是否受益于显式抽取触发词取决于数据集特征和任务特定信息,且触发词的存在对基于提示的上下文学习至关重要。
2025-06-26 cs.CL
A Densely Connected Criss-Cross Attention Network for Document-level Relation Extraction
Xiamen University(厦门大学)
文档级关系抽取(RE)旨在识别给定文档中两个实体之间的关系。与文档级RE相比,文档级RE需要复杂的推理。以往的研究通常通过在文档图的提及层或实体层上进行信息传播来完成推理,而很少考虑到实体对层上的推理,本文提出了一种新的文档级RE模型--密集连接交叉注意网络(Densely Connected Criss-Cross Attention Network,Dense-CCNet),该模型能够在实体对层上完成逻辑推理。具体而言,Dense-CCNet通过交叉注意(CCA)进行实体对级别的逻辑推理,可以在实体对矩阵上收集水平和垂直方向的上下文信息,以增强相应的实体对表示。此外,我们密集地连接CCA的多个层,以同时捕获单跳和多跳逻辑推理的特征。我们在三个公共文档级RE数据集DocRED,CDR和GDA上评估了我们的Dense-CCNet模型。实验结果表明,我们的模型在这三个数据集上达到了最先进的性能。
2022-03-26 cs.CL
Three Sentences Are All You Need: Local Path Enhanced Document Relation Extraction
Peking University(北京大学);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
文档级关系抽取(RE)是一个比句子RE更具挑战性的任务,因为它通常需要对多个句子进行推理。然而,人类注释者通常使用少量的句子来识别给定实体对之间的关系。在本文中,我们提出了一种非常简单但有效的方法来为文档级RE选择证据语句,该方法可以很容易地与BiLSTM结合,在基准数据集上实现良好的性能,甚至优于基于花哨的图神经网络的方法。我们已经在https://github.com/AndrewZhe/Three-Sentences-Are-All-You-Need上发布了我们的代码。
2021-06-03 cs.CL
A Comprehensive Survey of Document-level Relation Extraction (2016-2023)
Univ. La Rochelle(拉罗谢尔大学);L3i(L3i实验室)
本文综述了2016至2023年间文档级关系抽取(DocRE)的最新进展,强调其跨句识别实体关系的挑战,并对比句子级方法,展示其在自动构建知识库中的应用价值。
2023-10-12 cs.CL
DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction
Department of Information Engineering(信息工程系);University of Padova(帕多瓦大学)
DOREMI通过针对性手动标注优化文档级关系抽取中的长尾预测问题,提升对稀有关系的泛化能力。
2026-01-16 cs.CL
PEneo: Unifying Line Extraction, Line Grouping, and Entity Linking for End-to-end Document Pair Extraction
South China University of Technology(华南理工大学);Kingsoft Office(金山办公)
本文提出统一框架PEneo,通过行提取、行分组和实体链接三个并发子任务实现端到端文档对提取,缓解错误传播并处理多行实体,在多个基准上结合不同骨干网络大幅提升F1性能。
2024-11-17 cs.CL
CorefDRE: Document-level Relation Extraction with coreference resolution
Chongqing University(重庆大学)
文档级关系抽取是从由多个句子组成的文档中抽取关系事实,其中代词跨句是一种普遍存在的现象。然而,以往的研究大多集中在代词之外的提述共指消解,而很少关注提述-代词共指及其关系的把握。为了用代词表示多句子特征,我们模仿人类的阅读过程,利用共指信息动态构建异构图来增强语义信息。由于代词在图中的歧义性,引入了一种代词-代词共指消解方法来计算代词与对应提及之间的相似度,并提出了噪声抑制机制来降低代词引起的噪声.在公共数据集DocRED、DialogRE和MPDD上的实验表明,基于图推理网络的文档级关系抽取的核心感知性能优于现有技术。
2022-02-22 cs.CL
Automatic Error Analysis for Document-level Information Extraction
Cornell University(康奈尔大学)
文档级信息抽取(IE)任务最近开始重新认真使用端到端神经网络技术,已经成功地在他们的文档级IE同行。然而,对这些办法的评价在若干方面受到限制。特别是,通常报告的精确度/召回率/F1分数很少提供关于模型错误范围的见解。我们建立在Kummerfeld和Klein(2013)的工作基础上,提出了一个基于转换的框架,用于自动化文档级事件和(N-ary)关系抽取中的错误分析。我们使用我们的框架来比较两种最先进的文档级模板填充方法对来自三个领域的数据集;然后,衡量IE自30年前成立以来的进展,与MUC-4(1992)评估的四个系统相比。
2022-09-15 cs.CL
Document-Level Relation Extraction with Sentences Importance Estimation and Focusing
Harbin Institute of Technology(哈尔滨工业大学);University of Alberta(阿尔伯塔大学)
文档级关系抽取(DocRE)的目的是从多个句子的文档中确定两个实体之间的关系。最近的研究通常表示整个文档的序列或基于图的模型来预测所有实体对的关系。然而,我们发现,这样的模型是不健壮的,并表现出奇怪的行为:它正确地预测时,整个测试文件作为输入,但错误时,非证据句子被删除。为此,我们提出了一个句子重要性估计和聚焦(SIEF)框架DocRE,我们设计了一个句子重要性分数和句子聚焦损失,鼓励DocRE模型专注于证据句子。两个领域的实验结果表明,我们的SIEF不仅提高了整体性能,但也使DocRE模型更强大。此外,SIEF是一个通用框架,当与各种基本DocRE模型结合时,它被证明是有效的。
2022-04-27 cs.CL