GenRES: Rethinking Evaluation for Generative Relation Extraction in the Era of Large Language Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出GenRES多维度评估框架，解决传统精确率和召回率无法准确评估生成式关系抽取（GRE）的问题，并在多层级数据集上对十四个领先大模型进行全面基准测试。
2024-02-16 cs.AI cs.CL
Schema-Guided Hierarchical Information Extraction and Semantic Evaluation Using Generative AI
该研究提出模式引导的生成式AI框架，可零样本提取分层结构化信息并自动语义评估，在NICE文档上F1超90%，速度为人类专家30倍，具通用性与可迁移性。
2026-08-07 cs.AI cs.CL
Multi-span Style Extraction for Generative Reading Comprehension
SJTU-ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学密西根学院（SJTU-ParisTech Elite Institute of Technology））；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interaction and Cognitive Engineering, Shanghai Jiao Tong University（上海交通大学上海教委智能交互与认知工程重点实验室）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室）
生成式机器阅读理解（MRC）需要一个模型来生成格式良好的答案。对于这种类型的MRC，答案生成方法是至关重要的模型性能。然而，被认为是任务的正确模型的生成模型通常表现不佳。与此同时，单跨度提取模型已被证明是有效的提取MRC，其中的答案被限制在一个单一的跨度在通道。然而，当应用于生成MRC时，它们通常会产生不完整的答案或引入冗余的单词。因此，我们将单跨度提取方法扩展到多跨度，提出了一个新的框架，使生成MRC顺利解决多跨度提取。实验结果表明，该方法能够有效地解决生成式模型和单跨度模型之间的矛盾，并能生成具有更好语法和语义的答案。
2020-12-28 cs.CL
EAGER: Enhancing Generative Event Extraction via Reinforcement Learning with Verifiable Rewards
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
针对大型语言模型端到端事件抽取的挑战，提出EAGER框架，结合细粒度可验证奖励与模式对比优势估计，在七个基准数据集上显著优于现有方法，提升结构化抽取性能。
2026-09-25 cs.CL
DORE: Document Ordered Relation Extraction based on Generative Framework
Amazon AWS AI（亚马逊AWS人工智能）；Fudan University（复旦大学）
近年来，基于生成的信息抽取工作激增，这允许更直接地使用预训练的语言模型并有效地捕获输出依赖关系。然而，以前的生成方法使用词汇表示不自然适合文档级关系抽取（DocRE），其中有多个实体和关系事实。在本文中，我们调查了现有生成式DocRE模型表现不佳的根本原因，并发现罪魁祸首是训练范式的不足，而不是模型的能力。我们建议从关系矩阵中生成一个符号化的有序序列，这是确定性的，更容易让模型学习。此外，我们设计了一种并行行生成方法来处理过长的目标序列。此外，我们还介绍了几种负采样策略，以改善平衡信号的性能。在四个数据集上的实验结果表明，我们提出的方法可以提高生成式DocRE模型的性能。我们已经在https://github.com/ayyyq/DORE上发布了我们的代码。
2022-11-09 cs.CL
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
Cornell University（康奈尔大学）
我们重新审视经典的问题，文档级的角色填充实体提取（REE）模板填充。我们认为，文本级的方法是不适合的任务，并引入了一个生成的基于转换器的编码器-解码器框架（GRIT），其目的是在文档级的上下文建模：它可以跨句子边界提取决策，是隐含地知道名词短语的共指结构，并有能力尊重模板结构中的跨角色依赖关系。我们在MUC-4数据集上评估了我们的方法，并表明我们的模型比以前的工作表现得更好。我们还表明，我们的建模选择有助于模型性能，例如，通过隐式地捕获语言知识，例如识别共指实体提及。
2021-01-28 cs.CL
Event Extraction with Generative Adversarial Imitation Learning
Computer Science Department（计算机科学系）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
提出了一种基于模仿学习框架的事件提取（EE）任务的新方法，具体地说，是通过生成对抗网络（GAN）实现的逆强化学习（IRL）。GAN根据环境中复杂状态下专家（或地面事实）和智能体所采取的行动之间的差异来估计适当的奖励。EE任务受益于这些动态奖励，因为实例和标签屈服于不同程度的难度，并且预期收益是多样的-例如，一个模糊但正确检测到的触发器或参数应该获得高增益-而传统的RL模型通常忽略这种差异，并对所有实例给予同等的关注。此外，我们的实验还表明，所提出的框架优于国家的最先进的方法，没有明确的特征工程。
2018-04-21 cs.CL
Retrieval-Augmented Generative Question Answering for Event Argument Extraction
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
事件参数提取长期以来一直被研究为基于提取方法的顺序预测问题，孤立地处理每个参数。虽然最近的工作提出了基于生成的方法来捕获交叉参数依赖，他们需要生成和后处理一个复杂的目标序列（模板）。受这些观察和最近预训练语言模型从演示示教学习的能力的启发。我们提出了一个检索增强生成QA模型（R-GQA）的事件参数提取。它检索最相似的QA对，并将其作为当前示例上下文的提示符进行增强，然后将参数解码为答案。我们的方法在各种设置（即完全监督，域转移和少量学习）中的性能都大大优于以前的方法。最后，我们提出了一种基于聚类的采样策略（JointEnc），并深入分析了不同策略对少样本学习性能的影响。这些实现可在https：//www.example.com上获得github.com/xinyadu/RGQA
2022-11-14 cs.CL
An Auxiliary Classifier Generative Adversarial Framework for Relation Extraction
University of California, Santa Barbara（加州大学圣巴巴拉分校）
关系抽取模型受到有限的合格训练数据的影响。使用人类注释器来标记句子太昂贵，并且不能很好地扩展，特别是在处理大型数据集时。在本文中，我们使用辅助分类器生成对抗网络（AC-GANs）来生成高质量的关系语句，并提高端到端模型中关系分类器的性能。在AC-GAN中，递归不仅给出了真实源的概率分布，而且给出了关系标签的概率分布。这有助于生成有意义的关系句子。实验结果表明，我们提出的数据增强方法显着提高性能的关系抽取相比，国家的最先进的方法
2019-09-06 cs.CL cs.LG stat.ML
Harnessing Generative LLMs for Enhanced Financial Event Entity Extraction Performance
Dongguk University（东国大学）
本文提出利用生成式大语言模型，通过参数高效微调将金融事件实体抽取转化为文本到结构化输出的生成任务，在CCKS 2019数据集上取得最优F1分数。
2025-04-20 cs.CL
RDSGAN: Rank-based Distant Supervision Relation Extraction with Generative Adversarial Framework
Wuhan University（武汉大学）
远程监督已被广泛用于关系抽取，但遭受噪声标记问题。神经网络模型被提出来用注意力机制去噪，但由于其非零权值而不能消除噪声数据。硬决策是从正集合中删除错误标记的实例，但会导致删除实例中包含的有用信息丢失。在本文中，我们提出了一种新的生成式神经框架RDSGAN（基于秩的远程监督GAN），自动生成有效的远程监督关系抽取的实例。我们的框架结合了软注意力和硬决策，通过对抗训练来学习真阳性实例的分布，并通过基于排名的远程监督来选择符合分布的有效实例，从而解决了假阳性问题。实验结果表明，我们的框架优于强基线。
2020-09-30 cs.CL cs.LG
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
远程监控可以有效地标记数据，用于关系抽取，但遭受噪声标记问题。近年来的研究主要采用软袋级降噪策略来寻找句子袋中相对较好的样本，这与在句子级对假阳性样本进行硬判决相比是次优的。在本文中，我们介绍了一个对抗性学习框架，我们命名为DSGAN，学习一个级别的真正生成器。受生成对抗网络的启发，我们将生成器生成的正样本作为负样本来训练网络。直到最优生成器的鉴别能力下降最大时，才得到最优生成器。我们采用生成器过滤远程监督训练数据集，并将假阳性实例重新分配到阴性集合中，从而为关系分类提供清洁的数据集。实验结果表明，与现有系统相比，该策略显著提高了远程监控关系抽取的性能。
2018-05-24 cs.CL
Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems
King’s College London（伦敦国王学院）；The Alan Turing Institute（阿兰·图灵研究所）
针对因果事件抽取评估指标不佳的问题，训练评估模型近似人工评估并用于强化学习对齐人类偏好，提出弱到强监督方法减少标注依赖并保持高性能。
2024-06-27 cs.CL
Enhancing Pre-Trained Generative Language Models with Question Attended Span Extraction on Machine Reading Comprehension
Columbia University（哥伦比亚大学）
针对生成式模型在机器阅读理解中生成失控的问题，提出在预训练语言模型微调阶段集成QASE模块，在不增加计算开销下显著提升抽取性能，在少样本设置下超越GPT-4并达到SOTA。
2024-10-15 cs.CL
GCRE-GPT: A Generative Model for Comparative Relation Extraction
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出基于GPT-2的生成式模型GCRE-GPT，可直接从比较性文本中提取目标、方面及其比较关系，并在两个数据集上取得最先进准确率。
2024-06-27 cs.CL
Building blocks for complex tasks: Robust generative event extraction for radiology reports under domain shifts
University of Washington（华盛顿大学）
针对放射学报告信息提取的跨模态泛化与推理成本问题，提出基于T5的生成式方法，通过任务分解、多任务训练及目标域上下文增强，在提升泛化性的同时降低推理成本。
2023-06-15 cs.CL
GMN: Generative Multi-modal Network for Practical Document Information Extraction
Tencent YouTu Lab（腾讯优图实验室）；University of Science and Technology of China（中国科学技术大学）
文档信息抽取（DIE）由于其在现实世界中的各种高级应用而受到越来越多的关注。虽然最近的文献已经取得了有竞争力的结果，这些方法通常失败时，处理复杂的文件与嘈杂的OCR结果或可变的布局。本文提出了生成多模态网络（GMN）的现实世界的场景，以解决这些问题，这是一个强大的多模态生成方法没有预定义的标签类别。通过精心设计的空间编码器和模式感知掩码模块，GMN可以处理难以序列化的复杂文档。此外，GMN容忍OCR结果中的错误，并且不需要字符级注释，这是至关重要的，因为许多文档的细粒度注释是费力的，甚至需要具有专业领域知识的注释者。大量的实验表明，GMN在几个公开的DIE数据集上实现了新的最先进的性能，并在很大程度上超过了其他方法，特别是在现实场景中。
2022-07-11 cs.CL
A Structure-aware Generative Model for Biomedical Event Extraction
University of Hawaii at Manoa（夏威夷大学马诺阿分校）；Nanyang Technological University（南洋理工大学）
针对现有生成式生物医学事件抽取模型忽略复杂事件结构跨实例信息的问题，提出结构感知生成模型GenBEE，通过事件提示和结构前缀提示融合语义与结构特征，在多个基准上取得优异性能。
2025-02-21 cs.CL
GenIE: Generative Information Extraction
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；Meta AI
文本的结构化和接地表示通常通过封闭的信息抽取来形式化，封闭的信息抽取是从知识库模式中抽取与预定义的实体和关系集一致的（主题，关系，对象）三元组的穷举集的问题。现有的大多数工作都是流水线式的，容易产生错误积累，而且所有的方法都只适用于不切实际的少量实体和关系。我们介绍GenIE（生成信息抽取），第一个端到端的自回归公式的封闭信息抽取。GenIE通过自回归生成文本形式的关系和实体，自然地利用来自预训练的Transformer的语言知识。由于一个新的双层约束生成策略，只有三元组符合预定义的知识库模式产生。我们的实验表明，GenIE是封闭的信息抽取的最先进的，从更少的训练数据点比基线，并扩展到以前无法管理的实体和关系的数量。通过这项工作，封闭的信息抽取在现实场景中变得实用，为下游任务提供了新的机会。最后，这项工作为信息抽取核心任务的统一端到端方法铺平了道路。代码、数据和模型可在https://github.com/epfl-dlab/GenIE获得。
2022-04-13 cs.CL cs.LG stat.ML
Bridging Generative and Discriminative Learning: Few-Shot Relation Extraction via Two-Stage Knowledge-Guided Pre-training
University of Electronic Science and Technology of China（电子科技大学）；Nanyang Technological University（南洋理工大学）；Information Engineering University（信息工程大学）；National University of Defense Technology（国防科技大学）
针对少样本关系抽取数据稀缺、模型泛化弱的问题，提出融合生成与判别学习的TKRE框架，通过LLM生成知识与合成数据、两阶段预训练增强推理能力，在基准上取得SOTA，适用于低资源场景。
2025-05-18 cs.AI cs.CL cs.LG
GAMedX: Generative AI-based Medical Entity Data Extractor Using Large Language Models
School of Systems Science and Industrial Engineering（系统科学与工业工程学院）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
本文提出GAMedX，一种基于大语言模型的命名实体识别方法，通过链式提示和Pydantic模式从非结构化医疗文本中高效提取实体，准确率达98%，为自动化表单填写提供可扩展的低成本解决方案。
2024-05-31 cs.AI cs.CL
Enhancing Generative Information Extraction with Two-step Validation: A Product Attribute Use Case
Computer Science Institute, Ruhr West University of Applied Sciences（鲁尔西应用科学大学计算机科学学院）
针对数字产品护照领域标注数据稀缺问题，提出集成PLM模块的两步验证生成式信息抽取方法，可提升LLM对低显著性实体的抽取性能，中型模型表现接近大型模型，最小型开源模型效果有限，还开发了对应演示应用。
2026-07-30 cs.CL
GenKIE: Robust Generative Multimodal Document Key Information Extraction
University of Michigan（密歇根大学）；National University of Defense Technology（国防科技大学）；Zhejiang University（浙江大学）；University of Glasgow（格拉斯哥大学）
本文提出GenKIE，一种序列到序列的多模态生成式模型，通过多模态编码器融合视觉、布局和文本特征，并利用提示作为弱监督信号引导关键信息生成，有效纠正OCR错误并免去token级标注，在多数据集上达到SOTA且展现强鲁棒性。
2023-10-24 cs.CL
Clustering-based Unsupervised Generative Relation Extraction
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（Adobe研究）
本文主要研究无监督关系抽取问题。现有的基于概率生成模型的关系提取方法通过提取句子特征并使用这些特征作为训练生成模型的输入来工作。然后，该模型用于聚类相似关系。然而，这些方法在训练过程中没有考虑具有相同实体对的句子之间的相关性，这可能会对模型性能产生负面影响。为了解决这个问题，我们提出了一个基于无监督生成关系抽取（CURE）框架，利用"编码器-解码器"架构来执行自监督学习，因此编码器可以提取关系信息。给定具有相同实体对的多个句子作为输入，通过预测其中一个句子的依赖图上的实体对之间的最短路径来部署自监督学习。之后，我们使用经过良好训练的编码器提取关系信息。然后，共享相同关系的实体对基于其对应的关系信息进行聚类。每个聚类基于与每个聚类中的实体对相对应的最短路径中的词用几个词来标记。这些聚类标签还描述了这些关系聚类的含义。我们比较了我们提出的框架（CURE）和基线方法与地面真理知识库提取的三胞胎。实验结果表明，我们的模型在纽约时报（NYT）和联合国平行语料库（UNPC）标准数据集上的性能优于最先进的模型。
2020-09-26 cs.CL cs.LG stat.ML
Unifying Question Answering, Text Classification, and Regression via Span Extraction
Salesforce Research（赛富时研究院）
即使像BERT这样的预先训练的语言编码器在许多任务中共享，问答、文本分类和回归模型的输出层也有很大的不同。跨度解码器经常用于问答，固定类，分类层的文本分类，和相似性评分层的回归任务，我们表明，这种区别是没有必要的，所有三个可以统一为跨度提取。统一的跨度提取方法在几个问答、文本分类和回归基准的辅助监督预训练、低数据和多任务学习实验中具有优异或相当的性能。
2019-09-20 cs.CL
A Multi-Domain and Multi-Task Generative Framework with Explicit Task and Domain Conditioning for Cross-Domain Event Extraction
German Research Center for Artificial Intelligence（德国人工智能研究中心）；Carl von Ossietzky University of Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
该研究针对跨领域事件抽取难题，提出带显式任务与领域条件的多领域多任务生成框架，通过结合领域条件信号与任务提示实现动态适配，在基准测试中取得了竞争力的性能与跨领域泛化能力。
2026-08-25 cs.CL
GDA: Generative Data Augmentation Techniques for Relation Extraction Tasks
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）
针对关系抽取任务标注成本高、现有数据增强方法存在语义或句法缺失、多样性不足的问题，提出GDA生成式增强技术，通过双互补模块、多任务协同及实体提示提升增强效果，低资源场景下F1值提升2.0%。
2023-06-15 cs.CL
SIRIUS-LTG-UiO at SemEval-2018 Task 7: Convolutional Neural Networks with Shortest Dependency Paths for Semantic Relation Extraction and Classification in Scientific Papers
University of Oslo（奥斯陆大学）
本文介绍了用于SemEval 2018任务7的SIRIUS-LTG-UiO系统，任务7是科学论文中的语义关系抽取和分类。首先提取两个实体之间的最短依赖路径（SDP），然后引入一个卷积神经网络（CNN），以最短依赖路径嵌入为输入，对共享任务的每个子任务执行不同目标的关系分类。这种方法实现了整体的F1得分为76.7和83.2的关系分类干净和嘈杂的数据，分别。此外，对于组合的关系抽取和分类干净的数据，它得到的F1得分为37.4和33.6的每个阶段。我们的系统在共享任务的所有三个子任务中排名第三。
2018-04-24 cs.CL
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction
Tsinghua University（清华大学）
针对信息抽取中传统指标语义匹配不精确和基准标注不完整的问题，本文提出SQC-Score，结合经主观题批改数据微调的LLM与NLI模型改进评分和黄金标签扩充。
2024-04-04 cs.CL
Big Green at WNUT 2020 Shared Task-1: Relation Extraction as Contextualized Sequence Classification
Dartmouth College（达特茅斯学院）
关系和事件抽取是自然语言处理中的一项重要任务。我们介绍了一个系统，它使用上下文知识图谱完成分类的关系和已知实体之间的事件在嘈杂的文本环境。我们报告的结果表明，我们的系统是能够有效地提取关系和事件的湿实验室协议的数据集。
2020-12-07 cs.CL
DISCIE -- Discriminative Closed Information Extraction
Universität Hamburg, Department of Informatics, Semantic Systems, Germany（汉堡大学信息学院语义系统研究所，德国）；Leuphana Universität Lüneburg, Institute for Information Systems, Artificial Intelligence（吕内堡大学信息学院人工智能研究所）
本文提出一种判别式封闭信息抽取方法，融合类型和实体信息提升关系抽取准确性，尤其对长尾关系有效，并利用较小模型达到或超越大型生成模型的性能。
2025-06-19 cs.CL
Generating Disentangled Arguments with Prompts: A Simple Event Extraction Framework that Works
Beihang University（北京航空航天大学）；Alibaba Group（阿里巴巴集团）；The University of Sheffield（谢菲尔德大学）
事件提取弥合了文本和事件信号之间的差距。现有的方法基于参数依赖性的假设，通过专家设计的模板或复杂的解码约束，已经达到了最先进的性能。在本文中，我们第一次引入基于学习策略的事件提取领域，这使得自动开发的标签语义的输入和输出端。为了验证所提出的生成方法的有效性，我们进行了广泛的实验与11个不同的基线。实证结果表明，在F1分数的论点提取，我们的简单架构是强大的比任何其他生成的同行，甚至与需要模板工程的算法竞争。关于召回的衡量标准，它为论点和触发器提取创造了新的整体记录。我们在此向社区推荐此框架，代码可在https://git.io/GDAP上公开获得。
2022-02-15 cs.AI cs.CL cs.LG
A Knowledge-enhanced Two-stage Generative Framework for Medical Dialogue Information Extraction
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出知识增强两阶段生成框架KTGF，先统一生成术语再生成状态，并引入“未提及”状态扩充低资源训练数据，在医学对话术语-状态对抽取任务上优于现有最优模型。
2024-02-20 cs.CL
REKnow: Enhanced Knowledge for Joint Entity and Relation Extraction
AWS AI Labs（亚马逊云科技人工智能实验室）
关系抽取是一项重要但具有挑战性的任务，旨在从文本中提取所有隐藏的关系事实。随着深度语言模型的发展，关系抽取方法在各种基准测试中取得了良好的性能。然而，我们观察到以前的方法的两个缺点：第一，没有统一的框架，以及在各种关系抽取设置;第二，有效地利用外部知识作为背景信息是缺席。在这项工作中，我们提出了一个知识增强的生成模型来缓解这两个问题。我们的生成模型是一个统一的框架，顺序生成各种关系抽取设置下的关系三元组，并明确利用相关知识从知识图谱（KG）来解决歧义。我们的模型在多个基准测试和设置上实现了卓越的性能，包括WebNLG、NYT 10和TACRED。
2022-08-16 cs.CL cs.IR
A Hybrid Model of Classification and Generation for Spatial Relation Extraction
从文本中提取空间关系是自然语言理解的一项基本任务，以往的研究仅将其作为一个分类任务，而忽略了那些信息量很小的空角色空间关系。为了解决上述问题，我们首先将空间关系抽取视为一个生成任务，并提出了一种新的混合模型HMCGR。HMCGR包含一个生成模型和一个分类模型，前者可以生成空角色关系，后者可以提取非空角色关系，两者相辅相成。此外，自反性评价机制，以进一步提高准确性的基础上的空间关系的自反性原则。SpaceEval上的实验结果表明，HMCGR的性能明显优于SOTA基线。
2022-08-15 cs.CL
GENIE: Generative Note Information Extraction model for structuring EHR data
Tsinghua University（清华大学）；Zhili College, Tsinghua University（清华大学至理学院）；Weiyang College, Tsinghua University（清华大学未央学院）；Harvard Medical School（哈佛医学院）
提出基于微调小型LLM的生成式笔记信息提取系统GENIE，单次处理段落以高精度提取实体及多种属性，端到端结构化临床文本，性能优于传统工具且更具可扩展性。
2025-01-30 cs.CL
LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model
National University of Singapore（新加坡国立大学）；Wuhan University（武汉大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出结构感知生成语言模型LasUIE，通过异构结构归纳、结构广播和任务导向微调，将句法知识充分融入统一信息抽取，在12个基准上显著超越基线并缓解长距离依赖与边界识别难题。
2023-04-13 cs.CL
Open Event Extraction from Online Text using a Generative Adversarial Network
Southeast University（东南大学）；University of Warwick（华威大学）
在提取开放域事件的结构化表示方面，贝叶斯图模型取得了一定的进展。然而，这些方法通常假设文档中的所有单词都是从单个事件生成的。虽然这对于短文本（如推文）可能是正确的，但这种假设通常不适用于长文本（如新闻文章）。此外，贝叶斯图模型通常依赖于吉布斯采样进行参数推断，这可能需要很长时间才能收敛。为了解决这些局限性，我们提出了一种基于生成对抗网的事件提取模型，称为对抗神经事件模型（AEM）。AEM使用Dirichlet先验对事件进行建模，并使用生成器网络来捕获潜在事件的模式。一个隐藏事件被用来区分从潜在事件重建的文档和原始文档。该方法的一个副产品是，由学习的网络生成的特征允许对提取的事件进行可视化。我们的模型已经在两个Twitter数据集和一个新闻文章数据集上进行了评估。实验结果表明，我们的模型优于基线方法在所有的数据集上，与更显着的改善观察到的新闻文章数据集，其中增加了15%的F-测量。
2019-08-25 cs.CL cs.IR cs.LG
A Monte Carlo Language Model Pipeline for Zero-Shot Sociopolitical Event Extraction
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对零样本二元事件抽取中词义歧义、情态敏感和计算低效问题，提出多阶段指令跟随生成式LM流水线并结合蒙特卡洛方法处理非确定性，显著提升性能与效率。
2024-06-02 cs.CL
AMuRD: Annotated Arabic-English Receipt Dataset for Key Information Extraction and Classification
University of Innsbruck（因斯布鲁克大学）；DISCO AI（DISCO AI公司）
本文提出AMuRD，一个包含47,720个样本的多语言人工标注阿拉伯语-英语收据数据集，用于关键信息提取和物品分类，通过微调LLaMA模型在信息提取和分类任务上取得高达97.43%的F1分数和94.99%的准确率。
2024-03-26 cs.CL
What do You Mean by Relation Extraction? A Survey on Datasets and Study on Scientific Relation Classification
IT University of Copenhagen（哥本哈根信息技术大学）；Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
在过去的五年中，关系抽取（RE）的研究取得了广泛的进展，许多新的数据集发布。同时，设置清晰度降低，导致可靠的经验评估难度增加（Taillé等人，2020年）。在本文中，我们提供了一个全面的调查RE数据集，并重新审视任务的定义和社区采用。我们发现跨数据集和跨域设置特别缺乏。我们提出了一个实证研究的科学关系分类在两个数据集。尽管大量的数据重叠，我们的分析揭示了注释的实质性差异。注释差异强烈影响关系分类性能，解释了跨数据集评估的大幅下降。进一步子域内的变化存在，但影响关系分类只有有限的程度。总的来说，我们的研究要求更严格地报告RE设置和多个测试集的评估。
2022-04-28 cs.CL
Cross-Institutional Dental EHR Entity Extraction via Generative AI and Synthetic Notes
The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；University of California San Francisco（加利福尼亚大学旧金山分校）；Willamette Dental Group（威拉米特牙科集团）；Skourtes Institute（斯库特斯研究所）
本文提出利用GPT-4生成合成病历以微调RoBERTa模型，实现跨机构牙科电子健康记录中牙周诊断信息的精准实体抽取，在两个数据集上取得0.98以上的高准确率，展示了生成式AI与NLP在提升牙科诊断记录质量方面的潜力。
2025-06-02 cs.CL
Information Extraction from Documents: Question Answering vs Token Classification in real-world setups
BNP Paribas（法国巴黎银行）
本文系统比较 DocKIE 中的问答与令牌分类方法，通过五类实验表明前者更适合噪声和长实体场景，后者在干净短实体上表现更优。
2023-04-21 cs.CL
Boosting Transformers for Job Expression Extraction and Classification in a Low-Resource Setting
Bosch Center for Artificial Intelligence（博世人工智能中心）；Saarland University（萨尔兰大学）
在本文中，我们探讨了在低资源环境下Transformer模型的可能改进。特别是，我们提出了解决MEDDOPROF竞赛三个子任务中的前两个子任务的方法，即，西班牙语临床文本中工作表达的提取和分类。作为既不是语言专家也不是领域专家，我们尝试使用多语言XLM-R Transformer模型，并将这些低资源信息抽取任务作为序列标记问题来处理。我们探索了领域和语言自适应预训练、迁移学习和战略性分裂，以提升Transformer模型。我们的研究结果表明，使用这些方法的强大的改进高达5.3 F1点相比，微调XLM-R模型。我们最好的模型在前两个任务中分别达到83.2和79.3 F1。
2021-09-17 cs.CL cs.LG
Scientific Relation Extraction with Selectively Incorporated Concept Embeddings
University of Washington（华盛顿大学）
本文介绍了我们提交的SemEval 2018任务7共享任务，即科学论文中的语义关系抽取和分类。我们扩展了（Miwa和Bansal）的端到端关系抽取模型，并增强了字符级编码注意力机制，以选择预训练的概念候选嵌入。我们的正式提交在关系分类任务（Subtask 1.1和Subtask 2 Senerio 2）中排名第二，在关系抽取任务（Subtask 2 Scenario 1）中排名第一。
2018-08-26 cs.CL cs.IR
A Generative Approach for Financial Causality Extraction
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；Goldman Sachs（高盛集团）；Leibniz University（莱布尼茨大学）
因果关系是财经新闻、财经报道等财经文献中事件之间的首要关系。每一个金融因果关系包含一个原因跨度和一个影响跨度。以前的工作提出了序列标记的方法来解决这个任务。但序列标记模型发现很难从文本片段中提取多个因果关系和重叠因果关系。在本文中，我们探索了一种生成的因果关系提取方法，使用编码器-解码器框架和指针网络。我们使用的因果关系数据集，从金融领域，\textit{FinCausal}，我们的实验和我们提出的框架实现了非常有竞争力的性能在这个数据集上。
2022-04-12 cs.CL
Exploring Generative Models for Joint Attribute Value Extraction from Product Titles
IIT Kharagpur（印度理工学院克勒格布尔分校）；TCS Research（塔塔咨询服务研究院）
产品的属性值是任何电子商务平台的重要组成部分。属性值提取（AVE）处理从产品的标题或描述中提取产品的属性及其值。在本文中，我们建议使用生成框架来解决AVE任务。我们提出了两种类型的生成范式，即，基于词序列和基于位置序列，通过制定AVE任务作为一个生成问题。我们在两个数据集上进行实验，其中生成方法实现了新的最先进的结果。这表明，我们可以使用所提出的框架AVE任务，而无需额外的标记或特定于任务的模型设计。
2022-08-15 cs.CL cs.IR
Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
University of California, Los Angeles（加州大学洛杉矶分校）；Information Science Institute, University of Southern California（南加州大学信息科学研究所）
我们提出了一个利用多语言预训练生成语言模型的zero-shot跨语言事件参数提取（EAE）的研究。通过将EAE公式化为语言生成任务，我们的方法有效地编码事件结构并捕获参数之间的依赖关系。我们设计了语言无关的模板来表示事件参数结构，这些模板与任何语言都兼容，从而促进了跨语言迁移。我们提出的模型微调多语言预训练的生成语言模型，以生成句子，这些句子用从输入段落中提取的参数填充语言不可知模板。该模型在源语言上进行训练，然后直接应用于目标语言以进行事件参数提取。实验表明，该模型优于当前最先进的zero-shot跨语言EAE模型。全面的研究和错误分析，以更好地了解使用生成语言模型的优势和当前的局限性zero-shot跨语言迁移EAE。
2022-03-15 cs.CL
Chapter 7 Review of Data-Driven Generative AI Models for Knowledge Extraction from Scientific Literature in Healthcare
University of Maribor（马里博尔大学）；University of Ljubljana（卢布尔雅那大学）；University of Edinburgh（爱丁堡大学）
本综述考察了基于NLP的生成式文本摘要方法的发展与对比，梳理了文本摘要历史，通过筛选7项研究进行深入分析，并比较了GPT-3与GPT-4在科学文本摘要中的表现，指出该技术尚未完全成熟但将逐步引入实践。
2024-11-18 cs.AI cs.CL
An Integrated Approach for Keyphrase Generation via Exploring the Power of Retrieval and Extraction
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Alibaba DAMO Academy（阿里巴巴达摩院）
在本文中，我们提出了一种新的集成方法的关键词生成（KG）。与以前的作品是纯粹的提取或生成，我们首先提出了一个新的多任务学习框架，共同学习提取模型和生成模型。除了提取关键词之外，提取模型的输出还用于校正生成模型的复制概率分布，使得生成模型可以更好地从给定文档中识别重要内容。此外，我们从训练数据中检索与给定文档相似的文档，并使用其相关的关键词作为生成模型的外部知识，以产生更准确的关键词。为了进一步利用提取和检索的能力，我们提出了一个基于神经的合并模块，以结合和重新排序的预测关键词从增强的生成模型，提取模型，检索到的关键词。在五个KG基准上的实验表明，我们的综合方法优于最先进的方法。
2019-04-06 cs.CL
AQE: Argument Quadruplet Extraction via a Quad-Tagging Augmented Generative Approach
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）
本文首次提出论元四元组抽取任务AQE，并构建大规模数据集，同时设计四标签增强生成式方法，实验证明其优于多个强基线。
2023-05-31 cs.CL
Hybrid Generative-Tagging Decoding for Efficient Product Attribute-Value Extraction
Amazon（亚马逊）
针对电商产品属性-值抽取的痛点，提出混合生成-标记解码模型，结合标记与生成策略，在不损失精度的前提下提升属性覆盖、正确对数量并降低延迟。
2026-10-16 cs.CL
Evaluating Span Extraction in Generative Paradigm: A Reflection on Aspect-Based Sentiment Analysis
KAIST AI（韩国科学技术院人工智能学院）；SAIT, Samsung Electronics（三星电子SAIT研究院）
本文针对生成式范式模糊理解与生成任务边界带来的ABSA评估挑战，分析现有评估范式优劣，阐明生成输出与跨任务指标对齐的复杂性，为制定适配生成范式的ABSA评估指南奠定基础。
2024-04-17 cs.CL
Unifying Model Explainability and Robustness for Joint Text Classification and Rationale Extraction
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
最近的工作表明，可解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键因素。然而，以前的工作通常解决两个方面之一：i）如何提取准确的合理解释，同时有利于预测; ii）如何使预测模型对不同类型的对抗攻击具有鲁棒性。直觉上，一个能产生有用解释的模型应该对对抗攻击更具鲁棒性，因为我们不能相信输出解释但在小扰动下改变其预测的模型。为此，我们提出了一个联合分类和合理性提取模型命名为AT-BMC。它包括两个关键机制：混合对抗训练（AT）旨在使用离散和嵌入空间中的各种扰动来提高模型的鲁棒性，边界匹配约束（BMC）有助于在边界信息的指导下更精确地定位合理性。在基准数据集上的性能表明，所提出的AT-BMC在分类和基本原理提取方面都大大优于基线。鲁棒性分析表明，AT-BMC有效降低了攻击成功率，最高可达69%。实证结果表明，稳健的模型和更好的解释之间存在联系。
2021-12-20 cs.AI cs.CL
