Efficient Zero-shot Event Extraction with Context-Definition Alignment
Tencent AI Lab(腾讯人工智能实验室)
事件抽取(EE)是从文本中识别感兴趣的事件提及的任务。传统的努力主要集中在监督设置。然而,这些监督模型不能概括到预定义本体之外的事件类型。为了填补这一空白,许多努力已经致力于zero-shot EE问题。本文遵循事件类型语义建模的趋势,但更进一步。我们认为,使用事件类型名称的静态嵌入可能是不够的,因为单个单词可能是模糊的,我们需要一个句子来准确定义类型语义。为了对定义语义进行建模,我们使用两个独立的Transformer模型将上下文化的事件提及和相应的定义投影到同一个嵌入空间中,然后通过对比学习来最小化它们的嵌入距离。最重要的是,我们还提出了一个变暖阶段,以帮助模型学习类似定义之间的微小差异。我们将我们的方法命名为具有定义的Zero-shot事件提取(ZED)。在MAVEN数据集上的实验表明,由于采用了不相交设计,该模型的推理速度明显优于以往所有的zero-shot EE方法。进一步的实验还表明,当注释可用时,ZED可以很容易地应用于Few-Shot设置,并且始终优于基线监督方法。
2022-11-13 cs.CL
On Analyzing the Role of Image for Visual-enhanced Relation Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Alibaba Group(阿里巴巴集团)
多模态关系抽取是知识图谱构建的一项重要任务。在本文中,我们采取了深入的实证分析表明,视觉场景图中的不准确的信息会导致不良的模态对齐权重,进一步降低性能。此外,视觉洗牌实验表明,目前的方法可能没有充分利用视觉信息。基于上述观察,我们进一步提出了一个强大的基线与隐式细粒度的多模态对齐的基础上Transformer的多模态关系抽取。实验结果表明,我们的方法具有更好的性能。代码可在https://github.com/zjunlp/DeepKE/tree/main/example/re/multimodal上获得。
2022-11-14 cs.AI cs.CL cs.CV
Shapley Value-based Contrastive Alignment for Multimodal Information Extraction
State Key Laboratory of Multimedia Information Processing(多媒体信息处理国家重点实验室);School of Computer Science(计算机学院);Peking University(北京大学);Wangxuan Institute of Computer Technology(王选计算机技术研究所)
本文提出了一种基于Shapley Value的对比对齐(Shap-CA)方法,利用大型多模态模型生成文本上下文以弥合图像与文本间的语义和模态差距,通过评估各元素贡献并采用对比学习策略和自适应融合模块,在四个MIE数据集上显著优于现有最先进方法。
2024-07-25 cs.AI cs.CL cs.MM
KnowCoder-X: Boosting Multilingual Information Extraction via Code
Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences(网络数据科学与技术重点实验室,计算技术研究所,中国科学院);State Key Laboratory of AI Safety(人工智能安全国家重点实验室);School of Computer Science, University of Chinese Academy of Sciences(中国科学院大学计算机科学学院);School of Software, Northeastern University(东北大学软件学院);School of Software, Peking University(北京大学软件学院)
本文提出代码LLM模型KnowCoder-X,通过Python类统一多语言模式表示并将跨语言IE转化为代码生成任务,结合指令微调与构建的257k样本平行数据集ParallelNER,显著提升了模型在64个基准上的跨语言IE迁移能力。
2025-05-31 cs.AI cs.CL cs.LG
ACE-2005-PT: Corpus for Event Extraction in Portuguese
FCUP-University of Porto(波尔图大学理学院);INESC Technology and Science(INESC科技研究院);University of Minho(米尼奥大学);FLUP-University of Porto(波尔图大学文学院);CLUP(波尔图大学中心图书馆);University of Beira Interior(贝拉内里亚大学);Ci2 - Smart Cities Research Center - IP Tomar(IP托马尔Ci2智慧城市研究中心)
本文通过自动翻译和对齐流水线构建了包含欧洲与巴西变体的葡萄牙语事件抽取语料库ACE-2005-PT,并验证了其对齐有效性。
2024-08-29 cs.AI cs.CL
CopyNext: Explicit Span Copying and Alignment in Sequence to Sequence Models
Johns Hopkins University(约翰斯·霍普金斯大学);Bloomberg L.P.(彭博有限合伙企业)
复制机制在序列到序列模型(seq2seq)中被采用,以生成从输入到输出的单词的复制。这些框架在词法类型级别上运行,无法提供一个显式的对齐来记录每个标记的复制位置。此外,它们需要单独复制来自输入(跨度)的连续标记序列。我们提出了一个模型,一个显式的令牌级复制操作,并将其扩展到复制整个跨度。我们的模型在输入和输出的跨度之间提供了硬对齐,允许seq2seq的非传统应用,如信息抽取。我们展示了嵌套命名实体识别的方法,实现了近国家的最先进的准确性与数量级的解码速度增加。
2020-10-28 cs.CL cs.LG
Using Local Alignments for Relation Recognition
University of Amsterdam(阿姆斯特丹大学)
本文讨论了将结构相似性和语义相关性结合起来进行文本信息抽取的问题。为了准确识别的关系,我们引入本地对齐内核,并探讨各种可能性,使用它们来完成这项任务。我们给出了一个定义的局部比对(LA)内核的基础上的史密斯-沃特曼得分作为序列相似性的措施,并继续与一系列的可能性计算序列的元素之间的相似性。我们展示了如何从未标记数据中获得的分布相似性度量可以作为语义知识纳入学习任务。我们的实验表明,LA内核在各种生物医学语料库上产生了很好的结果,远远优于两个基线。已经进行了额外的一系列实验的数据集上的七个一般的关系类型,其中的LA内核的性能是目前国家的最先进的结果相媲美。
2014-01-16 cs.CL cs.IR cs.LG
Plumber: A Modular Framework to Create Information Extraction Pipelines
信息抽取(IE)任务是各个研究领域的共同研究课题。因此,社区不断产生多种技术,解决方案和工具来执行这些任务。但是,运行这些工具并将其集成到现有基础设施中需要时间、专业知识和资源。这里的一个相关任务是三元组提取和链接,其中从文本中提取结构化三元组并将其与现有的知识图谱(KG)对齐。在本文中,我们提出了PLUMBER,第一个框架,允许用户手动和自动创建合适的IE管道从社区创建的工具池执行三重提取和对齐非结构化文本。我们的方法提供了一个交互式的媒介来改变管道和执行IE任务。一个简短的视频展示了不同用例的框架工作情况,可以在https://www.youtube.com/watch?网站上找到。v=XC9rJNIUv8g
2022-06-03 cs.CL cs.DL
PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction
Shenzhen University(深圳大学);Tencent(腾讯);Zhejiang University(浙江大学)
从非结构化文本中联合抽取实体和关系是信息抽取中的一项重要任务。目前的方法取得了相当大的性能,但仍然受到一些固有的局限性,如冗余的关系预测,基于跨度的提取和效率低下的推广。本文从一个新的角度将该任务分解为关系判断、实体抽取和主客体对齐三个子任务,并提出了一个基于潜在关系和全局对应的联合关系三元组抽取框架(PRGC)。具体来说,我们设计了一个预测潜在关系的组件,将后续的实体抽取限制在预测的关系子集上,而不是所有关系;然后设计了一个特定于关系的序列标记组件来处理主体和客体之间的重叠问题;最后设计了一个全局对应组件,以低复杂度将主体和客体对齐成三元组。大量的实验表明,PRGC实现了最先进的性能与更高的效率,并提供了一致的性能增益重叠三元组的复杂场景上的公共基准。
2021-06-18 cs.CL
MMUTF: Multimodal Multimedia Event Argument Extraction with Unified Template Filling
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学)
针对多媒体事件论元抽取,本文提出 MMUTF 统一模板填充模型,通过文本提示融合文本与视觉信息,在 M2E2 上显著提升文本 EAE 并改善多媒体 EAE 表现。
2024-10-01 cs.CL cs.LG
FAQ-based Question Answering via Word Alignment
IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们提出了一种新的基于词对齐的方法来解决基于常见问题的问答任务。首先,我们采用一个神经网络模型来计算问题的相似度,其中两个问题之间的词对齐用于提取特征。其次,我们设计了一个基于Bootstrap的特征提取方法来提取一小部分有效的词汇特征。第三,我们提出了一个学习排名算法,训练参数更适合的排名任务。在英语、西班牙语和日语三种语言上进行的实验结果表明,问题相似度模型比基线系统更有效,稀疏特征使top-1准确率提高了5%,学习排名算法的效果明显优于传统方法。我们进一步评估我们的方法上的答案句子选择任务。我们的方法优于所有以前的系统上的标准TREC数据集。
2015-07-09 cs.CL
Enhancing Multimodal Entity and Relation Extraction with Variational Information Bottleneck
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对多模态命名实体识别和关系抽取中的模态噪声与模态差距问题,提出基于变分信息瓶颈的MMIB方法,通过精炼和对齐正则化器实现最优性能,在三个公开基准上达到最先进水平。
2023-04-05 cs.CL cs.MM
UG-UMRE: Uncertainty-Guided Modality Augmentation and Distributional Calibration for Unified Multimodal Relation Extraction
Xinjiang University(新疆大学);Chongqing Jiaotong University(重庆交通大学)
针对统一多模态关系抽取的噪声传播与模态分布异质性问题,提出含UDUA和JAUA模块的UG-UMRE网络,在UMRE等三个基准数据集上实现最优性能,模块可插拔且有效。
2026-08-06 cs.CL cs.CV cs.IT
Prompt-based Graph Model for Joint Liberal Event Extraction and Event Schema Induction
Peking University School of Software(北京大学软件学院)
提出基于提示的图模型PGLEE,联合进行自由事件抽取与事件模式归纳,无需预定义模式即可高效抽取事件并发现高质量模式。
2024-03-19 cs.CL
Distantly-Supervised Neural Relation Extraction with Side Information using BERT
Centro de Informática, Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心);Montreal Institute for Learning Algorithms, University of Montreal(蒙特利尔大学蒙特利尔学习算法研究所);Department of Chemical and Biological Engineering, Northwestern University(西北大学化学与生物工程系)
关系抽取(RE)是对句子中实体之间的关系进行分类。最近开发关系提取器的范例是远程监督(DS),它允许通过在文本语料库和知识库(KB)之间进行对齐来自动创建新的数据集。知识库有时也可以为RE任务提供额外的信息。RESIDE模型是采用这种策略的方法之一,它提出了一种利用知识库边信息的远程监督神经关系抽取。考虑到这种方法优于最先进的基线,在本文中,我们提出了一种相关的方法来RESIDE也使用额外的边信息,但简化了句子编码与BERT嵌入。通过实验,我们在Google Distant Supervision和Riedel数据集上对BGWA和RESIDE基线方法进行了验证。虽然曲线下面积由于不平衡的数据集而减小,但P@N结果表明,使用BERT作为句子编码可以实现优于基线方法的性能。
2020-09-10 cs.CL cs.IR cs.LG
Rule-Based Approaches to Atomic Sentence Extraction
The Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过分析复杂句子结构对基于规则的原子句子提取性能的影响,提出了依赖关系提取规则,并在WikiSplit数据集上实现了较高的提取准确率。
2026-01-01 cs.CL
LentEx: Generalizable Latent Entity Extraction via Synthetic Data and Instruction-Tuned LLMs
Amazon(亚马逊公司)
LentEx是首个从大语言模型视角处理潜在实体抽取的框架,通过合成数据与指令微调优化高效LLM,在MTEB聚类基准上超越现有最优模型,泛化性强,可应用于RAG等NLP任务。
2026-09-07 cs.CL
ProUIE: A Macro-to-Micro Progressive Learning Method for LLM-based Universal Information Extraction
Xiaomi Corporation(小米公司);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
本文提出ProUIE方法,通过宏、中、微三级阶段提升LLM基于统一信息提取性能,实验表明其在多个数据集上优于基线模型,尤其在大规模生产场景中表现更优。
2026-04-12 cs.CL
RMPL: Relation-aware Multi-task Progressive Learning with Stage-wise Training for Multimedia Event Extraction
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
提出RMPL框架,通过分阶段训练结合单模态事件抽取和多模态关系抽取的异构监督,在低资源条件下实现多媒体事件抽取,并在M2E2基准上取得一致改进。
2026-05-27 cs.CL cs.CV
PV2TEA: Patching Visual Modality to Textual-Established Information Extraction
Emory University(埃默里大学);Amazon.com Inc(亚马逊公司);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对文本属性抽取难以利用图像信息的问题,本文提出 PV2TEA 编码器-解码器框架,通过对比对齐、注意力剪枝和邻域正则化降低多模态偏差,并在电商数据集上显著提升 F1。
2023-06-01 cs.AI cs.CL cs.CV
SCIR: A Self-Correcting Iterative Refinement Framework for Enhanced Information Extraction Based on Schema
Yushen Fang, Jianjun Li, Mingqian Ding, Chang Liu, Xinchi Zou, Wenqi Yang(作者)
SCIR框架通过自校正迭代细化方法,有效降低信息提取的训练成本并提升准确性,实现跨任务的高效信息提取。
2025-12-13 cs.AI cs.CL