Hierarchical Multimodal Pre-training for Visually Rich Webpage Understanding
Shanghai Jiao Tong University（上海交通大学）
提出多模态预训练网络 WebLM，通过利用文档图像的层次结构并设计跨文本、结构与图像的预训练任务，提升网页理解性能并在多项任务上达到新最优。
2024-02-28 cs.CL cs.CV
Pre-training to Match for Unified Low-shot Relation Extraction
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
低比例关系抽取RE的目标是在很少甚至没有样本的情况下识别新的关系，这在实际应用中至关重要。Few-Shot和zero-shot RE是两种典型的低发射RE任务，它们看似目标相似，但要求的底层能力却完全不同。在本文中，我们提出了多选择匹配网络来统一低镜头关系抽取。为了填补zero-shot和few-shot RE之间的空白，提出了三元组释义元训练方法，利用三元组释义预训练zero-shot标签匹配能力，并使用元学习范式学习Few-Shot实例摘要能力。实验结果表明，该方法在3种低镜头RE任务上的性能明显优于强基线，在Few-Shot少镜头RE排行榜上的性能最好。
2022-03-23 cs.CL
Knowledge-Enhanced Multi-Label Few-Shot Product Attribute-Value Extraction
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Rakuten Institute of Technology, Rakuten Group Inc.（乐天集团乐天技术研究所）
针对商品新属性-值对标注稀缺问题，提出知识增强注意力框架 KEAF，利用标签描述、类别信息、混合注意力与动态阈值实现多标签小样本抽取，并在两个数据集上超过现有 SOTA。
2023-08-16 cs.CL cs.IR
TPN: Transferable Proto-Learning Network towards Few-shot Document-Level Relation Extraction
University of Electronic Science and Technology of China（电子科技大学）；Kashi Institute of Electronics and Information Industry（喀什电子信息产业研究院）
本文提出可迁移原型学习网络TPN，通过混合编码器、NOTA原型学习和动态加权校准，结合虚拟对抗训练，以约一半参数量在少样本文档级关系抽取中取得有竞争力的跨域性能。
2024-10-01 cs.CL cs.IR
A Sequence Tagging based Framework for Few-Shot Relation Extraction
Peking University（北京大学）
关系抽取是指从输入文本中抽取关系三元组。现有的基于神经网络的逆向工程系统严重依赖于人工标记的训练数据，但仍然有很多领域没有足够的标记数据。受基于距离的Few-Shot命名实体识别方法的启发，提出了基于序列标记联合抽取方法的Few-Shot检索任务的定义，并给出了该任务的Few-Shot检索框架。此外，我们将两个实际的序列标记模型（称为Few-Shot TPLinker和Few-Shot BiTT）应用到我们的框架中，并在从公共数据集构建的两个Few-Shot RE任务上取得了可靠的结果。
2022-08-17 cs.AI cs.CL
Better Few-Shot Relation Extraction with Label Prompt Dropout
Singapore University of Technology and Design（新加坡科技设计大学）
Few-Shot关系抽取的目标是基于非常有限的训练样本来学习识别两个实体之间的关系。最近的努力发现，文本标签（即，关系名称和关系描述）对于学习类表示非常有用，这将有益于少样本学习任务。然而，在学习过程中利用这些标签信息的最佳方式是一个重要的研究问题。现有的作品在很大程度上假设这样的文本标签总是存在于学习和预测过程中。在这项工作中，我们认为，这种方法可能并不总是导致最佳结果。相反，我们提出了一种新的方法，称为标签提示辍学，随机删除标签的描述在学习过程中。我们的实验表明，我们的方法是能够导致改进的类表示，产生显着更好的结果上的Few-Shot关系抽取任务。
2022-10-25 cs.CL
Zero-Shot Dialogue Relation Extraction by Relating Explainable Triggers and Relation Names
National Taiwan University（国立台湾大学）
针对对话关系抽取标注数据成本高、难扩展的问题，提出基于触发词捕捉关联未见过关系名称的零样本抽取模型，在DialogRE基准上已见和未见关系抽取均获显著提升，为提升DRE系统扩展性提供新方向。
2023-06-09 cs.CL
Probing and Fine-tuning Reading Comprehension Models for Few-shot Event Extraction
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）
我们研究从文本数据中提取事件的问题，这需要检测目标事件类型及其参数。通常，事件检测和参数检测子任务都被公式化为监督序列标记问题。我们认为，这样训练的事件提取模型本质上是标签饥饿，并可以推广到不同领域和文本体裁差。我们提出了一个阅读理解框架的事件提取。具体来说，我们制定了事件检测作为一个文本蕴涵预测问题，和参数检测作为一个问题回答问题。通过构造合适的查询模板，我们的方法可以有效地从预训练的阅读理解模型中提取丰富的任务和标签语义知识。此外，我们的模型可以用少量数据进行微调，以提高其性能。我们的实验结果表明，我们的方法表现强劲的zero-shot和Few-Shot事件提取，它达到了最先进的性能ACE 2005基准训练时，完全监督。
2020-10-21 cs.CL
Zero-shot Task Transfer for Invoice Extraction via Class-aware QA Ensemble
UST Ltd（UST有限公司）
我们提出VESPA，一个故意简单而新颖的zero-shot系统布局，区域和域不可知的文档提取。尽管有大量的文档语料库，但缺乏标记和验证的数据集使得有区别地为企业训练文档提取模型成为一个挑战。我们表明，这个问题可以通过简单地将信息抽取（IE）任务转移到一个自然语言检索（QA）任务，而无需工程任务特定的架构来解决。我们证明了我们的系统的有效性，通过评估一个封闭的语料库的真实世界的零售和税务发票与多个复杂的布局，域和地理。实证评估表明，我们的系统优于4个著名的商业发票解决方案，这些解决方案使用专门为发票提取而设计的体系结构的歧视性训练模型。我们提取了6个字段，没有预先的人工注释或使用Avg训练。F1 87.50
2021-08-13 cs.AI cs.CL cs.IR
ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning
National Taiwan University（国立台湾大学）；National Cheng Kung University（国立成功大学）
虽然关系抽取是知识获取和表示中的一项重要任务，并且新生成的关系在现实世界中很常见，但在预测在训练阶段无法观察到的看不见的关系方面所做的努力较少。在本文中，我们制定了zero-shot关系抽取问题，将可见和不可见的关系的文本描述。我们提出了一种新的多任务学习模型，zero-shot BERT（ZH-BERT），直接预测看不见的关系，而无需手工制作的属性标签和多个成对分类。给定由输入句子和它们之间关系的描述组成的训练实例，Escher-BERT学习两个函数，通过联合最小化它们之间的距离和对所看到的关系进行分类，将句子和关系描述投影到嵌入空间中。基于这两个函数生成未见关系和新句子的嵌入，使用最近邻搜索来获得未见关系的预测。在两个著名的数据集上进行的实验表明，EST-BERT可以比现有的方法至少提高13.54%的F1得分。
2021-04-10 cs.CL cs.IR cs.LG
Combining Language and Graph Models for Semi-structured Information Extraction on the Web
University of Chicago（芝加哥大学）；Argonne National Lab（阿贡国家实验室）
本文提出GraphScholarBERT，通过联合图与语言模型，在仅给定关系简短描述且无需额外训练的情况下，从半结构化网页中抽取干净的目标关系，并在零样本领域和零样本网站设置下将F1分数提升多达34.8%。
2024-02-21 cs.CL cs.IR
Pre-trained Language Models and Few-shot Learning for Medical Entity Extraction
Santa Clara University（圣克拉拉大学）；San Francisco State University（旧金山州立大学）；Cornell University（康奈尔大学）；The Chinese University of Hong Kong（香港中文大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文研究基于Transformer的医学实体抽取，比较多种预训练语言模型和抽取方法，并验证小样本学习在低资源场景下的有效性，证明预训练模型与小样本学习结合可提升医学实体抽取准确性。
2025-04-06 cs.CL
Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Nanjing University（南京大学）
本文提出SCKD模型，通过序列知识蒸馏保留先验知识并利用伪样本进行对比学习，解决持续少样本关系抽取中的灾难性遗忘和过拟合问题，在两个基准数据集上验证了其优越性。
2023-05-11 cs.CL
Label Verbalization and Entailment for Effective Zero- and Few-Shot Relation Extraction
HiTZ Basque Center for Language Technologies - Ixa NLP Group（HiTZ巴斯克语言技术中心 - Ixa自然语言处理小组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
关系抽取系统需要大量的标注样本，而标注样本的成本很高。在这项工作中，我们重新制定关系抽取作为一个蕴涵任务，简单，手工制作，在不到15分钟的关系，每个关系产生的关系动词化。该系统依赖于一个预先训练的文本蕴涵引擎，该引擎按原样运行（没有训练样本，zero-shot）或进一步在标记的示例上进行微调（Few-Shot或完全训练）。在我们对TACRED的实验中，我们达到了63%的F1 zero-shot，69%，每个关系16个例子（在相同条件下比最好的监督系统高出17%），只有4个点低于最先进的水平（使用20倍以上的训练数据）。我们还表明，性能可以显着提高与更大的蕴涵模型，高达12点的zero-shot，允许报告最好的结果时，充分训练的TARED日期。分析表明，我们的Few-Shot系统是特别有效的关系之间的区别，在低数据制度的性能差异主要来自于识别无关系的情况下。
2021-09-08 cs.CL
Exploring Task Difficulty for Few-Shot Relation Extraction
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
Few-Shot关系抽取（FSRE）主要通过少量标注实例进行学习来识别新关系。元学习已被广泛用于此类任务，它对随机生成的几次（Few-Shot）任务进行训练以学习通用数据表示。尽管取得了令人印象深刻的结果，现有的模型仍然表现不佳时，处理硬FSRE任务，其中的关系是细粒度的，彼此相似。我们认为这在很大程度上是因为现有的模型在学习过程中没有区分困难任务和简单任务。在本文中，我们介绍了一种新的方法，对比学习的基础上，学习更好的表示，利用关系标签信息。我们进一步设计了一种方法，允许模型自适应地学习如何专注于硬任务。在两个标准数据集上的实验证明了该方法的有效性。
2021-10-24 cs.CL
RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Singapore University of Technology and Design（新加坡科技设计大学）
尽管关系抽取在构建和表示知识中的重要性，但较少的研究集中在推广到看不见的关系类型。我们介绍了Zero-Shot关系三元组提取（ZeroRTE）的任务设置，以鼓励进一步研究低资源的关系抽取方法。给定一个输入句子，每个提取的三元组由头部实体，关系标签和尾部实体组成，其中关系标签在训练阶段看不到。为了解决ZeroRTE问题，我们提出通过促使语言模型生成结构化文本来合成关系示例。具体地说，我们统一了语言模型提示和结构化文本的方法，设计了一个结构化的提示模板生成合成的关系样本时，条件的关系标签提示（提示）。为了克服句子中多个关系三元组提取的局限性，我们设计了一种新的三元组搜索解码方法。在FewRel数据集和Wiki-JPL数据集上的实验表明，该算法在ZeroRTE任务和zero-shot关系分类中具有较好的性能.我们的代码和数据可在github.com/declare-lab/RelationPrompt上获得。
2022-03-17 cs.CL
ZS4IE: A toolkit for Zero-Shot Information Extraction with simple Verbalizations
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；Raytheon BBN Technologies（雷神BBN技术公司）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
信息抽取（IE）分析师的当前工作流程涉及感兴趣的实体/关系的定义和具有注释示例的训练语料库。在这个演示中，我们介绍了一个新的工作流程，分析师直接用语言表达的实体/关系，然后使用的文本蕴涵模型执行zero-shot IE。我们提出了一个工具包的设计和实现的用户界面，以及四个IE任务的实验表明，该系统实现了非常好的性能，在零样本学习，每种类型的用户的努力只有5- 15分钟。我们的演示系统在https://github.com/BBN-E/ZS4IE上开源。演示视频可在https://vimeo.com/676138340上获得。
2022-05-03 cs.CL
ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT
Beijing Jiaotong University（北京交通大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
本文提出ChatIE，一种基于ChatGPT的两阶段多轮问答框架，用于零样本信息抽取，在六个数据集上表现出色，甚至超越部分全样本模型。
2024-05-27 cs.CL
Few-Shot Document-Level Event Argument Extraction
University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出少样本文档级事件论元抽取基准 FewDocAE，通过 N-Way-D-Doc 采样重构语料并调整现有文档级模型建立基线，揭示该任务在低资源场景下的挑战性。
2023-05-25 cs.CL
Few-shot Continual Relation Extraction via Open Information Extraction
Hanoi University of Science and Technology（河内科技大学）；Oraichain Labs Inc.（Oraichain实验室公司）；VinAI Research（VinAI研究院）；Bytedance（字节跳动）；VNU University of Engineering and Technology（越南国家大学工程技术大学）；University of Oregon（俄勒冈大学）
提出利用开放信息抽取与知识图谱构建的少样本持续关系抽取方法，处理未见关系，增强知识保留与适应性，实验优于现有基线。
2025-02-23 cs.AI cs.CL cs.IR
Efficient Zero-shot Event Extraction with Context-Definition Alignment
Tencent AI Lab（腾讯人工智能实验室）
事件抽取（EE）是从文本中识别感兴趣的事件提及的任务。传统的努力主要集中在监督设置。然而，这些监督模型不能概括到预定义本体之外的事件类型。为了填补这一空白，许多努力已经致力于zero-shot EE问题。本文遵循事件类型语义建模的趋势，但更进一步。我们认为，使用事件类型名称的静态嵌入可能是不够的，因为单个单词可能是模糊的，我们需要一个句子来准确定义类型语义。为了对定义语义进行建模，我们使用两个独立的Transformer模型将上下文化的事件提及和相应的定义投影到同一个嵌入空间中，然后通过对比学习来最小化它们的嵌入距离。最重要的是，我们还提出了一个变暖阶段，以帮助模型学习类似定义之间的微小差异。我们将我们的方法命名为具有定义的Zero-shot事件提取（ZED）。在MAVEN数据集上的实验表明，由于采用了不相交设计，该模型的推理速度明显优于以往所有的zero-shot EE方法。进一步的实验还表明，当注释可用时，ZED可以很容易地应用于Few-Shot设置，并且始终优于基线监督方法。
2022-11-13 cs.CL
Towards Zero-shot Relation Extraction in Web Mining: A Multimodal Approach with Relative XML Path
University of California, San Diego（加州大学圣地亚哥分校）
本文提出ReXMiner方法，通过编码DOM树最短相对路径和文本节点流行度并结合对比学习，解决Web挖掘中的零样本关系抽取问题，在公开基准上优于现有基线。
2023-05-23 cs.CL
GLiREL -- Generalist Model for Zero-Shot Relation Extraction
Quantexa（昆泰克萨斯）
本文提出 GLiREL，通过单次前向传播实现多实体零样本关系分类，并在 FewRel 与 WikiZSL 上达到最先进水平，同时提供多样化关系标签数据集的合成生成协议。
2025-01-06 cs.AI cs.CL cs.LG
A Study on Building Efficient Zero-Shot Relation Extraction Models
本文研究了构建高效零 shot 关系提取模型的方法，提出多种策略以提高模型在现实场景中的鲁棒性，结果显示 AlignRE 在各项指标上表现最佳。
2026-03-04 cs.CL
Linguistic representations for fewer-shot relation extraction across domains
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文研究语言学表示对跨领域少样本关系抽取的影响，通过在Transformer架构中交替融入句法和语义图，发现两者均能显著提升少样本迁移性能且效用相当。
2023-07-07 cs.CL
Zero-shot information extraction from radiological reports using ChatGPT
Zhejiang Lab（之江实验室）；Peking University Cancer Hospital and Institute（北京大学肿瘤医院暨北京市肿瘤防治研究所）；Zhejiang University（浙江大学）
本研究探索使用ChatGPT进行零样本信息提取，通过设计提示模板和后处理模块，从847份CT报告中提取信息，实验表明其性能与基线系统相当但仍有改进空间。
2023-09-07 cs.CL
RAPS: A Novel Few-Shot Relation Extraction Pipeline with Query-Information Guided Attention and Adaptive Prototype Fusion
University of Science and Technology of China（中国科学技术大学）
Few-Shot关系抽取（FSRE）的目标是通过仅使用少量带注释的实例进行学习来识别不可见的关系。为了更有效地推广到新的关系，本文提出了一种新的管道FSRE任务的基础上查询信息引导的注意力和自适应原型fuSion，即RAPS。具体地说，RAPS首先通过查询信息引导的注意力模块，利用支持实例和查询实例之间丰富的交互信息，以获得更准确的初始原型表示的关系原型。然后，RAPS通过自适应原型融合机制将初始原型与相关信息进行融合，得到训练和预测的集成原型。在基准数据集FewRel 1.0上的实验表明，我们的方法对最先进的方法有显着的改进。
2022-11-08 cs.CL
GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction
HiTZ Basque Center for Language Technology（HiTZ巴斯克语言技术中心）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
针对大语言模型在信息抽取任务上零样本表现不佳的问题，提出经标注指南微调的GoLLIE模型，可提升未见过IE任务的零样本效果，实验证明其性能优于现有方法，且详细指南是效果关键。
2024-03-06 cs.CL
Improving Zero-Shot Event Extraction via Sentence Simplification
ACLED和Our World in Data等网站的成功证明了从新闻、社交媒体、博客和论坛等形式的大量文本数据中以结构化格式提取事件的巨大效用。事件提取可以为正在发生的地缘政治危机提供一个窗口，并产生可操作的情报。随着大型预训练语言模型的激增，机器阅读理解（MRC）近年来已成为事件提取的新范式。在这种方法中，事件论元提取被框定为一个提取的问题回答任务。基于MRC的方法的关键优点之一是其执行zero-shot提取的能力。然而，长期依赖性的问题，即，触发词和论元词之间较大的词汇距离以及处理句法复杂的句子的困难困扰着基于MRC的方法。在本文中，我们提出了一种通用的方法来提高性能的MRC为基础的事件提取进行无监督的句子简化指导的MRC模型本身。我们在ICEWS地缘政治事件提取数据集上评估了我们的方法，特别注意“演员”和“目标”参数角色。我们展示了如何这样的上下文简化可以提高基于MRC的事件提取的性能超过5%的演员提取和超过10%的目标提取。
2022-04-06 cs.AI cs.CL
Zero-shot Temporal Relation Extraction with ChatGPT
The University of Manchester（曼彻斯特大学）
本文探究ChatGPT在零样本时序关系抽取中的表现，通过三种提示设计评估发现其与监督方法差距明显且依赖提示，但在小类别上更优，同时揭示了其一致性和长距离推理缺陷。
2023-04-11 cs.AI cs.CL
RE-Matching: A Fine-Grained Semantic Matching Method for Zero-Shot Relation Extraction
Fudan University（复旦大学）；Baidu Research（百度研究院）
针对零样本关系抽取中通用语义匹配未显式区分实体与上下文的问题，提出 RE-Matching，分解两类匹配分数并用特征蒸馏抑制无关特征，显著提升 F1 且推理提速 10 倍。
2023-06-08 cs.CL
Everything Is All It Takes: A Multipronged Strategy for Zero-Shot Cross-Lingual Information Extraction
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Rochester（罗切斯特大学）
零镜头跨语言信息抽取（IE）描述了在给定仅以某个其它语言（通常是英语）的现有注释的情况下，针对某个目标语言的IE模型的构造。虽然预先训练的多语言编码器的进步表明了一个简单的乐观"训练英语，运行在任何语言"，我们发现通过彻底的探索和技术的扩展，新老方法的结合，导致更好的性能比任何一个跨语言的战略，特别是。我们探索了包括数据投影和自我训练在内的技术，以及不同的预训练编码器如何影响它们。我们使用英语到阿拉伯语的IE作为我们的初始示例，在此设置中，事件提取，命名实体识别，词性标记和依存句法分析表现出很强的性能。然后，我们将数据投影和自我训练应用于八种目标语言的三个任务。因为没有一组技术在所有任务中表现最好，我们鼓励从业者在寻求改进zero-shot训练时探索本工作中描述的技术的各种配置。
2021-09-14 cs.CL
Zero-Shot Transfer Learning for Event Extraction
Rensselaer Polytechnic Institute（伦斯勒理工学院）；New York University（纽约大学）；US Army Research Lab（美国陆军研究实验室）
大多数以前的事件提取研究严重依赖于来自注释事件提及的功能，因此不能应用于新的事件类型没有注释的努力。在这项工作中，我们重新审视事件提取，并将其建模为接地问题。我们设计了一个可转移的神经架构，映射事件提到和类型联合到一个共享的语义空间，使用结构和组合神经网络，其中每个事件提到的类型可以确定的所有候选类型中最接近的。通过利用（1）~现有事件类型的小集合的可用手动注释和（2）~现有事件本体，我们的框架适用于新的事件类型，而不需要额外的注释。对两种现有事件类型（例如，ACE、ERE）和新事件类型（例如，FrameNet）展示了我们方法的有效性。\textit{Without any manual annotations}的23个新的事件类型，我们的zero-shot框架实现了性能相当于一个国家的最先进的监督模型，这是从500个事件提到的注释训练。
2017-07-04 cs.CL
Few-Shot Relation Extraction with Hybrid Visual Evidence
Virginia Tech（弗吉尼亚理工大学）
针对纯文本少样本关系抽取在上下文不足时性能受限的问题，提出MFS-HVE多模态模型，融合全局与局部视觉特征及文本语义，并通过三类注意力实现交互，实验证明视觉信息可显著提升关系预测性能。
2024-03-01 cs.CL cs.CV
A Monte Carlo Language Model Pipeline for Zero-Shot Sociopolitical Event Extraction
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对零样本二元事件抽取中词义歧义、情态敏感和计算低效问题，提出多阶段指令跟随生成式LM流水线并结合蒙特卡洛方法处理非确定性，显著提升性能与效率。
2024-06-02 cs.CL
GLiDRE: Generalist Lightweight model for Document-level Relation Extraction
Université Paris-Saclay, CEA, List（巴黎-萨克雷大学、CEA、List）
本文提出GLiDRE，一种紧凑的文档级关系抽取模型，在低资源和少样本场景下超越现有方法，确立新的最先进水平。
2025-10-07 cs.CL
Zero-Shot Relation Extraction via Reading Comprehension
Univ. of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
我们表明，关系抽取可以减少到回答简单的阅读理解问题，通过关联一个或多个自然语言的问题与每个关系插槽。这种简化有几个优点：我们可以（1）通过扩展最近的神经阅读理解技术来学习关系提取模型，（2）通过将关系特定的众包问题与远程监督相结合，为这些模型构建非常大的训练集，甚至（3）通过提取只在测试时指定的新关系类型来进行零样本学习，我们没有标记的训练样本。维基百科上的插槽填充任务的实验表明，该方法可以推广到新的问题，已知的关系类型具有高精度，和zero-shot推广看不见的关系类型是可能的，在较低的精度水平，设置酒吧为今后的工作在这项任务。
2017-06-13 cs.AI cs.CL cs.LG
Document-Level Zero-Shot Relation Extraction with Entity Side Information
School of Information Technology, Monash University Malaysia（墨尔本大学马来西亚分校信息科技学院）；Valiantlytix
本文提出DocZSRE-SI方法，通过利用实体侧信息提升低资源语言中零 shot 关系抽取的性能。
2026-01-12 cs.CL
Few-Shot Document-Level Relation Extraction
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
我们提出了FREDo，一个Few-Shot文档级关系抽取（FSDLRE）基准。相对于现有的基准是建立在文档级关系抽取语料库，我们认为，文档级语料库提供更多的现实主义，特别是关于非上述（NOTA）的分布。因此，我们提出了一组FSDLRE任务，并基于两个现有的监督学习数据集，DocRED和sciERC构建了一个基准。我们适应国家的最先进的文档级的方法MNAV，并进一步发展，以改善领域自适应。我们发现FSDLRE是一个具有挑战性的设置有趣的新特性，如能够从支持集采样NOTA实例。数据、代码和训练模型可在线获取（https：//github.com/nicpopovic/FREDo）。
2022-07-01 cs.AI cs.CL cs.LG
From Examples to Rules: Neural Guided Rule Synthesis for Information Extraction
University of Arizona（亚利桑那大学）
虽然用于信息抽取的深度学习方法已经取得了许多成功，但随着需求的变化，它们可能很难扩展或维护。另一方面，基于规则的方法可以更容易地修改。然而，制定规则需要语言学和感兴趣领域的专业知识，这对大多数用户来说是不可行的。在这里，我们试图结合这两个方向的优点，同时减轻他们的缺点。我们适应最近的进展，从相邻领域的程序合成信息抽取，合成规则提供的例子。我们使用基于转换器的架构来指导枚举搜索，并表明这减少了在发现规则之前需要探索的步骤数量。此外，我们表明，在没有在特定域上训练合成算法的情况下，我们合成的规则在专注于关系分类的少样本学习的任务的1次场景上实现了最先进的性能，和竞争力的表现在5杆的情况下。
2022-01-16 cs.CL cs.IR cs.LG
Extracting Events Like Code: A Multi-Agent Programming Framework for Zero-Shot Event Extraction
针对零样本事件抽取中直接提示易输出无效结果的问题，本文提出多智能体框架AEC，将事件抽取类比为迭代代码生成过程，经多领域多模型实验验证其性能优于现有零样本基线。
2025-11-17 cs.AI cs.CL
Cross-Domain Web Information Extraction at Pinterest
Pinterest
本文介绍 Pinterest 的跨域网页信息抽取系统，通过结合结构、视觉和文本的紧凑网页表示，使 XGBoost 等简单模型在属性抽取上超越大型语言模型，实现高准确率、每秒处理千余 URL 且成本降低千倍。
2025-08-01 cs.AI cs.CL cs.IR
Learning with Silver Standard Data for Zero-shot Relation Extraction
本文提出从银标准数据中检测少量干净数据并微调预训练模型，结合类感知模块，在零样本关系抽取任务上显著超越基线。
2024-03-22 cs.CL
Referral Augmentation for Zero-Shot Information Retrieval
Princeton University（普林斯顿大学）
提出推荐增强检索（RAR），通过将文档索引与引用或链接该文档的推荐文本拼接，为零样本信息检索提供更完整的多视角表示，在 ACL 论文检索 Recall@10 上分别比 DocT5Query 和 Query2Doc 绝对提升 37% 和 21%，且无需模型训练。
2023-05-24 cs.CL
Chem-FINESE: Validating Fine-Grained Few-shot Entity Extraction through Text Reconstruction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Chem-FINESE，一种基于seq2seq的少样本实体抽取方法，通过自验证模块重构输入句子并引入对比损失减少过度复制，在ChemNER+和CHEMET数据集上分别获得8.26%和6.84%的F1提升。
2024-05-29 cs.AI cs.CL cs.LG
Few-Shot, No Problem: Descriptive Continual Relation Extraction
Oraichain Labs（Oraichain实验室）；Hanoi University of Science and Technology（河内国家大学下属自然科学大学）；VinAI Research（VinAI研究院）；University of Oregon（俄勒冈大学）
本文提出基于检索的少样本持续关系抽取方法，利用大模型生成关系描述并采用双编码器训练，通过倒数排名融合分数预测关系，有效缓解灾难性遗忘。
2025-02-27 cs.CL
Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Futurewei Technologies Inc.（星网锐捷技术公司）
本文提出Graph-DPEP框架，通过分解式即插和集成式玩法，利用思维图推理，解决小样本文档级关系抽取中结构化输出转换和关系类型区分难题，在公开基准上表现优越。
2024-11-05 cs.AI cs.CL cs.IR
Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement
University of Arizona（亚利桑那大学）
提出两阶段框架，结合推理和梯度优化自动优化提示，在少样本关系抽取任务中取得最优性能。
2026-06-28 cs.AI cs.CL
An Empirical Study of Pre-trained Transformers for Arabic Information Extraction
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
多语言预训练的Transformers，例如mBERT（Devlin等人，2019）和XLM-RoBERTa（Conneau等人，2020 a）已经显示出能够实现有效的跨语言zero-shot转移。然而，阿拉伯语信息抽取（IE）任务的性能不是很好的研究。在本文中，我们预训练了一个定制的双语BERT，称为GigaBERT BERT，专门为阿拉伯语NLP和英语到阿拉伯语zero-shot迁移学习设计。我们研究了GigaBERT在四个IE任务上的零短转移的有效性：命名实体识别，词性标注，参数角色标注和关系抽取。我们的最佳模型显著优于mBERT、XLM-RoBERTa和AraBERT（Antoun等人，2020）在监督和zero-shot传输设置中。我们已经在https://github.com/lanwuwei/GigaBERT上公开了我们的预训练模型。
2020-11-07 cs.CL
A Few-shot Approach to Resume Information Extraction via Prompts
Yokohama National University（横滨国立大学）
本文提出一种基于提示学习的少样本简历信息抽取方法，通过设计人工模板和MKV规则构建verbalizer，解决了样本不平衡问题，性能优于现有自动提示方法。
2023-05-20 cs.CL
Mutually Guided Few-shot Learning for Relational Triple Extraction
Tongji University（同济大学）；City University of Hong Kong（香港城市大学）
提出相互引导小样本学习框架MG-FTE，通过实体引导关系分类和关系引导实体抽取，并设计原型级融合模块，在FewRel 1.0和2.0上分别提升F1达12.6和20.5。
2023-06-23 cs.AI cs.CL
Zero-Shot Information Extraction as a Unified Text-to-Triple Translation
UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
我们将一套信息抽取任务转换为文本到三重翻译框架。我们不是依靠特定于任务的数据集和模型来解决每个任务，而是将任务形式化为特定于任务的输入文本和输出三元组之间的转换。通过获取特定于任务的输入，我们通过利用预先训练的语言模型具有的关于任务的潜在知识来实现任务不可知的翻译。我们进一步证明，预测哪些关系信息对应于哪些输入文本的简单预训练任务是产生特定于任务的输出的有效方法。这使得我们的框架能够zero-shot转移到下游任务。我们研究了这个框架在开放信息抽取（OIE 2016，NYT，WEB，PENN），关系分类（FewRel和TACRED）和事实探测（Google-RE和T-REx）上的zero-shot性能。该模型可以很好地转移到大多数任务中，并且通常与完全监督的方法竞争，而不需要任何特定于任务的训练。例如，我们显著优于有监督的开放信息抽取的F1得分，而无需使用其训练集。
2021-09-23 cs.AI cs.CL cs.LG
GuideX: Guided Synthetic Data Generation for Zero-Shot Information Extraction
HiTZ Basque Center for Language Technology - Ixa NLP Group（巴斯克语言技术中心HiTZ - Ixa NLP小组）；University of the Basque Country (UPV/EHU)（巴斯克国家大学）；Technical University of Munich (TUM)（慕尼黑技术大学）
本文提出GUIDEX方法，通过自动定义领域模式、推断指南并生成合成标注数据来提升零样本信息抽取的域外泛化能力，在七个零样本命名实体识别基准上取得最优结果，无需人工标注数据即可显著超越先前方法。
2025-05-31 cs.CL
Weakly-Supervised Questions for Zero-Shot Relation Extraction
University of Alberta（阿尔伯塔大学）
零次关系抽取（Zero-Shot Relationship Extraction，ZRE）是关系抽取的任务，其中训练集和测试集没有共享的关系类型。这个非常具有挑战性的领域是对模型泛化能力的很好测试。以前的ZRE方法将关系抽取重新定义为问答（QA），允许使用预先训练的QA模型。然而，这种方法需要为每个新关系手动创建黄金问题模板。在这里，我们放弃了这些黄金模板，而是学习一个可以为看不见的关系生成问题的模型。我们的技术可以成功地将关系描述转换为相关的问题，然后利用这些问题来生成正确的尾部实体。在尾部实体提取方面，我们在不使用黄金问题模板的情况下，比以前的最先进水平高出16个F1点以上。在RE-QA数据集，其中没有以前的基线关系抽取存在，我们提出的算法来在0.7 F1点的系统，使用黄金问题模板。我们的模型在FewRel和Wikipedia L数据集上的表现也优于最先进的ZRE基线，这表明QA模型不再需要模板问题来匹配专门为ZRE任务定制的模型的性能。我们的实现可以在https://github.com/fyshelab/QA-ZRE上获得。
2023-02-09 cs.AI cs.CL cs.LG
