A dynamic programming algorithm for span-based nested named-entity recognition in O(n^2)
Universite Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
本文提出一种动态规划算法，通过引入补充结构约束，将基于跨度的嵌套命名实体识别时间复杂度从立方降至二次，并在三个标准英文基准上取得可比结果。
2023-05-26 cs.CL
Entity, Relation, and Event Extraction with Contextualized Span Representations
University of Washington（华盛顿大学）；Google AI Language（谷歌AI语言团队）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们研究了一个统一的，多任务的框架，三个信息抽取任务的能力：命名实体识别，关系抽取，和事件提取。我们的框架（称为DyGIE++）通过枚举，精炼和评分旨在捕获本地（句子内）和全球（跨句子）上下文的文本跨度来完成所有任务。我们的框架在来自各个领域的四个数据集上实现了所有任务的最先进结果。我们进行实验比较不同的技术来构建跨度表示。像BERT这样的上下文嵌入在捕获相同或相邻句子中的实体之间的关系方面表现良好，而动态跨度图更新则对长范围的跨句子关系进行建模。例如，通过预测的共指链接传播跨度表示可以使模型能够消除具有挑战性的实体提及的歧义。我们的代码可在https://github.com/dwadden/dygiepp上公开获取，并且可以轻松地适应新任务或数据集。
2019-09-10 cs.CL
Dealing with negative samples with multi-task learning on span-based joint entity-relation extraction
Hohai University（河海大学）
本文提出 SpERT.MT 模型，通过多任务学习缓解负样本干扰，并引入 IoU 位置信息和实体 Logits 增强分类，在 CoNLL04、SciERC、ADE 上取得优异 F1 成绩。
2023-09-18 cs.CL cs.LG
Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition
Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
命名实体识别（NER）是自然语言处理中的一个研究热点。传统的NER研究只涉及平面实体，而忽略了嵌套实体。基于跨度的方法将实体识别视为跨度分类任务。虽然这些方法具有处理嵌套NER的先天能力，但它们具有计算成本高、忽视边界信息、与实体部分匹配的跨度利用不足以及长实体识别困难等缺点。为了解决这些问题，我们提出了一个两阶段的实体标识符。首先，我们通过对种子跨度进行过滤和边界回归来定位实体，然后用相应的类别标记边界调整后的跨度建议。我们的方法有效地利用边界信息的实体和部分匹配的跨度在训练过程中。通过边界回归，理论上可以覆盖任意长度的实体，提高了识别长实体的能力。此外，许多低质量的种子跨度在第一阶段被过滤掉，这降低了推理的时间复杂度。嵌套NER数据集上的实验表明，我们提出的方法优于以前的国家的最先进的模型。
2021-07-13 cs.CL
A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition
Wuhan University（武汉大学）；Tianjin University（天津大学）
重叠和不连续命名实体识别的研究越来越受到人们的关注。以前的大部分工作集中在重叠或不连续的实体。在本文中，我们提出了一种新的跨度为基础的模型，可以识别重叠和不连续的实体联合。该模型包括两个主要步骤。首先，通过遍历所有可能的文本跨度来识别实体片段，从而可以识别重叠的实体。其次，我们进行关系分类，以判断是否一对给定的实体片段是重叠或继承。这样，我们不仅可以识别不连续的实体，同时双重检查重叠的实体。整体而言，我们的模型本质上可以视为一个关系抽取范例。在多个基准数据集上的实验结果（即，CLEF，GENIA和ACE05）表明，我们的模型对于重叠和不连续的NER具有很强的竞争力。
2021-06-28 cs.CL
Propose-and-Refine: A Two-Stage Set Prediction Network for Nested Named Entity Recognition
Zhejiang University（浙江大学）
嵌套命名实体识别（nested NER）是自然语言处理的一项基本任务。已经提出了各种基于跨度的方法来检测具有跨度表示的嵌套实体。然而，基于跨度的方法没有考虑跨度和其他实体或短语之间的关系，这在NER任务中是有帮助的。此外，基于跨度的方法由于有限的跨度枚举长度而难以预测长实体。为了缓解这些问题，我们提出了建议和优化网络（PnRNet），这是一个用于嵌套NER的两阶段集合预测网络。在提出阶段，我们使用基于跨度的预测器来生成一些粗略的实体预测作为实体建议。在细化阶段，建议相互交互，更丰富的上下文信息被合并到建议表示中。细化的建议表示用于重新预测实体边界和类。通过这种方式，可以消除粗略建议中的错误，并且边界预测不再受跨度枚举长度限制的约束。此外，我们建立多尺度的句子表示，更好地模拟句子的层次结构，并提供更丰富的上下文信息比令牌级表示。实验表明，PnRNet在四个嵌套NER数据集和一个平面NER数据集上实现了最先进的性能。
2022-09-03 cs.CL
SCL-RAI: Span-based Contrastive Learning with Retrieval Augmented Inference for Unlabeled Entity Problem in NER
Peking University（北京大学）
本文提出SCL-RAI方法，通过基于片段的对比学习缓解实体歧义并提升模型鲁棒性，结合检索增强推理解决决策边界偏移问题，在两个真实数据集上F1分数分别提升4.21%和8.64%。
2023-10-24 cs.CL
HAMNER: Headword Amplified Multi-span Distantly Supervised Method for Domain Specific Named Entity Recognition
University of New South Wales（新南威尔士大学）；Dongguan University of Technology（东莞理工学院）；National University of Defence Technology（国防科技大学）
为了解决命名实体识别（NER）任务，监督方法需要获得足够的干净的注释数据，这是劳动和时间消耗。相反，远程监督方法使用字典自动获取注释数据，以减轻这一要求。不幸的是，词典阻碍了远距离监督方法的有效性，因为它的覆盖范围有限，特别是在特定的领域。在本文中，我们针对字典使用的局限性，并提到边界检测。我们推广了远程监督扩展字典与基于中心词的非精确匹配。我们应用一个函数来更好地加权匹配的实体提及。我们提出了一个跨度级别的模型，它分类所有可能的跨度，然后推断出所选择的跨度与建议的动态规划算法。在所有三个基准数据集上的实验表明，我们的方法优于以前最先进的远程监督方法。
2019-12-03 cs.CL
GapDNER: A Gap-Aware Grid Tagging Model for Discontinuous Named Entity Recognition
School of Software Tsinghua University Beijing, China（软件学院清华大学北京中国）
针对不连续命名实体识别中的错误传播和解码歧义问题，提出间隙感知网格标注模型GapDNER，通过建模实体片段间上下文间隙并设计span内与span间交互组件，结合BFS路径搜索实现有效解码，在三个数据集上达到最先进性能。
2025-10-13 cs.CL
UIT-E10dot3 at SemEval-2021 Task 5: Toxic Spans Detection with Named Entity Recognition and Question-Answering Approaches
University of Information Technology（信息技术大学）；Vietnam National University Ho Chi Minh City（越南国立大学胡志明市分校）
网络空间有毒评论的增加对其他脆弱的用户造成了巨大的影响。出于这个原因，人们付出了相当大的努力来处理这个问题，SemEval-2021任务5：有毒Spans检测就是其中之一。这个任务要求参赛者从给定的文本中提取具有毒性的span，我们在做实验之前做了几次分析以了解其结构。本文采用spaCy库的命名实体识别和RoBERTa结合ToxicBERT的问答两种方法解决了这一问题，前者获得了最高的F1分数66.99%.
2021-04-15 cs.CL
Decoding Text Spans for Efficient and Accurate Named-Entity Recognition
Samsung Research UK（三星英国研究院）
本文提出SpanDec框架，通过在最终Transformer阶段计算跨度表示交互，减少冗余计算，提升NER任务的吞吐量和效率，实现更优的准确率与效率平衡。
2026-04-22 cs.CL
Span-based joint entity and relation extraction augmented with sequence tagging mechanism
National University of Defense Technology（国防科技大学）
基于跨度的联合抽取以文本跨度的形式同时进行命名实体识别和关系抽取。然而，由于以前的基于跨度的模型依赖于跨度级别的分类，它们不能受益于标记级别的标签信息，这已被证明有利于任务。在本文中，我们提出了一个序列标记增强的跨度为基础的网络（STSN），一个基于跨度的联合模型，可以利用令牌级的标签信息。在STSN中，我们通过深度堆叠多个注意层来构建核心神经架构，每个注意层由三个基本注意单元组成。该核心架构一方面通过序列标记机制学习标记级标签信息，并将其用于基于跨度的联合抽取;另一方面在NER和RE之间建立双向信息交互。在三个基准数据集上的实验结果表明，STSN在F1方面始终优于最强的基线，创造了新的最先进的结果。
2022-10-23 cs.CL
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
RheinMain University of Applied Sciences（莱茵美因应用科学大学）
介绍了SpERT，一种基于跨度的联合实体的注意力模型和关系抽取。我们的主要贡献是一个轻量级的推理BERT嵌入，其功能实体识别和过滤，以及关系分类与本地化，无标记的上下文表示。该模型使用强句内否定样本进行训练，这些样本在单个BERT通道中有效地提取。这些方面便于在句子中的所有跨度上进行搜索。在消融研究中，我们证明了预训练，强负采样和局部背景的好处。我们的模型在联合实体和关系抽取的几个数据集上的F1得分高达2.6%，优于先前的工作。
2021-06-28 cs.CL cs.LG
Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition
RIKEN（理化学研究所）；Tohoku University（东北大学）；Preferred Networks, Inc.（Preferred Networks公司）；Langsmith, Inc.（Langsmith公司）
模型预测的可解释的原理在实际应用中起着关键作用。在这项研究中，我们开发了具有可解释的推理过程的结构化预测模型。具体来说，我们提出了一种基于实例的学习方法，学习跨度之间的相似性。在推理时，每个跨度都会根据其在训练集中的相似跨度分配一个类标签，这样就很容易理解每个训练实例对预测的贡献。通过对命名实体识别的实证分析，我们证明了我们的方法能够在不牺牲性能的情况下构建具有高可解释性的模型。
2020-04-29 cs.CL cs.LG
Detecting Entities in the Astrophysics Literature: A Comparison of Word-based and Span-based Entity Recognition Methods
CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
从科学文献中提取信息抽取可能具有挑战性，因为此类文本具有高度专业性。我们描述了我们的实体识别方法开发的一部分，交易（天体物理学文献中的实体检测）共享任务。该任务的目的是建立一个系统，可以识别命名实体的数据集组成的学术文章从天体物理学文献。我们计划我们的参与，使我们能够进行基于词的标记和基于跨度的分类方法之间的实证比较。在组织者提供的两个隐藏测试集上进行评估时，我们表现最好的提交达到了$F_1$分数0.8307（验证阶段）和0.7990（测试阶段）。
2022-11-24 cs.CL
UTNLP at SemEval-2021 Task 5: A Comparative Analysis of Toxic Span Detection using Attention-based, Named Entity Recognition, and Ensemble Models
University of Tehran（德黑兰大学）
检测句子的哪些部分导致了句子的毒性，而不是提供一个令人讨厌的判决，这将增加模型的可解释性，并允许人类主持人更好地理解系统的输出。本文介绍了我们团队的UTNLP方法和SemEval-2021共享任务5中关于有毒跨度检测的结果。我们测试了多个模型和上下文嵌入，并报告了最好的设置。实验从基于关键字的模型开始，然后是基于注意力的，基于命名实体的，基于变换器的和集成模型。我们最好的方法，合奏模型，在比赛的评估阶段达到了0.684的F1。
2021-04-10 cs.CL
Decomposed Meta-Learning for Few-Shot Named Entity Recognition
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
Few-Shot命名实体识别（NER）系统的目标是仅基于少量标记的实例来识别新类别的命名实体。在本文中，我们提出了一个分解的元学习方法，解决了问题的Few-Shot NER依次解决Few-Shot跨度检测和Few-Shot实体类型使用元学习。特别地，我们将Few-Shot跨度检测问题转化为序列标记问题，并通过引入模型无关元学习（MAML）算法对跨度检测器进行训练，以找到一个能够快速适应新实体类的模型参数初始化。对于Few-Shot实体类型，我们提出了MAML-ProtoNet，即，MAML增强的原型网络，以找到一个良好的嵌入空间，可以更好地区分不同实体类的文本跨度表示。在各种基准测试上的大量实验表明，我们的方法比以前的方法具有更好的性能。
2022-04-13 cs.CL
End-to-end Biomedical Entity Linking with Span-based Dictionary Matching
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Megagon Labs（Megagon实验室）
疾病名称识别和规范化是生物医学文本挖掘中的一个基本过程，通常称为生物医学实体链接。最近，已经提出了两个任务的神经联合学习，以利用相互的好处。虽然这种方法实现了高性能，但无法准确预测未出现在训练数据集中的疾病概念。本研究介绍了一种新的端到端的方法，结合跨度表示与字典匹配功能来解决这个问题。我们的模型通过引用字典来处理看不见的概念，同时以端到端的方式保持基于神经网络的模型的性能。使用两个主要数据集的实验表明，我们的模型在强基线的情况下取得了有竞争力的结果，特别是对于训练过程中看不见的概念。
2021-04-21 cs.CL
A Neural Span-Based Continual Named Entity Recognition Model
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
针对持续命名实体识别中旧知识遗忘与新类型冲突问题，提出SpanKL，融合跨度建模、知识蒸馏和多标签预测，在OntoNotes与Few-NERD增量基准上显著优于现有SoTA。
2023-07-17 cs.AI cs.CL
Fighting Against the Repetitive Training and Sample Dependency Problem in Few-shot Named Entity Recognition
KU Leuven（鲁汶大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Elsevier（爱思唯尔）
针对小样本命名实体识别中跨度检测器重复训练、分类器样本依赖的问题，提出基于预训练垫脚石跨度检测器与LLM生成实体类型参照的改进流程，在少训练步数、少标注数据下实现更优性能，尤其在细粒度场景超越ChatGPT等强基线。
2024-06-18 cs.AI cs.CL
PNEL: Pointer Network based End-To-End Entity Linking over Knowledge Graphs
Language Technology Group, Universität Hamburg（汉堡大学语言技术组）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Smart Data Analytics Group, University of Bonn（波恩大学智能数据分析组）
问答系统通常被建模为由一系列步骤组成的流水线。在这样的管道中，实体链接（EL）通常是第一步。几个EL模型首先执行跨度检测，然后实体消歧。在这样的模型中，来自跨度检测相位的误差级联到后面的步骤，并导致整体精度的下降。此外，训练数据中缺乏黄金实体跨度是跨度检测器训练的限制因素。因此，向端到端EL模型的移动开始于不涉及单独的跨度检测步骤的地方。在这项工作中，我们提出了一种新的方法，端到端EL通过应用流行的指针网络模型，实现了竞争力的性能。我们在维基数据知识图谱上的三个数据集上进行了评估。
2020-08-31 cs.AI cs.CL
Boosting Span-based Joint Entity and Relation Extraction via Squence Tagging Mechanism
National University of Defense Technology（国防科技大学）
基于跨度的联合抽取以文本跨度的形式同时进行命名实体识别和关系抽取。最近的研究表明，令牌标签可以传达关键的特定于任务的信息和丰富的令牌语义。然而，据我们所知，由于完全放弃了序列标记机制，所有基于跨度的工作都没有使用令牌标签信息。为了解决这个问题，我们提出了序列标记增强的基于跨度的网络（Sequence Tagging enhancedSpan-based Network，STSN），它是一种基于跨度的联合抽取网络，通过从基于序列标记的NER中获得令牌BIO标签信息来增强。通过将多个注意力层进行深度叠加，设计了一种深度神经架构来构建STSN，每个注意力层由三个基本注意力单元组成。深度神经架构首先学习标记标签的语义表示和基于跨度的联合抽取，然后构建它们之间的信息交互，从而实现基于跨度的NER和RE之间的双向信息交互。此外，我们扩展了BIO标记方案，使STSN可以提取重叠实体。在三个基准数据集上的实验表明，我们的模型始终优于以前的最佳模型，创造了新的最先进的结果。
2022-07-16 cs.CL
Split-NER: Named Entity Recognition via Two Question-Answering-based Classifications
Nuro Inc.（Nuro 公司）；IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）
本文提出 Split-NER，将命名实体识别拆分为跨度检测和跨度分类两个子任务，并分别建模为问答问题，通过两次微调 BERT 实现高效且准确的实体识别。
2023-10-30 cs.CL cs.IR cs.LG
Fine-Grained Named Entity Recognition using ELMo and Wikidata
Constellation AI
细粒度命名实体识别是一个任务，我们检测和分类实体提到一个大的类型集。这些类型可以跨越不同的领域，如金融，医疗保健和政治。我们观察到，当类型集跨越几个域的实体检测的准确性成为监督学习模型的限制。主要原因是缺乏适当注释实体边界的数据集，同时覆盖大量实体类型。此外，许多命名实体系统在考虑细粒度实体类型的分类时会受到影响。我们的工作试图解决这些问题，部分是通过将最先进的深度学习模型（ELMo）与广泛的知识库（Wikidata）相结合。使用我们的框架，我们交叉验证我们的模型上的112个细粒度的实体类型的基础上的层次结构从维基（黄金）数据集。
2019-04-23 cs.AI cs.CL cs.IR
Win-Win Cooperation: Bundling Sequence and Span Models for Named Entity Recognition
National University of Defense Technology（国防科技大学）
对于命名实体识别（NER），基于序列标记和基于跨度的范例是完全不同的。以往的研究表明，这两种范式有明显的互补优势，但很少有模型试图利用这些优势，在一个单一的NER模型，据我们所知。在我们以前的工作中，我们提出了一个称为捆绑学习（BL）的范式来解决上述问题。BL范式捆绑了两种NER范式，使NER模型能够通过加权求和每个范式的训练损失来联合调整它们的参数。然而，三个关键问题仍然没有解决：BL何时起作用？BL为什么工作？BL能否增强现有的最先进（SOTA）NER模型？为了解决前两个问题，我们实现了三个NER模型，包括一个基于序列标记的模型-SeqNER，一个基于跨度的NER模型-SpanNER，以及将SeqNER和SpanNER捆绑在一起的BL-NER。我们得出两个结论，这两个问题的基础上的实验结果，11 NER数据集，从五个领域。然后，我们将BL应用到五个现有的SOTA NER模型来研究第三个问题，包括三个基于序列标记的模型和两个基于跨度的模型。实验结果表明，BL一致地增强了它们的性能，这表明有可能通过将BL并入当前SOTA系统来构建新的SOTA NER系统。此外，我们发现BL减少实体边界和类型预测误差。此外，我们比较了两种常用的标注方法以及三种类型的跨度语义表征。
2022-07-16 cs.CL
Example-Based Named Entity Recognition
Microsoft Dynamics 365 AI（微软 Dynamics 365 人工智能）
我们提出了一种新的方法，命名实体识别（NER）在稀缺的数据，我们称之为基于实例的NER的存在。我们的无训练少样本学习方法从问答中获得灵感，以识别新的和看不见的领域中的实体跨度。与当前最先进的方法相比，所提出的方法表现得更好，特别是当使用少量的支持示例时。
2020-08-24 cs.CL cs.IR
Contextualized End-to-End Neural Entity Linking
BlackRock（贝莱德）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了另一种实体链接模型（YELM），它将单词链接到实体，而不是跨度。这克服了与选择好的候选提及跨度相关联的任何困难，并且使得提及检测（MD）和实体消歧（ED）的联合训练容易成为可能。我们的模型是基于BERT，并产生上下文化的词嵌入，这是对联合MD和ED目标的训练。我们在几个标准的实体链接（EL）数据集上实现了最先进的结果。
2020-11-07 cs.CL
Deep Span Representations for Named Entity Recognition
Ningbo No.2 Hospital（宁波市第二医院）；Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences（中国科学院大学宁波生命与健康产业研究院）
提出DSpERT模型，通过跨度Transformer逐层聚合token表示，生成深度跨度表示，在八个NER基准上达到或超越最先进性能，尤其擅长长跨度实体和嵌套结构。
2023-05-09 cs.CL cs.LG
Packed Levitated Marker for Entity and Relation Extraction
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；WeChat AI（微信人工智能）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；International Innovation Center of Tsinghua University（清华大学国际创新中心）；Jiangsu Collaborative Innovation Center for Language Ability（江苏语言能力协同创新中心）；Institute Guo Qiang, Tsinghua University（清华大学国强研究院）
最近的实体和关系抽取工作集中于研究如何从预训练的编码器获得更好的跨度表示。然而，现有工程的一个主要局限性是，他们忽略了跨度（对）之间的相互关系。在这项工作中，我们提出了一种新的跨度表示方法，命名为包装悬浮标记（PL标记），考虑跨度（对）之间的相互关系，通过战略包装的标记在编码器中。特别是，我们提出了一种面向邻居的包装策略，该策略整体考虑了邻居跨度，以更好地对实体边界信息进行建模。此外，对于那些更复杂的跨度对分类任务，我们设计了一个面向主题的包装策略，包装每个主题及其所有对象之间的相互关系模型相同的主题跨度对。实验结果表明，通过增强的标记特征，我们的模型在六个NER基准上提高了基线，并在ACE 04和ACE 05上获得了4.1%-4.3%的严格关系F1改进，速度比以前的最先进模型更快。
2022-04-21 cs.CL
An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition
Fudan University（复旦大学）
命名实体识别是对文本中的实体跨度进行检测和分类的任务。当实体跨度相互重叠时，这个问题被称为嵌套NER。基于跨度的方法已被广泛用于解决嵌套NER。这些方法大多会得到一个评分$n \times n$矩阵，其中$n$表示句子的长度，每个条目对应一个跨度。然而，以前的工作忽略了空间关系的得分矩阵。在本文中，我们提出使用卷积神经网络（CNN）来模拟这些空间关系的得分矩阵。尽管很简单，但在三个常用的嵌套NER数据集上的实验表明，我们的模型超过了最近提出的几种使用相同预训练编码器的方法。进一步的分析表明，使用CNN可以帮助模型找到更多的嵌套实体。此外，我们发现不同的论文使用不同的句子标记的三个嵌套的NER数据集，这将影响比较。因此，我们发布了一个预处理脚本，以方便将来的比较。
2022-09-15 cs.CL
Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning
Microsoft Research（微软研究院）
我们提出了一个双编码器框架命名实体识别（NER），它适用于对比学习映射候选文本跨度和实体类型到同一个向量表示空间。以前的工作主要是接近NER序列标记或跨度分类。相反，我们框架NER作为一个表示学习的问题，最大限度地提高了实体提及和其类型的向量表示之间的相似性。这使得它很容易处理嵌套和平坦的NER，并且可以更好地利用嘈杂的自我监督信号。这种用于NER的双编码器公式化的主要挑战在于将非实体跨度与实体提及分开。而不是显式地标记为同一类$\texttt{Outside}$（$\texttt{O}$）的所有非实体跨度在大多数现有的方法，我们引入了一种新的动态阈值损失。实验表明，我们的方法在监督和远程监督设置中表现良好，对于嵌套和平面NER一样，在一般领域的标准数据集上建立了新的技术水平（例如，ACE 2004，ACE 2005）和高价值的垂直行业，如生物医药（例如，GENIA，NCBI，BC5CDR，JNLPBA）。我们在github.com/microsoft/binder上发布代码。
2023-02-23 cs.AI cs.CL
Less than One-shot: Named Entity Recognition via Extremely Weak Supervision
University of California, San Diego（加州大学圣迭戈分校）
针对仅每类一个无上下文示例的极弱监督NER问题，提出通过比较替换前后上下文分布挖掘伪标签的X-NER方法，性能超越现有单次样本少样本方法及ChatGPT标注，且具备跨语言能力。
2023-11-06 cs.CL
Fusing Heterogeneous Factors with Triaffine Mechanism for Nested Named Entity Recognition
Tsinghua University（清华大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group（阿里巴巴集团）
嵌套实体由于其组合性而在许多领域中被观察到，这不能被广泛使用的序列标记框架容易地识别。一个自然的解决方案是将任务视为跨度分类问题。为了学习更好的跨度表示并提高分类性能，有效地集成异构因素至关重要，包括内部标记，边界，标签和相关跨度，这些因素可能有助于嵌套实体识别。为了融合这些异构因素，我们提出了一种新的三仿射机制，包括三仿射注意和评分。Triaffine attention使用边界和标签作为查询，并使用内部标记和相关的span作为span表示的键和值。Triaffine评分与用于分类的边界和跨度表示相互作用。实验结果表明，该方法优于以往的基于跨度的方法，在嵌套NER数据集GENIA和KBP 2017上获得了最新的$F_1$分数，在ACE 2004和ACE 2005上获得了相当的结果。
2022-04-02 cs.CL
CLaCLab at SocialDisNER: Using Medical Gazetteers for Named-Entity Recognition of Disease Mentions in Spanish Tweets
CLaC Labs（CLaC实验室）；Concordia University（康考迪亚大学）
本文总结了CLaC提交的SMM4H 2022任务10，该任务涉及识别西班牙推文中提到的疾病。在对每个标记进行分类之前，我们使用多语言RoberTa Large、UMLS地名词典和DISTEMIST地名词典等中的功能，使用Transformer编码器对每个标记进行编码。我们得到严格的F1得分为0.869，竞争平均值为0.675，标准差为0.245，中位数为0.761。
2022-09-13 cs.AI cs.CL cs.LG
A Two-Phase Paradigm for Joint Entity-Relation Extraction
National University of Defense Technology（国防科技大学）；The Affiliated Eye Hospital of Nanjing Medical University（南京医科大学附属眼科医院）
一个详尽的研究已经进行了调查跨度为基础的模型的联合实体和关系抽取任务。然而，这些模型在模型训练过程中采样了大量的负实体和负关系，这是必不可少的，但会导致数据分布严重不平衡，进而导致模型性能不佳。为了解决上述问题，本文提出了一种基于跨度的联合实体和关系抽取的两阶段范式，即在第一阶段对实体和关系进行分类，在第二阶段预测这些实体和关系的类型。两阶段范式使我们的模型能够显著减少数据分布差距，包括否定实体与其他实体之间的差距，以及否定关系与其他关系之间的差距。此外，我们首次尝试将实体类型和实体距离作为全局特征，这被证明是有效的，特别是对于关系抽取。在多个数据集上的实验结果表明，基于跨度的联合提取模型与两阶段范式和全局特征增强一致优于以前的最先进的基于跨度的联合提取任务的模型，建立了一个新的标准基准。定性和定量分析进一步验证了所提出范式的有效性和全局特征.
2022-08-18 cs.CL
Few-shot Named Entity Recognition with Entity-level Prototypical Network Enhanced by Dispersedly Distributed Prototypes
National University of Defense Technology（国防科技大学）
Few-Shot命名实体识别（NER）使我们能够建立一个新的领域使用很少的标记的例子的NER系统。然而，现有的原型网络的这项任务遭受粗略估计的标签依赖性和紧密分布的原型，从而经常导致错误分类。为了解决上述问题，我们提出了EP-Net，一个由分散分布的原型增强的多层原型网络。EP-Net构建实体级原型，并将文本跨度视为候选实体，因此不再需要标签依赖。此外，EP-Net从头开始训练原型，使其分散分布，并使用空间投影将span与嵌入空间中的原型对齐。两个评估任务和Few-NERD设置的实验结果表明，EP-Net在整体性能方面始终优于以前的强模型。大量的分析进一步验证了EP-Net的有效性。
2022-08-17 cs.CL
Span-based Named Entity Recognition by Generating and Compressing Information
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center (AIRC)（人工智能研究中心（AIRC））；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））；Alan Turing Institute（艾伦·图灵研究所）
信息瓶颈（IB）原理在各种NLP应用中已被证明是有效的。然而，现有的工作，只使用生成或信息压缩模型，以提高目标任务的性能。在本文中，我们提出将这两种类型的IB模型结合到一个系统中，以增强命名实体识别（NER）。对于一种类型的IB模型，我们将两个无监督的生成组件，跨度重建和同义词生成，到一个基于跨度的NER系统。跨度重构保证了语境化的跨度表征保持跨度信息，而同义词生成使得同义词即使在不同的语境中也具有相似的表征。对于另一种类型的IB模型，我们添加了一个监督IB层，该层在系统中执行信息压缩，以在生成的跨度表示中保留NER的有用特征。在五个不同语料库上的实验表明，联合训练生成模型和信息压缩模型可以提高基于跨度的基准NER系统的性能。我们的源代码可在https://github.com/nguyennth/joint-ib-models上公开获取。
2023-02-10 cs.CL cs.LG
ClinLinker: Medical Entity Linking of Clinical Concept Mentions in Spanish
Universidad de Málaga（马拉加大学）；Research Institute of Multilingual Language Technologies（多语言语言技术研究所）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
ClinLinker提出基于SapBERT双编码器检索与交叉编码器重排序的两阶段西班牙语医学实体链接方法，在DisTEMIST和MedProcNER上分别超越先前基准40和43个百分点。
2024-04-09 cs.CL
Global Pointer: Novel Efficient Span-based Approach for Named Entity Recognition
Zhuiyi Technology Co., Ltd.（追一科技有限公司）
命名实体识别（NER）任务的目的是从一段文本中识别出属于预定义语义类型的实体，例如人、位置、组织等。用于平面实体NER的最新解决方案通常遭受捕获底层文本中的细粒度语义信息。现有的基于跨度的方法克服了这一限制，但计算时间仍然是一个问题。在这项工作中，我们提出了一种新的跨度为基础的NER框架，即全球指针（GP），利用相对位置通过乘法注意力机制。最终目标是启用考虑开始和结束位置的全局视图来预测实体。为此，我们设计了两个模块来识别给定实体的头部和尾部，以实现训练和推理过程之间的不一致。此外，我们引入了一个新的分类损失函数，以解决不平衡的标签问题。在参数方面，我们引入了一种简单但有效的近似方法来减少训练参数。我们在各种基准数据集上广泛评估GP。我们广泛的实验表明，GP可以优于现有的解决方案。此外，实验结果表明，引入的损失函数相比，softmax和熵的替代品的有效性。
2022-08-05 cs.AI cs.CL cs.LG
Neural Text Classification and Stacked Heterogeneous Embeddings for Named Entity Recognition in SMM4H 2021
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
本文介绍了我们参与SMM 4 H共享任务2021的发现。我们解决了命名实体识别（NER）和文本分类。为了解决NER问题，我们探索了具有堆叠异构嵌入和语言特征的BiLSTM-CRF。我们研究了各种机器学习算法（逻辑回归，支持向量机（SVM）和神经网络）来解决文本分类问题。我们提出的方法可以推广到不同的语言，我们已经证明了其有效性英语和西班牙语。我们的文本分类提交（团队：MIC-NLP）在ADE分类（任务1a）和职业分类（任务7a）上分别获得了$0.46$和$0.90$的F1分数。在NER的情况下，我们的提交物在ADE跨度检测（任务1b）和职业跨度检测（任务7 b）上分别获得了$0.50$和$0.82$的F1分数。
2021-06-11 cs.CL
Extensive Error Analysis and a Learning-Based Evaluation of Medical Entity Recognition Systems to Approximate User Experience
National Research Council Canada（加拿大国家研究委员会）
当在测试集上将由医学实体识别系统提取的实体与金标准注释进行比较时，可能发生两种类型的不匹配，标签不匹配或跨度不匹配。在这里，我们专注于跨度不匹配，并表明其严重性可以从一个严重的错误，一个完全可以接受的实体提取由于跨度注释的主观性。对于特定领域的基于BERT的NER系统，我们发现25%的错误具有与金标准实体相同的标签和重叠跨度。我们收集了专家的判断，显示超过90%的这些不匹配被用户接受或部分接受。使用NER系统的训练集，我们建立了一个快速和轻量级的实体分类器，通过接受或拒绝它们来近似这种不匹配的用户体验。该分类器所做的决定被用来计算基于学习的F分数，这被证明是一个更好的近似宽容的用户的体验比放松的F分数。我们展示了将所提出的评估指标应用于使用两个数据集训练的各种深度学习医学实体识别模型的结果。
2020-06-09 cs.CL cs.LG
Type-Aware Decomposed Framework for Few-Shot Named Entity Recognition
Wuhan University（武汉大学）
针对少样本命名实体识别中虚假跨度与不稳定原型问题，提出类型感知分解框架TadNER，通过跨度过滤与对比学习提升性能，达到新最先进水平。
2023-10-16 cs.CL
A Sequence-to-Set Network for Nested Named Entity Recognition
Zhejiang University（浙江大学）
命名实体识别（NER）是自然语言处理中一个广泛研究的课题。最近，越来越多的研究集中在嵌套NER。基于跨度的方法将实体识别看作是一个跨度分类任务，可以自然地处理嵌套实体。但他们苦于巨大的搜索空间和实体之间缺乏互动。为了解决这些问题，我们提出了一种新的序列集神经网络嵌套NER。我们提供了一组固定的可学习向量来学习有价值的跨度的模式，而不是预先指定候选跨度。我们利用一个非自回归解码器来预测最终的实体集，在一个通道中，我们能够捕获实体之间的依赖关系。与序列到序列的方法相比，我们的模型是更适合这样的无序识别任务，因为它是不敏感的标签顺序。此外，我们利用基于二分匹配的损失函数来计算总体训练损失。实验结果表明，我们提出的模型实现了国家的最先进的三个嵌套NER语料库：ACE 2004，ACE 2005和KBP 2017。该代码可在https://github.com/zqtan1024/sequence-to-set上获得。
2021-06-20 cs.CL
Audio De-identification: A New Entity Recognition Task
Google（谷歌）
命名实体识别（NER）主要是在书面文本的背景下研究的。具体而言，NER是医疗记录去识别（de-ID）的重要步骤，其中许多是患者和医生之间的记录对话。在这样的录音中，带有个人信息的音频段应该被编辑，类似于在书面文本的de-ID中编辑敏感字符段。NER在音频去识别背景下的应用尚未得到充分研究。为此，我们定义了音频de-ID的任务，其中应该检测到实体提及的音频跨度。然后，我们提出了我们的管道，这涉及到自动语音识别（ASR），NER的成绩单文本，和文本到音频的对齐。最后，我们介绍了一种新的音频de-ID度量标准和一个新的评估基准，该基准由Switchboard和Fisher音频数据集的一个大的标记部分组成，并详细介绍了我们的流水线结果。
2019-05-05 cs.CL
Delving Deep into Regularity: A Simple but Effective Method for Chinese Named Entity Recognition
Huawei Cloud（华为云）
近年来，中文命名实体识别（NER）的性能不断提高，无论是提出新的框架还是引入词汇库。然而，关于字级汉语实体提及的内部构成的研究却很少。实际上，大多数提到的正则类型都有很强的名称正则性。例如，以“公司”或“银行”等指示词结尾的实体通常属于组织。在本文中，我们提出了一个简单而有效的方法来调查的规则性实体跨度在中国的NER，被称为规则启发再认知网络（RICON）。具体来说，该模型由两个分支组成：一个规则感知模块和一个规则不可知模块。规则性感知模块捕捉每个跨度的内部规则性，以便更好地预测实体类型，而规则性不可知模块用于定位实体的边界，减轻对跨度规则性的过度关注。进一步构造了一个正交空间，以鼓励两个模块提取不同方面的规律性特征。为了验证我们的方法的有效性，我们进行了广泛的实验上的三个基准数据集和一个实际的医疗数据集。实验结果表明，我们的RICON显着优于以前的国家的最先进的方法，包括各种基于词典的方法。
2022-04-18 cs.CL
FSE: Continual Learning for Named Entity Recognition by Fast-Slow Experts
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
研究命名实体识别的持续学习问题，提出FSE模型，通过快速-慢速专家结合及长度衰减负采样策略，在跨任务知识共享、减轻学习负担等方面发挥作用，在CLNER场景中取得了最优性能。
2026-07-27 cs.AI cs.CL
CNER: A tool Classifier of Named-Entity Relationships
Universidad del Valle（山谷大学）
本研究提出西班牙语命名实体关系抽取工具集合CNER，基于容器架构整合多类工具并配友好界面，作为教学资源展示机器学习在西语NLP中的应用，初步验证了其在西语语境下的应用潜力。
2024-05-17 cs.CL cs.HC
DiffusionNER: Boundary Diffusion for Named Entity Recognition
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出DiffusionNER，将命名实体识别建模为边界去噪扩散过程，通过前向加噪与反向去噪实现实体生成，在多个数据集上取得优于或可比的性能。
2023-05-22 cs.CL
A Unified Generative Framework for Various NER Subtasks
Fudan University（复旦大学）；New York University（纽约大学）；Pazhou Lab（琶洲实验室）
命名实体识别（NER）是识别句子中表示实体的跨度的任务。无论实体跨度是嵌套的还是不连续的，NER任务都可以分为平坦NER、嵌套NER和不连续NER子任务。这些子任务主要通过标记级序列标记或跨度级分类来解决。然而，这些解决方案很难同时处理这三种NER子任务。为此，我们建议将NER子任务制定为实体跨度序列生成任务，该任务可以通过统一的序列到序列（Seq2Seq）框架来解决。基于我们的统一框架，我们可以利用预先训练的Seq2Seq模型来解决所有三种NER子任务，而无需特殊设计的标记模式或枚举跨度的方法。我们利用三种类型的实体表示将实体线性化为序列。我们提出的框架易于实现，并在8个英语NER数据集上实现了最先进的（SoTA）或接近SoTA的性能，包括两个平面NER数据集，三个嵌套NER数据集和三个不连续NER数据集。
2021-06-02 cs.CL
Named Entity Recognition as Dependency Parsing
Queen Mary University（伦敦玛丽女王大学）；Google Research（谷歌研究院）
命名实体识别（NER）是自然语言处理中的一项基本任务，涉及到识别表达实体引用的文本的跨度。NER研究通常只关注平面实体（flat NER），忽略了实体引用可以嵌套的事实，如[Bank of [China]]（Finkel and Manning，2009）。在本文中，我们使用基于图的依存句法分析的思想，通过biaffine模型为我们的模型提供关于输入的全局视图（Dozat和Manning，2017）。双仿射模型对句子中的开始和结束标记对进行评分，我们使用这些标记来探索所有跨度，因此该模型能够准确地预测命名实体。我们表明，该模型的嵌套和平面NER通过8个语料库的评估和实现SoTA性能对所有这些，准确性增益高达2.2个百分点。
2020-06-13 cs.CL
Joint Biomedical Entity and Relation Extraction with Knowledge-Enhanced Collective Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
与一般新闻领域相比，生物医学文本的信息抽取需要更广泛的领域知识。然而，许多以前的IE方法在推理过程中不利用任何外部知识。由于生物医学出版物的指数增长，不超过其固定参数集的模型可能会落后。受人类如何查找相关信息来理解科学文本的启发，我们提出了一个新的框架，利用外部知识进行联合实体和关系抽取命名为KECI（知识增强集体推理）。给定一个输入文本，KECI首先构造一个初始跨度图，表示它对文本的初始理解。然后使用实体链接器形成包含文本中提到的实体的相关背景知识的知识图谱。为了做出最终的预测，KECI使用注意力机制将初始跨度图和知识图谱融合成一个更精细的图。KECI采用一种集体方法，通过使用图卷积网络将全局关系信息集成到局部表示中，将提及跨度与实体联系起来。我们的实验结果表明，该框架是非常有效的，在两个不同的基准数据集：BioRelEx（结合相互作用检测）和ADE（不良药物事件提取）实现了新的最先进的结果。例如，KECI在BioRelEx实体和关系抽取任务上的F1得分比最先进的技术分别提高了4.59%和4.91%。
2021-06-01 cs.CL
An Autoregressive Text-to-Graph Framework for Joint Entity and Relation Extraction
FI Group（FI集团）
本文提出一种基于跨度的自回归文本到图框架，将联合实体和关系抽取建模为条件序列生成问题，利用Transformer编码器-解码器与指针机制在动态词汇表上生成线性化图，在基准数据集上取得有竞争力的结果。
2024-01-15 cs.AI cs.CL cs.LG
Named Entity Recognition in Twitter: A Dataset and Analysis on Short-Term Temporal Shifts
Cardiff University（卡迪夫大学）；Snap Inc.（Snap公司）
语言模型预训练的最新进展导致了命名实体识别（NER）的重要改进。尽管如此，这种进步主要在格式良好的文档中得到了测试，如新闻，维基百科或科学文章。在社交媒体中，情况有所不同，由于其嘈杂和动态的性质，它增加了另一层复杂性。在本文中，我们专注于最大的社交媒体平台之一Twitter中的NER，并构建了一个新的NER数据集TweetNER7，其中包含7种实体类型，注释了2019年9月至2021年8月的11，382条推文。该数据集是通过仔细分配推文并以代表性趋势为基础来构建的。除了数据集之外，我们还提供了一组语言模型基线，并对任务上的语言模型性能进行了分析，特别是分析了不同时间段的影响。特别是，我们专注于我们的分析中的三个重要的时间方面：短期退化的NER模型随着时间的推移，策略微调语言模型在不同时期，和自我标记作为替代缺乏最近标记的数据。TweetNER7是公开发布的（https：//huggingface.co/tweets/tner/tweetner7）以及在其上微调的模型。
2022-11-15 cs.CL
DualNER: A Dual-Teaching framework for Zero-shot Cross-lingual Named Entity Recognition
Tencent Cloud Xiaowei（腾讯云小微）；Zhejiang University（浙江大学）；Westlake University（西湖大学）
本文提出了一个简单有效的框架DualNER，它充分利用带标注的源语言语料和未标注的目标语言文本进行zero-shot跨语言命名实体识别（NER）。特别是，我们结合了NER的两个互补的学习范式，即，序列标记和跨度预测，到一个统一的多任务框架。在获得在源数据上训练的足够的NER模型之后，我们进一步在目标数据上以{ \it双教学}的方式对其进行训练，其中一个任务的伪标签是根据另一个任务的预测构建的。此外，基于跨度预测，提出了一种实体感知的正则化，以增强不同语言中相同实体之间的内在跨语言对齐。实验和分析表明，我们的DualNER的有效性。代码可在https://github.com/lemon0830/dualNER上获得。
2022-12-10 cs.CL
