Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Cloud&AI（华为云与人工智能）
去噪是基于远程监控的命名实体识别的关键步骤。以往的去噪方法大多基于实例级置信度统计，忽略了不同数据集和实体类型上潜在噪声分布的多样性。这使得它们难以适应高噪声率设置。在本文中，我们提出了超几何学习（HGL），一个去噪算法的远程监督NER，同时考虑噪声分布和实例级的信心。具体而言，在神经网络训练期间，我们自然地对每批中的噪声样本进行建模，这些噪声样本遵循由噪声率参数化的超几何分布。然后根据前一步训练得到的标签置信度以及该样本批次中的噪声分布，将批次中的每个实例视为正确实例或噪声实例。实验表明，HGL可以有效地去除从远程监督检索到的弱标记数据，从而显著改善训练模型。
2021-06-17 cs.CL
MProto: Multi-Prototype Network with Denoised Optimal Transport for Distantly Supervised Named Entity Recognition
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）
针对远程监督命名实体识别中的标注噪声问题，提出多原型网络MProto，通过多原型建模类内差异并将token-原型分配视为最优传输问题，辅以去噪算法，在多个基准上取得最优性能。
2023-10-12 cs.CL
Connecting Distant Entities with Induction through Conditional Random Fields for Named Entity Recognition: Precursor-Induced CRF
Seoul National University（首尔国立大学）
针对命名实体识别，提出了一种在线性链条件随机场（CRF）上设计特定高阶依赖因子的方法。命名实体往往被文本中的多个外部标记彼此分开，因此一阶CRF以及二阶CRF可能天生地丢失远距离命名实体之间的转换信息。该设计使用NER中的外部标签作为CRF上先例实体信息的传输媒介。然后，实证结果显然表明，它是可以利用长距离标签依赖性在原来的一阶线性链CRF结构后NER，同时减少计算损失，而不是在二阶CRF。
2018-05-26 cs.CL
Identifying civilians killed by police with distantly supervised entity-event extraction
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们为自然语言处理提出了一个新的、具有社会影响力的任务：从新闻语料库中提取被警察杀害的人的名字。我们提出了一个新收集的警察死亡语料库，我们公开发布，并提出了一个模型来解决这个问题，使用基于EM的远程监督与逻辑回归和卷积神经网络分类器。我们的模型优于两个现成的事件提取器系统，它可以建议候选受害者的名字在某些情况下比一个主要的手动收集的警察死亡数据库。
2017-07-22 cs.CL
Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning
Fudan University（复旦大学）
在这项工作中，我们探索的方式来执行命名实体识别（NER）只使用未标记的数据和命名实体字典。为此，我们制定了一个积极的无标记（PU）学习问题的任务，并相应地提出了一种新的PU学习算法来执行任务。我们证明了该算法可以无偏地和一致地估计任务损失，如果有完全标记的数据。所提出的方法的一个关键特征是，它不需要词典标记句子中的每个实体，甚至不需要词典标记构成实体的所有单词。这大大降低了对字典质量的要求，并使我们的方法推广到相当简单的字典。在四个公开的NER数据集上的实证研究证明了我们所提出的方法的有效性。我们已经在\url{https://github.com/v-mipeng/LexiconNER}上发布了源代码。
2019-06-11 cs.CL
DynClean: Training Dynamics-based Label Cleaning for Distantly-Supervised Named Entity Recognition
Temple University（天普大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出DynClean，一种基于训练动态的标签清洗方法，通过自动阈值估计定位并移除远程监督NER中的错误标注，在四个数据集上显著提升F1分数。
2025-04-06 cs.CL
Improving Distantly-Supervised Named Entity Recognition with Self-Collaborative Denoising Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
远距离监督命名实体识别（DS-NER）有效地降低了人工成本，但同时由于远距离监督的强假设而固有地遭受标签噪声。通常，错误标记的实例包括许多不完整和不准确的注释噪声，而大多数先前的去噪工作只关注一种噪声，而不能充分挖掘整个训练集中的有用信息。为了解决这个问题，我们提出了一个强大的学习范式，名为自协作去噪学习（SCDL），它以互利的方式联合训练两个师生网络，迭代地执行噪声标签精炼。每个网络都被设计为通过自我去噪来利用可靠的标签，两个网络相互通信，通过协作去噪来探索不可靠的注释。在五个真实数据集上的大量实验结果表明，SCDL优于最先进的DS-NER去噪方法。
2023-02-15 cs.CL
Hierarchical Relation-Guided Type-Sentence Alignment for Long-Tail Relation Extraction with Distant Supervision
University of Technology Sydney（悉尼科技大学）
远程监督使用知识图谱中的三重事实来标注语料库以进行关系抽取，导致错误标注和长尾问题。一些作品使用关系的层次结构进行知识转移到长尾关系。然而，粗粒度的关系通常仅意味着属性（例如，域或主题）的远距离事实，使得很难区分关系的基础上，单独的句子语义。一种解决方案是诉诸实体类型，但关于如何充分利用实体类型的信息以及如何将多粒度实体类型与句子对齐的问题仍然存在。在这项工作中，我们提出了一种新的模型来丰富实体类型的远程监督句子。它包括（1）一个成对的类型丰富的句子编码模块注入上下文无关的和相关的背景，以减轻重复级别的错误标记，和（2）一个分层的类型句子对齐模块丰富的句子与三重事实的基本属性，以支持长尾关系。我们的模型在基准测试的整体和长尾性能方面取得了新的最先进的结果。
2021-09-19 cs.CL
Self-Attention Enhanced Selective Gate with Entity-Aware Embedding for Distantly Supervised Relation Extraction
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of New South Wales（新南威尔士大学）
远程监督关系抽取本质上遭受噪声标签由于远距离监督的强假设。大多数现有的工作采用选择性注意力机制在一个袋子里的句子去噪从错误标记的数据，但这可能是不称职的，当只有一个句子在一个袋子。本文提出了一种全新的轻量级神经网络框架来解决远距离监督的关系抽取问题，并弥补了以往选择性注意框架的不足。具体而言，在该框架中，我们使用了一种实体感知的词嵌入方法，将相对位置信息和头/尾实体嵌入结合起来，旨在突出实体的本质，以完成这项任务：2）我们开发了一种自注意力机制，以捕获丰富的上下文依赖，作为分段CNN捕获的局部依赖的补充;（3）我们设计了一个基于丰富上下文表示的池化门，作为聚合器来生成用于最终关系分类的袋级表示，而不是使用选择性注意。与选择性注意相比，所提出的门控机制的一个主要优点是，即使只有一个句子出现在一个袋子中，它也能稳定地执行，从而保持所有训练样本的一致性。在NYT数据集上的实验表明，我们的方法在AUC和top-n精度指标方面都达到了新的最先进的性能。
2019-11-27 cs.CL
De-biasing Distantly Supervised Named Entity Recognition via Causal Intervention
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督通过字典匹配自动生成训练实例来解决NER中的数据瓶颈。不幸的是，DS-NER的学习是严重的字典偏见，这遭受虚假的相关性，因此破坏了学习模型的有效性和鲁棒性。本文从结构因果模型（SCM）的角度对词典偏倚进行了解释，将其分为词典内偏倚和词典间偏倚，并分析了其产生的原因。基于SCM，我们通过因果干预学习去偏DS-NER。对于字典内偏差，我们进行后门调整，以消除虚假的相关性引入的字典混淆。对于字典间偏差，我们提出了一个因果不变正则化器，这将使DS-NER模型对字典的扰动更具鲁棒性。在四个数据集和三个DS-NER模型上的实验表明，该方法可以显著提高DS-NER的性能。
2021-06-17 cs.CL
Constraint Multi-class Positive and Unlabeled Learning for Distantly Supervised Named Entity Recognition
University of Science and Technology of China（中国科学技术大学）；School of Management（管理学院）；School of Data Science（数据科学学院）
本文提出约束多类正样本与无标签学习（CMPU）方法，通过在风险估计器中引入约束因子缓解远程监督命名实体识别中的假阴性问题，并在两个基准数据集上验证了其优于现有方法的性能。
2025-04-07 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督是一种很有前途的关系抽取方法，但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子，并使用多示例学习技术对标签进行去噪。然而，基于袋的范例，未能利用句间级和实体级的证据关系抽取，其去噪算法往往是专门的和复杂的。在本文中，我们提出了一个新的DS范式-基于文档的远程监督，模型关系抽取作为一个基于文档的机器阅读理解（MRC）的任务。通过将关于实体的所有句子重新组织为文档，并通过使用关系特定问题查询文档来提取关系，基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss（distantsupervisoryloss），该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型，从而从本质上解决了噪声标签问题。实验表明，我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
CANDiS: Coupled & Attention-Driven Neural Distant Supervision
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Indian Institute of Science（印度科学理工学院）
用于关系抽取的远程监督使用具有现有知识库的、按顺序对齐的文本数据作为训练数据。这种技术的无监督性质允许它扩展到网络规模的关系抽取任务，代价是训练数据中的噪声。以前的工作已经探索了相同实体对的实例之间的关系，以减少这种噪音，但实体对的实例之间的关系还没有得到充分利用。我们探讨使用的动词短语和实体类型的相似性的基础上的实例间的耦合。我们提出了一种新的技术，CANDIS，铸造远程监督使用实例间耦合到一个端到端的神经网络模型。CANDIS在实例级集成了一个注意力模块来模拟这个问题的多实例性质。CANDIS在标准基准数据集上的性能优于现有的最先进技术。
2017-10-26 cs.CL
Learning Named Entity Tagger using Domain-Specific Dictionary
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；CooTek Inc.（触宝公司）
深度神经模型的最新进展使我们能够构建可靠的命名实体识别（NER）系统，而无需手工制作功能。然而，这样的方法需要大量手动标记的训练数据。人们一直在努力用远程监督（与外部字典结合）取代人类注释，但生成的嘈杂标签对学习有效的神经模型构成了重大挑战。在这里，我们提出了两个神经模型，以适应嘈杂的远程监督的字典。首先，在传统的序列标签框架下，我们提出了一个修改的模糊CRF层来处理具有多个可能标签的令牌。在识别了远程监督中噪声标签的性质之后，我们超越了传统的框架，提出了一种新的、更有效的神经模型AutoNER，并采用了一种新的Tie or Break方案。此外，我们还讨论了如何完善远程监督，以获得更好的NER性能。在三个基准数据集上进行的大量实验表明，AutoNER在只使用字典而不需要额外的人工操作时实现了最佳性能，并在最先进的监督基准测试中提供了有竞争力的结果。
2018-09-10 cs.CL
Distantly Supervised Relation Extraction via Recursive Hierarchy-Interactive Attention and Entity-Order Perception
Jilin University（吉林大学）；University of Washington（华盛顿大学）
错误标注问题和长尾关系严重影响了远程监督关系抽取任务的性能。许多研究通过选择性注意力机制来减轻错误标注的影响，并通过引入关系层次来处理长尾关系以实现知识共享。然而，几乎所有的研究都忽略了这样一个事实，即在一个句子中，两个实体的出现顺序有助于其语义的理解。此外，它们只单独利用关系层次的每个关系层，而没有利用关系层之间的启发式效应，即，高层关系可以为低层关系提供有用的信息。在此基础上，本文设计了一种新的递归层次-交互式注意力网络（RHIA）来进一步处理长尾关系，该网络模拟了关系层次之间的启发式效应。自上而下，它通过关系相关的信息层，这是最显着的区别，从现有的模型，并产生关系增强的句子表示为每个关系水平的递归结构。此外，我们还引入了一个新的训练目标，称为有序感知（EOP），使句子编码器保留更多的实体外观信息。大量的实验流行（纽约时报）数据集进行。与之前的基线相比，我们的RHIA-EOP在精确-召回（P-R）曲线，AUC，Top-N精确度和其他评估指标方面达到了最先进的性能。深入的分析也证明了RHIA-EOP每个组成部分的必要性和有效性。
2022-04-25 cs.CL
Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training
University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）
我们研究的问题，训练命名实体识别（NER）模型，只使用距离标记的数据，这可以自动获得匹配的实体提到的原始文本中的实体类型的知识库。远程监督NER的最大挑战是远程监督可能会导致不完整和嘈杂的标签，从而使直接应用的监督学习变得无效。在本文中，我们提出了（1）一个噪声鲁棒的学习计划，包括一个新的损失函数和噪声标签去除步骤，用于训练远距离标记数据的NER模型，和（2）一个自训练方法，使用由预训练的语言模型创建的上下文增强，以提高泛化能力的NER模型。在三个基准数据集上，我们的方法实现了卓越的性能，显著优于现有的远程监督NER模型。
2021-09-10 cs.CL cs.LG
Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble
Huawei Cloud（华为云）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院）；Peking University（北京大学）；Hubei Key Laboratory of Distributed System Security, Hubei Engineering Research Center on Big Data Security, School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院，湖北省分布式系统安全重点实验室，湖北省大数据安全工程技术研究中心）
远程监督命名实体识别（DS-NER）通过自动生成训练样本有效地解决了命名实体识别中的数据稀缺问题。然而，远程监督可能会导致噪声标签，从而破坏学习模型的鲁棒性，限制了实际应用。为了缓解这个问题，最近的作品采用自我训练的师生框架，逐步细化训练标签，提高泛化能力的NER模型。然而，我们认为，DS-NER目前的自我训练框架的性能被严重低估了他们的平原设计，包括学生学习不足和粗粒度的教师更新。因此，在本文中，我们第一次尝试缓解这些问题，提出：（1）自适应教师学习包括两个教师-学生网络的联合训练，并考虑两个教师之间的一致和不一致的预测，从而促进全面的学生学习。(2)细粒度的学生集合，其利用学生的对应片段的时间移动平均来更新教师模型的每个片段，这增强了对每个模型片段的一致预测以对抗噪声。为了验证我们提出的方法的有效性，我们进行了实验上的四个DS-NER数据集。实验结果表明，我们的方法显着优于以前的SOTA方法。
2022-12-13 cs.CL
InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction
University of Virginia（弗吉尼亚大学）；Tencent AI Lab（腾讯AI实验室）；Fudan University（复旦大学）
远程监督使得通过利用知识库来自动标记用于关系抽取的句子袋成为可能，但是遭受稀疏和噪声袋问题。迫切需要更多的信息源来补充训练数据并克服这些问题。在本文中，我们介绍了两个广泛存在的知识库，即实体描述，和多粒度的实体类型，以丰富的远程监督数据。我们将信息源视为多个视图，并融合它们以构建一个完整的空间。提出了一种基于完整空间表示学习（InSRL）的端到端多视图关系抽取学习框架，并实现了多视图表示的联合学习.此外，内部视图和跨视图的注意力机制被用来突出不同层次上的实体对的基础上的重要信息。一个流行的基准数据集上的实验结果证明了额外的信息源的必要性和我们的框架的有效性。我们将在匿名审查阶段之后发布我们的模型和具有多个信息源的数据集的实现。
2020-12-17 cs.CL
Distantly Supervised Named Entity Recognition via Confidence-Based Multi-Class Positive and Unlabeled Learning
Iowa State University（爱荷华州立大学）
本文研究了远程监控下的命名实体识别问题。由于外部字典和/或知识库的不完整性，这种远距离注释的训练数据通常遭受高的假阴性率。为此，我们制定了远程监督NER（DS-NER）的问题，通过多类积极和无标签（MPU）学习，并提出了一种理论和实践上新颖的CONFidence-based MPU（Conf-MPU）的方法。为了处理不完整的注释，Conf-MPU包括两个步骤。首先，为作为实体令牌的每个令牌估计置信度分数。然后，建议Conf-MPU风险估计训练一个多类分类器的NER任务。在两个由各种外部知识标记的基准数据集上的实验表明，所提出的Conf-MPU比现有的DS-NER方法的优越性。
2022-03-03 cs.CL cs.LG
DistALANER: Distantly Supervised Active Learning Augmented Named Entity Recognition in the Open Source Software Ecosystem
Indian Institute of Technology Kharagpur（印度克勒格布尔印度理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
针对开源软件领域标注数据稀缺、专家标注成本高的问题，提出DistALANER这一结合远程监督两步标注与主动学习的NER方法，性能显著优于现有LLMs，且在关系抽取下游任务中有效。
2024-06-20 cs.CL
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory（Sber人工智能实验室）
医学实体抽取是医学文本处理的第一步。通常，医学EE是一个两步过程：命名实体识别（NER）和命名实体规范化（NEN）。我们提出了一种从电子健康记录（EHR）中进行医疗EE的新方法，作为一个单步多标签分类任务，通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标，以远程监督的方式进行端到端的训练。我们表明，我们的模型可以学习对足够频繁出现的实体进行泛化，从而为最频繁的实体实现人类级别的分类质量。我们的工作表明，医疗实体提取可以在没有人类监督的情况下进行端到端的提取，并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
DESCGEN: A Distantly Supervised Dataset for Generating Abstractive Entity Descriptions
University of Washington（华盛顿大学）
实体的简短文本描述提供了其关键属性的摘要，并且已被证明是用于诸如实体链接和问答之类的任务的背景知识的有用来源。然而，生成实体描述，特别是对于新的和长尾实体，可能具有挑战性，因为相关信息通常分散在具有不同内容和风格的多个源中。我们引入DESCGEN：给定分布在多个文档中的提及，目标是生成实体摘要描述。DESCGEN由来自维基百科和Fandom的37 K实体描述组成，每个描述平均与9个证据文档配对。这些文件是通过实体链接和超链接到维基百科和Fandom实体页面的组合来收集的，它们共同提供了高质量的远程监督。由此产生的摘要比现有数据集中的摘要更抽象，并为描述新的和正在出现的实体的挑战提供了更好的代理。我们还提出了一个两阶段提取然后生成基线，并表明最先进的模型和人类表现之间存在很大的差距（ROUGE-L中为19.9%），这表明数据将支持未来的重要工作。
2021-06-16 cs.AI cs.CL
Distant Supervision for Entity Linking
Tsinghua University（清华大学）
实体链接是信息抽取知识库填充过程中必不可少的操作。它研究了在知识库中将文本实体提及与其对应的消歧条目对齐。在本文中，我们提出了一个新的范例命名为远程监督实体链接（DSEL），在这个意义上，消除歧义的实体，属于一个巨大的知识库（Freebase）自动对齐到相应的描述性网页（维基页面）。通过这种方式，可以在没有手动注释的情况下生成大规模的弱标记数据，并将其馈送到分类器以链接更多新发现的实体。与传统的基于知识库的范式相比，DSEL通过充分利用Freebase和Wikipedia各自的优势而获益更多。具体而言，所提出的范例有利于弥合歧义标签（自由基）的实体和他们的文本描述（维基百科）的Web规模的实体。在140，000个项目和60，000个特征的数据集上进行的实验实现了0.517的基线F1度量。此外，我们分析了特征性能，并将F1-measure提高到0.545。
2015-08-05 cs.CL cs.IR
Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá
Saarland University（萨尔兰大学）；Heidelberg University（海德堡大学）
缺乏标记的训练数据限制了自然语言处理工具的开发，例如用于发展中国家使用的许多语言的命名实体识别。远程和弱监督等技术可以用于以（半）自动方式创建标记数据。此外，为了减轻自动注释中错误的一些负面影响，可以集成噪声处理方法。预训练的词嵌入是大多数神经命名实体分类器的另一个关键组成部分。随着更复杂的上下文词嵌入的出现，模型大小和性能之间出现了一个有趣的权衡。虽然这些技术已被证明在高资源环境中工作良好，但我们想研究它们在低资源场景中的表现。在这项工作中，我们执行命名实体识别的豪萨语和Yorkebá，两种语言，广泛使用在几个发展中国家。我们评估了不同的嵌入方法，并表明远程监督可以成功地利用在一个现实的低资源的情况下，它可以增加一倍以上的分类器的性能。
2020-03-31 cs.CL cs.LG
Deep Ranking Based Cost-sensitive Multi-label Learning for Distant Supervision Relation Extraction
Beihang University（北京航空航天大学）；PLA Academy of Military Science（中国人民解放军军事科学院）
知识库为提高信息检索系统的智能性提供了一种潜在的途径，因为知识库中存在着大量的实体间关系，可以帮助信息检索系统进行从一个实体到另一个实体的推理。关系抽取是构造知识库的基本技术之一。远程监督是一种用于关系抽取的半监督学习方法，它使用标记和未标记的数据进行学习。然而，这种方法遭受关系重叠的问题，其中一个实体元组可能具有多个关系事实。我们相信，关系类型可以有潜在的联系，我们称之为类关系，并可以利用，以提高关系抽取。然而，这种属性之间的关系类还没有得到充分的探讨。为了利用关系之间的类联系来提高关系抽取的效率，本文提出了一种基于排序的多标签学习框架和卷积神经网络，在该框架中引入了基于排序的损失函数和正则化技术来学习关系之间的潜在联系。此外，为了解决远程监督关系抽取中的类不平衡问题，我们进一步采用代价敏感学习来重新调整正标签和负标签的代价。在一个广泛使用的数据集上进行的大量实验表明，我们的模型可以有效地利用类关系，缓解类不平衡问题。
2019-07-25 cs.CL
"Translation can't change a name": Using Multilingual Data for Named Entity Recognition
Carnegie Mellon University（卡内基梅隆大学）
命名实体（NE）通常在共享公共字母表的不同语言中没有拼写变化。我们表明，这可以被利用，以提高命名实体识别（NER），通过使用无监督的词集群从二级语言的功能，在国家的最先进的判别NER系统。我们观察到显着的性能增加，发现人和位置识别特别改善，和遗传学上接近的语言提供更有价值的功能比更遥远的语言。
2014-05-04 cs.CL
BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision
Georgia Institute of Technology（佐治亚理工学院）
研究了远程监控下的开放域命名实体识别问题。远程监督，虽然不需要大量的手动注释，通过外部知识库产生高度不完整和嘈杂的远程标签。为了应对这一挑战，我们提出了一个新的计算框架-- BOND，它利用了预先训练的语言模型（例如，BERT和RoBERTa）来改进NER模型的预测性能。具体来说，我们提出了一种两阶段的训练算法：第一阶段，我们使用距离标签将预先训练好的语言模型适应于NER任务，可以显著提高召回率和精确率;第二阶段，我们去掉距离标签，并提出一种自训练方法来进一步提高模型性能。在5个基准数据集上的实验表明，BOND方法优于现有的远程监督NER方法。代码和远程标记的数据已在https://github.com/cliang1453/BOND上发布。
2020-06-28 cs.AI cs.CL cs.LG
SANTA: Separate Strategies for Inaccurate and Incomplete Annotation Noise in Distantly-Supervised Named Entity Recognition
National Key Laboratory for Multimedia Information Processing, Peking University（国家多媒体信息处理重点实验室，北京大学）；School of Software and Microelectronics, Peking University（软件与微电子学院，北京大学）
本文提出SANTA框架，针对远程监督命名实体识别中的不准确和不完整标注噪声分别采用定制策略，有效缓解了实体歧义和决策边界偏移问题，并在五个公开数据集上达到最先进水平。
2025-10-11 cs.AI cs.CL
Noise Mitigation for Neural Entity Typing and Relation Extraction
LMU Munich（慕尼黑大学）
在本文中，我们解决了两种不同类型的噪音在信息抽取模型：噪音从远程监督和噪音从管道输入功能。我们的目标任务是实体类型和关系抽取。对于第一种噪声类型，我们引入了基于神经网络模型的多实例多标签学习算法，并首次将其应用于细粒度实体分类。这使我们的模型具有与使用全局实体嵌入的最先进的监督方法相当的性能。对于第二种噪声类型，我们提出了改进将噪声实体类型预测集成到关系抽取中的方法。我们的实验表明，概率预测比离散预测更鲁棒，并且两个任务的联合训练表现最好。
2017-01-10 cs.CL
Comprehensive Named Entity Recognition on CORD-19 with Distant or Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们在COVID-19开放研究数据集挑战（CORD-19）语料库上创建了这个具有全面命名实体识别（NER）的CORD-NER数据集（2020-03-13）。该CORD-NER数据集涵盖了75种细粒度实体类型：除了常见的生物医学实体类型（例如，基因、化学物质和疾病），它涵盖了许多与COVID-19研究明确相关的新实体类型（例如，冠状病毒，病毒蛋白，进化，材料，底物和免疫反应），这可能有利于COVID-19相关病毒，传播机制和潜在疫苗的研究。CORD-NER注释是使用不同NER方法的四个源的组合。CORD-NER注释的质量超过了SciSpacy（基于文档样本集的F1得分高出10%以上），这是一种完全监督的BioNER工具。此外，CORD-NER支持增量添加新文档，并在需要时通过添加数十个种子作为输入示例来添加新的实体类型。我们将根据CORD-19语料库的增量更新和我们系统的改进不断更新CORD-NER。
2020-04-15 cs.AI cs.CL cs.IR
FlexNER: A Flexible LSTM-CNN Stack Framework for Named Entity Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
命名实体识别是信息抽取的基础技术。本文提出了一个灵活的NER框架兼容不同的语言和领域。受远程监督思想的启发，本文在不依赖外部资源的情况下，通过增加实体上下文的多样性来增强表示。我们选择不同的层堆栈和子网络组合来构建双边网络。这种策略通常可以提高模型在不同数据集上的性能。我们进行了五种语言的实验，如英语，德语，西班牙语，荷兰语和汉语，以及生物医学领域，如识别科学作品中的化学品和基因/蛋白质术语。实验结果表明该框架具有良好的性能。
2019-08-14 cs.CL
EnCore: Fine-Grained Entity Typing by Pre-Training Entity Encoders on Coreference Chains
Cardiff University（卡迪夫大学）
针对细粒度实体类型标注人工标注成本高、共指链接噪声大的问题，提出EnCore方法，采用两种现成系统共预测的共指链接预训练实体编码器，刷新了细粒度实体类型标注基准最优性能并提升传统实体抽取效果。
2024-01-27 cs.CL
A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
用于关系抽取的远程监督数据集主要集中在事务级抽取，并且它们覆盖的关系很少。在这项工作中，我们提出了跨文档的关系抽取，其中的两个实体的关系元组出现在两个不同的文件，通过一个共同的实体链连接。按照这个想法，我们创建了一个两跳关系抽取的数据集，其中每个链只包含两个文档。我们提出的数据集涵盖了更多的关系比公开可用的数据集级别。我们还为此任务提出了一个分层实体图卷积网络（HEGCN）模型，与一些强大的神经基线相比，该模型在我们的两跳关系抽取数据集上将性能提高了1.1\% F1分数。
2021-08-21 cs.CL
Robust Lexical Features for Improved Neural Network Named-Entity Recognition
Université de Montréal（蒙特利尔大学）
命名实体识别的神经网络方法减少了对精心手工制作的特征的需要。虽然一些特征确实保留在最新技术水平的系统中，但词汇特征大多已被丢弃，只有地名录例外。在这项工作中，我们表明这是不公平的：词汇特征实际上是非常有用的。我们建议将单词和实体类型嵌入到一个低维向量空间中，我们通过维基百科从远程监督产生的注释数据进行训练。由此，我们离线计算代表每个单词的特征向量。当与香草递归神经网络模型一起使用时，这种表示产生了实质性的改进。我们在ONTONOTES 5.0上建立了一个新的最先进的F1得分87.95，同时在过度研究的CONLL-2003数据集上将最先进的性能与F1得分91.73相匹配。
2018-06-09 cs.CL
Towards DS-NER: Unveiling and Addressing Latent Noise in Distant Annotations
Soochow University（苏州大学）；Hong Kong University of Science and Technology（香港理工大学）
本研究聚焦远程监督命名实体识别中不同标注方法间的潜在噪声问题，提出将噪声分为未标注实体问题和噪声实体问题的新评估框架及对应方案，在多源多技术数据集上优于现有最优方法。
2025-05-18 cs.CL cs.LG
Distant Learning for Entity Linking with Automatic Noise Detection
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
已经为注释数据（即，链接到知识库的文本）。然而，对于不存在或存在非常有限量的标记数据的设置（例如，法律或科学领域）。在这项工作中，我们展示了如何在没有任何标记示例的情况下学习链接提及，只有一个知识库和来自相应领域的未注释文本的集合。为了实现这一目标，我们将任务定义为一个多实例学习问题，并依靠表面匹配来创建初始噪声标签。由于学习信号较弱并且我们的替代标签有噪音，我们在模型中引入了噪音检测组件：它让模型检测并忽略可能有噪音的示例。我们的方法，联合学习检测噪声和链接实体，大大优于表面匹配基线。对于实体类别的子集，它甚至接近监督学习的性能。
2019-06-04 cs.AI cs.CL cs.LG
Mix of Experts Language Model for Named Entity Recognition
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Columbia University（哥伦比亚大学）
针对远程监督NER标注噪声问题，本文提出基于专家混合的BOND-MoE模型，在EM框架下集成多模型并引入公平分配模块，在真实数据集上取得最先进性能。
2024-04-30 cs.AI cs.CL
Improving the Robustness of Distantly-Supervised Named Entity Recognition via Uncertainty-Aware Teacher Learning and Student-Student Collaborative Learning
National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；Tencent Inc.（腾讯公司）；Jiangsu Collaborative Innovation Center for Language Ability, Jiangsu Normal University（江苏省语言能力协同创新中心，江苏师范大学）
本文针对远程监督命名实体识别中的标签噪声问题，提出不确定性感知的教师学习和学生-学生协作学习，以减少错误伪标签传播并充分探索误标注样本，在五个数据集上取得优于现有方法的性能。
2025-07-03 cs.AI cs.CL
Revisiting Sparse Retrieval for Few-shot Entity Linking
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对少样本实体链接中标注数据不足导致密集检索性能下降的问题，提出基于ELECTRA的关键词提取器与远程监督方法，构建去噪查询表达式，在ZESHEL数据集上显著超越现有最优模型。
2023-10-19 cs.CL
SEE: Syntax-aware Entity Embedding for Neural Relation Extraction
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；Alibaba Group（阿里巴巴集团）；School of Computer Science and Technology, Heilongjiang University（黑龙江大学计算机科学与技术学院）
距离监督关系抽取是一种有效的大规模关系抽取方法，被广泛用于从纯文本中发现新的关系事实。近年来神经关系抽取的研究通过在低维空间中对句子建模取得了很大进展，但很少考虑句法信息对实体建模。在本文中，我们提出学习语法感知的实体嵌入神经关系抽取。首先，我们编码的依赖树上的实体的上下文作为基于树GRU的事务级实体嵌入。然后，我们利用句子内和句子间的注意力，以获得句子集合级的实体嵌入所有句子包含的焦点实体对。最后，我们结合句子嵌入和实体嵌入进行关系分类。我们在一个广泛使用的真实数据集上进行了实验，实验结果表明，我们的模型可以充分利用所有的信息实例，并实现了最先进的性能的关系抽取。
2018-01-11 cs.CL
Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning
Shanghai Jiao Tong University（上海交通大学）；University of Macau（澳门大学）
关系抽取是知识库完备和构建的关键，远程监督方法被广泛用于从已有知识库中自动抽取关系事实。然而，自动构建的数据集包括大量的低质量的句子含有噪声的话，这是被忽视的，目前的远程监督方法导致不可接受的精度。为了缓解这个问题，我们提出了一种新的词级的远程监督方法的关系抽取。我们首先建立子树解析（STP），以删除与关系无关的噪声字。然后，我们构建了一个神经网络输入的子树，同时应用实体明智的注意，以确定在每个实例中的关系词的重要语义特征。为了使我们的模型对噪声词更具鲁棒性，我们通过迁移学习从实体分类的相关任务中学习到的先验知识来初始化我们的网络。我们使用纽约时报（NYT）和Freebase的语料库进行了广泛的实验。实验表明，我们的方法是有效的，并提高了地区的精确/召回（PR）从0.35到0.39的国家的最先进的工作。
2018-11-08 cs.CL
On the Robustness of Reading Comprehension Models to Entity Renaming
University of Southern California（南加州大学）；Fudan University（复旦大学）；IIT Kanpur（印度理工学院坎普尔分校）
我们研究了机器阅读理解（MRC）模型对实体重命名的鲁棒性--当对一个名称已被更改的实体提出同样的问题时，模型是否会做出更多错误的预测？这样的失败意味着模型过度依赖实体信息来回答问题，因此当世界的事实发生变化或问题被问及新的实体时，模型可能概括性很差。为了系统地审计这个问题，我们提出了一个管道来自动生成大规模的测试示例，通过将原始测试样本中的实体名称替换为各种来源的名称，从同一测试集中的名称，到生活中的常见名称，再到任意字符串。在五个数据集和三个预训练的模型架构中，MRC模型在实体重命名时表现一直较差，通过远程监督构建的数据集的准确性下降特别大。我们还发现模型之间存在很大的差异：SpanBERT，它是用跨度级掩蔽预训练的，比RoBERTa更健壮，尽管在未扰动的测试数据上具有相似的准确性。我们进一步实验了不同的掩蔽策略作为持续的预训练目标，发现基于实体的掩蔽可以提高MRC模型的鲁棒性。
2022-05-04 cs.CL
Same but Different: Distant Supervision for Predicting and Understanding Entity Linking Difficulty
L3S Research Center, Leibniz University of Hannover（莱布尼茨汉诺威大学L3S研究中心）；GESIS - Leibniz Institute for the Social Sciences（GESIS——莱布尼茨社会科学研究所）
实体链接（Entity Linking，EL）是自动识别文本中提到的实体并将其解析为维基百科等参考知识库中的相应实体的任务。有大量的EL工具可用于不同类型的文档和领域，但EL仍然是一项具有挑战性的任务，其中缺乏精确度，特别是模糊的提及往往会破坏自动消歧结果在实际应用中的有用性。先验近似的困难，以链接一个特定的实体提到可以促进标记的关键情况下，作为半自动EL系统的一部分，而检测潜在的因素，影响EL性能，如语料库特定的功能，可以提供关于如何改进系统的基础上的特殊特性的基础语料库的见解。在本文中，我们首先介绍了一种基于共识的方法来生成难度标签的实体提到任意语料库。然后，利用难度标签作为训练数据的监督分类任务，能够预测实体提到使用各种功能的EL难度。在新闻文章语料库上的实验表明，EL难度可以估计具有较高的准确性，也揭示了潜在的功能，影响EL性能。最后，评估结果表明，所提出的方法，以通知半自动EL管道的有效性。
2018-12-13 cs.CL cs.IR cs.LG
An Overview of Distant Supervision for Relation Extraction with a Focus on Denoising and Pre-training Methods
University of California, San Diego（加州大学圣地亚哥分校）
关系抽取是自然语言处理的基础性工作。RE试图通过识别文本中实体对之间的关系信息，将原始的非结构化文本转换为结构化知识。RE有许多用途，例如知识图谱完成、文本摘要、问答和搜索查询。逆向工程方法的发展历程大致可以分为四个阶段：基于模式的逆向工程、基于语义的逆向工程、基于神经元的逆向工程和基于大语言模型的逆向工程。本调查首先概述了可再生能源早期阶段的一些示范性工作，突出了限制和缺点，以使进展背景化。接下来，我们审查流行的基准和批判性地检查用于评估RE性能的指标。然后，我们讨论了远程监督，一个范例，塑造了现代RE方法的发展。最后，我们回顾了最近的RE作品，重点是去噪和预训练方法。
2022-07-17 cs.CL
Neural Entity Linking: A Survey of Models Based on Deep Learning
Universität Hamburg（汉堡大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；AIRI（AIRI（人工智能研究所））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Université Sorbonne Paris Nord（巴黎索邦北大学）；Vrije University of Amsterdam（阿姆斯特丹自由大学）；The Open University（开放大学）；University of Cagliari（卡利亚里大学）
本调查全面描述了自2015年以来由于自然语言处理中的“深度学习革命”而开发的最新神经实体链接（EL）系统。它的目标是系统化神经实体链接系统的设计特征，并将其性能与常见基准测试中的经典方法进行比较。这项工作提炼了一个神经EL系统的通用架构，并讨论了它的组成部分，如候选人生成，提及上下文编码，和实体排名，总结突出的方法，为他们每个人。这个通用架构的各种各样的修改分为几个共同的主题：联合实体提及检测和消歧，模型的全球链接，域独立的技术，包括zero-shot和远程监督方法，和跨语言的方法。由于许多神经模型利用实体和提及/上下文嵌入来表示它们的含义，因此本文还概述了突出的实体嵌入技术。最后，调查涉及实体链接的应用，重点关注最近出现的基于Transformer架构增强深度预训练掩蔽语言模型的用例。
2022-04-07 cs.CL
Towards Accurate and Consistent Evaluation: A Dataset for Distantly-Supervised Relation Extraction
Alibaba Group（阿里巴巴集团）
近年来，通过使用深度神经网络，远程监督关系抽取取得了一定的成功。远程监督（DS）可以通过将知识库（KB）中的实体对对齐到句子来自动生成大规模的带注释数据。然而，这些DS生成的数据集不可避免地有错误的标签，导致在测试过程中不正确的评估分数，这可能会误导研究人员。为了解决这个问题，我们构建了一个新的数据集NYTH，其中我们使用DS生成的数据作为训练数据，并雇用注释器来标记测试数据。与以前的数据集相比，NYT-H具有更大的测试集，因此我们可以进行更准确和一致的评估。最后，我们给出了几个广泛使用的系统在NYT-H上的实验结果。实验结果表明，比较系统对DS标记的测试数据和人类注释的测试数据的排序列表是不同的。这表明，我们的人类注释的数据是必要的远程监督关系抽取的评估。
2020-10-30 cs.CL
Zero-Shot Open Entity Typing as Type-Compatible Grounding
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Bloomberg LP（彭博有限合伙企业）
实体类型化的问题主要是以监督学习的方式来研究的，大多数情况下使用特定于任务的注释（对于粗糙类型），有时使用远程监督（对于精细类型）。虽然这些方法在数据集内具有很强的性能，但它们通常缺乏跨文本类型传输和推广到新类型分类的灵活性。在这项工作中，我们提出了一个zero-shot实体类型的方法，不需要注释的数据，可以灵活地识别新定义的类型。给定一个类型分类定义为布尔函数的FREEBASE“类型”，我们地面一个给定的提到一组类型兼容的维基百科条目，然后推断目标提到的类型使用的推理算法，利用这些条目的类型。我们评估我们的系统在广泛的数据集，包括标准的细粒度和粗粒度的实体类型数据集，也在生物领域的数据集。我们的系统被证明是具有竞争力的最先进的监督NER系统，并优于他们的域外数据集。我们还表明，我们的系统显着优于其他zero-shot精细打字系统。
2019-07-07 cs.CL
Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
远程监控已经成为关系抽取的标准方法。然而，即使它是一种有效的方法，它也不是没有代价的-所得到的远程监督训练样本往往是非常嘈杂的。为了对抗噪声，大多数最近的国家的最先进的方法集中在选择一个最好的句子或计算软注意力权重的一个特定的实体对的句子的集合。然而，这些方法都是次优的，误报问题仍然是性能的一个关键绊脚石瓶颈。我们认为，这些不正确的标记的候选句子必须处理与硬决定，而不是被处理软注意力权重。为了做到这一点，我们的论文描述了一个激进的解决方案--我们探索了一种深度强化学习策略来生成假阳性指标，在这种情况下，我们自动识别每种关系类型的假阳性，而无需任何监督信息。与以往研究中的移除操作不同，我们将它们重新分配到负例中。实验结果表明，该策略显着提高了远程监控的性能相比，国家的最先进的系统。
2018-05-24 cs.CL
Coarse-to-Fine Pre-training for Named Entity Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Engineering, Westlake University（西湖大学工学院）；Xiaomi AI Lab, Xiaomi Inc.（小米人工智能实验室，小米公司）
最近，命名实体识别在预训练方法（如BERT）的帮助下取得了很大的进步。然而，目前的预训练技术主要集中在建立语言建模目标以学习一种通用表示，而忽略了命名实体相关的知识。为此，我们提出了一个特定于NER的预训练框架，将粗到细的自动挖掘实体知识注入到预训练模型中。具体来说，我们首先通过一个实体跨度识别任务来预热模型，通过使用Wikipedia锚来训练它，这些锚可以被视为一般类型的实体。然后利用基于地名词典的远程监督策略对模型进行训练，提取粗粒度的类型标识.最后，我们设计了一个自我监督的辅助任务来通过聚类挖掘细粒度的命名实体知识。对三个公共NER数据集的实证研究表明，我们的框架相对于几个预训练的基线取得了显着的改进，建立了新的最先进的性能在三个基准上的表现。此外，我们表明，我们的框架在不使用人工标记的训练数据的情况下获得了有希望的结果，证明了其在标签少和资源少的情况下的有效性
2020-10-16 cs.CL
Efficient Biomedical Entity Linking: Clinical Text Standardization with Low-Resource Techniques
GE HealthCare（GE医疗）
本文提出一种低资源生物医学实体链接方法，利用同义词对学习，结合上下文与无上下文的重新排序技术，在Medmentions数据集上达到与最先进方法相当的性能，并引入文章级分析以补充评估。
2024-05-27 cs.CL
A Domain-Specific Curated Benchmark for Entity and Document-Level Relation Extraction
University of Padova（帕多瓦大学）
本文提出GutBrainIE基准，用于生物医学领域实体和文档级关系提取，通过精细标注和多任务设计提升IE方法的评估与开发
2026-02-04 cs.CL
Noisy-Labeled NER with Confidence Estimation
Alibaba Group（阿里巴巴集团）；University of Edinburgh（爱丁堡大学）；Zhejiang University（浙江大学）；Guizhou University（贵州大学）
深度学习的最新研究表明，命名实体识别（NER）取得了重大进展。大多数现有的工作假设干净的数据注释，但现实世界场景中的基本挑战是来自各种来源的大量噪声（例如，伪的、弱的或遥远的注释）。这项工作研究NER下的噪声标记设置校准的置信度估计。基于对噪声和干净标签的不同训练动态的经验观察，我们提出了基于局部和全局独立性假设估计置信度得分的策略。我们用CRF模型部分边缘化低置信度的标签。我们进一步提出了一种基于实体标签结构的置信度校准方法。我们将我们的方法整合到一个自我训练框架中，以提高绩效。在四种语言的一般噪声环境和远距离标记环境中的实验证明了我们的方法的有效性。我们的代码可以在https://github.com/liukun95/Noisy-NER-Confidence-Estimation上找到
2021-04-12 cs.CL
DMNER: Biomedical Entity Recognition by Detection and Matching
Fudan University（复旦大学）；Atypon Systems, LLC（Atypon系统有限责任公司）
本文提出 DMNER 框架，将生物医学命名实体识别转化为实体边界检测与实体匹配两步，利用 SAPBERT 并结合 ChatGPT 获取高质量短语，在多种监督场景和 10 个基准数据集上验证了其有效性与通用性。
2023-07-05 cs.CL
NanoNER: Named Entity Recognition for nanobiology using experts' knowledge and distant supervision
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对纳米生物学领域，提出基于专家知识与远程监督的NER模型NanoNER，在728篇全文语料上对已知实体F1达0.98，并能以0.77-0.81精确度发现新实体，且所需人力少，可推广至其他专业领域。
2024-01-30 cs.AI cs.CL cs.IR
