MProto: Multi-Prototype Network with Denoised Optimal Transport for Distantly Supervised Named Entity Recognition
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）
针对远程监督命名实体识别中的标注噪声问题，提出多原型网络MProto，通过多原型建模类内差异并将token-原型分配视为最优传输问题，辅以去噪算法，在多个基准上取得最优性能。
2023-10-12 cs.CL
Connecting Distant Entities with Induction through Conditional Random Fields for Named Entity Recognition: Precursor-Induced CRF
Seoul National University（首尔国立大学）
针对命名实体识别，提出了一种在线性链条件随机场（CRF）上设计特定高阶依赖因子的方法。命名实体往往被文本中的多个外部标记彼此分开，因此一阶CRF以及二阶CRF可能天生地丢失远距离命名实体之间的转换信息。该设计使用NER中的外部标签作为CRF上先例实体信息的传输媒介。然后，实证结果显然表明，它是可以利用长距离标签依赖性在原来的一阶线性链CRF结构后NER，同时减少计算损失，而不是在二阶CRF。
2018-05-26 cs.CL
Identifying civilians killed by police with distantly supervised entity-event extraction
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们为自然语言处理提出了一个新的、具有社会影响力的任务：从新闻语料库中提取被警察杀害的人的名字。我们提出了一个新收集的警察死亡语料库，我们公开发布，并提出了一个模型来解决这个问题，使用基于EM的远程监督与逻辑回归和卷积神经网络分类器。我们的模型优于两个现成的事件提取器系统，它可以建议候选受害者的名字在某些情况下比一个主要的手动收集的警察死亡数据库。
2017-07-22 cs.CL
Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning
Fudan University（复旦大学）
在这项工作中，我们探索的方式来执行命名实体识别（NER）只使用未标记的数据和命名实体字典。为此，我们制定了一个积极的无标记（PU）学习问题的任务，并相应地提出了一种新的PU学习算法来执行任务。我们证明了该算法可以无偏地和一致地估计任务损失，如果有完全标记的数据。所提出的方法的一个关键特征是，它不需要词典标记句子中的每个实体，甚至不需要词典标记构成实体的所有单词。这大大降低了对字典质量的要求，并使我们的方法推广到相当简单的字典。在四个公开的NER数据集上的实证研究证明了我们所提出的方法的有效性。我们已经在\url{https://github.com/v-mipeng/LexiconNER}上发布了源代码。
2019-06-11 cs.CL
DynClean: Training Dynamics-based Label Cleaning for Distantly-Supervised Named Entity Recognition
Temple University（天普大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出DynClean，一种基于训练动态的标签清洗方法，通过自动阈值估计定位并移除远程监督NER中的错误标注，在四个数据集上显著提升F1分数。
2025-04-06 cs.CL
Improving Distantly-Supervised Named Entity Recognition with Self-Collaborative Denoising Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
远距离监督命名实体识别（DS-NER）有效地降低了人工成本，但同时由于远距离监督的强假设而固有地遭受标签噪声。通常，错误标记的实例包括许多不完整和不准确的注释噪声，而大多数先前的去噪工作只关注一种噪声，而不能充分挖掘整个训练集中的有用信息。为了解决这个问题，我们提出了一个强大的学习范式，名为自协作去噪学习（SCDL），它以互利的方式联合训练两个师生网络，迭代地执行噪声标签精炼。每个网络都被设计为通过自我去噪来利用可靠的标签，两个网络相互通信，通过协作去噪来探索不可靠的注释。在五个真实数据集上的大量实验结果表明，SCDL优于最先进的DS-NER去噪方法。
2023-02-15 cs.CL
Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training
University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）
我们研究的问题，训练命名实体识别（NER）模型，只使用距离标记的数据，这可以自动获得匹配的实体提到的原始文本中的实体类型的知识库。远程监督NER的最大挑战是远程监督可能会导致不完整和嘈杂的标签，从而使直接应用的监督学习变得无效。在本文中，我们提出了（1）一个噪声鲁棒的学习计划，包括一个新的损失函数和噪声标签去除步骤，用于训练远距离标记数据的NER模型，和（2）一个自训练方法，使用由预训练的语言模型创建的上下文增强，以提高泛化能力的NER模型。在三个基准数据集上，我们的方法实现了卓越的性能，显著优于现有的远程监督NER模型。
2021-09-10 cs.CL cs.LG
Hierarchical Relation-Guided Type-Sentence Alignment for Long-Tail Relation Extraction with Distant Supervision
University of Technology Sydney（悉尼科技大学）
远程监督使用知识图谱中的三重事实来标注语料库以进行关系抽取，导致错误标注和长尾问题。一些作品使用关系的层次结构进行知识转移到长尾关系。然而，粗粒度的关系通常仅意味着属性（例如，域或主题）的远距离事实，使得很难区分关系的基础上，单独的句子语义。一种解决方案是诉诸实体类型，但关于如何充分利用实体类型的信息以及如何将多粒度实体类型与句子对齐的问题仍然存在。在这项工作中，我们提出了一种新的模型来丰富实体类型的远程监督句子。它包括（1）一个成对的类型丰富的句子编码模块注入上下文无关的和相关的背景，以减轻重复级别的错误标记，和（2）一个分层的类型句子对齐模块丰富的句子与三重事实的基本属性，以支持长尾关系。我们的模型在基准测试的整体和长尾性能方面取得了新的最先进的结果。
2021-09-19 cs.CL
Self-Attention Enhanced Selective Gate with Entity-Aware Embedding for Distantly Supervised Relation Extraction
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of New South Wales（新南威尔士大学）
远程监督关系抽取本质上遭受噪声标签由于远距离监督的强假设。大多数现有的工作采用选择性注意力机制在一个袋子里的句子去噪从错误标记的数据，但这可能是不称职的，当只有一个句子在一个袋子。本文提出了一种全新的轻量级神经网络框架来解决远距离监督的关系抽取问题，并弥补了以往选择性注意框架的不足。具体而言，在该框架中，我们使用了一种实体感知的词嵌入方法，将相对位置信息和头/尾实体嵌入结合起来，旨在突出实体的本质，以完成这项任务：2）我们开发了一种自注意力机制，以捕获丰富的上下文依赖，作为分段CNN捕获的局部依赖的补充;（3）我们设计了一个基于丰富上下文表示的池化门，作为聚合器来生成用于最终关系分类的袋级表示，而不是使用选择性注意。与选择性注意相比，所提出的门控机制的一个主要优点是，即使只有一个句子出现在一个袋子中，它也能稳定地执行，从而保持所有训练样本的一致性。在NYT数据集上的实验表明，我们的方法在AUC和top-n精度指标方面都达到了新的最先进的性能。
2019-11-27 cs.CL
De-biasing Distantly Supervised Named Entity Recognition via Causal Intervention
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督通过字典匹配自动生成训练实例来解决NER中的数据瓶颈。不幸的是，DS-NER的学习是严重的字典偏见，这遭受虚假的相关性，因此破坏了学习模型的有效性和鲁棒性。本文从结构因果模型（SCM）的角度对词典偏倚进行了解释，将其分为词典内偏倚和词典间偏倚，并分析了其产生的原因。基于SCM，我们通过因果干预学习去偏DS-NER。对于字典内偏差，我们进行后门调整，以消除虚假的相关性引入的字典混淆。对于字典间偏差，我们提出了一个因果不变正则化器，这将使DS-NER模型对字典的扰动更具鲁棒性。在四个数据集和三个DS-NER模型上的实验表明，该方法可以显著提高DS-NER的性能。
2021-06-17 cs.CL
Constraint Multi-class Positive and Unlabeled Learning for Distantly Supervised Named Entity Recognition
University of Science and Technology of China（中国科学技术大学）；School of Management（管理学院）；School of Data Science（数据科学学院）
本文提出约束多类正样本与无标签学习（CMPU）方法，通过在风险估计器中引入约束因子缓解远程监督命名实体识别中的假阴性问题，并在两个基准数据集上验证了其优于现有方法的性能。
2025-04-07 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督是一种很有前途的关系抽取方法，但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子，并使用多示例学习技术对标签进行去噪。然而，基于袋的范例，未能利用句间级和实体级的证据关系抽取，其去噪算法往往是专门的和复杂的。在本文中，我们提出了一个新的DS范式-基于文档的远程监督，模型关系抽取作为一个基于文档的机器阅读理解（MRC）的任务。通过将关于实体的所有句子重新组织为文档，并通过使用关系特定问题查询文档来提取关系，基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss（distantsupervisoryloss），该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型，从而从本质上解决了噪声标签问题。实验表明，我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
Distantly Supervised Named Entity Recognition via Confidence-Based Multi-Class Positive and Unlabeled Learning
Iowa State University（爱荷华州立大学）
本文研究了远程监控下的命名实体识别问题。由于外部字典和/或知识库的不完整性，这种远距离注释的训练数据通常遭受高的假阴性率。为此，我们制定了远程监督NER（DS-NER）的问题，通过多类积极和无标签（MPU）学习，并提出了一种理论和实践上新颖的CONFidence-based MPU（Conf-MPU）的方法。为了处理不完整的注释，Conf-MPU包括两个步骤。首先，为作为实体令牌的每个令牌估计置信度分数。然后，建议Conf-MPU风险估计训练一个多类分类器的NER任务。在两个由各种外部知识标记的基准数据集上的实验表明，所提出的Conf-MPU比现有的DS-NER方法的优越性。
2022-03-03 cs.CL cs.LG
CANDiS: Coupled & Attention-Driven Neural Distant Supervision
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Indian Institute of Science（印度科学理工学院）
用于关系抽取的远程监督使用具有现有知识库的、按顺序对齐的文本数据作为训练数据。这种技术的无监督性质允许它扩展到网络规模的关系抽取任务，代价是训练数据中的噪声。以前的工作已经探索了相同实体对的实例之间的关系，以减少这种噪音，但实体对的实例之间的关系还没有得到充分利用。我们探讨使用的动词短语和实体类型的相似性的基础上的实例间的耦合。我们提出了一种新的技术，CANDIS，铸造远程监督使用实例间耦合到一个端到端的神经网络模型。CANDIS在实例级集成了一个注意力模块来模拟这个问题的多实例性质。CANDIS在标准基准数据集上的性能优于现有的最先进技术。
2017-10-26 cs.CL
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory（Sber人工智能实验室）
医学实体抽取是医学文本处理的第一步。通常，医学EE是一个两步过程：命名实体识别（NER）和命名实体规范化（NEN）。我们提出了一种从电子健康记录（EHR）中进行医疗EE的新方法，作为一个单步多标签分类任务，通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标，以远程监督的方式进行端到端的训练。我们表明，我们的模型可以学习对足够频繁出现的实体进行泛化，从而为最频繁的实体实现人类级别的分类质量。我们的工作表明，医疗实体提取可以在没有人类监督的情况下进行端到端的提取，并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
Learning Named Entity Tagger using Domain-Specific Dictionary
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；CooTek Inc.（触宝公司）
深度神经模型的最新进展使我们能够构建可靠的命名实体识别（NER）系统，而无需手工制作功能。然而，这样的方法需要大量手动标记的训练数据。人们一直在努力用远程监督（与外部字典结合）取代人类注释，但生成的嘈杂标签对学习有效的神经模型构成了重大挑战。在这里，我们提出了两个神经模型，以适应嘈杂的远程监督的字典。首先，在传统的序列标签框架下，我们提出了一个修改的模糊CRF层来处理具有多个可能标签的令牌。在识别了远程监督中噪声标签的性质之后，我们超越了传统的框架，提出了一种新的、更有效的神经模型AutoNER，并采用了一种新的Tie or Break方案。此外，我们还讨论了如何完善远程监督，以获得更好的NER性能。在三个基准数据集上进行的大量实验表明，AutoNER在只使用字典而不需要额外的人工操作时实现了最佳性能，并在最先进的监督基准测试中提供了有竞争力的结果。
2018-09-10 cs.CL
DESCGEN: A Distantly Supervised Dataset for Generating Abstractive Entity Descriptions
University of Washington（华盛顿大学）
实体的简短文本描述提供了其关键属性的摘要，并且已被证明是用于诸如实体链接和问答之类的任务的背景知识的有用来源。然而，生成实体描述，特别是对于新的和长尾实体，可能具有挑战性，因为相关信息通常分散在具有不同内容和风格的多个源中。我们引入DESCGEN：给定分布在多个文档中的提及，目标是生成实体摘要描述。DESCGEN由来自维基百科和Fandom的37 K实体描述组成，每个描述平均与9个证据文档配对。这些文件是通过实体链接和超链接到维基百科和Fandom实体页面的组合来收集的，它们共同提供了高质量的远程监督。由此产生的摘要比现有数据集中的摘要更抽象，并为描述新的和正在出现的实体的挑战提供了更好的代理。我们还提出了一个两阶段提取然后生成基线，并表明最先进的模型和人类表现之间存在很大的差距（ROUGE-L中为19.9%），这表明数据将支持未来的重要工作。
2021-06-16 cs.AI cs.CL
Distantly Supervised Relation Extraction via Recursive Hierarchy-Interactive Attention and Entity-Order Perception
Jilin University（吉林大学）；University of Washington（华盛顿大学）
错误标注问题和长尾关系严重影响了远程监督关系抽取任务的性能。许多研究通过选择性注意力机制来减轻错误标注的影响，并通过引入关系层次来处理长尾关系以实现知识共享。然而，几乎所有的研究都忽略了这样一个事实，即在一个句子中，两个实体的出现顺序有助于其语义的理解。此外，它们只单独利用关系层次的每个关系层，而没有利用关系层之间的启发式效应，即，高层关系可以为低层关系提供有用的信息。在此基础上，本文设计了一种新的递归层次-交互式注意力网络（RHIA）来进一步处理长尾关系，该网络模拟了关系层次之间的启发式效应。自上而下，它通过关系相关的信息层，这是最显着的区别，从现有的模型，并产生关系增强的句子表示为每个关系水平的递归结构。此外，我们还引入了一个新的训练目标，称为有序感知（EOP），使句子编码器保留更多的实体外观信息。大量的实验流行（纽约时报）数据集进行。与之前的基线相比，我们的RHIA-EOP在精确-召回（P-R）曲线，AUC，Top-N精确度和其他评估指标方面达到了最先进的性能。深入的分析也证明了RHIA-EOP每个组成部分的必要性和有效性。
2022-04-25 cs.CL
Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble
Huawei Cloud（华为云）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院）；Peking University（北京大学）；Hubei Key Laboratory of Distributed System Security, Hubei Engineering Research Center on Big Data Security, School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院，湖北省分布式系统安全重点实验室，湖北省大数据安全工程技术研究中心）
远程监督命名实体识别（DS-NER）通过自动生成训练样本有效地解决了命名实体识别中的数据稀缺问题。然而，远程监督可能会导致噪声标签，从而破坏学习模型的鲁棒性，限制了实际应用。为了缓解这个问题，最近的作品采用自我训练的师生框架，逐步细化训练标签，提高泛化能力的NER模型。然而，我们认为，DS-NER目前的自我训练框架的性能被严重低估了他们的平原设计，包括学生学习不足和粗粒度的教师更新。因此，在本文中，我们第一次尝试缓解这些问题，提出：（1）自适应教师学习包括两个教师-学生网络的联合训练，并考虑两个教师之间的一致和不一致的预测，从而促进全面的学生学习。(2)细粒度的学生集合，其利用学生的对应片段的时间移动平均来更新教师模型的每个片段，这增强了对每个模型片段的一致预测以对抗噪声。为了验证我们提出的方法的有效性，我们进行了实验上的四个DS-NER数据集。实验结果表明，我们的方法显着优于以前的SOTA方法。
2022-12-13 cs.CL
Distant Supervision for Entity Linking
Tsinghua University（清华大学）
实体链接是信息抽取知识库填充过程中必不可少的操作。它研究了在知识库中将文本实体提及与其对应的消歧条目对齐。在本文中，我们提出了一个新的范例命名为远程监督实体链接（DSEL），在这个意义上，消除歧义的实体，属于一个巨大的知识库（Freebase）自动对齐到相应的描述性网页（维基页面）。通过这种方式，可以在没有手动注释的情况下生成大规模的弱标记数据，并将其馈送到分类器以链接更多新发现的实体。与传统的基于知识库的范式相比，DSEL通过充分利用Freebase和Wikipedia各自的优势而获益更多。具体而言，所提出的范例有利于弥合歧义标签（自由基）的实体和他们的文本描述（维基百科）的Web规模的实体。在140，000个项目和60，000个特征的数据集上进行的实验实现了0.517的基线F1度量。此外，我们分析了特征性能，并将F1-measure提高到0.545。
2015-08-05 cs.CL cs.IR
Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá
Saarland University（萨尔兰大学）；Heidelberg University（海德堡大学）
缺乏标记的训练数据限制了自然语言处理工具的开发，例如用于发展中国家使用的许多语言的命名实体识别。远程和弱监督等技术可以用于以（半）自动方式创建标记数据。此外，为了减轻自动注释中错误的一些负面影响，可以集成噪声处理方法。预训练的词嵌入是大多数神经命名实体分类器的另一个关键组成部分。随着更复杂的上下文词嵌入的出现，模型大小和性能之间出现了一个有趣的权衡。虽然这些技术已被证明在高资源环境中工作良好，但我们想研究它们在低资源场景中的表现。在这项工作中，我们执行命名实体识别的豪萨语和Yorkebá，两种语言，广泛使用在几个发展中国家。我们评估了不同的嵌入方法，并表明远程监督可以成功地利用在一个现实的低资源的情况下，它可以增加一倍以上的分类器的性能。
2020-03-31 cs.CL cs.LG
BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision
Georgia Institute of Technology（佐治亚理工学院）
研究了远程监控下的开放域命名实体识别问题。远程监督，虽然不需要大量的手动注释，通过外部知识库产生高度不完整和嘈杂的远程标签。为了应对这一挑战，我们提出了一个新的计算框架-- BOND，它利用了预先训练的语言模型（例如，BERT和RoBERTa）来改进NER模型的预测性能。具体来说，我们提出了一种两阶段的训练算法：第一阶段，我们使用距离标签将预先训练好的语言模型适应于NER任务，可以显著提高召回率和精确率;第二阶段，我们去掉距离标签，并提出一种自训练方法来进一步提高模型性能。在5个基准数据集上的实验表明，BOND方法优于现有的远程监督NER方法。代码和远程标记的数据已在https://github.com/cliang1453/BOND上发布。
2020-06-28 cs.AI cs.CL cs.LG
InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction
University of Virginia（弗吉尼亚大学）；Tencent AI Lab（腾讯AI实验室）；Fudan University（复旦大学）
远程监督使得通过利用知识库来自动标记用于关系抽取的句子袋成为可能，但是遭受稀疏和噪声袋问题。迫切需要更多的信息源来补充训练数据并克服这些问题。在本文中，我们介绍了两个广泛存在的知识库，即实体描述，和多粒度的实体类型，以丰富的远程监督数据。我们将信息源视为多个视图，并融合它们以构建一个完整的空间。提出了一种基于完整空间表示学习（InSRL）的端到端多视图关系抽取学习框架，并实现了多视图表示的联合学习.此外，内部视图和跨视图的注意力机制被用来突出不同层次上的实体对的基础上的重要信息。一个流行的基准数据集上的实验结果证明了额外的信息源的必要性和我们的框架的有效性。我们将在匿名审查阶段之后发布我们的模型和具有多个信息源的数据集的实现。
2020-12-17 cs.CL
DistALANER: Distantly Supervised Active Learning Augmented Named Entity Recognition in the Open Source Software Ecosystem
Indian Institute of Technology Kharagpur（印度克勒格布尔印度理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
针对开源软件领域标注数据稀缺、专家标注成本高的问题，提出DistALANER这一结合远程监督两步标注与主动学习的NER方法，性能显著优于现有LLMs，且在关系抽取下游任务中有效。
2024-06-20 cs.CL
Multi-step Entity-centric Information Retrieval for Multi-Hop Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）；Google Research（谷歌研究院）
多跳问答（QA）需要一个信息检索（IR）系统，该系统可以找到回答问题所需的支持证据\emph{multiple}，这使得检索过程非常具有挑战性。本文介绍了一种IR技术，它使用的信息实体存在于最初检索的证据，学习“\emph{hop}”到其他相关的证据。在设置中，超过\textbf{5 million}维基百科的段落，我们的方法导致检索性能显着提高。检索到的证据还提高了现有QA模型（未经任何培训）在\textbf{10.59} F1的\hotpot基准测试中的性能。
2019-09-17 cs.CL
Don't Lose Entities from Retrieval to Generation: Dual Entity Recovery RAG for multi-hop QA
UNIST（蔚山科学技术院）
针对多跳问答中检索与生成阶段实体信息丢失的问题，提出双实体恢复RAG（DER-RAG），通过双向查询分解和主语实体前缀，无需图构建或微调，在三个基准上达到或超越强基线。
2026-09-09 cs.CL
SANTA: Separate Strategies for Inaccurate and Incomplete Annotation Noise in Distantly-Supervised Named Entity Recognition
National Key Laboratory for Multimedia Information Processing, Peking University（国家多媒体信息处理重点实验室，北京大学）；School of Software and Microelectronics, Peking University（软件与微电子学院，北京大学）
本文提出SANTA框架，针对远程监督命名实体识别中的不准确和不完整标注噪声分别采用定制策略，有效缓解了实体歧义和决策边界偏移问题，并在五个公开数据集上达到最先进水平。
2025-10-11 cs.AI cs.CL
Comprehensive Named Entity Recognition on CORD-19 with Distant or Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们在COVID-19开放研究数据集挑战（CORD-19）语料库上创建了这个具有全面命名实体识别（NER）的CORD-NER数据集（2020-03-13）。该CORD-NER数据集涵盖了75种细粒度实体类型：除了常见的生物医学实体类型（例如，基因、化学物质和疾病），它涵盖了许多与COVID-19研究明确相关的新实体类型（例如，冠状病毒，病毒蛋白，进化，材料，底物和免疫反应），这可能有利于COVID-19相关病毒，传播机制和潜在疫苗的研究。CORD-NER注释是使用不同NER方法的四个源的组合。CORD-NER注释的质量超过了SciSpacy（基于文档样本集的F1得分高出10%以上），这是一种完全监督的BioNER工具。此外，CORD-NER支持增量添加新文档，并在需要时通过添加数十个种子作为输入示例来添加新的实体类型。我们将根据CORD-19语料库的增量更新和我们系统的改进不断更新CORD-NER。
2020-04-15 cs.AI cs.CL cs.IR
Deep Ranking Based Cost-sensitive Multi-label Learning for Distant Supervision Relation Extraction
Beihang University（北京航空航天大学）；PLA Academy of Military Science（中国人民解放军军事科学院）
知识库为提高信息检索系统的智能性提供了一种潜在的途径，因为知识库中存在着大量的实体间关系，可以帮助信息检索系统进行从一个实体到另一个实体的推理。关系抽取是构造知识库的基本技术之一。远程监督是一种用于关系抽取的半监督学习方法，它使用标记和未标记的数据进行学习。然而，这种方法遭受关系重叠的问题，其中一个实体元组可能具有多个关系事实。我们相信，关系类型可以有潜在的联系，我们称之为类关系，并可以利用，以提高关系抽取。然而，这种属性之间的关系类还没有得到充分的探讨。为了利用关系之间的类联系来提高关系抽取的效率，本文提出了一种基于排序的多标签学习框架和卷积神经网络，在该框架中引入了基于排序的损失函数和正则化技术来学习关系之间的潜在联系。此外，为了解决远程监督关系抽取中的类不平衡问题，我们进一步采用代价敏感学习来重新调整正标签和负标签的代价。在一个广泛使用的数据集上进行的大量实验表明，我们的模型可以有效地利用类关系，缓解类不平衡问题。
2019-07-25 cs.CL
"Translation can't change a name": Using Multilingual Data for Named Entity Recognition
Carnegie Mellon University（卡内基梅隆大学）
命名实体（NE）通常在共享公共字母表的不同语言中没有拼写变化。我们表明，这可以被利用，以提高命名实体识别（NER），通过使用无监督的词集群从二级语言的功能，在国家的最先进的判别NER系统。我们观察到显着的性能增加，发现人和位置识别特别改善，和遗传学上接近的语言提供更有价值的功能比更遥远的语言。
2014-05-04 cs.CL
Low-Resource Named Entity Recognition Based on Multi-hop Dependency Trigger
提出了一种简单有效的基于多跳依赖触发器的低资源命名实体识别方法。依赖触发器是指上下文语句的依赖图中相对于实体的显著节点。我们的主要观察结果是，句子中经常存在触发语，触发语对识别句子中实体的位置和类型起着重要的作用。以前的研究使用手动标记触发器。我们的主要贡献是提出使用一个句法分析器自动注释触发器。在两个英文数据集（CONLL 2003和BC5CDR）上的实验表明，该方法与以前的基于词典的NER模型具有可比性。
2022-08-13 cs.AI cs.CL
Distant Learning for Entity Linking with Automatic Noise Detection
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
已经为注释数据（即，链接到知识库的文本）。然而，对于不存在或存在非常有限量的标记数据的设置（例如，法律或科学领域）。在这项工作中，我们展示了如何在没有任何标记示例的情况下学习链接提及，只有一个知识库和来自相应领域的未注释文本的集合。为了实现这一目标，我们将任务定义为一个多实例学习问题，并依靠表面匹配来创建初始噪声标签。由于学习信号较弱并且我们的替代标签有噪音，我们在模型中引入了噪音检测组件：它让模型检测并忽略可能有噪音的示例。我们的方法，联合学习检测噪声和链接实体，大大优于表面匹配基线。对于实体类别的子集，它甚至接近监督学习的性能。
2019-06-04 cs.AI cs.CL cs.LG
Reasoning Chain Based Adversarial Attack for Multi-hop Question Answering
近年来，在具有挑战性的多跳QA任务方面取得了令人印象深刻的进展。然而，这些QA模型可能会失败时，面对一些干扰的输入文本和他们的可解释性进行多跳推理仍然不确定。以往的对抗攻击通常对整个问句进行编辑，这对于测试基于实体的多跳推理能力效果有限。提出了一种基于多跳推理链的对抗攻击方法。我们制定的多跳推理链从查询实体的答案实体在构造的图，这使我们能够对齐的问题，每个推理跳，从而攻击任何一跳。我们将问题分类为不同的推理类型，并对抗性地修改与所选推理跳相对应的问题的一部分，以生成分散注意力的句子。我们在HotpotQA数据集上的三个QA模型上测试了我们的对抗方案。实验结果表明，基于推理链的多跳推理模型攻击方法在回答和支持事实预测上都有明显的性能下降，验证了该方法对多跳推理模型攻击的有效性及其脆弱性.我们的对抗性重新训练进一步提高了这些模型的性能和鲁棒性。
2021-12-17 cs.CL
Towards DS-NER: Unveiling and Addressing Latent Noise in Distant Annotations
Soochow University（苏州大学）；Hong Kong University of Science and Technology（香港理工大学）
本研究聚焦远程监督命名实体识别中不同标注方法间的潜在噪声问题，提出将噪声分为未标注实体问题和噪声实体问题的新评估框架及对应方案，在多源多技术数据集上优于现有最优方法。
2025-05-18 cs.CL cs.LG
Same but Different: Distant Supervision for Predicting and Understanding Entity Linking Difficulty
L3S Research Center, Leibniz University of Hannover（莱布尼茨汉诺威大学L3S研究中心）；GESIS - Leibniz Institute for the Social Sciences（GESIS——莱布尼茨社会科学研究所）
实体链接（Entity Linking，EL）是自动识别文本中提到的实体并将其解析为维基百科等参考知识库中的相应实体的任务。有大量的EL工具可用于不同类型的文档和领域，但EL仍然是一项具有挑战性的任务，其中缺乏精确度，特别是模糊的提及往往会破坏自动消歧结果在实际应用中的有用性。先验近似的困难，以链接一个特定的实体提到可以促进标记的关键情况下，作为半自动EL系统的一部分，而检测潜在的因素，影响EL性能，如语料库特定的功能，可以提供关于如何改进系统的基础上的特殊特性的基础语料库的见解。在本文中，我们首先介绍了一种基于共识的方法来生成难度标签的实体提到任意语料库。然后，利用难度标签作为训练数据的监督分类任务，能够预测实体提到使用各种功能的EL难度。在新闻文章语料库上的实验表明，EL难度可以估计具有较高的准确性，也揭示了潜在的功能，影响EL性能。最后，评估结果表明，所提出的方法，以通知半自动EL管道的有效性。
2018-12-13 cs.CL cs.IR cs.LG
Recurrent One-Hop Predictions for Reasoning over Knowledge Graphs
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）；LMU Munich（慕尼黑大学）
大规模知识图谱（KG），如Freebase，通常是不完整的。因此，多跳（mh）KG路径上的推理是问答或需要关于世界的知识的其他NLP任务所需的重要能力。mh-KG推理包括不同的场景，例如，给定一个头实体和一条关系路径，预测尾实体;或给定两个实体之间由一些关系路径连接，预测它们之间的未知关系。我们提出了ROP，循环一跳预测器，通过使用循环神经网络和实体和关系的向量表示来预测mh-KB路径的每一步的实体，具有两个好处：（i）在每一步通过训练信号更新实体和关系表示的同时对任意长度的mh路径进行建模;（ii）在统一的框架中处理不同类型的mh-KG推理。我们的模型显示了两个重要的多跳KG推理任务的最新技术：知识库完成和路径查询。
2018-06-12 cs.CL
Mix of Experts Language Model for Named Entity Recognition
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Columbia University（哥伦比亚大学）
针对远程监督NER标注噪声问题，本文提出基于专家混合的BOND-MoE模型，在EM框架下集成多模型并引入公平分配模块，在真实数据集上取得最先进性能。
2024-04-30 cs.AI cs.CL
Improving the Robustness of Distantly-Supervised Named Entity Recognition via Uncertainty-Aware Teacher Learning and Student-Student Collaborative Learning
National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；Tencent Inc.（腾讯公司）；Jiangsu Collaborative Innovation Center for Language Ability, Jiangsu Normal University（江苏省语言能力协同创新中心，江苏师范大学）
本文针对远程监督命名实体识别中的标签噪声问题，提出不确定性感知的教师学习和学生-学生协作学习，以减少错误伪标签传播并充分探索误标注样本，在五个数据集上取得优于现有方法的性能。
2025-07-03 cs.AI cs.CL
BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering
The University of Sydney（悉尼大学）；Tencent Robotics X（腾讯机器人X实验室）
多跳推理问答需要深入理解各种文档和查询之间的关系。我们提出了一个双向注意实体图卷积网络（BAG），利用实体图中的节点之间的关系和查询和实体图之间的注意力信息，来解决这个问题。图卷积网络用于获得从具有多级特征的文档构建的实体图的节点的关系感知表示。然后，双向注意力应用于图和查询，以生成查询感知节点表示，这将用于最终的预测。实验评估表明，BAG在QAngaroo WIKIHOP数据集上实现了最先进的精度性能。
2019-04-10 cs.AI cs.CL cs.LG
Noise Mitigation for Neural Entity Typing and Relation Extraction
LMU Munich（慕尼黑大学）
在本文中，我们解决了两种不同类型的噪音在信息抽取模型：噪音从远程监督和噪音从管道输入功能。我们的目标任务是实体类型和关系抽取。对于第一种噪声类型，我们引入了基于神经网络模型的多实例多标签学习算法，并首次将其应用于细粒度实体分类。这使我们的模型具有与使用全局实体嵌入的最先进的监督方法相当的性能。对于第二种噪声类型，我们提出了改进将噪声实体类型预测集成到关系抽取中的方法。我们的实验表明，概率预测比离散预测更鲁棒，并且两个任务的联合训练表现最好。
2017-01-10 cs.CL
A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
用于关系抽取的远程监督数据集主要集中在事务级抽取，并且它们覆盖的关系很少。在这项工作中，我们提出了跨文档的关系抽取，其中的两个实体的关系元组出现在两个不同的文件，通过一个共同的实体链连接。按照这个想法，我们创建了一个两跳关系抽取的数据集，其中每个链只包含两个文档。我们提出的数据集涵盖了更多的关系比公开可用的数据集级别。我们还为此任务提出了一个分层实体图卷积网络（HEGCN）模型，与一些强大的神经基线相比，该模型在我们的两跳关系抽取数据集上将性能提高了1.1\% F1分数。
2021-08-21 cs.CL
Analyzing the Effectiveness of the Underlying Reasoning Tasks in Multi-hop Question Answering
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies（综合研究大学院大学）；The University of Tokyo（东京大学）
为了解释预测的答案和评估模型的推理能力，一些研究利用了多跳问答（QA）数据集中的底层推理（UR）任务。然而，当以端到端的方式对这两个任务进行训练模型时，UR任务对于QA任务的有效性如何仍然是一个悬而未决的问题。在这项研究中，我们解决这个问题，通过分析UR任务（包括企业级和实体级任务）的有效性在三个方面：（1）QA性能，（2）推理捷径，（3）鲁棒性。虽然以前的模型没有在实体级推理预测任务上进行显式训练，但我们构建了一个多任务模型，该模型可以同时执行三个任务：实体级支持事实预测，实体级推理预测和答案预测。在2 WikiMultiHopQA和HotpotQA-small数据集上的实验结果表明：（1）UR任务可以提高QA性能。使用新创建的四个去偏数据集，我们证明了（2）UR任务有助于防止多跳QA任务中的推理捷径。然而，我们发现（3）UR任务并没有有助于提高模型对对抗性问题的鲁棒性，例如子问题和反向问题。我们鼓励未来的研究以自然语言问题的形式调查实体级推理的有效性（例如，子问题形式）。
2023-02-12 cs.CL
FlexNER: A Flexible LSTM-CNN Stack Framework for Named Entity Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
命名实体识别是信息抽取的基础技术。本文提出了一个灵活的NER框架兼容不同的语言和领域。受远程监督思想的启发，本文在不依赖外部资源的情况下，通过增加实体上下文的多样性来增强表示。我们选择不同的层堆栈和子网络组合来构建双边网络。这种策略通常可以提高模型在不同数据集上的性能。我们进行了五种语言的实验，如英语，德语，西班牙语，荷兰语和汉语，以及生物医学领域，如识别科学作品中的化学品和基因/蛋白质术语。实验结果表明该框架具有良好的性能。
2019-08-14 cs.CL
SEARCH-R: Structured Entity-Aware Retrieval with Chain-of-Reasoning Navigator for Multi-hop Question Answering
City University of Hong Kong（香港城市大学）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University of Technology（浙江工业大学）；Michigan State University（密歇根州立大学）；Jilin University（吉林大学）
SEARCH-R通过结构化实体感知检索与推理链导航器，解决多跳问答中推理路径生成和知识检索的准确性问题，提升多跳问答性能。
2026-04-27 cs.CL
EnCore: Fine-Grained Entity Typing by Pre-Training Entity Encoders on Coreference Chains
Cardiff University（卡迪夫大学）
针对细粒度实体类型标注人工标注成本高、共指链接噪声大的问题，提出EnCore方法，采用两种现成系统共预测的共指链接预训练实体编码器，刷新了细粒度实体类型标注基准最优性能并提升传统实体抽取效果。
2024-01-27 cs.CL
Robust Lexical Features for Improved Neural Network Named-Entity Recognition
Université de Montréal（蒙特利尔大学）
命名实体识别的神经网络方法减少了对精心手工制作的特征的需要。虽然一些特征确实保留在最新技术水平的系统中，但词汇特征大多已被丢弃，只有地名录例外。在这项工作中，我们表明这是不公平的：词汇特征实际上是非常有用的。我们建议将单词和实体类型嵌入到一个低维向量空间中，我们通过维基百科从远程监督产生的注释数据进行训练。由此，我们离线计算代表每个单词的特征向量。当与香草递归神经网络模型一起使用时，这种表示产生了实质性的改进。我们在ONTONOTES 5.0上建立了一个新的最先进的F1得分87.95，同时在过度研究的CONLL-2003数据集上将最先进的性能与F1得分91.73相匹配。
2018-06-09 cs.CL
Exploiting Hybrid Semantics of Relation Paths for Multi-hop Question Answering Over Knowledge Graphs
Peking University（北京大学）；Tencent（腾讯）
在知识图谱（KGQA）上表达自然语言问题对于通过多跳推理理解复杂问题仍然是一个巨大的挑战。以往的研究通常利用大规模的实体相关文本语料库或知识图谱（KG）作为辅助信息，以促进答案的选择。然而，丰富的语义隐含在现成的实体之间的关系路径远未得到很好的探索。本文提出利用关系路径的混合语义来改进多跳KGQA。具体来说，我们集成了显式的文本信息和隐含的KG结构特征的关系路径的基础上一个新的旋转和缩放实体链接预测框架。在现有的三个KGQA数据集上的大量实验证明了该方法的优越性，特别是在多跳场景中。进一步的研究证实了我们的方法的系统协调问题和关系路径识别答案实体。
2022-09-02 cs.CL
A Densely Connected Criss-Cross Attention Network for Document-level Relation Extraction
Xiamen University（厦门大学）
文档级关系抽取（RE）旨在识别给定文档中两个实体之间的关系。与文档级RE相比，文档级RE需要复杂的推理。以往的研究通常通过在文档图的提及层或实体层上进行信息传播来完成推理，而很少考虑到实体对层上的推理，本文提出了一种新的文档级RE模型--密集连接交叉注意网络（Densely Connected Criss-Cross Attention Network，Dense-CCNet），该模型能够在实体对层上完成逻辑推理。具体而言，Dense-CCNet通过交叉注意（CCA）进行实体对级别的逻辑推理，可以在实体对矩阵上收集水平和垂直方向的上下文信息，以增强相应的实体对表示。此外，我们密集地连接CCA的多个层，以同时捕获单跳和多跳逻辑推理的特征。我们在三个公共文档级RE数据集DocRED，CDR和GDA上评估了我们的Dense-CCNet模型。实验结果表明，我们的模型在这三个数据集上达到了最先进的性能。
2022-03-26 cs.CL
NanoNER: Named Entity Recognition for nanobiology using experts' knowledge and distant supervision
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对纳米生物学领域，提出基于专家知识与远程监督的NER模型NanoNER，在728篇全文语料上对已知实体F1达0.98，并能以0.77-0.81精确度发现新实体，且所需人力少，可推广至其他专业领域。
2024-01-30 cs.AI cs.CL cs.IR
NNE: A Dataset for Nested Named Entity Recognition in English Newswire
University of Sydney（悉尼大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；Digital Health CRC（数字健康合作研究中心）
命名实体识别（NER）广泛用于自然语言处理应用和下游任务中。然而，大多数NER工具针对流行数据集的平面注释，避开嵌套实体提及中可用的语义信息。我们描述NNE-一个细粒度的，嵌套命名的实体数据集在整个华尔街日报部分的宾州树库（PTB）。我们的注释包括279，795个提到的114个实体类型，最多有6层嵌套。我们希望这个大型数据集的公开发布将鼓励嵌套NER的新技术的发展。
2019-06-04 cs.CL
UHop: An Unrestricted-Hop Relation Extraction Framework for Knowledge-Based Question Answering
Institute of Information Science Academia Sinica（中央研究院资讯科学研究所）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National Institute of Technology Rourkela（鲁尔克拉国家理工学院）；Most Joint Research Center for AI Technology（Most人工智能技术联合研究中心）；All Vista Healthcare（全景医疗保健）
在用于基于知识的问答的关系抽取中，经由单个关系从一个实体搜索到另一个实体被称为“单跳”。在相关工作中，从知识图谱中的所有单跳关系、两跳关系等到最大跳关系的穷举搜索是必要的，但代价很高。因此，跳数通常限制为两个或三个。在本文中，我们提出了UHop，一个不受限制的跳框架，放宽了这一限制，通过使用一个基于转换的搜索框架，以取代基于关系链的搜索。我们对传统的1-和2-hop问题以及冗长的问题进行实验，包括WebQSP，PathQuestion和Grid World等数据集。结果表明，所提出的框架能够停止的能力，以及与国家的最先进的模型，实现竞争力的性能，而无需穷举搜索，并打开长关系路径的性能差距。
2019-04-02 cs.CL
Revisiting Sparse Retrieval for Few-shot Entity Linking
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对少样本实体链接中标注数据不足导致密集检索性能下降的问题，提出基于ELECTRA的关键词提取器与远程监督方法，构建去噪查询表达式，在ZESHEL数据集上显著超越现有最优模型。
2023-10-19 cs.CL
SEE: Syntax-aware Entity Embedding for Neural Relation Extraction
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；Alibaba Group（阿里巴巴集团）；School of Computer Science and Technology, Heilongjiang University（黑龙江大学计算机科学与技术学院）
距离监督关系抽取是一种有效的大规模关系抽取方法，被广泛用于从纯文本中发现新的关系事实。近年来神经关系抽取的研究通过在低维空间中对句子建模取得了很大进展，但很少考虑句法信息对实体建模。在本文中，我们提出学习语法感知的实体嵌入神经关系抽取。首先，我们编码的依赖树上的实体的上下文作为基于树GRU的事务级实体嵌入。然后，我们利用句子内和句子间的注意力，以获得句子集合级的实体嵌入所有句子包含的焦点实体对。最后，我们结合句子嵌入和实体嵌入进行关系分类。我们在一个广泛使用的真实数据集上进行了实验，实验结果表明，我们的模型可以充分利用所有的信息实例，并实现了最先进的性能的关系抽取。
2018-01-11 cs.CL
Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning
Shanghai Jiao Tong University（上海交通大学）；University of Macau（澳门大学）
关系抽取是知识库完备和构建的关键，远程监督方法被广泛用于从已有知识库中自动抽取关系事实。然而，自动构建的数据集包括大量的低质量的句子含有噪声的话，这是被忽视的，目前的远程监督方法导致不可接受的精度。为了缓解这个问题，我们提出了一种新的词级的远程监督方法的关系抽取。我们首先建立子树解析（STP），以删除与关系无关的噪声字。然后，我们构建了一个神经网络输入的子树，同时应用实体明智的注意，以确定在每个实例中的关系词的重要语义特征。为了使我们的模型对噪声词更具鲁棒性，我们通过迁移学习从实体分类的相关任务中学习到的先验知识来初始化我们的网络。我们使用纽约时报（NYT）和Freebase的语料库进行了广泛的实验。实验表明，我们的方法是有效的，并提高了地区的精确/召回（PR）从0.35到0.39的国家的最先进的工作。
2018-11-08 cs.CL
