Improving Entity Linking by Modeling Latent Entity Type Information
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Peng Cheng Laboratory（鹏城实验室）
现有技术的神经实体链接模型采用基于注意力的词袋上下文模型和从词嵌入引导的预训练实体嵌入来评估主题级上下文兼容性。然而，在提到的直接上下文中的潜在实体类型信息被忽略，这导致模型往往链接到不正确的实体与不正确的类型。为了解决这个问题，我们提出了基于预训练的BERT的实体嵌入注入潜在的实体类型信息。此外，我们将基于BERT的实体相似性得分集成到最先进模型的局部上下文模型中，以更好地捕获潜在的实体类型信息。我们的模型显着优于国家的最先进的实体链接模型的标准基准（AIDA-CoNLL）。详细的实验分析表明，我们的模型纠正了直接基线产生的大部分类型错误。
2020-01-06 cs.CL
Improving Broad-Coverage Medical Entity Linking with Semantic Type Prediction and Large-Scale Datasets
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
医学实体链接是识别和标准化非结构化文本中引用的医学概念的任务。大多数现有的方法采用三步方法：（1）检测提及，（2）生成候选概念列表，最后（3）从中挑选最佳概念。在本文中，我们探讨如何缓解候选概念的过度生成的问题，在候选生成模块，医学实体连接的研究最不足的组成部分。为此，我们提出MedType，一个完全模块化的系统，修剪出不相关的候选概念的基础上预测的语义类型的实体提及。我们将MedType整合到五个现成的工具包中，用于医疗实体链接，并证明它在多个基准数据集上持续提高实体链接性能。为了解决医学实体链接的注释训练数据的缺乏，我们提出了WikiMed和PubMedDS，两个大规模的医学实体链接数据集，并证明这些数据集上的预训练MedType进一步提高了实体链接性能。我们公开我们的源代码和数据集，用于医疗实体链接研究。
2021-08-22 cs.CL
Fine-Grained Named Entity Recognition using ELMo and Wikidata
Constellation AI
细粒度命名实体识别是一个任务，我们检测和分类实体提到一个大的类型集。这些类型可以跨越不同的领域，如金融，医疗保健和政治。我们观察到，当类型集跨越几个域的实体检测的准确性成为监督学习模型的限制。主要原因是缺乏适当注释实体边界的数据集，同时覆盖大量实体类型。此外，许多命名实体系统在考虑细粒度实体类型的分类时会受到影响。我们的工作试图解决这些问题，部分是通过将最先进的深度学习模型（ELMo）与广泛的知识库（Wikidata）相结合。使用我们的框架，我们交叉验证我们的模型上的112个细粒度的实体类型的基础上的层次结构从维基（黄金）数据集。
2019-04-23 cs.AI cs.CL cs.IR
Uncertainty Quantification for Named Entity Recognition via Full-Sequence and Subsequence Conformal Prediction
North Carolina State University（北卡罗来纳州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出了一种基于置信预测的方法，用于在命名实体识别中生成具有不确定性的预测集，以提高模型预测的可靠性。
2026-01-13 cs.CL cs.LG stat.ML
Propose-and-Refine: A Two-Stage Set Prediction Network for Nested Named Entity Recognition
Zhejiang University（浙江大学）
嵌套命名实体识别（nested NER）是自然语言处理的一项基本任务。已经提出了各种基于跨度的方法来检测具有跨度表示的嵌套实体。然而，基于跨度的方法没有考虑跨度和其他实体或短语之间的关系，这在NER任务中是有帮助的。此外，基于跨度的方法由于有限的跨度枚举长度而难以预测长实体。为了缓解这些问题，我们提出了建议和优化网络（PnRNet），这是一个用于嵌套NER的两阶段集合预测网络。在提出阶段，我们使用基于跨度的预测器来生成一些粗略的实体预测作为实体建议。在细化阶段，建议相互交互，更丰富的上下文信息被合并到建议表示中。细化的建议表示用于重新预测实体边界和类。通过这种方式，可以消除粗略建议中的错误，并且边界预测不再受跨度枚举长度限制的约束。此外，我们建立多尺度的句子表示，更好地模拟句子的层次结构，并提供更丰富的上下文信息比令牌级表示。实验表明，PnRNet在四个嵌套NER数据集和一个平面NER数据集上实现了最先进的性能。
2022-09-03 cs.CL
Ultra-Fine Entity Typing
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们引入了一个新的实体类型任务：给定一个提到实体的句子，目标是预测一组自由形式的短语（例如摩天大楼，词曲作者或犯罪分子），这些短语描述了目标实体的适当类型。这种表述方式允许我们在大范围内使用一种新型的远距离监督：中心词，它表明它们出现在名词短语中的类型。我们表明，这些超细类型可以众包，并引入新的评估集，比现有的基准更加多样化和细粒度。我们提出了一个可以预测开放类型的模型，并使用多任务目标进行训练，该目标将我们的新头词监督与实体链接的先前监督相结合。实验结果表明，我们的模型在不同粒度下预测实体类型是有效的;它在现有的细粒度实体类型基准上达到了最先进的性能，并为我们新引入的数据集设置了基线。我们的数据和模型可从以下网站下载：http://nlp.cs.washington.edu/entity_type
2018-07-13 cs.AI cs.CL cs.LG
SpanNER: Named Entity Re-/Recognition as Span Prediction
Fudan University（复旦大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，命名实体识别（NER）系统从序列标记到跨度预测的范式转变。尽管其初步的有效性，跨度预测模型的建筑偏见尚未得到充分理解。本文首先研究了跨度预测模型用于命名实体识别时与序列标记框架相比的优势和不足，以及如何进一步改进它，这促使我们基于不同范式的系统优势互补。然后，我们揭示了跨度预测，同时，可以作为一个系统组合器，重新识别命名实体从不同的系统的输出。我们在11个数据集上实验实现了154个系统，涵盖了三种语言，综合的结果表明跨度预测模型既可以作为基础NER系统，也可以作为系统组合器。我们提供所有代码和数据集：\url{https://github.com/neulab/spanner}，以及在线系统演示：\url{http://spanner.sh}。我们的模型也已部署到ExplainaBoard平台，它允许用户以交互方式灵活地执行最高评分系统的系统组合：\url{http://explainaboard.nlpedia.ai/leaderboard/task-ner/}。
2021-06-06 cs.CL
Multi-Grained Query-Guided Set Prediction Network for Grounded Multimodal Named Entity Recognition
School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；School of Atmospheric Sciences, Sun Yat-sen University（中山大学大气科学学院）；School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）；State Key Laboratory of Intelligent Game, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所智能游戏国家重点实验室）；Pazhou Lab（琶洲实验室）
提出MQSPN统一框架，通过可学习查询对齐文本与视觉区域，将GMNER重构为集合预测，解决模糊实体区分和曝光偏差问题，在基准上达到最先进性能。
2025-01-25 cs.AI cs.CL cs.CV
Improving Multilingual Named Entity Recognition with Wikipedia Entity Type Mapping
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
现有技术的命名实体识别（NER）系统是具有强泛化能力（即，可以基于词汇和上下文信息来识别未出现在训练数据中的不可见实体）。然而，如果模型的特征偏向于错误的实体类型，那么这样的模型仍然可能出错。在本文中，我们利用维基百科作为一个开放的知识库，以改善多语言NER系统。我们的方法的核心是高精度，高覆盖率的多语言维基百科实体类型映射的建设。这些映射是从弱注释的数据中构建的，可以扩展到新的语言，而不需要人工注释或语言相关的知识。基于这些映射，我们开发了几种方法来改善NER系统。我们评估的性能的方法，通过实验NER系统训练6种语言。实验结果表明，所提出的方法是有效的，在提高这样的系统上看不见的实体的准确性，特别是当一个系统被应用到一个新的领域或它是用很少的训练数据训练（高达18.3 F1分数改善）。
2017-07-08 cs.AI cs.CL cs.IR
Noise Mitigation for Neural Entity Typing and Relation Extraction
LMU Munich（慕尼黑大学）
在本文中，我们解决了两种不同类型的噪音在信息抽取模型：噪音从远程监督和噪音从管道输入功能。我们的目标任务是实体类型和关系抽取。对于第一种噪声类型，我们引入了基于神经网络模型的多实例多标签学习算法，并首次将其应用于细粒度实体分类。这使我们的模型具有与使用全局实体嵌入的最先进的监督方法相当的性能。对于第二种噪声类型，我们提出了改进将噪声实体类型预测集成到关系抽取中的方法。我们的实验表明，概率预测比离散预测更鲁棒，并且两个任务的联合训练表现最好。
2017-01-10 cs.CL
Interpretability Analysis for Named Entity Recognition to Understand System Predictions and How They Can Improve
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）；Northeastern University（东北大学）
命名实体识别系统在英语新闻等领域取得了显著的效果。人们自然会问：这些模型实际上是在学习什么来实现这一目标？他们仅仅是在记忆自己的名字吗？或者他们能够解释文本并从语言上下文推断出正确的实体类型吗？我们研究这些问题，通过比较几种变体的LSTM-CRF架构的性能命名实体识别，与一些只提供的上下文表示为功能。我们也对BERT进行了类似的实验。我们发现，上下文表示有助于系统的性能，但驱动高性能的主要因素是学习的名称令牌本身。我们招募人类注释者来评估仅从上下文推断实体类型的可行性，并发现，虽然人们无法推断出实体类型，但对于仅上下文系统所犯的大多数错误，仍有一些改进的空间。一个系统应该能够正确地识别任何名字在一个预测的上下文中，我们的实验表明，目前的系统可以进一步改善这种能力。
2021-01-03 cs.CL
Multi-task Transformer with Relation-attention and Type-attention for Named Entity Recognition
Beihang University（北京航空航天大学）；Meituan（美团）；Meta AI；Harbin Institute of Technology（哈尔滨工业大学）
命名实体识别是自然语言处理中的一个重要研究课题。有三种类型的NER任务，包括平面，嵌套和不连续的实体识别。大多数以前的顺序标记模型是特定于任务的，而近年来，由于将所有NER任务统一到seq2seq模型框架中的优势，生成模型正在兴起。虽然取得了很好的性能，我们的试点研究表明，现有的生成模型在检测实体边界和估计实体类型是无效的。本文提出了一种多任务的Transformer，它将实体边界检测任务合并到命名实体识别任务中。更具体地说，我们实现了实体边界检测分类的句子内的令牌之间的关系。为了提高解码过程中实体类型映射的准确性，我们采用外部知识库计算先验实体类型分布，然后通过自我和交叉注意力机制将信息融入模型。我们进行实验广泛的一组NER基准，包括两个平面，三个嵌套，和三个不连续的NER数据集。实验结果表明，我们的方法大大提高了生成式NER模型的性能。
2023-03-20 cs.CL
Open Named Entity Modeling from Embedding Distribution
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
在本文中，我们报告了我们的发现命名实体分布在一般的词嵌入空间，这有助于一个开放的定义多语言命名实体的定义，而不是以前的封闭和约束定义命名实体通过命名实体字典，这通常是来自人工劳动和响应时间表更新。我们对单语词嵌入的初步可视化表明，命名实体倾向于聚集在一起，尽管命名实体类型和语言差异，这使我们能够使用嵌入空间内的特定几何结构，即命名实体超球体来建模所有命名实体。对于单语言的情况下，建议的命名实体模型给出了一个开放的描述不同的命名实体类型和不同的语言。对于跨语言的情况下，映射所提出的命名实体模型提供了一种新的方式来构建命名实体数据集的资源贫乏的语言。最后，所提出的命名实体模型可以作为一个方便的线索，以提高国家的最先进的命名实体识别系统一般。
2021-02-10 cs.CL cs.IR
NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
Computer Science Department, Bar-Ilan University（巴伊兰大学计算机科学系）
针对无预定义类型的即席命名实体检索问题，提出基于大语言模型中间层value向量和轻量对比投影网络的零样本框架NER Retriever，性能优于现有基线，为无模式实体检索提供实用方案。
2025-09-04 cs.AI cs.CL cs.IR
GLiNER-Relex: A Unified Framework for Joint Named Entity Recognition and Relation Extraction
Knowledgator Engineering（Knowledgator工程公司）；Baldor Technologies Pvt. Ltd. (IDfy)（Baldor技术私人有限公司（IDfy））
GLiNER-Relex通过统一架构实现命名实体识别与关系抽取，利用共享的双向Transformer编码器联合表示文本、实体类型和关系类型标签，支持零样本提取任意实体和关系类型，且在四个基准数据集上表现优异。
2026-05-11 cs.CL cs.LG
HittER: Hierarchical Transformers for Knowledge Graph Embeddings
University of Virginia（弗吉尼亚大学）；Microsoft Research（微软研究院）；Microsoft Bing Ads（微软必应广告）
本文研究了在复杂的多关系知识图谱中学习实体和关系表示的挑战性问题。我们提出了HittER，一个分层的Transformer模型，共同学习基于源实体邻域的语义关系组合和关系上下文化。我们提出的模型由两个不同的Transformer块组成：底部块提取源实体的局部邻域中的每个实体-关系对的特征，顶部块从底部块的输出中聚合关系信息。我们进一步设计了一个掩码实体预测任务，以平衡来自关系上下文和源实体本身的信息。实验结果表明，HittER在多个链接预测数据集上取得了新的最先进的结果。此外，我们提出了一个简单的方法来集成HittER到BERT，并证明其有效性的两个Freebase的模拟问答数据集。
2021-10-06 cs.CL cs.LG
Cross-type Biomedical Named Entity Recognition with Deep Multi-Task Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）
动机：最先进的生物医学命名实体识别（BioNER）系统通常需要针对每种实体类型（例如基因、化学物质和疾病）的手工特征。虽然最近的研究探索使用神经网络模型的BioNER从手动功能工程专家，性能仍然受到限制的可用训练数据为每个实体类型。结果如下：我们提出了一个多任务的学习框架BioNER集体使用不同类型的实体的训练数据，并提高他们的性能。在15个基准BioNER数据集的实验中，我们的多任务模型与最先进的BioNER系统和基线神经序列标记模型相比，实现了更好的性能。进一步的分析表明，大的性能收益来自于在不同标记的语料库中的相关生物医学实体之间共享字符和单词级别的信息。
2018-10-08 cs.CL cs.IR stat.ML
Entity Type Prediction in Knowledge Graphs using Embeddings
FIZ Karlsruhe – Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
开放式知识图谱（如DBpedia、Wikidata、YAGO）已被公认为数据采掘和信息检索领域各种应用的支柱。因此，知识图谱的完整性和正确性至关重要。这些知识库中的大多数都是通过从维基百科快照中自动信息抽取或用户提供的信息积累或使用自动化技术创建的。然而，已经观察到，这些KG的类型信息通常是嘈杂的、不完整的和不正确的。为了解决这个问题，提出了一种多标签分类方法，在这项工作中使用KG嵌入的实体类型。我们比较我们的方法与当前国家的最先进的类型预测方法和报告的KG实验。
2020-05-06 cs.AI cs.CL
Continual Named Entity Recognition without Catastrophic Forgetting
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc（百度公司）；Hong Kong Baptist University（香港浸会大学）；Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文针对持续命名实体识别中的灾难性遗忘和非实体类型语义偏移问题，提出池化特征蒸馏损失、基于置信度的伪标签及自适应重加权策略，在多个数据集上显著超越现有方法。
2023-10-23 cs.CL
Large-Scale Label Interpretation Learning for Few-Shot Named Entity Recognition
Humboldt Universität zu Berlin（柏林洪堡大学）
本文提出通过大规模增加标签解释学习的实体类型数量和粒度，利用强语义先验提升少样本命名实体识别性能，在零样本及少样本的领域内、跨领域和跨语言设置中均取得显著效果。
2024-03-21 cs.CL
UNER: A Unified Prediction Head for Named Entity Recognition in Visually-rich Documents
Ant Group（蚂蚁集团）；Fudan University（复旦大学）
针对富视觉文档命名实体识别的布局复杂、阅读顺序错误等挑战，提出统一预测头UNER，结合序列标注与阅读顺序预测，可提升提取性能并支持少样本、跨语言及零样本场景应用。
2024-08-12 cs.CL
Enhancing Label Consistency on Document-level Named Entity Recognition
Korea University（高丽大学）；AIGEN Sciences（AIGEN科学）
命名实体识别（NER）是从生物医学应用中的文档中提取信息的基本部分。NER的一个显著优点是它在文档上下文中提取生物医学实体的一致性。虽然现有的文件NER模型显示一致的预测，他们仍然没有达到我们的期望。我们研究了实体中的形容词和介词是否会导致低标签一致性，从而导致不一致的预测。在本文中，我们提出了我们的方法，ConNER，它增强了修饰符的标签依赖性（例如，形容词和介词），以实现更高的标签一致性。ConNER细化修改器的草稿标签，以改进生物医学实体的输出表示。在四个流行的生物医学NER数据集上证明了我们方法的有效性;特别是，在两个数据集上证明了它的有效性，F1分数绝对提高了7.5-8.6%。我们解释说，我们的ConNER方法是有效的数据集，具有内在的低标签的一致性。在定性分析中，我们展示了我们的方法如何使NER模型产生一致的预测。我们的代码和资源可以在https://github.com/dmis-lab/ConNER/上找到。
2022-10-24 cs.AI cs.CL cs.LG
Joint Entity and Relation Extraction with Set Prediction Networks
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Unisound Information Technology Co., Ltd（北京云知声信息技术有限公司）
联合实体和关系抽取任务旨在从句子中抽取所有关系三元组。从本质上讲，包含在句子中的关系三元组是无序的。然而，先前基于seq 2seq的模型需要在训练阶段将三元组的集合转换为序列。为了打破这一瓶颈，我们将联合实体和关系抽取作为直接集合预测问题处理，使抽取模型摆脱了预测多个三元组顺序的负担。为了解决这个集合预测问题，我们提出了具有非自回归并行解码的Transformers网络。与按一定顺序逐个生成三元组的自回归方法不同，所提出的网络直接一次性输出最终的三元组集合。此外，我们还设计了一个基于集合的损失，通过二分匹配强制唯一的预测。与高度惩罚三阶中的小位移的交叉熵损失相比，所提出的二分匹配损失对预测的任何排列都是不变的;因此，它可以通过忽略三阶并专注于关系类型和实体来为所提出的网络提供更准确的训练信号。在两个基准数据集上的实验表明，我们提出的模型显着优于当前最先进的方法。训练代码和训练模型将在http://github.com/DianboWork/SPN4RE上提供。
2020-11-05 cs.CL
GATHER: Convergence-Centric Hyper-Entity Retrieval for Zero-Shot Cell-Type Annotation
Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology（深圳先进技术大学人工智能研究院）；Software College, Northeastern University（东北大学软件学院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
GATHER通过全局多源图遍历识别拓扑收敛点，以高信息超实体捕捉实体协同，无需LLM参与检索，提升零样本细胞类型注释效率。
2026-05-07 cs.CL cs.IR
ToNER: Type-oriented Named Entity Recognition with Generative Language Model
School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory of Data Science（上海市数据科学重点实验室）
本文提出生成式NER框架ToNER，通过类型匹配、多二分类和辅助任务充分利用实体类型信息，在多个基准上验证了其有效性。
2024-06-11 cs.AI cs.CL
Comprehensive Named Entity Recognition on CORD-19 with Distant or Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们在COVID-19开放研究数据集挑战（CORD-19）语料库上创建了这个具有全面命名实体识别（NER）的CORD-NER数据集（2020-03-13）。该CORD-NER数据集涵盖了75种细粒度实体类型：除了常见的生物医学实体类型（例如，基因、化学物质和疾病），它涵盖了许多与COVID-19研究明确相关的新实体类型（例如，冠状病毒，病毒蛋白，进化，材料，底物和免疫反应），这可能有利于COVID-19相关病毒，传播机制和潜在疫苗的研究。CORD-NER注释是使用不同NER方法的四个源的组合。CORD-NER注释的质量超过了SciSpacy（基于文档样本集的F1得分高出10%以上），这是一种完全监督的BioNER工具。此外，CORD-NER支持增量添加新文档，并在需要时通过添加数十个种子作为输入示例来添加新的实体类型。我们将根据CORD-19语料库的增量更新和我们系统的改进不断更新CORD-NER。
2020-04-15 cs.AI cs.CL cs.IR
Using Error Decay Prediction to Overcome Practical Issues of Deep Active Learning for Named Entity Recognition
Chan Zuckerberg Initiative (CZI)（陈-扎克伯格倡议）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
现有的深度主动学习算法在自然语言处理任务上实现了令人印象深刻的采样效率。然而，它们在实践中表现出一些弱点，包括（a）无法使用带有黑箱模型的不确定性采样，（b）缺乏对标签噪声的鲁棒性，以及（c）缺乏透明度。作为回应，我们提出了一个透明的批量主动采样框架，通过估计多个特征定义的数据子集的误差衰减曲线。在4个命名实体识别（NER）任务上的实验表明，该方法在黑盒NER标注器上的性能明显优于基于多样性的方法，并且当与基于不确定性的方法相结合时，可以使采样过程对标注噪声具有更强的鲁棒性。此外，对实验结果的分析揭示了不同主动采样策略的弱点，以及传统的基于不确定性或基于多样化的方法何时可以良好地工作。
2020-07-21 cs.CL cs.LG stat.ML
WikiDiverse: A Multimodal Entity Linking Dataset with Diversified Contextual Topics and Entity Types
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Shopee（虾皮）；Vipshop (China) Co., Ltd.（唯品会（中国）有限公司）；Fudan-Aishu Cognitive Intelligence Joint Research Center（复旦-爱数认知智能联合研究中心）
多模态实体链接（MEL），其旨在将具有多模态上下文的提及链接到来自知识库的所指实体（例如，Wikipedia）是许多多模态应用程序的基本任务。尽管MEL受到了广泛的关注，但现有MEL数据集的不足之处，如上下文主题和实体类型有限、提及歧义简化、可用性受限等，给MEL的研究和应用带来了很大的障碍。在本文中，我们提出了WikiDiverse，一个高质量的人类注释MEL数据集与多样化的上下文主题和实体类型从Wikinews，它使用维基百科作为相应的知识库。一个精心定制的注释程序，以确保数据集的质量。基于WikiDiverse，实现了一系列具有模态内和模态间关注的MEL模型，这些模型比现有的MEL模型更充分地利用了图像的视觉信息。通过大量的实验分析，探讨了不同模态对最大似然估计的贡献，为今后的研究提供了参考。数据集和基线模型可在https://github.com/wangxw5/wikiDiverse上获得。
2022-04-13 cs.CL
CollaboNet: collaboration of deep neural networks for biomedical named entity recognition
Korea University（高丽大学）
背景：生物医学命名实体的发现是生物医学文本挖掘中最基本的任务之一。最近，基于深度学习的方法已被应用于生物医学命名实体识别（BioNER），并显示出有希望的结果。然而，由于深度学习方法需要大量的训练数据，因此缺乏数据可能会阻碍性能。BioNER数据集是稀缺资源，每个数据集仅覆盖实体类型的一小部分。此外，许多生物实体是多义的，这是命名实体识别的主要障碍之一。结果如下：为了解决缺乏数据和实体类型错误分类的问题，我们提出了CollaboNet，它利用了多个NER模型的组合。在CollaboNet中，在不同数据集上训练的模型相互连接，以便目标模型从其他协作者模型获得信息，以减少误报。每个模型都是其目标实体类型的专家，并在训练期间轮流充当目标和协作者模型。实验结果表明，CollaboNet可以大大减少误报和错误分类的实体，包括多义词的数量。CollaboNet在精确度、召回率和F1得分方面达到了最先进的性能。结论：我们证明了将多种模型组合用于BioNER的益处。我们的模型成功地减少了错误分类的实体的数量，并通过利用为不同实体类型注释的多个数据集来提高性能。鉴于我们的模型的最先进的性能，我们相信CollaboNet可以提高下游生物医学文本挖掘应用程序，如生物实体关系抽取的准确性。
2019-05-29 cs.CL cs.LG
Named Entity Recognition for Novel Types by Transfer Learning
DATA61；The Australian National University（澳大利亚国立大学）；The University of Melbourne（墨尔本大学）
在命名实体识别中，我们往往没有一个大的领域内训练语料库或知识库足够的覆盖率直接训练一个模型。在本文中，我们提出了一种方法，在给定的训练数据在一个相关的领域具有相似的（但不相同）命名实体（NE）类型和少量的域内训练数据，我们使用迁移学习来学习特定于域的NE模型。也就是说，任务设置中的新颖之处在于，我们不仅假设域不匹配，而且假设标签不匹配。
2016-10-31 cs.CL
Type-Balanced Contextual Learning for Incremental Named Entity Recognition
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Kyoto University（京都大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent, AI Lab（腾讯人工智能实验室）
针对增量命名实体识别中基于伪标签方法的偏差上下文问题，提出含句子对学习方案和上下文一致性损失的TBCL方法，经多数据集多设置实验验证有效。
2026-09-01 cs.CL
DualNER: A Dual-Teaching framework for Zero-shot Cross-lingual Named Entity Recognition
Tencent Cloud Xiaowei（腾讯云小微）；Zhejiang University（浙江大学）；Westlake University（西湖大学）
本文提出了一个简单有效的框架DualNER，它充分利用带标注的源语言语料和未标注的目标语言文本进行zero-shot跨语言命名实体识别（NER）。特别是，我们结合了NER的两个互补的学习范式，即，序列标记和跨度预测，到一个统一的多任务框架。在获得在源数据上训练的足够的NER模型之后，我们进一步在目标数据上以{ \it双教学}的方式对其进行训练，其中一个任务的伪标签是根据另一个任务的预测构建的。此外，基于跨度预测，提出了一种实体感知的正则化，以增强不同语言中相同实体之间的内在跨语言对齐。实验和分析表明，我们的DualNER的有效性。代码可在https://github.com/lemon0830/dualNER上获得。
2022-12-10 cs.CL
Improving Fine-grained Entity Typing with Entity Linking
HKUST（香港科技大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）
细粒度的实体类型是一个具有挑战性的问题，因为它通常涉及相对较大的标记集，并且可能需要理解实体提及的上下文。在本文中，我们使用实体链接来帮助细粒度的实体类型分类过程。我们提出了一个深度神经模型，它根据上下文和从实体链接结果中获得的信息进行预测。在两个常用数据集上的实验结果证明了该方法的有效性。在这两个数据集上，它实现了超过5%的绝对严格精度提高。
2019-09-26 cs.CL
Effect of depth order on iterative nested named entity recognition models
Sorbonne Université（索邦大学）；Inserm（法国国家健康与医学研究院）；SCAI, Sorbonne Université（索邦大学SCAI）
研究了提及深度顺序对嵌套命名实体识别模型的影响。NER是生物医学信息提取中的一项重要任务，由于医学概念可以组装成更大的实体，因此嵌套实体是常见的。传统的NER系统只能预测不相交的实体。因此，嵌套NER的迭代模型使用多个预测来枚举所有实体，从最大到最小或从最小到最大施加预定义的顺序。我们设计了一个阶数不可知的迭代模型和一个在训练和预测过程中选择自定义阶数的过程。为了适应这一任务，我们建议修改Transformer架构，以考虑到在前面的步骤中预测的实体。我们提供了一组实验来研究模型的能力和顺序对性能的影响。最后，我们表明，最小到最大的顺序给出了最好的结果。
2021-04-02 cs.CL cs.LG
Taxonomy Expansion for Named Entity Recognition
Duke University（杜克大学）；AWS AI Labs（AWS人工智能实验室）
提出部分标签模型（PLM），利用部分标注数据集解决命名实体识别分类体系扩展问题，在6个数据集上表现优于多数方法，尤其在额外实体类型数据有限时优势显著。
2023-05-22 cs.AI cs.CL cs.LG
Mitigating Entity Type Confusion in Cross-Domain NER via Multidimensional Quantification and Reasoning Enhancement
Beijing Institute of Technology（北京理工大学）
针对跨领域命名实体识别中的实体类型混淆问题，提出多维混淆量化模型与渐进式双向推理链，利用大语言模型推理增强知识，在CrossNER数据集上取得最先进结果。
2026-09-22 cs.AI cs.CL
DocRED-FE: A Document-Level Fine-Grained Entity And Relation Extraction Dataset
National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理全国重点实验室）
实体与关系抽取（JERE）是信息抽取中的一项重要任务。然而，大多数现有作品都集中在句子级粗粒度JERE上，这在现实场景中存在局限性。本文构建了一个大规模文档级细粒度JERE数据集DocRED-FE，它对DocRED进行了细粒度实体类型的改进。具体而言，我们重新设计了一个分层的实体类型模式，包括11个粗粒度类型和119个细粒度类型，然后重新注释DocRED手动根据这个模式。通过综合实验，我们发现：（1）DocRED-FE对现有的JERE模型提出了挑战;（2）我们的细粒度实体类型促进了关系分类。我们在https://github.com/PKU-TANGENT/DOCRED-FE上公开了DocRED-FE的说明和基线代码。
2023-03-21 cs.CL
Reliable Financial Named Entity Recognition Under Domain Shift: Confidence Estimation and Selective Prediction
Washington University in St. Louis（圣路易斯华盛顿大学）；Southern Methodist University（南卫理公会大学）
该研究针对领域偏移下的金融命名实体识别，评估BERT等模型的置信度信号，提出先检测严重分布偏移再应用置信度门控的分阶段部署策略，提升了预测可靠性。
2026-08-27 cs.CL
Noise reduction in BERT NER models for clinical entity extraction
ConcertAI LLC
本文提出噪声去除模型提升BERT NER在临床实体提取中的精度，通过概率密度图优化预测分类，减少假阳性至90%
2026-02-03 cs.AI cs.CL cs.IR
Towards Better Graph-based Cross-document Relation Extraction via Non-bridge Entity Enhancement and Prediction Debiasing
School of Informatics, Xiamen University（厦门大学信息学院）；Xiamen Key Laboratory of Intelligent Storage and Computing, School of Informatics, Xiamen University（厦门大学信息学院厦门市智能存储与计算重点实验室）
针对跨文档关系抽取中非桥接实体被忽略及数据集NA实例导致预测偏差的问题，提出融合非桥接实体增强与预测去偏的图基模型，在CodRED数据集两种设置下取得SOTA性能并登顶官方排行榜。
2024-06-24 cs.CL
Zero-Shot Open Entity Typing as Type-Compatible Grounding
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Bloomberg LP（彭博有限合伙企业）
实体类型化的问题主要是以监督学习的方式来研究的，大多数情况下使用特定于任务的注释（对于粗糙类型），有时使用远程监督（对于精细类型）。虽然这些方法在数据集内具有很强的性能，但它们通常缺乏跨文本类型传输和推广到新类型分类的灵活性。在这项工作中，我们提出了一个zero-shot实体类型的方法，不需要注释的数据，可以灵活地识别新定义的类型。给定一个类型分类定义为布尔函数的FREEBASE“类型”，我们地面一个给定的提到一组类型兼容的维基百科条目，然后推断目标提到的类型使用的推理算法，利用这些条目的类型。我们评估我们的系统在广泛的数据集，包括标准的细粒度和粗粒度的实体类型数据集，也在生物领域的数据集。我们的系统被证明是具有竞争力的最先进的监督NER系统，并优于他们的域外数据集。我们还表明，我们的系统显着优于其他zero-shot精细打字系统。
2019-07-07 cs.CL
Entity Type Recognition using an Ensemble of Distributional Semantic Models to Enhance Query Understanding
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；CareerBuilder
我们提出了一个集成的方法，在招聘领域的搜索查询实体进行分类。了解搜索查询中表示的实体类型（公司、技能、职位等）与传统的基于关键字的搜索相比，能够基于这些实体进行更智能的信息检索。因为搜索查询通常非常短，所以由于缺乏上下文信息，利用传统的词袋模型来识别实体类型将是不合适的。相反，我们的方法结合了不同来源的不同复杂性的线索，以收集真实世界的知识查询实体。我们通过两个模型采用查询实体的分布式语义表示：1）从维基百科等百科全书语料库中生成的上下文向量，以及2）使用word 2 vec从数百万个职位发布中生成的高维词嵌入向量。此外，我们的方法利用从WordNet获得的实体语言属性和从DBpedia提取的本体属性。我们评估我们的方法在凯业必达创建的数据集;美国最大的就业委员会。该数据集包含从数百万求职者/招聘人员搜索查询、职位发布和简历文档中提取的实体。在构造搜索实体的分布向量之后，我们使用监督机器学习来推断搜索实体类型。实证结果表明，我们的方法优于最先进的word 2 vec分布语义模型训练维基百科。此外，我们实现了97%的微平均F1分数使用建议的分布表示合奏。
2016-04-04 cs.CL cs.IR
Few-NERD: A Few-Shot Named Entity Recognition Dataset
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
近年来，围绕Few-Shot命名实体识别（NER）这一主题出现了大量的文献，但很少有公开的基准数据专门针对这一实际而具有挑战性的任务。目前的方法收集现有的监督NER数据集，并重新组织它们的Few-Shot设置的实证研究。这些策略通常旨在识别具有很少示例的粗粒度实体类型，而在实践中，大多数看不见的实体类型是细粒度的。在本文中，我们提出了Few-NERD，一个大规模的人类注释的Few-Shot NER数据集，具有8个粗粒度和66个细粒度实体类型的层次结构。Few-NERD由维基百科的188，238个句子组成，包含4，601，160个单词，每个单词都被注释为上下文或两级实体类型的一部分。据我们所知，这是第一个Few-Shot NER数据集，也是最大的人工NER数据集。我们构造了不同侧重点的基准任务，以全面评估模型的泛化能力。大量的实证结果和分析表明，Few-NERD具有挑战性，需要进一步研究。我们在https://ningding97.github.io/fewnerd/上公开了Few-NERD。
2021-09-01 cs.AI cs.CL cs.LG
Clustering-based Inference for Biomedical Entity Linking
College of Information and Computer Sciences University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Chan Zuckerberg Initiative（陈-扎克伯格倡议）
由于生物医学知识库中存在大量的实体，只有一小部分实体具有相应的标记训练数据。这就需要实体链接模型，这些模型能够使用学习到的实体表示来链接提到的不可见实体。以前的方法独立地链接每个提及，忽略了实体提及之间的文档内和跨文档的关系。这些关系对于生物医学文本中的链接提及非常有用，其中链接决定通常很困难，因为提及具有通用或高度专业化的形式。在本文中，我们介绍了一个模型，在该模型中，不仅可以通过链接到一个知识库实体，但也通过分组多个提到一起，通过聚类和共同作出链接预测的链接决策。在最大的公开生物医学数据集上的实验中，我们将实体链接的最佳独立预测提高了3.0个点的准确性，并且我们基于聚类的推理模型进一步提高了实体链接2.3个点。
2021-04-08 cs.CL
Hierarchical Losses and New Resources for Fine-grained Entity Typing and Linking
UMass Amherst（马萨诸塞大学阿默斯特分校）；Chan Zuckerberg Initiative（陈·扎克伯格倡议）
从原始文本到实体和细粒度类型的知识库的提取通常被视为实体和类型标签的平面集合的预测，忽略了策划本体中包含的类型和实体的丰富层次结构。以前的尝试，将层次结构产生的好处很少，并限于浅本体。本文提出了使用实和复双线性映射来集成分层信息的新方法，在实体链接和细粒度实体类型化中对平面预测进行了实质性改进，并在基准FIGER数据集上实现了端到端模型的最新结果。我们还提出了两个新的人类注释数据集，其中包含广泛而深入的层次结构，我们将向社区发布，以鼓励在这一方向上的进一步研究：MedMentions，PubMed摘要的集合，其中246 k提及已映射到大规模的UMLS本体;和TypeNet，将Freebase类型与WordNet层次结构对齐，以获得近2k实体类型。在所有三个数据集上的实验中，我们都显示出了层次意识训练的实质性收益。
2018-07-13 cs.CL
Fine-Grained Entity Typing for Domain Independent Entity Linking
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经实体链接模型非常强大，但存在过度拟合其训练领域的风险。对于这个问题，一个域的特征不仅在于文本的类型，甚至还在于实体的特定分布等特定因素，因为神经模型往往会通过记忆数据集中频繁实体的属性来过拟合。我们解决的问题，建立强大的实体链接模型，有效地推广，不依赖于标记的实体链接数据与特定的实体分布。我们的方法不是直接预测实体，而是对细粒度的实体属性进行建模，这可以帮助消除甚至密切相关的实体之间的歧义。我们从Wikipedia分类中获得大量的类型（数万个），并使用Wikipedia中的超链接提及来远程标记数据并训练实体类型模型。在测试时，我们使用此类型模型对提及进行分类，并使用软类型预测将提及链接到最相似的候选实体。我们在CoNLL-YAGO数据集上评估我们的实体链接系统（Hoffart等人，2011），并表明我们的方法优于以前的域独立的实体链接系统。我们还在来自WikilinksNED数据集的更难的设置中测试了我们的方法（Eshel等人，2017），其中所有提及实体对在测试时间期间是不可见的。结果表明，我们的方法比数据集上最先进的神经模型更好地推广。
2020-01-08 cs.AI cs.CL cs.LG
Entity and Evidence Guided Relation Extraction for DocRED
JD AI Research（京东人工智能研究院）；Stanford University（斯坦福大学）
文档级关系抽取是一项具有挑战性的任务，它需要对多个句子进行推理，以预测文档中的关系。本文提出了一个联合训练框架E2 GRE（Entity and Evidence Guided关系抽取）。首先，我们引入实体引导序列作为预训练语言模型（例如BERT，RoBERTa）的输入。这些实体引导的序列帮助预先训练的语言模型（LM）关注与实体相关的文档区域。其次，我们利用预训练语言模型的内部注意力概率作为证据预测的附加特征，引导预训练语言模型的微调，使其更关注实体和支持/证据句子。我们评估我们的E2 GRE方法DocRED，最近发布的大规模数据集关系抽取。我们的方法能够在所有指标的公共排行榜上取得最先进的结果，表明我们的E2 GRE在关系抽取和证据预测方面既有效又协同。
2020-08-27 cs.CL
Towards Better Document-level Relation Extraction via Iterative Inference
Xiamen University（厦门大学）
文档级关系抽取（RE）的目的是从输入文档中抽取实体之间的关系，输入文档通常包含许多难以预测的实体对，这些实体对之间的关系只能通过关系推理来预测。现有的方法通常直接预测输入文档中所有实体对之间的关系，忽略了某些实体对的预测严重依赖于其他实体对的预测结果这一事实。为了解决这个问题，在本文中，我们提出了一种新的文档级RE模型与迭代推理。我们的模型主要由两个模块组成：1）一个基本模块，预计提供初步的实体对的关系预测; 2）一个推理模块，通过迭代处理难以预测的实体对，依赖于其他对，以简单到困难的方式，改进这些初步的预测。与以前的方法只考虑实体对的特征信息不同，我们的推理模块配备了两个扩展交叉注意单元，使其能够在关系推理过程中利用实体对的特征信息和先前的预测。此外，我们采用两阶段策略来训练我们的模型。在第一阶段，我们只训练我们的基本模块。第二阶段对整个模型进行训练，其中引入对比学习来加强推理模块的训练。在三个常用数据集上的实验结果表明，我们的模型始终优于其他竞争基线。
2022-11-26 cs.CL
Distilling Causal Effect from Miscellaneous Other-Class for Continual Named Entity Recognition
South China University of Technology（华南理工大学）
命名实体识别的持续学习（CL-NER）旨在从数据流中学习随着时间的推移越来越多的实体类型。然而，简单地以与新实体类型相同的方式学习类，会放大灾难性遗忘，并导致性能大幅下降。这背后的主要原因是，类样本通常包含旧的实体类型，并且这些类样本中的旧知识没有被正确地保存。由于因果推理，我们确定遗忘是由旧数据中缺失的因果效应引起的。为此，我们提出了一个统一的因果关系框架，检索新的实体类型和类的因果关系。此外，我们应用课程学习来减轻标签噪声的影响，并引入一个自适应的权重来平衡新的实体类型和类之间的因果关系。在三个基准数据集上的实验结果表明，我们的方法比最先进的方法有很大的优势。此外，我们的方法可以与现有的最先进的方法相结合，以提高性能的CL-NER
2022-10-08 cs.AI cs.CL
CCS Explorer: Relevance Prediction, Extractive Summarization, and Named Entity Recognition from Clinical Cohort Studies
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
临床队列研究（CCS），如随机临床试验，是记录临床研究的重要来源。理想情况下，临床专家检查这些文章进行探索性分析，从药物发现评估现有药物在应对新兴疾病方面的疗效到新开发药物的首次测试。然而，PubMed上每天都有100多篇关于COVID-19等单一流行疾病的文章发表。因此，医生可能需要几天时间才能找到文章并提取相关信息。我们能否开发一个系统，更快地筛选这些文章的长列表，并记录下这些文章中的关键内容？在这项工作中，我们提出了CCS资源管理器，一个端到端的系统，用于句子的相关性预测，提取摘要，患者，结果和干预实体检测CCS。CCS Explorer打包在基于Web的图形用户界面中，用户可以在其中提供任何疾病名称。CCS Explorer然后根据后端自动生成的查询结果，从PubMed上的文章中提取并汇总所有相关信息。对于每项任务，CCS Explorer都会基于具有额外层的Transformers微调预训练的语言表示模型。这些模型使用两个公开的数据集进行评估。CCS Explorer在使用BioBERT进行句子相关性预测时获得了80.2%的召回率、0.843的AUC-ROC和88.3%的准确率，并在使用PubMedBERT进行患者、干预、结果检测（PIO）时获得了77.8%的平均Micro F1分数。因此，CCS Explorer可以可靠地提取相关信息来汇总文章，从而节省$\sim \t…
2022-11-16 cs.AI cs.CL cs.HC
Named Entity Recognition via Machine Reading Comprehension: A Multi-Task Learning Approach
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）
本文针对基于机器阅读理解的命名实体识别忽略实体类型间标签依赖的问题，提出多任务学习框架Multi-NER，通过自注意力模块捕获标签依赖，在嵌套和平坦NER数据集上均取得更优性能。
2023-09-20 cs.CL
iMETRE: Incorporating Markers of Entity Types for Relation Extraction
International Institute of Information Technology（国际信息技术学院）
本文提出iMETRE方法，通过结合类型化实体标记表示和微调模型，在金融数据集REFinD上实现69.65%的F1分数，改进句子级关系抽取性能。
2023-06-30 cs.CL
Knowledge-Augmented Language Model and its Application to Unsupervised Named-Entity Recognition
Facebook AI（脸书人工智能研究院）
传统的语言模型无法有效地对文本中观察到的实体名称进行建模。除了最流行的命名实体之外，所有命名实体都很少出现在文本中，提供的上下文不足。最近的努力已经认识到可以在共享相同类型的实体名称之间概括上下文（例如，\emph{person}或\emph{location}），并为语言模型配备了访问外部知识库（KB）的权限。我们的知识增强语言模型（KALM）通过用知识库增强传统模型来继续这一工作。然而，与以前的方法不同，我们使用端到端的预测目标进行训练，以优化文本的复杂度。我们不需要任何额外的信息，如命名实体标签。除了提高语言建模性能外，KALM还通过使用模型中潜在的实体类型信息，以完全无监督的方式学习识别命名实体。在命名实体识别（NER）任务中，KALM实现了与最先进的监督模型相当的性能。我们的工作表明，命名实体（可能还有其他类型的世界知识）可以在没有任何额外信息的情况下，使用预测学习和大型文本语料库的训练来成功建模。
2019-06-24 cs.AI cs.CL cs.LG
Effective Multi-Task Learning for Biomedical Named Entity Recognition
Priberam Labs（Priberam实验室）
本文提出 SRU-NER，利用多任务学习整合多数据集并动态调整损失以缓解标注不一致，从而识别嵌套实体，实验表明其在生物医学及通用 NER 上性能具竞争力并增强跨域泛化。
2025-07-24 cs.CL
