Design and implementation of an open source Greek POS Tagger and Entity Recognizer using spaCy
DataScouting；International Hellenic University（国际希腊大学）
本文提出了一种机器学习的方法，词性标注和命名实体识别的希腊语，侧重于提取的形态特征和分类的令牌到一个小的集合的类命名实体。介绍了所使用的体系结构模型。spaCy平台的希腊语版本被添加到源代码中，这是一个在我们的贡献之前不存在的功能，并用于构建模型。此外，还训练了一个词性标注器，它可以检测标记的形态，并且在仅对词性进行分类时，其性能高于最先进的结果。对于使用spaCy的命名实体识别，构建了一个扩展标准ENAMEX类型（组织、位置、人员）的模型。进行的某些实验表明，在词汇表外的单词需要灵活性，并且存在解决这个问题的努力。最后对评价结果进行了讨论。
2019-12-05 cs.CL cs.IR cs.LG
An Experimental Investigation of Part-Of-Speech Taggers for Vietnamese
University of Engineering and Technology, VNU Hanoi（河内国立大学工程技术大学）；Ton Duc Thang University（孙德胜大学）
词性标注在自然语言处理中起着重要的作用。它可以应用于许多自然语言处理任务，如命名实体识别、句法分析、依存句法分析和文本组块。在本文中进行的调查，我们利用两个广泛使用的工具包，ClearNLP和斯坦福POS标签的技术，以及开发两个新的POS标记越南语，然后将它们与三个著名的越南语标签，即JVnTagger，vnTagger和RDRPOSTagger。我们做了一个系统的比较，以找出具有最佳性能的标记器。我们还设计了一个新的功能集来衡量统计标记器的性能。我们从Stanford Tagger和ClearNLP构建的新标记器具有新的功能集，可以在标记准确性方面胜过所有其他越南标记器。此外，我们还分析了一些特征对统计标记器性能的影响。最后，实验结果还表明，基于转换的标签，RDRPOSTagger，可以运行速度显着快于任何其他统计标签。
2022-06-14 cs.CL
End-to-end Biomedical Entity Linking with Span-based Dictionary Matching
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Megagon Labs（Megagon实验室）
疾病名称识别和规范化是生物医学文本挖掘中的一个基本过程，通常称为生物医学实体链接。最近，已经提出了两个任务的神经联合学习，以利用相互的好处。虽然这种方法实现了高性能，但无法准确预测未出现在训练数据集中的疾病概念。本研究介绍了一种新的端到端的方法，结合跨度表示与字典匹配功能来解决这个问题。我们的模型通过引用字典来处理看不见的概念，同时以端到端的方式保持基于神经网络的模型的性能。使用两个主要数据集的实验表明，我们的模型在强基线的情况下取得了有竞争力的结果，特别是对于训练过程中看不见的概念。
2021-04-21 cs.CL
Do CoNLL-2003 Named Entity Taggers Still Work Well in 2023?
Georgia Institute of Technology（佐治亚理工学院）
该研究评估20余个CoNLL-2003训练模型在现代NER数据上的泛化能力，发现预训练Transformer未随时间退化，关键影响因素包括架构、参数、预训练语料时期和微调数据量。
2023-07-12 cs.CL
De-biasing Distantly Supervised Named Entity Recognition via Causal Intervention
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督通过字典匹配自动生成训练实例来解决NER中的数据瓶颈。不幸的是，DS-NER的学习是严重的字典偏见，这遭受虚假的相关性，因此破坏了学习模型的有效性和鲁棒性。本文从结构因果模型（SCM）的角度对词典偏倚进行了解释，将其分为词典内偏倚和词典间偏倚，并分析了其产生的原因。基于SCM，我们通过因果干预学习去偏DS-NER。对于字典内偏差，我们进行后门调整，以消除虚假的相关性引入的字典混淆。对于字典间偏差，我们提出了一个因果不变正则化器，这将使DS-NER模型对字典的扰动更具鲁棒性。在四个数据集和三个DS-NER模型上的实验表明，该方法可以显著提高DS-NER的性能。
2021-06-17 cs.CL
Enhancing Biomedical Named Entity Recognition using GLiNER-BioMed with Targeted Dictionary-Based Post-processing for BioASQ 2025 task 6
Georgia Institute of Technology（佐治亚理工学院）
本研究评估 GLiNER-BioMed 模型并引入基于字典的定向后处理策略解决 BioNER 误分类问题，虽在开发集提升 F1 至 0.83，但在盲测集降至 0.77，揭示了过拟合挑战与泛化必要性。
2025-10-03 cs.CL
Biomedical Entity Linking with Contrastive Context Matching
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Megagon Labs（Megagon实验室）
我们介绍BioCoM，一个对比学习框架的生物医学实体链接，只使用两个资源：一个小型的字典和大量的原始生物医学文章。具体来说，我们建立了训练实例从原始PubMed文章的字典匹配，并使用它们训练上下文感知的实体连接模型与对比学习。我们通过最近邻搜索在推理时预测归一化的生物医学实体。结果发现，BioCoM大大优于国家的最先进的模型，特别是在低资源的设置，通过有效地利用实体的上下文。
2021-06-15 cs.CL
Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding
命名实体识别（NER）中的当前最先进的模型是具有条件随机场（CRF）作为最终网络层的神经模型，以及预训练的“上下文嵌入“。CRF层用于促进标签之间的全局一致性，并且上下文嵌入提供上下文中的单词的更好表示。然而，这两种改进都需要很高的计算成本。在这项工作中，我们探索了两种简单的技术，大大提高了NER的性能在一个强大的基线可以忽略不计的成本。首先，我们通过连接使用多个预先训练的嵌入作为单词表示。其次，我们在解码过程中约束使用交叉熵损失训练的标记器，以消除非法转换。当在CoNLL 2003上训练一个标记器时，我们发现在不牺牲强大性能的情况下，基于上下文嵌入的标记器的速度提高了$786$ \%。我们还表明，串联技术适用于多个任务和数据集。我们分析了预训练嵌入之间的相似性和覆盖率以及标签共现的动态性，以解释这些技术的工作原理。我们在三个流行的深度学习框架-- TensorFlow、Pytorch和DyNet中使用这些技术提供了标记器的开源实现。
2021-03-24 cs.CL
SpeedRead: A Fast Named Entity Recognition Pipeline
Stony Brook University（石溪大学）
在线内容分析采用算法方法来识别非结构化文本中的实体。机器学习和知识库方法都是当代命名实体提取系统的基础。然而，在网络规模上部署这些方法的进展受到了NLP在大量文本语料库上的计算成本的阻碍。我们提出了SpeedRead（SR），一个命名实体识别管道，运行速度至少比斯坦福大学NLP管道快10倍。该管道包括一个高性能的Penn Treebank兼容的标记器，接近最先进的词性（POS）标记器和基于知识的命名实体识别器。
2013-01-14 cs.CL
Neural Architectures for Open-Type Relation Argument Extraction
Ludwig Maxilian University of Munich（慕尼黑路德维希马克西米利安大学）；University of Cambridge（剑桥大学）
在这项工作中，我们介绍了开放型关系参数提取（ORAE）的任务：给定语料库，查询实体Q和知识库关系（例如，“Q authored notable work with title X”），模型必须从语料库中提取非标准实体类型的参数（不能由标准命名实体标记器提取的实体，例如X：书籍或艺术作品的标题）。获得并发布基于WikiData关系的远程监督数据集以解决该任务。我们开发和比较了广泛的神经模型，这项任务产生了很大的改进，在一个强大的基线与神经问答系统。系统地比较了不同的句子编码架构和答案提取方法的影响。基于门控递归单元的编码器与条件随机场标记器相结合给出了最佳结果。
2018-09-30 cs.CL
AISHELL-NER: Named Entity Recognition from Chinese Speech
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
语音中的命名实体识别是口语语言理解中的一个重要任务，其目的是从语音信号中提取语义信息。来自语音的NER通常通过两步流水线进行，该流水线包括（1）使用自动语音识别（ASR）系统处理音频和（2）将NER标记器应用于ASR输出。最近的工作已经表明了端到端（E2 E）方法的能力，从英语和法语的语音，这基本上是实体感知ASR的NER。然而，由于汉语中存在许多同音异义词和多音字，因此，从汉语语音中有效地提取NER是一项更具挑战性的任务。在本文中，我们介绍了一个新的数据集AISEHLL-NER从中国语音的NER。进行了大量的实验，以探索几个国家的最先进的方法的性能。实验结果表明，实体感知的ASR和预训练的NER标记器相结合可以提高性能，可以很容易地应用于现代SLU流水线。该数据集可在github.com/Alibaba-NLP/AISHELL-NER上公开获得。
2022-02-17 cs.AI cs.CL
An Operator for Entity Extraction in MapReduce
Carnegie Mellon University（卡内基梅隆大学）
基于词典的实体提取涉及查找文本中的词典实体的提及。提到的文本通常是嘈杂的，包含虚假或缺失的单词。用于检测近似实体提及的有效算法遵循两种一般技术之一。第一种方法是在实体上构建索引并执行文档子字符串的索引查找。第二种方法认识到，从文档生成的子串的数量可能会爆炸到很大的数字，为了解决这个问题，他们使用过滤器来修剪许多不匹配任何字典实体的子串，然后通过文本连接只验证剩余的子串，如果它们是字典实体的实体提及。在基于索引的方法和基于过滤和验证的方法之间的选择是一个逐例的决定，因为最佳方法取决于输入实体字典的特性，例如实体提及的频率。为设置选择正确的方法可以在执行时间上产生很大的差异。然而，做出这种选择是不平凡的，因为在每种方法中存在使可能的方法的空间非常大的参数。在本文中，我们提出了一个基于成本的运营商，使实体提取的执行计划之间的选择。由于我们需要处理大型字典甚至更大的大型数据集，我们的操作符是为MapReduce分布式算法的实现而开发的。
2015-12-15 cs.CL cs.DB
SwellShark: A Generative Model for Biomedical Named Entity Recognition without Labeled Data
Stanford University（斯坦福大学）
我们提出了SwellShark，一个用于快速构建生物医学命名实体识别（NER）系统的框架，无需手动标记数据。我们的方法认为生物医学资源，如词典作为自动生成弱监督的功能原语。然后，我们使用生成模型来统一和降噪这种监督，并构建大规模的，概率标记的数据集，用于训练高精度的NER标签。在三个生物医学NER任务中，SwellShark在没有手动标记训练数据的情况下，通过最先进的监督基准获得了有竞争力的分数。在一个使用患者医疗记录的药物名称提取任务中，一位使用SwellShark的领域专家在24小时内实现了众包注释方法的5.1%，该方法最初使用了20个团队，持续了几周。
2017-04-20 cs.CL
Parts-of-Speech Tagger Errors Do Not Necessarily Degrade Accuracy in Extracting Information from Biomedical Text
CRC for Innovative Dairy Products（创新乳制品合作研究中心）；The University of Melbourne（墨尔本大学）；Victorian Bioinformatics Consortium（维多利亚生物信息学联盟）；Monash University（莫纳什大学）
最近的一项研究报告了Muscorian的发展，这是一种通用的文本处理工具，用于从文本中提取蛋白质-蛋白质相互作用，其性能可与生物医学特定的文本处理工具相媲美。这一结果是出乎意料的，因为一系列文本分析过程中的潜在错误可能会对整个过程的结果产生不利影响。大多数生物医学实体关系提取工具使用生物医学特定的词性（POS）标记器作为POS标记的错误，并可能影响后续的文本语义分析，如浅层解析。本研究旨在评估词性（POS）标记的准确性，并试图探讨是否获得了可比的性能时，通用的POS标记，MontyTagger，被用来代替MedPost，一个tagger训练的生物医学文本。我们的结果表明，在生物医学文本上测试时，Muscorian的POS标签器MontyTagger的POS标签准确率为83.1%。用MedPost替换MontyTagger并没有导致从文本中提取实体关系的显著改善;在定向关系上，MontyTagger的精确度为55.6%，MedPost为56.8%，在非定向关系上，MontyTagger为86.1%，MedPost为81.8%。这是意料之外的，因为MontyTagger的不良POS标记可能会影响信息抽取的结果。对词性标注错误的分析表明，78.5%的标注错误被浅层句法分析所弥补。因此，尽管标记准确率为83.1%，但MontyTagger的功能标记准确率为94.6%。
2008-04-02 cs.CL cs.IR
Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aware Attention using Latent Entity Typing
Hanyang University（汉阳大学）
对句子中实体对之间的语义关系进行分类是自然语言处理的一项重要任务。大多数以前的关系分类模型依赖于由NLP工具获得的高级词汇和句法特征，如WordNet，依赖解析器，词性（POS）标记器和命名实体识别器（NER）。此外，基于注意力机制的最新神经模型没有充分利用实体的信息，而实体的信息可能是关系分类的最关键特征。为了解决这些问题，我们提出了一种新的端到端的递归神经模型，它结合了一个实体感知的注意力机制与潜在的实体类型（LET）的方法。我们的模型不仅有效地利用了实体及其潜在类型作为特征，而且通过可视化应用于我们的模型和LET结果的注意力机制，使其更具可解释性。在SemEval-2010 Task 8（最流行的关系分类任务之一）上的实验结果表明，我们的模型在没有任何高级特征的情况下优于现有的最先进的模型。
2019-01-23 cs.CL
Annotating the Tweebank Corpus on Named Entity Recognition and Building NLP Models for Social Media Analysis
Harvard Medical School（哈佛医学院）
社交媒体数据，如Twitter消息（“tweets”），由于其简短，嘈杂和口语化的性质，对NLP系统构成了特殊的挑战。诸如命名实体识别（NER）和句法分析之类的任务需要高度领域匹配的训练数据以获得良好的性能。到目前为止，还没有完整的训练语料库用于NER和句法分析（例如，词性标记、依存句法分析）。虽然有一些公开可用的tweet注释NLP数据集，但它们只针对个别任务而设计。在这项研究中，我们的目标是创建Tweebank-NER，一个英语NER语料库的基础上Tweebank V2（TB 2），训练国家的最先进的（SOTA）推文NLP模型，并发布一个NLP管道称为Twitter-Stanza。我们使用Amazon Mechanical Turk为TB 2中的命名实体添加注释，并衡量注释的质量。我们在TB 2上对Stanza管道进行训练，并与其他NLP框架进行比较（例如，FLAIR，spaCy）和基于transformer的模型。Stanza tokenizer和lemmatizer在TB 2上实现了SOTA性能，而Stanza NER tagger，词性（POS）tagger和依赖解析器实现了与非transformer模型竞争的性能。基于transformer的模型在Tweebank-NER中建立了一个强大的基线，并在TB 2上的POS标注和依存句法分析中实现了新的SOTA性能。我们发布了…
2022-05-10 cs.CL
Biomedical Named Entity Recognition via Dictionary-based Synonym Generalization
University of Cambridge（剑桥大学）；Cohere（Cohere公司）；University of Glasgow（格拉斯哥大学）
针对基于词典的生物医学命名实体识别难以识别未列出的同义词的问题，提出SynGen框架，利用跨度预测及两种正则化项，在理论上和实验上显著优于现有方法。
2023-10-13 cs.AI cs.CL
HunFlair: An Easy-to-Use Tool for State-of-the-Art Biomedical Named Entity Recognition
Humboldt-Universität zu Berlin（柏林洪堡大学）；GFZ German Research Centre for Geosciences（德国地学研究中心）
摘要：命名实体识别（NER）是生物医学信息抽取流程中的一个重要步骤。NER的工具应该易于使用，涵盖多种实体类型，高度准确，并且对文本体裁和风格的变化具有鲁棒性。为此，我们提出了HunFlair，一个NER标记器，它涵盖了集成到广泛使用的NLP框架Flair中的多种实体类型。HunFlair的性能优于其他最先进的独立NER工具，平均增益为7.26 pp，比下一个最好的工具，可以用一个命令安装，并且只需要四行代码。可用性：HunFlair可以通过Flair框架在MIT许可下免费获得：https://github.com/flairNLP/flair，并与所有主要的操作系统兼容。Contact:{weberple,saengema,alan.akbik}@informatik.hu-berlin.de
2020-08-18 cs.CL
Integrating Dictionary Feature into A Deep Learning Model for Disease Named Entity Recognition
Benha University（本哈大学）；Mangalore University（芒格洛尔大学）
近年来，深度学习（DL）模型因其在克服复杂学习问题方面的成功而变得越来越重要。DL模型已被有效地应用于不同的自然语言处理（NLP）任务，如词性（PoS）标记和机器翻译（MT）。疾病命名实体识别（Disease Named Entity Recognition，简称Disase-NER）是从文本中提取疾病命名实体的关键技术。本文提出了一种基于字典信息的疾病识别模型，并在美国国家生物技术信息中心（NCBI）疾病语料库和BC 5CDR数据集上进行了评估。在一般领域文本以及生物医学文本上训练的词嵌入已被用于表示所提出的模型的输入。本研究还比较了两种不同的分段表示（SR）方案，即IOB 2和IOBES疾病NER。结果表明，使用字典信息，预训练的词嵌入，字符嵌入和CRF与全局得分提高了疾病NER系统的性能。
2019-11-05 cs.CL cs.IR cs.NE
Partial Annotation Learning for Biomedical Entity Recognition
University of Chinese Academy of Sciences（中国科学院大学）；National Science Library, Chinese Academy of Sciences（中国科学院国家科学图书馆）；Institute for Logic, Language and Computation (ILLC), University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
针对生物医学实体识别中因标注缺失导致的性能下降问题，提出TS-PubMedBERT-Partial-CRF部分标注学习模型，在高缺失实体率下F1分数较PubMedBERT tagger提升38%。
2023-05-22 cs.CL cs.LG
HAMNER: Headword Amplified Multi-span Distantly Supervised Method for Domain Specific Named Entity Recognition
University of New South Wales（新南威尔士大学）；Dongguan University of Technology（东莞理工学院）；National University of Defence Technology（国防科技大学）
为了解决命名实体识别（NER）任务，监督方法需要获得足够的干净的注释数据，这是劳动和时间消耗。相反，远程监督方法使用字典自动获取注释数据，以减轻这一要求。不幸的是，词典阻碍了远距离监督方法的有效性，因为它的覆盖范围有限，特别是在特定的领域。在本文中，我们针对字典使用的局限性，并提到边界检测。我们推广了远程监督扩展字典与基于中心词的非精确匹配。我们应用一个函数来更好地加权匹配的实体提及。我们提出了一个跨度级别的模型，它分类所有可能的跨度，然后推断出所选择的跨度与建议的动态规划算法。在所有三个基准数据集上的实验表明，我们的方法优于以前最先进的远程监督方法。
2019-12-03 cs.CL
Using Domain Knowledge for Low Resource Named Entity Recognition
Beijing Institute of Technology（北京理工大学）
近年来，命名实体识别一直是自然语言处理领域的研究热点，而传统的深度学习方法需要大量的标注数据进行模型训练，这使得其不适合标注资源稀缺的领域。此外，现有的跨领域知识转移方法需要针对不同领域调整实体标签，从而增加了培训成本。针对这些问题，本文在一种中文命名实体识别处理方法的启发下，提出利用领域知识来提高资源匮乏地区命名实体识别的性能。我们主要应用的领域知识是领域词典和领域标注数据。我们使用字典信息来加强每个词的词嵌入和领域标记的数据，以加强识别效果。该模型避免了在不同领域的大规模数据调整，同时处理命名实体识别资源少。实验证明了该方法的有效性，在科技装备领域的数据集上取得了令人印象深刻的效果，F1得分与其他许多基线方法相比有了明显的提高。
2022-03-28 cs.CL
End-to-end Named Entity Recognition from English Speech
MIDAS, IIIT-Delhi（德里英迪拉·甘地信息技术学院MIDAS实验室）；National Institute of Informatics（国立信息学研究所）
文本中的命名实体识别（NER）是一个被广泛研究的问题，通常从文本中提取语义信息。到目前为止，主要是在两步流水线过程中研究从语音的NER，该过程包括首先应用自动语音识别（ASR）系统上的音频样本，然后通过预测的成绩单到NER标注。在这种情况下，错误不会从一个步骤传播到另一个步骤，因为这两个任务都没有以端到端（E2E）的方式进行优化。最近的研究证实，综合办法（例如，E2E ASR）优于顺序的（例如，基于音素的ASR）。在本文中，我们介绍了第一个公开可用的NER标注数据集的英语语音，并提出了一个E2E的方法，它联合优化的ASR和NER标签组件。实验结果表明，所提出的E2E方法优于经典的两步方法。我们还讨论了如何从语音NER可以用来处理的词汇（OOV）的话在ASR系统。
2020-05-22 cs.CL cs.LG cs.SD
Improving Word Vector with Prior Knowledge in Semantic Dictionary
Peking University（北京大学）；Beijing Key Laboratory of Internet Culture and Digital Dissemination Research（北京网络文化与数字传播重点实验室）
使用低维向量空间来表示单词在许多NLP任务中非常有效。然而，当遇到生僻字和未见过字的问题时，它并不能很好地工作。在本文中，我们提出利用语义词典中的知识结合一些形态信息来构建一个增强的向量空间。我们得到了2.3%的改进，比国家的最先进的海德尔时间系统在时间表达识别，并获得了很大的增益在其他名称实体识别（NER）的任务。语义词典知网单独也显示出有前途的结果，在计算词汇相似度。
2018-01-27 cs.CL
Using Chinese Glyphs for Named Entity Recognition
Yale University（耶鲁大学）；University of Notre Dame（圣母大学）
大多数命名实体识别（NER）系统使用额外的功能，如词性（POS）标签，浅层解析，地名词典等，这样的信息需要外部知识，如未标记的文本和训练有素的标签。将这些功能添加到NER系统已被证明具有积极的影响。然而，有时创建地名录或标记可能需要大量时间，并可能需要大量的数据清理。在本文中，对于中文的NER系统，我们不使用这些传统的功能，但我们使用的汉字的词典特征。汉字是由称为偏旁的图形部件组成的，这些部件通常具有一些语义指示符。我们提出了基于CNN的模型，将此语义信息，并使用它们的NER。我们的模型比基线BERT-BiLSTM-CRF模型有所改进。我们为中文OntoNotes v5.0设置了一个新的基线分数，并显示出+.64 F1分数的改善。我们在微博数据集上给出了最先进的F1得分71.81，并在ResumeNER数据集上显示出比基线提高了+0.72的竞争力。
2020-02-12 cs.AI cs.CL cs.IR
Learning Dictionaries for Named Entity Recognition using Minimal Supervision
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Columbia University（哥伦比亚大学）
本文描述了一种利用大量未标记数据和少量种子实例自动构造命名实体识别（NER）词典的方法。我们使用典型相关分析（CCA）来获得候选短语的低维嵌入（表示），并使用少量的标记示例对这些短语进行分类。我们的方法在疾病和病毒NER上分别实现了16.5%和11.3%的F-1分数提高。我们还表明，通过添加候选短语嵌入作为序列标记器中的功能，提供了更好的性能相比，使用词嵌入。
2015-04-24 cs.CL stat.ML
Less than One-shot: Named Entity Recognition via Extremely Weak Supervision
University of California, San Diego（加州大学圣迭戈分校）
针对仅每类一个无上下文示例的极弱监督NER问题，提出通过比较替换前后上下文分布挖掘伪标签的X-NER方法，性能超越现有单次样本少样本方法及ChatGPT标注，且具备跨语言能力。
2023-11-06 cs.CL
Named Entity Extraction with Finite State Transducers
National University of Colombia（哥伦比亚国立大学）
我们描述了一个命名实体标记系统，需要最少的语言知识，并可以应用到更多的目标语言没有实质性的变化。该系统是基于布里尔的标签，这使得它非常简单的想法。使用监督机器学习，我们构建了一系列自动机（或传感器），以标记给定的文本。最终的模型完全由自动机组成，它需要一个线性的时间标记。它进行了测试与西班牙语数据集提供的CoNLL- $2002$实现整体$F_{β= 1}$措施的$60\%.$此外，我们提出了一种算法，用于构建最终的换能器用于编码所有的学习上下文规则。
2020-06-20 cs.CL cs.LG
Joint entity recognition and relation extraction as a multi-head selection problem
Ghent University（根特大学）；imec（比利时微电子研究中心）
用于联合实体识别和关系抽取的最新模型强烈依赖于外部自然语言处理（NLP）工具，诸如POS（词性）标记器和依赖性解析器。因此，这种联合模型的性能取决于从这些NLP工具获得的特征的质量。然而，这些特征对于各种语言和上下文并不总是准确的。在本文中，我们提出了一个联合神经模型，执行实体识别和关系抽取同时进行，而不需要任何手动提取的功能或使用任何外部工具。具体地，我们使用CRF（条件随机场）层和关系抽取任务将实体识别任务建模为多头选择问题（即，潜在地标识每个实体的多个关系）。我们提出了一个广泛的实验设置，以证明我们的方法使用来自各种背景的数据集的有效性（即，新闻、生物医学、房地产）和语言（即，英文、荷兰文）。我们的模型优于以前使用自动提取特征的神经模型，而它的性能在基于特征的神经模型的合理范围内，甚至超过它们。
2018-12-17 cs.CL
MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers
Azure Text Analytics, Microsoft Cloud & AI（微软云与人工智能部门Azure文本分析团队）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能团队）；Alexa AI, Amazon（亚马逊Alexa人工智能团队）
Cortana、Alexa和Siri等会话代理不断通过添加新域来提高其功能。对新领域的支持包括设计和开发用于领域分类、意图分类和槽标记（包括命名实体识别）的多个NLU组件。每个组件只有在大量标记数据上训练时才能表现良好。第二，这些组件部署在有限内存的设备上，这需要一些模型压缩。第三，对于诸如健康领域的某些领域，难以找到覆盖所有所需槽类型的单个训练数据集。为了克服这些问题，我们提出了一个多任务的转换器为基础的神经网络结构的插槽标记。我们认为使用多个数据集覆盖不同的插槽类型作为一个多任务学习问题的槽标签的培训。生物医学领域的实验结果表明，所提出的方法优于以前的国家的最先进的系统槽标记不同的基准生物医学数据集的（时间和内存）的效率和有效性。输出时隙标注器可以由会话代理使用以更好地识别输入话语中的实体。
2020-01-24 cs.CL cs.LG stat.ML
FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm
School of Management, University of Science and Technology of China（中国科学技术大学管理学院）
金融命名实体识别（FinNER）是金融文本信息抽取领域的一个具有挑战性的课题，其目的是从非结构化的金融文本中抽取大量的金融知识。使用序列标记框架来实现FinNER任务被广泛接受。然而，这样的序列标注模型不能充分利用文本中的语义信息。相反，我们制定了FinNER任务作为一个机器阅读理解（MRC）的问题，并提出了一个新的模型称为FinBERT-MRC。该算法利用精心设计的查询引入重要的先验信息，提取目标实体的起始索引和结束索引，无需条件随机场（CRF）等解码模块。我们在公开的中国金融数据集ChFinAnn和真实的商业数据集AdminPunish上进行了实验。FinBERT-MRC模型在两个数据集上的平均F1得分分别为92.78%和96.80%，与BiLSTM-CRF，BERT-Tagger和BERT-CRF等序列标记模型相比，平均F1增益分别为+3.94%和+0.89%。源代码可在www.example.com上获得。
2022-05-31 cs.CL
Overview of the Ugglan Entity Discovery and Linking System
Lund University（隆德大学）
Ugglan是一个系统，旨在发现命名实体，并将它们链接到知识库中的唯一标识符。它基于来自维基百科和维基数据的名称和名词词典的组合，使用2014-2016年TAC EDL数据训练的固定顺序遗忘编码（FOFE）的命名实体识别模块（NER），来自多个版本的维基百科链接图的候选生成模块，PageRank链接和同现图消歧器，最后是一名接受过TAC EDL 2015-2016数据培训的重新排序者。
2019-03-13 cs.CL
Database Entity Recognition with Data Augmentation and Deep Learning
Faculty of Science Ontario Tech University（科学学院， Ontario Tech 大学）；College of Engineering Northeastern University（工程学院， Northeastern 大学）
本文提出基于T5骨干网络与数据增强的数据库实体识别方法，通过序列标注和令牌分类双任务微调，在精确率和召回率上优于现有NER模型。
2025-08-26 cs.AI cs.CL cs.DB
BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition
Georgia Institute of Technology（佐治亚理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们研究了学习的问题命名实体识别（NER）标签使用噪声标签从多个弱监督源。虽然获取成本很低，但来自弱监管源的标签往往不完整、不准确且相互矛盾，因此很难学习准确的NER模型。为了解决这个问题，我们提出了一个条件隐马尔可夫模型（CHMM），它可以有效地推断出真正的标签从多源噪声标签在无监督的方式。CHMM增强了经典的隐马尔可夫模型与预先训练的语言模型的上下文表示能力。具体而言，CHMM从输入标记的BERT嵌入中学习标记方式的转移和发射概率，以从噪声观测中推断潜在的真实标签。我们进一步完善CHMM与交替训练方法（CHMM-ALT）。它用CHMM推断的标签微调BERT-NER模型，并且该BERT-NER的输出被视为额外的弱源以训练CHMM作为回报。在不同领域的四个NER基准上的实验表明，我们的方法远远优于最先进的弱监督NER模型。
2021-05-30 cs.CL
Protagonists' Tagger in Literary Domain -- New Datasets and a Method for Person Entity Linkage
Warsaw University of Technology（华沙理工大学）
长文本的语义标注，如小说，仍然是自然语言处理（NLP）的一个公开挑战。本研究探讨了检测人实体并为其分配唯一身份的问题，即，在小说中认识人物（尤其是主要人物）。我们准备了一种用于人实体链接（命名实体识别和消歧）的方法和新的测试数据集。这些数据集包括来自13部不同类型的经典小说的1,300个句子，这些句子是小说读者手动注释的。我们的过程中识别文学人物的文本，实现在progragonistTagger，包括两个阶段：（1）命名实体识别（NER）的人，（2）命名实体消歧（NED）-匹配每个识别的人与文学人物的全名，基于近似文本匹配。在准备好的测试集上，该算法的查准率和查全率都达到了83%以上。最后，我们收集了一个由13部带有proprionistTagger标签的全文小说组成的语料库，其中包含超过35，000个文学人物。
2021-10-04 cs.CL
A Survey of Named Entity Recognition in Assamese and other Indian Languages
Assam Don Bosco University（阿萨姆唐博斯科大学）
命名实体识别在处理主要的自然语言处理任务，如信息抽取，问答，机器翻译，文档摘要等时总是很重要的，所以在本文中，我们提出了一个调查命名实体在印度语言，特别是阿萨姆语。有各种基于规则和机器学习的方法可用于命名实体识别。本文首先介绍了命名实体识别的现有方法，并对该领域的相关研究进行了综述。阿萨姆语像其他印度语言一样是黏着的，并且缺乏适当的资源，因为命名实体识别需要大量的数据集，地名词典列表，字典等，并且在阿萨姆语中找不到英语中发现的一些有用的功能，如大写。除此之外，我们还描述了在阿萨姆语中进行命名实体识别时所面临的一些问题。
2014-07-09 cs.CL
Bootstrapping Named Entity Recognition in E-Commerce with Positive Unlabeled Learning
Lenovo Research（联想研究院）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
命名实体识别（NER）领域，如电子商业是一个研究不足的问题，由于缺乏注释的数据集。识别新的实体类型在这个领域，如产品，组件和属性，是具有挑战性的，因为它们的语言复杂性和现有的知识资源的覆盖率低。为了解决这个问题，我们提出了一个自举的积极的无标签学习算法，集成了特定领域的语言功能，快速，有效地扩大种子字典。该模型在一个新的产品描述数据集上的平均F1得分为72.02%，比基线BiLSTM分类器提高了3.63%，特别是表现出更好的召回率（平均4.96%）。
2020-05-22 cs.CL
Modeling Named Entity Embedding Distribution into Hypersphere
Shanghai Jiao Tong University（上海交通大学）；Brown University（布朗大学）
本文从嵌入空间的拓扑结构可视化的角度对命名实体分布进行建模，从而假设一种语言的大多数（如果不是全部的话）命名实体（NE）倾向于聚集在一起，以容纳在嵌入空间中的特定超球体中。因此，我们提出了一个新的开放的定义NE，弥补了明显的缺点，在以前的封闭NE定义与有限的NE字典。然后，我们展示了两个应用与介绍所提出的命名实体超球模型。首先，使用生成对抗神经网络学习两个嵌入空间的转换矩阵，从而方便地确定目标语言中命名实体的分布，表明仅利用嵌入空间之间的同构关系就能快速发现命名实体的潜力。第二，命名实体超球体模型直接与句子上的各种命名实体识别模型集成，以实现最先进的结果。仅假设嵌入是可用的，我们展示了一个有效的命名实体分布描述的先验知识自由的方法。
2019-09-03 cs.CL
Self-attention-based BiGRU and capsule network for named entity recognition
Guangdong University of Technology（广东工业大学）
命名实体识别（NER）是自然语言处理（NLP）的任务之一。针对传统的字符表示能力较弱，神经网络方法无法捕捉重要序列信息的问题。提出了一种基于自注意的双向门控递归单元（BiGRU）和胶囊网络（CapsNet）的NER。该模型通过Transformers（BERT）预训练模型的双向编码器表示生成特征向量。BiGRU用于捕获序列上下文特征，并提出了自注意力机制，对BiGRU隐藏层捕获的信息给予不同的关注。最后，我们建议使用CapsNet进行实体识别。我们在两个数据集上评估了模型的识别性能。实验结果表明，该模型在不依赖外部词典信息的情况下具有较好的性能。
2020-01-30 cs.CL
EasyNER: A Customizable Easy-to-Use Pipeline for Deep Learning- and Dictionary-based Named Entity Recognition from Medical and Life Science Text
Lund University（隆德大学）
EasyNER是一个易用的端到端流水线，结合深度学习和词典方法进行医学文本命名实体识别，支持自定义模型和词典，并在PubMed和CORD-19数据集上验证了其适用性。
2025-10-15 cs.CL q-bio.QM
Reliable Financial Named Entity Recognition Under Domain Shift: Confidence Estimation and Selective Prediction
Washington University in St. Louis（圣路易斯华盛顿大学）；Southern Methodist University（南卫理公会大学）
该研究针对领域偏移下的金融命名实体识别，评估BERT等模型的置信度信号，提出先检测严重分布偏移再应用置信度门控的分阶段部署策略，提升了预测可靠性。
2026-08-27 cs.CL
Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
实体链接（EL）是将文档中提到的实体链接到知识库（KB）中的引用实体的任务。许多以前的研究集中在维基百科衍生的知识库。关于维基数据的EL的工作很少，尽管它是最广泛的众包KB。维基数据的规模可以开辟许多新的现实世界的应用程序，但其庞大的实体数量也使EL具有挑战性。为了有效地缩小搜索空间，我们提出了一种新的候选检索模式的基础上实体分析。维基数据实体及其文本字段首先被索引到文本搜索引擎中（例如，Elasticsearch）。在推理过程中，给定提及及其上下文，我们使用序列到序列（seq 2seq）模型来生成目标实体的配置文件，其中包括其标题和描述。我们使用配置文件来查询索引的搜索引擎以检索候选实体。我们的方法补充了使用维基百科锚文本字典的传统方法，使我们能够进一步设计一个高效的混合方法进行候选人检索。结合一个简单的交叉注意力重新排序器，我们完整的EL框架在三个基于维基数据的数据集上实现了最先进的结果，并在TACKBP-2010上实现了强大的性能。
2022-03-14 cs.CL
LiteMuL: A Lightweight On-Device Sequence Tagger using Multi-task Learning
Samsung R&D Institute Bangalore（三星班加罗尔研发院）
命名实体检测和词性标注是许多自然语言处理应用的关键任务。虽然目前的最先进的方法达到了接近完美的长，正式的，结构化的文本，在部署这些模型的内存受限的设备，如移动电话的障碍。此外，这些模型的性能下降时，他们遇到短，非正式和随意的谈话。为了克服这些困难，我们提出了LiteMuL -一个轻量级的设备上的序列标签，可以有效地处理用户会话使用多任务学习（MTL）的方法。据我们所知，该模型是第一个用于序列标记的设备上MTL神经模型。我们的LiteMuL模型大小约为2.39 MB，在CoNLL 2003数据集上的精度为0.9433（NER），0.9090（POS）。所提出的LiteMuL不仅优于当前最先进的结果，而且还超过了我们提出的设备上任务特定模型的结果，准确率提高了11%，模型大小减少了50%-56%。我们的模型是有竞争力的NER和POS任务的其他MTL方法，而一枝独秀，他们具有较低的内存占用。我们还在定制的用户对话中评估了我们的模型，并观察到了令人印象深刻的结果。
2021-03-29 cs.CL cs.LG
Learning A Unified Named Entity Tagger From Multiple Partially Annotated Corpora For Efficient Adaptation
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of Southern California（南加州大学）；Outreach, Inc.（Outreach公司）
命名实体识别（NER）识别原始文本中提到的类型化实体。虽然任务已经很好地建立，但没有通用的标签集：通常，数据集被注释用于下游应用程序，因此只覆盖与特定任务相关的一小部分实体类型。例如，在生物医学领域，一个语料库可能注释基因，另一种化学物质和另一种疾病-尽管每个语料库中的文本包含对所有三种类型实体的引用。在本文中，我们提出了一个深度结构化的模型来整合这些“部分注释”的数据集，以共同识别出现在训练语料库中的所有实体类型。通过利用多个数据集，该模型可以学习鲁棒的输入表示;通过构建联合结构化模型，它避免了在测试时组合多个模型的预测所导致的潜在冲突。实验表明，当在多个部分注释的数据集上进行训练以及在包含来自多个训练语料库的标签的数据集上进行测试时，所提出的模型显著优于强多任务学习基线。
2019-10-04 cs.CL
Training dataset and dictionary sizes matter in BERT models: the case of Baltic languages
University of Ljubljana（卢布尔雅那大学）
大型预训练的掩蔽语言模型已经成为许多NLP问题的最先进的解决方案。虽然研究表明单语模型比多语言模型产生更好的结果，但训练数据集必须足够大。我们为立陶宛语、拉脱维亚语和英语训练了一个三语LitLat BERT类模型，为爱沙尼亚语训练了一个单语Est-RoBERTa模型。我们评估了他们的表现在四个下游任务：命名实体识别，依存句法分析，词性标注，和词的类比。为了分析专注于单一语言的重要性以及大型训练集的重要性，我们将创建的模型与爱沙尼亚语、拉脱维亚语和立陶宛语的现有单语和多语言BERT模型进行了比较。实验结果表明，新建立的LitLat BERT和Est-RoBERTa模型在大多数情况下都能改善现有模型在所有测试任务上的结果。
2021-12-20 cs.CL
Linguistically Informed Relation Extraction and Neural Architectures for Nested Named Entity Recognition in BioNLP-OST 2019
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
命名实体识别（NER）和关系抽取（RE）是从生物医学文献中提取知识的重要工具。本文介绍了我们参与BioNLP Shared Tasks 2019的发现。本文研究了命名实体识别，包括嵌套实体抽取、实体规范化和关系抽取。我们提出的命名实体的方法可以推广到不同的语言，我们已经证明了它的有效性英语和西班牙语文本。我们研究了语言特征，混合损失包括排名和条件随机场（CRF），多任务目标和标记级集成策略，以提高NER。我们采用基于字典的模糊和语义搜索来执行实体规范化。最后，我们的RE系统采用支持向量机（SVM）与语言特征。我们的NER提交（团队：MIC-CIS）在BB-2019 norm+NER任务中排名第一，标准出错率（SER）为0.7159，并在PharmaCo NER任务中表现出竞争力，F1得分为0.8662。我们的RE系统在SeeDev-binary关系抽取任务中排名第一，F1得分为0.3738。
2019-10-08 cs.CL
Multi-Task Learning with Contextualized Word Representations for Extented Named Entity Recognition
Ohio State University（俄亥俄州立大学）；Alt Inc（Alt公司）；University of Liverpool（利物浦大学）；Nagoya University（名古屋大学）；Riken AIP（理化学研究所先进智能项目中心）
细粒度命名实体识别（FG-NER）对于许多自然语言处理应用是至关重要的。虽然经典的命名实体识别（NER）已经吸引了大量的研究，FG-NER仍然是一个开放的研究领域。FG-NER的当前最先进的（SOTA）模型严重依赖于人工构建字典和设计手工制作的功能。与FG-NER的SOTA模型相比，实现NER的SOTA结果的端到端框架没有得到竞争结果。在本文中，我们研究如何有效的多任务学习方法是在一个端到端的框架FG-NER在不同的方面。我们的实验表明，使用多任务学习方法和上下文单词表示可以帮助端到端神经网络模型实现SOTA结果，而无需使用任何额外的手动工作来创建数据和设计功能。
2019-02-26 cs.CL
Biomedical Mention Disambiguation using a Deep Learning Approach
自然语言文本中命名实体的自动定位--命名实体识别--是生物医学领域的一个重要课题。然而，许多命名实体提及在几种生物概念类型之间是模糊的，这导致当同时识别多个实体类型时，文本跨度被注释为多于一种类型。简单的解决方案是基于规则的方法，根据每个实体标记器的精度（从最高到最低）应用优先级顺序。虽然这种方法是直接和有用的，不精确的消歧仍然是一个重要的错误来源。我们通过生成一个部分标记的模糊概念提及语料库来解决这个问题。我们首先从多个人工策划的数据库（例如CTDbase，gene 2 pubmed）收集命名实体提及，然后将它们与PubTator的文本挖掘跨度相关联，以提供提及出现的上下文。我们的语料库包含超过300万个概念提及，在PubTator中的一个或多个概念类型之间存在歧义（约占所有提及的3%）。我们将此任务视为分类问题，并开发了一种基于深度学习的方法，该方法使用被分类的跨度和周围单词的语义来识别最可能的生物概念类型。更具体地说，我们开发了卷积神经网络（CNN）和短期记忆（LSTM）网络来分别处理语义语法特征，然后将这些连接在一个完全连接的层中进行最终分类。基于优先级排序规则的方法表现出71.29%（微观平均）和41.19%（宏观平均）的F1-分数，而新的消歧方法表现出91.94%（微观平均）和85.42%（宏观平均）的F1-分数，一个非常大的增加。
2019-09-23 cs.CL
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia（西澳大利亚大学）；The University of Melbourne（墨尔本大学）
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中，我们提出了几种技术作为后处理步骤，以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型，这使得我们的技术强大而通用。实验结果表明，我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
Part-of-Speech Tagger for Bodo Language using Deep Learning approach
IIT Guwahati（印度理工学院古瓦哈蒂分校）
本文提出BodoBERT语言模型及基于深度学习的波多语词性标注模型，实现了0.8041的F1分数，并比较了阿萨姆语词性标注器。
2024-01-06 cs.AI cs.CL cs.LG
Building a Web-Scale Dependency-Parsed Corpus from CommonCrawl
University of Hamburg（汉堡大学）；University of Mannheim（曼海姆大学）
我们目前的DepCC，最大的语言学分析语料库，包括3.65亿份文件，由252亿令牌和7.5亿美元的命名实体出现在14.3亿句从网络规模的爬行的\textsc{Common Crawl}项目。这些句子使用依赖性解析器和命名实体标记器进行处理，并包含出处信息，从而实现从训练基于语法的词嵌入到开放式信息抽取和问答的各种应用。我们建立了所有句子及其语言元数据的索引，以便在语料库中进行快速搜索。我们展示了这个语料库的实用性动词相似性任务，表明我们的语料库训练的分布模型产生更好的结果比模型训练较小的语料库，如维基百科。这种分布模型优于SimVerb3500数据集上较小语料库上训练的动词相似性模型。
2018-02-28 cs.CL
Old Content and Modern Tools - Searching Named Entities in a Finnish OCRed Historical Newspaper Collection 1771-1910
National Library of Finland, Centre for Preservation and Digitization（芬兰国家图书馆，保存与数字化中心）；Aalto University, Semantic Computing Research Group（阿尔托大学，语义计算研究组）；University of Helsinki, Department of Modern Languages（赫尔辛基大学，现代语言系）；Department of Linguistics and English Language, Lancaster University（兰卡斯特大学，语言学与英语语言系）
命名实体识别（Named Entity Recognition，NER）是对文本中频繁出现的信息元素名称和名称进行检索、分类和标注，已成为文本数据的标准信息抽取过程。NER已被应用于许多类型的文本和不同类型的实体：报纸，小说，历史记录，人物，地点，化合物，蛋白质家族，动物等。一般来说，NER系统的性能是体裁和领域相关的，并且所使用的实体类别也各不相同（Nadeau和Sekine，2007）。命名实体的最一般的集合通常是位置、人员和组织的三方分类的某种版本。在本文中，我们报告了第一次大规模的试验和评估NER的数据出了一个数字化的芬兰历史报纸收集Digi。本研究的实验，结果和讨论服务于历史芬兰报纸的网络收集的发展。Digi收集了1771年至1910年的1，960，921页芬兰语和瑞典语报纸材料。我们在评估中只使用芬兰文件的材料。OCRed报纸集有很多OCR错误;其估计的单词级别正确率约为70- 75%（Kettunen和Pääkkönen，2016）。我们的主要NER标注器是芬兰语的基于规则的标注器FiNER，由FIN-BERLIN联盟提供。我们还显示了有限的类别语义标记的阿尔托大学的语义计算研究小组（SeCo）的工具的结果。另外三个工具也进行了简要评价。这项研究报告首次发表了大规模的NER结果在历史上的芬兰OCRed报纸收藏。研究结果补充了具有类似噪声数据的其他语言的NER结果。
2016-11-09 cs.CL
Investigating Bi-LSTM and CRF with POS Tag Embedding for Indonesian Named Entity Tagger
Prosa Solusi Cerdas（普罗萨智能解决方案公司）；School of Electrical Engineering and Informatics（电气与信息工程学院）；Institut Teknologi Bandung（万隆理工学院）
印尼语命名实体标注器的研究已有多年的历史。然而，大多数研究没有使用深度学习，而是使用传统的机器学习算法，如关联规则，支持向量机，随机森林，朴素贝叶斯等。在这里，我们尝试在我们的印度尼西亚NE tagger中使用深度学习。我们使用长短期记忆（LSTM）作为拓扑结构，因为它是NE标记器的最新技术。通过使用LSTM，我们不需要单词列表来提高准确性。基本上，我们主要调查两件事。第一个是网络的输出层：Softmax与条件随机场（CRF）。二是词性（POS）标签嵌入输入层的使用。使用8400句作为训练数据和97句作为评估数据，我们发现，使用POS标签嵌入作为额外的输入，提高了我们的印尼NE标记的性能。至于Softmax和CRF之间的比较，我们发现这两种架构在分类NE标签方面都有弱点。
2020-09-11 cs.AI cs.CL
Multi-Task Triplet Loss for Named Entity Recognition using Supplementary Text
AI Sciences（人工智能科学研究院）；Target Corporation（塔吉特公司）
零售商品数据包含许多不同形式的文本，如商品标题、商品描述、商品名称和评论。使用命名实体标记器在其他形式的文本中标识项目名称是有意义的。然而，项目的标题和其描述在句法上是不同的（但在语义上是相似的），因为标题不一定是格式良好的句子，而描述由格式良好的句子组成。在这项工作中，我们使用三重损失来对比项目标题的嵌入与描述，以建立概念证明。我们发现，在多任务NER算法中使用三重丢失可以提高一个小百分比的准确率和召回率。虽然改进很小，但我们认为这是朝着在多任务算法中使用各种形式的文本的正确方向迈出的一步。除了精确度和召回率之外，还发现多任务三元组丢失方法显著提高了精确匹配精度，即用正确的标签标记文本中的整个标记集的精度。
2021-08-31 cs.CL cs.LG
