Constructing Artificial Data for Fine-tuning for Low-Resource Biomedical Text Tagging with Applications in PICO Annotation
University College London（伦敦大学学院）；AIG（美国国际集团）
生物医学文本标记系统受到标记训练数据缺乏的困扰。最近已经尝试使用预先训练的编码器来处理这个问题。预训练的编码器提供输入文本的表示，然后将其馈送到特定于任务的层进行分类。整个网络根据来自目标任务的标记数据进行微调。不幸的是，一个低资源的生物医学任务往往有太少的标记的例子，令人满意的微调。此外，如果标签空间很大，则对于大多数标签，它包含很少或不包含带标签的实例。大多数生物医学标记系统将标签视为索引，忽略了这些标签通常是以自然语言表达的概念的事实，例如"脑成像上病变的外观"。为了解决这些问题，我们建议使用标签文本（即标签的名称）作为相应的标签索引（即标签的索引）的输入来构建额外的标签实例。事实上，我们提出了一些策略，从一个标签制造多个人工标记的实例。然后，网络在真实和这些新构建的人工标记实例的组合上进行微调。我们评估了一个重要的低资源生物医学任务称为\textit{PICO annotation}，这需要标记原始文本描述临床试验与标签对应的不同方面的试验，即PICO（人群，干预/对照，结果）的试验特征。我们的实证结果表明，所提出的方法实现了一个新的国家的最先进的性能PICO注释与竞争对手的基线非常显着的改善。
2020-01-14 cs.CL cs.LG stat.ML
PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition and dependency parsing
VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型-命名PhoNLP -联合越南语词性（POS）标记，命名实体识别（NER）和依存句法分析。在越南基准数据集上的实验表明，PhoNLP产生了最先进的结果，优于单任务学习方法，该方法独立地为每个任务微调预训练的越南语语言模型PhoBERT（Nguyen和Nguyen，2020）。我们在Apache License 2.0下公开发布PhoNLP作为开源工具包。虽然我们为越南语指定了PhoNLP，但我们的PhoNLP训练和评估命令脚本实际上可以直接用于其他语言，这些语言具有预先训练的基于BERT的语言模型和黄金注释语料库，可用于POS标记，NER和依存句法分析这三个任务。我们希望PhoNLP可以作为未来NLP研究和应用的强大基线和有用的工具包，不仅适用于越南语，也适用于其他语言。我们的PhoNLP可从以下网址获得：https://github.com/VinAIResearch/PhoNLP
2021-04-08 cs.CL
Adversarial Neural Networks for Cross-lingual Sequence Tagging
University of Stuttgart（斯图加特大学）；Google AI（谷歌人工智能）
我们研究跨语言序列标记很少或没有标记的数据在目标语言。对抗性训练以前已经被证明是有效的训练跨语言句子分类器。然而，目前尚不清楚由对抗性语言机器人强制执行的语言不可知表示是否也能够有效地转移标记级预测任务。因此，我们在两个任务上进行了不同类型的对抗训练：依存句法分析和句子压缩。我们表明，与传统训练的基线相比，对抗性训练始终会提高每个任务的跨语言性能。
2018-08-14 cs.CL
An Approach to Proper Name Tagging for German
本文提出了一种增量式的专有名词标注方法。通过分析专有名词的句法和语篇语境以及词法分析来进行标注。通过这个过程选择的专有名词提供了新的上下文，可以用来寻找新的专有名词，等等。这个过程被应用到一个小的德语语料库（50,000字），并正确地消除了65%的大写单词的歧义，这应该提高当它被应用到一个非常大的语料库。
1995-06-29 cmp-lg cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University（萨尔大学）
本文研究零资源跨语言词性标注，提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语，并训练隐马尔可夫模型进行预测，证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP（理化学研究所先进智能项目中心）；Tohoku University（东北大学）；Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用，允许大规模多语言NLP。然而，虽然并不缺乏预训练的嵌入，但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中，我们进行了广泛的评估比较非上下文子词嵌入，即FastText和BPEmb，和上下文表示方法，即BERT，多语言命名实体识别和词性标注。我们发现，总的来说，BERT，BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点：多语言BERT在中高资源语言中表现良好，但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Hybrid Generative-Tagging Decoding for Efficient Product Attribute-Value Extraction
Amazon（亚马逊）
针对电商产品属性-值抽取的痛点，提出混合生成-标记解码模型，结合标记与生成策略，在不损失精度的前提下提升属性覆盖、正确对数量并降低延迟。
2026-10-16 cs.CL
Global Attention for Name Tagging
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Computer Science Department（计算机科学系）
许多名称标记方法使用本地上下文信息取得了很大的成功，但当本地上下文模糊或有限时则失败。我们提出了一个新的框架，以提高名称标记，利用本地，文档级和语料库级的上下文信息。我们从同一文档中的其他句子中检索文档级上下文，从其他主题相关文档中的句子中检索语料库级上下文。我们提出了一个模型，学习将文档级和语料库级的上下文信息与本地上下文信息一起通过全局注意力，动态加权各自的上下文信息，和门控机制，这决定了这些信息的影响。在基准数据集上进行的大量实验表明了我们方法的有效性，该方法在CoNLL-2002和CoNLL-2003数据集上为荷兰语，德语和西班牙语实现了最先进的结果。
2020-10-19 cs.AI cs.CL
BERT got a Date: Introducing Transformers to Temporal Tagging
文本中的时间表达式在语言理解中起着重要的作用，正确识别它们是各种检索和自然语言处理系统的基础。以前的工作已经慢慢地从基于规则的架构转向神经架构，能够以更高的准确度标记表达式。然而，神经模型还不能区分不同的表达类型，在同一水平上，他们的基于规则的同行。在这项工作中，我们的目标是确定最合适的Transformer架构的联合时间标记和类型分类，以及调查的效果，半监督训练这些系统的性能。基于我们的令牌分类变量和编码器-解码器架构的研究，我们提出了一个Transformer编码器-解码器模型使用的RoBERTa语言模型作为我们的最佳性能系统。通过使用基于规则的系统的弱标记数据补充训练资源，我们的模型在时间标记和类型分类方面超越了以前的工作，特别是在稀有类上。我们的代码和预先训练的实验可在https://github.com/satya77/Transformer_Temporal_Tagger上获得
2022-01-24 cs.CL
Training Compact Models for Low Resource Entity Tagging using Pre-trained Language Models
Intel AI Lab（英特尔人工智能实验室）
低资源命名实体识别任务的训练模型已被证明是一个挑战，特别是在工业应用中，部署更新的模型是一项持续的工作，对业务运营至关重要。在这种情况下，通常有大量的未标记数据，而标记数据是稀缺或不可用的。通过利用迁移学习，被训练用于从文本中提取上下文特征的预训练语言模型被证明可以改善许多自然语言处理（NLP）任务，包括几乎没有标记的任务。然而，这样的模型强加了沉重的存储器和计算负担，使得训练和部署这样的模型用于推理使用成为挑战。在这项正在进行的工作中，我们将预训练的掩蔽语言模型提供的迁移学习的有效性与半监督方法相结合，使用标记和未标记的示例训练快速紧凑的模型。初步评估表明，与最先进的预训练语言模型相比，紧凑模型可以实现具有竞争力的准确性，压缩率为36倍，并且推理速度明显更快，允许在生产环境或边缘设备上部署此类模型。
2019-10-17 cs.CL cs.LG
Scientific Information Extraction with Semi-supervised Neural Tagging
University of Washington（华盛顿大学）
本文讨论了从科学文章中提取关键词并将其分类为对应于任务，过程或材料的问题。我们把问题转化为序列标记，并将半监督方法引入神经标记模型，该模型建立在命名实体识别的最新进展基础上。由于注释的训练数据是稀缺的，在这个领域，我们引入了一个基于图的半监督算法与数据选择方案，以利用未注释的文章。在2017年SemEval任务10 ScienceIE任务中，归纳和转导半监督学习策略的表现优于最先进的信息抽取性能。
2017-08-21 cs.CL
Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology（河内科技大学）；VCCorp（VCCorp公司）
本文提出了一种用于越南语序列标注任务的神经结构，包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型，该模型是双向长短期记忆和条件随机场的组合，它依赖于关于单词的两个信息源：从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明，该方法在两个任务上都达到了最佳的性能：词性标注的准确率为93.52%，NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition
Demiroren Teknoloji A.S.（德米罗伦技术公司）；Istanbul Technical University（伊斯坦布尔理工大学）；MEF University（MEF大学）
命名实体识别（NER）是一个广泛研究的任务，提取和分类命名实体的文本。NER不仅在诸如关系抽取和问答等下游语言处理应用中至关重要，而且在诸如在线数字媒体内容的实时分析等大规模大数据操作中也至关重要。土耳其语是一种形态丰富的语言，最近的研究工作证明了神经架构对格式良好的文本的有效性，并通过将任务制定为序列标记问题来产生最先进的结果。在这项工作中，我们实证研究使用最近的神经架构（双向长短期记忆和变压器为基础的网络）提出了土耳其NER标记在相同的设置。我们的研究结果表明，基于transformer的网络可以对长距离上下文进行建模，克服了BiLSTM网络的局限性，其中利用了字符，子词和单词级别的不同输入特征。我们还提出了一个基于transformer的网络，它具有一个条件随机场（CRF）层，可以在一个常见的数据集上得到最先进的结果（95.95\% f-测量）。我们的研究有助于量化迁移学习对处理形态丰富的语言的影响的文献。
2020-05-18 cs.CL cs.LG
Weakly Supervised Named Entity Tagging with Learnable Logical Rules
University of California San Diego（加州大学圣地亚哥分校）；Bosch Research North America（博世北美研究院）；Bosch Research（博世研究院）
本文研究了在弱监督的情况下，使用少量规则建立实体标注系统的问题。以前的方法主要集中在基于上下文和专家提供的规则消除歧义的实体类型，而假设实体跨度是给定的。在这项工作中，我们提出了一种新的方法TALLOR，引导高质量的逻辑规则训练神经标签在一个完全自动化的方式。具体来说，我们引入了由简单规则组成的复合规则，以提高边界检测的精度，并生成更多样化的伪标签。我们进一步设计了一个动态标签选择策略，以确保伪标签的质量，从而避免过拟合的神经标签。在三个数据集上的实验表明，我们的方法优于其他弱监督方法，甚至可以与最先进的远程监督标记器相媲美，该标记器从20个简单规则开始时拥有超过2,000个术语。我们的方法可以作为一种工具，在新兴领域和任务中快速构建标记。案例研究表明，学习的规则可以潜在地解释预测的实体。
2021-07-05 cs.AI cs.CL
SwellShark: A Generative Model for Biomedical Named Entity Recognition without Labeled Data
Stanford University（斯坦福大学）
我们提出了SwellShark，一个用于快速构建生物医学命名实体识别（NER）系统的框架，无需手动标记数据。我们的方法认为生物医学资源，如词典作为自动生成弱监督的功能原语。然后，我们使用生成模型来统一和降噪这种监督，并构建大规模的，概率标记的数据集，用于训练高精度的NER标签。在三个生物医学NER任务中，SwellShark在没有手动标记训练数据的情况下，通过最先进的监督基准获得了有竞争力的分数。在一个使用患者医疗记录的药物名称提取任务中，一位使用SwellShark的领域专家在24小时内实现了众包注释方法的5.1%，该方法最初使用了20个团队，持续了几周。
2017-04-20 cs.CL
A More Efficient Chinese Named Entity Recognition base on BERT and Syntactic Analysis
Zhejiang Informatization Development Institute, Hangzhou Dianzi University（杭州电子科技大学浙江信息化发展研究院）
提出了一种新的命名实体识别（NER）方法，有效地利用了词性标注、汉语分词和句法分析的结果，同时避免了由于词性标注错误而导致的命名实体识别错误。首先利用Stanford自然语言处理工具对大规模无标记数据进行标注，以减少对标记数据的依赖;然后设计一种新的NLP模型g-BERT模型，对Transformers（BERT）模型中的双向编码器表示进行压缩，以减少计算量;最后基于中国NER数据集对该模型进行评估。实验结果表明，与BERT模型相比，g-BERT模型的计算量减少了60%，性能提高了2%，测试F1为96.5。
2021-01-11 cs.CL
DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National Institute of Informatics（国立信息学研究所）
数据增强技术由于增强了模型的泛化能力而被广泛用于改善机器学习性能。在这项工作中，为低资源标记任务生成高质量的合成数据，我们提出了一种新的增强方法与语言模型训练的线性标记的句子。我们的方法适用于监督和半监督设置。对于有监督的设置，我们进行了广泛的实验命名实体识别（NER），词性（POS）标记和端到端的目标基于情感分析（E2 E-TBSA）的任务。对于半监督设置，我们评估我们的方法在NER任务的条件下，只给未标记的数据和未标记的数据加上知识库。结果表明，我们的方法可以始终优于基线，特别是当给定的黄金训练数据较少。
2020-11-03 cs.AI cs.CL
A Comparative Analysis of Word Segmentation, Part-of-Speech Tagging, and Named Entity Recognition for Historical Chinese Sources, 1900-1950
University of Chicago（芝加哥大学）；Purdue University（普渡大学）
本文比较了LLMs与传统NLP工具在1900-1950年中文历史文本上的分词、词性标注和命名实体识别性能，发现LLMs在准确率上全面领先，但计算成本更高，且能更好地处理诗歌及时间变化带来的挑战。
2025-03-25 cs.AI cs.CL
TEAM-Atreides at SemEval-2022 Task 11: On leveraging data augmentation and ensemble to recognize complex Named Entities in Bangla
SUST（沙赫贾拉尔科技大学）；University of Arizona（亚利桑那大学）；BRAC University（BRAC大学）
许多领域，如生物和医疗保健领域，艺术作品和组织名称，具有嵌套，重叠，不连续的实体提及，甚至在实践中可能在句法或语义上模糊不清。传统的序列标记算法无法识别这些复杂的提及，因为它们可能违反序列标记方案所基于的假设。在本文中，我们描述了我们对SemEval 2022任务11的贡献，以识别这种复杂的命名实体。我们利用了多个基于ELECTRA的模型的集合，这些模型专门在孟加拉语上进行了预训练，并利用基于ELECTRA的模型在英语上进行了预训练，以在Track-11上实现有竞争力的性能。除了提供系统描述外，我们还将介绍我们在架构决策，数据集增强和竞争后发现方面的实验结果。
2022-04-21 cs.CL
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University（麦迪卡普斯大学）
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果，例如pos标记，命名实体识别和文本分类。然而，这些语言模型中的大多数都是用高资源语言（如英语，德语，西班牙语）进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言，但它们往往不能代表这些语言的语言特征，因为它们不是研究的主要语言。我们介绍HinFlair，这是一个语言表示模型（上下文字符串嵌入）预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验，以分析这些上下文化的印地语字符串嵌入的性能。结果表明，HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外，HinFlair与FastText嵌入相结合时，性能优于许多基于transformers的语言模型，特别是为印地语训练的。
2021-01-18 cs.CL
Unveiling Factors for Enhanced POS Tagging: A Study of Low-Resource Medieval Romance Languages
Bavarian Academy of Sciences（巴伐利亚科学院）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Freiburg（弗赖堡大学）
本研究系统探究影响中古罗曼语（奥克语、西班牙语、法语）词性标注性能的关键因素，通过实验评估微调、提示、架构、解码及跨语言迁移方法，揭示LLM局限并提出有效专门技术。
2025-06-21 cs.CL cs.LG
FactMix: Using a Few Labeled In-domain Examples to Generalize to Cross-domain Named Entity Recognition
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Tencent AI Lab（腾讯AI实验室）；Huazhong University of Science and Technology（华中科技大学）
本文提出FactMix，一种两步基于理据的数据增强方法，利用少量标注域内示例提升跨域命名实体识别的泛化能力，在多个数据集上优于现有方法。
2023-12-26 cs.CL
Zero-Resource Multi-Dialectal Arabic Natural Language Understanding
Cairo University（开罗大学）
需要合理数量的注释数据来微调下游任务上的预训练语言模型（PLM）。然而，获得不同语言变体的标记示例可能是昂贵的。在本文中，我们研究了仅在现代标准阿拉伯语（MSA）数据上微调PLM时对方言阿拉伯语（DA）的zero-shot性能-在DA上评估此类模型时发现显著的性能下降。为了弥补这种性能下降，我们提出了使用未标记的DA数据进行自训练，并将其应用于命名实体识别（NER），词性（POS）标记，和讽刺检测（SRD）。我们的研究结果证明了使用未标记DA数据进行自我训练的有效性：将zero-shot MSA到DA的转移提高了$\sim$ 10\% F $_1$（NER），2\%准确度（POS标记）和4.5\% F $_1$（SRD）。我们进行了一个消融实验，并表明直接观察到的性能提升结果来自用于自我训练的未标记DA示例。我们的工作为利用相对丰富的标记MSA数据集开发零资源和低资源方言的DA模型提供了机会。我们还报告了所有三项任务的最新性能，并为研究社区开放了我们的微调模型。
2022-05-25 cs.CL
CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation
Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）
命名实体识别（NER）面临着标注训练数据缺乏的问题，特别是对于没有标注数据的低资源语言。跨语言NER已经被提出来通过经由对齐的跨语言表示或机器翻译结果将知识从高资源语言转移到低资源语言来缓解这个问题。然而，跨语言NER方法的性能受到翻译或标签投影质量不理想的严重影响。为了解决这些问题，我们提出了一个跨语言实体投影框架（CROP），使zero-shot跨语言NER的帮助下，多语言标记序列翻译模型。具体地，目标序列首先被翻译成源语言，然后由源NER模型标记。我们进一步采用标记序列翻译模型，将标记序列映射回目标语言，并标记目标原始句子。最终，整个管道通过自我训练的方式集成到端到端模型中。两个基准测试的实验结果表明，我们的方法大大优于以前的强基线+3 7 F1分数的大幅度，并实现了最先进的性能。
2022-10-13 cs.CL
LTNER: Large Language Model Tagging for Named Entity Recognition with Contextualized Entity Marking
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出 LTNER 框架，通过上下文化实体标记生成方法和基于 GPT-3.5 的免训练上下文学习提升 NER 性能，在 CoNLL03 上将 F1 从 85.9% 提高到 91.9%。
2024-04-08 cs.AI cs.CL
Minimal Supervision for Morphological Inflection
Bar Ilan University（巴伊兰大学）
神经模型的各种口味的形态变化的任务已被证明是非常准确的充分标记的数据-数据可能是缓慢和昂贵的获得。在这项工作中，我们的目标是克服这个注释瓶颈，引导标记的数据从一个种子少到{ \em five}标记的范例，伴随着大量的未标记的文本。我们的方法在两个阶段的设置中利用形态系统中的不同种类的匹配，其中基于{ \em类比}的词标记之后是基于{ \em距离}的词配对。我们的实验与范式细胞填充问题超过8个类型学上不同的语言，并发现，在语言相对简单的形态，正字法的字母对自己允许变形模型，以实现可观的准确性。组合的拼写和语义的语法减轻了特别复杂的形态-语音系统的困难。我们的研究结果表明，手工制作许多标记的例子可能是不必要的努力。然而，还需要做更多的工作，以处理很少使用的表格。
2021-10-12 cs.CL
FedNER: Privacy-preserving Medical Named Entity Recognition with Federated Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
医学命名实体识别在智能医疗领域有着广泛的应用。充足的标记数据是训练准确的医学NER模型的关键。然而，单个医疗平台中的标记数据通常是有限的。尽管标记数据集可能存在于许多不同的医疗平台中，但由于医疗数据是高度隐私敏感的，因此它们不能直接共享。本文提出了一种基于联邦学习的隐私保护医学NER方法，该方法可以利用不同平台上的标记数据来加速医学NER模型的训练，并且不需要在不同平台之间交换原始数据。由于不同平台上的标注数据在实体类型和标注标准上通常存在一定差异，因此，我们将每个平台上的医学NER模型分解为共享模块和私有模块，而不是限制不同平台共享同一模型。私有模块用于捕获每个平台中本地数据的特征，并使用本地标记数据进行更新。共享模块在不同的医疗平台上学习，以获取共享的NER知识。将其来自不同平台的局部梯度聚合以更新全局共享模块，该全局共享模块进一步被递送到每个平台以更新其局部共享模块。在三个公开数据集上的实验验证了该方法的有效性。
2020-03-25 cs.CL
Recognising Biomedical Names: Challenges and Solutions
生物医学文献数量的增长速度是惊人的。解开这些文件中的信息可以使研究人员和从业人员在信息世界中自信地运作。生物医学NER，识别生物医学名称的任务，通常被用作NLP管道的第一步。基于序列标记技术的标准NER模型擅长识别通用域中的短实体提及。然而，将这些模型应用于生物医学名称识别还存在一些挑战：1）生物医学名称可能包含复杂的内部结构2）NER模型的训练通常需要大量的标记数据，这在生物医学领域是很难获得的;以及，3）常用的语言表示模型是在通用数据上预先训练的;因此，在这些模型和目标生物医学数据之间存在域转移。为了应对这些挑战，我们探索了几个研究方向并做出了以下贡献：1）我们提出了一种基于过渡的NER模型，可以识别不连续的提及; 2）我们开发了一种具有成本效益的方法，可以提名合适的预训练数据; 3）我们为NER设计了几种数据增强方法。我们的贡献具有明显的实际意义，特别是当需要新的生物医学应用。我们提出的数据增强方法可以帮助NER模型实现不错的性能，只需要少量的标记数据。我们关于选择预训练数据的调查可以通过结合语言表示模型来改进模型，语言表示模型是使用域内数据进行预训练的。最后，我们提出的基于过渡的NER模型可以通过识别不连续的提及来进一步提高性能。
2021-06-23 cs.CL
Sparse Coding of Neural Word Embeddings for Multilingual Sequence Labeling
University of Szeged（塞格德大学）
在本文中，我们提出并仔细评估了一个序列标签框架，它只利用稀疏的指示器功能来自密集的分布式字表示。所提出的模型获得（近）国家的最先进的性能，为各种语言的词性标注和命名实体识别。我们的模型仅依赖于几千个稀疏编码衍生的特征，而不对用于不同任务的单词表示进行任何修改。该模型具有良好的泛化性能，当在总可用训练数据的1.2%，即~每种语言150句。
2016-12-21 cs.CL
Towards Grammatical Tagging for the Legal Language of Cybersecurity
University of Catania（卡塔尼亚大学）
本文提出一种利用NLP开源工具结合手动分析的词性标注方法，解决网络安全法律语言的基本解释挑战，并在欧盟NIS 2指令上验证，发现SpaCy和ClausIE工具在处理该法律语言时达到极限。
2023-06-29 cs.CL cs.CY
Using Domain Knowledge for Low Resource Named Entity Recognition
Beijing Institute of Technology（北京理工大学）
近年来，命名实体识别一直是自然语言处理领域的研究热点，而传统的深度学习方法需要大量的标注数据进行模型训练，这使得其不适合标注资源稀缺的领域。此外，现有的跨领域知识转移方法需要针对不同领域调整实体标签，从而增加了培训成本。针对这些问题，本文在一种中文命名实体识别处理方法的启发下，提出利用领域知识来提高资源匮乏地区命名实体识别的性能。我们主要应用的领域知识是领域词典和领域标注数据。我们使用字典信息来加强每个词的词嵌入和领域标记的数据，以加强识别效果。该模型避免了在不同领域的大规模数据调整，同时处理命名实体识别资源少。实验证明了该方法的有效性，在科技装备领域的数据集上取得了令人印象深刻的效果，F1得分与其他许多基线方法相比有了明显的提高。
2022-03-28 cs.CL
A Bayesian Approach for Sequence Tagging with Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
目前的序列标记方法是NLP的核心任务，是数据饥饿的，这促使使用众包作为获得标记数据的廉价方式。然而，注释器通常是不可靠的，并且当前的聚合方法不能捕获常见类型的span注释错误。为了解决这个问题，我们提出了一个贝叶斯方法聚合序列标签，减少错误的建模顺序之间的依赖关系的注释以及地面实况标签。通过采用贝叶斯方法，我们考虑到模型中的不确定性，这是由于注释者的错误和缺少完成少量任务的建模注释者的数据。我们评估了我们的模型对众包数据的命名实体识别，信息抽取和参数挖掘，表明我们的顺序模型优于以前的最先进的状态。我们还发现，我们的方法可以通过更有效的主动学习降低众包成本，因为它更好地捕捉序列标签的不确定性时，有很少的注释。
2019-09-06 cs.CL cs.LG
MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers
Azure Text Analytics, Microsoft Cloud & AI（微软云与人工智能部门Azure文本分析团队）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能团队）；Alexa AI, Amazon（亚马逊Alexa人工智能团队）
Cortana、Alexa和Siri等会话代理不断通过添加新域来提高其功能。对新领域的支持包括设计和开发用于领域分类、意图分类和槽标记（包括命名实体识别）的多个NLU组件。每个组件只有在大量标记数据上训练时才能表现良好。第二，这些组件部署在有限内存的设备上，这需要一些模型压缩。第三，对于诸如健康领域的某些领域，难以找到覆盖所有所需槽类型的单个训练数据集。为了克服这些问题，我们提出了一个多任务的转换器为基础的神经网络结构的插槽标记。我们认为使用多个数据集覆盖不同的插槽类型作为一个多任务学习问题的槽标签的培训。生物医学领域的实验结果表明，所提出的方法优于以前的国家的最先进的系统槽标记不同的基准生物医学数据集的（时间和内存）的效率和有效性。输出时隙标注器可以由会话代理使用以更好地识别输入话语中的实体。
2020-01-24 cs.CL cs.LG stat.ML
LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging
Amazon（亚马逊）
我们提出了LINGUIST，一种用于生成意图分类和插槽标记（IC+ST）的注释数据的方法，通过微调AlexaTM 5B，一个50亿参数的多语言序列到序列（seq2seq）模型，在灵活的指令提示符上。在SNIPS数据集的10次新意图设置中，LINGUIST大大超过了最先进的方法（反向翻译和示例外推），显示出目标意图的绝对改善，IC回忆为+1.9分，ST F1分数为+2.5分。在mATIS++数据集的zero-shot跨语言设置中，LINGUIST在6种语言的ST F1评分上的表现超过了具有插槽对齐的机器翻译的强基线，绝对值为+4.14分，同时匹配IC的性能。最后，我们验证了我们的结果在内部大规模的多语言数据集的会话代理IC+ST，并显示出显着的改善基线，使用回译，释义和插槽目录回复。据我们所知，我们是第一个演示大规模seq2seq模型的指令微调，以控制多语言意图和插槽标记数据生成的输出。
2022-09-20 cs.AI cs.CL cs.LG
Fine-Tuned Language Models for Domain-Specific Summarization and Tagging
ZhejiangLab（之江实验室）
针对亚文化语言与俚语干扰领域信息提取的问题，提出融合微调LLM与NER的领域文本摘要标注流水线，经多数据集微调与指标验证，该方法可提升处理准确率，具备跨语言迁移性与实时适配性，适用于知识管理与安全运营场景。
2025-10-29 cs.AI cs.CL
Adaptive Self-training for Few-shot Neural Sequence Labeling
SUNY Buffalo（纽约州立大学布法罗分校）；Microsoft Research AI（微软研究院AI）；Microsoft AI（微软AI）
序列标记是自然语言处理（NLP）任务中的一项重要技术，如命名实体识别（NER）、对话系统的槽标记和语义解析。当对大量特定于任务的标记数据进行微调时，大规模预训练的语言模型在这些任务上获得了非常好的性能。然而，由于人工注释的高成本以及敏感用户应用程序的隐私和数据访问限制，这种大规模的标记数据集很难获得几个任务和领域。这对于需要在标记级进行这种注释的序列标记任务来说是加剧的。在这项工作中，我们开发了一些技术来解决神经序列标签模型的标签稀缺性挑战。具体来说，我们开发了自我训练和元学习技术，用于训练具有少量标签的神经序列标记器。虽然自我训练是从大量未标记数据中学习的有效机制，但元学习有助于自适应样本重新加权，以减轻噪声伪标签的错误传播。在六个基准数据集上进行了大量的实验，包括两个大规模多语言NER和四个面向任务的对话系统的槽标记数据集，证明了我们的方法的有效性。对于每个任务，每个类只有10个标记的示例，我们的方法比最先进的系统提高了10%，证明了其在低资源环境中的有效性。
2020-12-11 cs.AI cs.CL cs.LG
Comparative Study of Zero-Shot Cross-Lingual Transfer for Bodo POS and NER Tagging Using Gemini 2.0 Flash Thinking Experimental Model
Centre for Linguistic Science and Technology, IIT Guwahati（印度理工学院古瓦哈蒂分校语言科学与技术中心）；Central Institute of Technology Kokrajhar（科克拉贾哈尔中央技术学院）
本文研究了 Gemini 2.0 Flash Thinking Experiment 模型在 Bodo 语 POS 和 NER 标注的零样本跨语言迁移中的有效性，比较了直接翻译和基于提示两种方法，发现基于提示的迁移表现更优，为低资源语言 NLP 发展提供了方向。
2025-03-06 cs.CL
Reliable Part-of-Speech Tagging of Historical Corpora through Set-Valued Prediction
Heinz Nixdorf Institut, Paderborn University（帕德博恩大学海因茨·尼克斯多夫研究所）
针对历史语料词性标注难度高、易出错的问题，本文提出基于集值预测的框架，让标注器输出候选标签集以表达不确定性，实验证明该方法能提升标注精度与鲁棒性，尤其对未登录词效果显著。
2024-10-08 cs.CL cs.IR cs.LG
Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data
Georgia Institute of Technology（佐治亚理工学院）；Amazon.com Inc（亚马逊公司）
弱监督在许多自然语言处理任务中表现出良好的效果，例如命名实体识别（NER）。现有的工作主要集中在学习只有弱监督的深度NER模型，即，没有任何人类注释，并表明，通过仅仅使用弱标记的数据，可以实现良好的性能，虽然仍然表现不佳的完全监督NER与手动/强标记的数据。在本文中，我们考虑一个更实际的场景，其中我们有少量的强标记数据和大量的弱标记数据。不幸的是，我们观察到弱标记数据不一定会改善，甚至会恶化模型性能（由于弱标记中的大量噪声），当我们在强标记和弱标记数据的简单或加权组合上训练深度NER模型时。为了解决这个问题，我们提出了一个新的多阶段计算框架-- NEEDLE，它有三个基本组成部分：（1）弱标签完成，（2）噪声感知损失函数，（3）对强标签数据进行最终微调。通过对电子商务查询NER和生物医学NER的实验，我们证明了NEEDLE可以有效地抑制弱标签的噪声，并优于现有的方法。特别是，我们在3个生物医学NER数据集上实现了新的SOTA F1评分：BC 5CDR-化学93.74，BC 5CDR-疾病90.69，NCBI-疾病92.28。
2021-08-01 cs.AI cs.CL cs.LG
Part-of-Speech Tagging of Odia Language Using statistical and Deep Learning-Based Approaches
NIT Rourkela（鲁尔克拉国家技术学院）
自动词性标注是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER）、语音处理、信息抽取、词义消歧和机器翻译。它在英语和欧洲语言中已经取得了可喜的成果，但在印度语言中，特别是在Odia语言中，由于缺乏支持工具，资源和语言形态的丰富性，它还没有得到很好的探索。不幸的是，我们无法为Odia找到一个开源的POS标记器，并且只有少数尝试为Odia语言开发POS标记器。这项研究工作的主要贡献是提出了一种条件随机场（CRF）和基于深度学习的方法（CNN和双向长短期记忆）来开发Odia词性标注器。我们使用了一个可公开访问的语料库，数据集使用印度标准局（BIS）标记集进行注释。然而，全球大多数语言都使用带有通用重复性（UD）标记集的数据集。因此，为了保持一致性，Odia数据集应该使用相同的tagset。因此我们构造了一个从BIS标签集到UD标签集的简单映射。我们实验了不同的特征集输入到CRF模型中，观察了构造的特征集的影响。基于深度学习的模型包括Bi-LSTM网络、CNN网络、CRF层、字符序列信息和预训练的词向量。利用卷积神经网络（CNN）和Bi-LSTM网络提取字符序列信息。六种不同的组合的神经序列标签模型的实施，并研究其性能指标。据观察，具有字符序列特征和预训练词向量的Bi-LSTM模型取得了显着的最先进的结果。
2022-07-07 cs.CL
Neural Token Segmentation for High Token-Internal Complexity
The Open University（开放大学）；Bar Ilan University（巴伊兰大学）
将原始文本标记为单词单元是NLP管道中关键任务的重要预处理步骤，例如标记，解析，命名实体识别等。对于大多数语言来说，这个标记化步骤很简单。然而，对于具有高标记内部复杂性的语言，需要进一步的标记到分词。以前的典型分割研究是基于字符水平的框架，没有涉及语境化的表示。上下文化向量和BERT在许多应用中显示出显著的效果，但没有显示出提高语言分割本身的性能。在这里，我们提出了一种新的神经分割模型，它结合了两个世界中最好的，上下文化的令牌表示和字符级解码，这是特别有效的语言与高令牌内部复杂性和极端的形态歧义。与最先进的技术相比，我们的模型在希伯来语和阿拉伯语的分割准确性方面有了很大的改进，并在现有管道上进一步改进了下游任务，如词性标记，依存句法分析和命名实体识别。当在相同的设置下将我们的分段优先管道与联合分段和标记进行比较时，我们表明，与神经元之前的研究相反，管道性能更优越。
2022-03-21 cs.CL
Deep Learning Transformer Architecture for Named Entity Recognition on Low Resourced Languages: State of the art results
University of Pretoria（比勒陀利亚大学）
本文报告了对10种低资源南非（SA）语言的深度学习（DL）Transformer架构模型进行命名实体识别（NER）的评估。此外，这些DL Transformer模型与其他神经网络和机器学习（ML）NER模型进行了比较。研究结果表明，Transformer模型大大提高性能时，应用离散微调参数每种语言。此外，微调Transformer模型优于其他神经网络和机器学习模型的NER与低资源的SA语言。例如，Transformer模型在10种SA语言中的6种语言中获得了最高的F分数，并且最高的平均F分数超过了条件随机场ML模型。实际意义包括以更少的努力和资源成本开发高性能NER能力，可能改善下游NLP任务，如机器翻译（MT）。因此，DL Transformer架构模型在低资源SA语言上的NLP NER序列标记任务的应用是可行的。进一步的研究可以评估其他自然语言处理任务和应用程序上的最新Transformer架构模型，例如短语组块、MT和词性标记。
2022-10-01 cs.AI cs.CL
Does Synthetic Data Help Named Entity Recognition for Low-Resource Languages?
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究院）；National Research Council（加拿大国家研究委员会）
本文研究了合成数据在多语言低资源命名实体识别中的作用，发现其对不同语言的效果存在显著差异。
2025-11-05 cs.CL
GPT-Calls: Enhancing Call Segmentation and Tagging by Generating Synthetic Conversations via Large Language Models
Microsoft（微软）；Technion（以色列理工学院）；The Open University（开放大学）；Tel-Aviv University（特拉维夫大学）
本研究提出无需标注数据的GPT-Calls方法，通过GPT模型生成合成主题句提取锚向量，结合时域分析实现通话分割与主题标注，已在微软Dynamics 365销售对话智能产品中落地应用。
2023-06-09 cs.CL cs.LG
NER-BERT: A Pre-trained Model for Low-Resource Entity Tagging
The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）
当大型训练数据集对于低资源域不可用时，命名实体识别（NER）模型通常表现不佳。近年来，预训练大规模语言模型已成为应对数据稀缺问题的一个有前途的方向。然而，语言建模和NER任务之间的潜在差异可能会限制模型的性能，并且NER任务的预训练很少被研究，因为收集的NER数据集通常很小或很大，但质量很低。在本文中，我们构建了一个相对高质量的大规模NER语料库，并根据创建的数据集预训练NER-BERT模型。实验结果表明，我们的预训练模型可以显着优于BERT以及其他强大的基线在低资源的情况下，在九个不同的领域。此外，实体表示的可视化进一步表明了NER-BERT对各种实体进行分类的有效性。
2021-12-01 cs.AI cs.CL
Building Foundations for Natural Language Processing of Historical Turkish: Resources and Models
Saarland University（萨尔兰大学）；Medeniyet University（文明大学）
本文提出历史土耳其语NLP的基础资源和模型，包括首个命名实体识别数据集HisTR和首个通用依赖树库OTA-BOUN，以及基于Transformer的模型，提升了历史土耳其语的计算分析能力。
2026-03-27 cs.CL
Grammar Detection for Sentiment Analysis through Improved Viterbi Algorithm
语法检测，也称为原始文本的词性标记，被认为是各种自然语言处理流水线（如命名实体识别、问答和情感分析）的基础构建块。简而言之，对于一个句子，词性标注是用名词、动词、形容词、副词等来指定和标注句子中的每个单词的任务。情感分析很可能是一种习惯于确定给定句子的情感基调是中性的、积极的还是消极的程序。为了将极性分数分配给短语内的论文或实体，结合了文本内分析和分析、机器学习和自然语言处理等方法。这种使用词性标注器的情感分析有助于我们敦促更广泛的公众对特定主题进行总结。为此，我们使用维特比算法，隐马尔可夫模型，基于约束的维特比算法进行词性标注。通过比较准确率，我们选择模型的最高准确率的结果进行情感分析以确定句子的特征。
2022-12-05 cs.CL cs.LG
Text Classification Using Label Names Only: A Language Model Self-Training Approach
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
当前的文本分类方法通常需要大量的人工标记的文档作为训练数据，这在实际应用中可能是昂贵的并且难以获得。人类可以在没有看到任何标记示例的情况下执行分类，而只是基于描述要分类的类别的一小部分单词。在本文中，我们探讨的潜力，只使用标签名称的每个类训练分类模型的未标记的数据，而不使用任何标记的文件。我们使用预训练的神经语言模型作为类别理解的一般语言知识源和文档分类的表示学习模型。我们的方法（1）将语义相关的词与标签名称相关联，（2）找到类别指示词并训练模型来预测其隐含的类别，以及（3）通过自我训练来推广模型。我们表明，我们的模型在四个基准数据集上实现了约90%的准确率，包括主题和情感分类，而不使用任何标记文档，而是从每个类最多3个单词（大多数情况下为1个）作为标签名称监督的未标记数据中学习。
2020-10-14 cs.CL cs.LG
Active$^2$ Learning: Actively reducing redundancies in Active Learning methods for Sequence Tagging and Machine Translation
虽然深度学习是解决自然语言处理（NLP）问题的强大工具，但这些问题的成功解决方案在很大程度上依赖于大量带注释的样本。然而，手动注释数据是昂贵且耗时的。主动学习（AL）策略通过迭代地选择少量示例用于手动注释来减少对大量标记数据的需要，所述少量示例基于它们在训练给定模型中的估计效用。在本文中，我们认为，由于AL策略选择的例子独立，他们可能会选择类似的例子，所有这些都可能不会显着的学习过程。我们提出的方法，主动$\mathbf{^2}$学习（A $\mathbf{^2}$ L），主动适应正在训练的深度学习模型，以进一步消除由AL策略选择的冗余示例。我们表明，一个$\mathbf{^2}$ L是广泛适用的结合使用它与几个不同的AL策略和自然语言处理任务。我们的经验表明，所提出的方法是进一步能够减少国家的最先进的AL策略的数据需求的绝对百分比减少$\approx\mathbf{3-25\%}$在多个NLP任务，同时实现相同的性能，没有额外的计算开销。
2021-04-03 cs.AI cs.CL cs.HC
Dealing with Metonymic Readings of Named Entities
本文的目的是提出一种方法来标记命名实体（NE），使用自然语言处理技术。除了字面意义之外，命名的实体经常受到转喻的影响。我们目前NE类型层次结构的限制，并详细介绍了一个新的建议，旨在动态捕捉上下文中的实体的语义。该模型可以分析复杂的语言现象，如借代，这是众所周知的，是很难的自然语言处理，但对大多数应用程序的关键。我们提出了一个实现和一些测试使用法国ESTER语料库，并给出显着的结果。
2006-07-11 cs.AI cs.CL
Speaker Tagging Correction With Non-Autoregressive Language Models
Institute of Mathematics of NAS RA（亚美尼亚国家科学院数学研究所）；YSU（埃里温国立大学）
本文提出基于非自回归语言模型的第二遍说话人标签校正系统，用于修正不同说话人句子边界处的词语错误，在TAL和Fisher数据集上降低了WDER，并在Post-ASR挑战赛中显著改善了cpWER。
2024-08-30 cs.AI cs.CL cs.LG
Natural Language Processing (almost) from Scratch
NEC Labs America（NEC美国研究院）；Google（谷歌）
我们提出了一个统一的神经网络架构和学习算法，可应用于各种自然语言处理任务，包括：词性标注，组块，命名实体识别，和语义角色标注。这种多功能性是通过试图避免特定于任务的工程，从而忽视了大量的先验知识来实现的。我们的系统不是利用为每个任务仔细优化的人造输入特征，而是基于大量的大部分未标记的训练数据来学习内部表示。这项工作，然后作为一个基础，建立一个免费的标记系统具有良好的性能和最小的计算要求。
2011-03-02 cs.CL cs.LG
Investigation on Data Adaptation Techniques for Neural Named Entity Recognition
University of Amsterdam（阿姆斯特丹大学）；RWTH Aachen University（亚琛工业大学）
数据处理是各种自然语言处理任务中的一个重要步骤。由于命名实体识别中常用的数据集只包含有限数量的样本，因此以有效和可靠的方式获得附加的标记数据是重要的。一种常见的做法是利用大型单语未标记语料库。另一种流行的技术是从原始标记数据创建合成数据（数据增强）。在这项工作中，我们研究了这两种方法对三种不同的命名实体识别任务的性能的影响。
2021-10-12 cs.CL cs.LG
Named Entity Recognition with Partially Annotated Training Data
University of Pennsylvania（宾夕法尼亚大学）；University of North Carolina（北卡罗来纳大学）；Bloomberg LP（彭博有限合伙企业）
监督式机器学习假设完全标记数据的可用性，但在许多情况下，例如低资源语言，唯一可用的数据是部分注释的。我们研究的问题命名实体识别（NER）与部分注释的训练数据，其中一小部分的命名实体被标记，和所有其他令牌，实体或其他，被标记为非实体默认情况下。为了在这个嘈杂的数据集上进行训练，我们需要区分真阴性和假阴性。为此，我们引入了一种约束驱动的迭代算法，该算法学习在噪声集中检测假阴性并降低它们的权重，从而得到加权训练集。有了这个集合，我们训练一个加权NER模型。我们评估我们的算法与神经和非神经NER模型的加权变体的数据在8种语言从几种语言和脚本家庭，显示出强大的能力，从部分数据学习。最后，为了显示真实世界的功效，我们在由非说话者注释的孟加拉语NER语料库上进行评估，表现优于现有技术的5个点F1。
2019-09-20 cs.CL cs.LG
