Robust Multilingual Part-of-Speech Tagging via Adversarial Training
Yale University（耶鲁大学）
对抗训练（AT）是一种强大的神经网络正则化方法，旨在实现对输入扰动的鲁棒性。然而，从AT获得的鲁棒性的具体效果在自然语言处理的上下文中仍然不清楚。在本文中，我们提出并分析了一个神经词性标注模型，利用AT。在我们对Penn Treebank WSJ语料库和Universal Advertisements（UD）数据集（27种语言）的实验中，我们发现AT不仅提高了整体标记准确率，而且1）在低资源语言中防止过度拟合，2）提高了罕见/未见过单词的标记准确率。我们还证明了3）AT提高的标记性能有助于依存句法分析的下游任务，以及4）AT有助于模型学习更清晰的单词表示。5)所提出的AT模型在不同的序列标记任务中通常是有效的。这些积极的结果激励进一步使用AT的自然语言的任务。
2018-04-20 cs.CL cs.LG
Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units
CEA-List（法国原子能委员会电子与信息技术实验室）；Université Paris-Saclay（巴黎萨克雷大学）；UQÀM（魁北克大学蒙特利尔分校）
神经迁移学习（TL）在自然语言处理（NLP）中变得无处不在，这要归功于它在许多任务上的高性能，特别是在低资源的情况下。值得注意的是，TL被广泛用于神经领域自适应，以将有价值的知识从高资源域转移到低资源域。在TL的标准微调方案中，模型最初在源域上进行预训练，随后在目标域上进行微调，因此，源域和目标域使用相同的架构进行训练。在本文中，我们表明，通过解释方法，这种方案，尽管它的效率，是从一个主要的局限性。事实上，尽管预先训练的神经元能够适应新的领域，但它们很难学习特定于目标领域的某些模式。此外，我们揭示了隐藏的负迁移发生，尽管源域和目标域之间的高度相关性，这可能会减少最终的收益带来的迁移学习。为了解决这些问题，我们建议使用归一化，加权和随机初始化的单元来增强预训练模型，这些单元在保持有价值的源知识的同时促进更好的适应。我们表明，我们的方法表现出显着的改进，从新闻领域的社交媒体领域的神经领域自适应的标准微调计划的四个NLP任务：词性标记，组块，命名实体识别和morphosyntaging标记。
2021-06-09 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation using Lexical Transformations and Label Injection for Twitter Data
J.P.Morgan AI Research（摩根大通人工智能研究院）
该研究从数据集视角出发，通过词汇转换修改源域数据集以缩小领域偏移，在Twitter词性标注任务上大幅提升无监督性能，还通过合成推文扩充数据集实现了该任务的最优表现。
2023-07-14 cs.CL
Multi-Source Domain Adaptation with Mixture of Experts
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个混合的专家方法，从多个来源的无监督领域自适应。关键思想是显式地捕获目标示例和不同源域之间的关系。这种关系由点到集度量表示，决定了如何组合在各个领域训练的预测器。该指标是使用元训练以无监督的方式学习的。情感分析和词性标注的实验结果表明，我们的方法始终优于多个基线，可以鲁棒地处理负迁移。
2018-10-16 cs.CL
FastPOS: Language-Agnostic Scalable POS Tagging Framework Low-Resource Use Case
Daffodil International University（达福尔国际大学）；Alliance University（联盟大学）
FastPOS提出了一种基于变换器的词性标注框架，通过少量代码实现多语言适应，显著提升低资源语言的词性标注性能。
2025-11-30 cs.CL
Domain adaptation for sequence labeling using hidden Markov models
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Université Paris-Est（巴黎东大学）；École des Ponts - ParisTech（巴黎高科桥路学院）
大多数基于机器学习的自然语言处理系统对领域转移不鲁棒。例如，一个在华尔街日报句子上训练的最先进的句法依赖分析器在测试来自Web的文本数据时，性能绝对下降了10个点以上。使这些方法对域移位更鲁棒的有效解决方案是首先使用来自两个域的大量未标记数据来学习单词表示，然后在监督学习算法中使用该表示作为特征。在本文中，我们建议使用隐马尔可夫模型来学习单词表示的词性标记。特别是，我们研究了使用来自源，目标或两个域的数据来学习表示的影响，以及使用HMM表示单词的不同方式。
2013-12-14 cs.CL cs.LG
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University（罗格斯大学）；Toutiao AI Lab（今日头条AI实验室）；Snap Research（Snap研究）
在本文中，我们提出了因子化对抗网络（FAN）解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间，该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间，分别用于源域和目标域。无监督领域自适应通过对抗训练来实现，以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明，所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外，我们收集了两个比现有基准数据集大得多的真实世界的标记数据集，并在基线上得到了显着的改进，证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Low-Resource Name Tagging Learned with Weakly Labeled Data
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
低资源语言或域中的名称标记遭受不充分的训练数据。现有的工作严重依赖于额外的信息，而留下那些在网络上广泛存在的嘈杂的注释。在本文中，我们提出了一种新的神经模型的名称标记仅基于弱标记（WL）的数据，使其可以应用于任何低资源设置。为了充分利用所有WL语句，我们将它们分为高质量和噪声部分，分别用于两个模块：（1）分类模块专注于大部分噪声数据，可以通过捕获文本上下文语义来有效和鲁棒地预训练标签分类器;以及（2）集中于高质量数据的昂贵的序列标记模块利用具有非实体采样的部分CRF来实现全局最优。两个模块通过共享参数组合。涉及五种低资源语言和细粒度食物域的广泛实验证明了我们的卓越性能（平均6%和7.8%F1增益）以及效率。
2019-08-26 cs.CL
Adaptive Self-training for Few-shot Neural Sequence Labeling
SUNY Buffalo（纽约州立大学布法罗分校）；Microsoft Research AI（微软研究院AI）；Microsoft AI（微软AI）
序列标记是自然语言处理（NLP）任务中的一项重要技术，如命名实体识别（NER）、对话系统的槽标记和语义解析。当对大量特定于任务的标记数据进行微调时，大规模预训练的语言模型在这些任务上获得了非常好的性能。然而，由于人工注释的高成本以及敏感用户应用程序的隐私和数据访问限制，这种大规模的标记数据集很难获得几个任务和领域。这对于需要在标记级进行这种注释的序列标记任务来说是加剧的。在这项工作中，我们开发了一些技术来解决神经序列标签模型的标签稀缺性挑战。具体来说，我们开发了自我训练和元学习技术，用于训练具有少量标签的神经序列标记器。虽然自我训练是从大量未标记数据中学习的有效机制，但元学习有助于自适应样本重新加权，以减轻噪声伪标签的错误传播。在六个基准数据集上进行了大量的实验，包括两个大规模多语言NER和四个面向任务的对话系统的槽标记数据集，证明了我们的方法的有效性。对于每个任务，每个类只有10个标记的示例，我们的方法比最先进的系统提高了10%，证明了其在低资源环境中的有效性。
2020-12-11 cs.AI cs.CL cs.LG
Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong University of Science and Technology（香港科技大学）
基于多语言预训练语言模型的跨语言自适应主要包括两大类：zero-shot方法和基于预训练语言模型的方法。我们进一步验证了这些跨语言适应方法的有效性，通过评估其性能更细粒度的序列标记任务。在重新审视它们的优点和缺点之后，我们提出了一个新的框架来巩固zero-shot方法和基于自适应的方法，以获得更好的自适应性能。我们不是简单地用机器翻译的数据来增加源数据，而是量身定制了一个预热机制，用一些翻译数据上估计的梯度来快速更新mPTLM。然后，将自适应方法应用于改进的参数，并以热启动方式执行跨语言迁移。在九种目标语言上的实验结果表明，该方法有利于不同序列标注任务的跨语言适应。
2021-06-22 cs.CL
Fine-grained Knowledge Fusion for Sequence Labeling Domain Adaptation
Nanjing University（南京大学）
在序列标记中，先前的领域自适应方法集中于从源域到整个目标域的自适应，而没有考虑单个目标域样本的多样性，这可能导致对某些样本的负转移结果。此外，序列标记任务的一个重要特征是，给定样本中的不同元素也可能具有不同的域相关性，这需要进一步考虑。针对多层次领域相关性差异，提出了一种细粒度的知识融合模型，该模型采用领域相关性建模方案，控制从目标领域数据学习和从源领域模型学习之间的平衡.三个序列标记任务的实验表明，我们的细粒度知识融合模型优于强基线和其他国家的最先进的序列标记领域自适应方法。
2019-09-10 cs.CL
Crisis Domain Adaptation Using Sequence-to-sequence Transformers
University College Dublin（都柏林大学学院）
社交媒体上的用户生成内容（UGC）可以作为危机情况下紧急救援人员的关键信息来源。然而，由于所涉及的数量，需要计算技术来有效地过滤和优先考虑这些内容，因为它出现在新出现的事件。在文献中，这些技术是使用以前危机中的注释内容进行训练的。在本文中，我们研究如何先验知识可以最好地利用新的危机，检查在何种程度上类似类型的危机事件更适合适应新的事件（跨领域自适应）。鉴于最近成功的变压器在各种语言处理任务，我们提出CAST：危机领域自适应利用序列到序列Transformers的方法。我们使用两个主要的危机相关的消息分类数据集来评估CAST。我们的实验表明，我们的基于CAST的最佳运行，而不使用任何目标数据实现了最先进的性能在域内和跨域的上下文中。此外，CAST在用较大的语言模型训练时，在一对一跨领域自适应中特别有效。在多对一适应多个危机共同使用的源域，CAST进一步提高了其性能。此外，我们发现，更多的相似事件更有可能带来更好的适应性能，而微调使用不同的事件并没有帮助适应。为了提高可重复性，我们向社区开放了我们的代码。
2021-10-15 cs.CL
On the Choice of Auxiliary Languages for Improved Sequence Tagging
Bosch Center for Artificial Intelligence（博世人工智能中心）；Saarland University（萨尔大学）；Saarbrücken Graduate School of Computer Science（萨尔布吕肯计算机科学研究生院）
最近的研究表明，相关语言的嵌入可以提高序列标记的性能，即使是单语模型。在这篇分析论文中，我们研究了是否可以根据语言距离预测最佳辅助语言，并表明最相关的语言并不总是最佳辅助语言。此外，我们还证明了基于注意力的元嵌入可以有效地结合来自不同语言的预训练嵌入进行序列标记，并为五种语言的词性标记设置了新的最先进的结果。
2020-05-19 cs.CL cs.LG
Rapid Adaptation of POS Tagging for Domain Specific Uses
University of Delaware（特拉华大学）；Georgetown University Medical Center（乔治城大学医学中心）
词性标注是自然语言分析、信息抽取和问答等自然语言处理的基础。当POS标记器在一个域中训练并应用于显著不同的域时，其性能可能会显着降低。我们提出了一种快速适应新领域的POS标签的方法。我们的技术是无监督的，因为新领域的手动注释语料库是不必要的。我们使用从大量原始文本中收集的后缀信息以及正字法信息来增加词汇覆盖率。我们提出了一个实验中的生物领域，我们的POS标签实现的结果相比，专门训练到这个领域的POS标签。
2014-10-31 cs.CL cs.LG stat.ML
Multi-Task Cross-Lingual Sequence Tagging from Scratch
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个用于序列标记的深度层次递归神经网络。给定一个单词序列，我们的模型在字符和单词级别上采用深度门控递归单元来编码形态和上下文信息，并应用条件随机场层来预测标签。我们的模型是任务独立的，语言独立的，和功能工程免费。通过共享架构和参数，我们进一步将模型扩展到多任务和跨语言联合训练。我们的模型在多个基准任务（包括POS标记，组块和NER）上以多种语言实现了最先进的结果。我们还证明了多任务和跨语言联合训练可以提高各种情况下的性能。
2016-08-09 cs.CL cs.LG
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
A Grounded Unsupervised Universal Part-of-Speech Tagger for Low-Resource Languages
Charles University in Prague（布拉格查理大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Southern California（南加州大学）
无监督词性标注通常被视为一个聚类问题，但实际的标注者也需要对它们的聚类进行\textit{ground}。基础通常需要引用标记的数据，这是低资源语言可能没有的奢侈。在这项工作中，我们描述了一种低资源的无监督POS标记，产生完全接地输出，不需要标记的训练数据的方法。我们发现Brown等人（1992）的经典方法在我们的用例中很好地聚类，并采用基于解密的方法来接地。这种方法假定一个簇ID序列是一个“密文”，并寻求一个POS标签到簇ID的映射，这将揭示POS序列。我们从本质上表明，尽管任务的难度，我们在各种语言中获得合理的性能。我们还表明，将我们的POS标签到一个名称标签导致国家的最先进的标记性能在僧伽罗语和基尼亚卢旺达语，两种语言几乎没有标记的POS数据。我们通过将其并入Malopa的真正“零资源”变体（Ammar等人，2016）依赖解析器模型，消除了当前对多语言资源和新语言的黄金POS标签的依赖。实验表明，包括我们的标签弥补了大部分的准确性损失时，黄金POS标签不可用。
2019-04-10 cs.AI cs.CL cs.LG
Model Compression for Domain Adaptation through Causal Effect Estimation
Faculty of Industrial Engineering and Management, Technion, IIT（以色列理工学院工业工程与管理学院）
最近自然语言处理系统的预测质量的改进通常依赖于模型参数数量的大幅增加。这导致了压缩这种模型的各种尝试，但是现有的方法没有考虑各种模型组件的预测能力或压缩模型的可推广性的差异。为了理解模型压缩和分布外泛化之间的联系，我们定义了压缩语言表示模型的任务，使得它们在领域自适应设置中表现最佳。我们选择从因果关系的角度来解决这个问题，试图估计模型组件（如单层）对模型预测的平均治疗效果（ATE）。我们提出的ATE引导的模型压缩方案（AMoC），产生许多模型候选人，不同的模型组件被删除。然后，我们通过逐步回归模型选择最佳候选者，该模型利用ATE来预测目标域上的预期性能。在三个文本分类和序列标记任务中，AMoC在数十个域对上的表现优于强基线。
2021-08-11 cs.AI cs.CL
A New Concept of Deep Reinforcement Learning based Augmented General Sequence Tagging System
Samsung Research America（三星美国研究院）
本文提出了一种新的基于深度强化学习的增强通用序列标注系统。新系统包含两个部分：基于深度神经网络（DNN）的序列标记模型和基于深度强化学习（DRL）的增强标记器。增强标记器通过对具有少数标记的数据进行建模来帮助提高系统性能。使用ATIS和CoNLL-2003基准数据集对新系统进行SLU和NLU序列标记任务的评估，以展示新系统在一般标记任务上的出色性能。通过F1评分，新系统在ATIS数据集和CoNLL-2003数据集上的性能分别比当前最先进的模型高1.9%和1.4%。
2018-12-26 cs.CL cs.LG stat.ML
A Bayesian Approach for Sequence Tagging with Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
目前的序列标记方法是NLP的核心任务，是数据饥饿的，这促使使用众包作为获得标记数据的廉价方式。然而，注释器通常是不可靠的，并且当前的聚合方法不能捕获常见类型的span注释错误。为了解决这个问题，我们提出了一个贝叶斯方法聚合序列标签，减少错误的建模顺序之间的依赖关系的注释以及地面实况标签。通过采用贝叶斯方法，我们考虑到模型中的不确定性，这是由于注释者的错误和缺少完成少量任务的建模注释者的数据。我们评估了我们的模型对众包数据的命名实体识别，信息抽取和参数挖掘，表明我们的顺序模型优于以前的最先进的状态。我们还发现，我们的方法可以通过更有效的主动学习降低众包成本，因为它更好地捕捉序列标签的不确定性时，有很少的注释。
2019-09-06 cs.CL cs.LG
Applications of BERT Based Sequence Tagging Models on Chinese Medical Text Attributes Extraction
Tsinghua-iFlytek Joint Laboratory（清华大学科大讯飞联合实验室）
我们将中文医学文本属性抽取任务转化为序列标注或机器阅读理解任务。基于BERT预训练模型，我们不仅尝试了广泛使用的LSTM-CRF序列标记模型，还尝试了其他序列模型，如CNN，UCNN，WaveNet，SelfAttention等，这些模型达到了与LSTM+CRF相似的性能。这揭示了传统的序列标记模型。由于不同序列标记模型的重点方面差异很大，因此将这些模型集成在一起会增加最终系统的多样性。通过这样做，我们的系统在中文医学文本属性提取任务（CCKS 2019任务1的子任务2）上取得了良好的性能。
2020-08-22 cs.CL
Gradual Domain Adaptation without Indexed Intermediate Domains
The Ohio State University（俄亥俄州立大学）
无监督领域自适应的有效性下降时，有一个大的差异之间的源和目标域。渐进式领域自适应（GDA）是缓解此类问题的一种有希望的方法，它利用额外的未标记数据，逐渐从源转移到目标。通过沿“索引”的中间域顺序地调整模型，GDA大大提高了整体适应性能。然而，在实践中，额外的未标记的数据可能不会被分离到中间域和索引正确，限制了GDA的适用性。在本文中，我们研究如何发现的序列时，它是不是已经可用的中间域。具体地说，我们提出了一个由粗到细的框架，它通过渐进的域搜索训练从粗域发现步骤开始。然后，该粗域序列通过新的循环一致性损失经历精细索引步骤，这鼓励下一个中间域保留当前中间域的足够的判别知识。然后可以通过GDA算法使用所得的结构域序列。在GDA的基准数据集上，我们证明了我们的方法，我们称之为中间DOmain标签（IDOL），与预定义的域序列相比，可以导致相当甚至更好的适应性能，使GDA对域序列的质量更适用和鲁棒。代码可在https://github.com/hongyouc/IDOL上获得。
2022-07-11 cs.AI cs.CV cs.LG
Influence Functions for Sequence Tagging Models
Northeastern University（东北大学）；Adobe Research（奥多比研究院）
许多语言任务（例如，命名实体识别、词性标注和语义角色标注）自然地被构造为序列标注问题。然而，序列标记模型的可解释性方法的研究相对较少。在本文中，我们将影响函数（旨在将预测追溯到通知它们的训练点）扩展到序列标记任务。我们将训练实例片段的影响定义为扰动该片段内的标签对测试片段级别预测的影响。我们提供了一个有效的近似计算这一点，并表明它跟踪与真正的细分市场的影响，经验测量。我们使用该方法来识别系统的注释错误，在两个命名实体识别语料库的实际效用段的影响。可在https://github.com/successar/Segment_Influence_Functions上获得重现我们结果的代码。
2022-10-25 cs.AI cs.CL cs.LG
An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition
Demiroren Teknoloji A.S.（德米罗伦技术公司）；Istanbul Technical University（伊斯坦布尔理工大学）；MEF University（MEF大学）
命名实体识别（NER）是一个广泛研究的任务，提取和分类命名实体的文本。NER不仅在诸如关系抽取和问答等下游语言处理应用中至关重要，而且在诸如在线数字媒体内容的实时分析等大规模大数据操作中也至关重要。土耳其语是一种形态丰富的语言，最近的研究工作证明了神经架构对格式良好的文本的有效性，并通过将任务制定为序列标记问题来产生最先进的结果。在这项工作中，我们实证研究使用最近的神经架构（双向长短期记忆和变压器为基础的网络）提出了土耳其NER标记在相同的设置。我们的研究结果表明，基于transformer的网络可以对长距离上下文进行建模，克服了BiLSTM网络的局限性，其中利用了字符，子词和单词级别的不同输入特征。我们还提出了一个基于transformer的网络，它具有一个条件随机场（CRF）层，可以在一个常见的数据集上得到最先进的结果（95.95\% f-测量）。我们的研究有助于量化迁移学习对处理形态丰富的语言的影响的文献。
2020-05-18 cs.CL cs.LG
Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology（河内科技大学）；VCCorp（VCCorp公司）
本文提出了一种用于越南语序列标注任务的神经结构，包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型，该模型是双向长短期记忆和条件随机场的组合，它依赖于关于单词的两个信息源：从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明，该方法在两个任务上都达到了最佳的性能：词性标注的准确率为93.52%，NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
Adversarial Neural Networks for Cross-lingual Sequence Tagging
University of Stuttgart（斯图加特大学）；Google AI（谷歌人工智能）
我们研究跨语言序列标记很少或没有标记的数据在目标语言。对抗性训练以前已经被证明是有效的训练跨语言句子分类器。然而，目前尚不清楚由对抗性语言机器人强制执行的语言不可知表示是否也能够有效地转移标记级预测任务。因此，我们在两个任务上进行了不同类型的对抗训练：依存句法分析和句子压缩。我们表明，与传统训练的基线相比，对抗性训练始终会提高每个任务的跨语言性能。
2018-08-14 cs.CL
An Extended Sequence Tagging Vocabulary for Grammatical Error Correction
University of Cambridge（剑桥大学）；The ALTA Institute（ALTA研究所）；Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）
我们扩展了目前的序列标记的方法，语法错误纠正（GEC）通过引入专门的标签，拼写纠正和形态变化使用的SymSpell和LemmInflect算法。我们的方法提高了泛化能力：建议的新标签集允许更少的标签来纠正更大范围的错误。我们的研究结果表明，整体和目标错误类别的性能提高。我们进一步表明，我们的新的标签集训练的合奏优于那些训练的基准标签集上的公共基准。
2023-02-12 cs.CL
Better, Faster, Stronger Sequence Tagging Constituent Parsers
Universidade da Coruña, CITIC（拉科鲁尼亚大学，CITIC）；University of Copenhagen（哥本哈根大学）
用于成分分析的序列标记模型比其他类型的分析器更快，但准确性较差。在这项工作中，我们解决了以下弱点，这样的成分解析器：（a）高出错率关闭括号长成分，（b）大标签集，导致稀疏性，和（c）错误传播所产生的贪心解码。为了有效地关闭括号，我们训练了一个学习在标记方案之间切换的模型。为了减少稀疏性，我们分解标签集，并使用多任务学习来联合学习预测子标签。最后，我们通过辅助损失和带有策略梯度的缓存级微调来缓解贪心解码的问题。结合这些技术，我们显然超过了英语和中文Penn Treebanks上的序列标记成分解析器的性能，并进一步减少了它们的解析时间。在SPMRL数据集上，我们观察到全面的更大改进，包括巴斯克语，希伯来语，波兰语和瑞典语的最新技术水平。
2019-10-14 cs.CL
Bidirectional LSTM-CRF Models for Sequence Tagging
Baidu research（百度研究院）
在本文中，我们提出了各种基于长短期记忆（LSTM）的序列标记模型。这些模型包括LSTM网络、双向LSTM（BI-LSTM）网络、带有条件随机场（CRF）层的LSTM（LSTM-CRF）和带有CRF层的双向LSTM（BI-LSTM-CRF）。我们的工作是第一个将双向LSTM CRF（表示为BI-LSTM-CRF）模型应用于NLP基准序列标记数据集。我们表明，由于双向LSTM组件，BI-LSTM-CRF模型可以有效地使用过去和未来的输入特征。它还可以使用句子级别的标签信息，这要归功于CRF层。BI-LSTM-CRF模型可以在POS，分块和NER数据集上产生最先进的（或接近）准确性。此外，它是鲁棒的，与以前的观察相比，对词嵌入的依赖性更小。
2015-08-09 cs.CL
Gated Task Interaction Framework for Multi-task Sequence Tagging
Ulster University（阿尔斯特大学）
最近的研究表明，神经模型可以在几个序列标记/标签问题上实现高性能，而无需显式使用语言特征，如词性（POS）标签。这些模型仅使用字符级和词嵌入向量作为输入来训练。其他人已经表明，语言特征可以提高神经模型在组块和命名实体识别（NER）等任务上的性能。然而，性能的变化取决于语言特征和目标任务之间的语义相关程度;在某些情况下，语言特征可能会对性能产生负面影响。本文提出了一种方法来共同学习这些语言特征，以及目标序列标记任务与一个新的多任务学习（MTL）框架称为门控任务交互（GTI）网络解决多个序列标记任务。GTI网络通过神经门模块利用多个任务之间的关系。这些门模块控制不同任务之间的信息流。在用于组块和NER的基准数据集上的实验表明，我们的框架在有和没有外部训练资源的情况下训练的性能优于其他竞争基线。
2019-09-29 cs.CL cs.LG stat.ML
Transforming Sequence Tagging Into A Seq2Seq Task
Google Research（谷歌研究院）
预训练的大型生成式语言模型（LM）在广泛的序列标记和结构化预测任务中取得了巨大成功。将序列标记任务转换为Seq 2Seq任务需要决定输入和输出序列的格式。然而，我们缺乏对这些格式相关的权衡的原则性理解（例如对模型准确性，序列长度，多语言泛化，幻觉的影响）。在本文中，我们严格研究了可以用于将输入文本句子及其输出标签转换为输入和目标的不同格式（即，Seq 2Seq模型。在此过程中，我们引入了一种新的格式，我们证明它既简单又有效。此外，新格式在多语种环境中显示出显著的收益-zero-shot迁移学习和联合培训。最后，我们发现新格式更健壮，几乎完全没有幻觉-我们发现现有格式中常见的问题。通过超过1000个实验研究14种不同的格式，超过7种不同的公共基准-包括跨越7种语言的3种多语言数据集-我们相信我们的发现为理解我们应该如何处理序列标记任务提供了强有力的经验基础。
2022-10-25 cs.CL
Unleashing the True Potential of Sequence-to-Sequence Models for Sequence Tagging and Structure Parsing
Emory University（埃默里大学）
序列到序列（S2S）模型在各种文本生成任务上取得了显着的成功。然而，使用S2S模型学习复杂结构仍然具有挑战性，因为外部神经模块和额外的词汇通常被补充以预测非文本输出。我们提出了一个系统的研究S2S建模使用包含解码的四个核心任务：词性标注，命名实体识别，选区和依存句法分析，开发有效的开发方法成本为零的额外参数。特别是，3词汇不同的线性化模式和相应的约束解码方法的设计和评估。实验表明，虽然更多的词汇化模式产生更长的输出序列，需要更重的训练，他们的序列更接近自然语言，使他们更容易学习。此外，使用我们的约束解码的S2S模型优于使用外部资源的其他S2S方法。我们最好的模型在所有4个任务中的表现都优于或接近最先进的水平，这为S2S模型生成非顺序结构带来了希望。
2023-02-05 cs.CL
Improving Sequence Tagging for Vietnamese Text Using Transformer-based Neural Models
FPT Technology Research Institute（FPT技术研究院）；FPT University（FPT大学）；Vietnam National University（越南国家大学）
本文介绍了我们的研究，使用多语言BERT嵌入和一些新的神经模型，以改善越南语的序列标记任务。我们提出了新的模型架构，并在VLSP 2016和VLSP 2018的两个命名实体识别数据集以及VLSP 2010和VLSP 2013的两个词性标注数据集上对其进行了广泛的评估。我们提出的模型优于现有的方法，并取得了新的国家的最先进的结果。特别是，我们已经将VLSP 2010语料库上的词性标注准确率提高到95.40%，VLSP 2013语料库上的准确率提高到96.77%; VLSP 2016语料库上的命名实体识别的F1得分提高到94.07%，VLSP 2018语料库上的F1得分提高到90.31%。我们的代码和预训练模型viBERT和vELECTRA作为开源发布，以促进采用和进一步研究。
2020-09-25 cs.CL
A Sequence Tagging based Framework for Few-Shot Relation Extraction
Peking University（北京大学）
关系抽取是指从输入文本中抽取关系三元组。现有的基于神经网络的逆向工程系统严重依赖于人工标记的训练数据，但仍然有很多领域没有足够的标记数据。受基于距离的Few-Shot命名实体识别方法的启发，提出了基于序列标记联合抽取方法的Few-Shot检索任务的定义，并给出了该任务的Few-Shot检索框架。此外，我们将两个实际的序列标记模型（称为Few-Shot TPLinker和Few-Shot BiTT）应用到我们的框架中，并在从公共数据集构建的两个Few-Shot RE任务上取得了可靠的结果。
2022-08-17 cs.AI cs.CL
Robust Dialogue Utterance Rewriting as Sequence Tagging
Florida State University（佛罗里达州立大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
对话改写的任务是从对话语境中复制缺失的内容，从而重构最新的对话话语。到目前为止，用于该任务的现有模型遭受鲁棒性问题，即，在不同的域上进行测试时，性能会急剧下降。我们通过提出一种新的基于序列标记的模型来解决这个鲁棒性问题，从而显著减少了搜索空间，但仍然很好地覆盖了这项任务的核心。作为大多数用于文本生成的标记模型的共同问题，模型的输出可能缺乏流畅性。为了缓解这个问题，我们在REINFORCE框架下注入来自BLEU或GPT-2的丢失信号。实验表明，我们的模型在域转移的当前国家的最先进的系统有很大的改进。
2020-12-29 cs.CL
Multi-Task Learning for Sequence Tagging: An Empirical Study
University of Southern California（南加州大学）
我们研究了三种通用的多任务学习（MTL）方法对11个序列标记任务。我们广泛的实证结果表明，在大约50%的情况下，联合学习所有11个任务提高了独立或成对学习的任务。我们还表明，成对MTL可以告诉我们什么任务可以使他人受益，或者什么任务可以受益，如果他们共同学习。特别是，我们确定了总是能使他人受益的任务，以及总是能被他人伤害的任务。有趣的是，我们的MTL方法之一产生嵌入的任务，揭示了语义和句法任务的自然聚类。我们的调查已经为在NLP中进一步利用MTL打开了大门。
2018-08-13 cs.CL
Span-based joint entity and relation extraction augmented with sequence tagging mechanism
National University of Defense Technology（国防科技大学）
基于跨度的联合抽取以文本跨度的形式同时进行命名实体识别和关系抽取。然而，由于以前的基于跨度的模型依赖于跨度级别的分类，它们不能受益于标记级别的标签信息，这已被证明有利于任务。在本文中，我们提出了一个序列标记增强的跨度为基础的网络（STSN），一个基于跨度的联合模型，可以利用令牌级的标签信息。在STSN中，我们通过深度堆叠多个注意层来构建核心神经架构，每个注意层由三个基本注意单元组成。该核心架构一方面通过序列标记机制学习标记级标签信息，并将其用于基于跨度的联合抽取;另一方面在NER和RE之间建立双向信息交互。在三个基准数据集上的实验结果表明，STSN在F1方面始终优于最强的基线，创造了新的最先进的结果。
2022-10-23 cs.CL
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；HSE University（高等经济大学）；Mobile TeleSystems (MTS)（移动电信系统公司）；Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
注释用于文本序列标记的训练数据通常非常耗时。结合主动学习的自然语言处理的迁移学习的最新进展为显着减少必要的注释预算提供了可能性。我们是第一个彻底调查这个强大的组合序列标记任务。我们对主动学习框架中深度预训练模型的各种贝叶斯不确定性估计方法和蒙特卡洛退出选项进行了广泛的实证研究，并找到了不同类型模型的最佳组合。此外，我们还证明了在主动学习过程中获取实例，可以用蒸馏版本代替全尺寸的Transformer，这会产生更好的计算性能，并减少在实践中应用深度主动学习的障碍。
2021-02-18 cs.CL
Efficient Encoders for Streaming Sequence Tagging
Google（谷歌）；Google Assistant（谷歌助手）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
用于流序列标记的现有技术的双向编码器的朴素应用将需要针对增量流输入（如转录的语音）中的每个新令牌从头开始编码每个令牌。先前计算的可重用性的缺乏导致更高数量的浮点运算（或FLOP）和更高数量的不必要的标签翻转。增加的FLOP因此导致更高的挂钟时间，并且增加的标签翻转导致更差的流传输性能。在这项工作中，我们提出了一种具有自适应重启（HEAR）的混合编码器，它可以解决这些问题，同时保持双向编码器在离线（或完整）输入上的性能，同时提高流（或不完整）输入的性能。HEAR具有混合单向-双向编码器架构以执行序列标记，以及自适应重启模块（ARM）以选择性地引导编码器的双向部分的重启。在四个序列标记任务中，HEAR在流媒体设置中的FLOP节省高达71.1%，并且在流媒体预测方面优于双向编码器，流媒体精确匹配高达+10%。
2023-03-16 cs.AI cs.CL
Integrated Sequence Tagging for Medieval Latin Using Deep Representation Learning
University of Antwerp（安特卫普大学）；Ghent University（根特大学）
本文提出一种基于分层神经网络的集成方法，同时解决中世纪拉丁语的词性标注与词形还原任务，以克服传统级联和词典依赖方法的错误扩散问题。
2017-08-03 cs.CL cs.LG stat.ML
Reporting Score Distributions Makes a Difference: Performance Study of LSTM-networks for Sequence Tagging
Technische Universität Darmstadt（达姆施塔特工业大学）；German Institute for Educational Research（德国教育研究所）
在本文中，我们表明，报告一个单一的性能评分是不够的，比较非确定性的方法。我们证明，对于常见的序列标记任务，随机数生成器的种子值可以导致最先进系统的统计学显著差异（p < 10^-4）。对于最近的两个NER系统，我们观察到一个百分点的F1分数的绝对差异取决于所选择的种子值，使这些系统被认为是最先进的或平庸的。而不是发布和报告单一的性能分数，我们建议比较基于多个执行的分数分布。基于对5个序列标记任务的50.000个LSTM网络的评估，我们提出了一种网络架构，该网络架构既具有优异的性能，又相对于其余的超参数更稳定。
2017-07-31 cs.CL stat.ML
Sentiment Tagging with Partial Labels using Modular Architectures
Purdue University（普渡大学）
许多NLP学习任务可以分解为几个不同的子任务，每个子任务与部分标签相关联。在本文中，我们专注于一类流行的学习问题，序列预测应用于几个情感分析任务，并提出了一个模块化的学习方法，其中不同的子任务学习使用单独的功能模块，结合起来执行最终的任务，同时共享信息。我们的实验表明，这种方法有助于约束学习过程，并可以减轻一些监督工作。
2019-06-04 cs.CL cs.LG
Text Simplification by Tagging
Grammarly（Grammarly公司）
基于编辑的方法最近在多个单语序列转导任务上显示出有希望的结果。与传统的序列到序列（Seq2Seq）模型相比，这些方法在并行语料库上训练时从头开始学习生成文本，这些方法已被证明更有效，因为它们能够学习进行快速准确的转换，同时利用强大的预训练语言模型。受这些想法的启发，我们提出了TST，一个简单而高效的文本简化系统，基于序列标记，利用预先训练的基于transformer的编码器。我们的系统在现有系统的训练和推理中进行了简单的数据增强和调整，这使得它不太依赖于大量并行训练数据，对输出提供了更多的控制，并实现了更快的推理速度。我们最好的模型在该任务的基准测试数据集上实现了接近最先进的性能。由于它是完全非自回归的，因此它的推理速度比当前最先进的文本简化系统快11倍以上。
2021-03-08 cs.AI cs.CL cs.LG
NoPropaganda at SemEval-2020 Task 11: A Borrowed Approach to Sequence Tagging and Text Classification
ABBYY ARD NLP（ABBYY ARD 自然语言处理部门）；Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）；MIPT ABBYY Lab（莫斯科物理技术学院 ABBYY 实验室）
本文介绍了我们对SemEval-2020任务11的贡献：检测新闻文章中的宣传技巧。我们从简单的LSTM基线开始，然后转移到自回归Transformer解码器，以预测第一个子任务的长时间连续宣传跨度。我们还采用了一种方法，从关系抽取包围跨度上述与特殊的令牌的宣传技术分类的第二子任务。相应地，我们的模型报告了这些任务的F分数为44.6%，微平均F分数为58.2%。
2020-07-25 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp（安特卫普大学）；TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务，使用弱监督的方法继续工作。我们研究了使用再训练技术的优点，该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入：（1）基于条件随机场和基于记忆的学习的判别序列标记器和（2）概率上下文无关文法归纳。实验结果表明，这种设置可以显着提高F分数，而不需要额外的信息源。此外，定性分析表明，弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP（理化学研究所先进智能项目中心）；Tohoku University（东北大学）；Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用，允许大规模多语言NLP。然而，虽然并不缺乏预训练的嵌入，但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中，我们进行了广泛的评估比较非上下文子词嵌入，即FastText和BPEmb，和上下文表示方法，即BERT，多语言命名实体识别和词性标注。我们发现，总的来说，BERT，BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点：多语言BERT在中高资源语言中表现良好，但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields
University of Bristol（布里斯托尔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们比较了不同的模型低资源多任务序列标记，利用不同任务的标签序列之间的依赖关系。我们的分析针对的是每个示例都有多个任务标签的数据集。当前的方法要么为每个任务使用单独的模型，要么使用标准的多任务学习来学习共享的特征表示。然而，这些方法忽略了标签序列之间的相关性，这可以在具有小训练数据集的设置中提供重要信息。为了分析哪些场景可以从不同任务中的标签之间的依赖关系建模中获益，我们重新审视了动态条件随机场（CRF），并将其与深度神经网络相结合。我们比较了单任务，多任务和动态CRF设置三个不同的数据集在句子和文档水平在英语和德语低资源的情况下。我们表明，将来自预训练词性标记器的银色标签作为辅助任务可以提高下游任务的性能。我们发现，特别是在低资源的情况下，任务预测之间的相互依赖关系的显式建模优于单任务以及标准的多任务模型。
2020-05-01 cs.CL
Nullpointer at ArAIEval Shared Task: Arabic Propagandist Technique Detection with Token-to-Word Mapping in Sequence Tagging
Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；Carnegie Mellon University（卡内基梅隆大学）
本文针对 ArAIEval 共享任务 1 的阿拉伯语宣传手法检测，提出基于 AraBERT v2 微调和词元到单词映射的序列标注方法，并结合体裁特征，最终在排行榜上取得第 4 名。
2024-07-01 cs.CL
Modeling Composite Labels for Neural Morphological Tagging
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
神经形态标注一直被认为是词性标注任务的扩展，它把每个形态标注看作一个整体标签，而忽略了其内部结构。我们建议将形态标签视为复合标签，并在神经序列标签中明确建模其内部结构。为此，我们探索了三种不同的神经架构，并将它们的性能与CRF和简单的神经多类基线进行了比较。我们在49种语言上评估了我们的模型，结果表明，将形态标签建模为形态类别值序列的神经架构在大多数语言的形态标记中的表现明显优于两个基线。
2018-10-20 cs.CL
Dynamic ordering in sequence generation in Transformers: experiments on low-resource Tagging scenarios
Aalborg University（奥尔堡大学）；Utrecht University（乌得勒支大学）
本文提出TagInsert模型，挑战Transformer的从左到右生成范式，在低资源标注场景的词性标注和CCG超级标注任务中，其性能优于L2R编码器-解码器模型，可缓解自回归模型的错误传播问题。
2026-10-16 cs.CL
Exploring the Statistical Derivation of Transformational Rule Sequences for Part-of-Speech Tagging
Eric Brill最近提出了一种简单而强大的基于语料库的语言建模方法，该方法可以应用于各种任务，包括词性标注和构建短语结构树。该方法学习一系列符号转换规则，然后可以将其依次应用于测试语料库以产生预测。学习过程只需要计算一组给定规则模板的匹配，允许该方法调查非常大的可能的上下文因素空间。本文分析了布里尔的方法作为一个有趣的变化，现有的决策树方法，实验的基础上，涉及英语和古希腊语料库的词性标注。特别是，分析揭示了为什么新机制似乎令人惊讶地抵抗过度训练。一个快速，增量的实现和机制，用于记录的依赖关系，所产生的规则序列。
1994-06-03 cmp-lg cs.CL
Shortcut Sequence Tagging
Institute of Automation, CAS（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
深度堆叠的RNN通常很难训练。跨不同层添加快捷连接是简化堆叠网络训练的常用方法。然而，额外的快捷方式使循环步骤更加复杂。为了简化堆栈架构，我们提出了一个称为shortcut block的框架，它是门控机制和shortcut的结合，同时丢弃了LSTM单元中的自连接部分。我们提出了广泛的实证实验表明，这种设计使训练容易，提高泛化。我们提出了各种快捷块拓扑结构和组合，以探索其有效性。基于该架构，我们获得了6%的相对改善，比国家的最先进的CCGbank超标签数据集。在词性标注任务上，我们也得到了类似的结果。
2017-01-03 cs.CL
Semi-supervised sequence tagging with bidirectional language models
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
从未标记文本中学习的预训练词嵌入已成为NLP任务的神经网络架构的标准组件。然而，在大多数情况下，对单词级表示进行操作以产生上下文敏感表示的递归网络是在相对较少的标记数据上训练的。在本文中，我们展示了一种通用的半监督方法，用于将来自双向语言模型的预训练上下文嵌入添加到NLP系统中，并将其应用于序列标记任务。我们评估我们的模型在两个标准的数据集命名实体识别（NER）和分块，并在这两种情况下实现最先进的结果，超过以前的系统，使用其他形式的转移或联合学习与额外的标记数据和任务特定的地名词典。
2017-04-29 cs.CL
Compositional Generalization via Semantic Tagging
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
尽管神经序列到序列模型已经成功地应用于语义解析，但是它们在合成泛化方面失败，即，它们不能系统地归纳出可见成分的不可见成分。出于传统的语义解析，组合性是明确占符号语法，我们提出了一个新的解码框架，保留了表达性和一般性的序列到序列模型，同时具有词典风格的路线和解开信息处理。具体来说，我们分解解码成两个阶段，其中输入的话语是第一次标记的语义符号表示的含义的个别单词，然后序列到序列模型被用来预测最终的意义表示条件的话语和预测的标签序列。在三个语义解析数据集上的实验结果表明，该方法一致地提高了跨模型架构、域和语义形式主义的组合泛化能力。
2021-09-09 cs.CL
