Bidirectional LSTM-CRF Models for Sequence Tagging
Baidu research（百度研究院）
在本文中，我们提出了各种基于长短期记忆（LSTM）的序列标记模型。这些模型包括LSTM网络、双向LSTM（BI-LSTM）网络、带有条件随机场（CRF）层的LSTM（LSTM-CRF）和带有CRF层的双向LSTM（BI-LSTM-CRF）。我们的工作是第一个将双向LSTM CRF（表示为BI-LSTM-CRF）模型应用于NLP基准序列标记数据集。我们表明，由于双向LSTM组件，BI-LSTM-CRF模型可以有效地使用过去和未来的输入特征。它还可以使用句子级别的标签信息，这要归功于CRF层。BI-LSTM-CRF模型可以在POS，分块和NER数据集上产生最先进的（或接近）准确性。此外，它是鲁棒的，与以前的观察相比，对词嵌入的依赖性更小。
2015-08-09 cs.CL
Transforming Sequence Tagging Into A Seq2Seq Task
Google Research（谷歌研究院）
预训练的大型生成式语言模型（LM）在广泛的序列标记和结构化预测任务中取得了巨大成功。将序列标记任务转换为Seq 2Seq任务需要决定输入和输出序列的格式。然而，我们缺乏对这些格式相关的权衡的原则性理解（例如对模型准确性，序列长度，多语言泛化，幻觉的影响）。在本文中，我们严格研究了可以用于将输入文本句子及其输出标签转换为输入和目标的不同格式（即，Seq 2Seq模型。在此过程中，我们引入了一种新的格式，我们证明它既简单又有效。此外，新格式在多语种环境中显示出显著的收益-zero-shot迁移学习和联合培训。最后，我们发现新格式更健壮，几乎完全没有幻觉-我们发现现有格式中常见的问题。通过超过1000个实验研究14种不同的格式，超过7种不同的公共基准-包括跨越7种语言的3种多语言数据集-我们相信我们的发现为理解我们应该如何处理序列标记任务提供了强有力的经验基础。
2022-10-25 cs.CL
Unleashing the True Potential of Sequence-to-Sequence Models for Sequence Tagging and Structure Parsing
Emory University（埃默里大学）
序列到序列（S2S）模型在各种文本生成任务上取得了显着的成功。然而，使用S2S模型学习复杂结构仍然具有挑战性，因为外部神经模块和额外的词汇通常被补充以预测非文本输出。我们提出了一个系统的研究S2S建模使用包含解码的四个核心任务：词性标注，命名实体识别，选区和依存句法分析，开发有效的开发方法成本为零的额外参数。特别是，3词汇不同的线性化模式和相应的约束解码方法的设计和评估。实验表明，虽然更多的词汇化模式产生更长的输出序列，需要更重的训练，他们的序列更接近自然语言，使他们更容易学习。此外，使用我们的约束解码的S2S模型优于使用外部资源的其他S2S方法。我们最好的模型在所有4个任务中的表现都优于或接近最先进的水平，这为S2S模型生成非顺序结构带来了希望。
2023-02-05 cs.CL
Improving Sequence Tagging for Vietnamese Text Using Transformer-based Neural Models
FPT Technology Research Institute（FPT技术研究院）；FPT University（FPT大学）；Vietnam National University（越南国家大学）
本文介绍了我们的研究，使用多语言BERT嵌入和一些新的神经模型，以改善越南语的序列标记任务。我们提出了新的模型架构，并在VLSP 2016和VLSP 2018的两个命名实体识别数据集以及VLSP 2010和VLSP 2013的两个词性标注数据集上对其进行了广泛的评估。我们提出的模型优于现有的方法，并取得了新的国家的最先进的结果。特别是，我们已经将VLSP 2010语料库上的词性标注准确率提高到95.40%，VLSP 2013语料库上的准确率提高到96.77%; VLSP 2016语料库上的命名实体识别的F1得分提高到94.07%，VLSP 2018语料库上的F1得分提高到90.31%。我们的代码和预训练模型viBERT和vELECTRA作为开源发布，以促进采用和进一步研究。
2020-09-25 cs.CL
Robust Dialogue Utterance Rewriting as Sequence Tagging
Florida State University（佛罗里达州立大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
对话改写的任务是从对话语境中复制缺失的内容，从而重构最新的对话话语。到目前为止，用于该任务的现有模型遭受鲁棒性问题，即，在不同的域上进行测试时，性能会急剧下降。我们通过提出一种新的基于序列标记的模型来解决这个鲁棒性问题，从而显著减少了搜索空间，但仍然很好地覆盖了这项任务的核心。作为大多数用于文本生成的标记模型的共同问题，模型的输出可能缺乏流畅性。为了缓解这个问题，我们在REINFORCE框架下注入来自BLEU或GPT-2的丢失信号。实验表明，我们的模型在域转移的当前国家的最先进的系统有很大的改进。
2020-12-29 cs.CL
Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong University of Science and Technology（香港科技大学）
基于多语言预训练语言模型的跨语言自适应主要包括两大类：zero-shot方法和基于预训练语言模型的方法。我们进一步验证了这些跨语言适应方法的有效性，通过评估其性能更细粒度的序列标记任务。在重新审视它们的优点和缺点之后，我们提出了一个新的框架来巩固zero-shot方法和基于自适应的方法，以获得更好的自适应性能。我们不是简单地用机器翻译的数据来增加源数据，而是量身定制了一个预热机制，用一些翻译数据上估计的梯度来快速更新mPTLM。然后，将自适应方法应用于改进的参数，并以热启动方式执行跨语言迁移。在九种目标语言上的实验结果表明，该方法有利于不同序列标注任务的跨语言适应。
2021-06-22 cs.CL
Span-based joint entity and relation extraction augmented with sequence tagging mechanism
National University of Defense Technology（国防科技大学）
基于跨度的联合抽取以文本跨度的形式同时进行命名实体识别和关系抽取。然而，由于以前的基于跨度的模型依赖于跨度级别的分类，它们不能受益于标记级别的标签信息，这已被证明有利于任务。在本文中，我们提出了一个序列标记增强的跨度为基础的网络（STSN），一个基于跨度的联合模型，可以利用令牌级的标签信息。在STSN中，我们通过深度堆叠多个注意层来构建核心神经架构，每个注意层由三个基本注意单元组成。该核心架构一方面通过序列标记机制学习标记级标签信息，并将其用于基于跨度的联合抽取;另一方面在NER和RE之间建立双向信息交互。在三个基准数据集上的实验结果表明，STSN在F1方面始终优于最强的基线，创造了新的最先进的结果。
2022-10-23 cs.CL
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；HSE University（高等经济大学）；Mobile TeleSystems (MTS)（移动电信系统公司）；Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
注释用于文本序列标记的训练数据通常非常耗时。结合主动学习的自然语言处理的迁移学习的最新进展为显着减少必要的注释预算提供了可能性。我们是第一个彻底调查这个强大的组合序列标记任务。我们对主动学习框架中深度预训练模型的各种贝叶斯不确定性估计方法和蒙特卡洛退出选项进行了广泛的实证研究，并找到了不同类型模型的最佳组合。此外，我们还证明了在主动学习过程中获取实例，可以用蒸馏版本代替全尺寸的Transformer，这会产生更好的计算性能，并减少在实践中应用深度主动学习的障碍。
2021-02-18 cs.CL
NoPropaganda at SemEval-2020 Task 11: A Borrowed Approach to Sequence Tagging and Text Classification
ABBYY ARD NLP（ABBYY ARD 自然语言处理部门）；Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）；MIPT ABBYY Lab（莫斯科物理技术学院 ABBYY 实验室）
本文介绍了我们对SemEval-2020任务11的贡献：检测新闻文章中的宣传技巧。我们从简单的LSTM基线开始，然后转移到自回归Transformer解码器，以预测第一个子任务的长时间连续宣传跨度。我们还采用了一种方法，从关系抽取包围跨度上述与特殊的令牌的宣传技术分类的第二子任务。相应地，我们的模型报告了这些任务的F分数为44.6%，微平均F分数为58.2%。
2020-07-25 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp（安特卫普大学）；TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务，使用弱监督的方法继续工作。我们研究了使用再训练技术的优点，该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入：（1）基于条件随机场和基于记忆的学习的判别序列标记器和（2）概率上下文无关文法归纳。实验结果表明，这种设置可以显着提高F分数，而不需要额外的信息源。此外，定性分析表明，弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP（理化学研究所先进智能项目中心）；Tohoku University（东北大学）；Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用，允许大规模多语言NLP。然而，虽然并不缺乏预训练的嵌入，但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中，我们进行了广泛的评估比较非上下文子词嵌入，即FastText和BPEmb，和上下文表示方法，即BERT，多语言命名实体识别和词性标注。我们发现，总的来说，BERT，BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点：多语言BERT在中高资源语言中表现良好，但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields
University of Bristol（布里斯托尔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们比较了不同的模型低资源多任务序列标记，利用不同任务的标签序列之间的依赖关系。我们的分析针对的是每个示例都有多个任务标签的数据集。当前的方法要么为每个任务使用单独的模型，要么使用标准的多任务学习来学习共享的特征表示。然而，这些方法忽略了标签序列之间的相关性，这可以在具有小训练数据集的设置中提供重要信息。为了分析哪些场景可以从不同任务中的标签之间的依赖关系建模中获益，我们重新审视了动态条件随机场（CRF），并将其与深度神经网络相结合。我们比较了单任务，多任务和动态CRF设置三个不同的数据集在句子和文档水平在英语和德语低资源的情况下。我们表明，将来自预训练词性标记器的银色标签作为辅助任务可以提高下游任务的性能。我们发现，特别是在低资源的情况下，任务预测之间的相互依赖关系的显式建模优于单任务以及标准的多任务模型。
2020-05-01 cs.CL
On the Choice of Auxiliary Languages for Improved Sequence Tagging
Bosch Center for Artificial Intelligence（博世人工智能中心）；Saarland University（萨尔大学）；Saarbrücken Graduate School of Computer Science（萨尔布吕肯计算机科学研究生院）
最近的研究表明，相关语言的嵌入可以提高序列标记的性能，即使是单语模型。在这篇分析论文中，我们研究了是否可以根据语言距离预测最佳辅助语言，并表明最相关的语言并不总是最佳辅助语言。此外，我们还证明了基于注意力的元嵌入可以有效地结合来自不同语言的预训练嵌入进行序列标记，并为五种语言的词性标记设置了新的最先进的结果。
2020-05-19 cs.CL cs.LG
Nullpointer at ArAIEval Shared Task: Arabic Propagandist Technique Detection with Token-to-Word Mapping in Sequence Tagging
Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；Carnegie Mellon University（卡内基梅隆大学）
本文针对 ArAIEval 共享任务 1 的阿拉伯语宣传手法检测，提出基于 AraBERT v2 微调和词元到单词映射的序列标注方法，并结合体裁特征，最终在排行榜上取得第 4 名。
2024-07-01 cs.CL
Modeling Composite Labels for Neural Morphological Tagging
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
神经形态标注一直被认为是词性标注任务的扩展，它把每个形态标注看作一个整体标签，而忽略了其内部结构。我们建议将形态标签视为复合标签，并在神经序列标签中明确建模其内部结构。为此，我们探索了三种不同的神经架构，并将它们的性能与CRF和简单的神经多类基线进行了比较。我们在49种语言上评估了我们的模型，结果表明，将形态标签建模为形态类别值序列的神经架构在大多数语言的形态标记中的表现明显优于两个基线。
2018-10-20 cs.CL
Dynamic ordering in sequence generation in Transformers: experiments on low-resource Tagging scenarios
Aalborg University（奥尔堡大学）；Utrecht University（乌得勒支大学）
本文提出TagInsert模型，挑战Transformer的从左到右生成范式，在低资源标注场景的词性标注和CCG超级标注任务中，其性能优于L2R编码器-解码器模型，可缓解自回归模型的错误传播问题。
2026-10-16 cs.CL
Shortcut Sequence Tagging
Institute of Automation, CAS（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
深度堆叠的RNN通常很难训练。跨不同层添加快捷连接是简化堆叠网络训练的常用方法。然而，额外的快捷方式使循环步骤更加复杂。为了简化堆栈架构，我们提出了一个称为shortcut block的框架，它是门控机制和shortcut的结合，同时丢弃了LSTM单元中的自连接部分。我们提出了广泛的实证实验表明，这种设计使训练容易，提高泛化。我们提出了各种快捷块拓扑结构和组合，以探索其有效性。基于该架构，我们获得了6%的相对改善，比国家的最先进的CCGbank超标签数据集。在词性标注任务上，我们也得到了类似的结果。
2017-01-03 cs.CL
Semi-supervised sequence tagging with bidirectional language models
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
从未标记文本中学习的预训练词嵌入已成为NLP任务的神经网络架构的标准组件。然而，在大多数情况下，对单词级表示进行操作以产生上下文敏感表示的递归网络是在相对较少的标记数据上训练的。在本文中，我们展示了一种通用的半监督方法，用于将来自双向语言模型的预训练上下文嵌入添加到NLP系统中，并将其应用于序列标记任务。我们评估我们的模型在两个标准的数据集命名实体识别（NER）和分块，并在这两种情况下实现最先进的结果，超过以前的系统，使用其他形式的转移或联合学习与额外的标记数据和任务特定的地名词典。
2017-04-29 cs.CL
Compositional Generalization via Semantic Tagging
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
尽管神经序列到序列模型已经成功地应用于语义解析，但是它们在合成泛化方面失败，即，它们不能系统地归纳出可见成分的不可见成分。出于传统的语义解析，组合性是明确占符号语法，我们提出了一个新的解码框架，保留了表达性和一般性的序列到序列模型，同时具有词典风格的路线和解开信息处理。具体来说，我们分解解码成两个阶段，其中输入的话语是第一次标记的语义符号表示的含义的个别单词，然后序列到序列模型被用来预测最终的意义表示条件的话语和预测的标签序列。在三个语义解析数据集上的实验结果表明，该方法一致地提高了跨模型架构、域和语义形式主义的组合泛化能力。
2021-09-09 cs.CL
To BERT or Not to BERT: Comparing Task-specific and Task-agnostic Semi-Supervised Approaches for Sequence Tagging
Columbia University（哥伦比亚大学）；Amazon AI（亚马逊人工智能）
使用类似于transformer的架构（如BERT）利用大量未标记的数据，由于其在学习一般表示方面的有效性，近年来越来越受欢迎，然后可以为下游任务进一步微调，以取得更大的成功。然而，从经济和环境的角度来看，训练这些模型可能是昂贵的。在这项工作中，我们研究如何有效地使用未标记的数据：通过探索特定于任务的半监督方法，交叉视图训练（CVT），并将其与任务不可知的BERT在多个设置，包括领域和任务相关的英语数据进行比较。CVT使用一个更轻的模型架构，我们表明，它实现了类似的性能BERT的一组序列标记任务，具有较小的财政和环境影响。
2020-10-27 cs.CL
GNN-SL: Sequence Labeling Based on Nearest Examples via GNN
Peking University（北京大学）；JQ Investments（JQ投资公司）；Nanyang Technological University（南洋理工大学）；Sony AI（索尼AI）；Amazon（亚马逊）
为了更好地处理序列标记（SL）任务中的长尾情况，在这项工作中，我们引入了图神经网络序列标记（GNN-SL），它通过从整个训练集中检索到的相似标记示例来增强香草SL模型输出。由于并非所有检索到的标注示例都有利于模型预测，因此我们构建了一个异构图，并利用图神经网络（GNNs）在检索到的标注示例和输入单词序列之间传递信息。增强节点聚合来自邻居的信息来进行预测。该策略使模型能够直接获取相似的标记示例，并提高了预测的总体质量。我们在三个典型的序列标记任务上进行了各种实验：命名实体识别（NER），词性标注（POS）和中文分词（CWS），以显示我们的GNN-SL的显着性能。值得注意的是，GNN-SL在PKU上实现了96.9（+0.2）的SOTA结果，在CITYU上实现了98.3（+0.4），在MSR上实现了98.5（+0.2），在AS上实现了96.9（+0.2）的CWS任务，并且结果与NER数据集和POS数据集上的SOTA性能相当。
2022-12-12 cs.CL
Towards JointUD: Part-of-speech Tagging and Lemmatization using Recurrent Neural Networks
YerevaNN；Yerevan State University（埃里温国立大学）
本文描述了我们提交给CoNLL 2018 UD共享任务的内容。我们已经扩展了基于LSTM的神经网络设计的序列标记，以额外生成字符级序列。该网络被联合训练以产生词元、词性标签和形态特征。句子分割、标记化和依存句法分析由UDPipe1.2基线处理。结果表明，所提出的多任务架构的可行性，虽然它的性能仍然远远没有达到最先进的水平。
2018-09-10 cs.CL
Multi-Task Cross-Lingual Sequence Tagging from Scratch
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个用于序列标记的深度层次递归神经网络。给定一个单词序列，我们的模型在字符和单词级别上采用深度门控递归单元来编码形态和上下文信息，并应用条件随机场层来预测标签。我们的模型是任务独立的，语言独立的，和功能工程免费。通过共享架构和参数，我们进一步将模型扩展到多任务和跨语言联合训练。我们的模型在多个基准任务（包括POS标记，组块和NER）上以多种语言实现了最先进的结果。我们还证明了多任务和跨语言联合训练可以提高各种情况下的性能。
2016-08-09 cs.CL cs.LG
Establishing Strong Baselines for the New Decade: Sequence Tagging, Syntactic and Semantic Parsing with BERT
Emory University（埃默里大学）
本文提出了三个任务，词性标注，句法分析和语义解析，使用最先进的上下文嵌入框架称为BERT的新的国家的最先进的模型。对于每个任务，我们首先复制和简化当前最先进的方法，以提高其模型效率。然后，我们使用BERT生成的令牌嵌入来评估我们在这三个任务上的简化方法。实验使用了12个中英文数据集。BERT模型的表现比之前表现最好的模型平均高出2.5%（最显著的情况为7.5%）。此外，深入分析的影响，BERT嵌入提供了使用自我注意，这有助于理解在这个丰富的，但表示。所有模型和源代码都是公开的，以便研究人员可以改进和利用它们来建立未来十年的强大基线。
2020-05-23 cs.CL
A New Concept of Deep Reinforcement Learning based Augmented General Sequence Tagging System
Samsung Research America（三星美国研究院）
本文提出了一种新的基于深度强化学习的增强通用序列标注系统。新系统包含两个部分：基于深度神经网络（DNN）的序列标记模型和基于深度强化学习（DRL）的增强标记器。增强标记器通过对具有少数标记的数据进行建模来帮助提高系统性能。使用ATIS和CoNLL-2003基准数据集对新系统进行SLU和NLU序列标记任务的评估，以展示新系统在一般标记任务上的出色性能。通过F1评分，新系统在ATIS数据集和CoNLL-2003数据集上的性能分别比当前最先进的模型高1.9%和1.4%。
2018-12-26 cs.CL cs.LG stat.ML
A Sequence Tagging based Framework for Few-Shot Relation Extraction
Peking University（北京大学）
关系抽取是指从输入文本中抽取关系三元组。现有的基于神经网络的逆向工程系统严重依赖于人工标记的训练数据，但仍然有很多领域没有足够的标记数据。受基于距离的Few-Shot命名实体识别方法的启发，提出了基于序列标记联合抽取方法的Few-Shot检索任务的定义，并给出了该任务的Few-Shot检索框架。此外，我们将两个实际的序列标记模型（称为Few-Shot TPLinker和Few-Shot BiTT）应用到我们的框架中，并在从公共数据集构建的两个Few-Shot RE任务上取得了可靠的结果。
2022-08-17 cs.AI cs.CL
Efficient Encoders for Streaming Sequence Tagging
Google（谷歌）；Google Assistant（谷歌助手）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
用于流序列标记的现有技术的双向编码器的朴素应用将需要针对增量流输入（如转录的语音）中的每个新令牌从头开始编码每个令牌。先前计算的可重用性的缺乏导致更高数量的浮点运算（或FLOP）和更高数量的不必要的标签翻转。增加的FLOP因此导致更高的挂钟时间，并且增加的标签翻转导致更差的流传输性能。在这项工作中，我们提出了一种具有自适应重启（HEAR）的混合编码器，它可以解决这些问题，同时保持双向编码器在离线（或完整）输入上的性能，同时提高流（或不完整）输入的性能。HEAR具有混合单向-双向编码器架构以执行序列标记，以及自适应重启模块（ARM）以选择性地引导编码器的双向部分的重启。在四个序列标记任务中，HEAR在流媒体设置中的FLOP节省高达71.1%，并且在流媒体预测方面优于双向编码器，流媒体精确匹配高达+10%。
2023-03-16 cs.AI cs.CL
MaskParse@Deskin at SemEval-2019 Task 1: Cross-lingual UCCA Semantic Parsing using Recursive Masked Sequence Tagging
Orange Labs（奥兰治实验室）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统科学实验室）
本文描述了我们的SemEval-2019 \textit{ Task 1: Cross-lingual Semantic Parsing with UCCA}递归系统。每个递归步骤由两部分组成。我们首先执行语义解析使用序列标签估计的概率的UCCA类别的句子。然后，我们应用解码策略来解释这些概率并构建图节点。解析是递归进行的，我们对句子进行第一次推理以提取主要场景和链接，然后使用反映先前步骤中所做决定的掩蔽功能递归地将模型应用于句子。过程继续，直到到达终端节点。我们选择了一个标准的神经标记器，我们专注于我们的递归解析策略和跨语言迁移问题，开发一个强大的模型，为法语，只使用很少的训练样本。
2019-10-07 cs.CL
Reporting Score Distributions Makes a Difference: Performance Study of LSTM-networks for Sequence Tagging
Technische Universität Darmstadt（达姆施塔特工业大学）；German Institute for Educational Research（德国教育研究所）
在本文中，我们表明，报告一个单一的性能评分是不够的，比较非确定性的方法。我们证明，对于常见的序列标记任务，随机数生成器的种子值可以导致最先进系统的统计学显著差异（p < 10^-4）。对于最近的两个NER系统，我们观察到一个百分点的F1分数的绝对差异取决于所选择的种子值，使这些系统被认为是最先进的或平庸的。而不是发布和报告单一的性能分数，我们建议比较基于多个执行的分数分布。基于对5个序列标记任务的50.000个LSTM网络的评估，我们提出了一种网络架构，该网络架构既具有优异的性能，又相对于其余的超参数更稳定。
2017-07-31 cs.CL stat.ML
A fast and sound tagging method for discontinuous named-entity recognition
INSA Rennes（雷恩国立应用科学学院）；IRISA（雷恩信息与自动化研究所）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Rennes（雷恩大学）
提出基于显式描述不连续提及内部结构的标注方案，利用加权有限状态自动机确保预测标签序列良构及与提及明确映射，在生物医学数据集上达到先进水平且模型更简单更快。
2024-09-24 cs.CL
Influence Functions for Sequence Tagging Models
Northeastern University（东北大学）；Adobe Research（奥多比研究院）
许多语言任务（例如，命名实体识别、词性标注和语义角色标注）自然地被构造为序列标注问题。然而，序列标记模型的可解释性方法的研究相对较少。在本文中，我们将影响函数（旨在将预测追溯到通知它们的训练点）扩展到序列标记任务。我们将训练实例片段的影响定义为扰动该片段内的标签对测试片段级别预测的影响。我们提供了一个有效的近似计算这一点，并表明它跟踪与真正的细分市场的影响，经验测量。我们使用该方法来识别系统的注释错误，在两个命名实体识别语料库的实际效用段的影响。可在https://github.com/successar/Segment_Influence_Functions上获得重现我们结果的代码。
2022-10-25 cs.AI cs.CL cs.LG
Sequence tagging for biomedical extractive question answering
Korea University（高丽大学）；AstraZeneca UK（阿斯利康英国分公司）；AstraZeneca SE（阿斯利康瑞典分公司）；AIGEN Sciences Inc.（AIGEN科学公司）
目前的研究提取问答（EQA）建模的单跨度提取设置，其中一个单一的答案跨度是一个标签来预测一个给定的问题-通道对。这种设置对于一般领域的EQA来说是很自然的，因为一般领域中的大多数问题都可以用一个跨度来回答。继一般领域EQA模型之后，当前的生物医学EQA（BioEQA）模型利用带有后处理步骤的单跨度提取设置。在这篇文章中，我们调查了一般和生物医学领域的问题分布，发现生物医学问题更可能需要列表型答案（多个答案）而不是事实型答案（单个答案）。这就需要模型能够为一个问题产生多个答案。基于这一初步研究，我们提出了一个序列标记方法的BioEQA，这是一个多跨度的提取设置。我们的方法直接处理问题的数量可变的短语作为他们的答案，并可以学习决定一个问题的答案数量从训练数据。我们在BioASQ 7 b和8b列表型问题上的实验结果优于现有的最佳模型，而无需后处理步骤。源代码和资源可在https://github.com/dmis-lab/SeqTagQA免费下载
2022-07-07 cs.CL
Exploring the Statistical Derivation of Transformational Rule Sequences for Part-of-Speech Tagging
Eric Brill最近提出了一种简单而强大的基于语料库的语言建模方法，该方法可以应用于各种任务，包括词性标注和构建短语结构树。该方法学习一系列符号转换规则，然后可以将其依次应用于测试语料库以产生预测。学习过程只需要计算一组给定规则模板的匹配，允许该方法调查非常大的可能的上下文因素空间。本文分析了布里尔的方法作为一个有趣的变化，现有的决策树方法，实验的基础上，涉及英语和古希腊语料库的词性标注。特别是，分析揭示了为什么新机制似乎令人惊讶地抵抗过度训练。一个快速，增量的实现和机制，用于记录的依赖关系，所产生的规则序列。
1994-06-03 cmp-lg cs.CL
Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks
Carnegie Mellon University（卡内基梅隆大学）
最近的论文表明，神经网络在几个不同的序列标记任务上获得了最先进的性能。这种系统的一个吸引人的特性是它们的通用性，因为可以通过统一的架构实现出色的性能，而无需特定于任务的特征工程。然而，目前还不清楚这种系统是否可以用于没有大量训练数据的任务。在本文中，我们探讨了神经序列标记器的迁移学习问题，其中具有丰富注释的源任务（例如，Penn Treebank上的POS标记）用于提高具有更少可用注释的目标任务的性能（例如，微博的POS标签）。我们研究了迁移学习对跨领域、应用程序和语言的深层递归网络的影响，并表明通常可以获得显着的改进。这些改进导致在几个充分研究的任务上的当前最先进的改进。
2017-03-18 cs.CL cs.LG
Multi-task Domain Adaptation for Sequence Tagging
Johns Hopkins University（约翰斯·霍普金斯大学）
许多领域自适应方法依赖于学习跨领域共享表示，以将在一个领域中学习到的知识转移到其他领域。传统的领域自适应只考虑适应一个任务。在本文中，我们探讨了多任务表示学习下的领域自适应的情况。我们提出了一个神经网络框架，支持领域自适应多个任务同时进行，并学习共享表示，更好地概括领域自适应。我们将所提出的框架应用于序列标记问题的领域自适应，考虑两个任务：中文分词和命名实体识别。实验结果表明，对于每个任务，多任务领域自适应都比不相交的领域自适应更有效，并且在社交媒体领域，两种任务都达到了最佳效果。
2017-05-30 cs.CL cs.LG
Felix: Flexible Text Editing Through Tagging and Insertion
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
我们提出了Felix -一种灵活的文本编辑生成方法，旨在从双向上下文解码和自我监督预训练的想法中获得最大利益。与传统的序列到序列（seq 2seq）模型相比，Felix在低资源设置中是高效的，并且在推理时间上是快速的，同时能够对灵活的输入输出转换进行建模。我们通过将文本编辑任务分解为两个子任务来实现这一点：标记以决定输入标记的子集及其在输出文本中的顺序，插入以填充输入中不存在的输出中缺少的标记。标记模型采用了一种新的指针机制，而插入模型是基于一个掩蔽的语言模型。这两个模型都被选择为非自回归，以保证更快的推理。与最近的文本编辑方法和强大的seq 2seq基线相比，Felix在四个NLG任务上表现良好：句子融合，机器翻译自动后期编辑，摘要和文本简化。
2020-03-24 cs.CL
A Bayesian Approach for Sequence Tagging with Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
目前的序列标记方法是NLP的核心任务，是数据饥饿的，这促使使用众包作为获得标记数据的廉价方式。然而，注释器通常是不可靠的，并且当前的聚合方法不能捕获常见类型的span注释错误。为了解决这个问题，我们提出了一个贝叶斯方法聚合序列标签，减少错误的建模顺序之间的依赖关系的注释以及地面实况标签。通过采用贝叶斯方法，我们考虑到模型中的不确定性，这是由于注释者的错误和缺少完成少量任务的建模注释者的数据。我们评估了我们的模型对众包数据的命名实体识别，信息抽取和参数挖掘，表明我们的顺序模型优于以前的最先进的状态。我们还发现，我们的方法可以通过更有效的主动学习降低众包成本，因为它更好地捕捉序列标签的不确定性时，有很少的注释。
2019-09-06 cs.CL cs.LG
Multi-head Sequence Tagging Model for Grammatical Error Correction
University of Technology and Applied Sciences（科技与应用科学大学）；National University of Defense Technology（国防科技大学）；CVTE Research（视源股份研究院）；Dalian University of Technology（大连理工大学）
本文提出多头多任务序列标注模型，将语法纠错分解为插入、删除、合并、替换、转换、检测和纠正七个子任务，并结合去噪自编码器预训练与字符级转换，在多个基准上显著超越现有方法。
2024-10-21 cs.CL
Sparse Coding of Neural Word Embeddings for Multilingual Sequence Labeling
University of Szeged（塞格德大学）
在本文中，我们提出并仔细评估了一个序列标签框架，它只利用稀疏的指示器功能来自密集的分布式字表示。所提出的模型获得（近）国家的最先进的性能，为各种语言的词性标注和命名实体识别。我们的模型仅依赖于几千个稀疏编码衍生的特征，而不对用于不同任务的单词表示进行任何修改。该模型具有良好的泛化性能，当在总可用训练数据的1.2%，即~每种语言150句。
2016-12-21 cs.CL
Gated Task Interaction Framework for Multi-task Sequence Tagging
Ulster University（阿尔斯特大学）
最近的研究表明，神经模型可以在几个序列标记/标签问题上实现高性能，而无需显式使用语言特征，如词性（POS）标签。这些模型仅使用字符级和词嵌入向量作为输入来训练。其他人已经表明，语言特征可以提高神经模型在组块和命名实体识别（NER）等任务上的性能。然而，性能的变化取决于语言特征和目标任务之间的语义相关程度;在某些情况下，语言特征可能会对性能产生负面影响。本文提出了一种方法来共同学习这些语言特征，以及目标序列标记任务与一个新的多任务学习（MTL）框架称为门控任务交互（GTI）网络解决多个序列标记任务。GTI网络通过神经门模块利用多个任务之间的关系。这些门模块控制不同任务之间的信息流。在用于组块和NER的基准数据集上的实验表明，我们的框架在有和没有外部训练资源的情况下训练的性能优于其他竞争基线。
2019-09-29 cs.CL cs.LG stat.ML
Part-of-Speech Tagging with Two Sequential Transducers
我们提出了一种方法，构建和使用级联组成的左和右顺序有限状态传感器（FST），T1和T2，部分的语音（POS）消歧。与HMM相比，这种FST级联具有显著更高的处理速度的优点，但代价是精度略低。像信息检索这样的应用程序，速度可能比准确性更重要，可以从这种方法中受益。在标注过程中，我们首先为每个词分配一个唯一的歧义类c_i，该歧义类可以在由顺序FST编码的词典中查找。每个c_i都由一个符号表示，例如[ADJ_NOUN]，尽管它表示一组给定单词可以出现的替代标记。一个句子中所有单词的c_i序列是我们FST级联的输入。它由T1从左到右映射到一系列简化的模糊度类r_i。每个r_i由单个符号表示，尽管它表示一组可选标记。直观地，T1从c_i中消除了不太可能的标签，从而创建了r_i。最后，T2将r_i的序列从右到左映射到单个POS标签的序列t_i。直观地，T2从每个r_i中选择最可能的t_i。所有t_i、r_i和c_i的概率仅在编译时使用，而不在运行时间使用。它们并不（直接）出现在FST中，而是“隐含地包含”在它们的结构中。
2001-10-11 cs.CL
An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition
Demiroren Teknoloji A.S.（德米罗伦技术公司）；Istanbul Technical University（伊斯坦布尔理工大学）；MEF University（MEF大学）
命名实体识别（NER）是一个广泛研究的任务，提取和分类命名实体的文本。NER不仅在诸如关系抽取和问答等下游语言处理应用中至关重要，而且在诸如在线数字媒体内容的实时分析等大规模大数据操作中也至关重要。土耳其语是一种形态丰富的语言，最近的研究工作证明了神经架构对格式良好的文本的有效性，并通过将任务制定为序列标记问题来产生最先进的结果。在这项工作中，我们实证研究使用最近的神经架构（双向长短期记忆和变压器为基础的网络）提出了土耳其NER标记在相同的设置。我们的研究结果表明，基于transformer的网络可以对长距离上下文进行建模，克服了BiLSTM网络的局限性，其中利用了字符，子词和单词级别的不同输入特征。我们还提出了一个基于transformer的网络，它具有一个条件随机场（CRF）层，可以在一个常见的数据集上得到最先进的结果（95.95\% f-测量）。我们的研究有助于量化迁移学习对处理形态丰富的语言的影响的文献。
2020-05-18 cs.CL cs.LG
BoschAI @ Causal News Corpus 2023: Robust Cause-Effect Span Extraction using Multi-Layer Sequence Tagging and Data Augmentation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Augsburg（奥格斯堡大学）
本文提出基于预训练 transformers、堆叠序列标注与合成数据增强的因果关系抽取系统，在 Causal News Corpus 2023 子任务 1 中获第三、子任务 2 中以 F1 72.8 夺冠。
2023-12-11 cs.AI cs.CL
Joint Lemmatization and Morphological Tagging with LEMMING
University of Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出 LEMMING 模块化对数线性模型，联合词形还原与标注，无需形态词典，在六种语言上达到最优，捷克语错误率降低 60%，并证明联合建模互有益处。
2024-05-28 cs.CL
GEDIT: Geographic-Enhanced and Dependency-Guided Tagging for Joint POI and Accessibility Extraction at Baidu Maps
Baidu Inc.（百度公司）；Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology（哈尔滨工业大学社会计算与信息检索研究中心）
提供兴趣点（POI）的及时可访问性提醒在提高用户查找地点和做出访问决策的满意度方面起着至关重要的作用。然而，由于业务变化的动态性质，很难使POI数据库与真实世界的对应物保持同步。为了缓解这个问题，我们制定并提出了一个切实可行的解决方案，共同提取POI提到，并确定其耦合的无障碍标签从非结构化文本。我们将此任务视为序列标记问题，目标是从非结构化文本中生成<POI名称，可访问性标签>对。这个任务是具有挑战性的，因为有两个主要问题：（1）POI名称通常是新创造的单词，以便成功地注册新的实体或品牌，以及（2）文本中可能存在多个对，这需要处理一对多或多对一的映射，以使每个POI与其可访问性标签相耦合。为此，我们提出了一个地理增强和依赖性引导的序列标记（GEDIT）模型，同时解决这两个挑战。首先，为了缓解挑战1，我们开发了一个地理增强的预训练模型来学习文本表示。其次，为了减轻挑战#2，我们应用关系图卷积网络来从解析的依赖树学习树节点表示。最后，我们构建了一个神经序列标记模型，通过集成和馈送先前预先学习的表示到CRF层。在真实数据集上进行的大量实验证明了GEDIT的优越性和有效性。此外，它已经部署在百度地图的生产中。统计数据表明，在处理相同数量的文档时，该解决方案可以节省大量的人力和劳动力成本，是一种实用的POI可访问性维护方法。
2021-08-20 cs.CL
Part-of-Speech Tagging of Odia Language Using statistical and Deep Learning-Based Approaches
NIT Rourkela（鲁尔克拉国家技术学院）
自动词性标注是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER）、语音处理、信息抽取、词义消歧和机器翻译。它在英语和欧洲语言中已经取得了可喜的成果，但在印度语言中，特别是在Odia语言中，由于缺乏支持工具，资源和语言形态的丰富性，它还没有得到很好的探索。不幸的是，我们无法为Odia找到一个开源的POS标记器，并且只有少数尝试为Odia语言开发POS标记器。这项研究工作的主要贡献是提出了一种条件随机场（CRF）和基于深度学习的方法（CNN和双向长短期记忆）来开发Odia词性标注器。我们使用了一个可公开访问的语料库，数据集使用印度标准局（BIS）标记集进行注释。然而，全球大多数语言都使用带有通用重复性（UD）标记集的数据集。因此，为了保持一致性，Odia数据集应该使用相同的tagset。因此我们构造了一个从BIS标签集到UD标签集的简单映射。我们实验了不同的特征集输入到CRF模型中，观察了构造的特征集的影响。基于深度学习的模型包括Bi-LSTM网络、CNN网络、CRF层、字符序列信息和预训练的词向量。利用卷积神经网络（CNN）和Bi-LSTM网络提取字符序列信息。六种不同的组合的神经序列标签模型的实施，并研究其性能指标。据观察，具有字符序列特征和预训练词向量的Bi-LSTM模型取得了显着的最先进的结果。
2022-07-07 cs.CL
A Tree Search Algorithm for Sequence Labeling
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）
在本文中，我们提出了一种新的强化学习为基础的序列标记模型，简称为MM-Tag。受AlphaGo Zero的成功和方法的启发，MM-Tag使用蒙特卡罗树搜索（MCTS）增强马尔可夫决策过程（MDP）模型将序列标记问题形式化，其中时间步长对应于单词在句子中从左到右的位置，每个动作对应于为单词分配标签。两个长短期记忆网络（LSTM）用于总结过去的标签分配和句子中的单词。基于LSTM的输出，产生用于指导标记分配的策略和用于预测整个句子的整体标记准确度的值。然后，使用MCTS来加强策略和值，MCTS将产生的原始策略和值作为输入，模拟和评估后续位置处可能的标签分配，并输出用于分配标签的更好的搜索策略。提出了一种强化学习算法对模型参数进行训练。我们的工作是第一个应用MCTS增强MDP模型的序列标记任务。我们表明，MM-Tag可以准确地预测标签感谢MCTS引入的探索性决策机制。基于组块基准的实验结果表明，MM-Tag的性能优于最先进的序列标记基线，包括CRF和带有LSTM的CRF。
2018-05-18 cs.CL cs.IR
Neural POS Tagging for the Low-Resource Saraiki
University of Rome Tor Vergata（罗马第二大学）；University of Calabria（卡拉布里亚大学）；Griffith University（格里菲斯大学）；University of Mianwali（米亚瓦利大学）；Lahore Garrison University（拉合尔加里森大学）；Minhaj University（明哈吉大学）
本文针对低资源语言 Saraiki 构建了17类词性标注数据集，评估了XLM-RoBERTa base等三个预训练Transformer编码器，发现XLM-RoBERTa base表现最优，相关成果为Saraiki NLP研究提供了基准。
2026-10-15 cs.CL
Integrated Sequence Tagging for Medieval Latin Using Deep Representation Learning
University of Antwerp（安特卫普大学）；Ghent University（根特大学）
本文提出一种基于分层神经网络的集成方法，同时解决中世纪拉丁语的词性标注与词形还原任务，以克服传统级联和词典依赖方法的错误扩散问题。
2017-08-03 cs.CL cs.LG stat.ML
Text Simplification by Tagging
Grammarly（Grammarly公司）
基于编辑的方法最近在多个单语序列转导任务上显示出有希望的结果。与传统的序列到序列（Seq2Seq）模型相比，这些方法在并行语料库上训练时从头开始学习生成文本，这些方法已被证明更有效，因为它们能够学习进行快速准确的转换，同时利用强大的预训练语言模型。受这些想法的启发，我们提出了TST，一个简单而高效的文本简化系统，基于序列标记，利用预先训练的基于transformer的编码器。我们的系统在现有系统的训练和推理中进行了简单的数据增强和调整，这使得它不太依赖于大量并行训练数据，对输出提供了更多的控制，并实现了更快的推理速度。我们最好的模型在该任务的基准测试数据集上实现了接近最先进的性能。由于它是完全非自回归的，因此它的推理速度比当前最先进的文本简化系统快11倍以上。
2021-03-08 cs.AI cs.CL cs.LG
FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm
School of Management, University of Science and Technology of China（中国科学技术大学管理学院）
金融命名实体识别（FinNER）是金融文本信息抽取领域的一个具有挑战性的课题，其目的是从非结构化的金融文本中抽取大量的金融知识。使用序列标记框架来实现FinNER任务被广泛接受。然而，这样的序列标注模型不能充分利用文本中的语义信息。相反，我们制定了FinNER任务作为一个机器阅读理解（MRC）的问题，并提出了一个新的模型称为FinBERT-MRC。该算法利用精心设计的查询引入重要的先验信息，提取目标实体的起始索引和结束索引，无需条件随机场（CRF）等解码模块。我们在公开的中国金融数据集ChFinAnn和真实的商业数据集AdminPunish上进行了实验。FinBERT-MRC模型在两个数据集上的平均F1得分分别为92.78%和96.80%，与BiLSTM-CRF，BERT-Tagger和BERT-CRF等序列标记模型相比，平均F1增益分别为+3.94%和+0.89%。源代码可在www.example.com上获得。
2022-05-31 cs.CL
Ensembling and Knowledge Distilling of Large Sequence Taggers for Grammatical Error Correction
Ukrainian Catholic University（乌克兰天主教大学）；Grammarly
在本文中，我们研究了GEC序列标记架构的改进，重点是在大型配置中集成最新的基于Transformer的编码器。我们鼓励在跨度级别的编辑上通过多数投票来集成模型，因为这种方法对模型架构和词汇表大小是宽容的。我们的最佳集成在2019年（测试）上获得了新的SOTA结果，$F_{0.5}$得分为76.05，即使没有在合成数据集上进行预训练。此外，我们使用经过训练的集成来执行知识蒸馏，以生成新的合成训练数据集“Troy-Blogs”和“Troy-1BW”。我们在生成的Troy数据集上预训练的最佳单序列标记模型与公开可用的合成PIE数据集相结合，实现了接近SOTA（据我们所知，我们最好的单模型仅让位于更重的T5模型结果，$F_{0.5}$在2019年测试中的得分为73.21）。代码、数据集和训练模型是公开的）。
2022-03-24 cs.CL
R2T: Rule-Encoded Loss Functions for Sequence Tagging in Low-Resource Languages
Rochester Institute of Technology（罗切斯特技术学院）；RobotsMali（Mali机器人）
本文提出R2T框架，通过将语言规则编码进自适应损失函数，使模型在低资源序列标注中仅用未标注文本即可达到98.2%准确率，并作为预训练步骤提升NER性能。
2026-09-29 cs.CL cs.LG
Improving part-of-speech tagging via multi-task learning and character-level word representations
ABBYY（ABBYY公司）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在本文中，我们探讨了如何提高POS标记使用各种类型的辅助损失和不同的词表示。作为基线，我们使用了BiLSTM标签器，它能够在序列标签任务上实现最先进的结果。提出了一种基于前向神经网络的字符级词表示方法。这种表示在模型的速度和性能方面给了我们更好的结果。我们还应用了一种新的技术，用现有的词向量来预训练这种词表示。最后，我们为序列标签任务设计了一种新的辅助损失变体：对相邻标签的额外预测。这种损失迫使模型学习标签序列中的依赖关系，并加速训练过程。我们测试这些方法对英语和俄语。
2018-07-02 cs.AI cs.CL cs.LG
