A Bayesian Approach for Sequence Tagging with Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
目前的序列标记方法是NLP的核心任务，是数据饥饿的，这促使使用众包作为获得标记数据的廉价方式。然而，注释器通常是不可靠的，并且当前的聚合方法不能捕获常见类型的span注释错误。为了解决这个问题，我们提出了一个贝叶斯方法聚合序列标签，减少错误的建模顺序之间的依赖关系的注释以及地面实况标签。通过采用贝叶斯方法，我们考虑到模型中的不确定性，这是由于注释者的错误和缺少完成少量任务的建模注释者的数据。我们评估了我们的模型对众包数据的命名实体识别，信息抽取和参数挖掘，表明我们的顺序模型优于以前的最先进的状态。我们还发现，我们的方法可以通过更有效的主动学习降低众包成本，因为它更好地捕捉序列标签的不确定性时，有很少的注释。
2019-09-06 cs.CL cs.LG
Finite State Transducers Approximating Hidden Markov Models
本文介绍了一个隐马尔可夫模型转换成一个连续的传感器，接近的行为的随机模型。这种变换对于词性标注特别有利，因为所得到的换能器可以与针对最频繁的标注错误编码校正规则的其他换能器组合。标记的速度也得到了提高。所描述的方法已经在六种语言上实现并成功测试。
1997-07-17 cmp-lg cs.CL
Unleashing the True Potential of Sequence-to-Sequence Models for Sequence Tagging and Structure Parsing
Emory University（埃默里大学）
序列到序列（S2S）模型在各种文本生成任务上取得了显着的成功。然而，使用S2S模型学习复杂结构仍然具有挑战性，因为外部神经模块和额外的词汇通常被补充以预测非文本输出。我们提出了一个系统的研究S2S建模使用包含解码的四个核心任务：词性标注，命名实体识别，选区和依存句法分析，开发有效的开发方法成本为零的额外参数。特别是，3词汇不同的线性化模式和相应的约束解码方法的设计和评估。实验表明，虽然更多的词汇化模式产生更长的输出序列，需要更重的训练，他们的序列更接近自然语言，使他们更容易学习。此外，使用我们的约束解码的S2S模型优于使用外部资源的其他S2S方法。我们最好的模型在所有4个任务中的表现都优于或接近最先进的水平，这为S2S模型生成非顺序结构带来了希望。
2023-02-05 cs.CL
Look-Back and Look-Ahead in the Conversion of Hidden Markov Models into Finite State Transducers
本文介绍了隐马尔可夫模型转换成有限状态传感器，密切接近的随机模型的行为。在某些情况下，换能器等效于HMM。这种转换对于词性标注特别有利，因为所得到的换能器可以与针对最频繁的标注错误编码校正规则的其他换能器组合。标记的速度也得到了提高。所描述的方法已经实施并成功测试。
1998-02-02 cmp-lg cs.CL
Character-Level Feature Extraction with Densely Connected Networks
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
在各种自然语言处理任务中，生成字符级特征是获得良好结果的重要步骤。为了减轻在生成手工制作的特征时对人力的需求，已经提出了利用诸如卷积神经网络（CNN）或递归神经网络（RNN）之类的神经架构来自动提取这样的特征的方法，并且已经显示出很好的结果。然而，CNN生成与位置无关的特征，而RNN很慢，因为它需要顺序处理字符。在本文中，我们提出了一种新的方法，使用密集连接的网络自动提取字符级的功能。所提出的方法不需要任何语言或任务特定的假设，并显示出鲁棒性和有效性，同时比基于CNN或RNN的方法更快。在三个序列标记任务-槽标记，词性（POS）标记和命名实体识别（NER）上评估该方法-我们获得了最先进的性能，在槽标记和POS标记上分别具有96.62 F1分数和97.73%的准确率，并且与NER上的最先进的91.13 F1分数相当。
2018-07-26 cs.CL
Learning Dynamic Feature Selection for Fast Sequential Prediction
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了成对的学习和推理算法，用于显着减少分类器中向量点积的计算并提高其速度，这些分类器是许多NLP组件的核心。这是通过将特征划分为一系列模板来实现的，这些模板是有序的，使得通常仅使用所有特征的一小部分就可以达到高置信度。安排参数估计以最大化该序列中的准确度和早期置信度。我们的方法比其他相关的级联方法更简单，更适合于NLP。我们目前的实验在左到右词性标注，命名实体识别，和过渡为基础的依存句法分析。在典型的基准测试数据集上，我们可以保持POS标记准确率高于97%，解析LAS高于88.5%，运行时间减少了五倍以上，NER F1高于88，速度提高了2倍以上。
2015-05-22 cs.CL cs.LG
GraphIE: A Graph-Based Framework for Information Extraction
The University of Hong Kong（香港大学）
大多数现代信息抽取（IE）系统都是作为顺序标记器实现的，并且只对局部依赖性进行建模。然而，非局部和非顺序上下文是改进预测的有价值的信息来源。在本文中，我们介绍了GraphIE，一个框架，它在一个图上运行，表示文本单元（即单词或句子）之间的广泛依赖关系。该算法通过图卷积在连接的节点之间传播信息，生成更丰富的表示，可用于改善单词级预测。对三个不同任务的评估--即文本，社交媒体和视觉信息抽取--表明GraphIE始终优于最先进的序列标记模型。
2019-04-05 cs.CL
An Empirical Exploration of Skip Connections for Sequential Tagging
Institute of Automation, CAS（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们经验性地探讨了堆叠双向LSTM中各种跳跃连接对顺序标注的影响。我们研究了三种连接到LSTM单元的跳过连接：（a）到门的跳过连接，（b）到内部状态的跳过连接和（c）到单元输出的跳过连接。我们提出了全面的实验表明，跳过连接单元输出优于其余两个。此外，我们观察到，使用门控恒等函数作为跳过映射工作得很好。基于这种新颖的跳跃连接，我们成功地训练了深度堆叠的双向LSTM模型，并获得了CCG超标记的最新结果和POS标记的可比结果。
2016-10-11 cs.CL
Incremental Construction of Minimal Acyclic Sequential Transducers from Unsorted Data
本文提出了一个有效的算法，为一个字典的输入和输出字符串的列表组成的最小的非循环顺序转换器（ST）的增量建设。该算法推广了构造最小有限状态自动机的已知方法（Daciuk等人，2000）。与Mihov和Maurel（2001）发表的算法不同，它不需要对输入字符串进行排序。新的方法说明了一个应用程序的发音字典。
2004-08-10 cs.CL cs.DS
Learning Ambiguity from Crowd Sequential Annotations
City University of Hong Kong（香港城市大学）
大多数众包学习方法将注释者之间的分歧视为嘈杂的标签，而专家之间的分歧通常是自然语言中固有的模糊性和不确定性的良好指标。在本文中，我们提出了一个框架，称为学习模糊性从人群顺序注释（LA-SCA），探讨可靠的注释者之间的相互分歧，并有效地保持混乱的标签信息。首先，一个层次贝叶斯模型的开发来推断地面真相从人群和组注释相似的可靠性在一起。通过对每个序列中注释者所参与的组的大小、注释者的可靠性和元素的无歧义性之间的关系进行建模，计算可靠注释者之间对歧义元素的不一致性，以获得标签混淆信息，该信息被并入成本敏感的序列标签。在POS标签和NER任务上的实验结果表明，我们提出的框架在从人群中推断地面真相和预测未知序列方面具有竞争力的性能，并且解释层次聚类结果有助于发现具有相似可靠性的注释者的标记模式。
2023-01-04 cs.AI cs.CL cs.HC
Composing Finite State Transducers on GPUs
University of Notre Dame（圣母大学）
加权有限状态转换器（FST）经常用于语言处理中，以处理诸如词性标注和语音识别之类的任务。先前已经有使用多个CPU核来加速有限状态算法的工作，但是对并行图形处理单元（GPU）实现的关注有限。在本文中，我们介绍了第一个（据我们所知）GPU实现的FST组合操作，我们还讨论了优化，以实现最佳性能的这种架构。我们表明，我们的方法获得的加速比高达6倍，我们的串行实现和OpenFST的4.5倍。
2018-05-16 cs.CL cs.DC
Introducing the Hidden Neural Markov Chain framework
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；IBM GSB France（IBM法国全球业务咨询服务部）；Watson Department（沃森部门）
近年来，神经网络模型在计算机视觉、语音处理等领域取得了令人瞩目的成就。对于顺序数据，特别是对于自然语言处理（NLP）任务，递归神经网络（RNN）及其扩展、长短期记忆（LSTM）网络和门控递归单元（GRU）是最常用的模型之一，具有“项到项”的顺序处理。然而，如果说许多工作都是对RNN的扩展和改进，那么很少有人专注于以“项到项”的方式开发其他使用神经网络进行顺序数据处理的方法。本文提出了原始的隐神经马尔可夫链（HNMC）框架，一个新的系列的顺序神经模型。它们不是基于RNN，而是基于隐马尔可夫模型（HMM），一种概率图形模型。这种神经扩展是可能的，这要归功于最近用于HMM恢复的熵向前向后算法。我们提出了三种不同的模型：经典的HNMC，HNMC 2，和HNMC-CN。在描述了我们模型的整体结构之后，我们将它们与经典的RNN和双向RNN（BiRNN）模型进行了一些序列标记任务的比较：组块，词性标注和命名实体识别。对于每个实验，无论使用什么架构或嵌入方法，我们提出的模型之一都具有最佳结果。它显示了这种新的神经序列框架的潜力，它可以为新模型开辟道路，并最终可能与流行的BiLSTM和BiGRU竞争。
2021-02-17 cs.CL cs.LG
Parallel Composition of Weighted Finite-State Transducers
Facebook AI Reseearch（Facebook人工智能研究）；Zoom AI（Zoom人工智能团队（注：Zoom AI可能为公司或团队，此处按原文提取））
在语音识别中经常使用稳态转换器（FST）。转换器组合是以不同粒度组合不同信息源的基本操作。然而，合成也是计算成本更高的操作之一。由于FST的异构结构，用于组合的并行算法在效率、通用性或两者上都是次优的。我们提出了一个算法，并行合成，并实现它的图形处理单元。我们基准我们的并行算法上的随机图的组成和语音识别中常用的图的组成。并行组合随着输入图的大小而更好地缩放，并且对于大型图，可以比顺序CPU算法快10到30倍。
2021-10-06 cs.CL
Four-in-One: A Joint Approach to Inverse Text Normalization, Punctuation, Capitalization, and Disfluency for Automatic Speech Recognition
Microsoft Corporation（微软公司）
实体的标点、大写和格式等特征对于可读性、理解和自然语言处理任务都很重要。然而，自动语音识别（ASR）系统产生没有格式化的口语形式的文本，并且用于格式化的标记方法一次仅处理一个或两个特征。在本文中，我们统一口语到书面语的文本转换通过两个阶段的过程：首先，我们使用一个单一的Transformer标记模型，共同产生令牌级的标签，反向文本规范化（ITN），标点符号，大写，和不流利。然后，我们应用标签来生成书面形式的文本，并使用加权有限状态转换器（WFST）语法来格式化标记的ITN实体跨度。尽管将四个模型合并为一个，但我们的统一标记方法在多个领域的基准测试集上匹配或优于所有四个任务的特定任务模型。
2022-10-26 cs.CL
Audio Tagging With Connectionist Temporal Classification Model Using Sequential Labelled Data
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）
音频标记旨在预测音频片段中的一个或多个标签。许多以前的作品使用弱标记数据（WLD）进行音频标记，其中只有声音事件的存在或不存在是已知的，但声音事件的顺序是未知的。为了使用声音事件的顺序信息，我们提出了顺序标记数据（SLD），其中声音事件的存在或不存在以及顺序信息都是已知的。为了在音频标记中利用SLD，我们提出了一个卷积递归神经网络，然后是连接主义时间分类（CRNN-CTC）目标函数，以从音频片段频谱图映射到SLD。实验表明，CRNN-CTC在音频标记中获得了0.986的曲线下面积（AUC）分数，分别优于最大池化和平均池化的0.908和0.815的基线CRNN。此外，我们展示了CRNN-CTC具有预测音频片段中声音事件的顺序的能力。
2018-08-06 cs.CL cs.SD eess.AS
Incomplete Utterance Rewriting as Sequential Greedy Tagging
SF Technology Co., Ltd.（顺丰科技有限公司）
针对不完整话语重写中上下文信息提取困难的问题，提出融合说话人感知嵌入的序列贪心标注模型，在九项恢复指标上取得最优结果，并提升推理速度。
2023-07-08 cs.CL cs.LG
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asian（微软亚洲研究院）；Educational Testing Service Research（美国教育考试服务中心研究院）
双向长短期记忆循环神经网络（BLSTM-RNN）已被证明是非常有效的标记序列数据，例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段，已经得到了广泛的应用。在这项研究中，我们提出了使用BLSTM-RNN与词嵌入的词性（POS）标注任务。在Penn Treebank WSJ测试集上进行测试时，达到了97.40的标记准确率。在不使用形态特征的情况下，该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
Levée d'ambiguïtés par grammaires locales
Institut Gaspard-Monge, Université de Marne-la-Vallée（加斯帕德-蒙日研究所，马恩拉瓦尔大学）
针对词性消歧的零沉默率目标，提出适配INTEX系统的局部语法消歧方法，指出需考虑转换器路径交互及多转换器组合影响，强调需详细规范语法作用以保障准确性。
2025-10-28 cs.CL
Efficient Sequence Labeling with Actor-Critic Training
University of Alberta（阿尔伯塔大学）；Google（谷歌）
序列标记的神经方法通常使用条件随机场（CRF）来建模其输出依赖关系，而递归神经网络（RNN）用于其他任务中的相同目的。我们着手建立RNN作为CRF的一个有吸引力的替代品，用于序列标记。为此，我们解决了RNN最突出的缺点之一，即它在最大似然训练中不会暴露于自己的错误。我们将输出序列的预测框定为一个顺序决策过程，其中我们使用调整的演员-评论家算法（AC-RNN）训练网络。我们全面比较了这种策略与RNN和CRF在三个结构化输出任务上的最大似然训练。所提出的AC-RNN有效地匹配了CRF在NER和CCG标记上的性能，并且在机器音译上优于CRF。我们还表明，我们的训练策略明显优于解决RNN暴露偏差的其他技术，例如计划采样和自我批评策略训练。
2018-09-30 cs.AI cs.CL cs.LG
Position-Aware Self-Attention based Neural Sequence Labeling
School of Computer Science and Technology, Huazhong University of Science and Technology (HUST)（华中科技大学计算机科学与技术学院）；School of Computer, Beijing Institute of Technology（北京理工大学计算机学院）；School of Computer, Central China Normal University（华中师范大学计算机学院）；School of Electronic Information and Communications, Huazhong University of Science and Technology (HUST)（华中科技大学电子信息与通信学院）
序列标注是自然语言处理中的一项基本任务，已得到广泛的研究。最近，基于RNN的序列标记模型越来越受到关注。尽管通过学习长短期（即，连续）依赖性，顺序处理输入的方式可能限制捕获句子内的标记上的非连续关系的能力。为了解决这个问题，我们专注于如何有效地建模连续和离散的依赖关系，每个令牌，以提高序列标记的性能。具体来说，我们提出了一个创新的基于注意力的模型（称为位置感知的自我注意力，即，PSA）以及神经网络架构内的精心设计的自注意上下文融合层，以探索输入序列的位置信息，用于捕获令牌之间的潜在关系。对序列标记领域的三个经典任务进行了广泛的实验，词性标注、命名实体识别和短语组块等实验结果表明，在没有任何外部知识的情况下，我们提出的模型在各种度量方面都优于现有技术。
2021-10-16 cs.CL cs.LG
Free as in Free Word Order: An Energy Based Model for Word Segmentation and Morphological Tagging in Sanskrit
IIT Kharagpur（印度理工学院克勒格布尔分校）；Flipkart（Flipkart公司）；University of Waterloo（滑铁卢大学）；American Express India Pvt Ltd（美国运通印度私人有限公司）；Chinmaya Vishwavidyapeeth（钦玛雅大学）
在自由词序语言（如梵语）的句子中，构形信息的使用是有限的。因此，即使对于诸如分词之类的基本处理任务，整个句子的上下文也将是期望的。我们提出了一个结构化的预测框架，共同解决了分词和形态标记的梵文任务。我们建立了一个基于能量的模型，其中我们采用了基于图的解析技术中通常采用的方法（McDonald等人，2005 a; Carreras，2007）。我们的模型以96.92的F分数（7.06%的百分比提高）优于最先进的技术，同时使用不到十分之一的特定于任务的训练数据。我们发现，使用基于图的方法，而不是传统的基于网格的顺序标记方法，导致分割任务的F分数的百分比增益为12.6%。
2018-10-25 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida（JSS诺伊达技术教育学院）
印地语是一种高度屈折的语言，基于FST（有限状态转换器）的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST（斯图加特有限状态传感器）工具生成FST。创建了一个词根词典。然后添加规则，用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练，然后使用Stanford POS tagger的MAXENT（最大熵）方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度，并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification
University of Aberdeen（阿伯丁大学）；University of Sheffield（谢菲尔德大学）
我们处理的问题，确定文本中的隐喻，作为一个序列标记任务。预训练的词嵌入GloVe，ELMo和BERT分别在顺序隐喻识别上表现出良好的性能。这些嵌入由不同的模型、训练目标和语料库生成，从而编码不同的语义和句法信息。我们表明，利用基于多通道CNN和双向LSTM模型的GloVe、ELMo和基于特征的BERT可以显着优于任何单个词嵌入方法以及两种嵌入的组合。将语言特征引入我们的模型可以进一步提高模型性能，在三个公共隐喻数据集上产生最先进的性能。我们还提供了利用多个词嵌入的有效性的深入分析，包括分析不同的嵌入方法的隐喻和文字的空间分布，并显示如何以及嵌入互补在不同的体裁和词性。
2021-04-07 cs.CL
Hidden Markov Chains, Entropic Forward-Backward, and Part-Of-Speech Tagging
IBM GBS France, Watson Department（IBM法国全球业务服务部沃森部门）；Institut Polytechnique de Paris, Telecom Sudparis, SAMOVAR（巴黎综合理工学院、南巴黎电信学院、SAMOVAR实验室）
在自然语言处理（NLP）问题中，考虑观察的特征（也称为特征）的能力是必不可少的。隐马尔可夫链（HMC）模型与经典的前向-后向概率相关联，不能处理任意大小的前缀或后缀等任意特征，除非具有独立性条件。20年来，这一预设鼓励了其他序列模型的发展，从最大熵马尔可夫模型（MEMM）开始，它优雅地整合了任意特征。更普遍的是，它导致了对NLP的HMC的忽视。在本文中，我们表明，这个问题是不是由于HMC本身，但其恢复算法的计算方式。我们提出了一种新的方法来计算HMC的基础上的简化使用原来的熵向前和熵向后（EFB）的概率。我们的方法允许考虑HMC框架中的功能，以相同的方式在MEMM框架。我们说明了HMC使用EFB在词性标注中的效率，显示了其优于基于MEMM的恢复。作为一个角度，我们还指定了带有EFB的HMC如何作为递归神经网络的替代方案，以深度架构处理序列数据。
2020-05-21 cs.CL cs.LG stat.ML
GROOT: Corrective Reward Optimization for Generative Sequential Labeling
Google Research（谷歌研究院）
顺序标记是一项基本的NLP任务，构成了许多应用程序的支柱。Seq 2Seq模型的监督学习在这些问题上取得了巨大的成功。然而，培训目标仍然与我们在实践中关心的指标和需求严重脱节。例如，实际的序列标记应用可能想要针对（前k个预测的）某个精确度-召回率权衡进行优化，这与最大化黄金标记序列的可能性的标准目标非常不同。因此，为了弥合这一差距，我们提出了GROOT -一个简单而有效的框架生成奖励优化文本序列。GROOT的工作原理是训练一个生成的顺序标记模型，以匹配解码器输出分布与（黑盒）奖励函数的分布。使用迭代训练机制，我们首先生成预测候选项，然后纠正其中的错误，最后对比这些候选项（基于它们的奖励值）。通过对四个公共基准的广泛实验表明，GROOT显著提高了所有奖励指标。此外，GROOT导致整体解码器分布的改进，如由顶部$k$候选的质量增益所证明的。
2022-12-21 cs.CL
Multidimensional Transformation-Based Learning
本文提出了一种新的方法，允许一个机器学习算法的转换为基础的学习范式\cite{brill95:tagging}被应用到多个分类任务的训练联合和同时在所有领域。构建这样一个系统的动机源于这样一种观察，即自然语言处理中的许多任务自然地由需要同时解决的多个子任务组成;通常孤立学习的任务也可能受益于在联合框架中学习，因为额外任务的信号通常构成归纳偏差。该算法在两个实验中进行了评估：在一个，该系统被用来联合预测的词性和文本块/baseNP块的英语语料库;在第二，它被用来学习的联合预测的词段边界和词性标注的中文。结果表明，多任务同时学习确实实现了在每个任务训练相同的任务顺序的改善。96.63%的词性标注结果对于特定训练/测试分割上的各个系统来说是最先进的。
2001-07-17 cs.CL
Training for Fast Sequential Prediction Using Dynamic Feature Selection
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们提出了配对学习和推理算法，用于显着减少计算和提高分类器中向量点积的速度，这些分类器是许多NLP组件的核心。这是通过将特征划分为一系列模板来实现的，这些模板是有序的，使得通常仅使用所有特征的一小部分就可以达到高置信度。安排参数估计以最大化该序列中的准确度和早期置信度。我们在WSJ上进行了从左到右的词性标注实验，结果表明，我们可以保持97%以上的准确率，运行时间减少了五倍以上。
2014-12-19 cs.AI cs.CL
Sequence-Based Extractive Summarisation for Scientific Articles
Elsevier Ltd（爱思唯尔有限公司）
本文介绍了科学文章的监督提取文本摘要的研究结果。我们表明，一个简单的顺序标记模型的基础上，只有在一个文档中的文本实现了高的结果对一个简单的分类模型。可以通过额外的高级功能来实现改进，尽管这些功能是最小的。通过进一步的分析，我们展示了依赖于文档结构的顺序模型的潜力，该文档结构取决于文档来自的学科。
2022-04-07 cs.CL cs.IR
Modeling sequential annotations for sequence labeling with crowds
City University of Hong Kong（香港城市大学）
群体顺序注释可以是构建用于序列标记的大型数据集的有效且具有成本效益的方式。与标记独立实例不同，对于群体顺序注释，标签序列的质量依赖于注释者在捕获序列中每个标记的内部依赖性方面的专业知识水平。在本文中，我们提出了建模序列标注与人群（SA-SLC）。首先，开发了一个条件概率模型来联合建模顺序数据和注释者的专业知识，其中分类分布被引入到估计的可靠性，每个注释器捕获本地和非本地标签依赖顺序注释。为了加快边缘化的模型，有效的标签序列推理（VLSE）的方法，提出了从人群顺序标注获得有效的地面实况标签序列。VLSE从令牌级导出可能的地面实况标签，并在标签序列解码的前向推理中进一步修剪子路径。VLSE减少了候选标签序列的数量，并提高了可能的地面实况标签序列的质量。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
Bi-directional LSTM Recurrent Neural Network for Chinese Word Segmentation
Shanghai Jiaotong University（上海交通大学）
循环神经网络（RNN）已广泛应用于自然语言处理（NLP）问题。这种神经网络是为序列数据建模而设计的，并已被证明在序列标记任务中是非常有效的。在本文中，我们提出使用具有长短期记忆（LSTM）单元的双向RNN进行中文分词，这是对中文句子和文章建模的关键预处理任务。经典方法侧重于从上下文设计和组合手工特征，而双向LSTM网络（BLSTM）不需要任何先验知识或预先设计，并且擅长保持两个方向的上下文信息。实验结果表明，该方法在中文繁体和简体数据集上的分词性能都达到了最佳水平。
2016-02-16 cs.CL cs.LG
