Does Higher Order LSTM Have Better Accuracy for Segmenting and Labeling Sequence Data?
Peking University（北京大学）
现有的神经模型通常独立于相邻标签来预测当前标记的标签。流行的LSTM-CRF模型考虑了每两个连续标签之间的标签依赖性。然而，现有的神经模型很难考虑标签的更长距离依赖性。可扩展性主要受到模型结构复杂和训练过程中动态规划代价的限制。在我们的工作中，我们首先设计了一个称为“高阶LSTM”的新模型来预测当前标记的多个标记，该标记不仅包含当前标记，还包含之前的几个标记。我们将一个预测中的标签数量称为“order”。然后，我们提出了一种新的方法称为多阶BiLSTM（MO-BiLSTM），它结合了低阶和高阶LSTM在一起。MO-BiLSTM通过剪枝技术保持了高阶模型的可扩展性。我们在所有短语组块和NER数据集上评估了MO-BiLSTM。实验结果表明，MO-BiLSTM在两个NER数据集上实现了最先进的组块和高度竞争的结果。
2018-06-13 cs.CL
Optimal Hyperparameters for Deep LSTM-Networks for Sequence Labeling Tasks
Technische Universität Darmstadt（达姆施塔特工业大学）；German Institute for Educational Research（德国教育研究所）
为神经网络体系结构选择最佳参数通常可以在平庸和最先进的性能之间产生差异。然而，几乎没有公布应该评估或选择哪些参数和设计选择，使得正确的超参数优化通常是“需要专家经验的黑魔法”（Snoek等人，2012年）。在本文中，我们评估了不同的网络设计选择和超参数的重要性，五个常见的语言序列标记任务（POS，组块，NER，实体识别和事件检测）。我们评估了超过50，000种不同的设置，发现一些参数，如预训练的词嵌入或网络的最后一层，对性能有很大的影响，而其他参数，例如LSTM层的数量或循环单元的数量，则不太重要。我们给出了一个在不同任务中表现良好的配置建议。
2017-08-16 cs.CL
Experiment Segmentation in Scientific Discourse as Clause-level Structured Prediction using Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Elsevier Research Data Services（爱思唯尔研究数据服务）
我们提出了一个深度学习模型，用于识别科学文献中实验叙述的结构。我们采取序列标签的方法来解决这个问题，并在实验叙述中标记子句来识别实验的不同部分。我们的数据集由取自开放获取PubMed论文的段落组成，这些论文标记有修辞信息，这是我们的试点注释的结果。我们的模型是一个带有长短期记忆（LSTM）单元的递归神经网络（RNN），这些单元标记了子句。通过使用涉及单独RNN的新颖注意力机制组合单词表示来计算子句表示。我们将此模型与LSTM进行比较，其中输入层具有简单或没有注意力以及功能丰富的CRF模型。此外，我们描述了我们的工作可能是有用的信息抽取从科学文献。
2017-02-17 cs.CL
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
Carnegie Mellon University（卡内基梅隆大学）
最先进的序列标记系统传统上需要大量的任务特定的知识，以手工制作的特征和数据预处理的形式。在本文中，我们介绍了一种新的神经网络架构，通过使用双向LSTM，CNN和CRF的组合，自动受益于单词和字符级别的表示。我们的系统是真正的端到端，不需要特征工程或数据预处理，因此使其适用于广泛的序列标记任务。我们评估我们的系统在两个数据集上的两个序列标记任务- Penn Treebank WSJ语料库的词性（POS）标记和CoNLL 2003语料库的命名实体识别（NER）。我们在这两个数据上都获得了最先进的性能-
2016-05-29 cs.CL cs.LG stat.ML
Neural Network Models for Implicit Discourse Relation Classification in English and Chinese without Surface Features
Yelp（Yelp公司）；University of Saarland（萨尔大学）；Brandeis University（布兰迪斯大学）
从自然语言文本中推断隐含的语篇关系是语篇分析中最困难的子任务。表面特征取得了良好的性能，但它们不容易适用于其他语言没有语义词典。以前的神经模型需要解析、表面特征或小标签集才能正常工作。在这里，我们提出了神经网络模型，是基于前馈和长短期记忆架构没有任何表面特征。令我们惊讶的是，尽管进行了彻底的调整，但在大多数情况下，我们最佳配置的前馈架构的性能仍优于基于LSTM的模型。在各种细粒度的标签集和跨语言设置下，我们的前馈模型的性能始终更好，或者至少与需要手工制作的表面特征的系统一样好。我们的模型提出了第一个神经汉语语篇分析器在风格的汉语语篇树库，表明我们的结果持有跨语言。
2016-06-07 cs.CL
Sentiment analysis based on rhetorical structure theory: Learning deep neural networks from discourse trees
ETH Zurich（苏黎世联邦理工学院）
情感分析的突出应用数不胜数，涵盖市场营销、客户服务和沟通等领域。传统的词袋方法测量情绪只计算术语频率，然而，它忽略了在话语中的术语的位置。作为一种补救措施，我们开发了一个话语意识的方法，建立在文档的话语结构。为此，我们利用修辞结构理论来标记（子）子句，根据他们的层次关系，然后分配极性得分到单个叶子。为了从由此产生的修辞结构中学习，我们提出了一个基于张量的树结构深度神经网络（名为Discourse-LSTM），以处理完整的话语树。潜在的张量推断出叙事材料的显著段落。此外，我们提出了两个算法的数据增强（节点重新排序和人工叶插入），增加我们的训练集，减少过拟合。我们的基准测试证明了我们方法的卓越性能。此外，我们的张量结构揭示了显着的文本段落，从而提供了解释性的见解。
2018-10-04 cs.CL
Jointly Trained Sequential Labeling and Classification by Sparse Attention Neural Networks
Oregon State University（俄勒冈州立大学）；IBM（国际商业机器公司）
句级分类和序列标注是语言理解的两项基本任务。虽然这两个任务通常是单独建模的，但实际上，它们通常是相关的，例如在意图分类和槽填充中，或者在主题分类和命名实体识别中。为了利用它们之间的相关性带来的潜在好处，我们提出了一个联合训练的模型，用于通过长短期记忆（LSTM）网络同时学习这两个任务。该模型从LSTM的逐步输出隐藏表示中预测词级类别和词级标签序列。我们还引入了一种新的机制，“稀疏注意力”，以不同的加权词的语义相关性的基础上，以分级分类。该方法在ATIS和TREC数据集上的性能优于基线模型。
2017-09-28 cs.CL
Tag-Enhanced Tree-Structured Neural Networks for Implicit Discourse Relation Classification
Key Laboratory of Computational Linguistics, Peking University, MOE, China（北京大学计算语言学重点实验室（教育部））；Collaborative Innovation Center for Language Ability, Xuzhou, Jiangsu, China（语言能力协同创新中心（江苏徐州））；Peking University（北京大学）
识别文本跨度之间的隐含话语关系是一项具有挑战性的任务，因为它需要理解文本的含义。为了解决这个问题，最近的研究尝试了几种深度学习方法，但很少有人利用句法信息。在这项工作中，我们探讨的想法，将句法分析树到神经网络。具体来说，我们采用基于树结构的Tree-LSTM模型和Tree-GRU模型来编码关系中的参数。此外，我们进一步利用组成标签来控制这些树结构神经网络的语义组合过程。实验结果表明，我们的方法达到了国家的最先进的性能PDTB语料库。
2018-03-03 cs.CL
How compatible are our discourse annotations? Insights from mapping RST-DT and PDTB annotations
Saarland University（萨尔兰大学）；Simon Fraser University（西蒙弗雷泽大学）
语篇标注语料库是语篇社区的重要资源，但它们通常是根据不同的框架进行标注的。这使得注释的比较变得困难，从而也阻止了研究人员以统一的方式搜索语料库，或者联合使用所有注释的数据来训练计算系统。最近已经提出了几个理论建议，用于将不同框架的关系标签映射到彼此，但是这些建议到目前为止还没有针对现有的注释进行验证。两个最大的话语关系注释资源，宾州话语树库和修辞结构理论话语树库，然而，已经在同一文本上注释，允许注释层的直接比较。我们提出了一种自动对齐的话语段的方法，然后评估现有的映射建议，通过比较经验观察对建议的映射。我们的分析突出了分割对后续话语关系标记的影响，并表明，虽然框架之间的协议是合理的显性关系，协议的隐性关系是低的。我们确定了两个注释方案之间的系统差异的几个来源，并讨论了这些差异的后果，为未来的注释和自动话语关系标注的培训。
2018-03-15 cs.CL
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关，我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络（GCN），最近的一类神经网络操作的图形，适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器，产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的：当我们堆叠GCN和LSTM层时，我们获得了比现有最先进的LSTM SRL模型更大的改进，从而在标准基准测试（CoNLL-2009）中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
NCRF++: An Open-source Neural Sequence Labeling Toolkit
Singapore University of Technology and Design（新加坡科技设计大学）
本文介绍了NCRF++，神经序列标记工具包。NCRF++是专为快速实现不同的神经序列标记模型与CRF推理层。它通过配置文件为用户提供了一个建立自定义模型结构的推理，具有灵活的神经特征设计和利用。基于PyTorch构建，核心运算采用批量计算，通过GPU加速，使工具包高效运行。它还包括大多数最先进的神经序列标记模型（如LSTM-CRF）的实现，便于对这些方法进行复制和改进。
2018-06-17 cs.CL
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF: A Reproducibility Study
The Ohio State University（俄亥俄州立大学）
本文复现了 Ma 和 Hovy 提出的 BiLSTM-CNN-CRF 端到端序列标注架构，结合 CNN、BiLSTM 和 CRF 免除手工特征，在 CoNLL-2003 NER 上达到 91.18% F1 分数，并开源了 PyTorch 实现。
2025-10-13 cs.CL cs.LG
Neural-Davidsonian Semantic Proto-role Labeling
我们提出了一个语义原型角色标记（SPRL）模型，使用我们称之为“神经戴维森”的自适应双向LSTM编码策略：谓词-参数结构表示为与输入序列的谓词和参数头部标记对应的隐藏状态对。我们证明：（1）最先进的SPRL结果，（2）我们的网络自然地在属性之间共享参数，允许在有限的附加监督下学习新的属性类型。
2019-08-27 cs.CL
An Empirical Study of Discriminative Sequence Labeling Models for Vietnamese Text Processing
College of Science, Vietnam National University（越南国立大学科学学院）；FPT Technology Research Institute, FPT University（FPT大学FPT技术研究院）；Alt Vietnam；FPT Technology Innovation, FPT Corp.（FPT集团FPT技术创新）
本文提出了两个广泛使用的序列预测模型，条件随机场（CRF）和长短期记忆网络（LSTM），越南语文本处理的两个基本任务，包括词性标注和命名实体识别的实证研究。我们表明，一个强大的下限标签准确性可以通过只依赖于简单的基于单词的功能，最小的手工制作的功能工程，90.65%和86.03%的性能得分的标准测试集上的两个任务分别获得。特别是，我们实证证明了惊人的效率词嵌入在这两个任务中，与两个模型。我们指出，最先进的LSTM模型并不总是优于传统的CRF模型，特别是在中等规模的数据集。最后，我们给出了一些建议和讨论，有效地使用序列标记模型在实际应用中。
2017-08-30 cs.CL
Improving Implicit Semantic Role Labeling by Predicting Semantic Frame Arguments
Katholieke Universiteit Leuven（鲁汶大学）；University of Arizona（亚利桑那大学）
隐性语义角色标注（iSRL）是对谓词的语义角色进行预测的任务，该谓词不作为显性论元出现，而是考虑常识知识或在语篇中较早提到。我们介绍了一种基于预测递归神经语义框架模型（PRNSFM）的方法，该模型使用大型未注释的语料库来学习给定谓词的语义参数序列的概率。我们利用PRNSFM预测的序列概率来估计谓词及其参数的选择偏好。在NomBank iSRL测试集上，我们的方法提高了隐式语义角色标注的最新性能，与手动构建的语言资源相比，依赖性更低。
2017-10-05 cs.CL
Discourse Embellishment Using a Deep Encoder-Decoder Network
Institute of Cognitive Science（认知科学研究所）；University of Osnabrück（奥斯纳布吕克大学）；Radboud University（拉德堡德大学）
我们提出了一个新的NLG任务的背景下，话语生成管道的计算讲故事系统。这一任务，文本修饰，是通过将文本作为输入，并生成语义上等同的输出，增加词汇和句法复杂性来定义的。理想情况下，这将允许计算说书人的作者实现轻量级的NLG系统，并使用独立于域的修饰模块将其输出转换为更具文学性的文本。我们使用在WikiLarge数据集上训练的LSTM编码器-解码器网络，在这项任务上展示了有希望的第一个结果。此外，我们介绍了“编译的计算机故事”，计算生成的故事语料库，可用于测试的能力，修饰算法。
2018-10-18 cs.CL cs.LG
A Recurrent Neural Model with Attention for the Recognition of Chinese Implicit Discourse Relations
Turku Centre for Computer Science – TUCS（图尔库计算机科学中心）；Åbo Akademi University（奥博学术大学）；Goethe University（歌德大学）
我们介绍了一个基于注意力的中文隐式话语关系的Bi-LSTM，并证明了将参数对建模为联合序列可以优于词序不可知的方法。我们的模型得益于部分抽样方案，概念简单，但在中文语篇树库上实现了最先进的性能。我们还可视化了它的注意力活动，以说明模型有选择地关注输入序列的相关部分的能力。
2017-04-26 cs.AI cs.CL cs.LG
A Latent Variable Recurrent Neural Network for Discourse Relation Language Models
Georgia Institute of Technology（佐治亚理工学院）；Monash University（莫纳什大学）
本文提出了一种新的潜变量循环神经网络结构，用于联合建模单词序列和相邻句子之间的（可能是潜在的）话语关系。循环神经网络生成单个单词，从而获得区分性训练的向量表示的好处。语篇关系是用一个潜在变量来表示的，根据任务的不同，这个变量可以被预测或边缘化。因此，所得到的模型可以采用一个训练目标，不仅包括话语关系分类，但也词预测。因此，它优于国家的最先进的替代品的两个任务：隐含的话语关系分类在宾夕法尼亚州话语树库，和对话行为分类在交换机语料库。此外，通过在测试时边缘化潜在的话语关系，我们获得了一个话语信息的语言模型，它在强大的LSTM基线上有所改进。
2016-04-05 cs.CL cs.LG cs.NE
Discourse-Aware Rumour Stance Classification in Social Media Using Sequential Classifiers
University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Sheffield（谢菲尔德大学）；University of Melbourne（墨尔本大学）；University of Copenhagen（哥本哈根大学）
谣言立场分类，定义为将特定社交媒体帖子的立场分类为支持，否认，质疑或评论早期帖子之一，正在成为研究人员越来越感兴趣的问题。虽然大多数以前的工作都集中在使用个人推文作为分类器的输入，在这里，我们报告的顺序分类器，利用社会媒体互动或“会话线程”固有的话语功能的性能。测试四个顺序分类器的有效性-霍克斯过程，线性链条件随机场（线性CRF），树结构条件随机场（树CRF）和长短期记忆网络（LSTM）-在与突发新闻故事相关的八个数据集上，并查看不同类型的本地和上下文特征，我们的工作为准确的立场分类器的开发提供了新的思路。我们发现，顺序分类器，利用社会媒体对话中的话语属性的使用，同时只使用本地功能，优于非顺序分类器。此外，我们还证明了使用精简特征集的LSTM可以优于其他顺序分类器;这种性能在数据集和立场类型之间是一致的。最后，我们的工作还分析了正在研究的不同特征，确定了那些最有助于识别和区分立场的特征，例如支持推文比否认推文更有可能伴随证据。我们还提出了一些未来研究的方向。
2017-12-06 cs.CL cs.SI
Semantic Role Labeling with Iterative Structure Refinement
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
现代最先进的语义角色标注（SRL）方法依赖于表达性句子编码器（例如，多层LSTM），但倾向于仅对各个变元标记决策之间的局部（如果有的话）交互进行建模。这与早期的工作形成了对比，也与个体论证的标签是强烈相互依赖的直觉形成了对比。我们通过{ \it迭代细化}对参数标签决策之间的交互进行建模。从因子分解模型产生的输出开始，我们使用精化网络迭代地精化它。而不是建模任意角色和单词之间的相互作用，我们编码先验知识的SRL问题，通过设计一个限制性的网络架构捕捉非本地的相互作用。这种建模选择可以防止过度拟合，并产生有效的模型，在所有7种CoNLL-2009语言上的表现优于强因子分解基线模型，并在其中5种语言上实现了最先进的结果，包括英语。
2019-09-07 cs.CL
Cross-Sentence N-ary Relation Extraction with Graph LSTMs
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
过去在关系抽取中的工作主要集中在单句中的二元关系。最近NLP在高价值领域的进展引发了人们对提取跨多个句子的n元关系的更一般设置的兴趣。在本文中，我们探讨了一个通用的关系抽取框架的基础上图长短期记忆网络（图LSTM），可以很容易地扩展到跨句子的n元关系抽取。图公式提供了一种统一的方式来探索不同的LSTM方法，并结合各种内部和内部依赖关系，如顺序，语法和话语关系。一个强大的上下文表示学习的实体，作为输入的关系分类器。这简化了对具有任意arity的关系的处理，并且使具有相关关系的多任务学习成为可能。我们在两个重要的精准医疗环境中评估了这个框架，证明了它在传统的监督学习和远程监督下的有效性。跨句子提取产生了更大的知识库。多任务学习显著提高了提取准确率。对各种LSTM方法的深入分析产生了有用的见解，即语言分析对提取准确性的影响。
2017-08-12 cs.CL
DisSent: Sentence Representation Learning from Explicit Discourse Relations
Stanford University（斯坦福大学）
学习句子的有效表示是自然语言理解的核心任务之一。现有的模型要么在大量文本上进行训练，要么需要昂贵的手动策划的句子关系数据集。我们发现，与依存句法分析和基于规则的规则，我们可以策划一个高质量的句子关系的任务，利用明确的话语关系。我们表明，我们策划的数据集为学习句子含义的向量表示提供了一个很好的信号，表示只有当两个句子的含义结合起来时才能确定的关系。我们证明了自动策划的语料库允许双向LSTM句子编码器产生高质量的句子嵌入，并且可以作为BERT等大型模型的监督微调数据集。我们的固定句子嵌入在各种迁移任务上实现了高性能，包括SentEval，并且我们在Penn Discourse Treebank的隐式关系预测任务上实现了最先进的结果。
2019-06-04 cs.AI cs.CL
Multiple Character Embeddings for Chinese Word Segmentation
Shanghai Jiao Tong University（上海交通大学）
中文分词（CWS）通常被认为是一个基于字符的序列标注任务，目前的研究工作在强大的神经网络的帮助下取得了巨大的成功。然而，这些著作忽略了一条重要的线索：汉字兼有语义和语音意义。在本文中，我们介绍了多种字符嵌入，包括拼音罗马化和五笔输入法，这两种方法都是易于访问和有效的描述字符的语义。我们提出了一种新的共享Bi-LSTM-CRF模型，通过在训练过程中共享LSTM网络来有效地融合语言特征。在五个语料库上进行的大量实验表明，额外的嵌入有助于显著提高标注准确率。具体来说，我们实现了最先进的性能在AS和城大语料库的F1得分分别为96.9和97.3，没有利用任何外部词汇资源。
2019-05-30 cs.CL
Cohesion-6K: An Arabic Dataset for Analyzing Social Cohesion and Conflict in Online Discourse
Hamad Bin Khalifa University（哈马德·本·拉希德大学）；Northwestern University in Qatar（卡塔尔西北大学）
本研究通过Cohesion-6K数据集探讨在线讨论中的社会凝聚力与冲突，采用五类话语分类揭示冲突与凝聚力的动态平衡，并通过公开资源支持未来计算社会科学、数字通信和阿拉伯语自然语言处理的研究。
2026-05-21 cs.CL
Aspect Specific Opinion Expression Extraction using Attention based LSTM-CRF Network
Indian Institute of Technology Delhi（德里印度理工学院）；University of Houston（休斯顿大学）
意见短语抽取是细粒度情感分析的关键任务之一。虽然意见表达可以是一般的主观表达，但体特定意见表达既包含体，也包含原始句子上下文中的意见表达。在这项工作中，我们制定的任务作为一个实例的令牌级序列标签。当句子中存在多个方面时，意见短语边界的检测变得困难，并且每个词的标签不仅取决于周围的词，而且还取决于所关注的方面。我们提出了一种具有双向LSTM（Bi-LSTM）和新型注意力机制的神经网络架构。Bi-LSTM层学习单词之间的各种顺序模式，而不需要任何手工制作的功能。注意力机制通过基于位置和内容的存储器捕获当多个方面存在于句子中时上下文词对特定方面意见表达的重要性。在最后一层中加入了条件随机场（CRF）模型，以显式地对输出标签之间的依赖关系进行建模。在www.example.com的酒店数据集上的实验结果表明，我们的方法优于几个最先进的基线。
2019-02-07 cs.CL
Language-Agnostic Syllabification with Neural Sequence Labeling
Gonzaga University（贡萨加大学）
在语音序列中识别音节被称为音节化。该任务被认为在自然语言理解、语音产生和语音识别系统的开发中起着重要作用。音节的概念是跨语言的，虽然正式的定义很少达成一致，即使在一种语言中。作为回应，数据驱动的音节化方法已经被开发出来，以从音节化的例子中学习。这些方法通常采用经典的机器学习序列标记模型。近年来，基于递归的神经网络已经被证明在序列标记任务中表现得越来越好，例如命名实体识别（NER），词性（POS）标记和组块。我们提出了一种新的方法，利用现代神经网络技术的音节化问题。我们的网络由长短期记忆（LSTM）单元、卷积组件和条件随机场（CRF）输出层构成。现有的音节化方法很少在多个语系之间进行评估。为了证明跨语言的可推广性，我们表明，该网络在音节化英语，荷兰语，意大利语，法语，Manipuri和巴斯克语数据集方面与最先进的系统具有竞争力。
2019-09-29 cs.CL
A Tree Search Algorithm for Sequence Labeling
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）
在本文中，我们提出了一种新的强化学习为基础的序列标记模型，简称为MM-Tag。受AlphaGo Zero的成功和方法的启发，MM-Tag使用蒙特卡罗树搜索（MCTS）增强马尔可夫决策过程（MDP）模型将序列标记问题形式化，其中时间步长对应于单词在句子中从左到右的位置，每个动作对应于为单词分配标签。两个长短期记忆网络（LSTM）用于总结过去的标签分配和句子中的单词。基于LSTM的输出，产生用于指导标记分配的策略和用于预测整个句子的整体标记准确度的值。然后，使用MCTS来加强策略和值，MCTS将产生的原始策略和值作为输入，模拟和评估后续位置处可能的标签分配，并输出用于分配标签的更好的搜索策略。提出了一种强化学习算法对模型参数进行训练。我们的工作是第一个应用MCTS增强MDP模型的序列标记任务。我们表明，MM-Tag可以准确地预测标签感谢MCTS引入的探索性决策机制。基于组块基准的实验结果表明，MM-Tag的性能优于最先进的序列标记基线，包括CRF和带有LSTM的CRF。
2018-05-18 cs.CL cs.IR
Compositional Sequence Labeling Models for Error Detection in Learner Writing
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
在本文中，我们提出了第一个实验，使用神经网络模型的错误检测学习者写作的任务。我们进行了系统的比较替代组合架构，并提出了一个框架，基于双向LSTM的错误检测。在CoNLL-14共享任务数据集上的实验表明，该模型在检测学习者写作错误方面的性能优于其他参与者。最后，该模型与公开部署的自我评估系统相集成，从而使其性能与人类注释者相当。
2016-07-20 cs.CL cs.NE
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
SciTweets -- A Dataset and Annotation Framework for Detecting Scientific Online Discourse
LIRMM；CNRS（法国国家科学研究中心）；University of Montpellier（蒙彼利埃大学）；GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）；Heinrich-Heine-University（海因里希·海涅大学）
科学话题、主张和资源作为在线话语的一部分越来越多地受到争议，其中突出的例子包括与COVID-19或气候变化相关的话语。这导致了重大的社会影响，并增加了人们对来自不同学科的科学在线话语的兴趣。例如，传播研究旨在更深入地了解科学信息的偏见，质量或传播模式，而计算方法已被提出使用NLP和IR技术来提取，分类或验证科学主张。然而，跨学科的研究目前既缺乏对各种形式的科学相关性的强有力的定义，也缺乏区分它们的适当的基础事实数据。在这项工作中，我们贡献了（a）一个注释框架和相应的定义，用于不同形式的科学相关性的在线话语的推文，（b）一个专家注释的数据集的1261推文通过我们的标签框架达到平均Fleiss Kappa $κ$为0.63，（c）一个多标签分类器，在我们的数据上训练，能够检测89%F1的科学相关性，也能够检测不同形式的科学知识（声明，参考文献）。通过这项工作，我们的目标是为开发和评估作为大规模在线话语一部分的科学分析方法奠定基础。
2022-07-06 cs.CL cs.CY cs.SI
Capturing Argument Interaction in Semantic Role Labeling with Capsule Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
语义角色标注（SRL）涉及从自然语言句子中提取命题（即谓词及其类型化参数）。最先进的SRL模型依赖于强大的编码器（例如，LSTM），并且不对参数之间的非局部交互进行建模。我们提出了一种新的方法来建模这些相互作用，同时保持有效的推理。具体来说，我们使用胶囊网络：每个命题被编码为\textit{capsules}的元组，每个参数类型（即角色）一个胶囊。这些元组充当整个命题的嵌入。在每一个网络层中，胶囊彼此交互，并与句子中的单词表示交互。每次迭代都会导致更新的命题嵌入和关于SRL结构的更新预测。我们的模型在所有7种CoNLL-2019语言上的表现都大大优于非细化基线模型，并在5种语言（包括英语）上实现了最先进的依赖SRL结果。我们分析的类型的错误纠正的细化程序。例如，每个角色通常（但不总是）最多填充一个参数。然而，强制执行这种近似约束是没有用的现代SRL系统，迭代过程纠正错误，捕捉这种直觉在一个灵活的和上下文敏感的方式。
2019-10-07 cs.CL
A Simple and Accurate Syntax-Agnostic Neural Model for Dependency-based Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；Yandex；University of Edinburgh（爱丁堡大学）
我们介绍了一个简单而准确的神经模型依赖为基础的语义角色标注。我们的模型预测依赖于双向LSTM编码器状态的谓词参数依赖性。即使在没有任何句法信息和只使用局部推理的情况下，语义角色标注器在英语上也取得了有竞争力的性能。然而，当自动预测的词性标签作为输入时，它大大优于所有以前的本地模型，并接近英语CoNLL-2009数据集上的最佳报告结果。我们还考虑了中文、捷克语和西班牙语，我们的方法也取得了有竞争力的结果。语法解析器在域外数据上是不可靠的，所以标准（即，在这种设置下测试时，SRL模型受到阻碍。我们的语法不可知模型看起来更健壮，在标准的域外测试集上得到了最好的报告结果。
2017-06-15 cs.AI cs.CL
A Comparison of LSTM and BERT for Small Corpus
SAS Inst.（SAS研究所）
NLP领域的最新进展表明，迁移学习通过调整预训练模型而不是从头开始，有助于为新任务实现最先进的结果。Transformers在为许多NLP任务（包括但不限于文本分类、文本生成和序列标记）创建新的最先进结果方面取得了重大改进。这些成功案例大多基于大型数据集。在本文中，我们关注学术界和工业界的科学家经常面临的现实场景：给定一个小数据集，我们是否可以使用像BERT这样的大型预训练模型并获得比简单模型更好的结果？为了回答这个问题，我们使用一个小数据集进行意图分类，并将简单的双向LSTM模型与预训练的BERT模型的性能进行比较。我们的实验结果表明，对于小数据集，双向LSTM模型可以获得比BERT模型更高的结果，并且这些简单的模型比调整预训练的模型所需的时间要少得多。我们的结论是，模型的性能取决于任务和数据，因此在选择模型之前，应该考虑这些因素，而不是直接选择最流行的模型。
2020-09-11 cs.CL cs.LG
Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents
Tufts University（塔夫茨大学）
本研究用扩展7点ICAP框架测量协作对话认知投入度，对比人类标注、ICL及反思型LLM智能体，发现人类标注信度更高，智能体方法具潜力，需强化人类标注与LLM方法的交互。
2026-08-03 cs.CL cs.CY cs.HC
Label-Dependencies Aware Recurrent Neural Networks
CNRS（法国国家科学研究中心）；ENS Paris（巴黎高等师范学校）；Université Sorbonne Nouvelle - Paris 3（新索邦大学（巴黎第三大学））；PSL Research University（巴黎文理研究大学）；USPC (Université Sorbonne Paris Cité)（索邦巴黎西岱大学）
在过去的几年里，循环神经网络（RNN）已经被证明在几个NLP任务上是有效的。尽管取得了如此巨大的成功，但他们对\emph{sequence labeling}建模的能力仍然有限。这导致研究将RNN与已经在该领域证明有效的模型（如CRF）相结合的解决方案。在这项工作中，我们提出了一个简单得多但非常有效的解决方案：简单Jordan RNN的进化，其中标签作为输入被重新注入网络，并以与单词相同的方式转换为嵌入。我们将这个RNN变体与所有其他RNN模型，Elman和Jordan RNN，LSTM和GRU，在两个着名的口语语言理解（SLU）任务上进行比较。由于标签嵌入及其在隐藏层的组合，所提出的变体比Elman和Jordan RNN使用更多的参数，但比LSTM和GRU少得多，比其他RNN更有效，但也优于复杂的CRF模型。
2017-06-06 cs.CL
From Human Annotation to Automation: LLM-in-the-Loop Active Learning for Arabic Sentiment Analysis
Information and Computer Science Department, KFUPM, Dhahran 31261, Saudi Arabia（信息与计算机科学系，KFUPM，沙特阿拉伯达哈兰）
本文提出面向阿拉伯语情感分析的LLM辅助主动学习框架，跨三种数据集比较LSTM、GRU、RNN及多类LLM标注，证明少量LLM标签可达到与人工标注相当或更优的性能。
2025-09-27 cs.AI cs.CL
Exploring the Role of Argument Structure in Online Debate Persuasion
Cornell University（康奈尔大学）
在线辩论论坛为用户提供了一个平台，表达他们对有争议的话题的意见，同时接触到来自不同观点的意见。自然语言处理（NLP）领域的现有研究表明，从辩论文本中提取的语言特征和对观众特征进行编码的特征在说服研究中都是至关重要的。本文旨在进一步探讨网络辩论的话语结构在其说服力中的作用。特别是，我们使用因子图模型从在线辩论平台获取辩论的论点结构的特征，并将这些特征结合到基于LSTM的模型中，以预测最有说服力的论点。我们发现，纳入参数结构功能发挥了至关重要的作用，在实现更好的预测性能评估的说服力的论点在网上辩论。
2020-10-07 cs.CL
Answer Sequence Learning with Neural Networks for Answer Selection in Community Question Answering
Harbin Institute of Technology, Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）
将社区问答（CQA）中的答案选择问题视为一个答案序列标记任务，提出了一种基于递归结构的答案选择方法。该方法首先利用卷积神经网络（CNN）学习问题-答案对的联合表示，然后将联合表示作为长短期记忆（LSTM）的输入学习问题的答案序列，以标记每个答案的匹配质量。在SemEval 2015 CQA数据集上进行的实验表明了该方法的有效性。
2015-06-22 cs.CL cs.IR cs.LG
A New Clustering neural network for Chinese word segmentation
本文提出了一种新的中文分词模型，该模型具有在其他领域应用的潜力。与以往的研究相比，将中文分词视为聚类问题而不是标记问题是一种新的思路。在该模型中，使用LSTM和自注意结构在每一层收集上下文和句子级别的特征，经过几层，采用聚类模型对字符进行分组，得到最终的分割结果，称之为CLNN.该算法在训练数据集上的F值可以达到98%（无OOV词）和85%~ 95%（有OOV词）.错误分析表明，OOV词会大大降低性能，这需要进一步研究.
2020-02-18 cs.CL
Effective Feature Representation for Clinical Text Concept Extraction
Roam Analytics；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
关于医疗保健实践的关键信息仅以自由形式的文本记录，这为高影响力的NLP创造了巨大的机会。然而，带注释的医疗数据集往往很小，而且获取成本很高，这就提出了如何最有效地利用可用数据的问题。为此，我们开发了一个LSTM-CRF模型，用于将来自公共医疗保健本体的无监督单词表示和手工构建的特征表示相结合。我们表明，这种组合模型在五种不同类型的医疗保健文本（临床，社会，科学，商业）的数据集上具有优异的性能。每一个都涉及到复杂的标签，多词跨度，挑选出不同的医疗保健概念。我们还介绍了一种新的标记数据集，用于识别药物和疾病之间的治疗关系。
2019-04-05 cs.CL
TTLab at Daleel 2026: STAR-Ar, Sequence Tagging for Argument Recognition in Arabic
Text Technology Lab (TTLab)（文本技术实验室）；Goethe University Frankfurt（法兰克福大学）
本文提出STAR-Ar，一种基于BERT-BiLSTM-CRF的序列标注架构，用于阿拉伯语论证挖掘中的话语单元识别与分类，在Daleel 2026任务中取得F1 73.7的成绩。
2026-10-01 cs.AI cs.CL cs.LG
Automatic Open Knowledge Acquisition via Long Short-Term Memory Networks with Feedback Negative Sampling
POSTECH (Pohang University of Science and Technology)（浦项科技大学）
以往的开放式信息抽取（Open IE）研究主要是基于抽取模式的。它们手动定义模式或从大型语料库中自动学习模式。然而，这些方法在把握句子的上下文时都有局限性，而且它们无法捕捉隐含的关系。在本文中，我们用以下方法解决这个问题。首先，我们利用长短期记忆（LSTM）网络沿着最短依赖路径提取更高级别的特征，连接关系和参数的词头。LSTM网络的路径级特征提供了有关上下文信息和参数有效性的有用线索。其次，我们构造样本来训练LSTM网络，而不需要手动标记。特别地，反馈负采样通过用正样本训练的模型在非正样本中挑选高度负样本。实验结果表明，我们的方法产生更精确和丰富的提取比国家的最先进的开放IE系统。据我们所知，这是第一个将深度学习应用于Open IE的工作。
2016-05-25 cs.AI cs.CL cs.NE
Embedded-State Latent Conditional Random Fields for Sequence Labeling
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
复杂的文本信息抽取任务通常被称为序列标记或\emph{shallow parsing}，其中字段是使用局部标签提取的，这些标签通过在具有约束转换的图形模型中进行概率推理而变得一致。最近，使用递归神经网络（如LSTM）提取的丰富特征对这些模型进行局部参数化已经变得很常见，同时通过简单的线性链模型强制执行一致的输出，表示连续标签之间的马尔可夫依赖关系。然而，简单的图形模型结构掩盖了输出标签之间通常复杂的非局部约束。例如，许多字段（如名字）只能出现固定的次数，或者在存在其他字段的情况下出现。虽然RNN为序列标记提供了越来越强大的上下文感知局部特征，但它们尚未与输出分布中具有类似表达力的全局图形模型集成。我们的模型超越了线性链CRF，每个输出标签包含多个隐藏状态，但是用低秩对数势评分矩阵参数化它们的转换，有效地学习隐藏状态的嵌入空间。推理变量的这种增强的潜在空间补充了RNN的丰富特征表示，并允许精确的全局推理服从复杂的，学习的非局部输出约束。我们对几个数据集进行了实验，结果表明，当在推理时需要全局输出约束时，该模型的性能优于基线CRF+RNN模型，并探索了可解释的潜在结构。
2018-09-28 cs.CL cs.LG stat.ML
Introducing the Hidden Neural Markov Chain framework
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；IBM GSB France（IBM法国全球业务咨询服务部）；Watson Department（沃森部门）
近年来，神经网络模型在计算机视觉、语音处理等领域取得了令人瞩目的成就。对于顺序数据，特别是对于自然语言处理（NLP）任务，递归神经网络（RNN）及其扩展、长短期记忆（LSTM）网络和门控递归单元（GRU）是最常用的模型之一，具有“项到项”的顺序处理。然而，如果说许多工作都是对RNN的扩展和改进，那么很少有人专注于以“项到项”的方式开发其他使用神经网络进行顺序数据处理的方法。本文提出了原始的隐神经马尔可夫链（HNMC）框架，一个新的系列的顺序神经模型。它们不是基于RNN，而是基于隐马尔可夫模型（HMM），一种概率图形模型。这种神经扩展是可能的，这要归功于最近用于HMM恢复的熵向前向后算法。我们提出了三种不同的模型：经典的HNMC，HNMC 2，和HNMC-CN。在描述了我们模型的整体结构之后，我们将它们与经典的RNN和双向RNN（BiRNN）模型进行了一些序列标记任务的比较：组块，词性标注和命名实体识别。对于每个实验，无论使用什么架构或嵌入方法，我们提出的模型之一都具有最佳结果。它显示了这种新的神经序列框架的潜力，它可以为新模型开辟道路，并最终可能与流行的BiLSTM和BiGRU竞争。
2021-02-17 cs.CL cs.LG
Efficient Long-distance Latent Relation-aware Graph Neural Network for Multi-modal Emotion Recognition in Conversations
Central South University of Forestry and Technology（中南林业科技大学）；Changsha Medical University（长沙医学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出ELR-GNN模型，通过扩张广义前向推送算法和情感关系感知算子高效捕获长距离话语依赖，并结合早期与自适应晚期融合机制，在IEMOCAP和MELD上取得最优性能且显著降低运行时间。
2024-08-31 cs.AI cs.CL cs.LG
