On the long-term learning ability of LSTM LMs
KU Leuven（鲁汶大学）；Apple Inc.（苹果公司）
我们通过评估基于连续词袋（CBOW）模型的上下文扩展来检查长短期记忆语言模型（LSTM LM）的长期学习能力，用于句子和话语级LSTM LM，并分析其性能。我们根据文本和语音进行评估。使用长期上下文模块的句子级模型执行从简单到普通的话语级LSTM LM。另一方面，扩展并没有为语篇级模型提供增益。这些发现表明，语篇级LSTM LM已经依赖于上下文信息来执行长期学习。
2021-06-16 cs.CL cs.LG
An Experimental Study of LSTM Encoder-Decoder Model for Text Simplification
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Hefei University of Technology（合肥工业大学）
文本简化（TS）旨在降低文本的词汇和结构复杂性，同时仍然保留语义。当前的自动TS技术局限于词汇级应用或手动定义大量规则。由于深度神经网络是强大的模型，在许多困难的任务上都取得了优异的性能，因此在本文中，我们建议将长短期记忆（LSTM）编码器-解码器模型用于句子级TS，它对单词序列的假设最少。我们进行了初步实验，发现该模型能够从序列对中学习到翻转、排序和替换等操作规则，这表明该模型可能会发现并应用TS的修改句子结构、替换单词和删除单词等规则。
2016-09-13 cs.CL cs.LG
LSTM based models stability in the context of Sentiment Analysis for social media
ENSIAS（国家高等信息与系统分析学院）；MOHAMMED V UNIVERSITY IN RABAT（拉巴特穆罕默德五世大学）
深度学习技术已经证明了它们对于情感分析（SA）相关任务的有效性。递归神经网络（RNN），特别是长短期记忆（LSTM）和双向LSTM，已经成为构建准确预测模型的参考。然而，模型的复杂性和要配置的超参数的数量提出了与其稳定性相关的几个问题。在本文中，我们介绍了各种LSTM模型及其关键参数，并在情感分析的背景下进行实验来测试这些模型的稳定性。
2022-11-21 cs.CL cs.IR cs.LG
Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings
RJ Research Consulting（RJ研究咨询公司）；Baidu Inc（百度公司）
One-hot CNN（卷积神经网络）已被证明对文本分类有效（Johnson & Zhang，2015）。我们将其视为一般框架的一个特例，该框架联合训练线性模型和由“文本区域嵌入+池化”组成的非线性特征生成器。在这个框架下，我们探索了一种使用长短期记忆（LSTM）的更复杂的区域嵌入方法。LSTM可以嵌入可变（可能很大）大小的文本区域，而区域大小需要在CNN中固定。我们寻求在监督和半监督设置中有效和高效地使用LSTM。通过结合LSTM形式的区域嵌入和在未标记数据上训练的卷积层，获得了最佳结果。结果表明，在这个任务中，嵌入的文本区域，可以传达复杂的概念，是更有用的比孤立的单个单词的嵌入。我们报告的性能超过了以前的最佳结果在四个基准数据集。
2016-05-26 cs.CL cs.LG stat.ML
Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs
University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
LSTM最近成功背后的驱动力是它们学习复杂和非线性关系的能力。因此，我们无法描述这些关系，导致LSTM被描述为黑箱。为此，我们引入了上下文分解（CD），这是一种解释算法，用于分析标准LSTM做出的单个预测，而无需对底层模型进行任何更改。通过分解LSTM的输出，CD捕获单词或变量的组合对LSTM最终预测的贡献。在使用Yelp和SST数据集进行情感分析的任务中，我们展示了CD能够可靠地识别对比情感的单词和短语，以及如何将它们组合起来产生LSTM的最终预测。使用SST中的短语级标签，我们还证明了CD能够成功地从LSTM中提取正负否定，这是以前没有做过的。
2018-04-27 cs.CL cs.LG stat.ML
Sentence-State LSTM for Text Representation
Singapore University of Technology and Design（新加坡科技设计大学）；Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
双向LSTM是文本表示的强大工具。另一方面，由于它们的连续性，它们已被证明受到各种限制。我们研究了一种用于编码文本的替代LSTM结构，它由每个单词的并行状态组成。循环步骤用于同时执行单词之间的局部和全局信息交换，而不是递增地读取单词序列。各种分类和序列标记基准测试的结果表明，该模型具有很强的表示能力，与具有类似参数数的堆叠BiLSTM模型相比，具有很强的竞争力。
2018-05-07 cs.CL cs.LG stat.ML
Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs
University of Cambridge（剑桥大学）
本文讨论了自然语言文本到知识库实体的映射问题。该映射过程被视为从知识图谱中获得的多维实体空间中的点中的短语或句子的组合。组合模型是一个LSTM，在输入词嵌入上配备了动态消歧机制（Multi-Sense LSTM），解决了多义问题。此外，知识库空间是通过收集随机游走与文本特征，作为一组文本和知识库实体之间的语义桥梁增强图准备。这项工作的想法是证明了大规模的文本到实体的映射和实体分类任务，与国家的最先进的结果。
2018-08-23 cs.AI cs.CL cs.LG
Earlier Attention? Aspect-Aware LSTM for Aspect-Based Sentiment Analysis
Meituan-Dianping Group（美团点评集团）；Beijing Lab of Intelligent Information Technology（北京智能信息技术实验室）；School of Computer Science & Technology, Beijing Institute of Technology（北京理工大学计算机学院）
基于语义的情感分析（ABSA）旨在预测评论对给定方面术语或类别的细粒度情感。在以前的ABSA方法中，方面的重要性已经得到了认识和验证。大多数现有的基于LSTM的模型通过注意力机制来考虑方面，其中注意力权重是在以上下文向量的形式对上下文建模之后计算的。然而，在上下文建模过程中，方面相关的信息可能已经被丢弃，而方面无关的信息可能保留在经典的LSTM单元中，这可以被改进以生成更有效的上下文表示。本文提出了一种新的LSTM变体，称为方面感知LSTM（AA-LSTM），它在注意力机制之前的上下文建模阶段将方面信息合并到LSTM单元中。因此，我们的AA-LSTM可以动态地产生方面感知的上下文表示。我们通过用AA-LSTM单元替换经典的LSTM单元，对几个代表性的基于LSTM的模型进行了实验。SemEval-2014数据集上的实验结果证明了AA-LSTM的有效性。
2019-07-07 cs.CL
Hate Speech Detection on Vietnamese Social Media Text using the Bidirectional-LSTM Model
University of Information Technology, VNU-HCM（胡志明市国家大学信息技术大学）
在本文中，我们描述了我们的系统，它参与了VLSP 2019评估活动的社交网络上的仇恨语音检测的共享任务。我们为社交媒体评论或帖子提供了预标记数据集和未标记数据集。我们的任务是预处理和构建机器学习模型来对评论/帖子进行分类。在这份报告中，我们使用双向长短期记忆来构建模型，可以根据干净，冒犯，仇恨来预测社交媒体文本的标签。使用该系统，我们在VLSP 2019的公共标准测试集上获得了71.43%的比较结果。
2019-11-09 cs.CL cs.LG
Three-Class Text Sentiment Analysis Based on LSTM
Zhongnan University of Economics and Law（中南财经政法大学）
本文提出基于LSTM网络的三类情感分类方法对微博评论进行情感分析，实验准确率达98.31%，优于传统模型和其他深度学习方法。
2024-12-23 cs.CE cs.CL cs.LG
Leap-LSTM: Enhancing Long Short-Term Memory for Text Categorization
Peking University（北京大学）
递归神经网络（RNN）广泛应用于自然语言处理（NLP）领域，从文本分类到问答和机器翻译。然而，RNN通常从头到尾阅读整个文本，有时反之亦然，这使得处理长文本的效率低下。当阅读一个分类任务（如主题分类）的长文档时，大量的单词是不相关的，可以跳过。为此，我们提出了Leap-LSTM，这是一种LSTM增强模型，它在阅读文本时动态地在单词之间跳跃。在每一步中，我们利用几个特征编码器从前面的文本，下面的文本和当前单词中提取信息，然后确定是否跳过当前单词。我们在几个文本分类任务上评估了Leap-LSTM：情感分析，新闻分类，本体分类和主题分类，使用五个基准数据集。实验结果表明，我们的模型比标准LSTM读取速度更快，预测效果更好。与以前的模型，也可以跳过的话，我们的模型实现了更好的性能和效率之间的权衡。
2019-05-28 cs.CL
Morphological Analysis of Japanese Hiragana Sentences using the BI-LSTM CRF Model
Ibaraki University（茨城大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本研究提出了一种使用Bi-LSTM CRF模型开发日语平假名句子形态分析器神经模型的方法。形态分析是一种将文本数据划分为单词并分配信息（如词性）的技术。这种技术在日语自然语言处理系统的下游应用中起着至关重要的作用，因为日语在单词之间没有单词分隔符。平假名是一种日本表音文字，用于儿童或无法阅读汉字的人的文本。平假名句的词法分析比普通日语句子的词法分析要困难，因为平假名句中可供划分的信息较少。对于平假名句子的形态分析，我们使用基于普通日语文本的模型证明了微调的有效性，并检查了训练数据对各种体裁文本的影响。
2022-01-10 cs.CL cs.LG
A C-LSTM Neural Network for Text Classification
The University of Hong Kong（香港大学）；Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
神经网络模型已经被证明能够在句子和文档建模中实现卓越的性能。卷积神经网络（CNN）和递归神经网络（RNN）是这类建模任务的两种主流架构，它们采用完全不同的理解自然语言的方式。在这项工作中，我们结合了这两种架构的优势，并提出了一种新的统一模型，称为C-LSTM，用于句子表示和文本分类。C-LSTM利用CNN来提取一系列更高级别的短语表示，并将其馈送到长短期记忆递归神经网络（LSTM）中以获得句子表示。C-LSTM能够捕获短语的局部特征以及全局和时间句子语义。我们评估所提出的架构上的情感分类和问题分类任务。实验结果表明，C-LSTM的性能优于CNN和LSTM，并且可以在这些任务上实现出色的性能。
2015-11-30 cs.CL
Research on a hybrid LSTM-CNN-Attention model for text-based web content classification
Vasyl Stefanyk Precarpathian National University（瓦西里·斯捷凡尼克喀尔巴阡国立大学）
本文提出混合LSTM-CNN-Attention模型，通过整合注意力机制提升文本类Web内容分类性能，实验显示其在准确率、精确率等指标上均优于基线模型。
2025-12-26 cs.CL cs.LG
Putting words in context: LSTM language models and lexical ambiguity
Universitat Pompeu Fabra（庞培法布拉大学）
在语言的神经网络模型中，单词通常使用上下文不变表示（词嵌入）来表示，然后将其置于隐藏层的上下文中。由于单词通常是模糊的，因此表示上下文相关的信息并不是微不足道的。我们研究了LSTM语言模型如何处理英语中的词汇歧义，设计了一种方法来探测其隐藏的词汇和上下文信息的表示。我们发现，这两种类型的信息表示在很大程度上，但也有改进的空间，上下文信息。
2019-06-12 cs.CL
Sentence Segmentation for Classical Chinese Based on LSTM with Radical Embedding
School of software Engineering, Beijing University of Posts and Telecommunications（北京邮电大学软件学院）；Department of statistics, Harvard University（哈佛大学统计系）
在本文中，我们开发了一种低于字符的特征嵌入，称为部首嵌入，并将其应用于LSTM模型，用于前现代汉语文本的句子分割。数据集包括来自3个不同朝代的150多本中国古典书籍，包含不同的文学风格。LSTM CRF模型是解决序列标记问题的最先进方法。我们的新模型增加了一个激进的嵌入组件，从而提高了性能。基于上述中文书籍的实验结果表明，该方法在句子分割方面，尤其是在唐墓志文本中，具有更好的准确性。
2018-10-05 cs.CL cs.LG
Coin_flipper at eHealth-KD Challenge 2019: Voting LSTMs for Key Phrases and Semantic Relation Identification Applied to Spanish eHealth Texts
TALP Research Center - Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文描述了我们为eHealth-KD 2019挑战提出的方法。我们的参与旨在测试我们可以走多远，使用文本处理的通用工具，但同时，使用数据采掘领域的常见优化技术。为挑战的两个任务提出的架构是标准的堆叠2层bi-LSTM。我们的方法的主要特点是：（a）使用F1的代理函数作为损失函数，以缩小最小化函数和评估指标之间的差距，以及（b）生成的合奏模型，用于通过多数表决生成预测。我们的系统在主要任务中以62.18%的F1得分排名第二，获胜者得分为63.94%。
2019-09-26 cs.CL cs.LG
The Role of Conversation Context for Sarcasm Detection in Online Interactions
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）
用于讽刺检测的计算模型通常依赖于孤立的话语内容。然而，如果没有额外的语境，说话人的讽刺意图并不总是显而易见的。聚焦于社交媒体讨论，我们研究两个问题：（1）会话上下文的建模是否有助于讽刺检测和（2）我们是否可以理解会话上下文的哪一部分触发了讽刺回复。为了解决第一个问题，我们研究了几种类型的长短期记忆（LSTM）网络，它们可以对会话上下文和讽刺反应进行建模。我们证明了条件LSTM网络（Rocktaschel等人，2015），并且对上下文和响应具有句子级别注意力的LSTM网络优于仅读取响应的LSTM模型。为了解决第二个问题，我们对LSTM模型产生的注意力权重进行了定性分析，并将结果与人类在任务上的表现进行了比较。
2017-07-19 cs.AI cs.CL cs.LG
Bi-directional LSTM Recurrent Neural Network for Chinese Word Segmentation
Shanghai Jiaotong University（上海交通大学）
循环神经网络（RNN）已广泛应用于自然语言处理（NLP）问题。这种神经网络是为序列数据建模而设计的，并已被证明在序列标记任务中是非常有效的。在本文中，我们提出使用具有长短期记忆（LSTM）单元的双向RNN进行中文分词，这是对中文句子和文章建模的关键预处理任务。经典方法侧重于从上下文设计和组合手工特征，而双向LSTM网络（BLSTM）不需要任何先验知识或预先设计，并且擅长保持两个方向的上下文信息。实验结果表明，该方法在中文繁体和简体数据集上的分词性能都达到了最佳水平。
2016-02-16 cs.CL cs.LG
Replicated Siamese LSTM in Ticketing System for Similarity Learning and Retrieval in Asymmetric Texts
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
我们的工业票务系统的目标是检索一个输入查询的相关解决方案，通过匹配存储在知识库中的历史门票。查询由主题和描述组成，而历史票证由主题、描述和解决方案组成。为了检索相关的解决方案，我们使用文本相似性范式来学习查询和历史门票中的相似性。该任务是具有挑战性的，由于显着的长期不匹配的查询和票据对的不对称长度，其中主题是一个简短的文本，但描述和解决方案是多句子的文本。我们提出了一种新的复制暹罗LSTM模型来学习非对称文本对中的相似性，在无监督和有监督的基线上，检索任务分别获得了22%和7%的增益（准确度@10）。我们还表明，短文本和长文本的主题和分布式语义特征提高了相似性学习和检索。
2018-07-08 cs.CL cs.IR cs.LG
LSTM-LM with Long-Term History for First-Pass Decoding in Conversational Speech Recognition
Microsoft（微软）
LSTM语言模型（LSTM-LM）已被证明是强大的，并且在现代语音识别系统中比基于计数的n-gram LM产生了显着的性能改进。由于其无限的历史状态和计算量，大多数以前的研究集中在应用LSTM-LM在第二次通过重新评分的目的。最近的工作表明，它是可行的和计算负担得起的，采用LSTM-LM在第一轮解码的动态（或基于树）的解码器框架内。在这项工作中，LSTM-LM是由一个WFST解码器上的飞行的第一轮解码。此外，受LSTM-LM的长期历史性质的激励，在会话语音识别的第一遍解码中探索了当前话语之外的上下文的使用。LSTM-LM的隐藏状态在整个话语中捕获上下文信息，并且可以用于有效地引导第一遍搜索。在我们的内部会议转录系统的实验结果表明，显着的性能改善，可以通过将上下文信息与LSTM-LM在第一遍解码，相比，在第二遍重新评分应用上下文信息。
2020-10-21 cs.CL
Characterizing the hyper-parameter space of LSTM language models for mixed context applications
将最先进的深度学习模型应用于新的现实世界数据集，可以对这些模型的泛化能力进行实际评估。在这个过程中，重要的是这些模型的超参数对新数据集的敏感程度，因为这会影响模型的再现性。我们目前的工作是描述LSTM的超参数空间，用于在代码混合语料库上进行语言建模。我们观察到，评估的模型对我们的新数据集的敏感性最小，只有几个超参数。
2017-12-08 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
Contextual LSTM (CLSTM) models for Large scale NLP tasks
Google Research（谷歌研究院）
文档在多个抽象级别上展示顺序结构（例如，句子、段落、章节）。这些抽象构成了一个自然的层次结构，用于表示上下文，在上下文中推断单词和更大的文本片段的含义。在本文中，我们提出了CLSTM（Contextual LSTM），这是递归神经网络LSTM（长短期记忆）模型的扩展，其中我们结合了上下文特征（例如，#21453;的模式）。我们在三个特定的NLP任务上评估CLSTM：单词预测，下一句选择和句子主题预测。在两个语料库上运行的实验结果表明，使用单词和主题作为特征可以提高CLSTM模型在这些任务中的性能，这两个语料库分别是维基百科中的英语文档和最近的英语Google News快照中的文章子集。例如，在下一个句子选择任务中，维基百科数据集的相对准确率提高了21%，谷歌新闻数据集提高了18%。这清楚地表明了在自然语言（NL）任务中适当使用上下文的显著好处。这对各种各样的NL应用程序，如问答，句子完成，释义生成，以及对话系统中的下一个话语预测都有影响。
2016-05-31 cs.CL
Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations
University of California San Diego（加州大学圣地亚哥分校）；Facebook AI Research（Facebook人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）
长短期记忆（LSTM）和Transformers是两种用于自然语言处理任务的流行神经架构。理论结果表明，两者都是图灵完备的，可以表示任何上下文无关语言（CFL）。在实践中，经常观察到Transformer模型比LSTM具有更好的表示能力。但其中的原因却鲜为人知。我们研究了LSTM和Transformer之间的实际差异，并基于它们的潜在空间分解模式提出了一种解释。为了实现这一目标，我们引入了一个oracle训练范式，它强制分解LSTM和Transformer的潜在表示，并监督相应CFL的下推自动机（PDA）的转换。通过强制分解，我们证明了LSTM和Transformer在学习CFL方面的性能上限是接近的：它们都可以模拟堆栈并执行堆栈操作以及状态转换。然而，缺乏强制分解导致LSTM模型无法捕获堆栈和堆栈操作，同时对Transformer模型产生轻微影响。最后，我们将PDA原型上的实验与真实的句法分析任务相结合，再次验证了本文的结论
2022-03-23 cs.CL
Natural Language Processing Accurately Categorizes Indications, Findings and Pathology Reports from Multicenter Colonoscopy
Louisiana Tech University（路易斯安那理工大学）
结肠镜检查用于结直肠癌（CRC）筛查。从电子健康记录（EHR）中的自由文本中提取结肠镜检查结果的详细信息可用于确定CRC和结直肠筛查策略的患者风险。我们开发并评估了深度学习模型框架的准确性，以提取临床决策支持系统的信息，从而解释相关的自由文本报告，包括适应症、病理学和发现注释。使用双向长短期记忆（Bi-LSTM）和条件随机场（CRF）开发了Bio-Bi-LSTM-CRF框架，以从这些自由文本报告中提取几个临床特征，包括结肠镜检查适应症、结肠镜检查期间的发现和切除材料的病理学。我们在来自3，867名患者的4，000份手动注释笔记中的80%上训练了Bio-Bi-LSTM-CRF和现有的Bi-LSTM-CRF模型。这些临床记录来自一组40岁以上的患者，他们在四个退伍军人事务医疗中心登记。剩余注释的10%用于训练超参数，其余10%用于评估我们的模型Bio-Bi-LSTM-CRF的准确性并与Bi-LSTM-CRF进行比较。
2021-08-25 cs.CL cs.LG
Predicting Punctuation in Ancient Chinese Texts: A Multi-Layered LSTM and Attention-Based Approach
针对古汉语文本无标点导致解读困难的问题，本研究在已有工作基础上提出结合多头注意力机制的双向多层LSTM方法，实验证明其效果显著优于无相关组件的RNN。
2024-09-16 cs.CL
Evaluating the Ability of LSTMs to Learn Context-Free Grammars
Federal Institute of Technology（联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）
虽然长短期记忆（LSTM）神经网络架构被设计用于捕获序列信息，但人类语言通常由分层结构组成。这就提出了一个问题，即LSTM是否可以学习层次结构。我们通过一个格式良好的括号预测任务来探索这个问题，该任务使用由LSTM建模的两种类型的括号。证明这样一个系统是可由LSTM学习的，是证明整个CFL类也是可学习的第一步。我们观察到，该模型需要指数记忆的字符数和嵌入深度，其中一个次线性记忆应该足够了。尽管如此，该模型所做的不仅仅是记住训练输入。它学习如何区分相关和不相关的信息。另一方面，我们也观察到该模型并不能很好地推广。我们的结论是，LSTM不学习相关的底层上下文无关的规则，这表明良好的整体性能，而不是通过一种有效的方法来评估滋扰变量。LSTM对于许多自然语言任务来说是一种快速达到良好结果的方法，但是为了理解和生成自然语言，必须研究可以更直接地使用自然语言的结构性质的其他概念。
2018-11-06 cs.CL
A Chinese Text Classification Method With Low Hardware Requirement Based on Improved Model Concatenation
Zhiwei Research Institute（智微研究院）；University of Melbourne（墨尔本大学）
为了提高中文文本分类模型在低硬件要求下的准确率，本文设计了一种改进的基于级联的模型，该模型由TextCNN、LSTM和Bi-LSTM等5个子模型级联而成。与现有的集成学习方法相比，对于一个文本分类任务，该模型的准确率提高了2%。同时，该模型对硬件的要求也远低于基于BERT的模型。
2021-11-12 cs.CL cs.LG
Improving LSTM-based Video Description with Linguistic Knowledge Mined from Text
UT Austin（得克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
本文研究了如何从大型文本语料库中挖掘语言知识，以帮助生成视频的自然语言描述。具体来说，我们将神经语言模型和分布式语义训练的大型文本语料库到最近的LSTM为基础的架构的视频描述。我们评估我们的方法上收集的Youtube视频，以及两个大型电影描述数据集显示显着改善语法，同时适度提高描述质量。
2016-11-29 cs.CL cs.CV
Modeling Rich Contexts for Sentiment Classification with LSTM
Tsinghua University（清华大学）
对tweets和weibo等社交媒体数据进行情感分析已成为一项非常重要且具有挑战性的任务。由于这些数据的内在属性，推文是短的，嘈杂的，并且具有不同的主题，并且对这些数据的情感分类需要对各种上下文进行建模，例如推文的转发/回复历史，以及关于作者和关系的社会上下文。虽然之前很少有研究涉及推文中的上下文建模问题，但本文提出使用分层LSTM来建模推文中的丰富上下文，特别是长距离上下文。实验结果表明，上下文可以帮助我们更好地执行情感分类。
2016-05-05 cs.CL cs.IR cs.SI
Effective LSTMs for Target-Dependent Sentiment Classification
Harbin Institute of Technology（哈尔滨工业大学）
目标相关的情感分类仍然是一个挑战：建模的语义相关性的目标与其上下文的话在一个句子。不同的语境词对判断句子对目标语的情感极性有不同的影响。因此，在构建学习系统时，需要整合目标词和上下文词之间的联系。在本文中，我们开发了两个目标相关的长短期记忆（LSTM）模型，其中目标信息被自动考虑。我们在Twitter的基准数据集上评估我们的方法。实证结果表明，使用标准LSTM建模句子表示的效果并不好。将目标信息转化为LSTM可以显著提高分类精度。依赖于目标的LSTM模型在不使用语法解析器或外部情感词典的情况下实现了最先进的性能。
2016-09-29 cs.CL
Neural Speed Reading with Structural-Jump-LSTM
University of Copenhagen（哥本哈根大学）
递归神经网络（RNN）可以通过顺序地“读取”输入标记并输出每个标记的分布式表示来对自然语言进行建模。由于RNN的顺序性，推理时间与输入长度呈线性关系，所有输入都被读取，而不管它们的重要性如何。加快这种推理的努力，被称为“神经速读”，要么忽略要么跳过部分输入。我们提出了Structural-Jump-LSTM：第一个在推理过程中跳过和跳转文本的神经快速阅读模型。该模型由标准LSTM和两个代理组成：一个能够在阅读时跳过单个单词，另一个能够利用标点结构（子句子分隔符（，：），句子结束符号（.！？），或文本标记的结尾）以在阅读单词之后向前跳转。我们的模型与所有五种最先进的神经阅读模型进行了全面的实验评估，结果表明，Structural-Jump-LSTM实现了最佳的整体浮点运算（FLOP）减少（因此更快），同时保持了相同的准确性，甚至与阅读整个文本的普通LSTM相比有所提高。
2019-04-02 cs.CL cs.LG stat.ML
Drug-Drug Interaction Extraction from Biomedical Text Using Long Short Term Memory Network
IIT Guwahati（印度古瓦哈提理工学院）
同时给予多种药物可具有协同或拮抗作用，因为一种药物可影响其他药物的活性。协同作用导致改善的治疗结果，而拮抗作用可能危及生命，可能导致医疗成本增加，甚至可能导致死亡。因此，识别未知的药物相互作用（DDI）是高效和有效的医疗保健的一个重要问题。虽然DDI的多种资源存在，但它们往往无法跟上快速增长的生物医学文本中丰富的信息量。大多数现有的方法模型DDI提取文本作为一个分类问题，主要依赖于手工制作的功能。这些功能中的一些进一步依赖于特定于域的工具。最近，神经网络模型使用潜在的功能已被证明提供类似或更好的性能比其他现有的模型依赖于手工制作的功能。本文提出了三种基于长短期记忆（LSTM）网络的模型，即{\it B-LSTM}、{ \it AB-LSTM}和{ \it Joint AB-LSTM}。这三种模型都利用单词和位置嵌入作为潜在特征，因此不依赖于显式特征工程。进一步使用双向长短期记忆（Bi-LSTM）网络允许从整个句子中进行隐式特征提取。这两个模型{ \it AB-LSTM}和{ \it Joint AB-LSTM}也在Bi-LSTM层的输出中使用注意池化来为特征分配权重。我们在SemEval-2013 DDI提取数据集上的实验结果表明，{ \it Joint AB-LSTM}模型的性能优于所有现有方法，包括那些依赖手工特征的方法。另外两个提出的LSTM模型也与最先进的方法竞争。
2017-08-13 cs.CL
AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for Text Classification
Sun Yat-sen University（中山大学）
最近，深度学习模型已经被证明能够在句子和文档分类任务中取得显着的性能。在这项工作中，我们提出了一个新的框架称为AC-BLSTM建模的句子和文档，它结合了非对称卷积神经网络（ACNN）与双向长短期记忆网络（BLSTM）。实验结果表明，该模型在情感分析、问题类型分类和主观性分类等五个任务上均取得了较好的效果。为了进一步提高AC-BLSTM的性能，本文将生成模型与AC-BLSTM相结合，提出了一种用于文本分类的半监督学习框架G-AC-BLSTM。
2017-06-05 cs.CL
Multichannel LSTM-CNN for Telugu Technical Domain Identification
Language Technologies Research Centre（语言技术研究中心）；KCIS, IIIT Hyderabad（印度理工学院海得拉巴分校KCIS）
随着文本信息的迅速增长，从文本数据中提取面向领域的信息在信息检索和自然语言处理中有着广泛的应用。主题关键字提供文本的压缩表示。通常，领域识别在机器翻译、文本摘要、问答、信息抽取和情感分析中起着重要的作用。在本文中，我们提出了用于泰卢固语技术领域识别的多通道LSTM-CNN方法。在ICON共享任务TechDOfication 2020（任务h）的上下文中使用和评估了该架构，我们的系统在测试数据集上获得了69.9%的F1分数，在验证集上获得了90.01%的分数。
2021-02-24 cs.CL
Enhancing Bangla Language Next Word Prediction and Sentence Completion through Extended RNN with Bi-LSTM Model On N-gram Language
Uttara University（乌塔拉大学）；BRAC University（BRAC大学）
本文提出一种基于Bi-LSTM的扩展RNN模型，利用孟加拉语新闻语料实现下一词预测与句子补全，在4-gram和5-gram上达到99%准确率，并显著优于现有方法。
2024-05-03 cs.CL cs.LG
Self-Guiding Multimodal LSTM - when we do not have a perfect training dataset for image captioning
The Graduate Center, The City University of New York（纽约市立大学研究生中心）；The City College, The City University of New York（纽约市立大学城市学院）
本文提出了一种自引导的多模态LSTM（sg-LSTM）图像描述模型来处理不受控制的不平衡的真实世界图像-句子数据集。我们从Flickr收集了FlickrNYC数据集作为我们的测试平台，其中包含306，165张图像，用户上传的原始文本描述被用作训练的基础事实。FlickrNYC数据集中的描述从短期描述到长段落描述变化很大，可以描述任何视觉方面，甚至可以引用未描述的对象。为了处理不平衡和嘈杂的情况，并充分探索数据集本身，我们提出了一种利用多模态LSTM（m-LSTM）模型提取的新的指导文本特征。m-LSTM的训练基于图像内容和相应描述紧密结合的数据部分。之后，在对其余训练数据进行sg-LSTM训练期间，该指导信息与图像表示和地面实况描述一起作为网络的额外输入。通过将这些输入组件集成到一个多模态块中，我们的目标是形成一个与图像内容紧密耦合的文本信息的训练方案。实验结果表明，所提出的sg-LSTM模型在成功描述输入图像的关键组件方面优于传统的最先进的多模态RNN字幕框架。
2017-09-15 cs.CL cs.CV cs.LG
LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language Model Pre-Training
Jus Mundi
基于transformer的大型语言模型，如BERT，已经在许多NLP任务上带来了广泛的性能提升。这些模型的特定领域变体在各种专业任务上表现出出色的性能。在法律NLP中，基于BERT的模型在多个任务上产生了新的最先进的结果。对这些模式的探索表明了捕捉法律语言及其词汇的特殊性的重要性。然而，这种方法的计算成本高，导致更高的生态影响和更低的可访问性。我们的研究结果，重点是英语语言的法律文本，表明轻量级的LSTM为基础的语言模型能够捕捉足够的信息，从一个小的法律文本预训练语料库，并取得了良好的性能，对短的法律文本分类任务。与基于BERT的模型相比，这是通过显着减少的计算开销来实现的。然而，我们的方法在更复杂的任务上也显示出性能下降，即对较长文档的多标签分类，突出了这种轻量级方法的局限性。
2021-09-15 cs.CL
How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text
Tokyo University of Technology（东京工业大学）；Denso IT Laboratory（电装信息技术实验室）；The Institute of Statistical Mathematics（统计数学研究所）
长短期记忆递归神经网络（LSTM）被广泛使用，并且已知用于捕获信息性的长期句法依赖关系。然而，这些信息是如何反映在其内部向量的自然文本尚未得到充分的研究。我们通过学习一个语言模型来分析它们，其中语法结构是隐式给出的。我们根据经验表明，上下文更新向量，即内部门的输出，近似量化为二进制或三进制值，以帮助语言模型准确计算嵌套的深度，正如Suzgun等人（2019）最近为合成Dyck语言所展示的那样。对于上下文向量中的某些维度，我们发现它们的激活与短语结构的深度高度相关，如VP和NP。此外，通过$L_1$正则化，我们还发现它可以从上下文向量的少量分量准确地预测单词是否在短语结构中。即使是从原始文本中学习的情况下，上下文向量仍然与短语结构相关。最后，我们证明了功能词和触发短语的部分语音的自然集群表示在LSTM的上下文更新向量的一个小但主要的子空间中。
2020-10-01 cs.CL
Hate Speech Detection on Vietnamese Social Media Text using the Bi-GRU-LSTM-CNN Model
University of Information Technology, Vietnam National University Ho Chi Minh City（胡志明市国家大学信息技术大学）
近年来，仇恨语音检测已成为自然语言处理或计算语言学研究的热点之一。在本文中，我们介绍了我们的系统在VLSP共享任务2019中解决这个问题的描述：社交网络上的仇恨语音检测，其中包含20，345个用于训练的人工标记评论/帖子和5，086个用于公开测试。我们在这个任务中实现了一种基于Bi-GRU-LSTM-CNN分类器的深度学习方法。我们在这个任务中的结果是70.576%的F1分数，排名第五的性能在公共测试集。
2019-12-22 cs.CL
LSTM based Conversation Models
University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个会话模型，结合双方对话的背景和参与者的角色。不同的架构被探索用于将参与者角色和上下文信息集成到长短期记忆（LSTM）语言模型中。会话模型可以用作语言模型或语言生成模型。在Ubuntu Dialog语料库上的实验表明，该模型能够捕捉到参与者之间的多话轮交互。所提出的方法优于传统的LSTM模型，如通过语言模型困惑度和响应排名所测量的。生成的响应显示两个参与者角色之间的特征差异。
2016-03-31 cs.CL
N-gram Language Modeling using Recurrent Neural Network Estimation
Google（谷歌）
我们研究了RNN模型的有效记忆深度，并将其用于$n$ -文法语言模型（LM）平滑。在小型语料库（UPenn Treebank，100万字的训练数据和10 k词汇）上的实验发现，与前馈和香草RNN模型相比，具有dropout的LSTM细胞是编码$n$ -gram状态的最佳模型。当保持句子独立性假设时，LSTM $n$ -gram匹配$n=9$的LSTM LM性能，并且稍微优于$n=13$。当允许跨句子边界的依赖关系时，LSTM $13$ -gram几乎匹配无限历史LSTM LM的困惑。LSTM $n$ -gram平滑还具有随着$n$ -gram阶数的增加而改进的理想特性，这与Katz或Kneser-Ney退避估计器不同。在训练中使用多项分布作为目标，而不是通常的单热目标，对于低$n$ -gram阶数只有轻微的好处。十亿字基准测试的实验表明，结果在更大规模下也成立：虽然针对短$n$元语法上下文的LSTM平滑并不比经典N元语法模型具有显着优势，但它对长上下文（$n > 5$）变得有效;根据任务和数据量，它可以在大约$n=13$的情况下匹配完全循环的LSTM模型。这在对短格式文本（例如语音搜索/查询LM）进行建模时可能具有影响。构建LSTM $n$ -gram LM对于某些实际情况可能是有吸引力的：$n$ -gram LM中的状态可以用存储上下文中的单词的标识的$(n-1)*4$字节简洁地…
2017-06-20 cs.CL
Improved Variational Autoencoders for Text Modeling using Dilated Convolutions
Carnegie Mellon University（卡内基梅隆大学）
最近关于文本的生成建模的工作已经发现，结合LSTM解码器的变分自动编码器（VAE）比更简单的LSTM语言模型表现更差（Bowman等人，2015年）。到目前为止，这个负面结果还不太清楚，但这归因于LSTM解码器忽略来自编码器的条件信息的倾向。在本文中，我们实验了一种新型的解码器VAE：一个扩大的CNN。通过改变解码器的膨胀架构，我们控制有效的上下文从以前生成的单词。在实验中，我们发现，有一个权衡的上下文容量的解码器和编码信息的使用量。我们证明，使用正确的解码器，VAE可以超越LSTM语言模型。我们在两个数据集上展示了困惑增益，代表了使用VAE进行文本生成建模的第一个积极的实验结果。此外，我们对VAE（使用我们的新解码架构）用于半监督和无监督标记任务进行了深入研究，证明了在几个强基线上的收益。
2017-06-18 cs.CL cs.LG cs.NE
Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function
Petuum Inc（Petuum 公司）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们使用监督和半监督方法研究双向LSTM网络的文本分类任务。一些先前的工作表明，使用无监督方法（如语言建模）的复杂预训练方案（Dai和Le 2015; Miyato，Dai和Goodfellow 2016）或复杂模型（Johnson和Zhang 2017）对于实现高分类精度是必要的。然而，我们开发了一种训练策略，即使是一个简单的BiLSTM模型，当用交叉熵损失训练时，与更复杂的方法相比，也能获得有竞争力的结果。此外，除了交叉熵损失之外，通过对标记和未标记数据使用熵最小化，对抗性和虚拟对抗性损失的组合，我们在几个基准数据集上报告了文本分类任务的最新结果。特别是，在ACL-IMDB情感分析和AG-News主题分类数据集上，我们的方法大大优于当前的方法。我们还通过提高关系抽取任务的性能来展示混合目标函数的通用性。
2020-09-08 cs.CL
Amharic-Arabic Neural Machine Translation
Mangalore University（门格洛尔大学）
许多自动翻译作品已经解决了欧洲主要语言对之间，利用大规模的平行语料库，但很少有研究工作进行阿姆哈拉语-阿拉伯语对由于其并行数据的稀缺性。基于开放源代码的神经机器翻译（NMT）系统，采用基于注意力的编码器-解码器架构，开发了两种基于长短期记忆（LSTM）和门控递归单元（GRU）的NMT模型。为了进行实验，一个小的平行古兰经文本语料库的构建修改现有的单语阿拉伯语文本和其等效翻译的阿姆哈拉语文本语料库上坦齐勒。比较基于LSTM和GRU的NMT模型和Google翻译系统，发现基于LSTM的OpenNMT优于基于GRU的OpenNMT和Google翻译系统，BLEU得分分别为12%，11%和6%。
2019-12-26 cs.CL cs.LG
Evaluating Input Representation for Language Identification in Hindi-English Code Mixed Text
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
自然语言处理（NLP）技术在近十年来已经成为主流。这些进步大部分归功于对单一语言的处理。最近，随着社交媒体平台的广泛增长，焦点已经转移到代码混合文本。代码混合文本包括以多于一种语言书写的文本。人们自然倾向于将本地语言与英语等全球语言结合起来。要处理这样的文本，目前的NLP技术是不够的。作为第一步，处理文本以识别文本中的单词的语言。在这项工作中，我们专注于印度语-英语混合文本的代码混合句子的语言识别。语言识别的任务被制定为一个令牌分类任务。在监督设置中，句子中的每个单词都有一个相关的语言标签。我们评估了不同的深度学习模型和输入表示组合来完成这项任务。主要地，字符、子词和词嵌入与基于CNN和LSTM的模型相结合来考虑。我们表明，子词表示和LSTM模型可以给出最好的结果。一般来说，子词表示的表现明显优于其他输入表示。我们报告了在标准SAIL ICON 2017测试集上使用单层LSTM模型的最佳准确率为94.52%。
2020-11-25 cs.CL cs.LG
Sarcasm Analysis using Conversation Context
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
用于讽刺检测的计算模型通常依赖于孤立的话语内容。然而，如果没有额外的上下文，说话者的讽刺意图并不总是显而易见的。聚焦于社交媒体讨论，我们研究了三个问题：（1）建模会话上下文是否有助于讽刺检测;（2）我们能否识别会话上下文的哪一部分触发了讽刺回复;以及（3）给定包含多个句子的讽刺帖子，我们能否识别讽刺的特定句子。为了解决第一个问题，我们研究了几种类型的长短期记忆（LSTM）网络，它们可以对会话上下文和当前回合进行建模。我们发现，对上下文和当前回合具有高度关注的LSTM网络，以及条件LSTM网络（Rocktaschel et al. 2016），优于仅读取当前回合的LSTM模型。作为会话语境，我们考虑前一话轮、后一话轮或两者。我们的计算模型在两种类型的社交媒体平台上进行了测试：Twitter和讨论论坛。我们讨论了这些数据集之间的几个差异，从它们的大小到黄金标签注释的性质。为了解决最后两个问题，我们对LSTM模型（有注意力）产生的注意力权重进行了定性分析，并讨论了与人类在两项任务上的表现相比的结果。
2018-08-28 cs.CL
A Comparison of LSTM and BERT for Small Corpus
SAS Inst.（SAS研究所）
NLP领域的最新进展表明，迁移学习通过调整预训练模型而不是从头开始，有助于为新任务实现最先进的结果。Transformers在为许多NLP任务（包括但不限于文本分类、文本生成和序列标记）创建新的最先进结果方面取得了重大改进。这些成功案例大多基于大型数据集。在本文中，我们关注学术界和工业界的科学家经常面临的现实场景：给定一个小数据集，我们是否可以使用像BERT这样的大型预训练模型并获得比简单模型更好的结果？为了回答这个问题，我们使用一个小数据集进行意图分类，并将简单的双向LSTM模型与预训练的BERT模型的性能进行比较。我们的实验结果表明，对于小数据集，双向LSTM模型可以获得比BERT模型更高的结果，并且这些简单的模型比调整预训练的模型所需的时间要少得多。我们的结论是，模型的性能取决于任务和数据，因此在选择模型之前，应该考虑这些因素，而不是直接选择最流行的模型。
2020-09-11 cs.CL cs.LG
Depth-Adaptive Graph Recurrent Network for Text Classification
Beijing Jiaotong University（北京交通大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信人工智能模式识别中心）
S-LSTM是一种强大而高效的图递归网络，它将单词视为节点，并同时在它们之间执行逐层递归步骤。尽管S-LSTM在文本表示方面取得了成功，但它仍然存在两个缺点。首先，给定一个句子，某些单词通常比其他单词更模糊，因此需要对这些困难的单词采取更多的计算步骤，反之亦然。然而，S-LSTM对所有单词都采取固定的计算步骤，而不管它们的硬度如何。第二个原因是缺乏顺序信息（例如，词序），这对于自然语言是固有的重要。在本文中，我们试图解决这些问题，并为S-LSTM提出了一种深度自适应机制，该机制允许模型根据需要学习为不同的单词进行多少计算步骤。此外，我们还集成了一个额外的RNN层来注入顺序信息，这也可以作为自适应深度决策的输入特征。经典文本分类任务（24个不同大小和领域的数据集）的结果表明，我们的模型相对于传统的S-LSTM和其他高性能模型（例如，Transformer），同时实现了良好的精度-速度平衡。
2020-02-29 cs.CL
LSTM-MAS: A Long Short-Term Memory Inspired Multi-Agent System for Long-Context Understanding
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；The Chinese University of Hong Kong（香港中文大学）
本文提出LSTM-MAS多智能体系统，通过模仿LSTM的层次信息流和门控机制，解决长上下文处理中的误差累积和幻觉传播问题，实验表明在多个问答数据集上取得显著提升。
2026-04-21 cs.AI cs.CL
Hierarchical Text Classification of Urdu News using Deep Neural Network
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）
互联网上的数字文本日益增多。对大量异构数据集进行分类是一项非常具有挑战性的工作，需要改进的信息处理方法来组织文本。为了对大规模的语料库进行分类，一种常用的方法是使用层次文本分类，其目的是在层次结构中对文本数据进行分类。已经提出了几种方法来处理文本分类，但大多数研究都是在英语语言上进行的。本文提出了一种用于乌尔都语新闻分层文本分类的深度学习模型-由来自8个在线新闻网站的51，325个句子组成，属于以下类型：体育;科技;和娱乐。本文的目标有两个：（1）开发一个大型的乌尔都语新闻人工注释数据集，用于分层文本分类;（2）使用我们提出的基于LSTM机制的模型对乌尔都语新闻进行分层分类，称为分层多层LSTM（HMLSTM）。我们的模型由两个模块组成：文本表示层，用于获得文本表示，其中我们使用Word 2 vec嵌入将单词转换为矢量，乌尔都语分层LSTM层（UHLSTML）是一个端到端的完全连接的深度LSTM网络，用于执行自动特征学习，我们为类层次结构的每个级别训练一个LSTM层。我们已经进行了广泛的实验，我们自己创建的数据集命名为乌尔都语新闻数据集的层次文本分类（UNDHTC）。结果表明，我们提出的方法对于分层文本分类是非常有效的，它显著优于基线方法，并且与深度神经模型相比也取得了良好的效果。
2021-07-07 cs.CL
Mogrifier LSTM
DeepMind, London, UK（DeepMind（伦敦，英国））；University of Oxford（牛津大学）
自然语言处理的许多进展都是基于更有表现力的模型，即输入如何与它们出现的上下文交互。循环网络虽然取得了一定的成功，但仍然缺乏建模语言最终所需的概括性和系统性。在这项工作中，我们提出了一个古老的长短期记忆的形式相互门控的当前输入和先前的输出的扩展。这种机制提供了一个更丰富的输入和它们的上下文之间的相互作用空间的建模。同样，我们的模型可以被视为使LSTM给出的转换函数依赖于上下文。实验表明，显着提高泛化的语言建模范围内的3-4困惑点的Penn Treebank和Wikitext-2，和0.01-0.05 bpc的四个字符为基础的数据集。我们在所有数据集上建立了一个新的技术状态，除了Enwik 8，我们缩小了LSTM和Transformer模型之间的巨大差距。
2020-01-29 cs.CL
Feature Assisted bi-directional LSTM Model for Protein-Protein Interaction Identification from Biomedical Texts
Indian Institute of Technology Patna（巴特那印度理工学院）
关于蛋白质相互作用的知识对于理解生物过程如代谢途径、DNA复制和转录等是必不可少的。然而，大多数现有的蛋白质-蛋白质相互作用（PPI）系统主要依赖于科学文献，其还不能作为结构化数据库访问。因此，需要有效的信息抽取系统来从大量的生物医学文本中识别PPI信息。大多数现有的系统模型的PPI提取任务作为一个分类问题，并定制手工制作的功能集，包括域相关的功能。本文提出了一种基于深度双向长短期记忆（B-LSTM）技术的新方法，该方法利用词序列和依赖路径相关信息从文本中识别PPI信息。该模型在一个统一的框架中利用蛋白质和关系的联合建模，我们将其命名为最短依赖路径B-LSTM（sdpLSTM）模型。我们在两个流行的基准PPI数据集上进行实验，即AiMed和BioInfer。评价显示AiMed和BioInfer的F1评分值分别为86.45%和77.35%。与现有系统的比较表明，我们提出的方法达到国家的最先进的性能。
2018-07-05 cs.CL cs.IR
