Improving Tree-LSTM with Tree Attention
University of Western Ontario（西安大略大学）
在自然语言处理中，经常需要从树的拓扑结构中提取信息。句子结构可以通过依赖树或选区树结构来表示。出于这个原因，LSTM的一个变体，名为Tree-LSTM，被提出来处理树拓扑。在本文中，我们通过在Tree-LSTM单元中编码可分解注意力的变体，为依赖树和选区树设计了一个广义注意力框架。我们在语义相关性任务上评估了我们的模型，与基于Tree-LSTM的方法相比，取得了显着的结果，没有注意力，以及其他神经和非神经方法，与基于Tree-LSTM的方法相比，注意力效果良好。
2019-01-01 cs.CL cs.LG
Predicting Punctuation in Ancient Chinese Texts: A Multi-Layered LSTM and Attention-Based Approach
针对古汉语文本无标点导致解读困难的问题，本研究在已有工作基础上提出结合多头注意力机制的双向多层LSTM方法，实验证明其效果显著优于无相关组件的RNN。
2024-09-16 cs.CL
Who is Killed by Police: Introducing Supervised Attention for Hierarchical LSTMs
Hanoi University of Science and Technology（河内理工大学）；Montreal Institute for Learning Algorithms, University of Montreal（蒙特利尔大学蒙特利尔学习算法研究所）；University of Oregon（俄勒冈大学）
随着警察枪击事件越来越受到公众的关注，寻找被警察杀害的人的名字变得越来越重要（警察杀人检测）。不幸的是，在文献中没有太多的工作来解决这个问题。该领域的早期工作\cite{keith2017identifying}提出了一种基于期望最大化（EM）的远程监督框架来处理文档中名称的多次出现。然而，这种基于EM的框架不能充分利用深度学习模型，需要使用手工设计的特征来提高检测性能。在这项工作中，我们提出了一种新的深度学习方法来解决警察杀人识别问题。该方法采用分层LSTM对包含感兴趣人名的多个句子进行建模，并引入基于语义词表和依赖树的监督注意力机制，对重要上下文词语进行加权.我们的实验证明了所提出的模型的好处，并产生最先进的性能，警察杀人检测。
2018-07-09 cs.CL
Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aware Attention using Latent Entity Typing
Hanyang University（汉阳大学）
对句子中实体对之间的语义关系进行分类是自然语言处理的一项重要任务。大多数以前的关系分类模型依赖于由NLP工具获得的高级词汇和句法特征，如WordNet，依赖解析器，词性（POS）标记器和命名实体识别器（NER）。此外，基于注意力机制的最新神经模型没有充分利用实体的信息，而实体的信息可能是关系分类的最关键特征。为了解决这些问题，我们提出了一种新的端到端的递归神经模型，它结合了一个实体感知的注意力机制与潜在的实体类型（LET）的方法。我们的模型不仅有效地利用了实体及其潜在类型作为特征，而且通过可视化应用于我们的模型和LET结果的注意力机制，使其更具可解释性。在SemEval-2010 Task 8（最流行的关系分类任务之一）上的实验结果表明，我们的模型在没有任何高级特征的情况下优于现有的最先进的模型。
2019-01-23 cs.CL
Attention-based Bidirectional LSTM for Deceptive Opinion Spam Classification
Persistent Systems（Persistent Systems 公司）
在线评论在电子商业中起着至关重要的决策作用。大多数人根据各自平台上发布的评论决定去哪些地方、去哪家餐厅、买什么以及从哪里买。欺诈性评论或意见垃圾邮件被归类为不真实或欺骗性评论。对产品或餐厅的正面评论有助于吸引顾客，从而增加销售额，而负面评论可能会阻碍餐厅的发展或产品的销售，从而导致名誉受损和损失。欺诈性评论是故意在各种在线评论平台上发布，以欺骗客户购买，访问或分散对产品或餐厅的注意力。它们也是为了赞扬或诋毁产品的声誉而编写的。这项工作的目的是检测和分类的评论是欺骗性的或真实的。它涉及使用各种深度学习技术对评论进行分类，并概述了涉及基于注意力的双向LSTM的拟议方法，以解决评论中与语义信息相关的问题，并对基线机器学习技术进行了比较研究。
2021-12-29 cs.CL
Twitter Sentiment Analysis via Bi-sense Emoji Embedding and Attention-based LSTM
University of Rochester（罗切斯特大学）；Microsoft Research AI（微软研究院AI）
大规模社交媒体数据的情感分析对于弥合政治选举预测、个人和公众情绪状态监测和分析等社交媒体内容与现实世界活动之间的差距非常重要。虽然基于Twitter和Instagram等平台的文本情感分析已经得到了很好的研究，但对广泛使用的表情符号在情感分析中的作用的分析仍然很轻。在本文中，我们提出了一个新的计划，Twitter的情感分析与表情符号的额外关注。我们首先分别学习积极和消极情感推文下的双义表情符号嵌入，然后通过使用基于注意力的长短期记忆网络（LSTM）关注这些双义表情符号嵌入来训练情感分类器。我们的实验表明，双意义嵌入是有效的情感感知的表情符号的嵌入提取和性能优于最先进的模型。我们还将注意力可视化，以表明双义表情符号嵌入为注意力机制提供了更好的指导，以获得对语义和情感的更强大的理解。
2018-08-07 cs.CL cs.MM
Speech Emotion Recognition using Attention-based LSTM-Network with Residual Connection
Institute of Cybernetics and Machine Learning, Belarusian State University（白俄罗斯国立大学信息学与机器学习学院）
提出ResLSTM-SA轻量级架构，在LSTM中集成残差连接和软注意力，在RAVDESS数据集上以46.8k参数达到0.6517 UAR，优于传统基线且适合边缘部署。
2026-06-02 cs.CL cs.LG cs.SD
Conditioning LSTM Decoder and Bi-directional Attention Based Question Answering System
Uber Technologies, Inc（优步科技公司）；Stanford University（斯坦福大学）
近年来，神经网络在问答中的应用越来越广泛。在本文中，我实现了一个带有双向注意流层的模型，连接了一个多层LSTM编码器，连接了一个起始索引解码器和一个调节结束索引解码器。我引入了一个新的结束索引解码器层，条件是开始索引输出。实验结果表明，该方法使模型性能提高了15.16%。在预测方面，提出了一种新的智能跨度方程，在开始索引和结束索引中同时奖励短的答案长度和高的概率，进一步提高了预测精度。最好的单一模型在测试集上的F1得分为73.97%，EM得分为64.95%。
2019-05-02 cs.AI cs.CL cs.LG
Self-Attention Networks for Intent Detection
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
自注意力网络（SAN）在各种自然语言处理（NLP）场景中表现出良好的性能，特别是在机器翻译中。SAN的要点之一是从数据中捕获长距离和多尺度依赖关系的能力。在本文中，我们提出了一种新的意图检测系统，该系统基于自注意力网络和Bi-LSTM。与以前的解决方案相比，我们的方法通过使用Transformer模型和基于深度平均网络的通用句子编码器进行了改进。我们通过不同的评估指标对Snips，Smart Speaker，Smart Lights和ATIS数据集进行了评估。该模型的性能与具有相同数据集的LSTM进行了比较。
2020-06-28 cs.CL
End-to-End Speaker Height and age estimation using Attention Mechanism with LSTM-RNN
Nanyang Technological University（南洋理工大学）
利用声学特征自动估计说话者的身高和年龄被广泛用于人机交互、取证等目的。在这项工作中，我们提出了一种使用注意力机制来构建端到端的新方法。身高和年龄估计架构。注意力机制与长短期记忆（LSTM）编码器相结合，LSTM编码器能够捕获输入声学特征中的长期依赖性。我们修改了传统使用的注意力-它计算上下文向量的注意力只跨时间帧的总和-通过引入一个修改后的上下文向量，考虑到总的注意力跨编码器单元以及，给我们一个新的交叉注意力机制。除此之外，我们还研究了一种多任务学习方法，用于联合估计说话人的身高和年龄。我们在TIMIT语料库上对模型进行了训练和测试。我们的模型优于文献中的几种方法。结果表明，该模型对男性和女性身高的均方根误差分别为6.92cm和6.34cm，对男性和女性年龄的均方根误差分别为7.85a和8.75a。通过跟踪分配给不同音素的注意权重，我们发现元音音素是最重要的，哨声音素是最不重要的估计任务。
2021-01-13 cs.CL cs.LG cs.SD
Long Short-Term Attention
Ocean University of China（中国海洋大学）
注意是人类重要的认知过程，它帮助人类在感知和学习过程中集中注意力于关键信息。然而，许多机器学习模型虽然能够记住数据的信息，但它们没有注意力机制。例如，长短期记忆（LSTM）网络能够记住序列信息，但它不能特别注意部分序列。在本文中，我们提出了一种称为长短期注意力（LSTA）的新模型，它将注意力机制无缝集成到LSTM的内部细胞中。LSTA不仅能处理长短期依赖关系，还能利用注意力机制集中于序列的重要信息。大量的实验表明，LSTA在序列学习任务上优于LSTM和相关模型。
2019-09-05 cs.CL cs.LG cs.NE
Refining Raw Sentence Representations for Textual Entailment Recognition via Attention
The University of Tokyo（东京大学）
在本文中，我们介绍了Rivercorners团队在2017年RepEval共享任务中使用的模型。首先，我们的模型通过使用双向LSTM将一对句子单独编码为可变长度表示。然后，它通过简单的聚合函数创建固定长度的原始表示，然后使用注意力机制对其进行细化。最后，它将两个句子的精确表示组合成一个用于分类的向量。使用该模型，我们在匹配和不匹配的评估轨道中分别获得了72.057%和72.055%的测试准确率，优于LSTM基线，并获得了类似于依赖于句子之间共享信息的模型（ESIM）的性能。当使用集成时，准确率分别提高到72.247%和72.827%。
2017-07-12 cs.CL
Interpretable Structure-aware Document Encoders with Hierarchical Attention
University of California, San Diego（加州大学圣迭戈分校）；Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
我们提出了一种方法来创建文件表示，反映其内部结构。我们修改Tree-LSTM，将单词和句子等基本元素分层合并为复杂度不断增加的块。我们的结构树-LSTM在各个组件及其组合上实现了分层的注意力机制。因此，我们强调Tree-LSTM对于大于句子的文本的有用性。我们表明，结构感知编码器可以用来提高性能的文件分类。我们证明，我们的方法是弹性的变化的基本构建块，因为它表现良好的句子和词嵌入。结构树-LSTM通过利用结构线索在两个数据集上优于所有基线。我们通过可视化我们的模型如何在文档中分配注意力来展示我们的模型的可解释性。在来自医疗领域的第三个数据集上，我们的模型实现了与最先进技术竞争的性能。这一结果表明，结构树-LSTM可以利用文本结构以外的依赖关系，例如同一患者的一组报告。
2019-10-05 cs.AI cs.CL cs.LG
Jointly Trained Sequential Labeling and Classification by Sparse Attention Neural Networks
Oregon State University（俄勒冈州立大学）；IBM（国际商业机器公司）
句级分类和序列标注是语言理解的两项基本任务。虽然这两个任务通常是单独建模的，但实际上，它们通常是相关的，例如在意图分类和槽填充中，或者在主题分类和命名实体识别中。为了利用它们之间的相关性带来的潜在好处，我们提出了一个联合训练的模型，用于通过长短期记忆（LSTM）网络同时学习这两个任务。该模型从LSTM的逐步输出隐藏表示中预测词级类别和词级标签序列。我们还引入了一种新的机制，“稀疏注意力”，以不同的加权词的语义相关性的基础上，以分级分类。该方法在ATIS和TREC数据集上的性能优于基线模型。
2017-09-28 cs.CL
Research on a hybrid LSTM-CNN-Attention model for text-based web content classification
Vasyl Stefanyk Precarpathian National University（瓦西里·斯捷凡尼克喀尔巴阡国立大学）
本文提出混合LSTM-CNN-Attention模型，通过整合注意力机制提升文本类Web内容分类性能，实验显示其在准确率、精确率等指标上均优于基线模型。
2025-12-26 cs.CL cs.LG
vieCap4H-VLSP 2021: Vietnamese Image Captioning for Healthcare Domain using Swin Transformer and Attention-based LSTM
Sejong University（世宗大学）；Ton Duc Thang University（孙德胜大学）；ASICLAND；Northeastern University（东北大学）；Deakin University（迪肯大学）
本研究介绍了我们在2021年越南语言和语音处理（VLSP）挑战赛的文本处理任务中为医疗保健领域自动越南语图像描述的方法，如图1所示。近年来，图像描述通常采用基于卷积神经网络的架构作为编码器，并采用长短期记忆（LSTM）作为解码器来生成句子。这些模型在不同的数据集中表现得非常好。我们提出的模型也有一个编码器和一个解码器，但我们在编码器中使用Swin Transformer，在解码器中使用LSTM和注意力模块。本研究介绍了我们的训练实验和技术在比赛中使用。我们的模型在vietCap4H数据集上获得了0.293的BLEU4分数，并且该分数在私人排行榜上排名第3位$^{rd}$。我们的代码可以在\url{https://git.io/JDdJm}上找到。
2022-09-03 cs.AI cs.CL cs.CV
Attention-Based LSTM Network for COVID-19 Clinical Trial Parsing
Novartis（诺华公司）
COVID-19临床试验设计是开发用于预防和治疗COVID-19的疗法的关键任务。在这项研究中，我们应用深度学习方法从COVID-19试验中提取合格标准变量，以实现试验设计和优化的定量分析。具体来说，我们训练基于注意力的双向长短期记忆（Att-BiLSTM）模型，并使用最佳模型来提取实体（即，变量）。我们比较了Att-BiLSTM和传统的基于本体的方法的性能。在一个基准数据集上的结果表明，Att-BiLSTM优于本体模型。Att-BiLSTM实现了0.942的精度，0.810的召回率和0.871的F1，而本体模型仅实现了0.715的精度，0.659的召回率和0.686的F1。我们的分析表明，Att-BiLSTM是一种有效的方法来表征COVID-19临床试验中的患者人群。
2020-12-18 cs.CL cs.LG
Identifying Protein-Protein Interaction using Tree LSTM and Structured Attention
University of Western Ontario（西安大略大学）
识别蛋白质之间的相互作用对于理解潜在的生物过程非常重要。从原始文本中提取蛋白质相互作用（PPI）通常非常困难。以前的监督学习方法在人类注释的数据集上使用手工制作的特征。在本文中，我们提出了一种新的树递归神经网络结构的注意力架构进行PPI。我们的架构在AIMed和BioInfer基准数据集上实现了最先进的结果（精度，召回率和F1分数）。此外，我们的模型实现了显着的改进，以前的最佳模型没有任何显式的特征提取。我们的实验结果表明，传统的递归网络的监督PPI问题相比，树递归网络的性能较差。
2018-07-27 cs.CL cs.IR cs.LG
Optimizing News Text Classification with Bi-LSTM and Attention Mechanism for Efficient Data Processing
University of California, Irvine（加州大学欧文分校）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Southwest Jiaotong University（西南交通大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
针对传统人工新闻分类低效的问题，本文提出结合Bi-LSTM与注意力机制的深度学习自动分类方案，显著提升了分类准确性与时效性，并减少了人工干预。
2024-09-23 cs.CL cs.IR
Topical Stance Detection for Twitter: A Two-Phase LSTM Model Using Attention
IBM Research（IBM研究院）；NSIT（Netaji Subhas Institute of Technology）；IIT（印度理工学院）
主题立场检测问题解决了检测文本内容相对于给定主题的立场：给定文本内容的情感是否对给定主题有利（积极），反对（消极）或无（中性）。使用注意力的概念，我们开发了一个两阶段的解决方案。在第一阶段，我们对主观性进行分类--一条给定的推文对于给定的主题是中立的还是主观的。在第二阶段，我们对主观推文的情感进行分类（忽略中性推文）-给定的主观推文是否对主题持赞成或反对的立场。我们为每个阶段提出了一个基于长短期记忆（LSTM）的深度神经网络，并在每个阶段嵌入注意力。在SemEval 2016立场检测Twitter任务数据集上，我们获得了68.84%的最佳情况宏F分数和60.2%的最佳情况准确率，优于现有的基于深度学习的解决方案。我们的框架T-PAN是主题立场检测文献中的第一个，它在两阶段架构中使用了深度学习。
2018-01-09 cs.CL cs.IR cs.SI
SI-LSTM: Speaker Hybrid Long-short Term Memory and Cross Modal Attention for Emotion Recognition in Conversation
针对对话情感识别中说话人状态追踪与多模态交互建模不足的问题，提出SI-LSTM循环结构并结合跨模态注意力，在两个基准数据集上优于现有基线。
2023-06-06 cs.AI cs.CL cs.HC
The Role of Conversation Context for Sarcasm Detection in Online Interactions
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）
用于讽刺检测的计算模型通常依赖于孤立的话语内容。然而，如果没有额外的语境，说话人的讽刺意图并不总是显而易见的。聚焦于社交媒体讨论，我们研究两个问题：（1）会话上下文的建模是否有助于讽刺检测和（2）我们是否可以理解会话上下文的哪一部分触发了讽刺回复。为了解决第一个问题，我们研究了几种类型的长短期记忆（LSTM）网络，它们可以对会话上下文和讽刺反应进行建模。我们证明了条件LSTM网络（Rocktaschel等人，2015），并且对上下文和响应具有句子级别注意力的LSTM网络优于仅读取响应的LSTM模型。为了解决第二个问题，我们对LSTM模型产生的注意力权重进行了定性分析，并将结果与人类在任务上的表现进行了比较。
2017-07-19 cs.AI cs.CL cs.LG
Efficient Urdu Caption Generation using Attention based LSTM
Information Technology University（信息技术大学）
深度学习的最新进展为解决十多年来仍未解决的现实世界问题创造了许多机会。自动字幕生成是一个重要的研究领域，研究界已经在大多数常见语言（如英语）上做了大量的工作。乌尔都语是巴基斯坦的国语，在巴基斯坦-印度次大陆地区也有很多人使用和理解，但还没有为乌尔都语字幕生成做过任何工作。我们的研究旨在通过使用专门用于乌尔都语的序列建模技术开发基于注意力的深度学习模型来填补这一空白。我们通过翻译包含700张“人”图像的“Flickr 8 k”数据集的一个子集，准备了一个乌尔都语数据集。我们在这个数据集上评估了我们提出的技术，并表明它可以在乌尔都语中达到0.83的BLEU分数。我们通过使用更好的CNN架构和优化技术来改进以前的最先进技术。此外，我们提供了一个讨论如何生成的字幕可以是正确的语法明智的。
2021-06-19 cs.CL cs.LG
Generating Descriptions for Sequential Images with Local-Object Attention and Global Semantic Context Modelling
Guangdong Ocean University（广东海洋大学）；University of Aberdeen（阿伯丁大学）；Tianjin University of Technology（天津理工大学）；Guangdong University of Technology（广东工业大学）
在本文中，我们提出了一个端到端的CNN-LSTM模型，用于生成具有本地对象注意力机制的序列图像的描述。为了生成连贯的描述，我们使用多层感知器捕获全局语义上下文，该感知器学习序列图像之间的依赖关系。一个可扩展的LSTM网络被用来解码序列描述。实验结果表明，我们的模型在微软发布的数据集上的三个不同的评估指标上优于基线。
2020-12-02 cs.CL cs.CV
Deep neural network-based classification model for Sentiment Analysis
Wuhan University of Technology（武汉理工大学）
社交网络的日益繁荣给用户情感倾向挖掘带来了巨大的挑战。随着越来越多的研究者关注网络用户的情感倾向，基于显性文本的情感分类研究取得了丰富的成果。然而，对用户内隐情感的研究还处于起步阶段。针对隐式情感分类的难点，开展了基于深度神经网络的隐式情感分类模型研究。建立了基于DNN、LSTM、Bi-LSTM和CNN的分类模型，对用户隐含情感文本的倾向性进行判断。基于Bi-LSTM模型，研究了词级注意力机制的分类模型。在公开数据集上的实验结果表明，所建立的LSTM系列分类模型和CNN分类模型均能取得良好的情感分类效果，分类效果明显优于DNN模型。基于Bi-LSTM的注意力机制分类模型在正类别识别中获得了最优R值。
2019-07-03 cs.CL cs.IR cs.LG
Seq2Seq Model-Based Chatbot with LSTM and Attention Mechanism for Enhanced User Interaction
Moulay Ismail University（穆莱·伊斯梅尔大学）；Fordham Univ.（福特汉姆大学）；Univ. of North texas（北得克萨斯大学）；Point Park Univ.（匹兹堡点公园大学）
本文提出一种基于Seq2Seq编码器-解码器架构、融合LSTM和注意力机制且不依赖预定义API的聊天机器人，在摩洛哥旅游数据集上训练、验证和测试，分别取得99.58%、98.03%和94.12%的准确率，验证了专用AI在细分领域提升用户体验的潜力。
2024-12-27 cs.CL cs.ET
A Novel Plagiarism Detection Approach Combining BERT-based Word Embedding, Attention-based LSTMs and an Improved Differential Evolution Algorithm
Isfahan University of Technology（伊斯法罕理工大学）；Universidade da Beira Interior（贝拉内政大学）；Universidad de Guadalajara（瓜达拉哈拉大学）；Semnan University（塞姆南大学）
针对抄袭检测中的类别不平衡、梯度训练对初始化敏感等问题，提出结合BERT词嵌入、注意力LSTM、改进聚类变异DE预训练及焦点损失的检测方法，在三个基准数据集上性能优于传统和种群类方法。
2023-05-03 cs.CL cs.LG cs.NE
StockBot 2.0: Vanilla LSTMs Outperform Transformer-based Forecasting for Stock Prices
Department of Mechanical Engineering, Stanford University, CA 94305-4040, USA（机械工程系，斯坦福大学）
StockBot 2.0通过vanilla LSTM在股票价格预测中优于基于变换器的模型，展示了递归序列模型在金融时间序列预测中的鲁棒性和数据效率。
2026-01-01 cs.CE cs.CL cs.LG
