Higher Order Recurrent Neural Networks
York University（约克大学）
在本文中，我们研究了新的神经网络结构，以更好地模拟长期依赖的序列数据。我们建议使用更多的记忆单元来跟踪循环神经网络（RNN）中更多的先前状态，这些状态都通过不同的加权路径作为反馈被递归地馈送到隐藏层。通过扩展RNN中流行的递归结构，我们为模型提供了更好的短期记忆机制来学习序列中的长期依赖性。类似于信号处理中的数字滤波器，我们将这些结构称为高阶RNN（HORNs）。与RNN类似，HORN也可以使用时间反向传播方法来学习。HORN通常适用于各种序列建模任务。在这项工作中，我们已经研究了HORNs的语言建模任务，使用两个流行的数据集，即Penn Treebank（PTB）和英语text8数据集。实验结果表明，提出的HORN在两个数据集上都具有最先进的性能，显着优于常规RNN和流行的LSTM。
2016-04-30 cs.AI cs.NE
Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；Department of Mathematics and Statistics（数学与统计系）
该研究提出用于解释RNN机理的情景记忆理论，通过设计变量绑定任务验证RNN会收敛到对应回路，并提出特权基算法提升RNN可解释性，为理解RNN机制和衔接人工神经网络与神经记忆模型提供了新路径。
2023-10-03 cs.AI cs.LG cs.NE
RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence Learning
National University of Singapore（新加坡国立大学）；Guangming Laboratory（光明实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of British Columbia（不列颠哥伦比亚大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
针对现实序列任务的模块化结构与环境变化下的泛化问题，提出融合多选择机制与软状态更新的RigLSTM模型，实验验证其在测试环境变化时的序列建模泛化能力更优。
2023-11-03 cs.AI cs.LG
Guiding Inferences in Connection Tableau by Recurrent Neural Networks
Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人与控制论研究所）；Faculty of Mathematics, Informatics and Mechanics, University of Warsaw（华沙大学数学、信息学与力学学院）
我们提出了一个数据集和实验应用循环神经网络（RNNs）的连接表证明演算指导子句选择。RNN将部分证明树的当前分支的文字序列编码为隐藏向量状态;使用它，系统选择一个子句来扩展证明树。描述了训练数据和学习设置，并讨论了结果，并与使用梯度提升树的现有技术进行了比较。此外，我们还进行了一个建模实验，在这个实验中，RNN不仅选择了一个现有的子句，而且完全构建了下一个tableau目标。
2020-04-09 cs.AI cs.LG cs.LO
High Order Recurrent Neural Networks for Acoustic Modelling
消失的长期梯度是训练标准循环神经网络（RNN）的一个主要问题，这可以通过具有存储单元的长短期记忆（LSTM）模型来缓解。然而，与存储单元相关的额外参数意味着LSTM层的参数是具有相同隐藏向量大小的RNN的四倍。本文使用高阶RNN（HORNN）解决消失梯度问题，该高阶RNN具有来自多个先前时间步的额外连接。使用英国英语多体裁广播（MGB 3）数据的语音识别实验表明，所提出的校正线性单元和sigmoid激活函数的HORNN架构比相应的RNN降低了4.2%和6.3%的单词出错率（WER），并给出了与（投影）LSTM相似的WER，同时仅使用20%-50%的递归层参数和计算。
2018-02-22 cs.AI cs.CL eess.AS
Exploitation of Hidden Context in Dynamic Movement Forecasting: A Neural Network Journey from Recurrent to Graph Neural Networks and General Purpose Transformers
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
本文评估了多种模型在动态运动预测中的性能，发现混合LSTM结合上下文信息在精度和效率上表现最佳，优于其他方法。
2026-05-14 cs.AI cs.LG eess.SP
Animal Behavior Classification via Accelerometry Data and Recurrent Neural Networks
CSIRO（澳大利亚联邦科学与工业研究组织）；NSW Department of Primary Industries（新南威尔士州初级产业部）
我们通过各种递归神经网络（RNN）模型使用加速度计数据研究动物行为的分类。我们评估了所考虑模型的分类性能和复杂性，这些模型具有不同深度和宽度的长短时记忆（LSTM）或门控递归单元（GRU）架构，使用通过项圈或耳标从牛获得的四个数据集。我们还包括两个国家的最先进的卷积神经网络（CNN）为基础的时间序列分类模型的评估。结果表明，与基于CNN的模型相比，基于RNN的模型可以实现相似或更高的分类精度，同时具有更少的计算和内存需求。我们还观察到，GRU架构的模型在分类准确性方面通常优于LSTM架构的模型，尽管复杂度较低。具有64个隐藏单元的单层单向GRU模型似乎在准确性和复杂性之间提供了良好的平衡，使其适合在边缘/嵌入式设备上实现。
2021-11-24 cs.AI cs.LG
On Computability, Learnability and Extractability of Finite State Machines from Recurrent Neural Networks
Université de Nantes（南特大学）
这项工作旨在阐明有限状态机（FSM）和循环神经网络（RNN）之间的联系。在这篇硕士论文中，研究的连接是三方面的：从循环神经网络中提取有限状态机，可学习性方面和计算连接。对于前者，探讨了长期存在的RNN隐藏状态空间在训练识别正则语言时的聚类假设，并通过深度学习泛化理论的最新进展提供了对该假设的新见解。至于可学习性，主动学习框架的扩展，更好地适合于用有限状态机逼近RNN的问题，提出了更好地形式化的问题的RNN逼近有限状态机的目的。在这个框架中的两个可能的pronons进行了理论分析。在可计算性方面，给出了训练为语言模型的RNN与不同类型的加权有限状态机之间的距离和等价性问题的新的计算结果。
2020-09-10 cs.AI cs.FL cs.LG
Restricted Recurrent Neural Tensor Networks: Exploiting Word Frequency and Compositionality
Institute of Informatics, Federal University of Rio Grande do Sul（联邦南里奥格兰德大学信息学院）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
增加递归神经网络（RNN）的容量通常涉及增加隐藏层的大小，从而显著增加计算成本。递归神经张量网络（RNTN）为每个单词使用不同的隐藏层权重来增加容量，但内存使用成本更高。在本文中，我们引入了限制递归神经张量网络（r-RNTN），它为频繁词汇保留不同的隐藏层权重，同时为不频繁词汇共享一组权重。复杂度评估表明，对于固定的隐藏层大小，r-RNTN提高语言模型的性能，RNN只使用一小部分的参数的不受限制的RNTN。这些结果适用于使用门控递归单位和长短期记忆的r-RNTN。
2018-05-11 cs.CL
Revisiting Bi-Linear State Transitions in Recurrent Neural Networks
Qualcomm AI Research（高通人工智能研究）
本文重新审视循环神经网络中的双线性状态转移，证明其是状态跟踪任务中隐藏状态演化的自然归纳偏置，并揭示其与任务复杂度的层级关系，Mamba位于最低复杂度中心。
2025-10-24 cs.CL cs.LG
Contextual Recurrent Neural Networks
fomoro（福莫罗）
有一个隐含的假设，即通过在有限时间内展开循环神经网络（RNN），为初始隐藏状态选择零值的错误指定可以通过后面的时间步长来减轻。这一假设已被证明在实践中工作，可能会建议替代初始化，但往往被忽视。在本文中，我们提出了一种方法参数化的初始隐藏状态的RNN。由此产生的架构，称为上下文RNN，可以端到端训练。关联检索任务的性能被发现，以提高条件的RNN初始隐藏状态的上下文信息从输入序列。此外，我们提出了一种新的方法，有条件地生成序列使用上下文RNN的隐藏状态参数化。
2019-02-09 cs.CL cs.LG
Increasing the Interpretability of Recurrent Neural Networks Using Hidden Markov Models
Harvard University（哈佛大学）
随着深度神经网络不断革新各种应用领域，人们越来越有兴趣使这些强大的模型更容易理解和解释，并缩小好的和坏的预测的原因。我们专注于循环神经网络（RNN），语音识别和翻译的最新模型。我们提高可解释性的方法是将RNN与隐马尔可夫模型（HMM）相结合，这是一种更简单，更透明的模型。我们探索了RNN和HMM的各种组合：一个在LSTM状态上训练的HMM;一个混合模型，首先训练HMM，然后给一个小的LSTM提供HMM状态分布并训练以填补HMM性能的缺口;以及一个联合训练的混合模型。我们发现LSTM和HMM学习了关于文本中特征的互补信息。
2016-09-30 cs.CL cs.LG stat.ML
Gated Recurrent Neural Tensor Network
Universitas Indonesia（印度尼西亚大学）；Nara Institute of Science and Technology（奈良先端科学技术大学）
递归神经网络（RNN）是一种强大的时序数据建模方案，需要捕获数据集的长期依赖关系，并使用强大的模型将其表示在隐藏层中，以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模，门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层（即，张量积）帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中，我们提出了一种新的RNN架构，将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中，我们提出的模型通过使用门控单元建模来学习长期依赖关系，并使用三维数组（张量）权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆（LSTM）RNN和门控递归单元（GRU）RNN，并将它们与其公式中的张量积结合起来。我们提出的RNN，被称为长短期记忆递归神经张量网络（LSTMRNTN）和门控递归单位递归神经张量网络（GRURNTN），是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验，结果表明，与我们的基线模型相比，我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Multiplicative Models for Recurrent Language Modeling
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
最近，人们对用于语言建模的乘法递归神经网络感兴趣。事实上，简单的递归神经网络（RNN）在生成序列时，由于隐藏状态之间的高度相关性，很难从过去的错误中恢复过来。这些挑战可以通过在隐藏状态更新中集成二阶项来缓解。一个这样的模型，乘法长短期记忆（mLSTM）是特别有趣的，在其原始配方，因为其二阶项的共享，被称为中间状态。我们通过引入新模型并在字符级语言建模任务上测试它们来探索这些架构改进。这使我们能够在循环语言建模中建立共享参数化的相关性。
2019-06-30 cs.CL cs.LG stat.ML
An Intrinsic Nearest Neighbor Analysis of Neural Machine Translation Architectures
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
早期的方法通过将递归和非递归神经机器翻译模型的隐藏状态馈送到不同的分类器中来间接地研究所捕获的信息。在本文中，我们期待在编码器隐藏状态的Transformer和循环机器翻译模型从最近邻居的角度来看。我们调查到什么程度的最近的邻居共享信息的基础词嵌入以及相关的WordNet条目。此外，我们还研究了最近邻居的潜在句法结构，以揭示句法相似性在将邻居聚集在一起方面的作用。我们比较Transformer和经常性的模型在一个更内在的方式捕获词汇语义和句法结构，与以前的作品使用的外在方法。与早期作品中的外在评价一致，我们的实验结果表明，Transformers在捕获词汇语义方面更优越，但在捕获底层语法方面不一定更好。此外，我们表明，在一个循环模型的向后递归层学习更多的单词的语义，而向前递归层编码更多的上下文。
2019-07-08 cs.CL cs.LG cs.NE
Hierarchical Recurrent Attention Network for Response Generation
Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）；Beihang University（北京航空航天大学）；Nankai University（南开大学）
我们研究了聊天机器人中的多轮响应生成，其中响应是根据会话上下文生成的。现有的工作已经模拟了上下文的层次结构，但没有足够的注意到这样一个事实，即在上下文中的单词和话语是不同的重要性。因此，他们可能会在上下文中丢失重要信息，并产生不相关的反应。我们提出了一个层次的递归注意力网络（HRAN）模型在一个统一的框架中的这两个方面。在HRAN中，一个层次化的注意力机制分别用词级注意和话语级注意来关注话语内和话语间的重要部分。利用单词级注意力，单词级编码器的隐藏向量被合成为话语向量，并被馈送到话语级编码器以构造上下文的隐藏表示。然后，由话语级注意力处理上下文的隐藏向量，并将其形成为用于解码响应的上下文向量。对自动评估和人类判断的实证研究表明，HRAN可以显着优于国家的最先进的多回合响应生成模型。
2017-01-25 cs.CL
Bi-Directional Recurrent Neural Ordinary Differential Equations for Social Media Text Classification
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
由于文本的嘈杂和简短性质，对Twitter等社交媒体中的帖子进行分类是困难的。基于递归神经网络（RNN）的序列分类模型对于分类本质上是连续的帖子是流行的。RNN假设隐藏的表示动态以离散的方式演化，并且不考虑发布的确切时间。在这项工作中，我们建议使用递归神经常微分方程（RNODE）进行社交媒体帖子分类，考虑发布时间，并允许隐藏表示的计算以时间敏感的连续方式发展。此外，我们提出了一种新的模型，双向RNODE（Bi-RNODE），它可以考虑在两个方向上的信息流的张贴时间预测后标签。我们的实验表明，RNODE和Bi-RNODE是有效的社会媒体中的谣言的立场分类的问题。
2021-12-23 cs.CL cs.LG
Analysis of Argument Structure Constructions in a Deep Recurrent Language Model
University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；University Hospital Erlangen（埃尔朗根大学医院）
本研究通过训练LSTM网络处理四种论元结构构式，并利用MDS、t-SNE和GDV分析隐藏层表征，发现循环神经语言模型能够自发形成与不同构式对应的聚类，表明其具有模拟人脑语言加工的潜力。
2024-08-06 cs.CL
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；IFLYTEK Research（科大讯飞研究院）
本文介绍了一种新的记忆神经网络结构，称为前馈顺序记忆网络（FSMN），它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中，我们已经应用FSMN的几个语言建模（LM）的任务。实验结果表明，FSMN中的记忆块可以学习到长历史的有效表示。实验表明，基于FSMN的语言模型不仅可以显著优于基于前馈神经网络（FNN）的LM，而且还可以显著优于流行的递归神经网络（RNN）LM。
2015-10-09 cs.CL cs.LG cs.NE
Grounded Recurrent Neural Networks
CIMS, New York University（纽约大学库朗数学科学研究所）；CSAIL & IMES, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所）
在这项工作中，我们提出了接地递归神经网络（GRNN），这是一种用于多标签预测的递归神经网络架构，它明确地将标签与递归隐藏状态的特定维度联系起来（我们称这个过程为“接地”）。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题，即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集，我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明，在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University（厦门大学）；Soochow University（苏州大学）；Tsinghua University（清华大学）
神经机器翻译（NMT）严重依赖于词级建模来学习输入句子的语义表示。但是，对于没有自然词分隔符的语言（例如，中文）中输入句子必须首先进行标记化，传统的NMT面临两个问题：1）难以找到用于源句子建模的最佳标记化粒度; 2）1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题，我们提出了基于词格的循环神经网络（RNN）编码器，它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入，并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此，基于词格的编码器不仅减轻了标记化错误的负面影响，而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明，该编码器优于传统的编码器。
2016-12-09 cs.CL
Going Wider: Recurrent Neural Network With Parallel Cells
Department of Computer Science, Nanjing University（南京大学计算机科学与技术系）
循环神经网络（Recurrent Neural Network，RNN）已广泛应用于序列建模。在RNN中，当前步骤中的隐藏状态与前一步骤中的隐藏状态完全连接，因此前一步骤中相关性较低的特征的影响可能会潜在地降低模型的学习能力。我们提出了一种简单的技术，称为并行细胞（PC），以提高循环神经网络（RNN）的学习能力。在每一层中，我们运行多个小的RNN单元，而不是一个大的单元。在本文中，我们评估PC上的2个任务。在PTB（Penn Tree Bank）的语言建模任务中，我们的模型通过将困惑度从78.6降低到75.3而优于最先进的模型。在汉英翻译任务中，我们的模型比基线模型提高了BLEU分数0.39分。
2017-05-03 cs.CL cs.LG cs.NE
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Computing Research Lab（MIT-IBM计算研究实验室）
本文提出三元线性注意力，通过将键、第二键和值的三元外积写入三维张量状态，以参数高效方式扩大RNN记忆容量，显著提升长上下文建模与召回性能。
2026-09-30 cs.CL cs.LG
Assessing the Memory Ability of Recurrent Neural Networks
Tianjin University（天津大学）；University of Padua（帕多瓦大学）；Beijing Institute of Technology（北京理工大学）
已知循环神经网络（RNN）可以在其隐藏层中记住由序列表达的部分语义信息（例如，一个句子）正在被处理。设计了不同类型的递归单元，使RNN能够在更长的时间跨度内记住信息。然而，不同递归单元的记忆能力在理论上和经验上仍然不清楚，从而限制了更有效和可解释的RNN的发展。为了解决这个问题，本文识别和分析了影响RNN记忆能力的内部和外部因素，并提出了一个语义欧氏空间来表示序列所表达的语义。基于语义欧氏空间，定义了一系列评价指标来衡量不同递归单元的记忆能力，并分析了它们的局限性。这些评估指标也为训练过程中为不同的RNN选择合适的序列长度提供了有用的指导。
2020-02-18 cs.CL cs.LG cs.NE
Visualizing RNN States with Predictive Semantic Encodings
Simon Fraser University（西蒙弗雷泽大学）
递归神经网络是一种有效和流行的工具，用于建模序列数据，如自然语言文本。然而，它们的深层性质和大量参数对那些打算精确研究它们如何工作的人构成了挑战。我们提出了一种视觉技术，它在递归神经网络中隐藏状态的语义背后提供了一种高层次的直觉。这种语义编码允许在整个模型中对隐藏状态进行比较，而不依赖于它们的内部细节。所提出的技术显示在概念可视化工具，这是证明可视化的语言建模的自然语言处理任务。
2019-08-01 cs.CL
Online Keyword Spotting with a Character-Level Recurrent Neural Network
Seoul National University（首尔国立大学）
在本文中，我们提出了一个上下文感知的关键字定位模型，采用字符级循环神经网络（RNN）的连续语音中的口语术语检测。RNN使用连接主义时间分类（CTC）进行端到端训练，以生成字符和词边界标签的概率。在训练和测试中不需要语音转录，senone建模或系统字典。此外，可以通过编辑基于文本的关键字列表来轻松添加和修改关键字，而无需重新训练RNN。此外，单向RNN处理无限长的输入音频流而无需预分割，并且在话语完成之前以低延迟检测关键字。实验结果表明，所提出的关键字发现器显着优于深度神经网络（DNN）和隐马尔可夫模型（HMM）的关键字填充模型，即使以更少的计算。
2015-12-30 cs.CL cs.LG cs.NE
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google（谷歌）
我们最近已经证明，作为语音识别的声学模型，深度长短期记忆（LSTM）递归神经网络（RNN）的性能优于前馈深度神经网络（DNN）。最近，我们已经证明，使用这种LSTM RNN的序列训练上下文相关（CD）隐马尔可夫模型（HMM）声学模型的性能可以与使用连接主义时间分类（CTC）初始化的序列训练电话模型相等。在本文中，我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明，帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Reason Through the Latent! Making Latent Visual Reasoning Necessary
Korea University（高丽大学）；AIGEN Sciences（AIGEN 科学公司）
本文提出因果视觉循环推理（CVRR），通过强制循环计算作为图像条件路径，确保潜在视觉推理真正依赖视觉信息，并在多个基准上验证其有效性。
2026-09-14 cs.AI cs.CL cs.CV
Multi-Zone Unit for Recurrent Neural Networks
Tencent Inc.（腾讯公司）；Tsinghua University（清华大学）
循环神经网络（RNN）已被广泛用于处理序列学习问题。依赖于输入的转移函数将新的观测值折叠成隐藏状态，以顺序地构建任意长度序列的固定长度表示，在RNN中起着关键作用。基于单空间合成，现有RNN中的过渡函数通常难以捕获复杂的长程依赖关系。在本文中，我们介绍了一种新的RNN多区域单元（MZU）。其核心思想是设计一个过渡功能，能够模拟多种空间组成。MZU由三个组件组成：区域生成、区域合成和区域聚合。在字符级语言建模任务和基于方面的情感分析任务的多个数据集上的实验结果证明了MZU的优越性。
2019-11-17 cs.CL
Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model
New York University（纽约大学）
条件递归语言建模的最新进展主要集中在网络架构（例如，注意力机制），学习算法（例如，调度采样和序列级训练）和新颖的应用（例如，图像/视频描述生成、语音识别等）另一方面，我们注意到解码算法/策略还没有被研究得那么多，并且使用贪婪或束搜索已经成为标准。在本文中，我们提出了一种新的解码策略，其动机是早期的观察，即深度神经网络的非线性隐藏层拉伸数据流形。该策略在不增加通信开销的情况下具有良好的并行性，同时改进了现有的译码算法。我们用基于注意力的神经机器翻译对En->Cz翻译任务进行了广泛的评估。
2016-05-12 cs.CL cs.LG stat.ML
Restricted Recurrent Neural Networks
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
递归神经网络（RNN）及其变体，如长短期记忆（LSTM）和门控递归单元（GRU），已成为许多研究领域（包括自然语言处理和语音数据分析）中学习连续性在线数据的标准构建块。在本文中，我们提出了一种新的方法来显着减少RNN中的参数数量，同时保持与经典RNN相当甚至更好的性能。新的建议，被称为限制递归神经网络（RRNN），限制对应于输入数据和隐藏状态在每个时间步的权重矩阵共享一个大比例的参数。新架构可以被视为其经典对应物的压缩，但它不需要预训练或复杂的参数微调，这两者都是大多数现有压缩技术中的主要问题。在自然语言建模上的实验表明，在压缩率为50%左右的情况下，限制递归结构与经典递归结构的结果基本相当。特别是，受限LSTM可以用更少的参数来超越经典RNN。
2019-11-14 cs.CL cs.LG
Variational Recurrent Neural Machine Translation
Xiamen University（厦门大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Soochow University（苏州大学）
部分受变分递归神经网络成功应用的启发，本文提出了一种新的变分递归神经机器翻译（VRNMT）模型。与变分NMT不同的是，VRNMT引入了一系列潜在的随机变量，而不是单一的潜在变量，以生成的方式来模拟句子的翻译过程。具体地，潜在随机变量被包括在具有来自变分自编码器的元素的NMT解码器的隐藏状态中。通过这种方式，这些变量被递归地生成，这使得它们能够进一步捕获不同时间步的输出翻译之间的强而复杂的依赖关系。为了应对在合并潜在变量的过程中执行有效的后验推理和大规模训练的挑战，我们构建了一个神经后验近似器，并为其配备了重新参数化技术来估计变分下界。在汉英和英德翻译任务上的实验表明，该模型与传统的和变分的NMT模型相比，都取得了显著的改进。
2018-01-16 cs.CL
Introducing the Hidden Neural Markov Chain framework
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；IBM GSB France（IBM法国全球业务咨询服务部）；Watson Department（沃森部门）
近年来，神经网络模型在计算机视觉、语音处理等领域取得了令人瞩目的成就。对于顺序数据，特别是对于自然语言处理（NLP）任务，递归神经网络（RNN）及其扩展、长短期记忆（LSTM）网络和门控递归单元（GRU）是最常用的模型之一，具有“项到项”的顺序处理。然而，如果说许多工作都是对RNN的扩展和改进，那么很少有人专注于以“项到项”的方式开发其他使用神经网络进行顺序数据处理的方法。本文提出了原始的隐神经马尔可夫链（HNMC）框架，一个新的系列的顺序神经模型。它们不是基于RNN，而是基于隐马尔可夫模型（HMM），一种概率图形模型。这种神经扩展是可能的，这要归功于最近用于HMM恢复的熵向前向后算法。我们提出了三种不同的模型：经典的HNMC，HNMC 2，和HNMC-CN。在描述了我们模型的整体结构之后，我们将它们与经典的RNN和双向RNN（BiRNN）模型进行了一些序列标记任务的比较：组块，词性标注和命名实体识别。对于每个实验，无论使用什么架构或嵌入方法，我们提出的模型之一都具有最佳结果。它显示了这种新的神经序列框架的潜力，它可以为新模型开辟道路，并最终可能与流行的BiLSTM和BiGRU竞争。
2021-02-17 cs.CL cs.LG
Call Attention to Rumors: Deep Attention Based Recurrent Neural Networks for Early Rumor Detection
The University of Queensland（昆士兰大学）；Deakin University（迪肯大学）；The University of New South Wales（新南威尔士大学）
社交媒体在沟通和信息传播方面的泛滥，使其成为传播谣言的理想平台。在谣言扩散阶段自动揭穿谣言被称为\textit{early rumor detection}，它指的是处理关于有争议的事实主张的连续帖子，这些事实主张随着时间的推移而发生某些变化和高度文本重复。因此，识别趋势谣言需要一个高效而灵活的模型，该模型能够捕获帖子之间的长期依赖关系，并为准确的早期检测产生不同的表示。然而，这是一个具有挑战性的任务，将传统的分类算法应用于谣言检测的早期，因为他们依赖于手工制作的功能，需要密集的人工努力的情况下，大量的职位。本文提出了一种基于循环神经网络（RNN）的深度注意模型，用于学习序列帖子的\textit{selectively}时间隐藏表示，以识别谣言。该模型将软注意力深入到递归中，同时汇集出具有特定焦点的不同特征，并产生隐藏的表示，以捕获相关帖子随时间的上下文变化。在社交媒体网站上收集的真实数据集上进行的大量实验表明：（1）基于深度注意力的RNN模型优于依赖手工特征的最新技术;（2）软注意力机制的引入可以有效地提前从原始帖子中提取谣言的相关部分;（3）所提出的方法比竞争对手更快，更准确地检测谣言。
2017-04-20 cs.CL cs.SI
Accelerating recurrent neural network language model based online speech recognition system
DMC R&D Center, Samsung Electronics（三星电子DMC研发中心）
提出了一种基于循环神经网络的在线语音识别语言模型的加速方法。首先，为了减少LM查询的数量，引入了对过去的隐藏层输出（历史向量）进行有损压缩并进行缓存。接下来，RNNLM计算以CPU-GPU混合方式部署，在更有利的平台上计算模型的每一层。CPU和GPU之间的数据交换所增加的开销通过逐帧优化策略来补偿。LibriSpeech测试集上的性能评估表明，历史向量精度的降低提高了平均识别速度的1.23倍，精度下降最小。另一方面，CPU-GPU混合并行化使基于RNNLM的实时识别速度提高了四倍。
2018-01-30 cs.CL cs.LG
