Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology(麻省理工学院);MILA - Universite de Montreal(蒙特利尔大学MILA)
我们提出了一种新的基于递归神经网络(RNN)的模型,该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM,GRU和酉RNN。我们的经验都表明,正交/酉RNN缺乏遗忘能力,并且在遗忘不相关信息的同时,RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果,以及我们的模型在许多自然的顺序任务,包括bAbI问答,TIMIT语音频谱预测,宾州树库,和合成任务,涉及长期的依赖关系,如算法,括号,去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Least Redundant Gated Recurrent Neural Network
本文提出深度记忆更新(DMU)循环神经网络,通过深度变换滞后状态与输入来更新记忆,训练稳定快速,实验表明其性能可媲美或超越LSTM、GRU等主流架构。
2023-04-17 cs.NE
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University(清华大学);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
循环神经网络(RNN)在序列建模方面表现出明显的优势,特别是具有门控单元的网络,如长短期记忆(LSTM)和门控循环单元(GRU)。然而,在许多应用中,卓越性能背后的动态特性仍然不清楚,例如,自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式,其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改:(1)LSTM中的懒惰单元更新,以及(2)残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
Simplified Gating in Long Short-term Memory (LSTM) Recurrent Neural Networks
标准LSTM循环神经网络虽然在长距离依赖序列应用中非常强大,但具有高度复杂的结构和相对较大的(自适应)参数。在这项工作中,我们提出了标准LSTM递归神经网络架构和三个新的参数减少的变体之间的经验比较,这些变体是通过从各个门控信号中消除输入信号、偏置和隐藏单元信号的组合而获得的。在两个序列数据集上的实验表明,这三个新的变体,简称为LSTM 1,LSTM 2和LSTM 3,可以用更少的(自适应)参数实现与标准LSTM模型相当的性能。
2017-01-12 cs.NE stat.ML
Minimal Gated Unit for Recurrent Neural Networks
Nanjing University(南京大学)
最近循环神经网络(RNN)在处理序列数据方面非常成功。然而,理解RNN并找到RNN的最佳实践是一项艰巨的任务,部分原因是存在许多竞争和复杂的隐藏单元(如LSTM和GRU)。我们提出了一种RNN的门单元,称为最小门单元(MGU),因为它只包含一个门,这是所有门隐藏单元中的最小设计。MGU的设计受益于文献中对LSTM和GRU的评估结果。在不同序列数据上的实验表明,MGU具有与GRU相当的准确性,但具有更简单的结构,更少的参数和更快的训练速度。因此,MGU适用于RNN的应用。它简单的架构也意味着它更容易评估和调整,原则上更容易从理论和经验上研究MGU的属性。
2016-03-31 cs.LG cs.NE
Comprehensive forecasting based analysis using stacked stateless and stateful Gated Recurrent Unit models
Swami Vivekananda Institute of Science & Technology(斯瓦米·维韦卡南达科学技术学院);Department of Computer Science and Engineering(计算机科学与工程系)
光伏发电是一种可再生能源,在工业中得到了广泛的应用。在经济困难的国家,它可能是一种潜在的电能来源,因为其他不可再生资源已经耗尽。现在,如果在研究之前在一个地区安装光伏电池,它可能无法提供运行该地区所需的期望能量输出。因此,预测是必需的,它可以引出输出从一个特定的区域考虑其几何坐标,太阳能参数,如GHI和天气参数,如温度和风速等,我们的论文探讨了四个这样的地区,其中三个是在西孟加拉邦和一个外部描绘与使用堆叠门控递归单元(GRU)模型的太阳辐照度预测。我们已经检查了状态堆叠门控递归单元模型显着提高了预测精度。
2020-08-14 cs.LG cs.NE
A recurrent neural network without chaos
Loyola Marymount University(洛约拉马利蒙特大学);California State University, Long Beach(加州州立大学长滩分校)
我们引入了一个非常简单的门控循环神经网络(RNN),在单词级语言建模任务上,它的性能可与众所周知的门控架构(如LSTM和GRU)相媲美。我们证明了我们的模型具有简单,可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比,后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
Evolving Indoor Navigational Strategies Using Gated Recurrent Units In NEAT
同步定位和映射(SLAM)算法在小型机器人平台(如微型飞行器)上运行成本很高。Bug算法是一种使用相对较少的处理能力的替代方案,并且通过不构建环境的显式映射来避免高内存消耗。Bug算法在模拟迷宫和机器人迷宫求解领域取得了较好的性能。然而,因为它们是手工设计的,一个自然的问题是它们是否是全局最优控制策略。在这项工作中,我们探讨了性能的神经进化-特别是NEAT -在不断发展的控制策略,模拟差分驱动机器人进行广义迷宫导航。我们扩展了NEAT以包括门控循环单元(GRU),以帮助处理长期依赖关系。我们表明,NEAT和我们的NEAT-GRU可以重复生成控制器,优于I-Bug(一种特别适合用于真实机器人的算法)的测试集209室内迷宫一样的环境。我们表明,NEAT-GRU是优于NEAT在这项任务中,但也出了2个系统,只有NEAT-GRU可以不断发展成功的控制器更难的任务,其中没有轴承的目标信息提供给代理。
2019-04-12 cs.NE
A Baselined Gated Attention Recurrent Network for Request Prediction in Ridesharing
Southern University of Science and Technology (SUSTech)(南方科技大学);University of Thessaly(色萨利大学);Research Institute for Trustworthy Autonomous Systems, Southern University of Science and Technology(南方科技大学可信自主系统研究院)
拼车服务因其对司机和乘客的便利性和成本效益以及其为实现联合国可持续发展目标做出贡献的强大潜力而受到全球欢迎。因此,近年来,人们对RSODP(拼车的起源-目的地预测)问题的研究兴趣激增,其目标是预测未来的拼车请求并提前为车辆提供时间表。大多数现有的预测模型都使用了深度学习。然而,它们未能有效地考虑空间和时间动态。本文提出了一种基于基线的门控注意递归网络(Baselined Gated Attention Recurrent Network,BGARN),该网络采用图卷积和多头门控注意提取空间特征,递归模块提取时间特征,基线传输层计算最终结果。该模型使用PyTorch和DGL(Deep Graph Library)实现,并使用纽约出租车需求数据集进行了实验评估。结果表明,BGARN在预测精度方面优于所有其他现有的模型。
2022-09-05 cs.LG cs.NE
Deep Gate Recurrent Neural Network
本文介绍了两种循环神经网络结构,称为简单门控单元(SGU)和深度简单门控单元(DSGU),这是用于学习长期依赖关系的通用结构。与传统的长短期记忆(LSTM)和门控递归单元(GRU)相比,这两种结构在序列分类任务中需要更少的参数和更少的计算时间。与GRU和LSTM需要多个门来控制网络中的信息流不同,SGU和DSGU只使用一个乘法门来控制信息流。我们表明,这种差异可以加快学习速度的任务,需要长依赖信息。我们还表明,DSGU是更稳定的数值比SGU。此外,我们还提出了一种表示RNN内部结构的标准方法--RNN常规图(RCG),它有助于分析RNN的输入设备和隐藏单元之间的关系。
2016-05-13 cs.NE
Investigating gated recurrent neural networks for speech synthesis
The Centre for Speech Technology Research, University of Edinburgh, United Kingdom(英国爱丁堡大学语音技术研究中心)
最近,循环神经网络(RNN)作为强大的序列模型已经重新出现,作为一个潜在的声学模型的统计参数语音合成(SPSS)。长短期记忆(LSTM)架构特别有吸引力,因为它解决了标准RNN中的梯度消失问题,使它们更容易训练。尽管最近的研究表明,LSTM在SPSS上的性能明显优于深度前馈神经网络,但人们对其中的原因知之甚少。在这里,我们试图回答两个问题:a)为什么LSTM作为SPSS的序列模型工作得很好; b)哪个组件(例如,输入门、输出门、遗忘门)是最重要的。我们提出了一个可视化的分析,以及一系列的实验,从而在一个简化的架构的建议。简化的架构具有比LSTM少得多的参数,因此在不降低质量的情况下大大降低了生成复杂度。
2016-01-11 cs.CL cs.NE
Gated recurrent neural networks discover attention
ETH Zürich(苏黎世联邦理工学院)
本研究揭示,配备线性循环层和乘法门控的现代RNN能精确实现自注意力,且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法,凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
Exposing the Functionalities of Neurons for Gated Recurrent Unit Based Sequence-to-Sequence Model
National Taiwan University(国立台湾大学)
本文的目标是报告有关Seq 2Seq模型的某些科学发现。众所周知,在神经元级别分析基于RNN的模型的行为被认为是比分析DNN或CNN模型更具挑战性的任务,这是由于它们本质上的递归机制。本文旨在提供神经元级别的分析,以解释为什么一个没有注意力的基于GRU的Seq 2Seq模型可以实现标记定位。我们发现了四种不同类型的神经元:存储、计数、触发和输出,并进一步揭示了这些神经元协同工作的机制,以便在正确的位置产生正确的标记。
2023-03-27 cs.AI cs.LG cs.NE
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
语音识别在很大程度上利用了深度学习,这表明现代递归神经网络(RNN)可以获得巨大的好处。最受欢迎的RNN是长短期记忆(LSTM),由于它们能够学习长期依赖性和对消失梯度的鲁棒性,它们通常在许多任务中达到最先进的性能。然而,LSTM有一个相当复杂的设计,有三个乘法门,这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元(GRU),它只基于两个乘法门。本文建立在这些努力的基础上,进一步修订GRU,并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先,我们建议在GRU设计中去除复位门,从而实现更高效的单门架构。其次,我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明,在我们的实现中,与标准GRU相比,修改后的架构将每历元训练时间减少了30%以上,并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network
Indian Institute of Technology Delhi(德里印度理工学院);University of California Berkeley(加州大学伯克利分校);Microsoft Research India(微软印度研究院)
本文开发了FastRNN和FastGRNN算法,以解决RNN训练不准确和预测效率低下的双重局限性。以前的方法已经提高了精度,但代价是预测成本,使得它们对于资源受限和实时应用不可行。酉RNN通过限制状态转移矩阵奇异值的范围,在一定程度上提高了准确性,但也增加了模型的大小,因为它们需要更多的隐藏单元来弥补表达能力的损失。门控RNN通过添加额外的参数获得了最先进的精度,从而产生了更大的模型。FastRNN通过添加一个残差连接来解决这些限制,该残差连接不明确限制奇异值的范围,并且只有两个额外的标量参数。然后,FastGRNN通过重用RNN矩阵将剩余连接扩展到门,以匹配最先进的门控RNN精度,但模型较小2- 4倍。强制FastGRNN的矩阵为低秩、稀疏和量化,导致精确的模型比领先的门控和酉RNN小35倍。这使得FastGRNN能够准确地识别具有1 KB模型的“Hey Cortana”唤醒词,并部署在资源严重受限的物联网微控制器上,这些微控制器太小,无法存储其他RNN模型。FastGRNN的代码可以在https://github.com/Microsoft/EdgeML/上找到。
2019-01-08 cs.AI cs.LG cs.NE
Overcoming the vanishing gradient problem in plain recurrent networks
普通递归网络严重受到消失梯度问题的影响,而门控神经网络(GNN),如长短期记忆(LSTM)和门控递归单元(GRU),通过复杂的网络设计在许多序列学习任务中提供了有希望的结果。本文展示了如何通过分析GNN中的门控机制来解决普通递归网络中的这个问题。我们提出了一种称为递归身份网络(RIN)的新型网络,它允许普通递归网络克服消失梯度问题,同时在不使用门的情况下训练非常深的模型。我们比较这个模型与IRNN和LSTM在多个序列建模基准。RIN在所有任务中均表现出具有竞争力的性能和更快的收敛速度。值得注意的是,小RIN模型在顺序和排列MNIST数据集上产生12%-67%的更高准确度,并且在bAbI问答数据集上达到最先进的性能。
2019-07-05 cs.NE
A Neural Network Architecture Combining Gated Recurrent Unit (GRU) and Support Vector Machine (SVM) for Intrusion Detection in Network Traffic Data
门控递归单元(GRU)是最近开发的长短期记忆(LSTM)单元的变体,两者都是递归神经网络(RNN)的类型。通过经验证据,这两种模型已经被证明在各种各样的机器学习任务中是有效的,例如自然语言处理(Wen等人,2015)、语音识别(Chorowski等人,2015)和文本分类(Yang等人,2016)。传统上,与大多数神经网络一样,上述两种RNN变体都使用Softmax函数作为其预测的最终输出层,并使用交叉熵函数计算其损失。在本文中,我们提出了一个修正案,通过引入线性支持向量机(SVM)作为Softmax在GRU模型的最终输出层的替代。此外,交叉熵函数应替换为基于边缘的函数。虽然已经有类似的研究(Alalshekmusic & Smith,2013; Tang,2013),但该提案主要用于使用来自京都大学蜜罐系统的2013年网络流量数据进行入侵检测的二进制分类。结果表明,GRU-SVM模型的性能相对高于传统的GRU-Softmax模型。该模型的训练准确率为~81.54%,测试准确率为~ 84.15%,而后者的训练准确率为~63.07%,测试准确率为~ 70.75%。此外,这两个最终输出层的并置表明SVM在预测时间上优于Softmax-这一理论含义得到了研究中实际训练和测试时间的支持。
2019-02-07 cs.CR cs.LG cs.NE
Comparison between DeepESNs and gated RNNs on multivariate time-series prediction
University of Pisa(比萨大学)
我们提出了深度回声状态网络(DeepESN)和门控递归神经网络(RNN)在多变量时间序列预测任务上的实验比较。特别是,我们比较了水库和完全训练的RNN,它们能够表示具有多个时间尺度动态特征的信号。在4个复调音乐任务的效率和预测精度方面进行了分析。我们的研究结果表明,DeepESN在预测准确性和效率方面能够优于ESN。然而,在完全训练的方法之间,门控递归单元(GRU)在大多数情况下优于长短期记忆(LSTM)和简单的RNN模型。总体而言,DeepESN比其他RNN方法效率更高,并且在4个任务中的3个任务的预测准确性方面是最佳解决方案。
2019-11-20 cs.LG cs.NE stat.ML
Convolutional Gated Recurrent Neural Network Incorporating Spatial Features for Audio Tagging
University of Surrey(萨里大学)
环境音频标记是一个新提出的任务,以预测特定的音频事件在一个块的存在或不存在。基于深度神经网络(DNN)的方法已被成功地用于预测家庭音频场景中的音频标签。在本文中,我们提出使用卷积神经网络(CNN)从梅尔滤波器组(MFB),频谱图甚至原始波形中提取鲁棒的特征用于音频标记。然后级联基于门控递归单元(GRU)的递归神经网络(RNN)以对音频信号的长期时间结构进行建模。为了补充输入信息,辅助CNN被设计为学习立体声录音的空间特征。我们在2016年声学场景和事件的检测和分类(DCASE 2016)挑战的任务4(音频标记)上评估了我们提出的方法。与我们最近的基于DNN的方法相比,所提出的结构可以将开发集上的相等出错率(EER)从0.13降低到0.11。空间特征可以进一步将EER降低到0.10。原始波形的端到端学习性能也相当。最后,在评估集上,我们得到了最先进的性能与0.12 EER,而现有的最好的系统的性能是0.15 EER。
2017-02-24 cs.LG cs.NE cs.SD
Towards a tailored mixed-precision sub-8-bit quantization scheme for Gated Recurrent Units using Genetic Algorithms
Technical University of Denmark(丹麦技术大学);GN Audio(GN音频公司)
针对GRU亚8比特量化难调优的问题,提出算子比特宽独立可选的模块化整数量化方案,用遗传算法搜索最优比特宽组合,在四个序列任务上实现25%-55%模型压缩且精度媲美8比特均匀量化。
2024-03-08 cs.LG cs.NE eess.SP
A bio-inspired bistable recurrent cell allows for long-lasting memory
University of Liège(列日大学)
递归神经网络(RNN)在各种需要记忆的任务中提供了最先进的性能。这些性能通常可以通过门控递归单元(GRU)和长短期记忆(LSTM)等门控递归单元来实现。标准门控单元共享一层内部状态以在网络级存储信息,并且长期记忆由网络范围的递归连接权重形成。另一方面,生物神经元能够通过称为双稳态的过程在细胞水平上保持信息任意长的时间。通过双稳态,细胞可以根据自己的过去状态和输入稳定到不同的稳态,这允许在神经元状态中持久存储过去信息。在这项工作中,我们从生物神经元双稳态中获得灵感,在细胞水平上嵌入具有持久记忆的RNN。这导致引入了一种新的生物学启发的递归细胞,该细胞被证明可以大大提高RNN在时间序列上的性能,这些时间序列需要非常长的记忆,尽管只使用细胞连接(所有递归连接都是从神经元到它们自己,即神经元状态不受其他神经元状态的影响)。此外,为这种细胞配备反复的神经调节允许将它们与标准GRU细胞联系起来,朝着GRU的生物可接受性迈出了一步。
2020-06-09 cs.LG cs.NE
CodeGRU: Context-aware Deep Learning with Gated Recurrent Unit for Source Code Modeling
最近,基于深度学习的自然语言处理(NLP)模型在源代码建模方面显示出巨大的潜力。然而,这些方法的一个主要局限性是,它们将源代码视为文本的简单标记,而忽略了其上下文、语法和结构依赖性。在这项工作中,我们提出了CodeGRU,门循环单元为基础的源代码语言模型,能够捕捉源代码的上下文,语法和结构的依赖关系。我们介绍了一种新的方法,可以捕获源代码上下文,利用源代码令牌类型。此外,我们采用了一种新的方法,可以学习可变大小的上下文,考虑到源代码的语法,和结构信息。我们用真实世界的数据集对CodeGRU进行了评估,结果表明CodeGRU的性能优于最先进的语言模型,并有助于减少词汇量高达24.93%。与以前的工作不同,我们用一个独立的测试集测试了CodeGRU,这表明我们的方法不需要源代码来自与训练数据相同的域,同时提供建议。我们进一步评估CodeGRU与两个软件工程应用程序:源代码建议,和源代码完成。我们的实验证实,源代码的上下文信息可以是至关重要的,可以帮助改善软件语言模型。CodeGRU的广泛评估表明,它优于最先进的模型。结果进一步表明,所提出的方法可以帮助减少词汇量的大小,并为软件开发人员的实际使用。
2020-07-14 cs.NE cs.SE
GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);College of Computer Science, Zhejiang University of Technology(浙江工业大学计算机学院)
针对脉冲强化学习中多时间步仿真对应单步决策的时间不匹配问题,提出时间对齐范式TAP并引入门控循环脉冲神经元GRSN,以累积历史状态信息并增强记忆能力,在解决POMDPs和多智能体协作问题时性能媲美RNN且功耗降低约50%。
2024-04-24 cs.AI cs.LG cs.MA
A Technical Note on the Architectural Effects on Maximum Dependency Lengths of Recurrent Neural Networks
本文提出了一种确定RNN最大依赖长度的方法,并研究了层数和神经元数量等架构变化对传统RNN、GRU和LSTM模型最大依赖长度的影响。
2024-07-19 cs.NE
Light Gated Recurrent Units for Speech Recognition
直接受益于深度学习最新进展的一个领域是自动语音识别(ASR)。然而,尽管过去几十年取得了巨大成就,但自然和强大的人机语音交互似乎仍然遥不可及,特别是在以显著噪声和混响为特征的具有挑战性的环境中。为了提高鲁棒性,现代语音识别器通常采用基于递归神经网络(RNN)的声学模型,这些模型自然能够利用大时间上下文和长期语音调制。因此,继续研究适当的技术来提高RNN在处理语音信号中的有效性是非常有意义的。在本文中,我们修改了最流行的RNN模型之一,即门控递归单元(GRU),并提出了一种简化的架构,该架构对ASR非常有效。这项工作的贡献是双重的:首先,我们分析了复位门所扮演的角色,显示出一个显着的冗余与更新门发生。因此,我们建议从GRU设计中删除前者,从而实现更高效和紧凑的单门模型。其次,我们建议用ReLU激活来取代双曲正切。这种变化与批量归一化很好地结合在一起,可以帮助模型学习长期依赖关系,而不会出现数值问题。结果表明,所提出的称为Light GRU(Li-GRU)的架构不仅比标准GRU减少了30%以上的每历元训练时间,而且在不同的任务、输入特征、噪声条件以及不同的ASR范例(从标准DNN-HMM语音识别器到端到端CTC模型)之间,都能持续提高识别准确性。
2018-03-26 cs.NE cs.SD eess.AS
Gated recurrent neural network with TPE Bayesian optimization for enhancing stock index prediction accuracy
Mahishamuri Ramkrishna Vidyapith(马希沙穆里·拉姆克里希纳学院)
本文提出结合TPE贝叶斯超参数优化的门控循环神经网络(TPE-GRNN),融合基本面、技术指标、油价和宏观经济八类特征预测NIFTY 50次日收盘价,实验表明TPE-LSTM的MAPE优于已有模型。
2024-06-02 cs.AI cs.LG cs.NE
Simplified Long Short-term Memory Recurrent Neural Networks: part III
Michigan State University(密歇根州立大学)
这是三部分工作的第三部分。在第一部分和第二部分中,我们提出了简化的长短期记忆(LSTM)循环神经网络(RNN)的八种变体。值得注意的是,快速计算,特别是在有限的计算资源,是在处理大的时间序列数据的一个重要因素。在这篇第三部分的论文中,我们提出并评估了两种新的LSTM模型变体,它们大大降低了计算负载,同时保持了与基本(标准)LSTM RNN相当的性能。在这些新的变体中,除了门控信号网络之外,我们还在单元存储器网络中施加(Hadamard)逐点状态乘法。
2017-07-14 cs.LG cs.NE
Predicting the Stay Length of Patients in Hospitals using Convolutional Gated Recurrent Deep Learning Model
Canberra Health Services(堪培拉卫生服务局);Canberra Hospital(堪培拉医院);Torrens University Australia(澳大利亚托伦斯大学);The Australian National University(澳大利亚国立大学);Australian National University(澳大利亚国立大学)
本研究提出结合CNN、GRU和全连接网络的混合深度学习模型预测住院时长,在10折交叉验证中准确率达89%,优于11种机器学习方法,助力医院优化资源配置。
2024-09-26 cs.LG cs.NE
Simplified Long Short-term Memory Recurrent Neural Networks: part II
Michigan State University(密歇根州立大学)
这是三部分工作的第二部分。在这里,我们通过进一步减少自适应参数,提出了简化的长短期记忆(LSTM)循环神经网络的第二组相互关联的五种变体。其中两个模型已被介绍在第一部分的这项工作。我们在基准MNIST数据集上评估和验证了我们的模型变体,并断言这些模型与基本LSTM模型相当,同时使用的参数数量逐渐减少。此外,我们观察到,在使用ReLU激活的情况下,当学习参数变得更大时,标准LSTM的测试准确性性能将在多个epoch之后下降。然而,所有新型号的变体都保持了它们的性能。
2017-07-14 cs.LG cs.NE
From Nodes to Networks: Evolving Recurrent Neural Networks
Sentient Technologies, Inc(森蒂恩特科技公司)
诸如由长短期记忆(LSTM)节点组成的那些门控递归网络最近已被用于改进诸如语音识别和机器翻译的许多顺序处理任务中的现有技术。然而,LSTM节点的基本结构与25年前首次构想时基本相同。最近,进化和强化学习机制已被用于创建这种结构的新变体。本文提出了一种新的方法,进化树为基础的编码的门控记忆节点,并表明,它可以探索新的变化比其他方法更有效。该方法发现了具有多个递归路径和多个存储单元的节点,这导致了标准语言建模基准任务的显著改进。本文还展示了如何通过训练LSTM网络来评估候选结构的性能,以及鼓励探索新的解决方案来加快搜索过程。因此,复杂神经网络结构的进化设计有望提高深度学习架构的性能,超出人类的能力。
2018-06-07 cs.LG cs.NE
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用,以从新闻文章的文本中生成标题。我们发现,该模型是相当有效的,在简明的释义新闻文章。此外,我们还研究了神经网络如何决定要注意哪些输入单词,特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是,我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE