Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies
ETH Zürich(苏黎世联邦理工学院);Seminar for Applied Mathematics (SAM)(应用数学研讨班(SAM));Department of Mathematics(数学系)
生物神经元的回路,例如大脑的功能部分,可以被建模为耦合振荡器的网络。受这些系统表达丰富的输出集,同时保持状态变量(梯度)有界的能力的启发,我们提出了一种新的递归神经网络架构。我们提出的RNN是基于二阶常微分方程系统的时间离散化,对受控非线性振荡器网络进行建模。我们证明了隐藏状态梯度的精确界限,从而缓解了该RNN的爆炸和消失梯度问题。实验表明,所提出的RNN在各种基准测试中的性能与最先进的RNN相当,证明了这种架构为处理复杂的序列数据提供稳定和准确的RNN的潜力。
2021-03-14 cs.LG cs.NE stat.ML
Can recurrent neural networks warp time?
Laboratoire de Recherche en Informatique(计算机研究实验室);Facebook Artificial Intelligence Research(Facebook人工智能研究院);Université Paris Sud(巴黎南大学)
成功的递归模型,如长短期记忆(LSTM)和门控递归单元(GRU)使用专门的门控机制。从经验上讲,这些模型已经被发现可以改善中长期时间依赖性的学习,并有助于解决梯度消失问题。我们证明了循环模型中的可学习门形式上对输入数据中的一般时间变换提供了准不变性。我们从一个简单的公理方法中恢复了部分LSTM架构。这一结果导致了一种新的方式初始化的栅极偏置在LSTM和GRU。实验表明,这种新的计时初始化大大提高了学习的长期依赖关系,以最小的实现工作。
2018-03-23 cs.LG cs.NE stat.ML
Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses
ETH Zürich(苏黎世联邦理工学院)
学习长期依赖性是循环神经网络(RNN)的一个关键的长期挑战。分层循环神经网络(HRNN)被认为是一种很有前途的方法,因为长期依赖性是通过层次结构上下的捷径来解决的。然而,截断反向传播时间(TBPTT)的内存要求仍然阻止在非常长的序列上训练它们。在本文中,我们通过经验证明,在(深度)HRNN中,从较高级别到较低级别的传播梯度可以被本地可计算的损失所取代,而不会损害网络的学习能力,在广泛的任务范围内。与标准TBPTT相比,通过局部损失的这种解耦在层次结构的深度上以指数因子降低了训练的存储器需求。
2019-10-11 cs.LG cs.NE stat.ML
Deep Recurrent Neural Networks for Sequential Phenotype Prediction in Genomics
Faculty of Applied Sciences of Communications(应用科学通信学院);UMTS Project Partners bv.(UMTS项目伙伴有限公司);Farnoud Data Communication Company(法努德数据通信公司);Mobile Communication Company of Iran (MCI)(伊朗移动通信公司(MCI))
在现代生物数据的分析中,由于数据的高维性和多重共线性,常常会遇到不适定问题和缺失数据。在本文中,我们提出了一个基于矩阵分解(MF)和深度循环神经网络(DRNN)的系统,用于基因型插补和表型序列预测。为了对表型数据的长期依赖性进行建模,首次使用了新的递归线性单元(ReLU)学习策略。所提出的模型实现的并行处理的中央处理单元(CPU)和图形处理单元(GPU)。该模型的性能进行了比较,与其他训练算法学习长期依赖性,以及稀疏偏最小二乘法(SPLS)的一组基因型和表型数据与604个样本,1980单核苷酸多态性(SNP),和两个性状的方法。结果证明了ReLU训练算法在学习RNN中的长期依赖关系方面的性能。
2016-01-17 cs.CE cs.LG cs.NE
Sequence Modeling using Gated Recurrent Neural Networks
Universite de Montreal(蒙特利尔大学)
在本文中,我们已经使用循环神经网络捕捉和建模人体运动数据,并产生运动预测的下一个即时的数据点在每个时间步。我们的RNN配备了最近提出的门控递归单元,在一些序列建模问题,如机器翻译和语音合成中显示出有前途的结果。我们证明了该模型能够捕获数据中的长期依赖关系并生成逼真的运动。
2015-01-01 cs.LG cs.NE
Online learning of long-range dependencies
ETH Zürich(苏黎世联邦理工学院)
针对现有在线学习算法无法高效学习循环神经网络长程依赖的问题,本文提出基于多层独立循环模块的高性能在线算法,内存与计算仅为单次推理两倍,在基准测试中表现优异,为脑学习研究和神经形态计算提供新方向。
2023-11-06 cs.LG cs.NE
Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks
MILA, Université de Montréal(蒙特利尔大学 MILA);Polytechnique Montréal(蒙特利尔理工学院);HEC Montréal(蒙特利尔高等商学院)
时间反向传播(BPTT)的一个主要缺点是学习长期依赖性的困难,这是因为必须通过向前计算的每单步的向后传播信用信息。这使得BPTT在计算上不切实际,在生物学上也不可信。由于这个原因,通过时间的完全反向传播很少用于长序列,通过时间的截断反向传播被用作启发式。然而,这通常会导致对梯度的有偏估计,其中忽略了长期依赖性。为了解决这个问题,我们提出了一种替代算法,稀疏注意回溯,这也可能与大脑学习长期依赖关系的原则有关。稀疏注意回溯在过去的隐藏状态上学习注意力机制,并选择性地通过具有高注意力权重的路径反向传播。这允许模型学习长期依赖关系,同时仅回溯少量时间步,不仅从最近的过去,而且从相关的过去状态。
2017-11-07 cs.AI cs.LG cs.NE
Gated Recurrent Neural Networks with Weighted Time-Delay Feedback
ICSI and LBNL(ICSI和LBNL);KTH and Nordita(KTH和Nordita);UC Berkeley, ICSI and LBNL(伯克利大学、ICSI和LBNL)
本文提出带加权时滞反馈的$τ$-GRU模型,基于延迟微分方程构建,经理论证明解存在唯一,在多任务上性能优于现有门控循环架构,收敛更快、泛化更好。
2025-05-19 cs.LG cs.NE stat.ML
Deep Gate Recurrent Neural Network
本文介绍了两种循环神经网络结构,称为简单门控单元(SGU)和深度简单门控单元(DSGU),这是用于学习长期依赖关系的通用结构。与传统的长短期记忆(LSTM)和门控递归单元(GRU)相比,这两种结构在序列分类任务中需要更少的参数和更少的计算时间。与GRU和LSTM需要多个门来控制网络中的信息流不同,SGU和DSGU只使用一个乘法门来控制信息流。我们表明,这种差异可以加快学习速度的任务,需要长依赖信息。我们还表明,DSGU是更稳定的数值比SGU。此外,我们还提出了一种表示RNN内部结构的标准方法--RNN常规图(RCG),它有助于分析RNN的输入设备和隐藏单元之间的关系。
2016-05-13 cs.NE
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology(麻省理工学院);MILA - Universite de Montreal(蒙特利尔大学MILA)
我们提出了一种新的基于递归神经网络(RNN)的模型,该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM,GRU和酉RNN。我们的经验都表明,正交/酉RNN缺乏遗忘能力,并且在遗忘不相关信息的同时,RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果,以及我们的模型在许多自然的顺序任务,包括bAbI问答,TIMIT语音频谱预测,宾州树库,和合成任务,涉及长期的依赖关系,如算法,括号,去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Visualizing and Understanding Recurrent Networks
Stanford University(斯坦福大学)
循环神经网络(RNN),特别是具有长短期记忆(LSTM)的变体,由于在涉及序列数据的广泛机器学习问题中的成功应用而重新受到关注。然而,尽管长期短期措施在实践中取得了非凡的成果,但人们对其性能的来源及其局限性仍然知之甚少。使用字符级语言模型作为可解释的测试平台,我们的目标是通过分析它们的表示,预测和错误类型来弥合这一差距。特别是,我们的实验揭示了可解释的细胞的存在,跟踪长范围的依赖关系,如行的长度,引号和括号。此外,我们与有限水平n-gram模型的比较分析将LSTM改进的来源追溯到了长程结构依赖关系。最后,我们分析了剩余的错误,并提出了进一步研究的领域。
2015-11-17 cs.CL cs.LG cs.NE
A Simple Way to Initialize Recurrent Networks of Rectified Linear Units
Google(谷歌)
在递归网络中学习长期依赖性是困难的,因为梯度消失和爆炸。为了克服这个困难,研究人员开发了复杂的优化技术和网络架构。在本文中,我们提出了一个更简单的解决方案,使用由整流线性单元组成的递归神经网络。我们解决方案的关键是使用单位矩阵或其缩放版本来初始化递归权重矩阵。我们发现,我们的解决方案在我们的四个基准测试中与LSTM相当:两个涉及长程时间结构的玩具问题,一个大型语言建模问题和一个基准语音识别问题。
2015-04-07 cs.LG cs.NE
Unitary Evolution Recurrent Neural Networks
Universidad de Buenos Aires(布宜诺斯艾利斯大学);University of Cambridge(剑桥大学);Université de Montréal(蒙特利尔大学)
众所周知,循环神经网络(RNN)很难训练。当隐到隐权重矩阵的特征值偏离绝对值1时,由于消失和爆炸梯度的问题得到了很好的研究,优化变得很困难,特别是当试图学习长期依赖性时。为了解决这个问题,我们提出了一种新的架构,学习一个酉权重矩阵,其特征值的绝对值正好为1。我们所面临的挑战是,参数化酉矩阵的方式,不需要昂贵的计算(如特征分解)后,每次权重更新。我们构建了一个表达单一的权重矩阵组成的几个结构矩阵,作为积木与参数要学习。只有当考虑复域中的隐藏状态时,这种参数化的优化才变得可行。我们证明了这种架构的潜力,实现国家的最先进的结果,在几个硬任务,涉及非常长期的依赖关系。
2016-05-25 cs.LG cs.NE stat.ML
On the Long-Term Memory of Deep Recurrent Networks
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
现代递归神经网络(RNN)在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而,缺乏对RNN长期记忆能力的一个完善的衡量标准,因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说,卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题,我们引入了一个衡量网络支持跨时间信息流的能力的指标,称为起止分离秩,它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅层次网络。因此,我们确定深度在递归网络建模长期依赖关系的能力方面带来了压倒性的优势,并提供了量化这一关键属性的范例,该属性可以很容易地扩展到其他感兴趣的RNN架构,例如LSTM网络的变体。我们通过考虑一类被称为递归算术电路的递归网络来获得我们的结果,这些递归网络通过乘法积分运算将隐藏状态与输入合并,并在常见的RNN上实证证明了所讨论的现象。最后,我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2018-06-06 cs.LG cs.NE
Parallelizing Linear Recurrent Neural Nets Over Sequence Length
Future of Humanity Institute, University of Oxford(牛津大学人类未来研究所)
递归神经网络(RNN)被广泛用于对序列数据进行建模,但它们在序列元素之间的非线性依赖关系阻止了序列长度上的并行训练。我们证明了只有线性顺序依赖关系的RNN的训练可以使用并行扫描算法在序列长度上并行化,从而即使在小的minibatch大小下也可以快速训练长序列。我们开发了一个并行线性递归CUDA内核,并表明它可以立即将几种最先进的RNN架构的训练和推理速度提高9倍。我们将最近关于线性RNN的工作抽象成一个新的线性代理RNN框架,并为长短期记忆单元GILR-LSTM开发了一个线性代理模型,该模型利用并行线性递归。我们将序列学习扩展到新的极长序列机制,这些机制以前是无法实现的,我们成功地在具有一百万时间步依赖性的合成序列分类任务上训练了GILR-LSTM。
2018-02-22 cs.AI cs.LG cs.NE
Spatio-temporal Dynamics of Intrinsic Networks in Functional Magnetic Imaging Data Using Recurrent Neural Networks
我们介绍了一种新的递归神经网络(RNN)的方法来解释通过功能磁共振成像(fMRI)观察到的大脑网络的时间动态和依赖性。我们的方法直接参数化的时间动态通过经常性的连接,它可以用来制定盲声源分离的条件(而不是边际)的独立性假设,我们称之为RNN-ICA。这种提法使我们能够可视化的时间动态的一阶(活动)和二阶(定向连接)的信息在大脑网络中被广泛研究,在静态意义上,但没有很好地表征动态。RNN-ICA直接从任务和静息状态fMRI中的RNN的循环状态预测动态。我们的研究结果表明,任务相关的和组区分定向连接。
2018-08-27 cs.NE q-bio.NC
RecLight: A Recurrent Neural Network Accelerator with Integrated Silicon Photonics
Colorado State University(科罗拉多州立大学)
递归神经网络(RNN)用于学习数据序列中的依赖关系的应用,例如语音识别、人类活动识别和异常检测。近年来,较新的RNN变体,如GRU和LSTM,已被用于实现这些应用程序。由于许多这些应用程序都是在实时场景中使用的,因此加速RNN/LSTM/GRU推理至关重要。在本文中,我们提出了一种新的光子硬件加速器RecLight,用于加速简单的RNN,GRU和LSTM。仿真结果表明,与最先进的技术相比,RecLight的每比特能量降低了37倍,吞吐量提高了10%。
2022-08-31 cs.AR cs.LG cs.NE
Pixel Recurrent Neural Networks
Google DeepMind(谷歌DeepMind)
对自然图像的分布建模是无监督学习中的一个标志性问题。这项任务需要一个图像模型,是在一次表达,易处理和可扩展的。我们提出了一个深度神经网络,它可以沿着两个空间维度顺序预测图像中的像素。我们的方法对原始像素值的离散概率进行建模,并对图像中的完整依赖集进行编码。架构新颖性包括快速二维递归层和深度递归网络中剩余连接的有效使用。我们在自然图像上实现了比以前的最新技术水平要好得多的对数似然分数。我们的主要结果还提供了不同ImageNet数据集的基准。从模型生成的样本看起来清晰,多样和全球一致。
2016-08-19 cs.CV cs.LG cs.NE
Deep Recurrent Q-Learning vs Deep Q-Learning on a simple Partially Observable Markov Decision Process with Minecraft
Ynov Informatique(Ynov信息技术学院)
在过去的几年里,深度Q学习已经成功地应用于各种各样的任务。然而,香草Deep Q-Network的架构不适合处理部分可观察的环境,如3D视频游戏。为此,Deep Q-Network中添加了递归层,以允许它处理过去的依赖关系。我们在这里使用Minecraft的定制优势,并设计了两个非常简单的任务,可以作为部分可观测马尔可夫决策过程的框架。我们在这些任务中比较了深度Q网络和深度递归Q网络,以了解后者是否总是最好的架构,当代理必须处理部分可观测性时,后者更棘手,训练时间更长。
2019-04-11 cs.AI cs.LG cs.NE
Improving performance of recurrent neural network with relu nonlinearity
Qualcomm Research(高通研究院)
近年来,在训练递归神经网络(RNN)解决长时间依赖序列学习问题方面取得了重大进展。在三个方面取得了进展:(a)涉及复杂优化技术的数学改进,(b)涉及复杂隐藏层节点和专门递归层连接的网络设计,(c)权重初始化方法。在本文中,我们专注于最近提出的权重初始化与单位矩阵的递归权在RNN。这种初始化是专门针对具有整流线性单元(ReLU)非线性的隐藏节点提出的。我们提供了一个简单的动力系统的角度来看,权重初始化过程中,这使我们能够提出一个修改的权重初始化策略。我们证明了这种初始化技术可以成功地训练由ReLU组成的RNN。我们表明,我们的建议产生可比或更好的解决方案,涉及长距离的时间结构的玩具问题:加法问题,乘法问题和MNIST分类问题,使用像素序列。此外,我们提出了一个基准动作识别问题的结果。
2016-06-23 cs.LG cs.NE
Learning Longer-term Dependencies via Grouped Distributor Unit
Zhejiang University(浙江大学)
尽管最近在序列建模方面取得了成功,但递归神经网络(RNN)学习长期依赖关系仍然很困难。在本文中,我们提出了一种新的门RNN结构,它只包含一个门。建议的分组分发器单元(GDU)中的隐藏状态被划分成组。对于每个组,在每个状态转换中要重写的存储器的比例被限制为常数,并且自适应地分配给每个组成员。换句话说,每个单独的组都有一个固定的整体更新速率,但允许所有单元具有不同的速度。因此,信息被迫以灵活的方式锁定,这有助于模型捕获数据中的长期依赖关系。除了具有更简单的结构外,实验证明GDU在包括病理问题和自然数据集在内的任务上优于LSTM和GRU。
2019-04-29 cs.LG cs.NE stat.ML
Improving the Gating Mechanism of Recurrent Neural Networks
Stanford University(斯坦福大学);DeepMind(深度思维)
门控机制广泛用于神经网络模型中,它们允许梯度更容易地通过深度或时间反向传播。然而,它们的饱和特性引入了其自身的问题。例如,在递归模型中,这些门需要具有接近1的输出以在长时间延迟上传播信息,这要求它们在其饱和状态下操作并阻碍门机制的基于梯度的学习。我们通过对标准门控机制进行两种协同修改来解决这个问题,这些修改易于实现,不引入额外的超参数,并且在门接近饱和时提高门的可学习性。我们展示了这些变化是如何与最近提出的替代门控机制,如计时初始化和有序神经元,并改善。从经验上讲,我们简单的门控机制在一系列应用中稳健地提高了递归模型的性能,包括合成记忆任务,顺序图像分类,语言建模和强化学习,特别是当涉及长期依赖关系时。
2020-06-18 cs.LG cs.NE
Recurrent Orthogonal Networks and Long-Memory Tasks
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
尽管RNN已被证明是处理序列数据的强大工具,但寻找允许它们对非常长期的依赖关系进行建模的架构或优化策略仍然是一个活跃的研究领域。在这项工作中,我们仔细分析了最初在(Hochreiter和Schmidhuber,1997)中概述的两个合成数据集,这些数据集用于评估RNN在多个时间步长上存储信息的能力。我们明确地构建了这些问题的RNN解决方案,并使用这些结构,阐明了问题本身以及RNN在其隐藏状态中存储不同类型信息的方式。这些结构进一步解释了最近的方法,指定酉初始化或限制的过渡矩阵的成功。
2017-03-15 cs.AI cs.LG cs.NE
Learning to infer in recurrent biological networks
一个流行的知觉处理理论认为,大脑学习世界的生成模型和使用变分贝叶斯推断的配对识别模型。关于大脑如何学习这些模型的大多数假设都假设群体中的神经元在给定其共同输入的情况下是条件独立的。这种简化可能与脑中观察到的局部复发类型不一致。寻找一种与复杂的相互依赖性兼容但又与已知生物学一致的替代方案,我们在这里认为,大脑皮层可能会使用对抗算法进行学习。这种方法的许多可观察到的症状类似于已知的神经现象,包括觉醒/睡眠周期和幅度随惊喜而变化的振荡,我们描述了如何进一步测试预测。我们在训练用于对图像和视频数据集进行建模的递归神经网络上说明了这一想法。这种学习框架使变分推理更接近神经科学,并产生多个可检验的假设。
2021-05-31 cs.NE q-bio.NC stat.ML
Polyphonic Music Generation by Modeling Temporal Dependencies Using a RNN-DBN
Birla Institute of Technology and Science, Pilani(皮拉尼比尔拉理工学院)
在本文中,我们提出了一种通用的技术,使用递归神经网络和深度信念网络的组合来建模时间依赖性和序列。我们的技术RNN-DBN是RNN的内存状态的融合,允许它提供时间信息和多层DBN,有助于数据的高级表示。这使得RNN-DBN成为序列生成的理想选择。此外,DBN与RNN的结合使用使得该模型能够比RBM更复杂地表示数据。我们将这种技术应用于复调音乐生成的任务。
2014-12-26 cs.AI cs.LG cs.NE
Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey
University of Waterloo(滑铁卢大学)
本文以教程兼综述形式系统讲解RNN与LSTM,涵盖BPTT、梯度问题及解决思路、LSTM/GRU结构变体,以及双向模型与ELMo。
2023-04-22 cs.CL cs.LG cs.NE
SHARP: An Adaptable, Energy-Efficient Accelerator for Recurrent Neural Network
Microsoft(微软);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
针对现有RNN加速器资源利用率低和适应性差的问题,提出自适应节能硬件加速器Sharp,通过智能分块调度和动态可重构架构隐藏数据依赖,相比ASIC、FPGA和GPU实现显著提升速度并降低能耗。
2023-05-21 cs.AR cs.LG cs.NE