Real-Time Risky Fault-Chain Search using Time-Varying Graph RNNs
Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对气候变化下电网连锁故障链实时搜索难题,提出将其建模为 POMDP 并用时变 GRNN 捕捉拓扑动态与时空依赖,实现可扩展的风险故障链识别。
2025-03-12 cs.LG cs.SY eess.SP
Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
在部分可观察领域进行预测和规划的一种常见方法是使用递归神经网络(RNN),它理想地开发和维护关于隐藏的任务相关因素的潜在记忆。我们假设,物理世界中的许多隐藏因素都是恒定的,只会发生稀疏的变化。为了研究这一假设,我们提出了门控$L_0$正则化动态(GateL0RD),一种新的经常性的架构,结合了感性的偏见,以保持稳定,稀疏变化的潜在状态。通过一种新的内部门控函数和对潜在状态变化的$L_0$范数的惩罚来实现偏置。我们证明了GateL0RD可以在各种部分可观察的预测和控制任务中与最先进的RNN竞争或优于RNN。GateL0RD倾向于对环境的潜在生成因素进行编码,忽略虚假的时间依赖性,并且更好地泛化,从而提高了基于模型的规划和强化学习任务中的采样效率和整体性能。此外,我们表明,发展中的潜在状态可以很容易地解释,这是RNN更好地解释的一步。
2022-01-13 cs.AI cs.LG
RNNs Evolving on an Equilibrium Manifold: A Panacea for Vanishing and Exploding Gradients?
Boston University(波士顿大学);MERL(三菱电机研究实验室)
递归神经网络(RNN)特别适合于对序列数据中的长期依赖关系进行建模,但众所周知,它很难训练,因为在时间上反向传播的误差要么消失,要么以指数速度爆炸。虽然一些作品试图通过门控经常性单位,精心选择的参数约束和跳跃连接来减轻这种影响,但我们开发了一种新的视角,旨在发展常微分方程(ODE)平衡流形上的隐藏状态。我们提出了一个新的RNN,即{ \em平衡递归神经网络}(ERNN),克服了梯度衰减或爆炸效应,并导致在平衡流形上演化的递归模型。我们表明,平衡点是稳定的,导致快速收敛的离散常微分方程的不动点。此外,ERNN考虑了长期依赖性,并且可以有效地回忆起遥远过去的数据的信息方面。我们表明,ERNN在许多具有挑战性的数据集上实现了最先进的准确性,具有3- 10倍的加速比,1.5- 3倍的模型大小减少,并且相对于普通RNN具有类似的预测成本。
2019-08-26 cs.LG stat.ML
Efficient Sequence Labeling with Actor-Critic Training
University of Alberta(阿尔伯塔大学);Google(谷歌)
序列标记的神经方法通常使用条件随机场(CRF)来建模其输出依赖关系,而递归神经网络(RNN)用于其他任务中的相同目的。我们着手建立RNN作为CRF的一个有吸引力的替代品,用于序列标记。为此,我们解决了RNN最突出的缺点之一,即它在最大似然训练中不会暴露于自己的错误。我们将输出序列的预测框定为一个顺序决策过程,其中我们使用调整的演员-评论家算法(AC-RNN)训练网络。我们全面比较了这种策略与RNN和CRF在三个结构化输出任务上的最大似然训练。所提出的AC-RNN有效地匹配了CRF在NER和CCG标记上的性能,并且在机器音译上优于CRF。我们还表明,我们的训练策略明显优于解决RNN暴露偏差的其他技术,例如计划采样和自我批评策略训练。
2018-09-30 cs.AI cs.CL cs.LG
Recency Biased Causal Attention for Time-series Forecasting
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室)
本文提出一种引入近期偏倚的因果注意力机制,通过平滑的重尾衰减重新加权注意力分数,增强局部时间依赖性,提升时间序列预测性能。
2026-04-22 cs.AI cs.LG stat.ML
Sustainable Greenhouse Microclimate Modeling: A Comparative Analysis of Recurrent and Graph Neural Networks
Department of Enterprise Engineering, University of Rome Tor Vergata, Via del Politecnico 1, 00133, Rome, Italy(罗马Tor Vergata大学企业工程系);Department of Mathematics and Physics, Roma Tre University, Via della Vasca Navale 84, 00146, Rome, Italy(罗马Tre大学数学与物理系);Department of Agrotechnology, University of Thessaly, 41500 Larissa, Greece(希腊塔拉斯大学农业技术系);Lab of Agricultural Constructions and Environmental Control, Department of Agriculture Crop Production and Rural Environment, University of Thessaly, Fytokou Str, 38446, Volos, Greece(塔拉斯大学农业建筑与环境控制实验室)
本研究比较了循环神经网络与有向时空图神经网络在温室微气候建模中的表现,发现随着变量交互复杂性增加,显式建模方向性依赖关系的图模型更优,为农业光伏温室数字孪生奠定基础。
2025-06-19 cs.LG stat.AP
Achieving Online Regression Performance of LSTMs with Simple RNNs
Bilkent University(比尔肯特大学);Turkcell Technology(Turkcell技术公司);DataBoss A.S.(DataBoss公司)
递归神经网络(RNN)由于其泛化非线性时间依赖性的能力而被广泛用于在线回归。作为RNN模型,长短期记忆网络(LSTM)在实践中通常是首选的,因为这些网络能够学习长期依赖性,同时避免消失梯度问题。然而,由于它们的大量参数,与简单RNN(SRNN)相比,训练LSTM需要相当长的训练时间。在本文中,我们实现了在线回归性能的LSTM与SRNN有效。为此,我们引入了一个一阶训练算法的线性时间复杂度的参数的数量。我们表明,当用我们的算法训练SRNN时,它们在两到三倍的训练时间内提供了与LSTM非常相似的回归性能。我们提供强有力的理论分析,以支持我们的实验结果,我们的算法的收敛速度提供遗憾的界限。通过大量的实验,我们验证了我们的理论工作,并证明了我们的算法相对于LSTM和其他最先进的学习模型的显着性能改进。
2021-05-31 cs.LG stat.ML
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology(麻省理工学院);MILA - Universite de Montreal(蒙特利尔大学MILA)
我们提出了一种新的基于递归神经网络(RNN)的模型,该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM,GRU和酉RNN。我们的经验都表明,正交/酉RNN缺乏遗忘能力,并且在遗忘不相关信息的同时,RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果,以及我们的模型在许多自然的顺序任务,包括bAbI问答,TIMIT语音频谱预测,宾州树库,和合成任务,涉及长期的依赖关系,如算法,括号,去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Stabilizing Transformer-Based Action Sequence Generation For Q-Learning
ITMO University(ITMO大学)
自最初的Transformer架构(Vaswani et al. 2017)发布以来,Transformers彻底改变了自然语言处理领域。这主要是因为它们比竞争对手基于RNN的架构更好地理解及时依赖关系的能力。令人惊讶的是,这种架构变化并没有影响强化学习(RL)领域,尽管RNN在RL中非常流行,并且时间依赖性在RL中非常常见。最近,Parisotto等人(2019)进行了RL中Transformers的第一项有希望的研究。为了支持这项工作的结果,本文试图提供一个基于transformer的强化学习方法的额外例子。具体来说,我们的目标是一个简单的基于transformer的深度Q学习方法,它在多种环境下都是稳定的。由于Transformers和RL的不稳定性,进行了广泛的方法搜索,以达到最终的方法,利用围绕Transformers以及Q学习的发展。所提出的方法可以匹配经典的Q-学习控制环境的性能,同时显示出一些选定的Atari基准的潜力。此外,它是批判性的评估,以提供更多的见解之间的关系Transformers和RL。
2020-12-18 cs.LG
Recurrent Neural Networks for Learning Long-term Temporal Dependencies with Reanalysis of Time Scale Representation
NTT Computer and Data Science Laboratories(NTT计算机与数据科学实验室)
具有门控机制(如LSTM或GRU)的循环神经网络是对序列数据进行建模的强大工具。在该机制中,被引入以控制RNN中隐藏状态的信息流的遗忘门最近被重新解释为状态的时间尺度的代表,即,RNN保留输入信息的时间长度。在此解释的基础上,几个参数初始化方法,利用先验知识的时间依赖性的数据已被提出,以提高学习。然而,该诠释依赖于各种不切实际的假设,例如于某个时间点后并无输入数据。在这项工作中,我们重新考虑这种解释的遗忘门在一个更现实的设置。我们首先推广了现有的门控RNN理论,这样我们就可以考虑连续给出输入的情况。然后,我们认为,作为一个时间表示的遗忘门的解释是有效的,当损失的梯度相对于状态呈指数下降,随着时间的推移。我们的经验表明,现有的RNN在几个任务的初始训练阶段满足这个梯度条件,这与以前的初始化方法非常一致。基于这一发现,我们提出了一种方法来构建新的RNN,它可以代表比传统模型更长的时间尺度,这将提高长期序列数据的可学习性。我们验证了我们的方法的有效性与现实世界的数据集进行实验。
2021-11-05 cs.LG stat.ML
Non-normal Recurrent Neural Network (nnRNN): learning long time dependencies while improving expressivity with transient dynamics
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Ecole Polytechnique de Montréal(蒙特利尔高等理工学院)
最近的一种策略是将循环连接矩阵约束为正交或酉矩阵,以规避RNN中的梯度爆炸和消失问题,并允许信号在长时间尺度上稳定传播。这确保了具有单位范数的特征值,从而确保了稳定的动态和训练。然而,由于正交变换的种类有限,这是以降低表现力为代价的。我们提出了一种新的连接结构的基础上的舒尔分解和分裂的舒尔形式成正常和非正常的部分。这允许参数化矩阵的单位范数特征谱没有正交约束的特征基。由此产生的架构,确保访问一个更大的空间谱约束矩阵,其中正交矩阵的子集。这一关键差异保留了正交RNN的稳定性优势和训练速度,同时增强了表达能力,特别是在需要对正在进行的输入序列进行计算的任务上。
2019-10-28 cs.AI cs.LG stat.ML
Depth Enables Long-Term Memory for Recurrent Neural Networks
Faculty of Computer Science and Engineering The Hebrew University of Jerusalem(计算机科学与工程学院 希伯来大学耶路撒冷分校);The Hebrew University of Jerusalem(希伯来大学耶路撒冷分校);Faculty of Computer Science and Engineering(计算机科学与工程学院)
现代循环神经网络(RNN)在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而,缺乏对RNN长期记忆能力的一个完善的衡量标准,因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说,卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题,我们引入了一个衡量网络支持跨时间信息流的能力的指标,称为起止分离秩,它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅对应网络支持的秩。因此,我们确定深度在递归网络建模长期依赖关系的能力方面具有压倒性的优势,并提供了量化这一关键属性的范例。我们通过广泛的实验评估,使用限制隐藏到隐藏矩阵正交的优化技术,经验性地证明了常见RNN上讨论的现象。最后,我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2020-03-23 cs.LG stat.ML
UnICORNN: A recurrent model for learning very long time dependencies
ETH Zürich(苏黎世联邦理工学院)
由于梯度的爆炸和消失问题,设计递归神经网络(RNN)来精确处理具有长时间依赖性的序列输入是非常具有挑战性的。为了克服这一点,我们提出了一种新的RNN架构,该架构基于对振荡器网络建模的二阶常微分方程的哈密顿系统的结构保持离散化。由此产生的RNN是快速的,可逆的(在时间上),内存效率,我们推导出严格的边界上的隐藏状态梯度证明爆炸和消失的梯度问题的缓解。一组实验表明,所提出的RNN提供了最先进的性能在各种学习任务(非常)长时间的依赖关系。
2021-06-10 cs.LG math.DS stat.ML
Gated Recurrent Neural Tensor Network
Universitas Indonesia(印度尼西亚大学);Nara Institute of Science and Technology(奈良先端科学技术大学)
递归神经网络(RNN)是一种强大的时序数据建模方案,需要捕获数据集的长期依赖关系,并使用强大的模型将其表示在隐藏层中,以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模,门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层(即,张量积)帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中,我们提出了一种新的RNN架构,将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中,我们提出的模型通过使用门控单元建模来学习长期依赖关系,并使用三维数组(张量)权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆(LSTM)RNN和门控递归单元(GRU)RNN,并将它们与其公式中的张量积结合起来。我们提出的RNN,被称为长短期记忆递归神经张量网络(LSTMRNTN)和门控递归单位递归神经张量网络(GRURNTN),是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验,结果表明,与我们的基线模型相比,我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Learning Longer-term Dependencies via Grouped Distributor Unit
Zhejiang University(浙江大学)
尽管最近在序列建模方面取得了成功,但递归神经网络(RNN)学习长期依赖关系仍然很困难。在本文中,我们提出了一种新的门RNN结构,它只包含一个门。建议的分组分发器单元(GDU)中的隐藏状态被划分成组。对于每个组,在每个状态转换中要重写的存储器的比例被限制为常数,并且自适应地分配给每个组成员。换句话说,每个单独的组都有一个固定的整体更新速率,但允许所有单元具有不同的速度。因此,信息被迫以灵活的方式锁定,这有助于模型捕获数据中的长期依赖关系。除了具有更简单的结构外,实验证明GDU在包括病理问题和自然数据集在内的任务上优于LSTM和GRU。
2019-04-29 cs.LG cs.NE stat.ML
Recurrent Orthogonal Networks and Long-Memory Tasks
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
尽管RNN已被证明是处理序列数据的强大工具,但寻找允许它们对非常长期的依赖关系进行建模的架构或优化策略仍然是一个活跃的研究领域。在这项工作中,我们仔细分析了最初在(Hochreiter和Schmidhuber,1997)中概述的两个合成数据集,这些数据集用于评估RNN在多个时间步长上存储信息的能力。我们明确地构建了这些问题的RNN解决方案,并使用这些结构,阐明了问题本身以及RNN在其隐藏状态中存储不同类型信息的方式。这些结构进一步解释了最近的方法,指定酉初始化或限制的过渡矩阵的成功。
2017-03-15 cs.AI cs.LG cs.NE
TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
在本文中,我们提出了TopicRNN,一个基于循环神经网络(RNN)的语言模型,旨在通过潜在主题直接捕获文档中与单词相关的全局语义。由于它们的顺序性质,RNN擅长捕捉单词序列的局部结构-语义和句法-但可能难以记住长距离依赖关系。直观地说,这些长距离依赖关系是语义性质的。相比之下,潜在主题模型能够捕获文档的全局底层语义结构,但不考虑单词排序。所提出的TopicRNN模型集成了RNN和潜在主题模型的优点:它使用RNN捕获局部(语法)依赖关系,使用潜在主题捕获全局(语义)依赖关系。与以前的上下文RNN语言建模工作不同,我们的模型是端到端学习的。单词预测的实证结果表明,TopicRNN优于现有的上下文RNN基线。此外,TopicRNN可以用作文档的无监督特征提取器。我们这样做是为了对IMDB电影评论数据集进行情感分析,并报告出错率为$6.28\%$。这与半监督方法产生的最先进的$5.91\%$相当。最后,TopicRNN还产生了合理的主题,使其成为潜在Dirichlet分配等文档模型的有用替代品。
2017-02-27 cs.AI cs.CL cs.LG
Batch Normalized Recurrent Neural Networks
Université de Montréal(蒙特利尔大学);University of Southern California(南加州大学)
循环神经网络(RNN)是一种强大的序列数据模型,具有学习长期依赖关系的潜力。然而,它们在训练时计算开销大并且难以并行化。最近的研究表明,规范化神经网络的中间表示可以显着提高前馈神经网络的收敛速度。特别是,使用小批量统计数据来标准化特征的批量标准化可以显着减少训练时间。在本文中,我们证明了将批量归一化应用于RNN的隐藏到隐藏转换对训练过程没有帮助。我们还表明,当应用于输入到隐藏转换时,批量归一化可以导致训练标准的更快收敛,但似乎并不能提高我们的语言建模和语音识别任务的泛化性能。总而言之,将批量归一化应用于RNN比将其应用于前馈网络更具挑战性,但它的某些变体仍然是有益的。
2015-10-05 cs.LG cs.NE stat.ML
Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies
ETH Zürich(苏黎世联邦理工学院);Seminar for Applied Mathematics (SAM)(应用数学研讨班(SAM));Department of Mathematics(数学系)
生物神经元的回路,例如大脑的功能部分,可以被建模为耦合振荡器的网络。受这些系统表达丰富的输出集,同时保持状态变量(梯度)有界的能力的启发,我们提出了一种新的递归神经网络架构。我们提出的RNN是基于二阶常微分方程系统的时间离散化,对受控非线性振荡器网络进行建模。我们证明了隐藏状态梯度的精确界限,从而缓解了该RNN的爆炸和消失梯度问题。实验表明,所提出的RNN在各种基准测试中的性能与最先进的RNN相当,证明了这种架构为处理复杂的序列数据提供稳定和准确的RNN的潜力。
2021-03-14 cs.LG cs.NE stat.ML
Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses
ETH Zürich(苏黎世联邦理工学院)
学习长期依赖性是循环神经网络(RNN)的一个关键的长期挑战。分层循环神经网络(HRNN)被认为是一种很有前途的方法,因为长期依赖性是通过层次结构上下的捷径来解决的。然而,截断反向传播时间(TBPTT)的内存要求仍然阻止在非常长的序列上训练它们。在本文中,我们通过经验证明,在(深度)HRNN中,从较高级别到较低级别的传播梯度可以被本地可计算的损失所取代,而不会损害网络的学习能力,在广泛的任务范围内。与标准TBPTT相比,通过局部损失的这种解耦在层次结构的深度上以指数因子降低了训练的存储器需求。
2019-10-11 cs.LG cs.NE stat.ML
Optimal Kronecker-Sum Approximation of Real Time Recurrent Learning
ETH Zurich(苏黎世联邦理工学院)
递归神经网络(RNN)的核心目标之一是学习序列数据中的长期依赖关系。然而,最流行的训练方法,通过时间截断反向传播(TBPTT),明确禁止学习超出截断范围的依赖关系。相比之下,在线训练算法实时的递归学习(RTRL)提供了未截断的梯度,具有不切实际的大计算成本的缺点。最近公布的方法通过提供RTRL的噪声近似来降低这些成本。提出了一种新的RTRL的近似算法--最优Kronecker和近似(OK)。我们证明了OK是最佳的一类近似RTRL,其中包括所有的方法发表至今。此外,我们表明,OK具有经验上可忽略的噪声:与以前的算法不同,它在现实世界的任务(字符级Penn TreeBank)中匹配TBPTT,并且可以利用在线参数更新在合成字符串记忆任务中优于TBPTT。代码在github上可用。
2019-05-17 cs.LG stat.ML
Eigenvalue Normalized Recurrent Neural Networks for Short Term Memory
University of Kentucky(肯塔基大学)
最近开发了具有正交或酉递归矩阵的循环神经网络(RNN)的几种变体,以减轻消失/爆炸梯度问题并对序列的长期依赖性进行建模。然而,由于递归矩阵的特征值在单位圆上,递归状态保留了所有的输入信息,这可能不必要地消耗模型容量。在本文中,我们通过提出一种架构来解决这个问题,该架构扩展了正交/酉RNN,其状态由具有单位圆盘中特征值的递归矩阵生成。任何输入都会随着时间的推移而消散,并被新的输入所取代,模拟短期记忆。一个梯度下降算法推导出学习这样的递归矩阵。由此产生的方法,称为特征值归一化RNN(ENRNN),在几个实验中显示出高度的竞争力。
2019-11-18 cs.LG stat.ML
Constructing Gradient Controllable Recurrent Neural Networks Using Hamiltonian Dynamics
循环神经网络(RNN)在解决序列学习问题方面获得了极大的关注。然而,由于隐藏状态梯度消失或爆炸的问题,长期依赖关系的学习仍然具有挑战性。通过进一步探索RNN和动力系统之间最近建立的联系,我们提出了一种新的RNN架构,我们称之为Hamilton递归神经网络(Hamilton RNN),基于适当选择的Hamilton系统的辛离散化。这种方法的主要好处是,相应的RNN继承了Hamilton系统的有利的长时间特性,这反过来又允许我们使用Hamilton RNN架构的超参数来控制隐藏状态梯度。这使我们能够处理具有任意序列长度的序列学习问题,因为对于这个超参数的值的范围,梯度既不消失也不爆炸。此外,我们提供了一个启发式的超参数的最佳选择,我们在我们的数值模拟中使用,以说明汉密尔顿RNN能够优于其他国家的最先进的RNN,而不需要计算密集型超参数优化。
2020-03-16 cs.LG cs.NA math.NA