FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network
Indian Institute of Technology Delhi（德里印度理工学院）；University of California Berkeley（加州大学伯克利分校）；Microsoft Research India（微软印度研究院）
本文开发了FastRNN和FastGRNN算法，以解决RNN训练不准确和预测效率低下的双重局限性。以前的方法已经提高了精度，但代价是预测成本，使得它们对于资源受限和实时应用不可行。酉RNN通过限制状态转移矩阵奇异值的范围，在一定程度上提高了准确性，但也增加了模型的大小，因为它们需要更多的隐藏单元来弥补表达能力的损失。门控RNN通过添加额外的参数获得了最先进的精度，从而产生了更大的模型。FastRNN通过添加一个残差连接来解决这些限制，该残差连接不明确限制奇异值的范围，并且只有两个额外的标量参数。然后，FastGRNN通过重用RNN矩阵将剩余连接扩展到门，以匹配最先进的门控RNN精度，但模型较小2- 4倍。强制FastGRNN的矩阵为低秩、稀疏和量化，导致精确的模型比领先的门控和酉RNN小35倍。这使得FastGRNN能够准确地识别具有1 KB模型的“Hey Cortana”唤醒词，并部署在资源严重受限的物联网微控制器上，这些微控制器太小，无法存储其他RNN模型。FastGRNN的代码可以在https://github.com/Microsoft/EdgeML/上找到。
2019-01-08 cs.AI cs.LG cs.NE
Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate
Ghent University（根特大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出Delayed Memory Unit（DMU），通过引入延迟线结构和延迟门改进普通RNN，直接将输入分配至未来最佳时间点以增强时间交互，在多项序列任务中以更少参数实现卓越时间建模。
2024-11-10 cs.LG cs.NE eess.AS
An Improved Time Feedforward Connections Recurrent Neural Networks
Changsha University of Science & Technology（长沙理工大学）；Honam University（湖南大学）
循环神经网络（RNN）已被广泛应用于处理时态问题，如洪水预报和金融数据处理。一方面，由于严格的时间序列依赖性，传统的RNN模型放大了梯度问题，使得难以实现长期记忆功能。另一方面，RNN细胞是高度复杂的，这将显著增加计算复杂性，并在模型训练期间造成计算资源的浪费。本文首先提出了一种改进的时间前馈连接循环神经网络（TFC-RNNs）模型来解决梯度问题。在时间t-2处引入一个并行分支，将隐藏状态直接转移到时间t，而不需要在时间t-1处进行非线性变换。这对于改善RNN的长期依赖性是有效的。在此基础上，提出了一种新的单元结构--单栅递归单元（SGRU）。这种单元结构可以减少RNN单元的参数数量，从而降低计算复杂性。接下来，将SGRU应用于TFC-RNN作为新的TFC-SGRU模型解决了上述两个困难。最后，通过实验验证了TFC-SGRU的长期记忆和抗干扰能力。实验结果表明，我们提出的TFC-SGRU模型可以捕获有用的信息与时间步长1500，有效地过滤掉噪声。在语言处理能力方面，TFC-SGRU模型的准确性优于LSTM和GRU模型。
2022-11-03 cs.LG cs.NE
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语音识别在很大程度上利用了深度学习，这表明现代递归神经网络（RNN）可以获得巨大的好处。最受欢迎的RNN是长短期记忆（LSTM），由于它们能够学习长期依赖性和对消失梯度的鲁棒性，它们通常在许多任务中达到最先进的性能。然而，LSTM有一个相当复杂的设计，有三个乘法门，这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元（GRU），它只基于两个乘法门。本文建立在这些努力的基础上，进一步修订GRU，并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先，我们建议在GRU设计中去除复位门，从而实现更高效的单门架构。其次，我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明，在我们的实现中，与标准GRU相比，修改后的架构将每历元训练时间减少了30%以上，并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Optimizing and Contrasting Recurrent Neural Network Architectures
University of Edinburgh（爱丁堡大学）
递归神经网络（RNN）长期以来一直被认为具有建模复杂时间序列的潜力。然而，仍然需要确定什么样的优化技术和递归架构可以用来最好地实现这一潜力。提出的实验深入研究海森自由优化，一个强大的二阶优化方法，已显示出有前途的结果，但仍然没有得到广泛的使用。该算法被用于训练到许多RNN架构，包括标准RNN，长短期记忆，乘法RNN和堆叠RNN的字符预测任务。从这些实验中获得的见解导致创建了一种新的乘法LSTM混合架构，其性能优于LSTM和乘法RNN。当在更大规模上进行测试时，乘法LSTM使用非常不同的方法实现了与RNN最新技术水平竞争的字符级建模结果。
2015-10-16 cs.LG cs.NE stat.ML
Improving Deep Knowledge Tracing via Gated Architectures and Adaptive Optimization
University of Virginia（弗吉尼亚大学）
本研究通过引入LSTM和GRU门控架构及PyTorch框架重构，并评估多种自适应优化算法，显著提升了深度知识追踪模型的预测准确性与训练稳定性。
2025-04-24 cs.LG
Comba: Improving Bilinear RNNs with Closed-loop Control
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Shanghai AI Laboratory（上海人工智能实验室）；Squirrel Ai Learning, USA（Squirrel Ai Learning）
Comba通过闭环控制理论改进双线性RNNs，采用标量加低秩状态转移实现高效语言和视觉建模。
2025-12-03 cs.CL cs.LG
Theory of gating in recurrent neural networks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；CUNY（纽约市立大学）
循环神经网络（RNN）是一种强大的动态模型，广泛应用于机器学习（ML）和神经科学。之前的理论工作主要集中在具有加性相互作用的RNN上。然而，门控-即乘法-相互作用在真实神经元中无处不在，也是ML中性能最好的RNN的核心特征。在这里，我们表明，门控提供了灵活的控制集体动力学的两个显着特征：i）时间尺度和ii）维度。门控制时间尺度导致一个新的，边缘稳定的状态，其中网络作为一个灵活的积分器。与以前的方法不同，门控允许这个重要的功能，而无需参数微调或特殊的对称性。门还提供了一种灵活的、依赖于上下文的机制来重置记忆轨迹，从而补充了记忆功能。调制维度的门可以诱导一种新的、不连续的混沌过渡，其中输入将稳定系统推向强混沌活动，与输入的典型稳定效果相反。在这种过渡中，与加性RNN不同，临界点的扩散（拓扑复杂性）与混沌动力学的出现（动力学复杂性）解耦。丰富的动力学在相图中进行了总结，从而为ML从业者提供了一个原则性参数初始化选择的地图。
2021-12-01 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Long Short-Term Memory as a Dynamically Computed Element-wise Weighted Sum
University of Washington（华盛顿大学）
LSTM被引入来对抗简单RNN中的消失梯度，通过用门控加法递归连接来增强它们。我们提出了另一种观点来解释LSTM的成功：门本身是多功能的经常性模型，提供更多的代表性的权力比以前认识到的。我们通过将LSTM的门从嵌入式简单RNN中解耦来实现这一点，从而产生一类新的RNN，其中递归计算输入的上下文无关函数的元素加权和。对一系列问题的消融表明，在大多数情况下，门控机制本身的表现与LSTM一样好，这强烈表明门在实践中做的不仅仅是缓解消失的梯度。
2018-05-09 cs.AI cs.CL cs.LG
A bio-inspired bistable recurrent cell allows for long-lasting memory
University of Liège（列日大学）
递归神经网络（RNN）在各种需要记忆的任务中提供了最先进的性能。这些性能通常可以通过门控递归单元（GRU）和长短期记忆（LSTM）等门控递归单元来实现。标准门控单元共享一层内部状态以在网络级存储信息，并且长期记忆由网络范围的递归连接权重形成。另一方面，生物神经元能够通过称为双稳态的过程在细胞水平上保持信息任意长的时间。通过双稳态，细胞可以根据自己的过去状态和输入稳定到不同的稳态，这允许在神经元状态中持久存储过去信息。在这项工作中，我们从生物神经元双稳态中获得灵感，在细胞水平上嵌入具有持久记忆的RNN。这导致引入了一种新的生物学启发的递归细胞，该细胞被证明可以大大提高RNN在时间序列上的性能，这些时间序列需要非常长的记忆，尽管只使用细胞连接（所有递归连接都是从神经元到它们自己，即神经元状态不受其他神经元状态的影响）。此外，为这种细胞配备反复的神经调节允许将它们与标准GRU细胞联系起来，朝着GRU的生物可接受性迈出了一步。
2020-06-09 cs.LG cs.NE
Gating Revisited: Deep Multi-layer RNNs That Can Be Trained
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们为递归神经网络（RNN）提出了一种新的STackable Recurrent cell（STAR），它比广泛使用的LSTM和GRU具有更少的参数，同时对消失或爆炸梯度更具鲁棒性。将递归单元堆叠到深度架构中受到两个主要限制：（i）许多递归单元（例如，LSTM）在参数和计算资源方面是昂贵的;（ii）深度RNN在训练过程中容易消失或爆炸梯度。我们研究了多层RNN的训练，并检查了梯度在“垂直”方向上通过网络传播时的大小。我们表明，根据基本的经常性单位的结构，梯度系统衰减或放大。基于我们的分析，我们设计了一种新型的门控单元，更好地保持梯度幅度。我们验证了我们的设计大量的序列建模任务，并表明，拟议的STAR细胞允许建立和训练更深的经常性架构，最终导致性能提高，同时计算更高效。
2021-03-06 cs.CV cs.LG
Dynamical Isometry and a Mean Field Theory of RNNs: Gating Enables Signal Propagation in Recurrent Neural Networks
Google（谷歌）；Google Brain（谷歌大脑）
循环神经网络在跨各个领域的序列数据建模中得到了广泛的应用。虽然许多成功的递归架构都采用了门控的概念，但实现这种卓越性能的确切机制还没有得到很好的理解。我们开发了一个理论，在经常性网络随机初始化后，使用平均场理论和随机矩阵理论相结合的信号传播。为了简化我们的讨论，我们引入了一个新的RNN单元，它具有一个简单的门控机制，我们称之为minimalRNN，并将其与vanilla RNN进行比较。我们的理论允许我们定义RNN可以记住输入的最大时间尺度。我们表明，这一理论预测可训练的经常性架构。我们发现，门控递归网络比普通RNN具有更广泛，更强大，更可训练的区域，这证实了最近的实验结果。最后，我们开发了一个封闭形式的临界初始化方案，在vanilla RNN和minimalRNN中实现动态等距。我们表明，这导致训练动态的显着改善。最后，我们证明了minimalRNN在语言建模任务中的性能与其更复杂的同行（如LSTM或GRU）相当。
2018-08-15 cs.LG stat.ML
RNNs Evolving on an Equilibrium Manifold: A Panacea for Vanishing and Exploding Gradients?
Boston University（波士顿大学）；MERL（三菱电机研究实验室）
递归神经网络（RNN）特别适合于对序列数据中的长期依赖关系进行建模，但众所周知，它很难训练，因为在时间上反向传播的误差要么消失，要么以指数速度爆炸。虽然一些作品试图通过门控经常性单位，精心选择的参数约束和跳跃连接来减轻这种影响，但我们开发了一种新的视角，旨在发展常微分方程（ODE）平衡流形上的隐藏状态。我们提出了一个新的RNN，即{ \em平衡递归神经网络}（ERNN），克服了梯度衰减或爆炸效应，并导致在平衡流形上演化的递归模型。我们表明，平衡点是稳定的，导致快速收敛的离散常微分方程的不动点。此外，ERNN考虑了长期依赖性，并且可以有效地回忆起遥远过去的数据的信息方面。我们表明，ERNN在许多具有挑战性的数据集上实现了最先进的准确性，具有3- 10倍的加速比，1.5- 3倍的模型大小减少，并且相对于普通RNN具有类似的预测成本。
2019-08-26 cs.LG stat.ML
Particle Filter Recurrent Neural Networks
National University of Singapore（新加坡国立大学）
循环神经网络（RNN）在序列数据的预测方面取得了巨大的成功。为了处理高度可变和嘈杂的现实世界数据，我们引入了粒子滤波循环神经网络（PF-RNN），这是一种新的RNN家族，它明确地模拟其内部结构中的不确定性：虽然RNN依赖于一个长的，确定性的潜在状态向量，但PF-RNN保持了一个潜在的状态分布，近似为一组粒子。为了有效学习，我们提供了一个完全可微的粒子滤波算法，该算法根据贝叶斯规则更新PF-RNN潜在状态分布。实验表明，所提出的PF-RNN在合成机器人定位数据集和10个真实世界序列预测数据集上的文本分类，股票价格预测等方面优于相应的标准门控RNN。
2019-12-01 cs.LG stat.ML
The RNN Homunculus: Learning to Gate Long-Term Memory
Delft University of Technology（代尔夫特理工大学）；Mekelweg 5, 2628 CD Delft, The Netherlands（荷兰代尔夫特市梅克尔韦格5号（注：此处为地址，非机构，按原文提取））
该研究针对 RNN 学习长程记忆的梯度消失问题，通过添加短依赖样本辅助门控学习，使门控 RNN 性能达到或超过 Mamba、xLSTM 等现代架构。
2026-10-14 cs.AI cs.LG
Gating creates slow modes and controls phase-space complexity in GRUs and LSTMs
CUNY Graduate Center（纽约市立大学研究生中心）；Princeton University（普林斯顿大学）
递归神经网络（RNN）是处理具有复杂时间结构数据的强大动力学模型。然而，由于梯度的爆炸或消失，训练RNN传统上被证明具有挑战性。RNN模型，如LSTM和GRU（及其变体），通过在架构中引入各种类型的门控单元，显著缓解了这些与训练相关的问题。虽然这些门经验性地提高了性能，但门的添加如何影响GRU和LSTM的动态和可训练性还没有得到很好的理解。在这里，我们把随机初始化的LSTM和GRU作为动力系统来研究，并询问门如何塑造显着的动力学特性。我们利用随机矩阵理论和平均场理论的工具来研究GRU和LSTM的状态到状态雅可比矩阵。我们证明了GRU中的更新门和LSTM中的遗忘门可以导致动态中慢模式的积累。此外，GRU更新门可以将系统平衡在边缘稳定点。GRU中的复位门和LSTM中的输出和输入门控制雅可比矩阵的谱半径，GRU复位门还调节固定点景观的复杂性。此外，对于GRU，我们得到一个相图描述的统计特性的不动点。我们还提供了一个初步的训练性能比较不同的超参数实现的各种动力学制度。展望未来，我们已经引入了一套强大的技术，可以适应广泛的RNN类别，研究各种架构选择对动态的影响，并可能激发新架构的原则性发现。
2020-06-15 cond-mat.dis-nn cond-mat.stat-mech cs.LG
On Generalization Bounds of a Family of Recurrent Neural Networks
Georgia Tech（佐治亚理工学院）；Princeton University（普林斯顿大学）
循环神经网络（RNN）已被广泛应用于序列数据分析。然而，由于其复杂的模型结构，其背后的理论在很大程度上仍然缺失。为了将理论和实践联系起来，我们研究了香草RNN及其变体的泛化特性，包括最小门控单元（MGU），长短期记忆（LSTM）和卷积（Conv）RNN。具体而言，我们的理论是建立在PAC学习框架下。广义界的权重矩阵的谱范数和参数的总数。我们还建立了细化的推广界与额外的范数假设，并得出这些界限之间的比较。我们注意到：（1）我们对vanilla RNN的泛化范围比现有的最佳结果要严格得多;（2）我们不知道现有文献中MGU，LSTM和Conv RNN的任何其他泛化范围;（3）我们证明了这些变体在泛化方面的优势。
2019-11-04 cs.LG stat.ML
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University（清华大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）
循环神经网络（RNN）在序列建模方面表现出明显的优势，特别是具有门控单元的网络，如长短期记忆（LSTM）和门控循环单元（GRU）。然而，在许多应用中，卓越性能背后的动态特性仍然不清楚，例如，自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式，其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改：（1）LSTM中的懒惰单元更新，以及（2）残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
MINIMALIST: switched-capacitor circuits for efficient in-memory computation of gated recurrent units
Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
本文提出MINIMALIST架构，采用开关电容电路实现最小GRU的存内计算与门控状态更新，并通过混合信号仿真验证其与软件模型的直接兼容。
2025-05-13 cs.AI cs.AR cs.LG
Recurrent Neural Networks for Learning Long-term Temporal Dependencies with Reanalysis of Time Scale Representation
NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）
具有门控机制（如LSTM或GRU）的循环神经网络是对序列数据进行建模的强大工具。在该机制中，被引入以控制RNN中隐藏状态的信息流的遗忘门最近被重新解释为状态的时间尺度的代表，即，RNN保留输入信息的时间长度。在此解释的基础上，几个参数初始化方法，利用先验知识的时间依赖性的数据已被提出，以提高学习。然而，该诠释依赖于各种不切实际的假设，例如于某个时间点后并无输入数据。在这项工作中，我们重新考虑这种解释的遗忘门在一个更现实的设置。我们首先推广了现有的门控RNN理论，这样我们就可以考虑连续给出输入的情况。然后，我们认为，作为一个时间表示的遗忘门的解释是有效的，当损失的梯度相对于状态呈指数下降，随着时间的推移。我们的经验表明，现有的RNN在几个任务的初始训练阶段满足这个梯度条件，这与以前的初始化方法非常一致。基于这一发现，我们提出了一种方法来构建新的RNN，它可以代表比传统模型更长的时间尺度，这将提高长期序列数据的可学习性。我们验证了我们的方法的有效性与现实世界的数据集进行实验。
2021-11-05 cs.LG stat.ML
DeepSITH: Efficient Learning via Decomposition of What and When Across Time Scales
University Of Virginia（弗吉尼亚大学）；Indiana University（印第安纳大学）；Boston University（波士顿大学）
在一系列尺度上提取时间关系是人类感知和认知的标志-因此它是应用于现实世界问题的机器学习的关键特征。神经网络要么受到递归神经网络（RNN）中的梯度爆炸/消失问题的困扰，要么必须调整它们的参数来学习相关的时间尺度（例如，在LSTM中）。本文介绍了DeepSITH，这是一种由生物启发的尺度不变时间历史（SITH）模块串联而成的网络，层与层之间具有密集的连接。SITH模块用一组几何间隔的时间常数来响应它们的输入，使DeepSITH网络能够沿着连续的时间尺度来学习问题。我们将DeepSITH与LSTM和其他最近的RNN在几个时间序列预测和解码任务上进行了比较。DeepSITH在这些问题上实现了最先进的性能。
2021-10-26 cs.LG
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
MIT-IBM Watson Lab（MIT-IBM沃森实验室）；Princeton University（普林斯顿大学）；Together AI
本文提出M$^2$RNN，通过矩阵值状态和非线性状态转移提升语言建模性能，实验证明其在长序列泛化和大规模语言建模中的优势。
2026-10-19 cs.AI cs.LG
Residual Gated Graph ConvNets
Nanyang Technological University（南洋理工大学）；Loyola Marymount University（洛约拉马利蒙特大学）
图结构的数据，如社交网络，功能脑网络，基因调控网络，通信网络带来了兴趣，推广深度学习技术的图形域。在本文中，我们感兴趣的是设计神经网络的图与可变长度，以解决学习问题，如顶点分类，图分类，图回归，图生成任务。大多数现有的工作都集中在递归神经网络（RNN）学习有意义的表示图，最近新的卷积神经网络（ConvNets）已经推出。在这项工作中，我们希望严格比较这两个基本的架构家族来解决图学习任务。我们回顾了现有的图RNN和ConvNet架构，并提出了将LSTM和ConvNet自然扩展到任意大小的图。然后，我们设计了一组分析控制实验上的两个基本的图形问题，即子图匹配和图聚类，以测试不同的架构。数值结果表明，所提出的图ConvNets比图RNNs精确3-17%，速度快1.5- 4倍。图ConvNets也比变分（非学习）技术准确36%。最后，最有效的图ConvNet架构使用门控边和残差。冗余性在学习多层架构方面起着至关重要的作用，因为它们提供了10%的性能增益。
2018-04-24 cs.LG stat.ML
Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks
Open Institute of Technology（开放技术研究所）
本文研究了递归神经网络中门控机制如何通过状态空间和参数空间动态耦合，影响学习率和梯度传播，揭示门控在优化中的双重作用。
2026-04-21 cs.LG math.DS
SiTGRU: Single-Tunnelled Gated Recurrent Unit for Abnormality Detection
Shanghai Jiao Tong University（上海交通大学）；Southeast University（东南大学）；East China Normal University（华东师范大学）
异常检测是一项具有挑战性的任务，由于依赖于特定的上下文和不受约束的变化的实际情况。近年来，它受益于深度神经网络学习的强大功能，以及专门用于异常检测器的手工功能。然而，这些具有大复杂度的方法在处理长期顺序数据（例如，视频），并且它们的学习特征不能完全捕获有用的信息。递归神经网络（RNN）已被证明能够鲁棒地处理长期序列中的时间数据。在本文中，我们提出了一种新版本的门控递归单元（GRU），称为单隧道GRU异常检测。特别地，单隧道GRU从GRU单元中丢弃了重加权的复位门，该重加权的复位门通过仅偏好当前输入而忽略了过去内容的重要性，以获得优化的单门控单元模型。此外，我们将标准GRU中的双曲正切激活替换为sigmoid激活，因为前者在更深的网络中会遭受性能损失。实证结果表明，我们提出的优化GRU模型优于标准GRU和长短期记忆（LSTM）网络的大多数指标的检测和推广任务的CUHK大道和UCSD数据集。该模型在计算上也很高效，与标准RNN相比减少了训练和测试时间。
2020-03-30 cs.CV cs.LG
Complex Gated Recurrent Neural Networks
Institute for Computer Science（计算机科学研究所）；University of Bonn（波恩大学）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
复数长期以来一直受到数字信号处理的青睐，但复数表示很少出现在深度学习架构中。RNN广泛用于处理时间序列和序列信息，可以从复杂的表示中受益匪浅。我们提出了一种新的复合门控递归细胞，这是一个混合细胞结合复值和范数保持状态转换的门控机制。由此产生的RNN具有出色的稳定性和收敛性，并且在合成记忆和添加任务以及人体运动预测的现实任务上具有竞争力。
2018-10-27 cs.LG stat.ML
Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations
Stanford University（斯坦福大学）
本文通过实验证明，门控循环神经网络在重复输入序列任务中采用基于数量级的非线性表示，而非线性方向编码，从而反驳了强线性表示假说，并指出可解释性研究不应受此假说限制。
2024-08-20 cs.AI cs.LG cs.NE
Gated Feedback Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）
在这项工作中，我们提出了一种新的递归神经网络（RNN）架构。所提出的RNN，门控反馈RNN（GF-RNN），扩展了现有的堆叠多个递归层的方法，允许和控制信号从上层递归层流向下层，每对层使用全局门控单元。基于先前的隐藏状态和当前输入，层之间交换的递归信号被自适应地选通。我们评估了所提出的GF-RNN与不同类型的递归单元，如tanh，长短期记忆和门控递归单元，在字符级语言建模和Python程序评估的任务。我们对不同RNN单元的经验评估表明，在这两项任务中，GF-RNN都优于构建深度堆叠RNN的传统方法。我们认为，之所以会出现这种改进，是因为GF-RNN可以通过学习门控这些交互，自适应地将不同的层分配给不同的时间尺度和层与层的交互（包括通常不存在于堆栈RNN中的自上而下的交互）。
2015-06-17 cs.LG cs.NE stat.ML
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；Tencent Inc.（腾讯公司）
循环神经网络（RNN）及其变体，如长短期记忆（LSTM）网络和门控循环单元（GRU）网络，在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元，有助于在顺序上下文中存储信息。然而，当处理高维输入数据时，如视频和文本，RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战，我们提出了一种新的紧凑LSTM模型，称为TR-LSTM，通过利用低秩张量环分解（TRD）来重新制定输入到隐藏的转换。与其他张量分解方法相比，TR-LSTM更稳定。此外，TR-LSTM可以完成端到端的训练，也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明，与张量训练LSTM和其他最先进的竞争对手相比，所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Improving the Performance and Learning Stability of Parallelizable RNNs Designed for Ultra-Low Power Applications
University of Cambridge（剑桥大学）
本文提出CMRU和αCMRU，通过累积更新公式恢复梯度流并保持持久记忆，提升收敛稳定性并减少初始化敏感性，在多样本基准中表现优异，尤其在需要离散长距离保留的任务中表现突出。
2026-06-06 cs.AI cs.AR cs.LG
Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
递归神经网络（RNN）在序列学习任务中得到了广泛的研究，而主流模型（例如，LSTM和GRU）依赖于门控机制（控制信息如何在隐藏状态之间流动）。然而，RNN中的香草门（例如，LSTM中的输入门）遭受门训练不足的问题，这可能是由各种因素引起的，例如饱和激活函数，门布局（例如，门数目和门控函数），或者甚至次优存储器状态等。这可能会导致学习门控开关角色的失败，从而导致性能低下。在本文中，我们提出了一个新的门控机制一般门控递归神经网络来处理这个问题。具体来说，所提出的门直接将提取的输入特征短接到香草门的输出，表示为精炼门。细化机制允许增强梯度反向传播以及扩展门控激活范围，这可以引导RNN达到可能更深的最小值。我们在三种流行的门控RNN上验证了所提出的门控机制，包括LSTM，GRU和MGU。在3个合成任务、3个语言建模任务和5个场景文本识别基准上的实验证明了该方法的有效性。
2020-05-26 cs.CV cs.LG cs.NE
Deconstructing Recurrence, Attention, and Gating: Investigating the transferability of Transformers and Gated Recurrent Neural Networks in forecasting of dynamical systems
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Institute of Structural Engineering, ETH Zurich（苏黎世联邦理工学院结构工程研究所）
本文通过消融研究解构RNN的门控与循环及Transformer的注意力机制，构建混合架构，发现门控和注意力普遍提升RNN性能，而循环对Transformer有害，并提出结合循环高速网络与门控注意力的新架构在高维时空预测中表现最佳。
2024-10-03 cs.LG nlin.CD physics.comp-ph
Recurrent Neural Networks for Forecasting Time Series with Multiple Seasonality: A Comparative Study
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文比较了具有不同类型门控单元的循环神经网络（RNN）对具有多个季节性的时间序列的预测。我们比较的细胞包括经典的长短期记忆（LSTM），门控递归单元（GRU），具有膨胀的修改的LSTM，以及我们最近提出的两个新细胞，它们配备了膨胀和注意力机制。为了对不同尺度的时间依赖性进行建模，我们的RNN架构具有多个膨胀的递归层，这些层堆叠有分层膨胀。建议的RNN产生点预测和预测区间（PI）。一项关于35个欧洲国家短期电力负荷预测的实证研究证实，具有扩张和注意力的新门控细胞表现最好。
2022-03-17 cs.LG
On Scrambling Phenomena for Randomly Initialized Recurrent Networks
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California, Irvine（加州大学欧文分校）；Columbia University（哥伦比亚大学）
递归神经网络（RNN）经常表现出复杂的动态特性，并且它们对初始化过程的敏感性通常使它们难以训练。最近的工作揭示了这种现象分析时，爆炸或消失的梯度可能会发生，这两种情况都是有害的训练动态。在本文中，我们指出了RNN和混沌动力系统之间的正式联系，并证明了RNN的一个比爆炸梯度所暗示的更强的定性现象。我们的主要结果证明，在标准初始化（例如，他，泽维尔等），RNN将表现出\textit{Li-Yorke chaos}，其中\textit{constant}概率为网络宽度的\textit{independent}。这解释了实验观察到的\textit{scrambling}现象，在该现象下，附近点的轨迹可能在某些时间步长期间看起来任意接近，但在未来的时间步长中将远离。与它们的前馈对应物形成鲜明对比的是，我们表明RNN中的混沌行为在小扰动下保持不变，并且它们的表达能力在反馈迭代次数中保持指数级。我们的技术论点依赖于将RNN视为非线性激活下的随机游走，并研究某些类型的高阶不动点的存在，称为\textit{periodic points}，导致从有序到混沌的相变。
2022-10-11 cs.AI cs.LG
Improving Deep Learning by Inverse Square Root Linear Units (ISRLUs)
AI Perf Engineering（AI性能工程）
我们引入了“逆平方根线性单元”（ISRLU）来加速深度神经网络的学习。ISRLU比ELU有更好的性能，但有许多相同的好处。ISRLU和ELU具有相似的曲线和特征。两者都具有负值，允许它们将平均单位激活推向更接近零，并使正常梯度更接近单位自然梯度，确保噪声鲁棒的去激活状态，降低过度拟合风险。ISRLU在传统CPU上的显着性能优势也可以在CNN/RNN的HW/SW协同设计上实现更高效的HW实现。在TensorFlow的实验中，ISRLU比CNN上的ReLU更快地学习和更好地泛化。这项工作还提出了一种计算效率高的变体，称为“平方根倒数单位”（ISRU），可用于RNN。许多RNN使用长短期记忆（LSTM）和门控递归单元（GRU），它们是用tanh和sigmoid激活函数实现的。ISRU的计算复杂度较低，但仍具有与tanh和sigmoid相似的曲线。
2017-11-09 cs.LG
Memory Caching: RNNs with Growing Memory
Google（谷歌）
本文提出Memory Caching技术，通过缓存RNN的记忆状态以增强其记忆容量，实现与Transformer的平衡性能，在长上下文任务中表现优异。
2026-02-27 cs.AI cs.LG
Tensor Decomposition for Compressing Recurrent Neural Network
RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）
在机器学习领域，循环神经网络（RNN）已经成为一种流行的序列数据建模体系结构。然而，在令人印象深刻的性能背后，RNN需要大量的参数来进行训练和推理。在本文中，我们试图减少参数的数量，同时保持RNN的表达能力。我们利用几种张量分解方法，包括CANDECOMP/PARAFAC（CP），Tucker分解和张量训练（TT）重新参数化的门控递归单元（GRU）RNN。我们评估了所有基于张量的RNN在具有各种参数的序列建模任务上的性能。根据我们的实验结果，TT-GRU取得了最好的结果，在各种数量的参数相比，其他分解方法。
2018-05-08 cs.LG
State-Regularized Recurrent Neural Networks
NEC Laboratories Europe（NEC欧洲实验室）
循环神经网络是一类广泛使用的神经网络结构。然而，它们有两个缺点。首先，很难理解他们到底学到了什么。第二，它们在需要长期记忆的序列上往往效果不佳，尽管原则上它们具有这种能力。我们的目标是解决这两个缺点与一类经常性的网络，使用细胞应用程序之间的随机状态转换机制。这种机制，我们称之为状态正则化，使RNN在有限的可学习状态集之间转换。我们评估状态正则化RNN（1）用于自动机提取的正则语言;（2）非正则语言，如平衡括号，回文和需要外部内存的复制任务;（3）用于情感分析，视觉对象识别和语言建模的实词序列学习任务。我们证明了状态正则化（a）简化了对RNN状态转换动力学建模的有限状态自动机的提取;（b）迫使RNN更像具有外部存储器的自动机而不像有限状态机;（c）使RNN具有更好的可解释性和可解释性。
2019-05-07 cs.LG stat.ML
Structured Pruning of Recurrent Neural Networks through Neuron Selection
University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）；Peng Cheng Lab（鹏城实验室）
循环神经网络（RNN）最近在许多应用中取得了显著的成功。然而，这些模型的巨大尺寸和计算负担使得它们难以在边缘设备上部署。一种实际有效的方法是通过网络修剪技术来降低RNN的总体存储和计算成本。尽管基于Lasso的剪枝方法得到了成功的应用，但它们要么在权重矩阵中产生不规则的稀疏模式，这对实际加速没有帮助。为了解决这些问题，我们提出了结构化修剪方法，通过神经元选择，可以减少RNN的基本结构的大小。更具体地说，我们引入了两组二进制随机变量，它们可以被解释为输入神经元和隐藏神经元的门或开关。我们证明了相应的优化问题可以通过最小化权矩阵的L0范数来解决。最后，在语言建模和机器阅读理解任务上的实验结果表明，与现有的剪枝算法相比，该方法具有明显的优势.特别是，在Penn TreeBank数据集上，语言模型在推理过程中实现了近20倍的实际加速，而没有损失性能，表明所提出的方法具有良好的性能
2019-12-08 cs.LG cs.NE stat.ML
DiffRNN: Differential Verification of Recurrent Neural Networks
University of Southern California（南加州大学）
诸如长短期记忆（LSTM）网络的循环神经网络（RNN）在诸如图像处理、数据分类、语音识别的各种应用中以及作为自治系统中的控制器已经变得流行。在实际环境中，通常需要在资源受限的平台（如移动电话或嵌入式设备）上部署此类RNN。由于这些组件的内存占用和能耗成为瓶颈，因此有兴趣使用一系列启发式技术来压缩和优化这些网络。然而，这些技术不能保证优化网络的安全性，例如，对抗对抗性输入，或者优化网络和原始网络的等价性。为了解决这个问题，我们提出了RNN，RNN的第一个差分验证方法，以证明两个结构相似的神经网络的等价性。基于ReLU的前馈神经网络的差分验证的现有工作不适用于RNN，其中无法避免非线性激活函数，如Sigmoid和Tanh。RNN还带来了独特的挑战，例如处理顺序输入，复杂的反馈结构以及门和状态之间的相互作用。在RNN中，我们通过用线性约束非线性激活函数，然后求解约束优化问题来计算高维空间中非线性表面上的紧密边界框来克服这些挑战。然后使用dReal SMT求解器证明这些边界框的合理性。我们在各种基准测试中证明了我们的技术的实际有效性，并表明RNN优于POPQORN等最先进的RNN验证工具。
2020-07-20 cs.LG stat.ML
Compressing Recurrent Neural Network with Tensor Train
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
循环神经网络（Recurrent Neural Network，RNN）是一种流行的时序任务建模方法，在处理各种复杂问题时具有很高的性能。然而，大多数最先进的RNN都有数百万个参数，需要大量的计算资源来训练和预测新数据。本文提出了一种替代的RNN模型，通过基于张量训练（TT）格式表示权重参数来显着减少参数的数量。在本文中，我们实现了几种RNN架构的TT格式表示，如简单RNN和门控递归单元（GRU）。我们比较和评估我们提出的RNN模型与未压缩的RNN模型的序列分类和序列预测任务。我们提出的TT格式的RNN能够保持性能，同时将RNN参数的数量减少到原来的40倍。
2017-05-23 cs.LG
On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks
University of South Florida（南佛罗里达大学）；Rochester Institute of Technology（罗切斯特理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
本文研究二阶 RNN 的计算能力与形式层级，证明其可在有界时间内图灵完备，并在正则文法识别、神经元界及状态机抽取上优于一阶模型。
2023-09-26 cs.CC cs.LG
Molecular Generation with Recurrent Neural Networks (RNNs)
Wildcard Pharmaceutical Consulting（Wildcard 药物咨询公司）；Wiley-VCH（Wiley-VCH 出版社）
药物样小分子的潜在数量估计在10^23和10^60之间，而目前已知化合物的数据库要小几个数量级，大约有10^8种化合物。这种差异导致人们对使用手工制作的化学规则和基于片段的方法来生成虚拟库以覆盖更大面积的化学空间并生成用于计算机药物发现努力的化学库的兴趣。在这里，它是探讨在何种程度上与长短期记忆细胞的递归神经网络可以找出合理的化学规则，并产生合成分子，通过对现有的化合物编码为SMILES的训练。网络可以在很大程度上产生新颖的，但化学敏感的分子。通过在由片段样分子和药物样分子组成的两个不同数据集上训练来调整分子的性质。所产生的分子和训练数据库具有非常相似的分布的摩尔重量，预测logP，氢键受体和供体的数量，旋转键的数量和拓扑极性表面积相比，它们各自的训练集。如用SA评分和Wiley ChemPlanner评估的，化合物在大多数情况下是可合成的。
2017-05-17 cs.LG q-bio.BM
Selfish Sparse RNN Training
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
稀疏神经网络已被广泛应用于减少训练和部署过参数化深度神经网络的计算需求。对于推理加速，从预训练的密集网络（密集到稀疏训练）中发现稀疏网络的方法有效。最近，已经提出了动态稀疏训练（DST）来训练稀疏神经网络，而不预先训练密集模型（稀疏到稀疏训练），使得训练过程也可以加速。然而，以前的稀疏到稀疏方法主要集中在多层感知器网络（MLP）和卷积神经网络（CNN）上，无法匹配递归神经网络（RNN）设置中的密集到稀疏方法的性能。在本文中，我们提出了一种方法，训练内在稀疏的RNN与一个固定的参数计数在一个单一的运行，而不影响性能。在训练过程中，我们允许RNN层在单元门之间进行非均匀的重新分布，以实现更好的正则化。此外，我们提出了SNT-ASGD，这是平均随机梯度优化器的一种新变体，它显着提高了RNN的所有稀疏训练方法的性能。使用这些策略，我们在Penn TreeBank和Wikitext-2数据集上使用各种类型的RNN实现了最先进的稀疏训练结果，优于密集到稀疏的方法。我们的代码可在https://github.com/Shiweiliuiiiiiii/Selfish-RNN上获得。
2021-06-15 cs.AI cs.LG
State-Regularized Recurrent Neural Networks to Extract Automata and Explain Predictions
Amazon（亚马逊）；NEC Laboratories Europe（NEC欧洲实验室）；University of Stuttgart（斯图加特大学）
循环神经网络是一类广泛使用的神经网络结构。然而，它们有两个缺点。首先，它们通常被视为黑箱模型，因此很难理解它们到底学到了什么，以及它们如何得出特定的预测。第二，它们在需要长期记忆的序列上往往效果不佳，尽管原则上它们具有这种能力。我们的目标是解决这两个缺点与一类经常性的网络，使用细胞应用程序之间的随机状态转换机制。这种机制，我们称之为状态正则化，使RNN在有限的可学习状态集之间转换。我们评估状态正则化RNN（1）用于自动机提取的正则语言;（2）需要外部存储器的非正则语言，如平衡括号和回文;以及（3）用于情感分析，视觉对象识别和文本分类的实词序列学习任务。我们证明了状态正则化（a）简化了显示RNN状态转换动态的有限状态自动机的提取;（b）迫使RNN更像具有外部存储器的自动机而不像有限状态机，这可能导致更多的结构记忆;（c）通过利用时间步长上的概率有限状态转换机制，导致RNN更好的可解释性和可解释性。
2022-12-10 cs.LG
Empirical Analysis of the Inductive Bias of Recurrent Neural Networks by Discrete Fourier Transform of Output Sequences
University of Tokyo（东京大学）
本研究通过将模型输出视为离散时间信号进行频域分析，直接计算输出序列频率，揭示了LSTM和GRU偏向低频模式而Elman RNN偏向高频模式的归纳偏置，并发现该偏置受层数和隐藏层大小影响。
2023-05-16 cs.LG
Transfer Learning for Clinical Time Series Analysis using Recurrent Neural Networks
TCS Research（塔塔咨询服务研究院）
深度神经网络在诊断、死亡率预测、住院时间预测等各种临床预测任务中表现出了良好的效果。然而，训练深度网络（例如基于循环神经网络（RNN）的网络）需要大量标记数据、高计算资源和显著的超参数调整工作。在这项工作中，我们研究了当使用深度RNN对多变量临床时间序列进行建模时，迁移学习可以在多大程度上解决这些问题。我们考虑使用大型标记数据集同时传输在多个源任务上训练的RNN中捕获的知识，以构建具有有限标记数据的目标任务的模型。在几个任务上预先训练的RNN提供了通用特征，然后用于为新的目标任务构建更简单的线性模型，而无需训练特定于任务的RNN。为了进行评估，我们训练了一个深度RNN来识别MIMIC-III数据库中时间序列上的几种患者表型，然后使用RNN提取的特征来构建分类器，以识别以前看不见的表型，以及看似无关的住院死亡率任务。我们证明了：（i）使用预训练的RNN提取的特征训练的模型优于或在最坏的情况下，执行特定于任务的RNN;（ii）使用预训练模型的特征的模型比特定于任务的RNN对标记数据的大小更鲁棒;（iii）使用预训练的RNN提取的特征足够通用，并且比典型的统计手工特征表现得更好。
2018-07-04 cs.LG stat.ML
Predicting Clinical Events by Combining Static and Dynamic Information Using Recurrent Neural Networks
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）
在临床数据集中，我们经常发现静态信息（例如患者性别，血型等）。与在多次医院访问期间记录的数据序列（例如，处方的药物、执行的测试等）相结合。循环神经网络（RNN）已被证明在机器学习的许多领域中对数据序列建模非常成功。在这项工作中，我们提出了一种基于RNN的方法，专门为临床领域设计，结合静态和动态信息来预测未来事件。我们使用柏林Charité医院收集的数据库，该数据库包含有关接受肾移植患者的完整信息。移植后可能发生三个主要终点：肾排斥反应、肾功能丧失和患者死亡。我们的目标是根据每位患者的电子健康记录中记录的信息，预测在每次就诊后的6个月或12个月内是否会发生任何这些终点。我们比较了我们为此工作开发的不同类型的RNN，以及基于前馈神经网络和逻辑回归模型的模型。我们发现，我们基于门控递归单元开发的RNN为这项任务提供了最佳性能。我们还将相同的模型用于第二个任务，即，下一个事件的预测，并发现在这里的模型的基础上前馈神经网络优于其他模型。我们的假设是，长期依赖性在这项任务中并不相关。
2016-11-17 cs.AI cs.LG cs.NE
Task-Synchronized Recurrent Neural Networks
Kaunas University of Technology（考纳斯理工大学）
针对不规则时间采样数据，本文提出通过在时间上重采样 RNN 以匹配任务时间的 TSESN 与 TSGRU，无需额外训练或计算，并在多个真实数据集上验证其优势。
2024-07-02 cs.LG cs.NE
Identifying Information-Transfer Nodes in a Recurrent Neural Network Reveals Dynamic Representations
Arend Hintze, Asadullah Najam, Jory Schossau（独立研究者）
本研究提出一种基于信息论的方法识别RNN中的信息中继节点，在多种RNN架构及分类任务中验证了其有效性，并通过节点敲除实验明确节点功能，为可解释AI及RNN设计优化提供支撑。
2025-09-29 cs.AI cs.LG
Learning Intrinsic Sparse Structures within Long Short-Term Memory
Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）；Microsoft Research（微软研究院）；Bing（必应）；Business AI（商业人工智能）；Microsoft（微软）
模型压缩对于在拥有有限资源的用户设备和需要对大规模服务请求进行快速响应的业务集群中广泛采用递归神经网络（RNN）具有重要意义。这项工作旨在通过减少LSTM单元中基本结构的大小来学习结构稀疏的长短期记忆（LSTM），包括输入更新，门，隐藏状态，单元状态和输出。独立地减小基本结构的大小可能会导致它们之间的尺寸不一致，从而导致无效的LSTM单元。为了克服这个问题，我们提出了内在稀疏结构（ISS）的LSTM。删除ISS的一个组件将同时将所有基本结构的尺寸减少一个，从而始终保持尺寸的一致性。通过在LSTM单元内学习ISS，获得的LSTM保持规则，同时具有更小的基本结构。基于组Lasso正则化，我们的方法实现了10.59倍的加速，而不会失去任何语言建模的Penn TreeBank数据集的困惑。它也成功地通过一个紧凑的模型，只有2.69 M的权重为机器问答的SQuAD数据集进行评估。我们的方法成功地扩展到非LSTM RNN，如递归高速公路网络（RHN）。我们的源代码可在https://github.com/wenwei202/iss-rnns上公开获取
2018-02-11 cs.AI cs.CL cs.LG
Efficient recurrent architectures through activity sparsity and sparse back-propagation through time
Institute for Neural Computation, Ruhr University Bochum（波鸿鲁尔大学神经计算研究所）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Faculty of Electrical and Computer Engineering, Technische Universität Dresden（德累斯顿工业大学电气与计算机工程学院）
递归神经网络（RNN）非常适合解决资源受限系统中的序列任务，因为它们的表达能力和低计算要求。然而，仍然需要弥合RNN在效率和性能方面的能力与实际应用需求之间的差距。在每个时间步将所有神经元的激活传播到每个连接的神经元所产生的存储器和计算需求，以及激活的顺序依赖性，导致训练和使用RNN的效率低下。我们提出了一种受生物神经元动力学启发的解决方案，使RNN单元之间的通信变得稀疏和离散。这使得具有时间反向传播（BPTT）的反向传递在计算上也是稀疏和高效的。我们的模型基于门控递归单元（GRU），将其扩展为发出离散事件的单元，用于由阈值触发的通信，以便在没有事件的情况下没有信息被传达给其他单元。我们从理论上证明了单元之间的通信，以及向前和向后传递所需的计算，与网络中的事件数量成比例。我们的模型在不影响任务性能的情况下实现了效率，与现实世界任务（包括语言建模）中最先进的递归网络模型相比，表现出了竞争力。动态活动稀疏机制也使我们的模型非常适合新的节能神经形态硬件。代码可在https://github.com/KhaleelKhan/EvNN/上获得。
2023-03-09 cs.AI cs.LG cs.NE
Nonlinear MPC for Offset-Free Tracking of systems learned by GRU Neural Networks
Politecnico di Milano（米兰理工大学）
递归神经网络（Recurrent Neural Networks，RNNs）具有黑箱建模能力，近年来在系统辨识中的应用越来越受到人们的关注，尽管RNNs在许多应用中得到了卓有成效的应用，但只有很少的工作致力于提供严格的理论基础来证明其用于控制目的的合理性。本文的目的是描述如何稳定的门控递归单元（GRU），一个特定的RNN架构，可以训练和采用非线性MPC框架，以执行无偏移跟踪恒定参考与保证闭环稳定性。所提出的方法进行了测试的pH值中和过程的基准，表现出显着的性能。
2022-01-25 cs.LG cs.SY eess.SY
