Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University（清华大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）
循环神经网络（RNN）在序列建模方面表现出明显的优势，特别是具有门控单元的网络，如长短期记忆（LSTM）和门控循环单元（GRU）。然而，在许多应用中，卓越性能背后的动态特性仍然不清楚，例如，自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式，其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改：（1）LSTM中的懒惰单元更新，以及（2）残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
Comprehensive forecasting based analysis using stacked stateless and stateful Gated Recurrent Unit models
Swami Vivekananda Institute of Science & Technology（斯瓦米·维韦卡南达科学技术学院）；Department of Computer Science and Engineering（计算机科学与工程系）
光伏发电是一种可再生能源，在工业中得到了广泛的应用。在经济困难的国家，它可能是一种潜在的电能来源，因为其他不可再生资源已经耗尽。现在，如果在研究之前在一个地区安装光伏电池，它可能无法提供运行该地区所需的期望能量输出。因此，预测是必需的，它可以引出输出从一个特定的区域考虑其几何坐标，太阳能参数，如GHI和天气参数，如温度和风速等，我们的论文探讨了四个这样的地区，其中三个是在西孟加拉邦和一个外部描绘与使用堆叠门控递归单元（GRU）模型的太阳辐照度预测。我们已经检查了状态堆叠门控递归单元模型显着提高了预测精度。
2020-08-14 cs.LG cs.NE
Gated Recurrent Neural Networks with Weighted Time-Delay Feedback
ICSI and LBNL（ICSI和LBNL）；KTH and Nordita（KTH和Nordita）；UC Berkeley, ICSI and LBNL（伯克利大学、ICSI和LBNL）
本文提出带加权时滞反馈的$τ$-GRU模型，基于延迟微分方程构建，经理论证明解存在唯一，在多任务上性能优于现有门控循环架构，收敛更快、泛化更好。
2025-05-19 cs.LG cs.NE stat.ML
A Representation-Consistent Gated Recurrent Framework for Robust Medical Time-Series Classification
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出了一种表示一致门控循环框架，通过引入正则化策略提升医学时间序列分类的鲁棒性和泛化能力。
2026-02-10 cs.LG
A recurrent neural network without chaos
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们引入了一个非常简单的门控循环神经网络（RNN），在单词级语言建模任务上，它的性能可与众所周知的门控架构（如LSTM和GRU）相媲美。我们证明了我们的模型具有简单，可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比，后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
Gated Graph Recurrent Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）
图进程表现出由序列索引确定的时间结构和由图支持确定的空间结构。为了从图处理中学习，信息处理架构必须能够利用这两种底层结构。我们引入图递归神经网络（GRNNs）作为一个通用的学习框架，它通过利用递归隐藏状态的概念以及图信号处理（GSP）来实现这一目标。在GRNN中，可学习参数的数量与序列的长度和图的大小无关，从而保证了可扩展性。我们证明了GRNN是置换等变的，并且它们对底层图支持的扰动是稳定的。为了解决梯度消失的问题，我们还提出了三种不同的门控机制：时间，节点和边缘门的门控GRNN。在涉及合成数据集和真实数据集的数值实验中，时间门控GRNN在长期依赖性问题中表现出对GRNN的改进，而节点和边门有助于编码图中存在的长期依赖性。数值结果还表明，GRNN的性能优于GNNN和RNN，突出了考虑图过程的时间和图结构的重要性。
2020-08-05 cs.LG eess.SP
Gated Graph Convolutional Recurrent Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）
图过程模拟了许多重要的问题，如识别地震震中或预测天气。在本文中，我们提出了一个图卷积递归神经网络（GCRNN）架构专门针对这些问题。GCRNN使用卷积滤波器组来保持可训练参数的数量与图的大小和所考虑的时间序列无关。我们还提出了Gated GCRNN，GCRNN的时间门控变体，类似于LSTM。在使用合成和真实数据的实验中，与GNN和另一种图递归架构相比，GCRNN在使用相当少的参数的同时显着提高了性能。
2019-06-27 cs.LG stat.ML
A Baselined Gated Attention Recurrent Network for Request Prediction in Ridesharing
Southern University of Science and Technology (SUSTech)（南方科技大学）；University of Thessaly（色萨利大学）；Research Institute for Trustworthy Autonomous Systems, Southern University of Science and Technology（南方科技大学可信自主系统研究院）
拼车服务因其对司机和乘客的便利性和成本效益以及其为实现联合国可持续发展目标做出贡献的强大潜力而受到全球欢迎。因此，近年来，人们对RSODP（拼车的起源-目的地预测）问题的研究兴趣激增，其目标是预测未来的拼车请求并提前为车辆提供时间表。大多数现有的预测模型都使用了深度学习。然而，它们未能有效地考虑空间和时间动态。本文提出了一种基于基线的门控注意递归网络（Baselined Gated Attention Recurrent Network，BGARN），该网络采用图卷积和多头门控注意提取空间特征，递归模块提取时间特征，基线传输层计算最终结果。该模型使用PyTorch和DGL（Deep Graph Library）实现，并使用纽约出租车需求数据集进行了实验评估。结果表明，BGARN在预测精度方面优于所有其他现有的模型。
2022-09-05 cs.LG cs.NE
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology（麻省理工学院）；MILA - Universite de Montreal（蒙特利尔大学MILA）
我们提出了一种新的基于递归神经网络（RNN）的模型，该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM，GRU和酉RNN。我们的经验都表明，正交/酉RNN缺乏遗忘能力，并且在遗忘不相关信息的同时，RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果，以及我们的模型在许多自然的顺序任务，包括bAbI问答，TIMIT语音频谱预测，宾州树库，和合成任务，涉及长期的依赖关系，如算法，括号，去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Gate Activation Signal Analysis for Gated Recurrent Neural Networks and Its Correlation with Phoneme Boundaries
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
本文分析了门控循环神经网络中的门激活信号，发现这些信号的时间结构与音素边界高度相关。通过一组音素分割实验进一步验证了这种相关性，与标准方法相比，获得了更好的结果。
2017-08-31 cs.CL cs.LG cs.SD
Pouring Dynamics Estimation Using Gated Recurrent Units
在人类的日常生活中，最常进行的操作之一是倾倒。影响靶精度的因素很多，包括浇注速度、旋转角度、源的几何形状和接收容器。本文提出了一种方法，以增加重复性和准确性的机器人机械手通过估计的水的量的变化，一系列的浇注行动，使用多层的深度递归神经网络，特别是门控递归单元（GRU）的浇注杯。所提出的GRU模型实现了低至1 e-4（lbf）的权重f（t）的预测值的验证均方误差。本文包含了一个全面的评估和分析的众多实验与各种设计的递归神经网络和超参数微调。
2021-05-08 cs.LG cs.RO
Complex Gated Recurrent Neural Networks
Institute for Computer Science（计算机科学研究所）；University of Bonn（波恩大学）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
复数长期以来一直受到数字信号处理的青睐，但复数表示很少出现在深度学习架构中。RNN广泛用于处理时间序列和序列信息，可以从复杂的表示中受益匪浅。我们提出了一种新的复合门控递归细胞，这是一个混合细胞结合复值和范数保持状态转换的门控机制。由此产生的RNN具有出色的稳定性和收敛性，并且在合成记忆和添加任务以及人体运动预测的现实任务上具有竞争力。
2018-10-27 cs.LG stat.ML
Gated recurrent neural networks discover attention
ETH Zürich（苏黎世联邦理工学院）
本研究揭示，配备线性循环层和乘法门控的现代RNN能精确实现自注意力，且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法，凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
Stabilising and accelerating light gated recurrent units for automatic speech recognition
Avignon Université（阿维尼翁大学）；University of Cambridge（剑桥大学）
光选通递归单元（Li-GRU）以在自动语音识别（ASR）任务中实现令人印象深刻的结果而闻名，同时比标准选通递归单元（GRU）更轻且训练更快。然而，其在候选递归门上的整流线性单元的无界性质导致了一个重要的梯度爆炸现象，破坏了训练过程，并阻止其应用于著名的数据集。在本文中，我们从理论上和经验上推导出其稳定性的必要条件以及工程机制，以加快其训练时间的五倍，因此引入了一个新版本的这种架构命名为SLi-GRU。然后，我们评估了它在一个玩具任务上的性能，该任务说明了它新获得的能力，以及一组三个不同的ASR数据集，与更复杂的递归神经网络相比，它们的单词错误率更低。
2023-02-16 cs.CL cs.LG cs.SD
Falls Prediction in eldery people using Gated Recurrent Units
AGH University of Science and Technology（AGH科技大学）；Academic Computer Centre CYFRONET AGH（AGH学术计算机中心CYFRONET）；Alma Mater Europaea ECM（欧洲母校ECM）；Medical University of Graz（格拉茨医科大学）
预防跌倒，尤其是老年人的跌倒，在老龄化社会中成为一个越来越重要的话题。在这项工作中，我们提出了门控递归单元为基础的神经网络模型，旨在预测跌倒（晕厥）。研究中使用的心血管系统信号来自格拉茨医科大学生理学研究所重力生理学，衰老和医学研究单位。我们使用了两个收集到的信号，心率和平均血压。通过使用双向GRU模型，可以在手动标记前约10分钟预测晕厥发生。
2019-08-02 cs.LG stat.ML
Orthogonal Gated Recurrent Unit with Neumann-Cayley Transformation
University of Kentucky（肯塔基大学）
近年来，使用正交矩阵已被证明是一种很有前途的方法，可以改善递归神经网络（RNN）的训练，稳定性和收敛性，特别是控制梯度。虽然门控递归单元（GRU）和长短期记忆（LSTM）架构通过使用各种门和存储单元来解决消失梯度问题，但它们仍然容易出现梯度爆炸问题。在这项工作中，我们分析了GRU中的梯度，并提出了使用正交矩阵来防止爆炸梯度问题和增强长期记忆。我们研究了在哪里使用正交矩阵，我们提出了一个基于Neumann级数的Scaled Cayley变换来训练GRU中的正交矩阵，我们称之为Neumann-Cayley Orthogonal GRU，或简称为NC-GRU。我们在几个合成和现实世界的任务上对我们的模型进行了详细的实验，结果表明NC-GRU的性能明显优于GRU和其他几个RNN。
2022-08-12 cs.LG
On the stability properties of Gated Recurrent Units neural networks
Politecnico di Milano（米兰理工大学）
给出了保证GRU神经网络输入到状态稳定性（ISS）和增量输入到状态稳定性（δISS）的充分条件.这些条件是针对单层和多层结构设计的，由网络权重的非线性不等式组成。它们可以用来检查训练网络的稳定性，或者可以在GRU的训练过程中作为约束来实施。在四容水箱非线性基准系统上对训练过程进行了测试，显示出令人满意的建模性能。
2021-10-10 cs.LG cs.SY eess.SY
MINIMALIST: switched-capacitor circuits for efficient in-memory computation of gated recurrent units
Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
本文提出MINIMALIST架构，采用开关电容电路实现最小GRU的存内计算与门控状态更新，并通过混合信号仿真验证其与软件模型的直接兼容。
2025-05-13 cs.AI cs.AR cs.LG
Exposing the Functionalities of Neurons for Gated Recurrent Unit Based Sequence-to-Sequence Model
National Taiwan University（国立台湾大学）
本文的目标是报告有关Seq 2Seq模型的某些科学发现。众所周知，在神经元级别分析基于RNN的模型的行为被认为是比分析DNN或CNN模型更具挑战性的任务，这是由于它们本质上的递归机制。本文旨在提供神经元级别的分析，以解释为什么一个没有注意力的基于GRU的Seq 2Seq模型可以实现标记定位。我们发现了四种不同类型的神经元：存储、计数、触发和输出，并进一步揭示了这些神经元协同工作的机制，以便在正确的位置产生正确的标记。
2023-03-27 cs.AI cs.LG cs.NE
Bayesian Sparsification of Gated Recurrent Neural Networks
National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
贝叶斯方法已成功地应用于神经网络权值的稀疏化和网络结构单元的去除。G.神经元我们应用并进一步发展这种方法的门控经常性架构。具体来说，除了单个权重和神经元的稀疏化之外，我们还建议稀疏化LSTM中的门和信息流的预激活。它使某些门和信息流分量保持不变，加快了前向传递速度，提高了压缩率。此外，由此产生的门稀疏结构是可解释的，并取决于任务。代码可以在github上找到：https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Liger: Linearizing Large Language Models to Gated Recurrent Structures
Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）
本文提出Liger，通过重用预训练key矩阵权重构建门控机制，将LLMs无额外参数地线性化为门控循环结构，并结合LoRA微调与Liger Attention，以极低预训练成本恢复模型性能。
2025-05-07 cs.AI cs.CL cs.LG
Deep Gated Recurrent and Convolutional Network Hybrid Model for Univariate Time Series Classification
用于时间序列分类的混合LSTM-全卷积网络（LSTM-FCN）在单变量时间序列上产生了最先进的分类结果。我们证明，用门控递归单元（GRU）替换LSTM来创建GRU-全卷积网络混合模型（GRU-FCN）可以在许多时间序列数据集上提供更好的性能。所提出的GRU-FCN模型在许多单变量和多变量时间序列数据集上的分类性能优于最先进的分类性能。此外，由于GRU使用比LSTM更简单的架构，因此与基于LSTM的模型相比，它具有更少的训练参数，更少的训练时间和更简单的硬件实现。
2019-02-20 cs.LG stat.ML
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo（开罗德国大学）；Technical University of Munich（慕尼黑工业大学）；Cerebras Systems Inc.（赛布拉斯系统公司）
本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
Recurrent Neural Networks for Forecasting Time Series with Multiple Seasonality: A Comparative Study
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文比较了具有不同类型门控单元的循环神经网络（RNN）对具有多个季节性的时间序列的预测。我们比较的细胞包括经典的长短期记忆（LSTM），门控递归单元（GRU），具有膨胀的修改的LSTM，以及我们最近提出的两个新细胞，它们配备了膨胀和注意力机制。为了对不同尺度的时间依赖性进行建模，我们的RNN架构具有多个膨胀的递归层，这些层堆叠有分层膨胀。建议的RNN产生点预测和预测区间（PI）。一项关于35个欧洲国家短期电力负荷预测的实证研究证实，具有扩张和注意力的新门控细胞表现最好。
2022-03-17 cs.LG
Analog Gated Recurrent Neural Network for Detecting Chewing Events
我们提出了一种新的门控循环神经网络来检测一个人何时咀嚼食物。我们实现了神经网络作为一个定制的模拟集成电路在0.18微米CMOS工艺。这个神经网络接受了6.4小时的数据训练，这些数据是通过安装在志愿者乳突骨上的接触式麦克风收集的。当对1.6小时的先前未见过的数据进行测试时，神经网络以24秒的时间分辨率识别咀嚼事件。它实现了91%的召回率和94%的F1分数，同时消耗1.1 uW的功率。一个基于新型模拟神经网络的检测整个进食事件（如膳食和零食）的系统估计消耗18.8 uW的功率。
2022-08-02 cs.LG cs.SD eess.AS
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语音识别在很大程度上利用了深度学习，这表明现代递归神经网络（RNN）可以获得巨大的好处。最受欢迎的RNN是长短期记忆（LSTM），由于它们能够学习长期依赖性和对消失梯度的鲁棒性，它们通常在许多任务中达到最先进的性能。然而，LSTM有一个相当复杂的设计，有三个乘法门，这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元（GRU），它只基于两个乘法门。本文建立在这些努力的基础上，进一步修订GRU，并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先，我们建议在GRU设计中去除复位门，从而实现更高效的单门架构。其次，我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明，在我们的实现中，与标准GRU相比，修改后的架构将每历元训练时间减少了30%以上，并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
A bio-inspired bistable recurrent cell allows for long-lasting memory
University of Liège（列日大学）
递归神经网络（RNN）在各种需要记忆的任务中提供了最先进的性能。这些性能通常可以通过门控递归单元（GRU）和长短期记忆（LSTM）等门控递归单元来实现。标准门控单元共享一层内部状态以在网络级存储信息，并且长期记忆由网络范围的递归连接权重形成。另一方面，生物神经元能够通过称为双稳态的过程在细胞水平上保持信息任意长的时间。通过双稳态，细胞可以根据自己的过去状态和输入稳定到不同的稳态，这允许在神经元状态中持久存储过去信息。在这项工作中，我们从生物神经元双稳态中获得灵感，在细胞水平上嵌入具有持久记忆的RNN。这导致引入了一种新的生物学启发的递归细胞，该细胞被证明可以大大提高RNN在时间序列上的性能，这些时间序列需要非常长的记忆，尽管只使用细胞连接（所有递归连接都是从神经元到它们自己，即神经元状态不受其他神经元状态的影响）。此外，为这种细胞配备反复的神经调节允许将它们与标准GRU细胞联系起来，朝着GRU的生物可接受性迈出了一步。
2020-06-09 cs.LG cs.NE
Network-wide Multi-step Traffic Volume Prediction using Graph Convolutional Gated Recurrent Neural Network
准确预测网络范围内的交通状况是智能交通系统的关键。在过去的十年中，机器学习技术已被广泛用于此任务，从而产生了最先进的性能。我们提出了一种新的深度学习模型，图卷积门控循环神经网络（GCGRNN），用于预测网络范围内的多步流量。GCGRNN可以自动捕获交通传感器之间的空间相关性和历史交通数据中的时间依赖性。我们使用从加利福尼亚州洛杉矶的150个传感器中提取的两个交通数据集来评估我们的模型，时间分辨率分别为1小时和15分钟。结果表明，我们的模型优于其他五个基准模型的预测精度。例如，与使用每小时数据集的最先进的扩散卷积循环神经网络（DCRNN）模型相比，我们的模型将MAE降低了25.3%，RMSE降低了29.2%，MAPE降低了20.2%。我们的模型也比DCRNN的训练速度快52%。GCGRNN的数据和实现可以在https://github.com/leilin-research/GCGRNN上找到。
2021-11-22 cs.LG
Structured Sparsification of Gated Recurrent Neural Networks
Samsung-HSE Laboratory（三星-高等经济学院实验室）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
近年来，许多技术被用来稀疏化神经网络的权值和去除网络的结构单元，如神经元。我们调整现有的稀疏化方法的门控循环架构。具体来说，除了权重和神经元的稀疏化之外，我们还提出了门的预激活的稀疏化。这使得一些门保持不变，并简化了LSTM结构。我们测试我们的方法上的文本分类和语言建模任务。我们观察到门稀疏性的结果结构取决于任务，并将学习到的结构与特定任务的细节联系起来。我们的方法还在大多数任务中改进了模型的神经元压缩。
2019-11-13 cs.CL cs.LG stat.ML
Convolutional Gated Recurrent Neural Network Incorporating Spatial Features for Audio Tagging
University of Surrey（萨里大学）
环境音频标记是一个新提出的任务，以预测特定的音频事件在一个块的存在或不存在。基于深度神经网络（DNN）的方法已被成功地用于预测家庭音频场景中的音频标签。在本文中，我们提出使用卷积神经网络（CNN）从梅尔滤波器组（MFB），频谱图甚至原始波形中提取鲁棒的特征用于音频标记。然后级联基于门控递归单元（GRU）的递归神经网络（RNN）以对音频信号的长期时间结构进行建模。为了补充输入信息，辅助CNN被设计为学习立体声录音的空间特征。我们在2016年声学场景和事件的检测和分类（DCASE 2016）挑战的任务4（音频标记）上评估了我们提出的方法。与我们最近的基于DNN的方法相比，所提出的结构可以将开发集上的相等出错率（EER）从0.13降低到0.11。空间特征可以进一步将EER降低到0.10。原始波形的端到端学习性能也相当。最后，在评估集上，我们得到了最先进的性能与0.12 EER，而现有的最好的系统的性能是0.15 EER。
2017-02-24 cs.LG cs.NE cs.SD
Beyond One Glance: Gated Recurrent Architecture for Hand Segmentation
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
随着混合现实的发展势头越来越强劲，开发有效和高效的解决方案来解决以自我为中心的手部分割变得至关重要。传统的分割技术通常遵循一次处理方法，其中图像仅向前通过产生分割掩模的模型一次。然而，这种策略并不反映人类的感知，人类不断完善他们对世界的表征。因此，在本文中，我们介绍了一种新型的门控循环架构。它超越了迭代地将预测的分割掩码通过网络并向其添加标准递归单元，而是将分割网络的多个编码器-解码器层合并在一起，以便在细化过程中跟踪其内部状态。正如我们在标准手部分割基准和我们自己的数据集上的结果所证明的那样，我们的方法优于这些其他更简单的递归分割技术，以及最先进的手部分割技术。此外，我们证明了我们的方法的一般性，将其应用到道路分割，它也优于其他基线方法。
2018-12-12 cs.CV cs.LG
Intelligent Acoustic Module for Autonomous Vehicles using Fast Gated Recurrent approach
RV College of Engineering（RV工程学院）；Wipro Limited（威普罗有限公司）
本文阐述了一种模型，用于资源受限的边缘设备的声学单音和多音分类。所提出的模型是国家的最先进的快速准确的稳定微小门控递归神经网络。与以前的假设方法相比，该模型通过使用更少的参数以更高的效率和采用降噪算法来改善性能指标和更小的尺寸。该模型被实现为声学AI模块，专注于声音识别，定位和部署在AI系统（如自动驾驶汽车）上的应用。此外，随着未来城市和发展中国家的需求增加，包含本地化技术有可能为自动驾驶汽车中存在的多音分类器添加新的维度。
2021-12-06 cs.LG cs.SD eess.AS
Gated recurrent units viewed through the lens of continuous time dynamical systems
Stony Brook University（石溪大学）
门控递归单元（GRU）是用于构建递归神经网络的专门存储元件。尽管他们在各种任务上取得了令人难以置信的成功，包括提取神经数据背后的动力学，但人们对GRU网络中可表示的特定动力学知之甚少。因此，既很难先验地知道GRU网络在给定任务上的成功程度，也很难知道它们模仿生物对应物的潜在行为的能力。使用连续时间分析，我们可以直观地了解GRU网络的内部工作原理。我们将我们的演示限制在低维度，以实现全面的可视化。我们发现了一个令人惊讶的丰富的剧目的动力学特征，包括稳定的极限环（非线性振荡），多稳定的动态与各种拓扑结构，和同宿分岔。与此同时，我们无法训练GRU网络来产生连续的吸引子，这被假设存在于生物神经网络中。我们将不同种类的观察到的动态的有用性，并支持我们的主张实验。
2021-07-29 cs.LG stat.ML
Spatial-Temporal Graph Convolutional Gated Recurrent Network for Traffic Forecasting
Nanjing University（南京大学）
交通预测作为智能交通系统的重要组成部分，引起了学术界和工业界的极大关注。尽管人们提出了许多交通预测方法，但对复杂的时空相关性建模仍然是一个难题。时间依赖包括短期依赖和长期依赖，后者往往被忽视。空间依赖可以分为基于距离的空间依赖和隐藏的空间依赖。为了模拟复杂的时空依赖性，我们提出了一种新的框架，称为时空图卷积门递归网络（STGCGRN）的流量预测。我们设计了一个注意力模块，通过挖掘流量数据中的周期性信息来捕获长期依赖。本文提出了一种双图卷积门控递归单元（DGCGRU），它将图卷积网络和GRU相结合，来捕获空间依赖性。图卷积部分分别用基于距离的预定义邻接矩阵和自适应邻接矩阵对基于距离的空间依赖和隐藏的空间依赖进行建模。特别地，我们采用多头机制来捕获多个隐藏的依赖关系。此外，每个预测节点的周期模式可能不同，这往往被忽略，导致在建模空间依赖性时节点之间的周期信息相互干扰。为此，我们探索了模型的体系结构，并提高了性能。在四个数据集上的实验证明了该模型的优越性能。
2022-10-06 cs.LG
Audio Captioning using Gated Recurrent Units
Department of Computer Engineering, Ba s kent University
音频字幕是最近提出的自动生成给定音频片段的文本描述的任务。在这项研究中，提出了一种新的具有音频嵌入的深度网络架构来预测音频字幕。在提取除对数梅尔能量之外的音频特征的目标下，使用VGGish音频嵌入模型来探索音频嵌入在音频字幕任务中的可用性。所提出的架构编码音频和文本输入模态分开，并结合它们之前的解码阶段。音频编码通过双向门控递归单元（BiGRU）进行，而GRU用于文本编码阶段。在此之后，我们评估我们的模型通过新发布的音频字幕性能数据集，即Clotho，比较实验结果与文献。我们的实验结果表明，所提出的基于BiGRU的深度模型优于最先进的结果。
2021-01-03 cs.LG cs.SD eess.AS
Memory-Gated Recurrent Networks
JD Digits（京东数字科技）；City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；Chong-Qing & Suzhou Research Institutes（重庆苏州研究院）
多元序列学习的本质是如何提取数据中的依赖关系。这些数据集，如重症监护病房的每小时医疗记录和多频语音时间序列，往往不仅表现出强烈的时间序列依赖性的各个组成部分（“边缘”记忆），但也不可忽视的记忆横截面的依赖性（“联合”记忆）。由于多元复杂性的联合分布的演变，数据生成过程的基础上，我们采取数据驱动的方法，并构建了一种新的经常性的网络架构，称为记忆门控递归网络（mGRN），门显式调节两种不同类型的记忆：边际记忆和联合记忆。通过对一系列公共数据集的综合模拟研究和实证实验相结合，我们表明，我们提出的mGRN架构始终优于针对多变量时间序列的最先进架构。
2020-12-30 cs.LG q-fin.ST
Sentylic at IEST 2018: Gated Recurrent Neural Network and Capsule Network Based Approach for Implicit Emotion Detection
University of Moratuwa（莫勒图沃大学）
在本文中，我们介绍了我们用于内隐WASSA 2018内隐情感共享任务的系统。任务是预测一条推文的情感，其中明确提到的情感术语已被删除。我们的想法是提出一个模型，它有能力隐式地识别所表达的情感的上下文单词。我们已经使用了门控循环神经网络（GRU）和基于胶囊网络的任务模型。预训练的词嵌入已被用来将上下文知识的话到模型中。GRU层使用输入的词嵌入来学习潜在表示。随后的Capsule Network层从该隐藏表示中学习高级特征。该模型的宏观F1得分为0.692。
2018-09-05 cs.CL cs.LG
Gated recurrent units and temporal convolutional network for multilabel classification
University of Padova（帕多瓦大学）；DISI, University of Bologna（博洛尼亚大学信息学科学与工程系）；Missouri State University（密苏里州立大学）
多标签学习解决了将样本与多个类别标签相关联的问题。这项工作提出了一种新的集成方法管理多标签分类：所提出的方法的核心结合了一组门控递归单元和时间卷积神经网络训练的亚当优化方法的变体。多个亚当的变体，包括这里提出的一个新的，进行了比较和测试，这些变体是基于当前和过去的梯度之间的差异，与步长调整每个参数。所提出的神经网络方法还结合了多聚类中心（IMCC），这进一步提高了分类性能。在代表各种多标签任务的九个数据集上进行的多个实验证明了我们最佳集合的鲁棒性，该集合的性能优于最先进的集合。在实验部分中生成最佳集合的MATLAB代码将在https://github.com/LorisNanni上提供。
2022-08-23 cs.AI cs.LG
Dynamic Gated Recurrent Neural Network for Compute-efficient Speech Enhancement
Institute of Neuroinformatics, University of Zurich（苏黎世大学神经信息学研究所）；ETH Zurich（苏黎世联邦理工学院）；Reality Labs Research, Meta（元现实实验室研究部门）
本文提出动态门控循环神经网络（DG-RNN）及其实现D-GRU，通过select gate在每个时间步仅更新选定神经元，在DNS challenge数据集上平均减少50% GRU计算量且保持语音质量。
2024-09-24 cs.LG cs.SD eess.AS
Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
最近有一个共同的努力，以获得视觉和机器学习系统中的机制，以提供他们所做的预测的不确定性估计。显然，一个不仅准确，而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的，但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点，得到门控递归单位（GRU）的不确定性估计。我们的建议直接量化的不确定性确定性，而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知，这是第一个结果描述无采样不确定性估计的强大的序列模型，如GRU。
2018-09-02 cs.CV cs.LG stat.ML
Time-Aware Gated Recurrent Unit Networks for Road Surface Friction Prediction Using Historical Data
University of Washington（华盛顿大学）；Nanjing University of Science and Technology（南京理工大学）
准确的路面摩擦预测算法可以使智能交通系统及时向公众共享路面状况，以提高道路使用者的安全性。在此之前，学者们开发了多种预测模型，用于使用历史数据预测路面状况。然而，不可能在每个时间戳都完美地收集路面状况数据，例如，当车辆由于经济成本问题或天气问题而无法行驶时，车载传感器收集的数据可能会受到影响。在所收集的数据中的这种结果缺失值可能损害现有预测方法的有效性和准确性，因为它们被假设具有固定时间分辨率的输入数据。提出了一种基于GRU-D的路面摩擦预测模型，该模型采用了基于GRU-D的衰减机制来处理缺失值。评估结果表明，建议的GRU-D网络优于所有基线模型。分析了丢失率对预测精度、学习效率和学习衰减率的影响。研究结果可以帮助提高预测精度和效率的预测路面摩擦使用历史数据集缺失值，从而减轻湿或结冰的道路条件对交通安全的影响。
2019-11-01 cs.LG eess.SP stat.ML
Predicting Liquidity Coverage Ratio with Gated Recurrent Units: A Deep Learning Model for Risk Management
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）；Rice University（莱斯大学）；New York University（纽约大学）
本文提出基于GRU网络的流动性覆盖率预测模型，利用历史数据学习复杂模式，实验显示其MAE显著优于传统方法，可提升流动性风险管理与金融监管决策的可靠性。
2024-10-24 cs.LG
The Statistical Recurrent Unit
Carnegie Mellon University（卡内基梅隆大学）
复杂的门控递归神经网络架构（如LSTM和GRU）已被证明在无数应用中非常有效。我们开发了一个非门控单元，统计循环单元（SRU），它能够通过只保持统计数据的移动平均值来学习数据中的长期依赖关系。SRU的架构简单，无门控，并且包含与LSTM相当数量的参数;然而，SRU的性能优于更复杂的LSTM和GRU替代品，通常在各种任务中优于其中一个或两者。我们通过在贝叶斯优化方案中针对合成任务和现实任务优化各自架构的超参数，以无偏的方式展示了SRU与LSTM和GRU相比的功效。
2017-03-01 cs.AI cs.LG stat.ML
Gated Recurrent Neural Tensor Network
Universitas Indonesia（印度尼西亚大学）；Nara Institute of Science and Technology（奈良先端科学技术大学）
递归神经网络（RNN）是一种强大的时序数据建模方案，需要捕获数据集的长期依赖关系，并使用强大的模型将其表示在隐藏层中，以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模，门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层（即，张量积）帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中，我们提出了一种新的RNN架构，将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中，我们提出的模型通过使用门控单元建模来学习长期依赖关系，并使用三维数组（张量）权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆（LSTM）RNN和门控递归单元（GRU）RNN，并将它们与其公式中的张量积结合起来。我们提出的RNN，被称为长短期记忆递归神经张量网络（LSTMRNTN）和门控递归单位递归神经张量网络（GRURNTN），是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验，结果表明，与我们的基线模型相比，我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Product units in gated recurrent units improve nuclear-mass prediction
University of Applied Sciences Koblenz（应用科学大学科伦兹大学）；Technical University of Munich（慕尼黑技术大学）；University of Madeira（马德拉大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
提出基于复数域加法-乘法乘积单元门控循环单元（AM-PU-GRU）的机器学习模型，通过整合乘积单元变换和复数计算，在核质量预测中实现插值RMSE 0.227 MeV和外推RMSE 0.179 MeV，超越现有模型。
2026-06-05 cs.LG nucl-th
Sensor Fusion: Gated Recurrent Fusion to Learn Driving Behavior from Temporal Multimodal Data
Honda Research Institute, USA（美国本田研究院）；Carnegie Mellon University（卡内基梅隆大学）
战术驾驶员行为建模问题需要从丰富的多模态信号（包括视频、LiDAR和CAN总线数据流）中理解复杂城市场景中的驾驶员行为。然而，大多数深度学习研究都集中在学习车辆/环境状态（传感器融合）或驾驶员策略（从时间数据）上，而不是两者兼而有之。端到端学习这两项任务提供了最丰富的知识精华，但在制定和成功培训方面存在挑战。在这项工作中，我们提出了朝着这个方向迈出的有希望的第一步。受LSTM中的门控机制的启发，我们提出了门控递归融合单元（GRFU），它同时学习融合加权和时间加权。我们证明了它在监督回归和分类任务中优于多模态和时间基线的性能，所有这些都在自主导航领域。我们注意到HDD数据集中战术驾驶员行为分类的mAP得分比最先进的提高了10%，TORCS数据集上转向动作回归的总体均方误差下降了20%。
2020-01-21 cs.CV cs.LG
Hierarchically Gated Recurrent Neural Network for Sequence Modeling
OpenNLPLab, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室 OpenNLPLab）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对现有线性RNN忽略循环内遗忘门作用的问题，提出分层门控循环神经网络HGRN，通过随层数单调递增的可学习遗忘门下限实现长短依赖分层建模，在多项任务上验证了有效性与效率。
2023-11-08 cs.CL cs.LG
Minion Gated Recurrent Unit for Continual Learning
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Baghdad（巴格达大学）
本文提出简化版GRU变体MiRU，用缩放系数替代门控机制，在保持性能的同时实现2.90倍训练加速和2.88倍参数缩减，并展现出更稳定的多任务持续学习能力，适合边缘设备部署。
2025-03-08 cs.AI cs.LG
SiTGRU: Single-Tunnelled Gated Recurrent Unit for Abnormality Detection
Shanghai Jiao Tong University（上海交通大学）；Southeast University（东南大学）；East China Normal University（华东师范大学）
异常检测是一项具有挑战性的任务，由于依赖于特定的上下文和不受约束的变化的实际情况。近年来，它受益于深度神经网络学习的强大功能，以及专门用于异常检测器的手工功能。然而，这些具有大复杂度的方法在处理长期顺序数据（例如，视频），并且它们的学习特征不能完全捕获有用的信息。递归神经网络（RNN）已被证明能够鲁棒地处理长期序列中的时间数据。在本文中，我们提出了一种新版本的门控递归单元（GRU），称为单隧道GRU异常检测。特别地，单隧道GRU从GRU单元中丢弃了重加权的复位门，该重加权的复位门通过仅偏好当前输入而忽略了过去内容的重要性，以获得优化的单门控单元模型。此外，我们将标准GRU中的双曲正切激活替换为sigmoid激活，因为前者在更深的网络中会遭受性能损失。实证结果表明，我们提出的优化GRU模型优于标准GRU和长短期记忆（LSTM）网络的大多数指标的检测和推广任务的CUHK大道和UCSD数据集。该模型在计算上也很高效，与标准RNN相比减少了训练和测试时间。
2020-03-30 cs.CV cs.LG
From Bayesian Sparsity to Gated Recurrent Nets
Peking University（北京大学）；Microsoft Research（微软研究院）
许多一阶算法的迭代，当应用于最小化常见的正则化回归函数时，通常类似于具有预先指定的权重的神经网络层。这一观察结果促进了基于学习的方法的发展，这些方法旨在用增强的代理来取代这些迭代，这些代理是从可用的训练数据中伪造为DNN模型的。例如，重要的NP难稀疏估计问题最近受益于这种类型的升级，简单的前馈或递归网络取代了基于梯度的迭代。类似地，本文证明了用于促进稀疏性的更强大的贝叶斯算法，它依赖于复杂的多循环优化-最小化技术，反映了更复杂的长短期记忆（LSTM）网络的结构，或先前为序列预测设计的替代门控反馈网络。作为这一发展的一部分，我们研究了在优化过程中跨多个时间尺度运行的潜在变量轨迹之间的相似性，以及旨在自适应地对这些特征序列进行建模的深层网络结构中的激活。由此产生的见解导致一种新的稀疏估计系统，当授予训练数据，可以有效地估计最佳解决方案的制度，其他算法失败，包括实际的方向到达（DOA）和3D几何恢复问题。我们揭示的基本原则也暗示了其他领域中更丰富的多循环算法的学习过程。
2017-08-02 cs.LG
Pedestrian Volume Prediction Using a Diffusion Convolutional Gated Recurrent Unit Model
School of Statistics（统计学院）；Renmin University of China（中国人民大学）；School of Mathematics and Statistics（数学与统计学院）；The University of Melbourne（墨尔本大学）；School of Business, Law and Entrepreneurship（商学、法学与创业学院）；Swinburne University of Technology（斯威本科技大学）
本研究提出DCGRU-DTW模型，结合扩散卷积与门控循环单元及动态时间规整，利用墨尔本行人计数数据预测行人流量，在精度上优于经典VAR和原始DCGRU模型。
2024-11-05 cs.LG stat.AP
A Hierarchical Deep Convolutional Neural Network and Gated Recurrent Unit Framework for Structural Damage Detection
Chongqing Jiaotong University（重庆交通大学）；Institute for Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院（I2R））；Hunan University（湖南大学）
结构损伤检测已成为各工程领域感兴趣的跨学科领域，而现有的损伤检测方法正在适应机器学习的概念。大多数基于机器学习的方法严重依赖于提取的“手工制作”特征，这些特征由领域专家提前手动选择，然后固定。最近，深度学习在传统的具有挑战性的任务上表现出了卓越的性能，例如图像分类，对象检测等，由于强大的特征学习能力。这一突破激发了研究人员探索用于结构损伤检测问题的深度学习技术。然而，现有方法已经考虑了空间关系（例如，使用卷积神经网络（CNN））或时间关系（例如，使用长短期记忆网络（LSTM））。在这项工作中，我们提出了一种新的分层CNN和门控递归单元（GRU）框架来模拟空间和时间关系，称为HCG，用于结构损伤检测。具体地说，CNN用于建模传感器之间的空间关系和短期时间依赖性，而CNN的输出特征被馈送到GRU以联合学习长期时间依赖性。在IASC-ASCE结构健康监测基准和三跨连续刚构桥结构缩尺模型数据集上进行的大量实验表明，该方法在结构损伤检测方面明显优于现有的其他方法。
2020-05-29 cs.LG eess.SP stat.ML
Recurrent Neural Network-based Internal Model Control design for stable nonlinear systems
Politecnico di Milano（米兰理工大学）
由于其优越的建模能力，门控递归神经网络，如门控递归单元（GRU）和长短期记忆网络（LSTM），已成为流行的工具，学习动态系统。本文旨在讨论如何将这些网络用于内模控制（IMC）体系结构的综合。为此，首先使用门控递归网络来学习未知输入输出稳定对象的模型。然后，一个控制器选通递归网络被训练来逼近模型逆。这些网络的稳定性，通过适当的训练过程，确保允许保证输入输出闭环稳定性。所提出的方案能够应对控制变量的饱和，并且可以部署在低功耗嵌入式控制器上，因为它需要有限的在线计算。然后，该方法进行了测试的四槽基准系统和替代控制律相比，在显着的闭环性能。
2022-03-17 cs.LG cs.SY eess.SY
GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computer Science, Zhejiang University of Technology（浙江工业大学计算机学院）
针对脉冲强化学习中多时间步仿真对应单步决策的时间不匹配问题，提出时间对齐范式TAP并引入门控循环脉冲神经元GRSN，以累积历史状态信息并增强记忆能力，在解决POMDPs和多智能体协作问题时性能媲美RNN且功耗降低约50%。
2024-04-24 cs.AI cs.LG cs.MA
