Improving the Long-Range Performance of Gated Graph Neural Networks
Ruhr University Bochum（波鸿鲁尔大学）；University of Bonn（波恩大学）
能够处理多关系图的图神经网络（GNN）的许多流行变体可能遭受消失梯度。在这项工作中，我们提出了一种新的GNN架构的基础上的门控图神经网络具有改进的能力，以处理多关系图中的长程依赖关系。不同的合成任务的实验分析表明，该架构优于几个流行的GNN模型。
2020-07-19 cs.LG stat.ML
Gated Graph Convolutional Recurrent Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）
图过程模拟了许多重要的问题，如识别地震震中或预测天气。在本文中，我们提出了一个图卷积递归神经网络（GCRNN）架构专门针对这些问题。GCRNN使用卷积滤波器组来保持可训练参数的数量与图的大小和所考虑的时间序列无关。我们还提出了Gated GCRNN，GCRNN的时间门控变体，类似于LSTM。在使用合成和真实数据的实验中，与GNN和另一种图递归架构相比，GCRNN在使用相当少的参数的同时显着提高了性能。
2019-06-27 cs.LG stat.ML
Complex Gated Recurrent Neural Networks
Institute for Computer Science（计算机科学研究所）；University of Bonn（波恩大学）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
复数长期以来一直受到数字信号处理的青睐，但复数表示很少出现在深度学习架构中。RNN广泛用于处理时间序列和序列信息，可以从复杂的表示中受益匪浅。我们提出了一种新的复合门控递归细胞，这是一个混合细胞结合复值和范数保持状态转换的门控机制。由此产生的RNN具有出色的稳定性和收敛性，并且在合成记忆和添加任务以及人体运动预测的现实任务上具有竞争力。
2018-10-27 cs.LG stat.ML
Bayesian Sparsification of Gated Recurrent Neural Networks
National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
贝叶斯方法已成功地应用于神经网络权值的稀疏化和网络结构单元的去除。G.神经元我们应用并进一步发展这种方法的门控经常性架构。具体来说，除了单个权重和神经元的稀疏化之外，我们还建议稀疏化LSTM中的门和信息流的预激活。它使某些门和信息流分量保持不变，加快了前向传递速度，提高了压缩率。此外，由此产生的门稀疏结构是可解释的，并取决于任务。代码可以在github上找到：https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Optimized Gated Deep Learning Architectures for Sensor Fusion
Texas A&M University（德克萨斯农工大学）
传感器融合是一项关键技术，它集成了各种传感器输入，以便在自动驾驶和机器人控制等许多应用中做出稳健的决策。深度神经网络在最近的研究中已经被用于传感器融合。其中，提出了所谓的netgated架构，它已被证明比传统的卷积神经网络（CNN）的性能有所改善。在本文中，我们提出了两个进一步优化的架构：一个粗粒度门控架构采用（功能）组级融合权重和两个阶段的门控架构，利用组级和功能级融合权重的基线否定架构的几个限制。使用驾驶模式预测和人类活动识别数据集，我们证明了所提出的门控架构带来的显着性能改进，以及它们在传感器噪声和故障存在下的鲁棒性。
2018-10-08 cs.LG stat.ML
Gated Feedback Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）
在这项工作中，我们提出了一种新的递归神经网络（RNN）架构。所提出的RNN，门控反馈RNN（GF-RNN），扩展了现有的堆叠多个递归层的方法，允许和控制信号从上层递归层流向下层，每对层使用全局门控单元。基于先前的隐藏状态和当前输入，层之间交换的递归信号被自适应地选通。我们评估了所提出的GF-RNN与不同类型的递归单元，如tanh，长短期记忆和门控递归单元，在字符级语言建模和Python程序评估的任务。我们对不同RNN单元的经验评估表明，在这两项任务中，GF-RNN都优于构建深度堆叠RNN的传统方法。我们认为，之所以会出现这种改进，是因为GF-RNN可以通过学习门控这些交互，自适应地将不同的层分配给不同的时间尺度和层与层的交互（包括通常不存在于堆栈RNN中的自上而下的交互）。
2015-06-17 cs.LG cs.NE stat.ML
Gated Compression Layers for Efficient Always-On Models
Google LLC（谷歌有限责任公司）
移动和嵌入式机器学习开发人员经常不得不在两种较差的设备上部署策略之间进行妥协：牺牲准确性并积极缩小其模型以在专用低功耗内核上运行;或者通过在更强大的计算内核（如神经处理单元或主应用处理器）上运行更大的模型来牺牲电池。在本文中，我们提出了一种新的门控压缩层，可用于将现有的神经网络架构转换为门控神经网络。门控神经网络具有多个特性，非常适合设备上的用例，有助于显著降低功耗、提高准确性并利用异构计算核心。我们提供了五个公共图像和音频数据集的结果，这些数据集证明了所提出的门控压缩层可以有效地阻止高达96%的负样本，压缩97%的正样本，同时保持或提高模型的准确性。
2023-03-15 cs.LG
Sequence Modeling using Gated Recurrent Neural Networks
Universite de Montreal（蒙特利尔大学）
在本文中，我们已经使用循环神经网络捕捉和建模人体运动数据，并产生运动预测的下一个即时的数据点在每个时间步。我们的RNN配备了最近提出的门控递归单元，在一些序列建模问题，如机器翻译和语音合成中显示出有前途的结果。我们证明了该模型能够捕获数据中的长期依赖关系并生成逼真的运动。
2015-01-01 cs.LG cs.NE
Structured Sparsification of Gated Recurrent Neural Networks
Samsung-HSE Laboratory（三星-高等经济学院实验室）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
近年来，许多技术被用来稀疏化神经网络的权值和去除网络的结构单元，如神经元。我们调整现有的稀疏化方法的门控循环架构。具体来说，除了权重和神经元的稀疏化之外，我们还提出了门的预激活的稀疏化。这使得一些门保持不变，并简化了LSTM结构。我们测试我们的方法上的文本分类和语言建模任务。我们观察到门稀疏性的结果结构取决于任务，并将学习到的结构与特定任务的细节联系起来。我们的方法还在大多数任务中改进了模型的神经元压缩。
2019-11-13 cs.CL cs.LG stat.ML
Gated Multimodal Units for Information Fusion
Universidad Nacional de Colombia（哥伦比亚国立大学）；University of Houston（休斯顿大学）；Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子学研究所）
提出了一种基于门控神经网络的多模态学习模型。门控多模态单元（GMU）模型旨在用作神经网络架构中的内部单元，其目的是基于来自不同模态的数据的组合来找到中间表示。GMU学习决定模态如何影响使用乘法门的单元的激活。这是一个多标签的情况下使用的情节和海报的电影类型分类进行评估。GMU提高了单模态方法的宏观f分数性能，并优于其他融合策略，包括专家模型的混合。随着这项工作的进行，MM-IMDb数据集也被发布，据我们所知，这是最大的公开可用的电影类型预测多模态数据集。
2017-02-07 cs.LG stat.ML
Gated recurrent units viewed through the lens of continuous time dynamical systems
Stony Brook University（石溪大学）
门控递归单元（GRU）是用于构建递归神经网络的专门存储元件。尽管他们在各种任务上取得了令人难以置信的成功，包括提取神经数据背后的动力学，但人们对GRU网络中可表示的特定动力学知之甚少。因此，既很难先验地知道GRU网络在给定任务上的成功程度，也很难知道它们模仿生物对应物的潜在行为的能力。使用连续时间分析，我们可以直观地了解GRU网络的内部工作原理。我们将我们的演示限制在低维度，以实现全面的可视化。我们发现了一个令人惊讶的丰富的剧目的动力学特征，包括稳定的极限环（非线性振荡），多稳定的动态与各种拓扑结构，和同宿分岔。与此同时，我们无法训练GRU网络来产生连续的吸引子，这被假设存在于生物神经网络中。我们将不同种类的观察到的动态的有用性，并支持我们的主张实验。
2021-07-29 cs.LG stat.ML
Gated Recurrent Neural Networks with Weighted Time-Delay Feedback
ICSI and LBNL（ICSI和LBNL）；KTH and Nordita（KTH和Nordita）；UC Berkeley, ICSI and LBNL（伯克利大学、ICSI和LBNL）
本文提出带加权时滞反馈的$τ$-GRU模型，基于延迟微分方程构建，经理论证明解存在唯一，在多任务上性能优于现有门控循环架构，收敛更快、泛化更好。
2025-05-19 cs.LG cs.NE stat.ML
Gaussian Gated Linear Networks
DeepMind（深度思维）
我们提出了高斯门控线性网络（G-GLN），这是最近提出的GLN系列深度神经网络的扩展。GLN不是使用反向传播来学习特征，而是具有基于优化凸目标的分布式和局部信用分配机制。这产生了许多理想的属性，包括通用性，数据有效的在线学习，平凡的可解释性和鲁棒性灾难性遗忘。我们将GLN框架从分类扩展到多元回归和密度建模，将几何混合推广到高斯密度的乘积。G-GLN在几个单变量和多变量回归基准上实现了具有竞争力或最先进的性能，并且我们证明了其对实际任务的适用性，包括在线上下文强盗和通过去噪进行密度估计。
2020-10-21 cs.LG stat.ML
Minimal Gated Unit for Recurrent Neural Networks
Nanjing University（南京大学）
最近循环神经网络（RNN）在处理序列数据方面非常成功。然而，理解RNN并找到RNN的最佳实践是一项艰巨的任务，部分原因是存在许多竞争和复杂的隐藏单元（如LSTM和GRU）。我们提出了一种RNN的门单元，称为最小门单元（MGU），因为它只包含一个门，这是所有门隐藏单元中的最小设计。MGU的设计受益于文献中对LSTM和GRU的评估结果。在不同序列数据上的实验表明，MGU具有与GRU相当的准确性，但具有更简单的结构，更少的参数和更快的训练速度。因此，MGU适用于RNN的应用。它简单的架构也意味着它更容易评估和调整，原则上更容易从理论和经验上研究MGU的属性。
2016-03-31 cs.LG cs.NE
Deep Gated Recurrent and Convolutional Network Hybrid Model for Univariate Time Series Classification
用于时间序列分类的混合LSTM-全卷积网络（LSTM-FCN）在单变量时间序列上产生了最先进的分类结果。我们证明，用门控递归单元（GRU）替换LSTM来创建GRU-全卷积网络混合模型（GRU-FCN）可以在许多时间序列数据集上提供更好的性能。所提出的GRU-FCN模型在许多单变量和多变量时间序列数据集上的分类性能优于最先进的分类性能。此外，由于GRU使用比LSTM更简单的架构，因此与基于LSTM的模型相比，它具有更少的训练参数，更少的训练时间和更简单的硬件实现。
2019-02-20 cs.LG stat.ML
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Graph-to-Sequence Learning using Gated Graph Neural Networks
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
许多NLP应用程序可以被构建为图到序列的学习问题。与基于语法的方法相比，以前提出这种设置的神经架构的工作获得了有希望的结果，但仍然依赖于线性化算法和/或标准递归网络来实现最佳性能。在这项工作中，我们提出了一个新的模型，编码的全部结构信息中包含的图形。我们的架构耦合最近提出的门控图神经网络与输入变换，允许节点和边缘有自己的隐藏表示，同时解决参数爆炸问题，目前在以前的工作。实验结果表明，我们的模型优于强基线生成AMR图和基于语法的神经机器翻译。
2018-06-26 cs.CL cs.LG
Gate Activation Signal Analysis for Gated Recurrent Neural Networks and Its Correlation with Phoneme Boundaries
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
本文分析了门控循环神经网络中的门激活信号，发现这些信号的时间结构与音素边界高度相关。通过一组音素分割实验进一步验证了这种相关性，与标准方法相比，获得了更好的结果。
2017-08-31 cs.CL cs.LG cs.SD
Gated Graph Sequence Neural Networks
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Microsoft Research（微软研究院）
图结构数据经常出现在包括化学、自然语言语义、社交网络和知识库的领域中。在这项工作中，我们研究了图结构输入的特征学习技术。我们的出发点是以前关于图神经网络的工作（Scarselli等人，2009），我们修改使用门控递归单元和现代优化技术，然后扩展到输出序列。结果是灵活且广泛有用的一类神经网络模型，其相对于纯粹基于序列的模型（例如，当问题是图结构时，使用LSTM。我们展示了一些简单的AI（bAbI）和图形算法学习任务的能力。然后，我们展示了它在程序验证问题上的最先进性能，其中子图需要与抽象数据结构相匹配。
2017-09-22 cs.AI cs.LG cs.NE
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University（清华大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）
循环神经网络（RNN）在序列建模方面表现出明显的优势，特别是具有门控单元的网络，如长短期记忆（LSTM）和门控循环单元（GRU）。然而，在许多应用中，卓越性能背后的动态特性仍然不清楚，例如，自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式，其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改：（1）LSTM中的懒惰单元更新，以及（2）残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
Gated Graph Recursive Neural Networks for Molecular Property Prediction
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
分子性质预测是计算机辅助药物发现和材料科学的基础问题。量子化学模拟如密度泛函理论（DFT）已被广泛用于计算分子性质，但由于计算量大，难以搜索大量潜在的化合物。用于分子建模的机器学习方法是有吸引力的替代方案，然而，用于学习分子表示的表达性、准确性和可扩展的图神经网络的开发仍然具有挑战性。在这项工作中，我们提出了一个简单而强大的图神经网络的分子性质预测。我们将分子建模为一个有向完全图，其中每个原子都有一个空间位置，并引入一个具有简单门函数的递归神经网络。我们还为每个层提供输入嵌入作为跳过连接，以加速训练。实验结果表明，我们的模型达到了最先进的性能标准基准数据集的分子性质预测。
2019-11-25 cs.LG q-bio.BM stat.ML
Analog Gated Recurrent Neural Network for Detecting Chewing Events
我们提出了一种新的门控循环神经网络来检测一个人何时咀嚼食物。我们实现了神经网络作为一个定制的模拟集成电路在0.18微米CMOS工艺。这个神经网络接受了6.4小时的数据训练，这些数据是通过安装在志愿者乳突骨上的接触式麦克风收集的。当对1.6小时的先前未见过的数据进行测试时，神经网络以24秒的时间分辨率识别咀嚼事件。它实现了91%的召回率和94%的F1分数，同时消耗1.1 uW的功率。一个基于新型模拟神经网络的检测整个进食事件（如膳食和零食）的系统估计消耗18.8 uW的功率。
2022-08-02 cs.LG cs.SD eess.AS
Gated Information Bottleneck for Generalization in Sequential Environments
NEC Laboratories Europe（欧洲 NEC 实验室）；UiT - The Arctic University of Norway（挪威北极大学）；Xi’an Jiaotong University（西安交通大学）；University of Florida（佛罗里达大学）
当底层数据分布与训练集中的数据分布不同时，深度神经网络对看不见的环境的泛化能力较差。通过从训练数据中学习最小充分表示，信息瓶颈（IB）方法已经证明了其在不同AI应用中提高泛化能力的有效性。在这项工作中，我们提出了一种新的神经网络为基础的IB方法，称为门控信息瓶颈（GIB），动态下降虚假的相关性，并逐步选择最相关的任务在不同的环境中的功能，通过可训练的软掩模（对原始功能）。GIB具有简单易行的目标，没有任何变分近似或分布假设。我们经验证明了GIB优于其他流行的基于神经网络的IB方法在对抗鲁棒性和分布外（OOD）检测。同时，我们还建立了IB理论和不变因果表示学习之间的联系，并观察到GIB表现出吸引人的性能时，不同的环境顺序到达，一个更实际的情况下，不变风险最小化（REMONTARY）失败。GIB代码可在https://github.com/falesiani/GIB上获得
2021-10-12 cs.LG stat.ML
Residual Gated Graph ConvNets
Nanyang Technological University（南洋理工大学）；Loyola Marymount University（洛约拉马利蒙特大学）
图结构的数据，如社交网络，功能脑网络，基因调控网络，通信网络带来了兴趣，推广深度学习技术的图形域。在本文中，我们感兴趣的是设计神经网络的图与可变长度，以解决学习问题，如顶点分类，图分类，图回归，图生成任务。大多数现有的工作都集中在递归神经网络（RNN）学习有意义的表示图，最近新的卷积神经网络（ConvNets）已经推出。在这项工作中，我们希望严格比较这两个基本的架构家族来解决图学习任务。我们回顾了现有的图RNN和ConvNet架构，并提出了将LSTM和ConvNet自然扩展到任意大小的图。然后，我们设计了一组分析控制实验上的两个基本的图形问题，即子图匹配和图聚类，以测试不同的架构。数值结果表明，所提出的图ConvNets比图RNNs精确3-17%，速度快1.5- 4倍。图ConvNets也比变分（非学习）技术准确36%。最后，最有效的图ConvNet架构使用门控边和残差。冗余性在学习多层架构方面起着至关重要的作用，因为它们提供了10%的性能增益。
2018-04-24 cs.LG stat.ML
On the stability properties of Gated Recurrent Units neural networks
Politecnico di Milano（米兰理工大学）
给出了保证GRU神经网络输入到状态稳定性（ISS）和增量输入到状态稳定性（δISS）的充分条件.这些条件是针对单层和多层结构设计的，由网络权重的非线性不等式组成。它们可以用来检查训练网络的稳定性，或者可以在GRU的训练过程中作为约束来实施。在四容水箱非线性基准系统上对训练过程进行了测试，显示出令人满意的建模性能。
2021-10-10 cs.LG cs.SY eess.SY
Gated Recurrent Neural Tensor Network
Universitas Indonesia（印度尼西亚大学）；Nara Institute of Science and Technology（奈良先端科学技术大学）
递归神经网络（RNN）是一种强大的时序数据建模方案，需要捕获数据集的长期依赖关系，并使用强大的模型将其表示在隐藏层中，以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模，门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层（即，张量积）帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中，我们提出了一种新的RNN架构，将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中，我们提出的模型通过使用门控单元建模来学习长期依赖关系，并使用三维数组（张量）权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆（LSTM）RNN和门控递归单元（GRU）RNN，并将它们与其公式中的张量积结合起来。我们提出的RNN，被称为长短期记忆递归神经张量网络（LSTMRNTN）和门控递归单位递归神经张量网络（GRURNTN），是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验，结果表明，与我们的基线模型相比，我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Network-wide Multi-step Traffic Volume Prediction using Graph Convolutional Gated Recurrent Neural Network
准确预测网络范围内的交通状况是智能交通系统的关键。在过去的十年中，机器学习技术已被广泛用于此任务，从而产生了最先进的性能。我们提出了一种新的深度学习模型，图卷积门控循环神经网络（GCGRNN），用于预测网络范围内的多步流量。GCGRNN可以自动捕获交通传感器之间的空间相关性和历史交通数据中的时间依赖性。我们使用从加利福尼亚州洛杉矶的150个传感器中提取的两个交通数据集来评估我们的模型，时间分辨率分别为1小时和15分钟。结果表明，我们的模型优于其他五个基准模型的预测精度。例如，与使用每小时数据集的最先进的扩散卷积循环神经网络（DCRNN）模型相比，我们的模型将MAE降低了25.3%，RMSE降低了29.2%，MAPE降低了20.2%。我们的模型也比DCRNN的训练速度快52%。GCGRNN的数据和实现可以在https://github.com/leilin-research/GCGRNN上找到。
2021-11-22 cs.LG
Reducing state updates via Gaussian-gated LSTMs
Institute of Neuroinformatics（神经信息学研究所）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
由于众所周知的消失梯度问题，递归神经网络可能难以在长序列数据上进行训练。一些架构包含减少RNN状态更新的方法，因此允许网络在长时间间隔内保留内存。为了解决这些收敛问题，本文提出了一种时间门控LSTM RNN模型，称为高斯门控LSTM（g-LSTM）。时间门控制神经元在训练过程中何时可以更新，从而实现更长的记忆持久性和更好的错误梯度流。该模型比LSTM更好地捕获长时间依赖关系，并且即使从非最佳初始化值也可以学习时间门参数。由于时间门限制了神经元状态的更新，因此网络更新所需的计算次数也减少了。通过将计算预算项添加到训练损失中，我们可以获得一个网络，该网络将计算次数进一步减少至少10倍。最后，通过对g-LSTM采用时间课程学习调度，我们可以减少等价LSTM网络在长序列上的收敛时间。
2019-01-22 cs.LG stat.ML
Online Learning in Contextual Bandits using Gated Linear Networks
DeepMind
我们介绍了一个新的和完全在线的上下文强盗算法称为门控线性上下文强盗（GLCB）。该算法基于门控线性网络（GLN），这是一种最近推出的深度学习架构，具有非常适合在线设置的属性。利用GLN的数据相关门控特性，我们能够以有效的零算法开销来估计预测不确定性。我们经验评估GLCB相比，9国家的最先进的算法，利用深度神经网络，在一个标准的基准套件的离散和连续的上下文强盗问题。GLCB获得中位数第一位，尽管是唯一的在线方法，我们进一步支持这些结果与理论研究其收敛性能。
2020-11-20 cs.AI cs.LG stat.ML
A Sensitivity Analysis of Attention-Gated Convolutional Neural Networks for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）；Information Engineering University（信息工程大学）
在本文中，我们研究了不同超参数以及超参数设置的不同组合对注意力门控卷积神经网络（AGCNN）性能的影响，例如，核窗口大小、特征映射的数量、丢弃层的保持率和激活函数。我们从广泛的实证结果中得出实用的建议。通过灵敏度分析，我们进一步改进了AGCNN的超参数设置。实验表明，我们的建议可以实现平均0.81%和0.67%的改进AGCNN-NLReLU-rand和AGCNN-SELU-rand，分别和平均0.47%和0.45%的改进AGCNN-NLReLU-static和AGCNN-SELU-static，分别。
2019-10-16 cs.CL cs.LG
A recurrent neural network without chaos
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们引入了一个非常简单的门控循环神经网络（RNN），在单词级语言建模任务上，它的性能可与众所周知的门控架构（如LSTM和GRU）相媲美。我们证明了我们的模型具有简单，可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比，后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
Histogram-Equalized Quantization for logic-gated Residual Neural Networks
CEA-LETI
本文提出自适应线性对称量化框架HEQ，通过步长优化自动调整阈值，在CIFAR-10达到先进性能，并支持低硬件复杂度、高精度的逻辑门控残差网络训练。
2025-01-09 cs.AR cs.LG
Gated Neural Networks for Option Pricing: Rationality by Design
EECS Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）；Imperial Business School Imperial College London（帝国理工学院帝国理工商学院）
我们提出了一个神经网络的方法来定价欧盟看涨期权，显着优于一些现有的定价模型，并保证其预测是经济合理的。为了实现这一目标，我们引入了一类门控神经网络，它可以自动学习如何分治问题空间，以实现稳健和准确的定价。然后，我们推导出这些网络的实例，这些网络是“理性的设计”，自然编码一个有效的看涨期权表面，执行无套利原则。由于在学习中编码的归纳偏差，这种将人类洞察力整合到数据驱动学习中的做法在定价表现方面提供了更好的概括，保证了模型预测的合理性，并提供了计量经济学上有用的副产品，如风险中性密度。
2020-03-27 cs.LG q-fin.CP q-fin.PR
Genetic-Gated Networks for Deep Reinforcement
Seoul National University（首尔国立大学）；Samsung Electronics（三星电子）
我们介绍了遗传门控网络（G2Ns），简单的神经网络，在网络的隐藏层（S）中结合了由二进制遗传基因组成的门向量。该方法综合了无梯度优化和基于梯度的优化方法的优点，前者对多个局部极小点的问题有效，而后者能快速找到局部极小点。此外，多个染色体可以定义不同的模型，使得构建多个模型变得容易，并且可以有效地应用于需要多个模型的问题。我们表明，这种G2N可以应用于典型的强化学习算法，以实现样本效率和性能的大幅改善。
2018-11-26 cs.LG cs.NE stat.ML
Time Gated Convolutional Neural Networks for Crop Classification
Columbia University（哥伦比亚大学）
本文提出了一种最先进的框架，时间门控卷积神经网络（TGCNN），利用时间信息和门控机制的作物分类问题。此外，还构建了几种植被指数，以扩展输入数据的维数，从而充分利用光谱信息。在TGCNN中考虑了空间（通道方式）和时间（逐步）相关性。具体来说，我们的初步分析表明，逐步信息是更重要的，在这个数据集。最后，门控机制有助于捕获高阶关系。我们的TGCNN解决方案分别实现了$0.973$ F1评分、$0.977$ AUC ROC和$0.948$ IoU。此外，在不同的地方任务中，它优于其他三个基准（肯尼亚、巴西和多哥）。总的来说，我们的实验表明，TGCNN在这个地球观测时间序列分类任务中是有利的。
2022-06-20 cs.CV cs.LG eess.IV
Subtask Gated Networks for Non-Intrusive Load Monitoring
Encored Technologies（Encored科技公司）；Sungkyunkwan University（成均馆大学）；Seoul National University（首尔国立大学）
非侵入式负载监测（NILM），也称为能量分解，是一种盲声源分离问题，其中家庭的总电力消耗被分解为各个电器的电力使用。这样，可以避免在众多家用电器上安装许多测量装置的成本和麻烦，并且只需要安装一个装置。自1992年Hart的开创性论文以来，这个问题一直是众所周知的，最近通过采用深度网络实现了显着的性能改进。在这项工作中，我们专注于设备具有开/关状态的想法，并开发一个深度网络以进一步提高性能。具体来说，我们提出了一个子任务门控网络，它结合了主回归网络和开/关分类子任务网络。与典型的多任务学习算法不同，在典型的多任务学习算法中，多个任务简单地共享网络参数以利用任务之间的相关性，子任务门控网络将主网络的回归输出乘以子任务的分类概率。当备用电源被额外学习时，所提出的解决方案超过了大多数基准测试情况下的最先进性能。子任务门控网络可以非常有效的任何问题，固有的开/关状态。
2018-11-16 cs.LG stat.AP stat.ML
Confidence-gated training for efficient early-exit neural networks
International University of Rabat（拉巴特国际大学）；TICLab（TIC实验室）；Thales Alenia Space（泰勒斯阿莱尼亚空间）；Mohammed 6 Polytechnic University（穆莱·6技术大学）；University of Leeds（利兹大学）
本文提出置信度门控训练方法，通过条件梯度传播提升早期退出神经网络的效率和准确性。
2026-01-08 cs.AI cs.LG
Gated networks: an inventory
Sorbonne Universités, UPMC Univ Paris 06（索邦大学，巴黎第六大学（皮埃尔和玛丽·居里大学））；CNRS, Institut des Systèmes Intelligents et de Robotique（法国国家科学研究中心，智能系统与机器人研究所）；École Nationale Supérieure de Techniques Avancées (ENSTA-ParisTech)（国立高等先进技术学院（巴黎高科ENSTA））；INRIA Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多西南分部）
门控网络是包含门控连接的网络，其中至少两个神经元的输出相乘。最初，门控网络用于学习两个输入源之间的关系，例如来自两个图像的像素。最近，它们已被应用于学习活动识别或多模态表示。本文的目的有三个：1）向非专家解释门控网络中的基本计算，同时采取坚持其对称性质的立场。2)通过提供这些网络的应用以及基本架构的最新扩展的清单，作为最近文献的快速参考指南。3)提出未来的研究方向和应用。
2015-12-10 cs.LG
Sentylic at IEST 2018: Gated Recurrent Neural Network and Capsule Network Based Approach for Implicit Emotion Detection
University of Moratuwa（莫勒图沃大学）
在本文中，我们介绍了我们用于内隐WASSA 2018内隐情感共享任务的系统。任务是预测一条推文的情感，其中明确提到的情感术语已被删除。我们的想法是提出一个模型，它有能力隐式地识别所表达的情感的上下文单词。我们已经使用了门控循环神经网络（GRU）和基于胶囊网络的任务模型。预训练的词嵌入已被用来将上下文知识的话到模型中。GRU层使用输入的词嵌入来学习潜在表示。随后的Capsule Network层从该隐藏表示中学习高级特征。该模型的宏观F1得分为0.692。
2018-09-05 cs.CL cs.LG
Generalizing Pooling Functions in Convolutional Neural Networks: Mixed, Gated, and Tree
UCSD（加州大学圣地亚哥分校）
我们试图通过推广在当前架构中发挥核心作用的池化操作来改进深度神经网络。我们追求仔细探索的方法，让池学习和适应复杂和多变的模式。两个主要方向在于（1）通过组合最大池化和平均池化的（两种策略）来学习池化函数，以及（2）以池化过滤器的树结构融合的形式学习池化函数，所述池化过滤器本身是学习的。在我们的实验中，我们探索的每一个广义池化操作在代替平均池化或最大池化时都会提高性能。我们通过实验证明，所提出的池化操作相对于传统池化提供了不变性的提升，并在几个广泛采用的基准数据集上设置了最先进的技术;它们也易于实现，并且可以应用于各种深度神经网络架构中。这些好处只会在训练过程中轻微增加计算开销，以及模型参数数量的非常适度的增加。
2015-10-10 cs.LG cs.NE stat.ML
An Attention-Gated Convolutional Neural Network for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）；Eindhoven University of Technology（埃因霍温理工大学）
由于句子包含的上下文信息有限，因此句子的分类是一个非常具有挑战性的问题。在本文中，我们提出了一个注意力门控卷积神经网络（AGCNN）的句子分类，它产生的注意力权重从不同大小的功能的上下文窗口通过使用专门的卷积编码器。它充分利用有限的上下文信息，提取并增强了重要特征对句子类别预测的影响。实验结果表明，我们的模型可以实现比标准CNN模型高出3.1%的准确率，并在六个任务中的四个任务上获得比基线更有竞争力的结果。此外，我们还设计了一个激活函数，即自然对数重标度整流线性单元（NLReLU）。实验表明，NLReLU可以优于ReLU，并且与AGCNN上的其他知名激活函数相当。
2018-12-28 cs.CL cs.LG
Recurrent Neural Networks for Forecasting Time Series with Multiple Seasonality: A Comparative Study
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文比较了具有不同类型门控单元的循环神经网络（RNN）对具有多个季节性的时间序列的预测。我们比较的细胞包括经典的长短期记忆（LSTM），门控递归单元（GRU），具有膨胀的修改的LSTM，以及我们最近提出的两个新细胞，它们配备了膨胀和注意力机制。为了对不同尺度的时间依赖性进行建模，我们的RNN架构具有多个膨胀的递归层，这些层堆叠有分层膨胀。建议的RNN产生点预测和预测区间（PI）。一项关于35个欧洲国家短期电力负荷预测的实证研究证实，具有扩张和注意力的新门控细胞表现最好。
2022-03-17 cs.LG
The Neural Race Reduction: Dynamics of Abstraction in Gated Networks
Sainsbury Wellcome Centre, UCL（伦敦大学学院塞恩斯伯里·韦尔科姆中心）；Meta AI；CIFAR（加拿大高等研究院）
我们对深度学习的理论理解并没有跟上它的经验成功。虽然网络架构是众所周知的关键，我们还不了解它对学习表征和网络行为的影响，或者这种架构应该如何反映任务结构。在这项工作中，我们开始通过引入门控深度线性网络框架来解决这一差距，该框架图示了信息流的路径如何影响架构内的学习动态。至关重要的是，由于门控，这些网络可以计算其输入的非线性函数。我们得到一个确切的减少，并在某些情况下，确切的解决方案的动态学习。我们的分析表明，结构化网络中的学习动态可以被概念化为一个神经竞赛，它对共享表示有隐含的偏见，然后控制模型系统概括，多任务和转移的能力。我们验证了我们对自然主义数据集的关键见解，并采用了宽松的假设。总的来说，我们的工作产生了神经结构与学习相关的一般假设，并提供了一种数学方法来理解更复杂的结构的设计以及模块化和组合性在解决现实问题中的作用。代码和结果可在https://www.saxelab.org/gated-dln上获得。
2022-07-21 cs.AI cs.LG
Gated Graph Recurrent Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）
图进程表现出由序列索引确定的时间结构和由图支持确定的空间结构。为了从图处理中学习，信息处理架构必须能够利用这两种底层结构。我们引入图递归神经网络（GRNNs）作为一个通用的学习框架，它通过利用递归隐藏状态的概念以及图信号处理（GSP）来实现这一目标。在GRNN中，可学习参数的数量与序列的长度和图的大小无关，从而保证了可扩展性。我们证明了GRNN是置换等变的，并且它们对底层图支持的扰动是稳定的。为了解决梯度消失的问题，我们还提出了三种不同的门控机制：时间，节点和边缘门的门控GRNN。在涉及合成数据集和真实数据集的数值实验中，时间门控GRNN在长期依赖性问题中表现出对GRNN的改进，而节点和边门有助于编码图中存在的长期依赖性。数值结果还表明，GRNN的性能优于GNNN和RNN，突出了考虑图过程的时间和图结构的重要性。
2020-08-05 cs.LG eess.SP
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Google Brain（谷歌大脑）；Jagiellonian University（雅盖隆大学）
神经网络吸收信息的能力受到其参数数量的限制。条件计算，其中网络的部分在每个示例的基础上是活跃的，在理论上已经被提出作为一种显着增加模型容量而不按比例增加计算的方法。然而，在实践中，存在显著的算法和性能挑战。在这项工作中，我们解决了这些挑战，并最终实现了条件计算的承诺，实现了模型容量的1000倍以上的改进，而现代GPU集群的计算效率只有轻微的损失。我们引入了一个稀疏门控混合专家模型层（MoE），由多达数千个前馈子网络。可训练的门控网络确定这些专家的稀疏组合以用于每个示例。我们将MoE应用于语言建模和机器翻译的任务，其中模型容量对于吸收训练语料库中的大量知识至关重要。我们提出了模型架构，其中具有高达1370亿个参数的MoE在堆叠的LSTM层之间以卷积方式应用。在大型语言建模和机器翻译基准测试中，这些模型以更低的计算成本获得了比最先进的模型更好的结果。
2017-01-23 cs.CL cs.LG cs.NE
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology（麻省理工学院）；MILA - Universite de Montreal（蒙特利尔大学MILA）
我们提出了一种新的基于递归神经网络（RNN）的模型，该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM，GRU和酉RNN。我们的经验都表明，正交/酉RNN缺乏遗忘能力，并且在遗忘不相关信息的同时，RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果，以及我们的模型在许多自然的顺序任务，包括bAbI问答，TIMIT语音频谱预测，宾州树库，和合成任务，涉及长期的依赖关系，如算法，括号，去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
A Hierarchical Deep Convolutional Neural Network and Gated Recurrent Unit Framework for Structural Damage Detection
Chongqing Jiaotong University（重庆交通大学）；Institute for Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院（I2R））；Hunan University（湖南大学）
结构损伤检测已成为各工程领域感兴趣的跨学科领域，而现有的损伤检测方法正在适应机器学习的概念。大多数基于机器学习的方法严重依赖于提取的“手工制作”特征，这些特征由领域专家提前手动选择，然后固定。最近，深度学习在传统的具有挑战性的任务上表现出了卓越的性能，例如图像分类，对象检测等，由于强大的特征学习能力。这一突破激发了研究人员探索用于结构损伤检测问题的深度学习技术。然而，现有方法已经考虑了空间关系（例如，使用卷积神经网络（CNN））或时间关系（例如，使用长短期记忆网络（LSTM））。在这项工作中，我们提出了一种新的分层CNN和门控递归单元（GRU）框架来模拟空间和时间关系，称为HCG，用于结构损伤检测。具体地说，CNN用于建模传感器之间的空间关系和短期时间依赖性，而CNN的输出特征被馈送到GRU以联合学习长期时间依赖性。在IASC-ASCE结构健康监测基准和三跨连续刚构桥结构缩尺模型数据集上进行的大量实验表明，该方法在结构损伤检测方面明显优于现有的其他方法。
2020-05-29 cs.LG eess.SP stat.ML
Gated Task Interaction Framework for Multi-task Sequence Tagging
Ulster University（阿尔斯特大学）
最近的研究表明，神经模型可以在几个序列标记/标签问题上实现高性能，而无需显式使用语言特征，如词性（POS）标签。这些模型仅使用字符级和词嵌入向量作为输入来训练。其他人已经表明，语言特征可以提高神经模型在组块和命名实体识别（NER）等任务上的性能。然而，性能的变化取决于语言特征和目标任务之间的语义相关程度;在某些情况下，语言特征可能会对性能产生负面影响。本文提出了一种方法来共同学习这些语言特征，以及目标序列标记任务与一个新的多任务学习（MTL）框架称为门控任务交互（GTI）网络解决多个序列标记任务。GTI网络通过神经门模块利用多个任务之间的关系。这些门模块控制不同任务之间的信息流。在用于组块和NER的基准数据集上的实验表明，我们的框架在有和没有外部训练资源的情况下训练的性能优于其他竞争基线。
2019-09-29 cs.CL cs.LG stat.ML
Hierarchically Gated Recurrent Neural Network for Sequence Modeling
OpenNLPLab, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室 OpenNLPLab）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对现有线性RNN忽略循环内遗忘门作用的问题，提出分层门控循环神经网络HGRN，通过随层数单调递增的可学习遗忘门下限实现长短依赖分层建模，在多项任务上验证了有效性与效率。
2023-11-08 cs.CL cs.LG
FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network
Indian Institute of Technology Delhi（德里印度理工学院）；University of California Berkeley（加州大学伯克利分校）；Microsoft Research India（微软印度研究院）
本文开发了FastRNN和FastGRNN算法，以解决RNN训练不准确和预测效率低下的双重局限性。以前的方法已经提高了精度，但代价是预测成本，使得它们对于资源受限和实时应用不可行。酉RNN通过限制状态转移矩阵奇异值的范围，在一定程度上提高了准确性，但也增加了模型的大小，因为它们需要更多的隐藏单元来弥补表达能力的损失。门控RNN通过添加额外的参数获得了最先进的精度，从而产生了更大的模型。FastRNN通过添加一个残差连接来解决这些限制，该残差连接不明确限制奇异值的范围，并且只有两个额外的标量参数。然后，FastGRNN通过重用RNN矩阵将剩余连接扩展到门，以匹配最先进的门控RNN精度，但模型较小2- 4倍。强制FastGRNN的矩阵为低秩、稀疏和量化，导致精确的模型比领先的门控和酉RNN小35倍。这使得FastGRNN能够准确地识别具有1 KB模型的“Hey Cortana”唤醒词，并部署在资源严重受限的物联网微控制器上，这些微控制器太小，无法存储其他RNN模型。FastGRNN的代码可以在https://github.com/Microsoft/EdgeML/上找到。
2019-01-08 cs.AI cs.LG cs.NE
Event Arguments Extraction via Dilate Gated Convolutional Neural Network with Enhanced Local Features
National University of Defense Technology（国防科技大学）
事件抽取在信息抽取中起着重要的作用。事件提取可以分为两个子任务：一个是事件触发器提取，另一个是事件参数提取。然而，事件参数提取的F-Score远低于事件触发器提取的F-Score，即在最近的工作中，事件触发器提取达到80.7%，而事件参数提取仅达到58%。在流水线结构中，事件参数提取的困难在于缺乏分类特征，计算量大。本文提出了一种基于多层扩张门控卷积神经网络（EE-DGCNN）的事件提取方法。此外，增强的本地信息被纳入到词的功能，分配事件参数角色的触发器预测的第一个子任务。数值实验表明，显着的性能改善超出了最先进的事件提取方法在现实世界的数据集。进一步分析了提取过程，并通过实验分析了影响性能提高的相关因素。
2020-06-02 cs.CL cs.LG
Dynamic Gated Recurrent Neural Network for Compute-efficient Speech Enhancement
Institute of Neuroinformatics, University of Zurich（苏黎世大学神经信息学研究所）；ETH Zurich（苏黎世联邦理工学院）；Reality Labs Research, Meta（元现实实验室研究部门）
本文提出动态门控循环神经网络（DG-RNN）及其实现D-GRU，通过select gate在每个时间步仅更新选定神经元，在DNS challenge数据集上平均减少50% GRU计算量且保持语音质量。
2024-09-24 cs.LG cs.SD eess.AS
Improving Traffic Density Forecasting in Intelligent Transportation Systems Using Gated Graph Neural Networks
University Of South Dakota（南达科他大学）；Lamar University（拉马尔大学）；Independent University Bangladesh（孟加拉国独立大学）；University of Tennessee（田纳西大学）
本研究比较了GCN、GraphSAGE和GGNN三种图神经网络在交通密度预测中的表现，发现GGNN以最低MAE成为最优模型。
2023-10-26 cs.AI cs.CV cs.LG
Speech Paralinguistic Approach for Detecting Dementia Using Gated Convolutional Neural Network
Tokyo Institute of Technology（东京工业大学）；Keio University School of Medicine（庆应义塾大学医学部）
我们提出了一种非侵入性和成本效益的方法来自动检测痴呆症，仅利用语音音频数据。我们提取一个简短的语音片段的语言特征，并使用门控卷积神经网络（GCNN）将其分类为痴呆或健康。我们评估我们的方法上皮特语料库和我们自己的数据集，PROMPT数据库。我们的方法产生的准确性为73.1%的皮特语料库使用平均114秒的语音数据。在PROMPT数据库中，我们的方法使用4秒的语音数据产生74.7%的准确率，当我们使用所有患者的语音数据时，它提高到80.8%。此外，我们评估我们的方法上的三个类别的分类问题，其中我们包括轻度认知障碍（MCI）类，并实现了60.6%的准确率与40秒的语音数据。
2020-10-06 cs.LG cs.SD eess.AS
