Fullie and Wiselie: A Dual-Stream Recurrent Convolutional Attention Model for Activity Recognition
University of New South Wales（新南威尔士大学）；RMIT University（皇家墨尔本理工大学）；Northwestern Polytechnical University（西北工业大学）
多模态特征在基于可穿戴传感器的人体活动识别（HAR）中起着关键作用。自适应地选择最显著的特征是最大化多模态传感器数据的有效性的一种有前途的方法。在这方面，我们提出了一个“收集充分和明智地选择（Fullie和Wiselie）”的原则，以及双流循环卷积注意力模型，循环注意力和活动框架（RAAF），以提高识别性能。我们首先收集模态特征和每对特征之间的关系来生成活动框架，然后引入注意力机制来精确地从活动框架中选择最显著的区域。所选择的帧不仅最大限度地利用有效的功能，但也减少了要有效地计算的功能的数量。我们进一步分析的超参数，准确性，可解释性，和注释依赖性的基础上广泛的实验所提出的模型。结果表明，RAAF在两个基准数据集上取得了有竞争力的性能，并在现实生活中的情况下工作得很好。
2017-11-21 cs.AI cs.HC cs.LG
Learning Recurrent Neural Net Models of Nonlinear Systems
University of Illinois（伊利诺伊大学）；Northeastern University（东北大学）
我们考虑以下学习问题：给定由未知非线性系统（不假设是因果或时不变的）生成的输入和输出信号的样本对，我们希望找到一个具有双曲正切激活函数的连续时间递归神经网络，该网络近似地再现了具有高置信度的底层i/o行为。利用早期的工作与匹配输出导数到一个给定的有限阶，我们重新制定熟悉的系统理论语言的学习问题，并获得定量保证的超规范风险的学习模型的神经元的数量，样本大小，被匹配的衍生物的数量，以及输入，输出和未知的I/O映射的规律性。
2021-11-16 cs.LG cs.SY eess.SY
Online hyperparameter optimization by real-time recurrent learning
New York University（纽约大学）
传统的超参数优化方法是计算密集型的，并且难以推广到需要动态适应超参数的场景，例如终身学习。在这里，我们提出了一个在线的超参数优化算法，是渐近精确和计算易处理的，无论是在理论上和实践中。我们的框架利用了超参数优化和递归神经网络（RNN）中参数学习之间的类比。它采用了一系列经过充分研究的RNN在线学习算法来同时调整超参数和网络参数，而无需重复进行迭代优化。与标准方法相比，该过程在挂钟时间的一小部分上系统地产生更好的泛化性能。
2021-04-08 cs.LG
Recurrent networks, hidden states and beliefs in partially observable environments
University of Liège（列日大学）；Institut Polytechnique de Paris（巴黎理工学院）
强化学习的目标是从与动态未知的环境的交互中学习最优策略。许多方法依赖于一个价值函数的近似值来获得接近最优的策略。在部分可观测的环境中，这些函数依赖于观测和过去行为的完整序列，称为历史。在这项工作中，我们经验性地表明，经过训练以近似这种价值函数的递归神经网络在内部过滤了给定历史的当前状态的后验概率分布，称为信念。更确切地说，我们表明，作为一个循环神经网络学习的Q函数，其隐藏状态变得越来越相关的信念的状态变量是相关的最优控制。这种相关性通过它们的互信息来测量。此外，我们表明，预期收益的代理增加的能力，其经常性的架构，以达到高互信息之间的隐藏状态和信念。最后，我们表明，通过学习过程中的隐藏状态和信念的变量是无关的最优控制之间的互信息减少。总之，这项工作表明，在其隐藏状态下，近似部分可观察环境的Q函数的递归神经网络从历史中再现了与采取最佳行动的信念的相关部分相关的足够的统计数据。
2022-08-06 cs.LG stat.ML
Hypercomplex-Valued Recurrent Correlation Neural Networks
Institute of Mathematics, Statistics, and Scientific Computing（数学、统计与科学计算研究所）；University of Campinas（坎皮纳斯大学）
循环相关神经网络（RCNNs）是Chiueh和Goodman提出的基于双极相关的Hopfield神经网络的改进型，可用于实现大容量的联想记忆。在本文中，我们扩展了双极RCNN处理超复值数据。准确地说，我们提出了一个广泛的超复值RCNN类的数学背景。然后，我们提供了必要条件，确保超复值RCNN总是使用同步或异步更新模式稳定在平衡点。双极，复杂，双曲，四元数和八元数值RCNN的例子来说明理论结果。最后，计算实验证实了超复值RCNN作为联想记忆设计的存储和调用灰度图像的潜在应用。
2020-01-31 cs.LG cs.NE stat.ML
Deep Diabetologist: Learning to Prescribe Hyperglycemia Medications with Hierarchical Recurrent Neural Networks
IBM Research China（IBM中国研究院）
在医疗保健领域，将深度学习模型应用于电子健康记录（EHR）已经引起了相当大的关注。EHR数据由一系列医疗访问组成，即诊断，药物治疗，体检，实验室测试等的多变量时间序列。这种连续性使EHR能够很好地匹配递归神经网络（RNN）的功能。在本文中，我们提出了“Deep Diabetologist”-使用RNN进行EHR序列数据建模，为糖尿病患者提供个性化的高血糖药物预测。特别是，我们开发了一个层次的RNN来捕获EHR数据中的异构序列信息。我们的实验结果表明，与使用逻辑回归的基线分类器相比，改进的性能。此外，分层RNN模型的性能优于基本模型，为临床决策支持提供了更深入的数据见解。
2018-10-17 cs.LG
Mutual Information Scaling and Expressive Power of Sequence Models
Massachusetts Institute of Technology（麻省理工学院）
序列模型将概率分配给可变长度序列，例如自然语言文本。序列模型捕捉时间相关性的能力可以通过相关性和互信息的时间尺度来表征。在本文中，我们研究了循环神经网络（RNN）的互信息，包括长短期记忆和自我注意网络，如Transformers。通过对线性RNN的理论研究和对非线性RNN的实证研究相结合，我们发现它们的互信息随时间距离呈指数衰减。另一方面，Transformers可以更有效地捕获长距离互信息，使得它们在建模具有慢幂律互信息的序列（例如自然语言和股票价格）时是优选的。我们讨论这些结果与统计力学的联系。我们还指出了许多自然语言数据集的非均匀性问题。我们希望这项工作提供了一个新的视角来理解序列模型的表达能力，并为改进它们的体系结构提供新的思路。
2019-05-10 cond-mat.dis-nn cs.IT cs.LG
Disentangled Recurrent Wasserstein Autoencoder
PCG, Tencent（腾讯PCG）；NEC Laboratories America（NEC美国实验室）；Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）；Texas A&M University（德克萨斯A&M大学）
学习解纠缠表示导致可解释的模型，并促进具有风格转移的数据生成，这已经在无监督学习框架中对静态数据（例如图像）进行了广泛研究。然而，只有少数作品探索了无监督的解开顺序表示学习，由于生成顺序数据的挑战。在本文中，我们提出了经常性的Wasserstein自动编码器（R-WAE），一个新的框架生成建模的序列数据。R-WAE将输入序列的表示分解为静态和动态因素（即，时不变和时变部分）。我们的理论分析表明，R-WAE最小化模型分布和序列数据分布之间的Wasserstein距离的惩罚形式的上界，同时最大化输入数据和不同的解开的潜在因素之间的互信息，分别。这优于（循环的）VAE，其不显式地强制输入数据与解纠缠的潜在表示之间的互信息最大化。当序列数据中的动作数量作为弱监督信息时，R-WAE被扩展为学习动作的分类潜在表示以改善其解纠缠。在各种数据集上的实验表明，我们的模型在定量和定性的解纠缠和无条件视频生成方面优于其他具有相同设置的基线。
2021-01-19 cs.AI cs.LG
Deep Recurrent Electricity Theft Detection in AMI Networks with Random Tuning of Hyper-parameters
Tennessee Tech. University（田纳西理工大学）；Texas A&M University at Qatar（德州农工大学卡塔尔分校）
现代智能电网依靠先进的计量基础设施（AMI）网络进行监控和计费。然而，这种方法会遭受电力盗窃网络攻击。与现有的基于浅层、静态和客户特定的电力盗窃检测器的研究不同，本文提出了一种基于广义深度递归神经网络（RNN）的电力盗窃检测器，可以有效地阻止这些网络攻击。该模型利用客户用电量的时间序列特性，实现了一个门控递归单元（GRU）-RNN，从而提高了检测性能。此外，所提出的基于RNN的检测器在其学习阶段采用随机搜索分析，以适当地微调其超参数。使用来自200个客户的107，200个能源消耗日的公开真实数据进行了广泛的测试研究，以调查探测器的性能。仿真结果表明，所提出的检测器相比，国家的最先进的电力盗窃检测器的优越性能。
2018-09-06 cs.CR cs.LG stat.ML
Hyperparameter Transfer Laws for Non-Recurrent Multi-Path Neural Networks
Fudan University, Shanghai, China（复旦大学）；New York University, New York, NY, USA（纽约大学）
本文提出有效深度概念，揭示了非递归多路径神经网络中学习率衰减遵循-3/2幂律，实现超参数跨深度和宽度的可靠转移。
2026-08-04 cs.LG
Contextual Control without Memory Growth in a Context-Switching Task
SOBIN Institute LLC, Kawanishi, Hyogo, Japan（SOBIN研究所有限责任公司，日本兵库县川西市）
本文提出一种无需增加记忆维度的上下文控制方法，通过干预共享的递归潜在状态，在上下文切换任务中实现了有效的决策制定。
2026-04-03 cs.AI cs.IT cs.LG
Low-Cost Recurrent Neural Network Expected Performance Evaluation
Universidad de Málaga（马拉加大学）；Massachusetts Institute of Technology（麻省理工学院）
递归神经网络是一种强大的工具，但它们对超参数配置非常敏感。此外，正确训练循环神经网络是一项艰巨的任务，因此选择适当的配置至关重要。为解决这一问题提出了各种战略。然而，由于所需的时间/资源，其中大多数仍然不切实际。在这项研究中，我们提出了一个低计算成本的模型来评估一个给定的架构的预期性能的基础上分布的随机样本的权重的错误。我们使用三个用例来实证验证我们的建议。结果表明，这是一个有前途的替代方案，以减少超参数优化的探索成本。
2019-03-11 cs.LG stat.ML
A Fully Tensorized Recurrent Neural Network
Mila - McGill University（Mila - 麦吉尔大学）；Ubenwa Health；Google DeepMind（谷歌DeepMind）
递归神经网络（RNN）是序列建模的强大工具，但通常需要显著的过度参数化和正则化来实现最佳性能。这导致在资源有限的环境中部署大型RNN的困难，同时也在超参数选择和训练中引入了复杂性。为了解决这些问题，我们引入了一个“完全张量化”的RNN架构，该架构使用轻量级张量训练（TT）因子分解对每个递归单元内的单独权重矩阵进行联合编码。这种方法代表了一种新的权重共享形式，它将模型大小降低了几个数量级，同时与标准RNN相比仍然保持类似或更好的性能。在图像分类和说话人确认任务上的实验证明了减少推理时间和稳定模型训练和超参数选择的进一步好处。
2021-11-10 cs.LG stat.ML
Revising the Structure of Recurrent Neural Networks to Eliminate Numerical Derivatives in Forming Physics Informed Loss Terms with Respect to Time
Sharif University of Technology（谢里夫理工大学）
本研究提出互区间循环神经网络MI-RNN，通过修改传统RNN结构、重叠时间区间并引入条件隐藏状态与遗忘因子，用反向传播替代数值导数计算时间相关物理信息损失，在三类PDE基准问题上精度显著优于现有RNN模型。
2024-09-16 cs.LG
Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum
University of Washington（华盛顿大学）
本文提出基于 Lyapunov 谱距离的 LSH 框架，在无需完整训练的情况下早期预测剪枝 RNN 性能，并高效找到超过稠密模型准确率的剪枝变体。
2025-06-09 cs.LG
The Wavefunction of Continuous-Time Recurrent Neural Networks
York University（约克大学）
本文探讨了连续时间递归神经网络（CTRNN）量子波函数的可能性。我们首先从一个描述连续时间递归神经网络经典动力学的二维动力学系统开始，然后推导出一个哈密顿量。在此之后，我们使用Weyl量化在Hilbert空间$\mathbb{H} = L^2(\mathbb{R})$上量化该哈密顿量。然后，我们解决了薛定谔方程，给我们的波函数在库默尔的合流超几何函数对应的神经网络结构。在无穷远处应用空间边界条件时，我们能够导出对神经网络的权重和超参数的条件/限制，这可能会对找到所述神经网络的最佳权重的性质提供见解。
2021-02-13 cs.LG math-ph math.DS
New non-Euclidean neural quantum states from hyperbolic Lorentz recurrent architectures
本文扩展了非欧几里得神经量子态，引入了双曲递归神经网络和洛伦兹递归神经网络，展示了其在量子多体系统中的优越性能。
2026-08-04 cond-mat.dis-nn cs.LG quant-ph
Dynamic learning rate using Mutual Information
IBM Research - India（IBM印度研究院）
本文演示了使用互信息（MI）进行深度神经网络训练的动态超参数设置。本文研究的具体超参数是学习率。利用输出层与真实结果之间的互信息，通过训练周期动态地设置网络的学习率，并将该思想扩展到逐层设置学习率。证明了两种方法-跟踪互信息的相对变化，另外跟踪其相对于参考测量的值。本文并不试图推荐一个具体的学习率政策。实验表明，互信息可以有效地用于动态设置学习率，并在竞争更好的时间内实现竞争更好的结果。
2018-06-26 cs.AI cs.LG cs.NE
Constructing Gradient Controllable Recurrent Neural Networks Using Hamiltonian Dynamics
循环神经网络（RNN）在解决序列学习问题方面获得了极大的关注。然而，由于隐藏状态梯度消失或爆炸的问题，长期依赖关系的学习仍然具有挑战性。通过进一步探索RNN和动力系统之间最近建立的联系，我们提出了一种新的RNN架构，我们称之为Hamilton递归神经网络（Hamilton RNN），基于适当选择的Hamilton系统的辛离散化。这种方法的主要好处是，相应的RNN继承了Hamilton系统的有利的长时间特性，这反过来又允许我们使用Hamilton RNN架构的超参数来控制隐藏状态梯度。这使我们能够处理具有任意序列长度的序列学习问题，因为对于这个超参数的值的范围，梯度既不消失也不爆炸。此外，我们提供了一个启发式的超参数的最佳选择，我们在我们的数值模拟中使用，以说明汉密尔顿RNN能够优于其他国家的最先进的RNN，而不需要计算密集型超参数优化。
2020-03-16 cs.LG cs.NA math.NA
Complex Unitary Recurrent Neural Networks using Scaled Cayley Transform
University of Kentucky（肯塔基大学）
循环神经网络（RNN）已成功地用于广泛的序列数据问题。使用RNN的一个众所周知的困难是\textit{vanishing or exploding gradient}问题。最近，有几种不同的RNN架构试图通过维护正交或酉递归权重矩阵来缓解这个问题。一种这样的架构是缩放凯莱正交递归神经网络（scoRNN），其通过缩放凯莱变换来参数化正交递归权重矩阵。该参数化包含一个对角缩放矩阵，该矩阵由不能通过梯度下降优化的正或负1项组成。因此，缩放矩阵在训练之前是固定的，并且引入超参数来为每个特定任务调整矩阵。在本文中，我们开发了一种基于复尺度凯莱变换的酉RNN架构。与实正交情况不同，该变换使用由复数单位圆上的条目组成的对角缩放矩阵，该矩阵可以使用梯度下降进行优化，并且不再需要调整超参数。我们还分析了我们工作中使用的modReLU activity函数和其他几个酉RNN的潜在问题。在进行的实验中，缩放凯莱酉递归神经网络（scuRNN）实现了与scoRNN和其他酉RNN相当或更好的结果，而无需固定缩放矩阵。
2019-02-25 cs.LG stat.ML
Hyperbolic recurrent neural network as the first type of non-Euclidean neural quantum state ansatz
本研究提出双曲GRU作为第一种非欧几里得神经量子态近似式，用于量子多体系统基态能量的变分蒙特卡洛方法，展示了其在分层相互作用结构中的优越性能。
2026-02-25 cond-mat.dis-nn cs.LG physics.comp-ph
A Prospective Approach for Human-to-Human Interaction Recognition from Wi-Fi Channel Data using Attention Bidirectional Gated Recurrent Neural Network with GUI Application Implementation
Islamic University of Technology（伊斯兰技术大学）；University of Toronto（多伦多大学）；Khulna University of Engineering and Technology（库尔纳工程技术大学）
本研究提出基于Wi-Fi信道状态信息与Attention-BiGRU模型的人对人并发交互识别方法，实现13种交互分类，最高准确率94%，并开发了GUI应用。
2023-05-09 cs.AI cs.LG eess.SP
Quaternion-Valued Recurrent Projection Neural Networks on Unit Quaternions
University of Campinas（坎皮纳斯大学）
超复值神经网络，包括四元数值神经网络，可以将多维数据视为单个实体。本文提出了四元数递归投影神经网络（QRPNNs）。简而言之，QRPNN是通过将非局部投影学习与四元数值递归相关神经网络（QRCNN）相结合来获得的。我们表明，QRPNN克服了QRCNN的串扰问题。因此，它们适合于实现联想记忆。此外，计算实验表明，QRPNN表现出更大的存储容量和噪声容忍度比相应的QRCNN。
2020-01-30 cs.LG cs.NE stat.ML
Intrinsic Mutual Information as a Modulator for Preference Optimization
Sun Yat-sen University（中山大学）；University of Warwick（华威大学）；Macao Polytechnic University（澳门理工学院）
本文提出RMiPO框架，利用内在响应级互信息进行偏好优化，通过超参数调节动态解耦偏好贡献，减少训练开销，提升性能。
2026-04-27 cs.CL cs.LG
Pouring Dynamics Estimation Using Gated Recurrent Units
在人类的日常生活中，最常进行的操作之一是倾倒。影响靶精度的因素很多，包括浇注速度、旋转角度、源的几何形状和接收容器。本文提出了一种方法，以增加重复性和准确性的机器人机械手通过估计的水的量的变化，一系列的浇注行动，使用多层的深度递归神经网络，特别是门控递归单元（GRU）的浇注杯。所提出的GRU模型实现了低至1 e-4（lbf）的权重f（t）的预测值的验证均方误差。本文包含了一个全面的评估和分析的众多实验与各种设计的递归神经网络和超参数微调。
2021-05-08 cs.LG cs.RO
Identifying Information-Transfer Nodes in a Recurrent Neural Network Reveals Dynamic Representations
Arend Hintze, Asadullah Najam, Jory Schossau（独立研究者）
本研究提出一种基于信息论的方法识别RNN中的信息中继节点，在多种RNN架构及分类任务中验证了其有效性，并通过节点敲除实验明确节点功能，为可解释AI及RNN设计优化提供支撑。
2025-09-29 cs.AI cs.LG
The Statistical Recurrent Unit
Carnegie Mellon University（卡内基梅隆大学）
复杂的门控递归神经网络架构（如LSTM和GRU）已被证明在无数应用中非常有效。我们开发了一个非门控单元，统计循环单元（SRU），它能够通过只保持统计数据的移动平均值来学习数据中的长期依赖关系。SRU的架构简单，无门控，并且包含与LSTM相当数量的参数;然而，SRU的性能优于更复杂的LSTM和GRU替代品，通常在各种任务中优于其中一个或两者。我们通过在贝叶斯优化方案中针对合成任务和现实任务优化各自架构的超参数，以无偏的方式展示了SRU与LSTM和GRU相比的功效。
2017-03-01 cs.AI cs.LG stat.ML
One model Packs Thousands of Items with Recurrent Conditional Query Learning
Guangzhou University（广州大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）
近年来的研究表明，神经组合优化（NCO）在布线等组合优化问题上具有传统算法无法比拟的优势，但在涉及相互制约的动作空间的装箱等复杂优化问题上，NCO的效率较低。在本文中，我们提出了一个递归条件查询学习（RCQL）方法来解决二维和三维包装问题。我们首先通过一个循环编码器嵌入状态，然后采用注意力从以前的行动的条件查询。条件查询机制填补了学习步骤之间的信息间隙，将问题塑造为马尔可夫决策过程。受益于递归，一个单一的RCQL模型是能够处理不同大小的包装问题。实验结果表明，RCQL可以有效地学习离线和在线的带包装问题（SPP）的强算法，在空间利用率上优于宽范围的基线。与最先进的方法相比，RCQL在离线2D 40盒病例中将平均箱间隙比降低了1.83%，在3D病例中降低了7.84%。同时，我们的方法也实现了5.64%的空间利用率高出1000个项目的SPP比最先进的。
2021-11-12 cs.AI cs.LG cs.NE
A comparative study of transformer models and recurrent neural networks for path-dependent composite materials
Department of Physics, University of Gothenburg（物理系，哥德堡大学）
本研究比较了变压器模型与循环神经网络在路径依赖复合材料建模中的性能，发现RNN在小数据集和外推任务中表现更优，而变压器模型在推理速度上更快。
2026-02-17 cond-mat.mtrl-sci cs.LG physics.comp-ph
Recurrent Neural Networks with Stochastic Layers for Acoustic Novelty Detection
IMT Atlantique（大西洋国立高等工业技术与矿业学校）；Dalhousie University（达尔豪斯大学）；Polish Academy of Sciences（波兰科学院）
在本文中，我们适应递归神经网络与随机层，这是国家的最先进的生成文本，音乐和语音，声学新奇检测的问题。通过将不确定性集成到隐藏状态中，这种类型的网络能够学习复杂序列的分布。因为学习的分布可以用概率来显式计算，所以我们可以评估观察结果的可能性，然后将低概率事件检测为新事件。该模型是鲁棒的，高度无监督的，端到端的，需要最少的预处理，特征工程或超参数调整。在基准数据集上的实验表明，我们的模型优于最先进的声学新奇检测器。
2019-02-13 cs.LG cs.SD eess.AS
Recurrent Neural Networks with more flexible memory: better predictions than rough volatility
本文提出在输出各维度引入多个灵活时间尺度的扩展型LSTM，以捕捉长记忆与多尺度过程，并在资产波动率预测中实现更快、更稳定训练及较粗糙波动率约20%的性能提升。
2023-08-04 cs.LG q-fin.ST
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks
Michigan State University（密歇根州立大学）
LSTM或长短期记忆网络是一种特定类型的递归神经网络（RNN），在处理长序列数据和学习长期依赖关系方面非常有效。在这项工作中，我们执行情感分析的GOP辩论Twitter数据集。为了加快训练速度并降低计算成本和时间，提出了六种不同的参数缩减的LSTM模型（Slim LSTM）。我们在数据集上评估了其中两个模型。比较了这两个LSTM模型与标准LSTM模型的性能。还研究了双向LSTM层的效果。除了为不同的LSTM模型建立最佳的超参数集之外，这项工作还包括选择最佳架构的研究。
2020-05-08 cs.CL cs.LG stat.ML
Lyapunov-Guided Representation of Recurrent Neural Network Performance
University of Washington（华盛顿大学）
本研究将RNN视为动力系统，利用Lyapunov谱分析结合自编码器（AeLLE）关联超参数与准确性，实现训练早期预测最终精度，为RNN架构变体提供新解释方法。
2023-12-27 cs.LG math.DS nlin.CD
Recurrent Model-Free RL Can Be a Strong Baseline for Many POMDPs
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）
强化学习中的许多问题，如元强化学习、鲁棒强化学习、强化学习中的泛化、时态信用分配等，都可以转化为POMDPs。从理论上讲，简单地用基于内存的架构（如递归神经网络）来增强无模型RL，为解决所有类型的POMDP提供了一种通用方法。然而，先前的工作已经发现，这种经常性的无模型RL方法往往比为特定类型的POMDPs设计的更专业的算法表现更差。本文重新审视这一主张。我们发现，仔细的架构和超参数的决定往往可以产生一个经常性的无模型实现，表现相当（偶尔大大优于）更复杂的最近的技术。我们比较了21个环境，从6个以前的专门方法，发现我们的实现实现更大的样本效率和渐近性能比这些方法在18/21环境。我们还发布了一个简单而高效的循环无模型RL实现，以供将来的工作用作POMDPs的基线。
2022-06-05 cs.AI cs.LG cs.RO
Probabilistic Rollouts for Learning Curve Extrapolation Across Hyperparameter Settings
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们提出了概率模型，可以基于具有可变长度学习曲线的训练数据外推迭代机器学习算法的学习曲线，例如用于训练深度网络的随机梯度下降。我们研究这个框架的基础上随机森林和贝叶斯循环神经网络的实例。我们的实验表明，当外推使用不同超参数设置训练的神经网络的性能时，这些模型比来自超参数优化文献的最新模型产生更好的预测。
2019-10-10 cs.LG stat.ML
Improving the Gating Mechanism of Recurrent Neural Networks
Stanford University（斯坦福大学）；DeepMind（深度思维）
门控机制广泛用于神经网络模型中，它们允许梯度更容易地通过深度或时间反向传播。然而，它们的饱和特性引入了其自身的问题。例如，在递归模型中，这些门需要具有接近1的输出以在长时间延迟上传播信息，这要求它们在其饱和状态下操作并阻碍门机制的基于梯度的学习。我们通过对标准门控机制进行两种协同修改来解决这个问题，这些修改易于实现，不引入额外的超参数，并且在门接近饱和时提高门的可学习性。我们展示了这些变化是如何与最近提出的替代门控机制，如计时初始化和有序神经元，并改善。从经验上讲，我们简单的门控机制在一系列应用中稳健地提高了递归模型的性能，包括合成记忆任务，顺序图像分类，语言建模和强化学习，特别是当涉及长期依赖关系时。
2020-06-18 cs.LG cs.NE
Dynamic Scheduling for Stochastic Edge-Cloud Computing Environments using A3C learning and Residual Recurrent Neural Networks
The University of Melbourne（墨尔本大学）；Indian Institute of Technology, Delhi（印度理工学院德里分校）
基于物联网（IoT）的应用程序的普遍采用导致了雾计算范式的出现，该范式允许无缝地利用移动边缘和云资源。由于受限的资源能力、物联网中的移动性因素、资源异构性、网络层次结构和随机行为，在这样的环境中有效调度应用任务是具有挑战性的。现有的基于数学和强化学习的方法缺乏泛化能力和快速适应性，因此不能最佳地解决这个问题。它们也无法利用时间工作负载模式，仅适用于集中式设置。然而，A3C学习可以快速适应数据较少的动态场景，R2N2可以快速更新模型参数。因此，我们提出了一个基于A3C的随机边缘云环境的实时调度器，允许分散学习，同时跨多个代理。我们使用R2N2架构来捕获大量的主机和任务参数以及时间模式，以提供高效的调度决策。该模型具有自适应性，能够根据应用需求调整不同的超参数。我们解释我们的超参数的选择，通过敏感性分析。在真实数据集上进行的实验表明，与现有算法相比，该算法在能耗、响应时间、服务水平一致性和运行成本方面分别有14.4%、7.74%、31.9%和4.64%的显著改善.
2020-09-01 cs.DC cs.LG
Linked Recurrent Neural Networks
Michigan State University（密歇根州立大学）
循环神经网络（RNN）已被证明是有效的建模序列数据，它们已被应用于提高各种任务，如文档分类，语音识别和机器翻译。大多数现有的RNN模型都是针对假设为独立同分布（i.i.d）的序列设计的。然而，在许多现实世界的应用中，序列是自然链接的。例如，网络文档通过超链接连接;基因相互作用。一方面，连接的序列本质上不是i.i.d.，这对现有的RNN模型提出了巨大的挑战。另一方面，链接序列除了序列信息之外还提供了链接信息，这为构建高级RNN模型提供了前所未有的机会。本文研究了关联序列的RNN问题。特别是，我们介绍了一种原则性的方法来捕获链接信息，并提出了一个链接的递归神经网络（LinkedRNN），它连贯地建模序列和链接信息。我们在多个领域的真实数据集上进行了实验，实验结果验证了该框架的有效性。
2018-08-19 cs.CL cs.LG stat.ML
Recurrent neural network based decision support system
Fundamental Science on Nuclear Safety and Simulation Technology, Harbin Engineering University（哈尔滨工程大学核安全与仿真技术国防重点学科实验室）
复杂装置中的决策支持系统（DSS）通过主动显示系统状态、记录事件、发生时间并建议相关措施，在异常瞬变和过程扰动期间协助操作员做出决策方面发挥着至关重要的作用。复杂系统的复杂性和动态性要求仔细选择合适的神经网络结构，以提高诊断精度。在这项工作中，我们提出了一种技术来开发一个故障诊断决策支持使用循环神经网络和主成分分析（PCA）。在预诊断阶段采用PCA方法进行噪声过滤，并以某加压核反应堆的模拟数据为例，评价径向基递归网络的预测能力。使用来自不同故障场景的数据对该过程进行了验证，并将故障特征用作输入。所需的预测输出是故障的位置和大小。结果表明，径向基网络给出了准确的预测。本文还介绍了选定的超参数和诊断结果。
2019-10-05 cs.LG cs.NE cs.SY
