Neural Networks with Recurrent Generative Feedback
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）；Rice University（莱斯大学）
神经网络易受输入扰动的影响，如加性噪声和对抗攻击。相比之下，人类的感知对这种扰动的鲁棒性要强得多。贝叶斯大脑假说指出，人类大脑使用内部生成模型来更新感官输入的后验信念。这种机制可以解释为内部生成模型的最大后验概率（MAP）估计与外部环境之间的自一致性。受这一假设的启发，我们通过引入生成循环反馈来增强神经网络的自一致性。我们在卷积神经网络（CNN）上实例化这种设计。所提出的框架，被称为卷积神经网络与反馈（CNN-F），引入了一个生成反馈与潜在变量现有的CNN架构，其中一致的预测是通过交替MAP推理贝叶斯框架下。在实验中，CNN-F在标准基准测试中显示出比传统前馈CNN显著提高的对抗鲁棒性。
2020-11-10 cs.CV cs.LG cs.NE
BARNN: A Bayesian Autoregressive and Recurrent Neural Network
sissa（国际先进研究学院）；uva（阿姆斯特丹大学）
本文提出BARNN，一种基于变分dropout和时间版VAMP先验的贝叶斯自回归与循环神经网络，可将任意自回归或循环模型转化为贝叶斯版本，并在PDE建模与分子生成中展现出优越的精度与不确定性量化能力。
2025-07-18 cs.AI cs.LG
Verification of Recurrent Neural Networks Through Rule Extraction
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
神经网络的验证问题是验证一个神经网络是否会受到对抗性样本的影响，或者近似可以忍受的最大允许对抗性扰动规模。虽然大多数以前的工作有助于验证前馈网络，很少有探索验证经常性网络。这是由于存在一个更严格的约束的扰动空间的顺序数据，并缺乏一个适当的度量测量的扰动。在这项工作中，我们通过提出一个度量标准来解决这些挑战，该度量标准测量字符串之间的距离，并使用确定性有限自动机（DFA）来表示一个严格的oracle，该oracle检查生成的对抗样本是否违反了对扰动的某些约束。更具体地说，我们的经验表明，某些经常性的网络允许相对稳定的DFA提取。因此，从这些递归网络中提取的DFA可以作为地面真实DFA未知时的代理预言。我们将我们的验证机制应用到几个广泛使用的递归网络上的一组富田文法。结果表明，只有少数模型对对抗性样本保持稳健。此外，我们表明，对于不同复杂程度的语法，这些语法的鲁棒学习的难度也有差异。
2018-11-14 cs.LG stat.ML
Robust Unscented Kalman Filtering via Recurrent Meta-Adaptation of Sigma-Point Weights
Institute of Aeronautics and Applied Mechanics（航空与应用力学研究所）；Warsaw University of Technology（华沙理工大学）
MA-UKF通过递归元适应的sigma点权重提升滤波器鲁棒性，有效应对非高斯噪声和分布外动态
2026-03-04 cs.LG eess.SP
RNN-Guard: Certified Robustness Against Multi-frame Attacks for Recurrent Neural Networks
Shandong University（山东大学）；Penn State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）；Binjiang Institute of Zhejiang University（浙江大学滨江研究院）
本文提出首个针对 RNN 多帧攻击的可认证防御方法 RNN-Guard，通过引入更精确的抽象域 InterZono 解决扰动所有帧策略的精度问题，并扩展为可认证训练方法，显著提升模型的可认证鲁棒准确率。
2023-04-17 cs.CR cs.LG
DART: Distributional Adversarial Recurrent Training for Algorithm Learning
FPT IS AI R&D Center（FPT信息系统人工智能研发中心）；VNU – University of Engineering and Technology（越南国立大学工程技术大学）
DART提出用局部目标分布替代单点监督，通过对抗训练提升循环推理模型在算法学习中的解质量、稳定性和鲁棒性，在迷宫、国际象棋和数独任务上验证有效。
2026-09-09 cs.AI cs.LG
HiPPO: Recurrent Memory with Optimal Polynomial Projections
Stanford University（斯坦福大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
从顺序数据中学习的一个核心问题是随着更多数据的处理，以增量的方式表示累积的历史。我们介绍了一个通用的框架（HiPPO）的连续信号和离散时间序列的投影到多项式基地的在线压缩。给定指定过去每个时间步的重要性的度量，HiPPO为自然在线函数近似问题产生最优解。作为特殊情况下，我们的框架产生了一个简短的推导最近的勒让德记忆单元（LMU）的第一性原则，并概括了无处不在的门控机制的递归神经网络，如GRU。这个正式的框架产生了一个新的内存更新机制（HiPPO-LegS），通过时间来记住所有的历史，避免时间尺度上的先验。HiPPO-LegS具有时间尺度鲁棒性、快速更新和有界梯度的理论优势。通过将记忆动态纳入递归神经网络，HiPPO RNN可以凭经验捕获复杂的时间依赖性。在基准排列的MNIST数据集上，HiPPO-LegS将最新的准确率设定为98.3%。最后，在一个新的轨迹分类任务中，测试了对分布外时间尺度和缺失数据的鲁棒性，HiPPO-LegS的准确率超过了RNN和神经ODE基线的25-40%。
2020-10-23 cs.LG stat.ML
full-FORCE: A Target-Based Method for Training Recurrent Networks
Department of Neuroscience（神经科学系）；Zuckerman Institute（Zuckerman研究所）；Columbia University（哥伦比亚大学）；Department of Physiology and Cellular Biophysics（生理学与细胞生物物理学系）；Columbia University College of Physicians and Surgeons（哥伦比亚大学医学与外科学院）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Lewis-Sigler Institute for Integrative Genomics（整合基因组学研究所）
本文提出一种基于目标的循环网络训练方法，通过引入第二网络提供目标动态，实现更高效的任务处理，具有更少的神经元和更高的噪声鲁棒性。
2017-10-09 cs.LG cs.NE q-bio.NC
Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training
Drexel University（德雷塞尔大学）
反馈驱动的递归脉冲神经网络（RSNN）是一种能够模拟动态系统的强大计算模型。然而，从读出到递归层的反馈回路的存在使学习机制不稳定并防止其收敛。在这里，我们提出了一个有监督的RSNN训练过程，其中第二个网络只在训练过程中引入，以提供目标动态的提示。所提出的训练过程包括为递归层和读出层生成目标（即，完整的RSNN系统）。它使用基于递归最小二乘的一阶和减少控制误差（FORCE）算法来适应每一层的活动。所提出的全FORCE训练过程减少了保持输出和目标之间的误差接近于零所需的修改量。这些修改控制反馈回路，从而使训练收敛。我们证明了改进的性能和噪声鲁棒性的建议全力训练过程模型8动态系统使用RSNNs与泄漏集成和消防（LIF）神经元和速率编码。对于能量高效的硬件实现，针对全FORCE训练过程实现替代的第一尖峰时间（TTFS）编码。与速率编码相比，采用TTFS编码的全FORCE生成的尖峰更少，有助于更快地收敛到目标动态。
2022-05-26 cs.AI cs.LG cs.NE
Estimating Forces of Robotic Pouring Using a LSTM RNN
在机器学习中，机器人能够从输入数据序列中估计动态是非常重要的。这个问题可以用递归神经网络来解决。在本文中，我们将讨论数据集的10个状态的预处理，然后使用LSTM递归神经网络从其他9个输入状态中估计一个输出状态（动态）。我们将讨论递归神经网络的体系结构、数据汇集和预处理、损失函数、测试数据的结果，并讨论可以改进网络的更改。本文的结果将用于人工智能研究，并确定LSTM递归神经网络架构估计系统动态的能力。
2019-05-02 cs.LG cs.RO
Robustness Analysis of Classification Using Recurrent Neural Networks with Perturbed Sequential Input
Lehigh University（理海大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
对于一个给定的稳定的递归神经网络（RNN），训练使用顺序输入执行分类任务，我们量化显式的鲁棒性边界作为可训练的权重矩阵的函数。顺序输入可以以各种方式被扰动，例如，流图像可能由于机器人运动或不完美的相机镜头而变形。使用稳定RNN的沃罗诺伊图和Lipschitz性质的概念，我们提供了一个彻底的分析和表征最大允许扰动，同时保证分类任务的完全准确性。我们说明和验证我们的理论结果使用地图数据集与云以及MNIST数据集。
2022-03-10 cs.LG
A Representation-Consistent Gated Recurrent Framework for Robust Medical Time-Series Classification
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出了一种表示一致门控循环框架，通过引入正则化策略提升医学时间序列分类的鲁棒性和泛化能力。
2026-02-10 cs.LG
Recurrent Feedback Improves Feedforward Representations in Deep Neural Networks
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
灵长类动物视觉皮层中丰富的水平和反馈联系被认为在知觉推理过程中将全局和语义上下文信息带到早期视觉区域，帮助解决局部歧义和填补缺失细节方面发挥重要作用。在这项研究中，我们发现，将反馈回路和水平递归连接引入深度卷积神经网络（VGG 16）可以使网络在推理过程中对噪声和遮挡变得更加鲁棒，即使在初始前馈过程中也是如此。这表明，循环反馈和上下文调制以一种有意义和有趣的方式改变了网络的前馈表示。我们研究了网络中神经元的群体代码，在反馈学习之前和之后，发现反馈学习增加了前馈路径中神经元群体代码中不同对象类之间的可分辨性（由d-素数测量），即使在最早的一层接收反馈。我们发现，通过向种群活动注入自上而下的语义意义，经常性反馈有助于网络学习更好的前馈路径，以将噪声图像补丁鲁棒地映射到与每个对象类的重要视觉概念相对应的潜在表示，从而提高网络对噪声和遮挡的鲁棒性，以及更好的细粒度识别。
2019-12-22 cs.LG q-bio.NC
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan（台湾国家科学与技术委员会）
提出抽象精化框架，通过分割预激活区间消除非线性松弛误差，并利用SHAP引导的时间步选择策略降低组合成本，显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
Medi-Care AI: Predicting Medications From Billing Codes via Robust Recurrent Neural Networks
Zhengzhou University（郑州大学）；Hefei University of Technology（合肥工业大学）；Dalian Neusoft University of Information（大连东软信息学院）
在本文中，我们提出了一个基于鲁棒循环神经网络（RNN）的有效深度预测框架，以预测患者正在服用的药物的可能治疗类别，给定其记录中的诊断计费代码序列。由于未定义的错误和遗漏，准确捕获给定患者当前服用的药物列表极具挑战性。我们提出了一个通用的强大的框架，明确地模拟可能的污染，通过超时衰减机制的输入计费代码和噪声注入到经常性的隐藏状态，分别。通过这样做，计费代码被重新公式化为每个医疗变量上具有衰减率的时间模式，并且RNN的隐藏状态通过随机噪声进行正则化，这些随机噪声作为丢弃，以提高RNN对缺失值和多个错误方面的数据变化的鲁棒性。所提出的方法进行了广泛的评估，真实的医疗保健数据，以证明其有效性，建议从污染值的药物订单。
2019-11-14 cs.LG stat.ML
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
我们探索了一种神经网络架构，该架构堆叠了一个递归层和一个前馈层，该前馈层也连接到输入，并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时，这些神经元被迫进入二进制激活状态，这使得网络表现得更像有限自动机。所得到的模型更简单，更易于解释，对不同的样本问题，包括正则语言的识别，不同基的加法计算和算术表达式的生成，都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
Input Convex Lipschitz Recurrent Neural Networks for Robust and Efficient Process Modeling and Optimization
本文提出输入凸利普希茨递归神经网络，结合凸性和利普希茨连续性提升计算效率和鲁棒性，应用于流程建模与优化。
2026-03-15 cs.CE cs.LG cs.SY
A Robust In-Context Model for Conservation Laws: Injecting Context into Flux Neural Operators via Recurrent Vision Transformers
Center for AI and Natural Sciences（人工智能与自然科学中心）；Korea Institute for Advanced Study（韩国高级研究院）
本文提出一种结合循环视觉变换器的流神经算子架构，通过超网络提取解动态并生成上下文条件神经算子参数，实现无需显式访问守恒定律或PDE系数即可求解守恒定律。
2026-08-21 cs.LG
Robust Robotic Control from Pixels using Contrastive Recurrent State-Space Models
Apple（苹果公司）
对世界进行建模可以通过提供丰富的训练信号来塑造智能体的潜在状态空间，从而有利于机器人学习。然而，学习世界模型在无约束的环境中的高维观察空间，如图像是具有挑战性的。困难的一个来源是存在不相关但难以建模的背景干扰，以及任务相关实体的不重要视觉细节。我们通过学习一个经常性的潜在动力学模型来解决这个问题，该模型对比预测下一个观察结果。这个简单的模型导致了令人惊讶的鲁棒机器人控制，即使同时相机，背景和颜色分心。我们优于替代品，如互模拟的方法，施加状态相似性的措施，来自分歧，在未来的奖励或未来的最佳行动。我们在分心控制套件上获得了最先进的结果，这是基于像素的机器人控制的一个具有挑战性的基准。
2021-12-02 cs.AI cs.LG cs.RO
A Convex Parameterization of Robust Recurrent Neural Networks
Australian Centre for Field Robotics（澳大利亚野外机器人中心）；The University of Sydney（悉尼大学）
循环神经网络（RNN）是一类非线性动态系统，常用于序列到序列映射的建模。RNN具有出色的表达能力，但缺乏许多应用所需的稳定性或鲁棒性保证。在本文中，我们制定了具有稳定性和鲁棒性保证的RNN凸集。使用增量二次约束导出保证，并且可以确保所有解的全局指数稳定性，以及增量$ \ell_2 $增益（学习序列到序列映射的Lipschitz常数）的界限。使用隐式模型结构，我们构造了一个参数化的RNN，它在模型参数和稳定性证书中是联合凸的。我们证明了这个模型结构包括所有以前提出的稳定RNN的凸集作为特殊情况，也包括所有稳定的线性动力系统。我们说明了在非线性系统辨识的背景下，所提出的模型类的效用。
2020-10-03 cs.LG cs.SY eess.SY
Robust Recurrent Reinforcement Learning under Evolving Hidden Disturbances with Application to Rover Wheel Slip
The School of Aerospace, Transport and Manufacturing（航空航天、运输与制造学院）
本文提出三种新型算法，通过在LSTM网络中整合动作轨迹信息，提升部分可观测马尔可夫决策过程中的强化学习效率与性能。
2026-09-16 cs.LG
Lipschitz-Based Robustness Certification for Recurrent Neural Networks via Convex Relaxation
本文提出RNN-SDP方法，通过凸松弛和半定规划认证循环神经网络的Lipschitz上界，并在多水箱系统上验证其能给出紧致且可认证的鲁棒性界。
2025-09-22 cs.LG cs.SY eess.SY
A Population-Level Analysis of Neural Dynamics in Robust Legged Robots
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究利用计算神经科学方法分析鲁棒足式机器人运动控制器的群体水平神经动力学，发现脆弱控制器因更多不稳定不动点导致平衡较差，且行走时循环状态呈低维结构化特征，对感觉输入依赖更强。
2023-06-27 cs.AI cs.LG cs.NE
Recurrent Collective Classification
Virginia Tech（弗吉尼亚理工大学）
我们提出了一种新的方法来训练迭代集体分类器标记网络数据中的节点。迭代分类算法（ICA）是一种将关系信息纳入分类的规范方法。然而，现有的ICA模型训练方法依赖于关系特征反映节点真实标签的假设。这种不切实际的假设引入了与实际预测算法不一致的偏差。在本文中，我们介绍了经常性的集体分类（RCC），ICA的一个变种类似于经常性的神经网络预测。RCC适应任何可微的局部分类器和关系特征函数。我们提供了基于梯度的策略来优化模型参数，以更直接地最小化损失函数。在我们的实验中，这种直接损失最小化转化为实际网络数据的准确性和鲁棒性的提高。我们证明了鲁棒性RCC的设置，当地的分类是非常嘈杂的，设置ICA是特别具有挑战性的。
2017-03-19 cs.LG
Recurrent neural network-based robust control systems with regional properties and application to MPC design
Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano（电子、信息与生物工程系，米兰理工大学）；Istituto di Sistemi e Tecnologie Industriali Intelligenti per il Manifatturiero Avanzato, Consiglio Nazionale delle Ricerche（先进智能制造工业系统与技术研究所，国家研究院）
本文提出利用线性矩阵不等式设计递归神经网络系统的输出反馈方案，通过区域递增输入到状态稳定性实现恒定设定点跟踪，增强系统鲁棒性，并通过非线性MPC方法扩展吸引区域。
2026-03-25 cs.LG cs.SY eess.SY
Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation
Flatiron Institute（弗莱德哈钦森研究所）；Harvard University（哈佛大学）；New York University School of Medicine（纽约大学医学院）
本研究对比介导递归通信的中间神经元网络与直接递归连接网络，发现前者对初始化更鲁棒、收敛更快，揭示了中间神经元在快速统计适应中的计算作用，为递归网络的隐式加速提供了类比。
2023-08-24 cs.LG cs.NE q-bio.NC
Recurrent Equilibrium Networks: Flexible Dynamic Models with Guaranteed Stability and Robustness
Australian Centre for Robotics（澳大利亚机器人中心）；The University of Sydney（悉尼大学）
提出循环平衡网络（RENs），通过无约束参数化内置收缩稳定性、IQC、Lipschitz 与增量无源性保证，并在系统辨识、观测器和控制中验证其灵活建模能力。
2023-07-12 cs.LG cs.SY eess.SY
Crafting Adversarial Input Sequences for Recurrent Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；United States Army Research Laboratory（美国陆军研究实验室）
机器学习模型经常用于解决复杂的安全问题，以及在敏感情况下做出决策，如引导自动驾驶汽车或预测金融市场行为。以前的努力已经表明，许多机器学习模型容易受到以对抗性样本形式对其输入进行对抗性操作的影响。通过将仔细选择的扰动添加到合法输入来制作这样的输入，以便迫使机器学习模型行为不端，例如，如果感兴趣的机器学习任务是分类，则通过输出错误的类。事实上，据我们所知，之前所有关于为神经网络制作对抗样本的工作都考虑了用于解决分类任务的模型，最常见的是在计算机视觉应用中。在本文中，我们有助于对抗机器学习领域的调查对抗输入序列的循环神经网络处理序列数据。我们表明，类的算法，前面介绍的工艺对抗样本误分类的前馈神经网络可以适应循环神经网络。在一个实验中，我们证明了对手可以制作对抗序列，误导分类和顺序循环神经网络。
2016-04-28 cs.CR cs.LG cs.NE
Extensional Properties of Recurrent Neural Networks
Roosevelt University（罗斯福大学）
该研究提出循环神经网络（RNN）的外延性质概念，证明了RNN版本的Rice定理，指出RNN的任何非平凡外延性质均不可判定，回答了RNN外延性质检测的一般性问题。
2024-10-30 cs.LG cs.NE
Embedding of Low-Dimensional Sensory Dynamics in Recurrent Networks: Implications for the Geometry of Neural Representation
University of Washington School of Medicine（华盛顿大学医学院）；Purdue University Fort Wayne（普渡大学韦恩堡分校）；University of Washington（华盛顿大学）
研究探讨了低维感觉动态如何在循环网络中形成嵌入结构，并揭示了预测性能对表征几何的约束作用。
2026-08-03 cs.LG q-bio.NC
Convolutional-Recurrent Neural Network Proxy for Robust Optimization and Closed-Loop Reservoir Management
Stanford University（斯坦福大学）
在地质不确定性下的生产优化在计算上是昂贵的，因为必须在多个地质实现上评估大量的井控计划。在这项工作中，开发了一种卷积循环神经网络（CNN-RNN）代理模型，用于针对给定的时变井底压力（BHP）计划，针对集合中的每个实现来预测逐井的油和水流量。这种能力使鲁棒优化所需的目标函数和非线性约束值的估计。代理模型代表了最近开发的长短期记忆（LSTM）RNN代理的扩展，该代理旨在预测单个地质模型的井率。这里引入了CNN来处理渗透性实现，这为RNN提供了初始状态。CNN-RNN代理使用300组不同的BHP计划和渗透率实现的模拟结果进行训练。我们通过多个实现的三维多高斯渗透率模型，证明代理精度的油水流动。代理，然后被纳入到一个闭环油藏管理（CLRM）的工作流程，在那里它是用粒子群优化和基于过滤器的非线性约束满足的方法。历史匹配是使用伴随梯度为基础的程序。代理模型显示，在五个不同的（合成）“真”模型的这种设置中表现良好。随着约束满足和不确定性减少CLRM观察到改进的净现值。对于健壮的生产优化步骤，代理提供了O（100）的运行时加速基于模拟的优化。
2022-06-01 cs.LG
Robust and Subject-Independent Driving Manoeuvre Anticipation through Domain-Adversarial Recurrent Neural Networks
Pacmed；Medical Micro Instruments（医疗微仪器公司）；Teoresi Group（Teoresi集团）；Scuola Superiore Sant’Anna（圣安娜高等学校）
通过深度学习和计算机视觉技术，可以提前几秒钟准确预测驾驶操作。尽管使学习模型适应新驾驶员和不同车辆是强大的驾驶员辅助系统的关键，但到目前为止，这个问题几乎没有受到关注。这项工作提出通过领域自适应，一种与迁移学习密切相关的技术来应对这一挑战。提出了将域对抗递归神经网络（DA-RNN）应用于多模态时间序列驱动数据的概念证明，其中通过最大化辅助域分类器的损失来学习域不变特征。我们的实现使用Brain 4Cars数据集的单个驱动程序的leave-one-driver-out方法进行评估，以及使用通过驾驶模拟获得的新数据集，与没有适应相比，性能分别平均提高了30%和114%。我们还展示了微调网络部分以优化域独立特征提取的重要性。结果表明，该方法的适用性，驾驶辅助系统以及培训和仿真环境。
2019-02-26 cs.LG stat.ML
Inferring the dynamics of oscillatory systems using recurrent neural networks
University of Potsdam（波茨坦大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Ambrosys GmbH（Ambrosys有限公司）
我们研究了循环神经网络对振荡系统的预测能力，不仅在吸引子上，而且在其附近。为此，我们考虑受外力扰动的系统。这使我们不仅可以预测系统的时间演化，而且还可以研究其动力学性质，如分叉，动态响应曲线，特征指数等。它表明，它们可以有效地估计，即使在某些区域的状态空间，其中没有输入数据。我们考虑几个不同的振荡的例子，包括自持，兴奋，时滞和混沌系统。此外，通过统计分析，我们评估了两种常见的递归神经网络细胞，即长短期记忆和门控递归单元有效推理所需的训练数据量。
2019-06-30 cs.LG nlin.AO physics.soc-ph
Visual Attention Emerges from Recurrent Sparse Reconstruction
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
视觉注意力有助于在人类视觉中的噪声、腐败和分布偏移下实现稳健的感知，这些都是现代神经网络仍然不足的领域。我们提出了VAR，从递归稀疏重建的视觉注意力，一个新的注意力公式建立在人类视觉注意力机制的两个突出特点：递归和稀疏。相关特征通过神经元之间的循环连接分组在一起，通过稀疏正则化出现突出对象。VARS采用具有周期性连接的吸引子网络，该网络随着时间的推移收敛到稳定的模式。网络层被表示为常微分方程（ODE），将注意力公式化为一个经常性吸引子网络，该网络使用编码底层数据模式的“模板”字典来等效地优化输入的稀疏重建。我们表明，自注意是一个特殊的情况下，VARS的单步优化和稀疏约束。VARS可以很容易地用作流行的视觉Transformer中自注意力的替代品，从而在各种基准测试中不断提高其鲁棒性。代码发布在GitHub（https：//github.com/bfshi/VARS）上。
2022-06-12 cs.CV cs.LG
Learning Sequence Attractors in Recurrent Networks with Hidden Neurons
Peking University（北京大学）；School of Psychological and Cognitive Sciences（心理与认知科学学院）；IDG/McGovern Institute for Brain Research（IDG/麦戈文脑研究所）；Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）
本文研究二值神经元循环网络的序列记忆问题，证明隐藏神经元对存储任意模式序列的必要性，并提出可收敛的局部学习算法以形成序列吸引子，在合成与真实数据集上实现稳健存储和提取。
2024-04-03 cs.AI cs.LG cs.NE
Path classification by stochastic linear recurrent neural networks
RWTH Aachen University（亚琛工业大学）；Jülich Research Centre（于利希研究中心）
本文从统计学习理论视角研究分类生物神经网络，将其建模为连续时间随机线性RNN，证明了其泛化误差界，发现RNN保留路径部分签名作为唯一训练信息，并验证了其易训练性与准确率及鲁棒性的权衡现象。
2022-01-07 cs.IT cs.LG math.IT
Learned Bow Control on a Measured Bowed-String Model: a Revised Minimum-Bow-Force Law, a Recurrent Controller, and the Domain of a Supervision Ceiling
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
本研究提出隐式求解Stribeck摩擦的有限差分弓弦模型，修正最小弓压力定律，并比较多种学习弓控器，发现门控循环网络优于前馈网络，且控制器性能受生成标签的查找规则上限约束。
2026-09-29 cs.LG cs.SD cs.SY
TDAPNet: Prototype Network with Recurrent Top-Down Attention for Robust Object Classification under Partial Occlusion
Johns Hopkins University（约翰斯·霍普金斯大学）；Peking University（北京大学）
尽管深度卷积神经网络在对象分类方面取得了巨大的成功，但由于训练数据和测试数据之间的不一致，它在遮挡下的泛化性能严重下降。由于遮挡物的变化很大，我们的目标是在无遮挡数据上训练模型，同时可推广到遮挡条件。在这项工作中，我们将原型，部分匹配和自上而下的注意力调节集成到深度神经网络中，以实现遮挡下的鲁棒对象分类。我们首先介绍原型学习，因为它的正则化鼓励紧凑的数据集群，这使得在不一致的条件下具有更好的泛化能力。然后，在中间层，基于特征字典和激活尺度的注意图估计部分匹配，过滤掉不相关的信息，当比较特征和原型。此外，受神经科学研究成果的启发，在卷积层中引入自顶向下的反馈注意调节机制，有目的地减少特征提取阶段的遮挡污染。我们在部分遮挡的MNIST和PASCAL 3D+数据集上的实验结果表明，该网络显着提高了当前深度神经网络在遮挡下的鲁棒性。我们的代码将被释放。
2019-11-14 cs.CV cs.LG
Safety and Robustness in Decision Making: Deep Bayesian Recurrent Neural Networks for Somatic Variant Calling in Cancer
Cambridge Cancer Genomics（剑桥癌症基因组学公司）；The University of Cambridge（剑桥大学）
个体肿瘤的基因组图谱在为给定患者创建个性化癌症治疗策略时可以提供大量信息;这种做法被称为精确肿瘤学。这涉及肿瘤样本的下一代测序和随后的基因组畸变（如体细胞突变）鉴定，以提供靶向治疗的潜在候选者。从测序噪声和种系变异背景中识别这些畸变构成了经典的分类式问题。这在以前已经被许多不同的监督机器学习方法所讨论，包括深度学习神经网络。然而，到目前为止，这些神经网络还没有被定制为在突变呼叫中给出任何置信度的指示，这意味着肿瘤学家可能以低概率为真的突变为目标。为了解决这个问题，我们在这里提出了一个用于癌症变异识别的深度递归神经网络，与标准神经网络相比，它的性能没有下降。这种方法通过不同的先验知识实现了更大的灵活性，以避免对单个数据集的过度拟合。我们将把这种方法整合到肿瘤学家的软件中，以获得安全、可靠和统计上有信心的体细胞突变要求，从而进行精确的肿瘤治疗选择。
2019-12-04 cs.LG q-bio.GN stat.ML
R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks
Australian Centre for Robotics（澳大利亚机器人中心）；School of Aerospace, Mechanical and Mechatronic Engineering（航空航天、机械与机电工程学院）；The University of Sydney（悉尼大学）
本文提出鲁棒循环深度网络（R2DN），通过将线性时不变系统与1-Lipschitz深度前馈网络反馈互联，直接参数化权重以保证模型稳定（收缩）且对小输入扰动鲁棒（Lipschitz），相比循环均衡网络（REN）无需迭代求解均衡层，显著提升GPU上的推理和反向传播速度，并在非线性系统辨识、观测器设计和基于学习的反馈控制中实现相近性能下训练和推理速度提升一个数量级。
2026-09-18 cs.LG cs.SY eess.SY
deepTarget: End-to-end Learning Framework for microRNA Target Prediction using Deep Recurrent Neural Networks
Seoul National University（首尔大学）；Korea University（高丽大学）
微小RNA（miRNAs）是核糖核酸的短序列，其通过结合靶信使RNA（mRNA）来控制靶信使RNA（mRNA）的表达。miRNA-mRNA对的稳健预测在破译基因调控中至关重要，但由于高假阳性率而具有挑战性，尽管大量的计算工具通常需要费力的手动特征提取。本文提出了一个端到端的机器学习框架用于miRNA靶标预测。通过基于深度递归神经网络的自动编码和序列-序列交互学习，我们的方法不仅提供了前所未有的准确度，而且消除了手动特征提取的需要。所提出的方法和现有的替代方法之间的性能差距是巨大的（F测量增加了25%以上），deepTarget在稳健的miRNA靶标预测的长期挑战中实现了飞跃。
2016-08-19 cs.LG q-bio.GN
On the dynamics of convolutional recurrent neural networks near their critical point
Rockefeller University（洛克菲勒大学）；University of Oxford（牛津大学）
本文解析研究了临界点附近单层卷积循环网络的动力学，揭示输出经压缩非线性依赖输入、弛豫时间与传播长度呈幂律发散，并给出稳态解及背景值对衰减和传播的影响。
2024-05-22 cond-mat.stat-mech cs.LG q-bio.NC
Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition
University of Southern California（南加州大学）
由于深度卷积神经网络能够减少变化因素，因此在包括语音识别、音频事件检测和计算语言学在内的广泛的语音和音频处理应用中正在积极研究深度卷积神经网络，以从语音中学习。然而，研究已经建议在构建用于语音应用的深度卷积神经网络时偏向于某种类型的卷积运算，尽管使用不同类型的卷积运算已经有了有希望的结果。在这项工作中，我们研究了四种类型的卷积运算在不同的输入功能语音情感识别在嘈杂和干净的条件下，以获得全面的理解。由于情感行为信息已被证明反映了精神状态的时间变化，并且卷积运算在时间上被局部应用，因此所有深度神经网络共享深度递归子网络架构以用于进一步的时间建模。我们提出了详细的定量模块性能分析，以深入了解所提出的架构内的信息流。特别是，我们展示了情感信息和其他无关信息的相互作用，从一个模块到另一个的进展。最后，我们证明了我们所有的深度神经网络在eNTERFACE'05语料库上提供了最先进的性能。
2018-01-13 cs.CL cs.LG cs.MM
Recurrent Neural Operators: Stable Long-Term PDE Prediction
Shanghai Normal University（上海师范大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出循环神经算子（RNOs），通过训练时递归应用自身预测对齐推理动态，将长期PDE预测的误差增长从指数降为线性，并在标准基准上显著提升稳定性与准确性。
2025-05-27 cs.LG cs.NA math.NA
State-Regularized Recurrent Neural Networks
NEC Laboratories Europe（NEC欧洲实验室）
循环神经网络是一类广泛使用的神经网络结构。然而，它们有两个缺点。首先，很难理解他们到底学到了什么。第二，它们在需要长期记忆的序列上往往效果不佳，尽管原则上它们具有这种能力。我们的目标是解决这两个缺点与一类经常性的网络，使用细胞应用程序之间的随机状态转换机制。这种机制，我们称之为状态正则化，使RNN在有限的可学习状态集之间转换。我们评估状态正则化RNN（1）用于自动机提取的正则语言;（2）非正则语言，如平衡括号，回文和需要外部内存的复制任务;（3）用于情感分析，视觉对象识别和语言建模的实词序列学习任务。我们证明了状态正则化（a）简化了对RNN状态转换动力学建模的有限状态自动机的提取;（b）迫使RNN更像具有外部存储器的自动机而不像有限状态机;（c）使RNN具有更好的可解释性和可解释性。
2019-05-07 cs.LG stat.ML
Adaptive recurrent flow map operator learning for reaction diffusion dynamics
DDOL-ART通过适应性递归训练在反应扩散动力学中实现高效稳定的运算符学习，无需PDE残差，且在训练成本上显著优于传统方法。
2026-02-10 cs.LG cs.NA math.NA
Robust Semantic Segmentation in Adverse Weather Conditions by means of Fast Video-Sequence Segmentation
Ulm University（乌尔姆大学）
语义分割等计算机视觉任务在良好的天气条件下表现非常好，但如果天气转坏，它们在这些条件下实现这种性能就有问题了。在恶劣天气条件下获得更稳健和可靠结果的一种可能性是使用视频分割方法而不是常用的单图像分割方法。视频分割方法除了捕获当前图像信息之外还捕获先前视频帧的时间信息，因此，它们对干扰更鲁棒，特别是如果它们仅发生在视频序列的几个帧中。然而，视频分割方法，这往往是基于递归神经网络，不能应用于实时应用程序了，因为他们在网络中的递归结构是计算昂贵的。例如，LSTM-ICNet的推理时间，其中在单一分割方法ICNet中将重复单元放置在适当的位置，与基本ICNet相比增加了61%。因此，在这项工作中，LSTM-ICNet通过修改网络的循环单元来加速，以便它再次具有实时能力。在不同数据集和各种天气条件下的实验表明，通过这些修改，推理时间可以减少约23%，而它们的性能与LSTM-ICNet相似，并且在恶劣天气条件下大大优于单分割方法。
2020-07-01 cs.CV cs.LG eess.IV
Imitation Learning with Recurrent Neural Networks
University of Maryland（马里兰大学）
我们提出了一个新的观点，统一了两个旨在解决序列预测问题的框架：学习搜索（L2S）和循环神经网络（RNN）。我们指出这两个框架的元素之间的等价性。通过补充一个框架与另一个框架相比所缺少的内容，我们引入了一个更先进的模仿学习框架，一方面，它增强了L2S的搜索空间概念，另一方面，增强了RNN训练过程，使其对高度相关示例的训练所产生的复合错误更具鲁棒性。
2016-07-18 cs.CL cs.LG stat.ML
testRNN: Coverage-guided Testing on Recurrent Neural Networks
University of Liverpool（利物浦大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Defence Science and Technology Laboratory (Dstl)（国防科学技术实验室（Dstl））
循环神经网络（RNN）已被广泛应用于诸如文本处理、视频识别和分子性质预测的各种顺序任务。我们介绍了第一个覆盖率引导的测试工具，创造了testRNN，用于验证和验证一个主要类别的RNN，长短期记忆网络（LSTM）。该工具实现了一种通用的基于变异的测试用例生成方法，并使用三种新的LSTM结构测试覆盖度量来经验性地评估网络的鲁棒性。此外，它还能够帮助模型设计者完成LSTM层的内部数据流处理。该工具可通过https://github.com/TrustAI/testRNN在BSD 3-Clause许可证下获得。
2019-06-20 cs.LG cs.NE cs.SE
Explicitly incorporating spatial information to recurrent networks for agriculture
University of Bonn（波恩大学）
在农业中，大多数视觉系统执行静态图像分类。然而，最近的工作突出了空间和时间线索作为丰富的信息源，以提高分类性能的潜力。在本文中，我们提出了新的方法来显式地捕获空间和时间信息，以改善深度卷积神经网络的分类。我们利用可用的RGB-D图像和机器人里程计来执行帧间特征图空间配准。然后将这些信息融合到循环的深度学习模型中，以提高其准确性和鲁棒性。我们证明，这可以大大提高分类性能，我们最好的时空模型（ST-Atte）实现了交叉联合（IoU[%]）的绝对性能改进，作物杂草分割为4.7，水果（甜椒）分割为2.6。此外，我们表明，这些方法是强大的可变帧速率和里程误差，这是经常观察到在现实世界中的应用。
2022-06-27 cs.CV cs.LG cs.RO
Non-recurrent Traffic Congestion Detection with a Coupled Scalable Bayesian Robust Tensor Factorization Model
School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院）；School of Transportation Engineering, Southeast University（东南大学交通工程学院）；Faculty of Momenta（Momenta学院）；McGill University（麦吉尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
非重现性交通拥堵（NRTC）通常会给通勤者带来意想不到的延误。因此，以实时的方式准确地检测和识别NRTC是至关重要的。道路交通检测器和环路检测器的发展为研究人员提供了大规模的多变量时空交通数据，为深入研究非线性交通流控制提供了条件。然而，它仍然是一个具有挑战性的任务，构建一个分析框架，通过该框架可以有效地表示和利用多变量交通信息的自然时空结构特性，以更好地理解和检测NRTC。在本文中，我们提出了一种新的分析训练免费框架的基础上耦合可扩展贝叶斯鲁棒张量分解（耦合SBRTF）。该框架可以通过共享相似或相同的稀疏结构来耦合多变量交通数据，包括交通流量、道路速度和占用率。而且，它自然地捕获的高维时空结构特性的交通数据的张量因式分解。该框架的共享稀疏结构包含了足够丰富的NRTC信息，其条目揭示了NRTC的分布和大小。而框架的低秩部分则将总体期望交通状况的分布作为辅助产品来表达。在真实交通数据上的实验结果表明，该方法在NRTC检测中的性能优于耦合贝叶斯鲁棒主成分分析（耦合BRPCA）、秩稀疏张量分解（RSTD）和标准正态偏差（SND）.当只利用工作日的交通数据时，所提出的方法表现得更好，因此可以为日常通勤者提供更精确的NRTC估计。
2020-05-10 cs.CV cs.LG physics.soc-ph
Z-Forcing: Training Stochastic Recurrent Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；Microsoft Maluuba（微软 Maluuba）；MILA, Polytechnique Montréal（蒙特利尔理工学院 MILA）
许多努力致力于用自回归解码器（诸如递归神经网络（RNN））来训练生成潜变量模型。随机递归模型已经成功地捕捉到自然序列数据（如语音）中观察到的变异性。我们将最近提出的架构中的成功想法统一到一个随机递归模型中：序列中的每一步都与一个潜在变量相关联，该变量用于调节未来步骤的递归动态。训练是用摊销的变分推断来执行的，其中近似后验是用向后运行通过序列的RNN来增强的。除了最大化变分下界之外，我们还通过添加辅助成本来简化潜变量的训练，该辅助成本迫使它们重建向后递归网络的状态。这为潜在变量提供了一个独立于任务的目标，提高了整个模型的性能。我们发现这种策略比其他方法（如KL退火）表现更好。虽然在概念上很简单，我们的模型实现了国家的最先进的标准语音基准测试，如TIMIT和暴雪和竞争力的性能顺序MNIST的结果。最后，我们将我们的模型应用于IMDB数据集上的语言建模，其中辅助成本有助于学习可解释的潜变量。源代码：\url{https://github.com/anirudh9119/zforcing_nips17}
2017-11-16 cs.LG stat.ML
Lipschitz Recurrent Neural Networks
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Ben-Gurion University（本·古里安大学）；Google Research（谷歌研究院）
将循环神经网络（RNNs）视为连续时间动力系统，我们提出了一个递归单元，它用两个部分来描述隐藏状态的演化：一个众所周知的线性分量加上一个Lipschitz非线性。这种特殊的函数形式便于使用非线性系统理论的工具对经常性单元的长期行为进行稳定性分析。反过来，这使得在实验之前就可以做出架构设计决策。给出了递归单元全局稳定的充分条件，为隐到隐矩阵的构造提供了一种新的方法。我们的实验表明，Lipschitz RNN可以在一系列基准任务上优于现有的递归单元，包括计算机视觉，语言建模和语音预测任务。最后，通过基于Hessian的分析，我们证明了与其他连续时间RNN相比，我们的Lipschitz递归单元在输入和参数扰动方面更具鲁棒性。
2021-04-24 cs.LG math.DS stat.ML
A hybrid transformer and attention based recurrent neural network for robust and interpretable sentiment analysis of tweets
Khulna University of Engineering & Technology (KUET)（库尔纳工程技术大学）；Advanced Machine Intelligence Research (AMIR) Lab（高级机器智能研究实验室）；American International University-Bangladesh（孟加拉国美国国际大学）；Chowagiken Corp.（Chowagiken公司）；University of Asia Pacific（亚太大学）；University of Aizu（会津大学）
针对现有情感分析模型在语言多样性、泛化性和可解释性上的不足，提出融合Transformer、注意力机制与BiLSTM的TRABSA框架，在多数据集上达94%准确率，结合SHAP和LIME提升可解释性，可助力疫情资源管理。
2024-11-02 cs.CL cs.LG
