Physics Guided Recurrent Neural Networks For Modeling Dynamical Systems: Application to Monitoring Water Temperature And Quality In Lakes
University of Minnesota（明尼苏达大学）；United States Geologic Survey（美国地质调查局）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们介绍了一种新的框架，用于将基于物理的模型和循环神经网络中的科学知识相结合，以推进许多动力系统中的科学发现。我们将首先描述在学习混合物理数据模型时使用基于物理的模型的输出。然后，我们进一步将物理知识纳入现实世界的动力系统中，作为训练循环神经网络的额外约束。我们将应用这种方法对湖泊温度和质量进行建模，其中我们考虑到沿深度维度和时间维度的物理约束。通过使用科学知识来指导构建和学习数据驱动模型，我们证明该方法可以实现更好的预测精度以及结果的科学一致性。
2018-10-05 cs.LG stat.ML
Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum
University of Washington（华盛顿大学）
本文提出基于 Lyapunov 谱距离的 LSH 框架，在无需完整训练的情况下早期预测剪枝 RNN 性能，并高效找到超过稠密模型准确率的剪枝变体。
2025-06-09 cs.LG
Multi-Objective Physics-Guided Recurrent Neural Networks for Identifying Non-Autonomous Dynamical Systems
University Paderborn（帕德博恩大学）；Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
虽然建模工作和模型精度之间的权衡仍然是系统辨识的主要问题，但诉诸数据驱动的方法往往会导致完全忽视物理兼容性。为了解决这个问题，我们提出了一个物理指导的混合建模方法控制下的非自治系统。从传统的基于物理的模型开始，通过递归神经网络进行扩展，并使用复杂的多目标策略进行训练，从而产生物理上合理的模型。虽然纯数据驱动的方法无法产生令人满意的结果，但对真实数据进行的实验表明，与基于物理的模型相比，我们的方法可以大大提高精度。
2022-04-27 cs.LG cs.SY eess.SY
testRNN: Coverage-guided Testing on Recurrent Neural Networks
University of Liverpool（利物浦大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Defence Science and Technology Laboratory (Dstl)（国防科学技术实验室（Dstl））
循环神经网络（RNN）已被广泛应用于诸如文本处理、视频识别和分子性质预测的各种顺序任务。我们介绍了第一个覆盖率引导的测试工具，创造了testRNN，用于验证和验证一个主要类别的RNN，长短期记忆网络（LSTM）。该工具实现了一种通用的基于变异的测试用例生成方法，并使用三种新的LSTM结构测试覆盖度量来经验性地评估网络的鲁棒性。此外，它还能够帮助模型设计者完成LSTM层的内部数据流处理。该工具可通过https://github.com/TrustAI/testRNN在BSD 3-Clause许可证下获得。
2019-06-20 cs.LG cs.NE cs.SE
Adversarial Data Augmentation for Single Domain Generalization via Lyapunov Exponent-Guided Optimization
Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出LEAwareSGD方法，利用Lyapunov指数引导学习率调节，使模型在混沌边缘附近训练，以提升单域泛化能力，并在多个数据集上取得显著性能提升。
2025-07-06 cs.CV cs.LG
Mamba State-Space Models Are Lyapunov-Stable Learners
Leidos（莱迪奥斯公司）
本文通过 MPFT 与 PEFT 实验及 Lyapunov 稳定性证明，揭示 Mamba LLM 的循环动力学比 Transformer 更稳定，并考察其 ICL 能力。
2025-08-29 cs.AI cs.LG
Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic
The School of Engineering & Physical Sciences（工程与物理科学学院）；SDAIA-KFUPM Joint Research Centre for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心）；Heriot-Watt University（赫瑞-沃森大学）；King Fahd University of Petroleum and Minerals（国王法赫德石油大学）
针对定点运算中低精度神经网络的问题，提出李雅普诺夫稳定量化框架，通过层状李雅普诺夫函数监测隐藏状态能量，应用单调投影确保状态稳定，实验表明该方法可抑制激活溢出并恢复稳定学习。
2026-07-07 cs.AI cs.LG cs.NA
On Lyapunov Exponents for RNNs: Understanding Information Propagation Using Dynamical Systems Tools
University of Washington（华盛顿大学）；Université de Montréal（蒙特利尔大学）；Mila, Québec AI Institute（Mila魁北克人工智能研究所）
递归神经网络（RNN）已成功应用于涉及序列数据的各种问题，但其优化对参数初始化，架构和优化器超参数敏感。将RNN视为动态系统，一种捕获稳定性的自然方法，即，在长迭代上的增长和衰减是李雅普诺夫指数（LE），其形成李雅普诺夫谱。LE对RNN训练动态的稳定性有影响，因为信息的前向传播与误差梯度的后向传播有关。LE测量非线性系统轨迹的膨胀和收缩的渐近速率，并将稳定性分析推广到构建数据驱动RNN的非自治动态的时变吸引子。作为理解和利用训练动态稳定性的工具，李雅普诺夫谱填补了有限范围的规定性数学方法和计算昂贵的经验方法之间的现有差距。为了利用这个工具，我们实现了一种在训练过程中计算RNN的LE的有效方法，讨论了由典型的顺序数据集驱动的标准RNN架构的特定方面，并表明李雅普诺夫谱可以作为超参数训练稳定性的鲁棒读数。有了这个面向解释的贡献，我们希望引起人们对这个研究不足但理论上有基础的工具的注意，以理解RNN中的训练稳定性。
2020-06-25 cs.LG math.DS nlin.CD
Physics-Guided Recurrent State-Space Neural Networks for Multi-Step Prediction
Delft Center for Systems and Control, TU Delft, the Netherlands（代尔夫特系统与控制中心，代尔夫特理工大学，荷兰）；Department of Biomechanical Engineering, TU Delft, the Netherlands（生物力学工程系，代尔夫特理工大学，荷兰）
提出PG-RSSNN，一种结合物理知识和循环结构的状态空间神经网络，通过缓解梯度消失和数值发散风险，在有限数据和部分物理模型下提升多步预测性能。
2026-06-01 cs.LG cs.SY eess.SY
Long-term prediction of chaotic systems with recurrent neural networks
Arizona State University（亚利桑那州立大学）；Shaanxi Normal University（陕西师范大学）
储备池计算系统，一类循环神经网络，最近被开发用于各种混沌动力系统的状态演化的无模型，基于数据的预测。预测范围已经证明了大约六个李雅普诺夫时间。有没有可能将预测时间大大延长到目前为止所取得的成就之外？我们阐明了一个计划，将时间相关的，但稀疏的数据输入到储备池计算，并证明这种罕见的“更新”的实际状态实际上使一个任意长的预测范围的各种混沌系统。发展了基于时间同步理论的物理理解。
2020-03-06 cs.LG nlin.AO stat.ML
Physics-Guided Recurrent Graph Networks for Predicting Flow and Temperature in River Networks
University of Pittsburgh（匹兹堡大学）；U.S. Geological Survey（美国地质调查局）；University of Minnesota（明尼苏达大学）
本文提出了一种物理引导的机器学习方法，将先进的机器学习模型和基于物理的模型相结合，以提高对河流网络中的水流和温度的预测。我们首先建立一个递归图网络模型来捕捉河流网络中多个段之间的相互作用。然后，我们提出了一种预训练技术，该技术从基于物理的模型中转移知识，以初始化机器学习模型并学习水流和热力学的物理学。我们还提出了一个新的损失函数，平衡不同河段的性能。我们证明了所提出的方法在预测温度和流量在特拉华河流域的一个子集的有效性。特别是，我们表明，所提出的方法比最先进的基于物理的模型提高了33%/14%，比传统的机器学习模型提高了24%/14%（例如，长短期记忆神经网络）在温度/流量预测中使用非常稀疏（0.1\%）的观测数据进行训练。所提出的方法也已被证明，以产生更好的性能时，推广到不同的季节或不同的流量范围的河流段。
2020-12-08 cs.CV cs.LG physics.geo-ph
Counterexample-Guided Strategy Improvement for POMDPs Using Recurrent Neural Networks
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Radboud University（拉德堡德大学）；Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希大学弗莱堡分校）；Concept Engineering GmbH（康赛普特工程有限公司）
研究部分可观测马尔可夫决策过程的策略综合问题。特定的问题是确定可证明遵守（概率）时序逻辑约束的策略。这个问题在计算上是难以处理的，在理论上也是困难的。我们提出了一种新的方法，结合了机器学习和形式化验证的技术。首先，我们训练一个递归神经网络（RNN）来编码POMDP策略。RNN解释了基于记忆的决策，而不需要扩展POMDP的完整信念空间。其次，我们将基于RNN的策略限制为表示有限内存策略，并在特定的POMDP上实现。对于所得到的有限马尔可夫链，有效的形式化验证技术提供了可证明的保证，对时序逻辑规范。如果不满足规范，则反例提供诊断信息。我们使用这些信息通过迭代训练RNN来改进策略。数值实验表明，所提出的方法提高了POMDP求解的最高三个数量级的求解时间和模型大小方面的艺术状态。
2019-03-21 cs.AI cs.LG
Coverage Guided Testing for Recurrent Neural Networks
University of Liverpool（利物浦大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Defence Science and Technology Laboratory（国防科学技术实验室）；University of Exeter（埃克塞特大学）；Loughborough University（拉夫堡大学）
循环神经网络（RNN）已经被应用于广泛的应用，包括自然语言处理、药物发现和视频识别。它们对输入扰动的脆弱性也是已知的。从软件缺陷检测的角度出发，本文旨在开发一种覆盖引导的测试方法，系统地利用RNN的内部行为，期望这种测试可以检测出高可能性的缺陷。在技术上，长短期记忆网络（LSTM），一个主要类别的RNN，进行了深入研究。设计了一个由三个测试指标组成的测试指标族，不仅用于量化值，还用于量化LSTM处理输入时所表现出的时间关系（包括逐步和有界长度）。采用遗传算法高效地生成测试用例。测试指标和测试用例生成算法被实现到一个工具TestRNN中，然后在一组LSTM基准上进行评估。实验证实，TestRNN比最先进的工具DeepStellar和基于攻击的缺陷检测方法具有优势，因为它使用更精细的时间语义并考虑了输入扰动的自然性。此外，TestRNN能够收集和展示有意义的信息，以供用户理解测试结果，这是迈向可解释神经网络测试的重要一步。
2021-05-13 cs.LG cs.NE
Sequence-guided protein structure determination using graph convolutional and recurrent networks
Stanford University（斯坦福大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；Atomwise, Inc.（Atomwise公司）
单粒子，低温电子显微镜（cryo-EM）实验现在经常产生大蛋白质及其复合物的高分辨率数据。将原子模型构建到cryo-EM密度图中是具有挑战性的，特别是当目标蛋白质的结构先验未知时。针对这类任务的现有协议通常依赖于大量的人为干预，并且可能需要数小时到数天才能产生输出。在这里，我们提出了一个完全自动化的，无模板的模型构建方法，是完全基于神经网络。我们使用图卷积网络（GCN）从一组基于旋转异构体的氨基酸身份和候选三维C $α$位置生成嵌入。从这个嵌入开始，我们使用双向长短期记忆（LSTM）模块来排序和标记与输入蛋白质序列一致的候选身份和原子位置，以获得结构模型。我们的方法为在现有方法的一小部分时间内从cryo-EM密度确定蛋白质结构铺平了道路，并且不需要人为干预。
2020-09-03 cs.CE cs.LG q-bio.BM
On the dimension of pullback attractors in recurrent neural networks
本文研究了递归神经网络中拉回吸引子的维度，通过非自治动力系统方法证明其盒维数上限与输入序列空间相关，揭示了共振计算机在吸引子重建和动态不变量计算中的有效性。
2025-11-25 cs.AI cs.LG math.DS
DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach
Xiamen University（厦门大学）；Nanyang Technological University（南洋理工大学）；Jimei University（集美大学）；University at Buffalo-SUNY（纽约州立大学布法罗分校）
本文针对车联网中DNN任务的计算挑战，提出Lyapunov引导的多智能体扩散深度强化学习算法MAD2RL，联合优化DNN划分、任务卸载与资源分配，以最小化任务完成时间并保证系统稳定性。
2024-06-11 cs.LG
Training Recurrent Neural Networks as a Constraint Satisfaction Problem
University of Nevada, Reno（内华达大学里诺分校）
本文提出了一种新的方法来训练人工神经网络使用解决约束满足问题（CSP）的技术。商梯度系统（QGS）是求解CSP的一种基于概率的方法。本研究将神经网络的训练集转换成CSP，并使用QGS来求解。QGS通过跟踪非线性动力系统的轨迹来找到优化问题的全局最小值，并且不会停止在优化问题的局部最小值处。李雅普诺夫理论被用来证明的渐近稳定性的解决方案和不存在的测量误差。数值例子说明了所提出的方法的有效性，并比较它的遗传算法和误差反向传播。
2018-05-14 cs.LG eess.SP stat.ML
Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
Google Research（谷歌研究院）
循环神经网络可以被训练来在给定一些输入的情况下产生令牌序列，如最近在机器翻译和图像描述中的结果所例示的。目前训练它们的方法包括在给定当前（循环）状态和先前令牌的情况下，最大化序列中每个令牌的可能性。在推理时，未知的先前标记然后被模型本身生成的标记替换。训练和推理之间的这种差异可能会产生错误，这些错误可能会沿着生成的序列快速积累。我们提出了一个课程学习策略，轻轻地改变训练过程，从一个完全指导计划使用真正的以前的令牌，对一个较少的指导计划，主要是使用生成的令牌。在几个序列预测任务上的实验表明，该方法产生了显着的改善。此外，它还成功用于我们2015年MSCOCO图像描述挑战赛的获奖作品。
2015-09-23 cs.CL cs.CV cs.LG
Constraining Chaos: Enforcing dynamical invariants in the training of recurrent neural networks
University of California San Diego（加利福尼亚大学圣迭戈分校）；Cooperative Institute for Research in Environmental Sciences（环境科学研究合作研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）；National Oceanic and Atmospheric Administration（美国国家海洋和大气管理局）；Scripps Institution of Oceanography（斯克里普斯海洋研究所）
本文提出一种在循环神经网络训练中强制满足 Lyapunov 指数谱等动力学不变量的方法，以提升有限数据下混沌系统预报的时长与稳定性。
2023-04-24 cs.LG math.DS physics.geo-ph
Recurrent and Convolutional Neural Networks in Classification of EEG Signal for Guided Imagery and Mental Workload Detection
Maria Curie-Sklodowska University（玛丽亚·居里-斯克洛多夫斯卡大学）；SWPS University（SWPS大学）
本研究利用循环和卷积神经网络对26名受试者的脑电信号进行分类，验证了使用认知电极即可有效区分引导想象放松与心理任务负荷状态，无需全通道信号。
2024-05-28 cs.LG
Stability and Performance Analysis of Discrete-Time ReLU Recurrent Neural Networks
University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究结合Lyapunov/耗散性理论与重复ReLU的二次约束，推导离散时间ReLU循环神经网络稳定性及ℓ₂增益性能的充分条件，验证了条件有效性并分析了提升步长的影响。
2024-05-14 cs.LG cs.SY eess.SY
Scalable Polyhedral Verification of Recurrent Neural Networks
ETH Zürich（苏黎世联邦理工学院）；VMWare Research（威睿研究部）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Hitachi Power Grids Research（日立电网研究院）
我们提出了一个可扩展的和精确的验证循环神经网络，称为证明基于两个新的想法：（i）一种方法来计算一组多面体抽象的非凸和非线性的经常性更新功能相结合的采样，优化和费马定理，和（ii）一个基于梯度下降的算法抽象细化的认证问题，结合多个抽象每个神经元的指导。使用Prover，我们提出了第一个证明循环神经网络的非平凡用例的研究，即语音分类。为了实现这一点，我们还为非线性语音预处理管道开发了自定义抽象。我们的评估表明，Prover成功地验证了计算机视觉，语音和运动传感器数据分类中的几个具有挑战性的经常性模型，超出了先前的工作。
2021-06-10 cs.LG cs.SD eess.AS
A Dynamically Controlled Recurrent Neural Network for Modeling Dynamical Systems
The Pennsylvania State University（宾夕法尼亚州立大学）；Children’s Hospital of Philadelphia（费城儿童医院）
这项工作提出了一种新的神经网络架构，称为动态控制的循环神经网络（DCRNN），专门设计用于模拟由常微分方程（ODE）控制的动态系统。这些类型的动态系统的当前状态向量仅取决于它们的状态空间模型以及各自的输入和初始条件。长短期记忆（LSTM）网络已被证明对基于记忆的任务非常有效，但可能无法对物理过程进行建模，因为它们倾向于记忆，而不是学习如何捕捉底层动态的信息。建议的DCRNN包括可学习的跳过连接以前隐藏的状态，并引入了正则化项的损失函数依赖于李雅普诺夫稳定性理论。正则化器使得由DCRNN引起的传递函数的特征值能够放置到期望值，从而充当隐藏状态轨迹的内部控制器。结果表明，对于预测混沌动力系统，DCRNN优于$100$随机实验中的$100$中的LSTM，通过减少$80.0\% \pm 3.0\%$的LSTM预测的均方误差。
2019-10-31 cs.LG cs.NE stat.ML
Certified Training with Branch-and-Bound for Lyapunov-stable Neural Control
University of California, Riverside（加州大学河滨分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出CT-BaB框架，通过动态训练数据集和自适应分割技术，提升神经控制器在区域吸引域内的认证保证，减少训练与验证时间差异，实现更高效的验证和更大的吸引域。
2026-04-06 cs.AI cs.LG cs.RO
Formal Synthesis of Lyapunov Neural Networks
University of Oxford（牛津大学）；Amazon Inc.（亚马逊公司）
我们提出了一个自动的和正式的声音的方法来合成李雅普诺夫函数的自治非线性系统的渐近稳定性。传统的方法要么是分析性的，需要人工劳动，要么是数值的，但缺乏形式上的合理性。介于两者之间的李雅普诺夫函数的符号计算方法给出了正式的保证，但通常是半自动的，因为它们依赖于用户提供适当的函数模板。我们提出了一种方法，发现李雅普诺夫函数完全自动$-$使用机器学习$-$，同时还提供正式的保证$-$使用可满足性模理论（SMT）。我们采用了一个反例引导的方法，其中一个数值学习器和一个符号验证器相互作用，以构建可证明正确的李雅普诺夫神经网络（LNN）。学习者训练一个满足样本集渐近稳定性的李雅普诺夫准则的神经网络;验证者通过SMT求解证明整个域都满足该准则，或者用反例增加样本集。我们的方法支持具有多项式激活函数和多个深度和宽度的神经网络，这些神经网络具有广泛的学习能力。我们证明了我们的方法在几个非平凡的基准和比较有利的数值优化为基础的方法，一个符号模板为基础的方法，和同源LNN为基础的方法。我们的方法合成李雅普诺夫函数更快，更广泛的空间域比的替代品，但提供更强或同等的保证。
2020-06-24 cs.LG cs.LO cs.SY
Data-driven discrete-time deep recurrent neural network-based modeling for dissipative systems
Sungkyunkwan University（成均馆大学）
本文提出深度离散时间耗散递归神经网络（DissipNet），通过结构权重约束和专门训练算法显式强制耗散性，利用李雅普诺夫理论保证稳定性，并在建模应用中优于朴素RNN和PINN模型。
2026-09-24 cs.LG cs.RO
Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention
PKSHA Technology, Inc.（PKSHA科技公司）
本文描述了一种基于深度卷积神经网络（CNN）的新型文本到语音（TTS）技术，而不使用任何递归单元。近年来，递归神经网络（RNN）已经成为对序列数据建模的标准技术，并且该技术已经被用于一些前沿的神经TTS技术中。然而，训练RNN组件通常需要非常强大的计算机，或者非常长的时间，通常需要几天或几周。另一方面，最近的其他研究表明，由于高度的并行性，基于CNN的序列合成可以比基于RNN的技术快得多。本文的目的是表明，一种替代的神经TTS仅基于CNN减轻这些经济成本的培训。在我们的实验中，使用配备两个GPU的普通游戏PC对所提出的深度卷积TTS进行了充分的过夜（15小时）训练，而合成语音的质量几乎可以接受。
2020-09-30 cs.AI cs.LG cs.SD
RecMorph: Topology-Guided Spatial Recurrence for Generalized Morphology Control
Jilin University（吉林大学）；State Key Laboratory of Special Vehicle Design and Manufacturing Integration Technology（特种车辆设计制造集成技术全国重点实验室）；Changchun University of Science and Technology（长春理工大学）
RecMorph提出拓扑引导的空间递归架构，通过深度优先遍历和双向转换实现高效跨肢体通信，在UNIMAL任务和物理四足机器人上取得最优性能，并降低速度误差43.5%。
2026-09-17 cs.LG cs.RO
Incorporating domain knowledge into neural-guided search
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
许多AutoML问题涉及在黑盒奖励下优化离散对象。神经引导搜索提供了一种灵活的方法，使用自回归递归神经网络搜索这些组合空间。这种方法的一个主要好处是顺序构建对象--这提供了一个通过直接修改采样期间发出的logit将领域知识纳入搜索的机会。在这项工作中，我们正式的框架，将这种在原位的先验和约束神经引导搜索，并提供充分的条件，强制执行的约束。我们整合了现有的工作到这个框架中的先验和约束，提出了几个新的，并证明了它们的有效性，通知任务的象征性回归。
2021-07-19 cs.LG
Adversarial Dropout for Recurrent Neural Networks
Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究中心）；KAIST（韩国科学技术院）；AI Center, SK Telecom（SK电讯AI中心）
成功的应用程序处理序列数据，如文本和语音，需要提高循环神经网络（RNN）的泛化性能。RNN的丢弃技术被引入以响应这些需求，但我们推测RNN的丢弃可以通过采用对抗概念来改进。本文研究了通过利用有意生成的丢弃掩码来改善RNN的丢弃的方法。具体来说，本研究中使用的引导性退出被称为对抗性退出，它会随着时间的推移对抗性地断开主要用于预测正确目标的神经元。我们的分析表明，我们的正则化器由原始和重新配置的RNN之间的间隙组成，是随机丢弃的训练和推理阶段之间间隙的上界。我们证明了最小化正则化器可以提高RNN在顺序MNIST任务，半监督文本分类任务和语言建模任务中的dropout的有效性。
2019-04-22 cs.LG stat.ML
Property-Directed Verification of Recurrent Neural Networks
LSV, CNRS, ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷高等师范学院、巴黎萨克雷大学、法国国家科学研究中心、验证与安全实验室）；Inria（法国国家信息与自动化研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Université Paris-Est Créteil（巴黎东大克雷泰伊校区）；Universität zu Lübeck（吕贝克大学）；CentraleSupélec（中央理工-高等电力学院）；Institut Universitaire de France（法国大学研究院）
本文提出了一种面向属性的循环神经网络（RNN）验证方法。为此，我们使用主动自动机学习从给定的RNN学习确定性有限自动机作为代理模型。然后可以使用模型检验作为验证技术来分析该模型。属性导向这个术语反映了我们的过程是由给定的属性来指导和控制的，而不是分别执行这两个步骤。我们表明，这不仅使我们能够快速发现小的反例，而且还可以通过向错误流抽取来概括它们，从而暗示RNN中的潜在错误。
2020-09-22 cs.AI cs.FL cs.LG
Neural Guided Constraint Logic Programming for Program Synthesis
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Uber ATG（优步先进技术集团）
使用示例输入/输出来综合程序是人工智能中的经典问题。我们提出了一种方法来解决编程的例子（PBE）的问题，通过使用神经模型来指导搜索的约束逻辑编程系统称为miniKanren。至关重要的是，神经模型使用miniKanren的内部表示作为输入; miniKanren将PBE问题表示为由所提供的示例施加的递归约束。我们探讨了递归神经网络和图神经网络模型。我们提供了一个修改后的miniKanren，可由外部代理驱动，可在https://github.com/xuexue/neuralkanren上获得。我们表明，我们的神经引导的方法，使用约束可以合成程序更快地在许多情况下，重要的是，可以推广到更大的问题。
2018-10-26 cs.LG stat.ML
Real-time respiratory motion forecasting with online learning of recurrent neural networks for accurate targeting in externally guided radiotherapy
The University of Tokyo（东京大学）；Japan Atomic Energy Commission（日本原子能委员会）；National Institutes for Quantum and Radiological Science and Technology（量子与辐射科学和技术国家研究所）
本文针对体外引导放疗中呼吸运动预测问题，评估了UORO、SnAp-1和DNI三种资源高效在线RNN算法，提出SnAp-1和DNI的高效实现，在仅用每个序列首分钟数据的情况下，实现了优于或媲美现有深度学习方法的预测精度。
2025-06-02 cs.LG cs.NE eess.IV
Predicting non-linear dynamics by stable local learning in a recurrent spiking neural network
本文提出了一种监督学习方案，用于循环脉冲神经网络中前馈和循环连接的权重学习，通过反馈误差和局部学习规则实现稳定学习，展示了线性、非线性及混沌动力学的学习能力。
2017-04-26 cs.LG cs.NE cs.SY
Fading memory as inductive bias in residual recurrent networks
Ernst Strüngmann Institute（恩斯特·斯特伦格曼研究所）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
本文提出弱耦合残差循环网络（WCRNNs），通过引入残差连接研究其对网络动力学和衰减记忆特性的影响，发现特定残差连接能提升网络表达能力，并扩展至非线性残差与Elman RNNs初始化方案。
2024-01-03 cs.CV cs.LG
KPFlow: An Operator Perspective on Dynamic Collapse Under Gradient Descent Training of Recurrent Networks
University of Washington（华盛顿大学）；Allen Institute（艾伦研究所）
本文提出KPFlow算子分解框架，揭示循环网络梯度下降训练中神经坍缩的结构根源，并提供高效PyTorch工具用于分析循环架构的动力学。
2025-07-08 cs.AI cs.LG math.DS
Unconditional stability of a recurrent neural circuit implementing divisive normalization
Courant Institute of Mathematical Sciences, NYU（纽约大学柯朗数学科学研究所）；Department of Psychology, NYU（纽约大学心理学系）；Center for Neural Science, NYU（纽约大学神经科学研究中心）
本研究将动态除法归一化与具备生物学合理性的递归皮层回路模型ORGaNICs的稳定性关联，证明其特定条件下的无条件局部稳定性，推导能量函数，验证其可无梯度裁剪训练且在分类和序列任务上表现优异。
2025-01-15 cs.AI cs.LG math.DS
Attention Mechanism for Multivariate Time Series Recurrent Model Interpretability Applied to the Ironmaking Industry
Paul Wurth S.A.（保尔沃斯公司）；UFR Sciences et Technologie（科学与技术学院）；DataThings S.A.R.L.（DataThings有限责任公司）；Université de La Rochelle（拉罗谢尔大学）
数据驱动模型的可解释性是获得过程工程师认可的要求，以依赖数据驱动模型的预测来调节炼铁工业中的工业过程。在本文提出的研究中，我们专注于开发一个可解释的多变量时间序列预测深度学习架构，用于高炉生产的铁水温度。提出了一种基于长短期记忆（LSTM）的架构，该架构通过注意力机制和引导反向传播来增强，以适应每个输入的局部时间可解释性的预测。结果显示，这种架构应用于高炉数据的潜力很大，并提供了可解释性，正确反映了固有高炉工艺所决定的真实复杂变量关系，并且与基于递归的深度学习架构相比，预测误差更小。
2020-07-15 cs.LG
Input correlations impede suppression of chaos and learning in balanced rate networks
Zuckerman Mind, Brain, Behavior Institute, Columbia University（哥伦比亚大学祖克曼心智、大脑与行为研究所）；The Abdus Salam International Centre for Theoretical Physics（阿卜杜勒·萨拉姆国际理论物理中心）；Institute of Genetics, University of Bonn（波恩大学遗传学研究所）
神经回路表现出复杂的活动模式，既有自发的，也有由外部刺激引起的。神经回路中的信息编码和学习取决于时变刺激对自发网络活动的控制程度。我们表明，在平衡状态下的发射率网络，外部控制的经常性动态，即，内部产生的混沌可变性的抑制强烈地依赖于输入中的相关性。平衡网络的一个独特之处在于，由于共同的外部输入被递归反馈动态地抵消，因此，通过每个神经元的独立输入比通过共同输入更容易抑制混沌。为了研究这一现象，我们开发了一个非平稳动态平均场理论，确定如何活动统计和最大李雅普诺夫指数依赖于频率和振幅的输入，经常性耦合强度，和网络的大小，共同和独立的输入。我们还表明，不相关的输入有利于学习平衡网络。
2022-01-24 cond-mat.dis-nn cs.LG nlin.CD
An inversion problem for optical spectrum data via physics-guided machine learning
Sungkyunkwan University（成均馆大学）
本文提出正则化循环推理机（rRIM），将物理原理融入训练与推理，从实验光谱中可靠反演配对胶水函数，并适用于第一类 Fredholm 积分方程的反演问题。
2024-04-03 cond-mat.str-el cs.LG physics.comp-ph
A Causality-Guided Prediction of the TED Talk Ratings from the Speech-Transcripts using Neural Networks
University of Rochester（罗切斯特大学）
公开演讲表现的自动预测使新的系统能够辅导公开演讲技能。我们使用最大的公开资料库-TED演讲-来预测在线观众提供的评分。该数据集包含超过2200个谈话记录和相关的Meta信息，包括来自网站自发访问者的超过550万个评级。我们仔细地消除了数据集中存在的偏差（例如，演讲者的声誉，通过宣传获得的知名度等）通过使用因果图对数据生成过程进行建模。我们使用基于词序列的递归结构和基于依赖树的递归结构作为预测TED演讲评分的神经网络。我们的神经网络模型可以预测评级，平均F分数为0.77，大大优于竞争基线方法。
2019-05-21 cs.CL cs.LG stat.ML
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan（台湾国家科学与技术委员会）
提出抽象精化框架，通过分割预激活区间消除非线性松弛误差，并利用SHAP引导的时间步选择策略降低组合成本，显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
Backpropagation Algorithms and Reservoir Computing in Recurrent Neural Networks for the Forecasting of Complex Spatiotemporal Dynamics
ETH Zürich（苏黎世联邦理工学院）；University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了递归神经网络在预测高维和降阶复杂系统的时空动态时，使用水库计算（RC）和反向传播通过时间（BPTT）门控网络架构的效率。我们强调每种方法的优点和局限性，并讨论它们的并行计算架构的实现。我们量化的相对预测精度，这些算法的长期预测混沌系统作为基准的Lorenz-96和Kuramoto-Sivashinsky（KS）方程。我们发现，当完整的状态动态可用于训练时，RC在预测性能和捕获长期统计数据方面优于BPTT方法，同时需要更少的训练时间。然而，在降阶数据的情况下，大规模RC模型可能是不稳定的，并且比BPTT算法更有可能发散。相比之下，通过BPTT训练的RNN表现出更好的预测能力，并很好地捕捉降阶系统的动态特性。此外，本研究首次量化的KS方程的李雅普诺夫谱与BPTT，达到类似的精度RC。这项研究表明，RNN是学习和预测复杂时空系统的有效计算框架。
2020-02-17 cs.LG eess.SP physics.flu-dyn
Improving Deep Learning Interpretability by Saliency Guided Training
University of Maryland（马里兰大学）；Genentech, Inc.（基因泰克公司）
显著性方法已被广泛用于突出模型预测中的重要输入特征。大多数现有的方法使用修改的梯度函数上的反向传播来生成显着图。因此，噪声梯度可能导致不忠实的特征属性。在本文中，我们解决了这个问题，并介绍了一个{ \it显着性指导训练}程序的神经网络，以减少噪声梯度预测中使用的同时保留模型的预测性能。我们的显着性指导训练过程迭代地掩蔽具有小的和潜在的噪声梯度的特征，同时最大化掩蔽和未掩蔽输入的模型输出的相似性。我们将显着性引导的训练过程应用于计算机视觉，自然语言处理和不同神经架构的时间序列的各种合成和真实数据集，包括递归神经网络，卷积网络和Transformers。通过定性和定量评估，我们表明显着性指导的训练过程显着提高了模型在各个领域的可解释性，同时保持其预测性能。
2021-11-29 cs.AI cs.CV cs.LG
Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network
College of Biomedical Engineering（生物医学工程学院）；Zhejiang University（浙江大学）
本文提出一种硬件友好的流式无损体积压缩框架，通过门控循环卷积神经网络捕捉医学体积图像切片间依赖，以极低模型权重实现高效熵编码，并在FPGA上实现实时压缩，性能优于现有方法。
2023-11-27 cs.AR cs.LG eess.IV
Exploring Deep and Recurrent Architectures for Optimal Control
Stanford University（斯坦福大学）
本文探讨了将深度和循环神经网络应用于连续高维运动控制任务，通过强化学习算法训练控制器，比较不同架构的性能，并讨论深度学习在最优控制中的应用前景。
2013-11-07 cs.AI cs.LG cs.NE
