Learning Dissipative Neural Dynamical Systems
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
针对未知但耗散的非线性动力学系统,提出两阶段神经模型学习方法,通过先后扰动权重与偏置,在保证耗散性的同时保持轨迹拟合。
2024-04-05 cs.LG cs.SY eess.SY
State-space models are accurate and efficient neural operators for dynamical systems
National University of Singapore(新加坡国立大学);Brown University(布朗大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出基于Mamba实现的状态空间模型用于动力系统算子学习,通过重参数化技术动态捕获长程依赖并提升计算效率,在插值与严格外推任务中表现卓越且计算成本最低,并在定量系统药理学实际应用中展现出良好性能。
2025-01-27 cs.LG cs.NA math.DS
Neural Network Approximations of Compositional Functions With Applications to Dynamical Systems
Naval Postgraduate School(海军研究生院);University of California, Santa Cruz(加州大学圣克鲁兹分校)
正如在现实生活中的许多应用领域所证明的那样,神经网络具有处理高维数据的能力。在最优控制和动力系统领域中,同样的能力在近年来发表的许多结果中得到了研究和验证。为了揭示神经网络能够解决某些高维问题的根本原因,我们建立了一个关于复合函数及其神经网络逼近的代数框架和逼近理论。理论基础的发展方式,使它支持的误差分析,不仅功能的输入输出关系,但也数值算法。这种能力是至关重要的,因为它使分析的近似误差的问题,解析解是不可用的,如微分方程和最优控制。我们确定了一组关键功能的组合功能和功能之间的关系和神经网络的复杂性。除了函数逼近,我们证明了几个公式的误差上界的神经网络,近似解微分方程,优化,和最优控制。
2020-12-03 cs.LG cs.NA cs.NE
Constrained Block Nonlinear Neural Dynamical Models
Pacific Northwest National Laboratory(太平洋西北国家实验室)
已知先验条件的神经网络模块可以有效地训练和组合,以表示具有非线性动力学的系统。这项工作通过嵌入局部模型结构和约束,探索了一种新的面向深度控制的非线性动力学模型的数据高效学习公式。所提出的方法由神经网络块,代表输入,状态和输出动态与约束放置在网络权重和系统变量。为了处理部分可观测的动力系统,我们利用状态观测器神经网络来估计系统的潜在动态的状态。我们评估的性能所提出的架构和培训方法的系统辨识任务为三个非线性系统:一个连续搅拌釜反应器,一个两罐相互作用的系统,和一个空气动力学机构。用几千个系统状态观测值优化的模型准确地表示了开环仿真中从一组初始条件经过数千个时间步的系统动态。实验结果表明,与传统的非结构化和无约束的神经网络模型相比,我们的约束,块结构的神经模型的开环仿真均方误差减少了数量级。
2021-01-06 cs.LG math.DS
RNNs perform task computations by dynamically warping neural representations
University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学)
本文提出RNNs通过动态扭曲其表示来执行任务计算,并利用黎曼几何框架验证了这一假设。
2026-02-08 cs.LG math.DG math.DS
GFINNs: GENERIC Formalism Informed Neural Networks for Deterministic and Stochastic Dynamical Systems
Brown University(布朗大学)
我们提出的GENERIC形式主义知情的神经网络(GFINNs),遵守对称退化条件的GENERIC形式主义。GFINN包括两个模块,每个模块包含两个组件。我们使用一个神经网络,其架构的设计,以满足所需的条件,每个组件建模。组件式架构设计提供了将可用物理信息利用到神经网络中的灵活方法。我们从理论上证明了GFINNs有足够的表达能力来学习基本方程,从而建立了通用逼近定理。我们证明了GFINNs的性能在三个模拟问题:气体容器交换热量和体积,热弹性双摆和Langevin动力学。在所有的例子中,GFINNs优于现有的方法,因此表现出良好的精度在确定性和随机系统的预测。
2021-08-31 cs.LG math.DS
Universal Time-Uniform Trajectory Approximation for Random Dynamical Systems with Recurrent Neural Networks
循环神经网络的能力,以近似随机动力系统的轨迹,随机输入,非紧域,并在一个不确定的或无限的时间范围被认为是。主要结果表明,无限时间范围内的某些随机轨迹可以通过具有简单反馈结构的某类深度循环神经网络来近似为任何期望的精度,在时间上均匀。这里的配方与相关文献中关于这一主题,其中大部分是限制在紧凑的状态空间和有限的时间间隔。这里所要求的模型条件是自然的、温和的、易于检验的,证明也非常简单。
2022-11-15 cs.LG cs.NE math.DS
Position: Solve Layerwise Linear Models First to Understand Neural Dynamical Phenomena (Neural Collapse, Emergence, Lazy/Rich Regime, and Grokking)
University of Oxford(牛津大学);University College London(伦敦大学学院);Sejong University(世宗大学);Boston University(波士顿大学)
本文主张优先研究逐层线性模型,因其遵循动力学反馈原理,可解释神经坍缩、涌现、惰性/丰富机制及顿悟等深度神经网络动力学现象,从而加速深度学习科学。
2025-05-26 cs.LG physics.data-an stat.ML
Learning Order Parameters from Videos of Dynamical Phases for Skyrmions with Neural Networks
Beijing Normal University(北京师范大学);Drexel University(德雷塞尔大学);Beijing Computational Science Research Center(北京计算科学研究中心)
识别动态现象的能力(例如,从视频中提取物理事件的动态过程(动态阶段),进而抽象物理概念,揭示物理规律,是人类智能的核心。本文的主要目的是使用神经网络分类的动态阶段的一些视频,并证明神经网络可以学习物理概念。为此,我们采用多个神经网络来识别基于粒子的skyrmion模型的静态阶段(图像格式)和动态阶段(视频格式)。结果表明,神经网络在没有任何先验知识的情况下,不仅可以正确地对这些相进行分类,而且可以预测出与模拟结果一致的相边界。我们进一步提出了一个参数可视化方案来解释神经网络已经学到了什么。我们发现,神经网络可以学习两个序参数的动态阶段的视频和预测的临界值的两个序参数。最后,我们证明了只需要两个序参数来识别skyrmion动态相位的视频。结果表明,这种参数可视化方案可以用来确定需要多少序参量才能完全识别输入相位。我们的工作揭示了未来使用神经网络在发现新的物理概念和揭示未知的物理定律从视频。
2020-12-02 cs.CV cs.LG
Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks
SINTEF Digital(辛特夫数字研究所);University of Oslo(奥斯陆大学);Brown University(布朗大学)
本文提出将神经算子与循环神经网络结合,以解决深度网络在动力系统长时间积分中的误差累积问题,并在Korteweg-de Vries方程上验证了该方法在插值和外推中的稳定性与精度提升。
2024-04-30 cs.LG
Deep Neural Network Approximation of Invariant Functions through Dynamical Systems
National University of Singapore(新加坡国立大学);Peking University(北京大学)
我们研究的近似函数是不变的输入指标的某些排列使用流图的动力系统。这种不变函数包括研究较多的涉及图像任务的置换不变函数,但也包括许多在科学和工程中发现新兴应用的置换不变函数。我们证明了这些功能的普遍逼近的控制等变动力系统的充分条件,这可以被看作是一个一般的抽象深残差网络的对称性约束。这些结果不仅意味着通用的近似各种常用的神经网络架构的对称函数逼近,但也指导架构的设计与近似保证涉及新的对称性要求的应用程序。
2022-08-18 cs.LG math.DS math.OC
Dynamical large deviations of two-dimensional kinetically constrained models using a neural-network state ansatz
Ghent University(根特大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);National Research Council Canada(加拿大国家研究委员会);Vector Institute for Artificial Intelligence(人工智能矢量研究所)
我们使用一个神经网络模拟器最初设计的量子系统的变分优化研究动态大偏差的经典。我们得到的弗雷德里克森-安德森模型,一个典型的动力学约束模型,在一个和两个维度的动力学活动的标度累积生成函数,并提出了第一个尺寸标度分析的动力学活动在两个维度。这些结果为动力学大偏差函数的研究提供了一条新的途径,并突出了神经网络状态分析在物理学领域的广泛适用性。
2020-11-17 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Near-optimal control of dynamical systems with neural ordinary differential equations
Frankfurt School of Finance and Management(法兰克福金融管理学院);University of Zurich(苏黎世大学)
最优控制问题自然出现在许多科学应用中,其中人们希望在有限时间$T$内将动力系统从某一初始状态$\mathbf{x}_0$操纵到期望的目标状态$\mathbf{x}^*$。深度学习和基于神经网络的优化的最新进展有助于开发可以帮助解决涉及高维动力系统的控制问题的方法。特别是,神经常微分方程(神经ODE)的框架提供了一种有效的手段,迭代近似连续时间控制功能与分析棘手和计算要求高的控制任务。虽然神经ODE控制器在解决复杂控制问题方面显示出巨大的潜力,但对网络结构和优化器等超参数对学习性能的影响的理解仍然非常有限。我们的工作旨在解决这些知识差距进行有效的超参数优化。为此,我们首先分析截断和非截断反向传播如何影响运行时的性能和神经网络学习最优控制函数的能力。使用分析和数值方法,然后,我们研究参数初始化,优化和神经网络架构的作用。最后,我们将我们的结果连接到神经ODE控制器隐式正则化控制能量的能力。
2022-06-22 cs.LG math.DS math.OC
Dissipative Deep Neural Dynamical Systems
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文给出了由深度神经网络参数化的离散动力系统的耗散性和局部渐近稳定性的充分条件。我们利用神经网络的逐点仿射映射的表示,从而暴露其局部线性算子,并使其可用于经典的系统分析和设计方法。这使我们能够通过评估其耗散性,估计其稳定点和状态空间划分来“打开神经动力系统行为的黑匣子”。我们将这些局部线性算子的范数与耗散系统中存储的能量联系起来,耗散系统的供给率由它们的总偏置项表示。经验上,我们分析了这些局部线性算子的动力学行为和特征值谱的变化与不同的权重因子分解,激活函数,偏置项,和深度。
2022-06-08 cs.LG cs.NE
Constraining Chaos: Enforcing dynamical invariants in the training of recurrent neural networks
University of California San Diego(加利福尼亚大学圣迭戈分校);Cooperative Institute for Research in Environmental Sciences(环境科学研究合作研究所);University of Colorado Boulder(科罗拉多大学博尔德分校);National Oceanic and Atmospheric Administration(美国国家海洋和大气管理局);Scripps Institution of Oceanography(斯克里普斯海洋研究所)
本文提出一种在循环神经网络训练中强制满足 Lyapunov 指数谱等动力学不变量的方法,以提升有限数据下混沌系统预报的时长与稳定性。
2023-04-24 cs.LG math.DS physics.geo-ph
Leveraging Neural Koopman Operators to Learn Continuous Representations of Dynamical Systems from Scarce Data
IMT Atlantique(大西洋国立高等工业技术与矿业学校);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);Institut Universitaire de France(法兰西大学研究院);EPITA(法国计算机科学与技术高等学院)
在过去的几年里,有几项工作提出了深度学习架构,以从观察数据中学习动力系统,而不了解或了解很少的基础物理知识。一系列的工作依赖于学习表征,其中潜在现象的动态可以通过基于Koopman算子理论的线性算子来描述。然而,尽管能够提供可靠的长期预测的一些动态系统在理想的情况下,到目前为止提出的方法有局限性,如需要离散本质连续的动态系统,导致数据丢失,特别是当处理不完整或稀疏采样的数据。在这里,我们提出了一个新的深度Koopman框架,它以本质上连续的方式表示动态,从而在有限的训练数据上获得更好的性能,例如从动态系统中产生的几个数据集。
2023-03-13 cs.LG math.DS
On the effectiveness of neural priors in modeling dynamical systems
Amazon(亚马逊);Australian Institute of Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所)
动态系统建模是理解自然世界的一个组成部分。为此,神经网络由于其从大量数据中学习复杂函数的能力而成为越来越受欢迎的候选者。尽管最近取得了这一进展,但在学习此类系统时,神经网络提供的架构正则化尚未得到充分讨论,这阻碍了它们的有效使用。在本文中,我们开始在这个方向上使用坐标网络作为一个试验台的讨论。我们解释动力系统和坐标网络的信号处理镜头,并表明,简单的坐标网络与几层可以用来解决多个问题的建模动力系统,没有任何明确的正则化。
2023-03-10 cs.LG eess.SP
Frequency-Domain Neural ODEs for Modeling Non-Linear Dynamical Systems
German University in Cairo(开罗德国大学)
提出频域神经常微分方程(FNODE),通过快速傅里叶变换将连续时间动力学投影到频域,以更好地泛化非线性动力系统,实验证明其优于离散模型和其他连续深度模型。
2026-06-23 cs.LG math.DS
Observation Error Covariance Specification in Dynamical Systems for Data assimilation using Recurrent Neural Networks
Imperial College London(伦敦帝国理工学院);Institut Polytechnique de Paris(巴黎理工学院);EDF R&D(法国电力公司研发部)
数据同化技术被广泛用于预测复杂的动力系统的不确定性,基于时间序列观测数据。误差协方差矩阵建模是资料同化算法中的一个重要组成部分,它对预报精度有很大的影响。这些协方差的估计,这通常依赖于经验假设和物理约束,往往是不精确的和计算昂贵的,特别是对于大尺寸的系统。在这项工作中,我们提出了一种基于长短期记忆(LSTM)循环神经网络(RNN)的数据驱动方法,以提高动力系统数据同化中观测协方差指定的精度和效率。与经典的后验整定方法不同,该方法从观测/模拟时间序列数据中学习协方差矩阵,不需要任何先验误差分布的知识或假设。我们已经比较了新的方法与两个国家的最先进的协方差调整算法,即DI 01和D 05,首先在洛伦兹动力系统,然后在二维浅水孪生实验框架与不同的协方差参数化,使用集合同化。这种新方法在观测协方差规格、同化精度和计算效率方面显示出显著的优势。
2021-11-11 cs.AI cs.LG cs.NA
Recurrent Neural Networks for Dynamical Systems: Applications to Ordinary Differential Equations, Collective Motion, and Hydrological Modeling
Texas A&M University – Corpus Christi(得克萨斯农工大学科珀斯克里斯蒂分校);Clarkson University(克拉克森大学)
解决时空动力系统的经典方法包括统计方法,如自回归积分移动平均,它假设系统的先前输出之间的线性和平稳关系。线性方法的开发和实现相对简单,但它们通常无法捕获数据中的非线性关系。因此,人工神经网络(ANN)在分析和预测动力系统中受到研究人员的关注。循环神经网络(RNN)是从前馈神经网络衍生而来的,它使用内部存储器来处理可变长度的输入序列。这使得RNN适用于为时空动力系统中的各种问题寻找解决方案。因此,在本文中,我们利用RNN来处理与动力系统相关的一些特定问题。具体而言,我们分析了RNN应用于三个任务的性能:重建正确的洛伦兹解决方案的系统与制定错误,重建损坏的集体运动轨迹,并预测径流时间序列具有尖峰,分别代表三个领域,即常微分方程,集体运动,水文建模。我们在每个任务中唯一地训练和测试RNN,以证明RNN在重建和预测动力系统动态方面的广泛适用性。
2022-02-14 cs.LG cs.NE math.DS
NeuralPDE: Modelling Dynamical Systems from Data
University of Würzburg(维尔茨堡大学)
许多物理过程,如天气现象或流体力学是由偏微分方程(PDE)。使用神经网络对这样的动态系统建模是一个活跃的研究领域。然而,目前的方法仍然是非常有限的,因为它们不利用知识的动态性质的系统,需要广泛的先验知识的控制方程或限于线性或一阶方程。在这项工作中,我们观察到用于求解PDE的线方法可以使用卷积来表示,这使得卷积神经网络(CNN)成为参数化任意PDE动力学的自然选择。我们将此参数化与可微分ODE求解器相结合,形成NeuralPDE模型,该模型明确考虑到数据由微分方程控制的事实。我们在玩具和真实世界数据的几个实验中表明,我们的模型始终优于用于学习动力系统的最先进模型。
2022-10-11 cs.LG
Bayesian Physics-Informed Neural Networks for real-world nonlinear dynamical systems
Hamburg University of Technology(汉堡工业大学);Stanford University(斯坦福大学);Brown University(布朗大学)
理解真实世界的动力学现象仍然是一项具有挑战性的任务。在各个科学学科中,机器学习已经发展成为分析非线性动力系统、识别大数据中的模式并围绕它们做出决策的首选技术。神经网络现在一直被用作具有不完全理解或极其复杂的底层机制的数据的通用函数逼近器。然而,神经网络本身忽略了物理学的基本定律,往往无法做出合理的预测。在这里,我们通过结合神经网络、物理信息建模和贝叶斯推理来整合数据、物理和不确定性,以提高传统神经网络模型的预测潜力。我们将阻尼谐振子的物理模型嵌入到一个全连接的前馈神经网络中,以探索一个简单而说明性的模型系统,即COVID-19的爆发动力学。我们的物理信息神经网络可以无缝集成数据和物理,鲁棒地解决正问题和逆问题,并在插值和外推方面表现良好,即使是少量的噪声和不完整的数据。只需很小的额外成本,它们就可以自适应地学习数据和物理之间的权重。与贝叶斯神经网络相结合,它们可以作为贝叶斯推理中的先验,并为不确定性量化提供可信区间。我们的研究揭示了神经网络,贝叶斯推理,以及两者的组合的固有的优点和缺点,并提供了有价值的指导方针模型的选择。虽然我们只证明了这些方法的简单模型问题的季节性地方性传染病,我们预计,基本的概念和趋势推广到更复杂的疾病条件,更广泛地说,各种各样的非线性动力系统。
2022-05-24 cs.LG math.DS nlin.CD
A Dynamical Systems Perspective on the Analysis of Neural Networks
Freie Universität Berlin(柏林自由大学);Universiteit van Amsterdam(阿姆斯特丹大学);Technical University of Munich(慕尼黑技术大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
利用动力学系统重新表述深度神经网络、梯度下降等挑战,研究信息传播、训练动态和平均场极限,揭示网络嵌入、稳定性及图极限等性质。
2026-06-17 cs.LG math.DS nlin.AO
Learning stochastic dynamical systems with neural networks mimicking the Euler-Maruyama scheme
IMT Atlantique(大西洋高等矿业电信学校);UMR CNRS Lab-STICC(法国国家科学研究中心STICC联合实验室)
随机微分方程是动力系统最重要的表示形式之一。他们是显着的能力,包括一个确定性的组成部分的系统和随机一个代表随机未知因素。然而,这使得学习SDES比学习常微分方程(ODE)更具挑战性。在本文中,我们提出了一种数据驱动的方法,其中的参数的神经网络表示的神经网络与内置的神经网络集成计划。损失函数基于最大似然准则,在一阶马尔可夫高斯假设下。该算法被应用到几何布朗运动和随机版本的Lorenz-63模型。由于存在依赖于状态的随机分量,后者特别难以处理。通过不同的仿真结果验证了算法的性能。此外,与用于非线性漂移估计的参考梯度匹配方法和基于神经网络的方法进行了比较,该方法不考虑随机项。
2021-05-18 cs.LG math.DS
Metric Entropy Limits on Recurrent Neural Network Learning of Linear Dynamical Systems
ETH Zurich(苏黎世联邦理工学院)
神经网络理论中最有影响力的结果之一是通用逼近定理[1,2,3],该定理指出连续函数可以通过单隐层前馈神经网络在任意精度内逼近。本文的目的是建立一个结果,在这种精神的近似一般离散时间线性动力系统-包括时变系统-递归神经网络(RNNs)。对于线性时不变(LTI)系统的子类,我们设计了这个声明的定量版本。具体来说,根据[4],通过度量熵来测量所考虑的LTI系统的复杂性,我们证明了RNN可以最佳地学习-或者用系统理论的说法来识别-稳定的LTI系统。对于输入-输出关系通过差分方程表征的LTI系统,这意味着RNN可以以度量熵最优的方式从输入-输出轨迹中学习差分方程。
2021-12-15 cs.IT cs.LG math.DS
A Dynamically Controlled Recurrent Neural Network for Modeling Dynamical Systems
The Pennsylvania State University(宾夕法尼亚州立大学);Children’s Hospital of Philadelphia(费城儿童医院)
这项工作提出了一种新的神经网络架构,称为动态控制的循环神经网络(DCRNN),专门设计用于模拟由常微分方程(ODE)控制的动态系统。这些类型的动态系统的当前状态向量仅取决于它们的状态空间模型以及各自的输入和初始条件。长短期记忆(LSTM)网络已被证明对基于记忆的任务非常有效,但可能无法对物理过程进行建模,因为它们倾向于记忆,而不是学习如何捕捉底层动态的信息。建议的DCRNN包括可学习的跳过连接以前隐藏的状态,并引入了正则化项的损失函数依赖于李雅普诺夫稳定性理论。正则化器使得由DCRNN引起的传递函数的特征值能够放置到期望值,从而充当隐藏状态轨迹的内部控制器。结果表明,对于预测混沌动力系统,DCRNN优于$100$随机实验中的$100$中的LSTM,通过减少$80.0\% \pm 3.0\%$的LSTM预测的均方误差。
2019-10-31 cs.LG cs.NE stat.ML
Towards Infinitely Long Neural Simulations: Self-Refining Neural Surrogate Models for Dynamical Systems
Courant Institute School of Mathematics, Computing, and Data Science, New York University, USA(Courant学院数学、计算与数据科学学院,纽约大学,美国)
本文提出自修正神经代理模型(SNS),通过条件扩散模型在无需超参数的情况下平衡短期精度与长期一致性,实现对复杂动力系统长时间模拟的高保真度。
2026-03-18 cs.LG
Symplectic Neural Networks Based on Dynamical Systems
SINTEF Digital(SINTEF数字公司);Department of Mathematics and Cybernetics(数学与控制论系)
本研究提出基于哈密顿微分方程几何积分器的辛神经网络框架,证明其通用逼近等特性,给出线性系统表示理论,实验表明该框架在更低训练成本下精度提升数个数量级,还可用于多项式系统符号哈密顿回归。
2024-08-19 cs.CE cs.LG cs.NA
Long-time predictive modeling of nonlinear dynamical systems using neural networks
University of Michigan(密歇根大学)
我们研究使用前馈神经网络(FNN)开发的非线性动力系统的数据模型。重点放在预测在很长一段时间内,有限的数据可用性。受全局稳定性分析的启发,并观察到局部误差与神经网络雅可比矩阵的最大奇异值之间的强相关性,我们在损失函数中引入雅可比正则化。这种正则化抑制了预测对局部误差的敏感性,并提高了准确性和鲁棒性。所提出的方法和稀疏多项式回归之间的比较,从简单的常微分方程系统的非线性偏微分方程系统,包括圆柱体后的涡脱落,和不稳定驱动的浮力混合流的数值例子。此外,前馈神经网络的局限性突出,特别是当训练数据不包括低维吸引子。数据扩充策略在一定程度上解决了这些问题。
2018-11-14 cs.LG math.DS stat.ML
Dynamical Implicit Neural Representations
University of California, Los Angeles(加州大学洛杉矶分校);Brookhaven National Laboratory(布鲁克海文国家实验室)
动态隐式神经表示通过将特征演化视为连续时间动力学系统,缓解谱偏置问题,提升表达力和泛化能力。
2025-11-26 cs.LG
MPINeuralODE: Multiple-Initial-Condition Physics-Informed Neural ODEs for Globally Consistent Dynamical System Learning
Department of Chemical Engineering, Imperial College London(帝国理工学院伦敦校区化学工程系)
本文提出MPINeuralODE,结合软物理信息残差和多初始条件多步学习策略,有效提升动力系统学习的泛化能力与稳定性,实验显示其在样本外误差、长时域稳定性及哈密顿漂移方面表现优异。
2026-07-07 cs.LG math.DS physics.chem-ph
A Low-complexity Structured Neural Network to Realize States of Dynamical Systems
Department of Mathematics, Embry-Riddle Aeronautical University(数学系,艾姆伯里-里德尔航空航天大学);Seminar for Applied Mathematics, ETH Zurich(应用数学研讨会,苏黎世联邦理工学院);Department of Mathematics & Systems Engineering, Florida Institute of Technology(数学与系统工程系,佛罗里达理工学院)
本文提出基于 Hankel 算子的结构化神经网络 StNN,以低参数和低计算复杂度求解状态空间动力系统,并在 Lotka-Volterra 与 Lorenz 系统中验证其优势。
2025-07-26 cs.LG math.DS
Neural Closure Models for Dynamical Systems
Massachusetts Institute of Technology(麻省理工学院)
复杂动力学系统在许多领域中被用于预测。由于计算成本,模型被截断、粗化或聚合。当被忽略和未解决的项变得重要时,模型预测的效用就降低了。我们开发了一种新颖的,多功能的,严格的方法来学习非马尔可夫封闭参数化已知的物理/低保真模型使用高保真度模拟的数据。新的“神经闭合模型”增加了低保真度模型与神经延迟微分方程(nDDE),动机的Mori-Zwanzig制定和复杂的动力系统中的固有延迟。我们证明,神经闭包有效地占截断模式的降阶模型,捕获亚网格尺度过程的影响,在粗糙的模型,并增加复杂的生物和物理-地球化学模型的简化。我们发现,使用非马尔可夫马尔可夫闭包提高了长期预测的准确性,需要更小的网络。我们推导出伴随方程和网络架构需要有效地实现新的离散和分布式nDDE,任何时间积分方案,并允许非均匀间隔的时间训练数据。使用信息论解释了封闭模型中离散分布延迟的性能,并找到了指定架构的最佳过去信息量。最后,我们分析了计算复杂性,并解释了有限的额外成本,由于神经闭合模型。
2021-07-13 cs.LG math.DS physics.flu-dyn
Bilinear residual Neural Network for the identification and forecasting of dynamical systems
IMT Atlantique(IMT大西洋学院);Lab-STICC(通信与计算机科学实验室);INRIA Bretagne-Atlantique(法国国家信息与自动化研究所布列塔尼-大西洋中心)
由于大规模观测和仿真数据集的可用性越来越高,数据驱动表示作为动力系统的有效和相关的计算表示出现在广泛的应用中,其中基于常微分方程的模型驱动模型仍然是最先进的方法。在这项工作中,我们研究神经网络(NN)作为物理健全的数据驱动的表示这样的系统。重新解释龙格-库塔方法的图形模型,我们认为残留NN架构,并引入双线性层嵌入非线性动力系统的内在特征。从经典动力系统的数值实验,我们证明了建议的NN为基础的架构的预测性能和模型识别方面的相关性。
2017-12-19 cs.LG eess.SP physics.data-an
A Dynamical System Perspective for Lipschitz Neural Networks
LAMSADE, Université Paris-Dauphine, CNRS, PSL University(巴黎多芬大学LAMSADE实验室、法国国家科学研究中心、巴黎文理研究大学);ESPCI Paris(巴黎高等物理化工学院);Facebook AI Research(脸书人工智能研究院);INRIA, Ecole Normale Supérieure, CNRS, PSL University(法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、巴黎文理研究大学)
神经网络的Lipschitz常数被确定为增强对抗性样本鲁棒性的关键量。在本文中,我们解决了建立$1$ -Lipschitz神经网络的问题.通过从连续时间动力系统的角度研究残差网络,我们提供了一种通用的方法来构建$1$ -Lipschitz神经网络,并表明以前的一些方法是这种框架的特殊情况。然后,我们扩展了这个推理,并表明从凸势导出的ResNet流定义了$1$ -Lipschitz变换,这使我们定义了{ \em凸势层}(CPL)。在几个数据集上进行的一组全面的实验证明了我们的架构的可扩展性以及作为对抗性示例的$\ell_2$可证明防御的好处。
2022-02-01 cs.LG
Unsupervised learning of multiscale switching dynamical system models from multimodal neural data
University of Southern California(南加州大学)
本文提出了一种无监督学习方法,通过多尺度神经观测学习切换多尺度动力学系统模型,以更准确解码行为并提升脑机接口性能。
2025-12-14 cs.LG q-bio.NC stat.ML
Neural Dynamical Systems: Balancing Structure and Flexibility in Physical Prediction
Carnegie Mellon University(卡内基梅隆大学);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室)
我们介绍神经动力系统(NDS),学习动态模型的方法,在各种灰箱设置,其中包括先验知识的形式系统的常微分方程。NDS使用神经网络来估计系统的自由参数,预测残差项,并随时间进行数值积分以预测未来状态。一个关键的见解是,许多感兴趣的真实动态系统很难建模,因为动态可能会因部署而异。我们缓解这个问题,采取的轨迹先验状态作为输入NDS和训练它动态估计系统参数使用前的轨迹。我们发现,NDS学习动态具有更高的准确性和更少的样本比各种深度学习方法,不结合先验知识和方法从系统辨识文献。我们证明了这些优势,首先在合成动力系统,然后从氘枪从核聚变反应堆捕获的真实数据。最后,我们证明,这些好处可以用于控制在小规模的实验。
2021-04-27 cs.LG stat.ML
dynoNet: a neural network architecture for learning dynamical systems
IDSIA Dalle Molle Institute for Artificial Intelligence(IDSIA达勒莫尔人工智能研究所);USI-SUPSI, Lugano, Switzerland(瑞士卢加诺的提契诺大学与瑞士南部应用科学与艺术大学)
本文介绍了一种网络架构,称为dynoNet,利用线性动力学算子作为基本的积木。由于这些模块的动态特性,dynoNet网络可用于序列建模和系统辨识。定义了线性动力学算子关于其参数和输入序列的反向传播行为。这使得能够利用现有的深度学习软件对包含线性动力学算子和其他可微单元的结构化网络进行端到端训练。在著名的系统辨识基准上的实例表明了该方法的有效性。算例表明,该方法对著名的系统辨识基准的有效性。
2021-04-20 cs.LG cs.SY eess.SY
Dictionary Learning by Dynamical Neural Networks
Intel Corporation(英特尔公司)
动态神经网络由一组相互连接的神经元组成,这些神经元随时间连续交互。它可以表现出计算特性,在这个意义上,动力系统的演化和/或在相关状态空间中的极限点可以对应于某些数学优化或学习问题的数值解。这样的计算系统特别有吸引力,因为它可以被映射到大规模并行计算机体系结构以获得功率和吞吐量效率,特别是如果每个神经元可以单独依赖于局部信息(即,本地存储器)。然而,从动态网络的各种状态导出梯度,同时符合最后一个约束,是具有挑战性的。我们表明,通过结合自上而下的反馈和对比学习的思想,可以构建一个动态网络来解决l1-最小化字典学习问题,并证明学习的真实梯度是可计算的单个神经元。使用尖峰神经元来构建我们的动态网络,我们提出了一个学习过程,其严格的数学分析,并对几个字典学习问题的数值结果。
2018-05-23 cs.LG stat.ML
Dynamically Stable Poincaré Embeddings for Neural Manifolds
Zhejiang University(浙江大学)
在黎曼流形中,Ricci流是一个偏微分方程,用于使度量变得更加正则。我们希望从这样的度量拓扑结构可以用来协助机器学习的任务。然而,这部分工作仍然缺失。在本文中,我们提出了Ricci流辅助的Eucl 2 Hyp 2 Eucl神经网络,通过将神经流形从欧几里得空间映射到动态稳定的庞加莱球,然后再映射回欧几里得空间,弥合了Ricci流和深度神经网络之间的差距。结果证明,如果初始度量有一个偏离Poincaré球上双曲度量的$L^2$ -范数扰动,则这类度量的标度Ricci-DeTurck流光滑地指数收敛于双曲度量.具体地说,里奇流的作用是作为自然演化到稳定的庞加莱球。对于这种在Ricci流下动态稳定的神经流形,嵌入这种流形的神经网络的收敛性不受扰动的影响。我们证明了Ricci流辅助的Eucl 2 Hyp 2 Eucl神经网络在图像分类任务上优于所有的欧几里得神经网络。
2022-02-16 cs.LG math-ph math.MP
Control of dynamical systems with neural networks
Department of Computational Science and Philosophy(计算科学与哲学系);Frankfurt School of Finance and Management(法兰克福金融与管理学院);Laboratory for Systems Medicine(系统医学实验室);University of Florida(佛罗里达大学)
本文提出利用神经网络和现代机器学习库,为不同动态系统提供控制输入参数化方法,适用于复杂现实应用。
2025-10-06 cs.LG cs.SY eess.SY
Receding Hamiltonian-Informed Optimal Neural Control and State Estimation for Closed-Loop Dynamical Systems
该研究提出哈密顿信息最优神经(Hion)控制器及T-mano架构,结合庞特里亚金最大值原理实现动力系统的显式非线性预测控制与闭环反馈,对比实验验证其在最优性与跟踪能力上更优,可适配线性与非线性系统。
2025-07-29 cs.AI cs.ET cs.LG
Physics-Informed Convolutional Neural Networks for Corruption Removal on Dynamical Systems
Imperial College London(帝国理工学院);Alan Turing Institute(艾伦·图灵研究所)
对动力系统的测量,无论是实验的还是其他的,经常会受到不准确的影响,从而导致腐败;消除腐败是物理科学中一个至关重要的问题。在这项工作中,我们提出了用于静态腐败去除的物理信息卷积神经网络,提供了从数据中提取物理解决方案的方法,可以访问配置点处的部分地面实况观测。我们展示了二维不可压缩的纳维-斯托克斯方程的方法在混乱的湍流政权,表现出鲁棒性的方式和腐败的幅度。
2022-11-07 cs.LG physics.flu-dyn
A new local time-decoupled squared Wasserstein-2 method for training stochastic neural networks to reconstruct uncertain parameters in dynamical systems
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学研究所);Department of Mathematics, University of Houston(休斯顿大学数学系);Nuffield Department of Medicine, University of Oxford(牛津大学纳菲尔德医学院);Mathematical Institute, University of Oxford(牛津大学数学研究所)
本文提出局部时间解耦平方Wasserstein-2损失函数,用于训练随机神经网络以重构动力系统中不确定参数的分布,并通过数值实验验证其有效性。
2025-03-07 cs.LG math.PR
A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
当配备有有效的优化算法时,过参数化神经网络已经表现出高水平的性能,即使损失函数是非凸和非光滑的。虽然许多工作一直专注于通过使用梯度下降(GD)训练神经网络来理解损失动态,但在这项工作中,我们考虑了广泛的一类在实践中常用的优化算法。例如,我们表明,从动力系统的角度来看,重球(HB)方法可以收敛到全局最小的均方误差(MSE)在一个线性的速度(类似于GD),然而,Nesterov加速梯度下降(NAG)可能只收敛到全局最小次线性。我们的结果依赖于神经切线核(NTK)和具有ReLU激活的有限过参数化神经网络之间的联系,这导致分析优化算法的极限常微分方程(ODE)。我们表明,优化非凸损失的权重对应于优化一些强凸损失的预测误差。因此,我们可以利用经典的凸优化理论来理解神经网络的收敛行为。我们相信我们的方法也可以扩展到其他优化算法和网络架构。
2021-03-10 cs.LG math.DS math.OC
Learn one size to infer all: Exploiting translational symmetries in delay-dynamical and spatio-temporal systems using scalable neural networks
Instituto de Física Interdisciplinar y Sistemas Complejos (IFISC, UIB-CSIC)(跨学科物理与复杂系统研究所(IFISC,UIB-CSIC))
本文提出利用平移对称性的可扩展神经网络,仅通过单一尺寸训练即可推断不同尺寸延迟动力与时空系统的动力学及完整分岔图。
2024-07-05 cs.LG nlin.AO
BlinDNO: A Distributional Neural Operator for Dynamical System Reconstruction from Time-Label-Free data
Department of Mathematical Sciences, Tsinghua University, Beijing, China(清华大学数学科学系);Yau Mathematical Sciences Center, Tsinghua University, Beijing, China(清华大学姚期智信息科学研究院);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications, Beijing, China(北京燕琦湖数学科学与应用研究院)
针对无时间标签设置下随机和量子动力系统的逆问题,提出排列不变架构BlinDNO(集成多尺度U-Net编码器与注意力混合器),能从无序密度快照中恢复演化算子参数,在多系统实验中优于现有基线。
2025-11-15 cs.CE cs.LG math.DS
Predicting dynamical system evolution with residual neural networks
Keldysh Institute of Applied Mathematics of the Russian Academy of Sciences(俄罗斯科学院克尔德什应用数学研究所);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Marchuk Institute of Numerical Mathematics of the Russian Academy of Sciences(俄罗斯科学院马尔丘克数值数学研究所)
预测时间序列和时间相关数据是许多应用中的常见问题。一个典型的例子是求解常微分方程(ODE)系统$\dot{x}=F(x)$。通常,右手侧函数$F(x)$并不明确,ODE系统由在某些时间点采集的溶液样品描述。因此,不能使用ODE解算器。在本文中,数据驱动的方法来学习动力系统的演化被认为是。我们展示了如何通过在解决方案样本上训练具有ResNet类架构的神经网络,可以开发模型来进一步预测ODE系统解决方案。通过对三个测试ODE系统的评估,我们证明了神经网络模型能够很好地再现系统的主要动态。此外,预测的解决方案保持稳定的时间比其他目前已知的模型长得多。
2019-10-11 cs.LG math.DS physics.comp-ph
Dynamically Computing Adversarial Perturbations for Recurrent Neural Networks
University of California, Berkeley(加利福尼亚大学伯克利分校);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
卷积和循环神经网络已被广泛用于实现分类任务的最新性能。然而,人们也注意到,这些网络可以相对容易地通过精心设计的输入加性扰动进行逆向操纵。虽然有几个实验建立的先前的工作存在的制作和防御攻击,它也是可取的理论保证对抗性的例子和网络的鲁棒性裕度的存在,这样的例子。我们在本文中提供了这两个。我们特别关注递归架构,并从动力系统理论中汲取灵感,将其自然地转换为控制问题,使我们能够在输入序列的每个时间步动态计算对抗性扰动,从而类似于反馈控制器。说明性的例子提供补充的理论讨论。
2020-09-07 cs.LG cs.SY eess.SY
Poisson-Dirac Neural Networks for Modeling Coupled Dynamical Systems across Domains
Osaka University(大阪大学);Kobe University(神户大学);Waseda University(早稻田大学);Hokkaido University(北海道大学)
针对现有深度学习模型在动力系统建模中局限于机械系统且忽视耦合的问题,提出了基于Dirac结构的Poisson-Dirac神经网络(PoDiNNs),统一了port-Hamiltonian和Poisson公式,实现了跨领域耦合系统的统一表示,提升了建模准确性与可解释性。
2024-10-15 cs.LG
Comparison of neural network training strategies for the simulation of dynamical systems
Center for Vision, Automation & Control, AIT Austrian Institute of Technology GmbH(视觉、自动化与控制中心,奥地利技术研究所);Institute of Analysis and Scientific Computing, TU Wien(分析与科学计算研究所,维也纳技术大学)
本文比较了并行与串并行训练策略在动态系统模拟中的性能,发现并行训练在长期预测准确性上更优,建议其作为默认策略。
2026-01-05 cs.LG stat.ML
A Transition System Abstraction Framework for Neural Network Dynamical System Models
School of Computer and Cyber Sciences, Augusta University(奥古斯塔大学计算机与网络科学学院);School of Computing, University of Nebraska-Lincoln(内布拉斯加大学林肯分校计算学院);School of Electrical Engineering, Southwest Jiaotong University(西南交通大学电气工程学院)
本文提出一种基于最大熵划分和集值可达性分析的转移系统抽象框架,将黑盒神经网络动力系统模型转化为可解释的转移系统,并通过计算树逻辑验证其在手写动力学等复杂系统中的有效性。
2024-02-18 cs.LG cs.SY eess.SY
Dynamical stability and chaos in artificial neural network trajectories along training
Institute for Cross-Disciplinary Physics and Complex Systems (IFISC, CSIC-UIB)(交叉学科物理与复杂系统研究所(IFISC,西班牙高等科学研究委员会-巴利阿里群岛大学))
论文将神经网络训练视为图空间动力系统,通过分析浅层网络在分类任务中的轨迹,揭示不同学习率下的稳定性、规则与混沌行为。
2024-04-08 cond-mat.dis-nn cs.LG nlin.CD
Decomposing heterogeneous dynamical systems with graph neural networks
Janelia Research Campus, Howard Hughes Medical Institute(贾能研究校园、霍华德·霍夫曼医学研究所)
针对自然中复杂异质动力系统的分解难题,提出用简单图神经网络联合学习相互作用规则与潜在异质性,经多类仿真实验验证,有望成为揭示复杂动力学控制规则的通用工具。
2025-08-31 cs.AI cs.LG math.DS