Hamiltonian-based Neural ODE Networks on the SE(3) Manifold For Dynamics Learning and Control
University of California, San Diego(加州大学圣地亚哥分校)
精确的机器人动力学模型对于机器人的安全稳定控制和新操作条件的推广至关重要。然而,手工设计的模型可能不够准确,即使经过仔细的参数调整。这促使使用机器学习技术来近似机器人动态的状态控制轨迹的训练集。许多机器人的动力学,包括地面,空中和水下航行器,描述了他们的SE(3)位姿和广义速度,并满足能量守恒原理。本文提出了一种在SE(3)流形上的神经元常微分方程(ODE)网络结构的Hamilton形式,以逼近刚体动力学。与黑箱ODE网络相比,我们的公式保证了建筑的总节能。我们开发了能量成形和阻尼注入控制的学习,潜在的欠驱动SE(3)哈密顿动力学,使一个统一的方法,稳定和轨迹跟踪与各种平台,包括钟摆,刚体和四旋翼系统。
2021-11-25 cs.LG cs.RO cs.SY
Data-driven Prediction of General Hamiltonian Dynamics via Learning Exactly-Symplectic Maps
Georgia Institute of Technology(佐治亚理工学院)
我们考虑了由潜在辛映射生成的非线性时间序列的学习和预测。一个特例是(不一定是可分的)哈密顿系统,其解流给出这样的辛映射。对于这种特殊情况,既有基于学习潜在常微分方程的向量场的通用方法,也有基于学习生成向量场的哈密顿量的专用方法。然而,我们的方法是不同的,因为它不依赖于向量场,也不假设它的存在;相反,它直接学习离散时间的辛演化映射。此外,我们通过生成函数表示辛映射来实现这一点,我们用神经网络(因此命名为GFNN)来近似生成函数。这样,我们对进化图的近似始终是\emph{exactly}辛的。这种额外的几何结构允许在每一步的局部预测误差以受控的方式累积,并且我们将证明,在合理的假设下,全局预测误差随着长预测时间最多增长\emph{linearly},这显著改善了指数增长。此外,作为一种基于地图的纯数据驱动的方法,GFNN避免了基于矢量场的方法中常见的两个额外的不准确性来源,即通过数据的有限差分近似矢量场的误差,以及用于进行预测的矢量场的数值积分的误差。数值实验进一步证明了我们的主张。
2021-06-12 cs.LG cs.NA math.DS
Accelerating ODE-Based Neural Networks on Low-Cost FPGAs
Keio University(庆应义塾大学)
ODENet是一种深度神经网络架构,其中ResNet的堆叠结构是用常微分方程(ODE)求解器实现的。它可以减少参数的数量,并通过选择合适的求解器在精度和性能之间取得平衡。还可以在资源有限的边缘设备上保持相同数量的参数的同时提高精度。本文采用欧拉方法作为ODE求解器,在PYNQ-Z2等低成本FPGA(Field-Programmable门阵列)板上实现了ODENet的部分专用逻辑。作为ODENet的变种,减少ODENets(rODENets),其中每一个都大量使用的ODENet层的一部分,并减少/消除一些层不同的低成本FPGA实现提出和分析。它们的参数大小,精度,执行时间和FPGA上的资源利用率方面进行评估。结果表明,与纯软件执行相比,rODENet变体的总体执行时间提高了2.66倍,同时保持了与原始ODENet相当的准确性。
2023-03-10 cs.AI cs.LG
Hamiltonian Graph Networks with ODE Integrators
DeepMind(深度思维);NYU(纽约大学)
我们介绍了一种方法,在学习模拟模型中施加物理信息的归纳偏见。我们结合图形网络与可微常微分方程积分器作为预测未来状态的机制,和作为内部表示的哈密顿量。我们发现,我们的方法在预测准确性,能量准确性和zero-shot泛化到时间步长和积分器阶数方面优于没有这些偏差的基线。这推进了学习模拟的最新技术,并且原则上适用于物理领域之外。
2019-09-27 cs.LG physics.comp-ph
CHLU: The Causal Hamiltonian Learning Unit as a Symplectic Primitive for Deep Learning
本文提出CHLU,一种基于物理的计算学习原初,通过 enforcing 相对论哈密顿结构和利用辛积分,严格保持相空间体积,以解决记忆稳定性权衡问题,并在MNIST数据集上展示其生成能力。
2026-03-15 cs.AI cs.LG physics.app-ph
Continuous Convolutional Neural Networks: Coupled Neural PDE and ODE
Maynooth University(梅努斯大学)
最近的深度学习工作集中在求解常微分方程或偏微分方程中的物理系统。当前的工作提出了一种卷积神经网络(CNN)的变体,其可以使用常微分方程(ODE)系统(ODE)和偏微分方程系统(PDE)来学习物理系统的隐藏动力学。这种新的技术可以用微分方程的形式对系统进行建模,而不是将图像、时间序列等物理系统看作是一个多层系统。通过求解非规则区域上的稳态偏微分方程,包括热方程、Navier-Stokes方程,对所提出的方法进行了评估。
2021-10-30 cs.LG
An ODE Model for Dynamic Matching in Heterogeneous Networks
University of California, Los Angeles(加州大学洛杉矶分校);Peking University(北京大学)
我们研究了异构网络中的动态匹配问题,其中代理受到兼容性限制和随机到达和离开时间。特别是,我们认为网络与一种类型的易于匹配的代理和多种类型的难以匹配的代理,每个受自己的兼容性约束。这种设置出现在许多现实世界的应用中,包括肾脏交换计划和拼车平台。本文提出了一种新的动态匹配建模方法,即建立常微分方程模型,为评价各种匹配算法提供了一个新的视角。我们研究了两种算法,即贪婪和耐心的算法,这两种算法优先匹配兼容的难以匹配的代理商在异构网络中容易匹配的代理。我们的研究结果表明,匹配代理的冲突目标之间的权衡迅速和最佳的,提供洞察到现实世界的动态匹配系统的设计。我们提供了模拟和现实世界的案例研究,使用来自器官采购和移植网络的数据来验证理论预测。
2023-03-08 cs.LG stat.ML
ANODEV2: A Coupled Neural ODE Evolution Framework
University of California at Berkeley(加州大学伯克利分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);ICSI(国际计算机科学研究所)
已经观察到,残差网络可以被视为常微分方程(ODE)的显式欧拉离散化。这一观察激发了所谓的神经常微分方程的引入,它允许更一般的离散化方案与自适应时间步进。在这里,我们提出了ANODEV 2,这是一个扩展的这种方法,也允许演变的神经网络参数,在一个耦合的ODE为基础的配方。前面介绍的神经ODE方法实际上是这个新的更一般框架的特例。我们提出了ANODEV 2的公式,推导出最优性条件,并在PyTorch中实现了该框架的耦合反应-扩散-平流版本。我们使用几种不同配置的ANODEV 2,在CIFAR-10上的多个模型上测试它们,给出了实证结果。我们报告的结果表明,这种耦合的基于ODE的框架确实是可训练的,并且与基线模型以及最近提出的神经ODE方法相比,它实现了更高的准确性。
2019-06-10 cs.LG stat.ML
Symplectic Neural Networks in Taylor Series Form for Hamiltonian Systems
Dartmouth College(达特茅斯学院);Rutgers University(罗格斯大学);Middlebury College(明德学院)
我们提出了一个有效的和轻量级的学习算法,辛泰勒神经网络(泰勒网),进行连续的,长期的预测一个复杂的哈密顿动力系统的基础上稀疏,短期的观察。在我们的算法的核心是一个新的神经网络架构,由两个子网络。两者都嵌入了泰勒级数展开形式的对称结构设计的条款。支撑我们的基础设施的关键机制是强大的表达能力和特殊的对称性质的泰勒级数展开,这自然适应的数值拟合过程中的梯度的Hamilton广义坐标,以及保持其辛结构。我们进一步将四阶辛积分器与神经ODE的框架结合到我们的泰勒网络架构中,以学习目标系统的连续时间演化,同时保持其辛结构。我们证明了我们的泰勒网络在预测广泛的哈密顿动力系统,包括钟摆,洛特卡-Volterra,开普勒,和Hénon-Heiles系统的功效。我们的模型表现出独特的计算性能优于以前的方法在很大程度上的预测精度,收敛速度,和鲁棒性,尽管使用非常小的训练数据,训练周期短(比预测周期短6000倍),小样本量,没有中间数据训练网络。
2022-02-20 cs.LG math.DS
Variational formulations of ODE-Net as a mean-field optimal control problem and existence results
Graduate School of Mathematical Sciences, The University of Tokyo(东京大学数理科学研究科);Graduate School of Science, Tohoku University(东北大学理学研究科)
本文将 ODE-Net 学习问题表述为测度论平均场最优控制问题,在线性参数条件下证明最小化子存在性,并提出理想化问题以去除线性假设,为深度神经网络学习过程提供新的分析途径。
2024-10-20 cs.LG math.AP math.OC
MRI Image Reconstruction via Learning Optimization Using Neural ODEs
United Imaging Intelligence(联影智能)
我们建议制定MRI图像重建作为一个优化问题和模型的优化轨迹作为一个动态过程,使用常微分方程(ODE)。我们用神经网络对ODE中的动力学进行建模,并用现成的(固定的)求解器求解所需的ODE以获得重建图像。我们扩展了这个模型,并将现成的ODE求解器的知识融入到网络设计中(学习求解器)。我们调查了几个模型的基础上三个ODE求解器和固定求解器和学习求解器的模型进行比较。我们的模型实现了更好的重建结果,并且比其他流行的方法(如UNet和级联CNN)更具参数效率。我们介绍了一种新的方法来解决MRI重建问题的建模连续优化动态使用神经常微分方程。
2020-09-14 cs.LG eess.IV
Review: Ordinary Differential Equations For Deep Learning
为了更好地理解和改进神经网络的行为,最近的一系列工作桥接了常微分方程(ODE)和深度神经网络(DNN)之间的联系。这种联系有两个方面:(1)将DNN视为ODE离散化;(2)将DNN的训练视为解决最优控制问题。前一种联系促使人们要么设计基于ODE离散化方案的神经架构,要么用ODE特征的连续模型取代DNN。一些工作证明了在某些特定应用中使用连续模型而不是传统DNN的明显优势。后一种联系是鼓舞人心的。基于最优控制文献中流行的庞特里亚金极大值原理,有人发展了新的训练神经网络的优化方法,也有人发展了用低存储量训练无限深连续模型的算法。第二节介绍了神经网络结构与常微分方程离散化的关系。有些架构不是由ODE驱动的,但后来发现它们与某些特定的离散化方案有关。一些结构是基于ODE离散化设计的,并期望实现一些特殊的性质。第3节阐述了用连续模型(ODE)代替传统神经网络的优化问题。所述公式化的优化问题是最优控制问题。因此,本节还将讨论两种不同类型的控件。在第4节中,我们将讨论如何利用最优控制文献中流行的优化方法来帮助训练机器学习问题。最后,在第5节和第6节中将展示使用连续模型的两个应用,以展示其相对于传统神经网络的一些优势。
2019-11-01 cs.LG stat.ML
Symplectic Recurrent Neural Networks
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院);Tianjin University(天津大学)
我们提出辛循环神经网络(SRNN)作为学习算法,从观察到的轨迹捕捉物理系统的动态。SRNN通过神经网络对系统的哈密顿函数进行建模,并进一步利用辛积分、多步训练和初始状态优化来解决与哈密顿系统相关的具有挑战性的数值问题。我们表明,SRNN成功可靠的复杂和嘈杂的哈密顿系统。我们还展示了如何增强SRNN集成方案,以处理刚性动力系统,如弹跳台球。
2020-04-25 cs.LG stat.ML
Autoregressive GNN-ODE GRU Model for Network Dynamics
Shanghai Jiao Tong University(上海交通大学);Shanghai University(上海大学)
揭示网络上的连续动力学对于理解、预测甚至控制复杂系统是必不可少的,但是由于复杂和未知的控制方程、复杂系统的高维数以及不令人满意的观测结果,很难学习和建模连续网络动力学。此外,在实际情况下,观测到的时间序列数据通常是不均匀和稀疏的,这也带来了严重的挑战。在本文中,我们提出了一个自回归GNN-ODE GRU模型(AGOG)学习和捕获连续的网络动态,并实现预测节点状态在任意时间的数据驱动的方式。GNN模块用于对复杂的非线性网络动力学进行建模。该方法利用常微分方程系统确定节点状态的隐态,利用增广常微分方程系统将GNN映射到连续时域。隐藏状态通过GRUCell通过观察进行更新。作为先验知识,在同一时间戳的真实观察与下一次预测的隐藏状态相结合。我们使用自回归模型进行一步预测的基础上的观测历史。通过求解常微分方程的初值问题来实现预测。为了验证我们的模型的性能,我们将学习的动态可视化,并在三个任务中进行测试:插值重建,外推预测和规则序列预测。结果表明,该模型能够准确地捕捉复杂系统的连续动态过程,并以最小的误差对节点状态进行精确预测。我们的模型可以始终优于其他基准或实现可比的性能。
2022-11-19 cs.AI cs.LG
Learning Generalized Hamiltonians using fully Symplectic Mappings
本文提出利用完全辛映射学习广义非可分离哈密顿量的方法,通过避免反向传播提升计算效率,并在噪声环境下实现良好的哈密顿量近似。
2025-12-09 cs.AI cs.LG
Closing the gap: Optimizing Guidance and Control Networks through Neural ODEs
Advanced Concepts Team, European Space Research and Technology Centre (ESTEC)(高级概念团队,欧洲空间研究与技术中心(ESTEC))
本研究利用Neural ODE的变分方程灵敏度优化航天器G&CNETs控制策略,显著降低了轨道转移与着陆任务的最终状态误差并提升了可靠性。
2024-04-25 cs.AI cs.LG cs.NE
SNODE: Spectral Discretization of Neural ODEs for System Identification
NNAISENSE
本文提出了使用谱元素方法\citep{canuto_spectral_1988}神经常微分方程(ODE网; \citealp{Chen2018NeuralOD})的快速和准确的训练系统辨识。这是通过将它们的动力学表示为勒让德多项式的截断序列来实现的。通过最小化损失函数和ODE-Net动态违规的加权和来计算串联系数以及网络权重。这个问题是解决的坐标下降,交替最小化,相对于系数和权重,两个无约束的子问题,使用标准的反向传播和梯度方法。由此产生的优化方案是完全时间并行的,并导致低内存占用。实验比较标准的方法,如反向传播通过显式求解器和伴随技术\citep{Chen2018NeuralOD},在训练代理模型的小型和中型动力系统表明,它是至少一个数量级更快地达到可比值的损失函数。相应的测试MSE也小一个数量级,表明泛化能力增加。
2020-01-17 cs.LG cs.NE
Modelling Networked Dynamical System by Temporal Graph Neural ODE with Irregularly Partial Observed Time-series Data
Cranfield University(克兰菲尔德大学)
针对不规则采样且部分可观测的图结构时间序列,本文提出融合可靠性与时间感知机制的 Graph Neural ODE,以捕捉时空依赖、重构动态并提升预测。
2024-11-29 cs.LG
Stiff Neural Ordinary Differential Equations
Massachusetts Institute of Technology(麻省理工学院);Julia Computing Inc.(朱莉娅计算公司);University of Maryland(马里兰大学);Pumas AI(普马斯人工智能)
神经常微分方程是一种从时间序列数据中学习动态模型的有效方法。本文研究了刚性组系统的神经常微分方程,这类系统通常由化学和生物系统中的化学动力学模型提出。我们首先展示了学习神经ODE在经典的刚性ODE系统的罗伯逊问题的挑战,并提出了技术,以减轻与规模分离的刚性组系统的挑战。然后,我们提出了成功的示范刚性组的罗伯逊问题和空气污染问题。演示表明,使用具有整流激活的深度网络,适当缩放网络输出以及损失函数和稳定梯度计算是实现刚性神经ODE学习的关键技术。学习刚性神经常微分方程的成功开辟了将神经常微分方程用于具有广泛变化时间尺度的应用的可能性,例如能量转换中的化学动力学,环境工程和生命科学。
2021-09-14 cs.LG cs.NA math.NA
Locally-symplectic neural networks for learning volume-preserving dynamics
University of Latvia(拉脱维亚大学)
我们提出了局部辛神经网络LocSymNets学习相体积保持动力学的流动。LocSymNets的构造源于无发散向量场的局部哈密顿描述定理和基于辛积分的分裂方法。最近提出的保辛神经网络SympNets的辛梯度模被用来构造可逆的局部辛模。为了进一步保持动力系统的流的性质,将LocSymNets扩展到对称局部辛神经网络SymLocSymNets,使得SymLocSymNets的逆等于SymLocSymNets具有负时间步长的前馈传播,这是动力系统流的一般性质。LocSympNets和SymLocSympNets的数值研究考虑学习线性和非线性体积保持动力学。我们展示了学习的线性行波解的半离散平流方程,自由刚体的运动的欧拉方程的周期轨迹,和准周期解的带电粒子运动在电磁场中。LocSympNets和SymLocSympNets可以学习线性和非线性动力学,即使在训练数据中添加随机噪声时也能达到很高的精度。局部辛神经网络在学习刚体动力学的单一轨迹时,可以学习系统的两个二次不变量,绝对相对误差小于1%。此外,SymLocSymNets产生定性良好的长期预测,当考虑从随机采样数据的整个系统的学习。LocSympNets和SymLocSympNets可以产生准周期解的精确短时预测,这在带电粒子在电磁场中运动的例子中得到了说明。
2023-01-09 cs.LG math-ph math.MP
ODE-GS: Latent ODEs for Dynamic Scene Extrapolation with 3D Gaussian Splatting
Yale University(耶鲁大学);TU Delft(代尔夫特理工大学);Louisiana State University(路易斯安那州立大学);RTX(RTX公司)
ODE-GS结合隐式ODE与3D高斯点划法,通过连续时间隐式动态建模实现动态3D场景的未来外推,优于传统时间条件变形网络方法,提升外推性能19.8%。
2026-04-26 cs.CV cs.GR cs.LG