Meta-Solver for Neural Ordinary Differential Equations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
训练神经常微分方程(ODE)的传统方法是固定ODE求解器,然后学习神经网络的权重以优化目标损失函数。然而,这种方法是针对特定的离散化方法及其属性定制的,这对于所选择的应用可能不是最佳的,并且产生对给定求解器的过拟合。在我们的论文中,我们研究了求解器空间的可变性如何提高神经常微分方程的性能。我们考虑一个家庭的龙格-库塔方法参数不超过两个标量变量。基于求解器的属性,我们提出了一种方法来减少神经ODE过拟合到预定义的求解器,以及一个标准来评估这种行为。此外,我们表明,正确选择求解器参数化可以显着影响神经ODE模型的鲁棒性对抗攻击。最近的研究表明,神经ODE在鲁棒性方面优于传统的CNN。我们的工作表明,模型的鲁棒性可以进一步提高优化求解器的选择,为给定的任务。复制我们实验的源代码可在https://github.com/juliagusak/neural-ode-metasolver上获得。
2021-03-15 cs.LG
System-Aware Neural ODE Processes for Few-Shot Bayesian Optimization
Imperial College London(伦敦帝国学院);BASF SE(巴斯夫公司);University of Oxford(牛津大学)
针对未知常微分方程动力系统的高成本、延迟测量优化难题,提出基于系统感知神经ODE过程的两阶段少样本贝叶斯优化框架,可高效优化初始条件与观测时机,验证了先验灵活性与拟合精度的权衡。
2024-11-02 cs.LG
Towards Foundation Inference Models that Learn ODEs In-Context
Lamarr Institute(拉马尔研究所);University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫研究所)
本文提出FIM-ODE,一种预训练神经模型,能从稀疏含噪观测中零样本估计常微分方程,在合成数据上训练,利用神经算子实现稳健推断,性能与最先进方法相当。
2025-10-14 cs.LG
An Invariant Compiler for Neural ODEs in AI-Accelerated Scientific Simulation
Virginia Tech(弗吉尼亚理工大学)
本文提出不变编译器,通过构造性方法强制保持不变量,将不变量作为第一类类型,利用LLM驱动的编译流程将通用神经ODE规范转换为保持结构的架构,确保轨迹在连续时间内保持在允许的流形上。
2026-03-25 cs.LG
Uncertainty and Structure in Neural Ordinary Differential Equations
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);MPI for Intelligent Systems Tübingen(马克斯·普朗克智能系统研究所(图宾根))
本文研究了神经常微分方程在科学与工程应用中的不确定性与结构问题,提出利用Laplace近似等贝叶斯深度学习技术实现结构化的不确定性量化,并探讨了机制知识(如守恒定律)与不确定性估计在辛神经ODE等框架中的相互作用,实验证明该方法在低维ODE和高维偏微分方程上均有效。
2023-05-22 cs.LG
Stabilized Neural Ordinary Differential Equations for Long-Time Forecasting of Dynamical Systems
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Argonne National Laboratory(阿贡国家实验室)
在时空现象的数据驱动建模中,在捕获高波数的动力学时经常需要仔细考虑。当感兴趣的系统表现出冲击或混沌动力学时,这个问题变得特别具有挑战性。我们提出了一种数据驱动的建模方法,通过提出一种新的架构,稳定的神经常微分方程(ODE),准确地捕捉冲击和混沌动力学。在我们提出的架构中,我们通过将两个NN的输出相加来学习ODE的右手边(RHS),其中一个学习线性项,另一个学习非线性项。具体来说,我们通过训练稀疏线性卷积NN来学习线性项,训练密集全连接非线性NN来学习非线性项。这与标准神经ODE形成对比,标准神经ODE仅涉及训练用于学习RHS的单个NN。我们将这种设置应用于粘性Burgers方程,该方程具有冲击行为,并且在高波数下比标准神经ODE具有更好的短时间跟踪和预测能量谱。我们还发现,稳定的神经ODE模型是更强大的噪声初始条件比标准的神经ODE方法。我们也将这种方法应用于Kuramoto-Sivashinsky方程的混沌轨道。在这种情况下,稳定的神经ODE在吸引子上保持长时间的轨迹,并且对噪声初始条件具有高度鲁棒性,而标准神经ODE无法实现这些结果中的任何一个。最后,我们展示了如何稳定神经常微分方程提供了一个自然的扩展,用于降阶建模,通过投影的动态学习线性项的特征向量。
2022-10-04 cs.LG
Explainable Tensorized Neural Ordinary Differential Equations forArbitrary-step Time Series Prediction
我们提出了一个连续的神经网络架构,称为可解释张量化神经常微分方程(ETN-ODE),在任意时间点的多步时间序列预测。与现有的多步预测主要处理单变量时间序列或单步预测多变量时间序列的方法不同,ETN-ODE可以对任意步预测的多变量时间序列进行建模。此外,它享有串联的关注,w.r.t.时间注意力和可变注意力,能够对数据提供可解释的见解。具体来说,ETN-ODE将可解释的张量化门控递归单元(Tensorized GRU或TGRU)与常微分方程(ODE)相结合。用神经网络对潜在状态的导数进行参数化。这种连续时间ODE网络能够在任意时间点进行多步预测。我们定量和定性地证明了ETN-ODE的有效性和可解释性的五个不同的多步预测任务和一个任意步预测任务。大量的实验表明,ETN-ODE可以在任意时间点进行准确的预测,同时在标准多步时间序列预测中获得最佳性能。
2020-11-26 cs.LG
ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks
Aalto University(阿尔托大学)
提出了一种高维序列数据的隐二阶常微分方程变分自动编码器(ODE $^2$ VAE)。利用深度生成模型的进步,ODE $^2$ VAE可以同时学习高维轨迹的嵌入并推断任意复杂的连续时间潜在动态。我们的模型显式地将潜在空间分解为动量和位置分量,并解决了二阶常微分方程系统,这是在基于递归神经网络(RNN)的时间序列模型和最近提出的黑盒常微分方程技术。为了考虑不确定性,我们提出了由深度贝叶斯神经网络参数化的概率潜在ODE动力学。我们展示了我们的方法上的运动捕捉,图像旋转和弹跳球数据集。我们在长期运动预测和插补任务中实现了最先进的性能。
2019-10-24 cs.LG stat.ML
Generalization Bound for a General Class of Neural Ordinary Differential Equations
School of Engineering and Science(工程与科学学院);Indian Institute of Technology Madras(印度理工学院马德拉斯)
本研究针对一般非线性动力学神经ODE,在Lipschitz条件下证明解的有界变差,首次推导出时间依赖与无关情形的泛化界,并分析过参数化与域约束的影响。
2025-08-26 cs.LG
Learning ODEs via Diffeomorphisms for Fast and Robust Integration
the University of Sydney(悉尼大学);ETH Zurich(苏黎世联邦理工学院);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);NVIDIA(英伟达)
可微数值积分器的进步使得能够使用梯度下降技术来学习常微分方程(ODE)。在机器学习的背景下,可微求解器是神经ODE(NODE)的核心,NODE是一类具有连续深度而不是离散层的深度学习模型。然而,当从长序列学习常微分方程系统时,或者当系统的解在每个维度上以不同的时间尺度变化时,这些积分器可能是令人不满意的缓慢和不准确的。在本文中,我们提出了另一种方法来学习常微分方程的数据:我们表示的基础常微分方程作为一个向量场,是相关的另一个基本向量场的可微双射,可逆神经网络建模。通过限制基础常微分方程服从积分,我们可以大大加快和提高集成的鲁棒性。我们证明了我们的方法在训练和评估连续神经网络模型,以及在学习基准ODE系统的有效性。我们观察到的改进高达两个数量级时,集成学习的ODE与GPU计算。
2021-07-04 cs.LG
Neural Ordinary Differential Equation based Recurrent Neural Network Model
IBM(国际商业机器公司);Maynooth University(梅努斯大学)
神经微分方程是神经网络家族中一个很有前途的新成员。它们显示了微分方程用于时间序列数据分析的潜力。本文对常微分方程的强度进行了新的推广。本文的主要目标是回答以下问题:(i)~ ODE可以用来重新定义现有的神经网络模型吗?(ii)神经ODE可以解决连续时间序列的现有神经网络模型的不规则采样率挑战,即,长度和动态性质,(iii)如何减少现有神经ODE系统的训练和评估时间?这项工作利用ODE的数学基础来重新设计传统的RNN,如长短期记忆(LSTM)和门控递归单元(GRU)。本文的主要贡献是说明了两种新的基于ODE的RNN模型(GRU-ODE模型和LSTM-ODE)的设计,它们可以使用ODE求解器计算任何时间点的隐藏状态和单元状态。这些模型大大减少了隐藏状态和单元状态的计算开销。这两个新模型的性能评估学习连续时间序列的不规则采样率,然后证明。实验表明,这些新的ODE基于RNN模型需要更少的训练时间比潜在ODE和传统的神经ODE。它们可以快速地达到更高的精度,并且神经网络的设计比以前的神经ODE系统更简单。
2020-05-20 cs.LG stat.ML
Attention-based Spatial-Temporal Graph Neural ODE for Traffic Prediction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
针对智能交通系统中的交通预测问题,提出基于注意力的图神经常微分方程模型ASTGODE,可显式学习交通系统动力学、聚合多时段交通模式,在两个真实数据集上的均方根误差精度优于现有GNN模型。
2023-05-01 cs.LG
Bayesian Nonparametric Mixed-Effect ODEs with Gaussian Processes
Aalto University(阿alto大学);Univ. Bordeaux, INSERM BPH, U1219, Inria SISTM team, VRI, France(波尔多大学,INSERM BPH,U1219,Inria SISTM团队,VRI,法国);Inria SISTM team(Inria SISTM团队)
本文提出MEGPODE模型,通过高斯过程先验分解每个主体的动力学场,实现对异质性动态系统的非参数混合效应建模,提升群体动力学恢复和个体轨迹预测性能。
2026-10-12 cs.LG
ODE-free Neural Flow Matching for One-Step Generative Modeling
Baylor University(贝勒大学)
本文提出无微分方程的神经流匹配方法,通过直接学习传输映射实现一步生成,减少推断步骤,提升生成质量。
2026-04-07 cs.LG
Symplectic Adjoint Method for Exact Gradient of Neural ODE with Minimal Memory
Osaka University(大阪大学);Kobe University(神户大学)
微分方程的神经网络模型,即神经ODE,使得能够以高精度学习连续时间动态系统和概率分布。神经ODE在数值积分期间重复使用相同的网络。反向传播算法的内存消耗与使用次数乘以网络大小成正比。即使检查点方案将计算图划分为子图,也是如此。否则,伴随方法通过在时间上向后的数值积分来获得梯度。虽然这种方法只消耗一个网络使用的内存,它需要高的计算成本,以抑制数值误差。本研究提出了辛伴随方法,这是一种通过辛积分器求解的伴随方法。辛伴随方法获得精确的梯度(直到舍入误差),其记忆与使用次数加上网络大小成正比。实验结果表明,辛伴随方法消耗的内存比朴素反向传播算法和检查点方案少得多,执行速度比伴随方法,并且对舍入误差更鲁棒。
2021-10-19 cs.LG
A memory-efficient neural ODE framework based on high-level adjoint differentiation
Argonne National Laboratory(阿贡国家实验室);Brown University(布朗大学)
该研究提出基于高阶离散伴随算法微分的神经ODE框架PNODE,通过离散伴随积分器与定制检查点策略平衡内存与计算成本,在图像分类等任务中实现更高内存效率与更快速度,还支持刚性系统的隐式积分方法。
2023-06-09 cs.LG
SeqLink: A Robust Neural-ODE Architecture for Modelling Partially Observed Time Series
RMIT University(皇家墨尔本理工大学);University of New South Wales(新南威尔士大学)
本文提出 SeqLink 神经 ODE 架构,通过链接多个样本的潜在表征来建模未观测值,从而提升不同稀疏度和序列长度下部分观测时间序列的鲁棒性,并在合成与真实数据集上优于现有方法。
2024-08-05 cs.LG
Time Dependence in Non-Autonomous Neural ODEs
Google Research(谷歌研究院);University of Cambridge(剑桥大学)
神经常微分方程(ODE)是深度网络的优雅重新解释,其中连续时间可以取代深度的离散概念,ODE求解器执行前向传播,伴随方法实现高效,恒定内存反向传播。神经常微分方程只有在非自治时才是通用逼近器,也就是说,动力学显式依赖于时间。我们提出了一个新的家庭的神经常微分方程随时间变化的权重,时间依赖性是非参数的,和平滑的权重轨迹可以显式控制,以允许表达能力和效率之间的权衡。使用这种增强的表现力,我们在速度和表示能力方面都优于以前的神经ODE变体,最终在选择图像分类和视频预测任务上优于标准ResNet和CNN模型。
2020-05-06 cs.LG stat.ML
MRI Image Reconstruction via Learning Optimization Using Neural ODEs
United Imaging Intelligence(联影智能)
我们建议制定MRI图像重建作为一个优化问题和模型的优化轨迹作为一个动态过程,使用常微分方程(ODE)。我们用神经网络对ODE中的动力学进行建模,并用现成的(固定的)求解器求解所需的ODE以获得重建图像。我们扩展了这个模型,并将现成的ODE求解器的知识融入到网络设计中(学习求解器)。我们调查了几个模型的基础上三个ODE求解器和固定求解器和学习求解器的模型进行比较。我们的模型实现了更好的重建结果,并且比其他流行的方法(如UNet和级联CNN)更具参数效率。我们介绍了一种新的方法来解决MRI重建问题的建模连续优化动态使用神经常微分方程。
2020-09-14 cs.LG eess.IV
Efficient, Accurate and Stable Gradients for Neural ODEs
University of Bath(巴斯大学)
该研究提出一类代数可逆ODE求解器,在训练神经ODE时能计算精确梯度,并在时间、内存开销及数值稳定性上严格优于现有递归检查点与可逆架构。
2025-01-29 cs.LG stat.ML
AdamNODEs: When Neural ODE Meets Adaptive Moment Estimation
Yonsei University(延世大学);Oregon State University(俄勒冈州立大学);Arizona State University(亚利桑那州立大学)
Xia等人最近的工作利用了经典动量加速梯度下降的连续极限,并提出了重球神经常微分方程。虽然这种模型提供了比普通神经ODE更高的计算效率和实用性,但这种方法通常会导致内部动力学的过冲,导致模型的不稳定训练。先前的工作通过使用特别方法来解决这个问题,例如,边界的内部动态使用特定的激活函数,但得到的模型不满足精确的重球常微分方程。在这项工作中,我们提出了自适应动量估计神经常微分方程(AdamNODEs),自适应地控制加速经典的动量为基础的方法。我们发现,它的伴随状态也满足AdamODE,不需要特别的解决方案,以前的工作雇用。在评估中,我们表明AdamNODE比现有的神经ODE实现了最低的训练损失和有效性。我们还表明,AdamNODE比经典的动量神经ODE具有更好的训练稳定性。这一结果揭示了一些适应在优化社区提出的技术,以进一步改善神经ODE的训练和推理。我们的代码可在https://github.com/pmcsh04/AdamNODE上获得。
2022-07-13 cs.AI cs.LG
Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs
University of Utah(犹他大学);University of California, Los Angeles(加州大学洛杉矶分校);Illinois Institute of Technology(伊利诺伊理工学院);University of California, Irvine(加州大学欧文分校);Scientific Computing and Imaging (SCI) Institute(科学计算与成像研究所)
学习神经常微分方程通常需要解决非常僵硬的常微分方程系统,主要是使用显式自适应步长常微分方程求解器。这些求解器在计算上是昂贵的,需要使用微小的步长来保证数值稳定性和精度。本文考虑使用不同阶数的隐式ODE求解器利用邻近算子学习神经ODE。近似隐式求解器由内部-外迭代组成:内迭代使用快速优化算法近似每个隐式更新步骤,而外迭代随时间求解ODE系统。近似隐式常微分方程求解器保证了在数值稳定性和计算效率方面优于显式求解器。我们在各种具有挑战性的基准任务上验证了近端隐式求解器相对于现有流行神经ODE求解器的优势,包括学习连续深度图神经网络和连续归一化流。
2022-04-19 cs.LG cs.NA math.NA
Realization Theory Of Recurrent Neural ODEs Using Polynomial System Embeddings
Institut de Recherche Technologique SystemX(SystemX 技术研究院);Trinov(Trinov 公司);Centre de Recherche en Informatique, Signal et Automatique de Lille(里尔计算机、信号与自动化研究中心)
本文通过将ODE-RNN和ODE-LSTM算法化嵌入多项式系统,利用实现理论给出ODE-LSTM可实现性的必要条件和极小性充分条件,为递归神经ODE实现理论奠定基础。
2022-08-01 cs.LG math.OC
Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(意大利瑞士大学);SUPSI(瑞士意大利语区应用科学大学);KAUST(阿卜杜拉国王科技大学)
神经元常微分方程作为深度残差神经网络的连续时间模型引起了人们的广泛关注,并对递归神经网络进行了大量的扩展。自20世纪80年代以来,常微分方程也被用于推导NN学习规则的理论结果,例如,Oja规则和主成分分析之间的著名联系。这样的规则通常表示为具有直接ODE对应物的加性迭代更新过程。在这里,我们引入了一种新的学习规则和神经ODE的组合,以构建连续时间序列处理网络,该网络学习在其他网络的快速变化的突触连接中操纵短期记忆。这就产生了快速加权编程器和线性Transformers的连续时间对应物。我们的新模型在各种时间序列分类任务上优于现有的基于神经控制微分方程的最佳模型,同时还解决了其基本的可扩展性限制。代码是公开的。
2022-10-14 cs.LG
Learning the Simplest Neural ODE
Gradiate School of Medicine, Kyoto University(京都大学研究生医学部);Research Center for Mathematical Engineering, Chiba Institute of Technology(千叶技术大学数学工程研究中心)
本文通过一维线性模型揭示训练神经ODE的困难,提出新的稳定化方法并给出解析收敛性分析,为初学者提供简明教程。
2025-08-26 cs.LG math.DS stat.ML
On Robustness of Neural Ordinary Differential Equations
National University of Singapore(新加坡国立大学)
近年来,神经元常微分方程(ODE)在各个研究领域都引起了越来越多的关注。已有一些研究神经常微分方程的优化问题和逼近能力的工作,但它们的鲁棒性仍然不清楚。在这项工作中,我们填补了这一重要的空白,探索神经常微分方程的鲁棒性的经验和理论。首先,我们提出了一个基于ODE的神经网络(ODENets)的鲁棒性的实证研究,通过将它们暴露于各种类型的扰动输入,随后调查相应的输出的变化。与传统的卷积神经网络(CNN)相比,我们发现ODENets对随机高斯扰动和对抗攻击的例子都更鲁棒。然后,我们提供了一个有见地的理解这种现象,利用一定的连续时间常微分方程的流动,即积分曲线是不相交的理想属性。我们的工作表明,由于其内在的鲁棒性,使用神经ODE作为构建鲁棒深度网络模型的基本块是有希望的。为了进一步增强香草神经常微分方程的鲁棒性,我们提出了时不变稳态神经常微分方程(TisODE),它通过时不变特性和施加稳态约束来正则化扰动数据上的流。我们证明了TisODE方法优于普通神经ODE,并且还可以与其他最先进的架构方法结合使用,以构建更强大的深度网络。
2022-03-03 cs.LG stat.ML
ANODEV2: A Coupled Neural ODE Evolution Framework
University of California at Berkeley(加州大学伯克利分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);ICSI(国际计算机科学研究所)
已经观察到,残差网络可以被视为常微分方程(ODE)的显式欧拉离散化。这一观察激发了所谓的神经常微分方程的引入,它允许更一般的离散化方案与自适应时间步进。在这里,我们提出了ANODEV 2,这是一个扩展的这种方法,也允许演变的神经网络参数,在一个耦合的ODE为基础的配方。前面介绍的神经ODE方法实际上是这个新的更一般框架的特例。我们提出了ANODEV 2的公式,推导出最优性条件,并在PyTorch中实现了该框架的耦合反应-扩散-平流版本。我们使用几种不同配置的ANODEV 2,在CIFAR-10上的多个模型上测试它们,给出了实证结果。我们报告的结果表明,这种耦合的基于ODE的框架确实是可训练的,并且与基线模型以及最近提出的神经ODE方法相比,它实现了更高的准确性。
2019-06-10 cs.LG stat.ML
A Self-Adaptive Penalty Method for Integrating Prior Knowledge Constraints into Neural ODEs
University of Minho(米尼奥大学);University of Porto(波尔图大学)
针对神经常微分方程建模需遵循自然系统规则的需求,提出可动态调整参数的自适应惩罚算法,融入先验知识提升可解释性,经三类自然系统实验验证,该方法比现有方法更准确鲁棒。
2024-03-05 cs.LG math.OC
On the balance between the training time and interpretability of neural ODE for time series modelling
NSS Lab(NSS实验室);ITMO University(圣彼得堡国立信息技术机械与光学大学)
大多数机器学习方法都被用作建模的黑盒。我们可以尝试从基于物理的训练方法中提取一些知识,例如神经ODE(常微分方程)。神经ODE的优势,如一个可能更高类别的代表功能,扩展的解释能力相比,黑箱机器学习模型,能够描述趋势和本地行为。这些优势对于具有复杂趋势的时间序列尤其重要。然而,与广泛用于数据驱动时间序列建模的自回归模型和长短期记忆(LSTM)网络相比,已知的缺点是训练时间长。因此,我们应该能够平衡可解释性和训练时间,以将神经ODE应用于实践。本文表明,现代神经ODE不能减少到更简单的模型的时间序列建模应用。神经ODE的复杂性相比,或超过传统的时间序列建模工具。唯一可以提取的解释是算子的本征空间,这是一个大系统的不适定问题。可以使用不同的经典分析方法提取光谱,这些方法没有延长时间的缺点。因此,我们减少了神经ODE到一个更简单的线性形式,并提出了一个新的观点,时间序列建模结合神经网络和ODE系统的方法。
2022-06-07 cs.LG math.CA
How to train your neural ODE: the world of Jacobian and kinetic regularization
McGill University(麦吉尔大学);Vector Institute(向量研究所);University of Toronto(多伦多大学);UCLA(加州大学洛杉矶分校)
在大型数据集上训练神经常微分方程并不容易,因为需要允许自适应数值常微分方程求解器将其步长细化到非常小的值。在实践中,这导致相当于数百甚至数千层的动态。在本文中,我们克服了这个明显的困难,通过引入一个理论上的最佳运输和稳定性正则化的组合,鼓励神经常微分方程更喜欢简单的动力学的所有动力学,很好地解决问题。更简单的动力学导致更快的收敛速度和更少的离散化求解器,大大减少挂钟时间,而不会损失性能。我们的方法使我们能够训练基于神经ODE的生成模型,使其具有与非正则化动力学相同的性能,同时显著减少了训练时间。这使得神经ODE更接近大规模应用中的实际相关性。
2020-06-23 cs.LG stat.ML
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University(阿尔托大学);University of Tübingen(蒂宾根大学)
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而,早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型,使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强,使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处,预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
Automatic and Structure-Aware Sparsification of Hybrid Neural ODEs
Institute for Computational and Mathematical Engineering(计算与数学工程研究所);Stanford University(斯坦福大学)
本文提出了一种混合神经ODEs的自动稀疏化方法,结合领域知识与数据驱动正则化,以提高预测性能和稳定性,同时保持机理合理性。
2026-03-03 cs.LG stat.ML
SPIN-ODE: Stiff Physics-Informed Neural ODE for Chemical Reaction Rate Estimation
Institute for Atmospheric and Earth Systems Research, University of Helsinki(大气与地球系统研究所,赫尔辛基大学);Department of Computational Engineering, Lappeenranta-Lahti University of Technology LUT(计算工程系,拉佩兰塔-拉赫蒂技术大学LUT);Atmospheric Modelling Centre-Lahti(拉赫蒂大气建模中心)
针对大气化学系统的刚性导致神经 ODE 训练不稳定、速率系数估计困难的问题,本文提出 SPIN-ODE 三阶段框架,并在合成与真实数据集上验证了其有效性和鲁棒性。
2025-08-28 cs.AI cs.LG
Stochasticity in Neural ODEs: An Empirical Study
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Samsung AI Center Moscow(三星莫斯科人工智能中心)
神经网络的随机正则化(例如dropout)是深度学习中广泛使用的技术,可以实现更好的泛化。尽管它的成功,连续时间模型,如神经常微分方程(ODE),通常依赖于一个完全确定性的前馈操作。这项工作提供了随机正则化神经ODE在几个图像分类任务(CIFAR-10,CIFAR-100,TinyImageNet)上的实证研究。建立在随机微分方程(SDES)的形式主义,我们证明了神经网络是能够超越其确定性的对应。此外,我们表明,在训练过程中的数据增强提高了同一模型的确定性和随机版本的性能。然而,通过数据增强获得的改进完全消除了随机正则化的经验增益,使得神经常微分方程和神经正则化的性能差异可以忽略不计。
2020-06-26 cs.LG stat.ML
Accelerating ODE-Based Neural Networks on Low-Cost FPGAs
Keio University(庆应义塾大学)
ODENet是一种深度神经网络架构,其中ResNet的堆叠结构是用常微分方程(ODE)求解器实现的。它可以减少参数的数量,并通过选择合适的求解器在精度和性能之间取得平衡。还可以在资源有限的边缘设备上保持相同数量的参数的同时提高精度。本文采用欧拉方法作为ODE求解器,在PYNQ-Z2等低成本FPGA(Field-Programmable门阵列)板上实现了ODENet的部分专用逻辑。作为ODENet的变种,减少ODENets(rODENets),其中每一个都大量使用的ODENet层的一部分,并减少/消除一些层不同的低成本FPGA实现提出和分析。它们的参数大小,精度,执行时间和FPGA上的资源利用率方面进行评估。结果表明,与纯软件执行相比,rODENet变体的总体执行时间提高了2.66倍,同时保持了与原始ODENet相当的准确性。
2023-03-10 cs.AI cs.LG
Accelerating Neural ODEs Using Model Order Reduction
Tampere University(坦佩雷大学);Faculty of Medicine and Health Technology, Tampere University(坦佩雷大学医学与健康技术学院);Faculty of Information Technology and Communication Sciences, Tampere University(坦佩雷大学信息技术与传播科学学院)
针对 Neural ODE 推理慢的问题,提出将模型降阶的子空间投影与插值集成为网络层以压缩加速,并在图像和时序任务中验证其相对剪枝和 SVD 截断的优势。
2022-03-02 cs.LG math.DS
Piecewise-constant Neural ODEs
Oregon State University(俄勒冈州立大学)
神经网络是一种流行的工具,用于建模连续数据,但他们通常不把时间作为一个连续变量。神经常微分方程代表了一个重要的例外:它们用神经网络参数化隐藏状态的时间导数,然后在任意时间内积分。但是这些具有任意曲率的参数化可能难以集成,从而难以训练和评估。在本文中,我们建议对神经常微分方程进行分段常数近似来缓解这些问题。我们的模型可以通过欧拉积分进行精确积分,并且可以比可比的RNN和ODE-RNN模型少3-20倍的步骤生成自回归样本。我们评估我们的模型上的几个合成物理任务和规划任务的灵感来自台球游戏。我们发现它与基线方法的性能相匹配,同时需要更少的时间进行训练和评估。
2021-06-11 cs.AI cs.LG
STEER: Simple Temporal Regularization For Neural ODEs
University of Oxford(牛津大学);University of Bath(巴斯大学)
训练神经常微分方程(ODE)通常是计算昂贵的。事实上,计算这种模型的前向传递涉及求解在训练期间可能变得任意复杂的ODE。最近的工作表明,正则化的动力学的常微分方程可以部分缓解这一点。在本文中,我们提出了一种新的正则化技术:在训练过程中随机采样ODE的结束时间。所提出的正则化实现简单,开销可以忽略不计,并且在各种任务中都是有效的。此外,该技术是正交的其他几种方法提出正规化的动态常微分方程,因此可以与他们一起使用。我们通过规范化流,时间序列模型和图像识别的实验表明,所提出的正则化可以显着减少训练时间,甚至提高基线模型的性能。
2020-11-02 cs.LG stat.ML
Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling
LAMSADE CNRS, Dauphine University-PSL(巴黎文理研究大学多芬分校,法国国家科学研究中心LAMSADE实验室);ESPCI-PSL(巴黎文理研究大学高等物理化学学院)
神经常微分方程是近年来提出的一类新的神经网络模型,它依赖于黑箱常微分方程求解器进行推理和训练。一些称为自适应的ODE求解器可以根据手头问题的复杂性调整其评估策略,从而为机器学习开辟了广阔的前景。然而,本文描述了一组简单的实验来说明为什么自适应求解器不能无缝地用作动态系统建模的黑盒。以Lorenz'63系统为例,我们证明了Fehlberg方法的简单应用不会产生预期的结果。此外,提出了一个简单的解决方案,假设求解器和训练策略之间的交互更紧密。代码可以在github上找到:https://github.com/Allauzen/adaptive-step-size-neural-ode
2022-11-13 cs.LG nlin.CD
ResNet After All? Neural ODEs and Their Numerical Solution
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文指出训练好的神经ODE模型实际依赖于训练时的数值求解方法,若离散化过粗会导致更换求解器时性能骤降,破坏了ODE概念,为此提出一种在训练期间自适应调整步长的算法以确保生成有效的ODE。
2023-09-10 cs.LG stat.ML
Hybridizing Physics and Neural ODEs for Predicting Plasma Inductance Dynamics in Tokamak Fusion Reactors
MIT Plasma Science and Fusion Center(麻省理工学院等离子体科学与聚变中心)
针对托卡马克等离子体模拟中物理方法计算成本高、数据驱动方法数据不足的问题,本文提出将物理方程与神经常微分方程融合,用于预测等离子体电流与内部电感动力学,并在 Alcator C-Mod 数据上验证其优于纯物理模型和纯神经常微分方程模型。
2023-10-30 cs.LG physics.plasm-ph
Standalone Neural ODEs with Sensitivity Analysis
Linköping University(林雪平大学)
本文提出了独立神经ODE(sNODE),连续深度神经ODE模型能够描述一个完整的深度神经网络。这使用了一种新的非线性共轭梯度(NCG)下降优化方案进行训练,其中可以引入Sobolev梯度来提高模型权重的平滑性。我们还提出了一个一般的神经敏感性问题的制定,并显示它是如何使用的NCG培训。灵敏度分析提供了一个可靠的测量整个网络的不确定性传播,并可用于研究模型的鲁棒性和生成对抗攻击。我们的评估表明,与ResNet模型相比,我们的新型公式可以提高鲁棒性和性能,并且为设计和开发具有更好解释性的机器学习开辟了新机会。
2022-06-08 cs.LG math.OC
Approximation properties of neural ODEs
Gran Sasso Science Institute (GSSI)(格兰萨索科学研究所);University of Cambridge(剑桥大学);Norwegian University of Science and Technology (NTNU)(挪威科技大学);University of Edinburgh(爱丁堡大学)
本文研究了神经微分方程在连续函数空间中的逼近性质,通过嵌入和投影操作构建浅层神经网络,并证明了其通用逼近性质及约束条件下的逼近性能。
2026-04-07 cs.LG cs.NA math.NA
Model-based Reinforcement Learning for Semi-Markov Decision Processes with Neural ODEs
Harvard University(哈佛大学)
我们提出了两个优雅的解决方案建模连续时间动态,在一个新的基于基于模型的强化学习(RL)框架半马尔可夫决策过程(SMDP),使用神经常微分方程(ODE)。我们的模型准确地描述了连续时间动态,使我们能够使用少量数据开发高性能的策略。我们还开发了一种基于模型的方法来优化时间表,以减少与环境的交互率,同时保持接近最佳的性能,这是不可能的无模型的方法。我们通过实验证明了我们的方法在各种连续时间域的有效性。
2020-10-25 cs.LG stat.ML
GradRepair-ODE: Certified Gradient Repair for Neural ODE Training
Purdue University(普渡大学);Rice University(莱斯大学)
针对神经ODE训练中数值求解器导致梯度不可靠的问题,提出GradRepair-ODE框架,通过检查、修复和拒绝机制认证梯度,在合成系统中将不安全步骤降至零。
2026-09-15 cs.CL cs.LG
Neural SDE: Stabilizing Neural ODE Networks with Stochastic Noise
UCLA(加州大学洛杉矶分校);UC Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
神经常微分方程(Neural ODE)已被提出作为ResNet架构的连续近似。离散神经网络中一些常用的正则化机制(如dropout,Gaussian noise)在当前的神经ODE网络中缺失。在本文中,我们提出了一个新的连续神经网络框架,称为神经随机微分方程(神经网络)网络,它自然地结合了各种常用的正则化机制的基础上随机噪声注入。我们的框架可以对离散网络中经常用于正则化目的的各种类型的噪声注入进行建模,例如每个块中的dropout和加性/乘性噪声。我们提供了理论分析,解释了神经网络模型对输入扰动/对抗攻击的鲁棒性提高。此外,我们证明了神经网络可以实现比神经ODE更好的泛化,并且对对抗性和非对抗性输入扰动具有更强的抵抗力。
2019-06-05 cs.AI cs.CV cs.LG
On Tuning Neural ODE for Stability, Consistency and Faster Convergence
University of Central Punjab(旁遮普大学)
针对神经ODE中ODE求解器可能存在的稳定性、一致性和收敛性问题,提出基于Nesterov加速梯度的求解器,实现更快训练并保持或提升性能。
2023-12-04 cs.AI cs.LG stat.ML
N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations
Department of Applied Mathematics, University of Waterloo(滑铁卢大学应用数学系);University of Waterloo(滑铁卢大学)
我们使用神经常微分方程制定的Transformer,这是深度自适应的意义上说,一个依赖于输入的时间步数的常微分方程求解器的一个变种。我们提出的N-ODE Transformer的目标是研究其深度自适应性是否有助于克服Transformer在处理非局部效应方面的一些特定的已知理论限制。具体来说,我们考虑的简单问题,确定奇偶校验的二进制序列,标准的Transformer具有已知的限制,只能通过使用足够大的层数或注意头克服。然而,我们发现,深度自适应的N-ODE Transformer不提供一个补救措施的奇偶校验问题的固有的非本地性质,并提供解释为什么会这样。接下来,我们通过惩罚ODE轨迹的弧长来实现N-ODE Transformer的正则化,但发现这无法提高N-ODE Transformer在具有挑战性的奇偶性问题上的精度或效率。我们建议未来的研究途径的修改和扩展的N-ODE Transformer,可能会导致提高精度和效率的序列建模任务,如神经机器翻译。
2020-10-22 cs.CL cs.LG
Neural Flows: Efficient Alternative to Neural ODEs
Technical University of Munich(慕尼黑工业大学);AWS AI Labs(AWS AI 实验室)
神经常微分方程描述了值如何随时间变化。这就是为什么它们在建模序列数据时变得重要的原因,特别是当观察以不规则的间隔进行时。在本文中,我们提出了一种替代方案,通过直接建模的解决方案曲线-一个常微分方程的流动-与神经网络。这立即消除了对昂贵的数值求解器的需要,同时仍然保持神经ODE的建模能力。我们提出了几个流架构适合不同的应用程序,建立精确的条件时,一个功能定义一个有效的流。除了计算效率,我们还提供了良好的泛化性能的经验证据,通过应用程序在时间序列建模,预测和密度估计。
2021-10-25 cs.LG cs.NA math.NA
On Numerical Integration in Neural Ordinary Differential Equations
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);University of Science and Technology Beijing(北京科技大学)
常微分方程和神经网络的结合,即,神经元常微分方程(Neural ODE)的研究已经从不同的角度得到了广泛的研究。然而,破译神经常微分方程中的数值积分仍然是一个开放的挑战,许多研究表明,数值积分显着影响模型的性能。在本文中,我们提出了修改的微分方程(IMDE)的逆来阐明数值积分训练神经ODE模型的影响。IMDE由学习任务和所采用的ODE求解器确定。结果表明,训练神经ODE模型实际上返回了IMDE的近似值,而不是真正的ODE。借助IMDE,我们推导出:(i)学习模型与真实常微分方程之间的差异由离散误差和学习损失之和限定;(ii)使用非辛数值积分的神经常微分方程理论上不能学习守恒律.几个实验进行数值验证我们的理论分析。
2022-06-15 cs.LG cs.NA math.NA
SurvLatent ODE : A Neural ODE based time-to-event model with competing risks for longitudinal data improves cancer-associated Venous Thromboembolism (VTE) prediction
Massachusetts Institute of Technology(麻省理工学院);Dana-Farber Cancer Institute(达纳-法伯癌症研究所)
从电子健康记录(EHR)数据中有效学习以预测临床结果通常具有挑战性,因为在不规则的时间步和失访以及死亡或疾病进展等竞争事件中记录的特征。为此,我们提出了一个生成的时间到事件模型,SurvLatent ODE,它采用基于常微分方程的递归神经网络(ODE-RNN)作为编码器,有效地参数化动态的不规则采样输入数据下的潜在状态。然后,我们的模型利用由此产生的潜在嵌入来灵活地估计多个竞争事件的生存时间,而无需指定特定于事件的风险函数的形状。我们证明了我们的模型在MIMIC-III上的竞争性能,MIMIC-III是从重症监护病房收集的免费纵向数据集,预测医院死亡率以及Dana-Farber癌症研究所(DFCI)预测静脉血栓栓塞(VTE)发生的数据,静脉血栓栓塞是癌症患者的一种危及生命的并发症,死亡是竞争事件。SurvLatent ODE在对VTE风险组进行分层方面优于当前临床标准Khorana风险评分,同时提供了具有临床意义和可解释的潜在表征。
2022-08-10 cs.LG stat.ML
Lagrangian neural ODEs: Measuring the existence of a Lagrangian with Helmholtz metrics
Interdisciplinary Center for Scientific Computing(交叉科学计算中心);Heidelberg University(海德堡大学);Astronomisches Rechen-Institut der Universität Heidelberg(海德堡大学天文计算研究所)
针对神经ODE解未必满足欧拉-拉格朗日方程的问题,提出亥姆霍兹度量量化ODE与物理解的相似度,结合二阶神经ODE形成拉格朗日神经ODE,可直接学习欧拉-拉格朗日方程且无额外推理成本,仅用位置数据能区分相关系统并改进解。
2025-11-10 cs.LG math.DS physics.comp-ph
Neural Ordinary Differential Equations for Modeling Socio-Economic Dynamics
National Institute of Technology Rourkela(印度国立理工学院鲁尔克拉分校)
本文利用神经微分方程分析印度奥里萨邦的贫困动态,通过时间序列数据建模经济和社会发展指标,展示神经ODE在捕捉贫困指标动态方面的有效性。
2026-04-01 cs.LG math.DS
Neural ODE Control for Trajectory Approximation of Continuity Equation
University of California, Riverside(加州大学河滨分校);University of California, Los Angeles(加州大学洛杉矶分校)
我们考虑的连续性方程的可控性问题,对应于神经常微分方程(ODE),它描述了如何一个概率测度是pushedforward的流量。我们证明了受控连续性方程具有很强的可控性。特别地,对应于有界Lipschitz向量场的连续性方程的给定解定义了概率测度集合上的轨迹。对于这个轨迹,我们发现,存在分段常数训练权重的神经常微分方程,使相应的神经常微分方程的连续性方程的解决方案是任意接近它。作为这个结果的推论,我们建立的连续性方程的神经常微分方程是近似可控的一组compensated概率测度是绝对连续的勒贝格测度。
2022-05-18 cs.LG cs.SY eess.SY