Integrating Expert ODEs into Neural ODEs: Pharmacology and Disease Progression
University of Cambridge（剑桥大学）；UCLA（加州大学洛杉矶分校）；Amsterdam UMC（阿姆斯特丹大学医学中心）；The Alan Turing Institute（艾伦·图灵研究所）
在许多领域中，模拟系统对外部刺激的反应的时间行为是一个基本问题。纯机器学习（ML）方法通常在小样本情况下失败，并且无法提供超出预测的可操作见解。一个有前途的修改是将专家领域知识纳入ML模型。我们考虑的应用是预测药物治疗下的疾病进展，其中可以从药理学中获得过多的领域知识。药理学模型用常微分方程（ODE）系统描述精心选择的医学上有意义的变量的动力学。然而，这些模型仅描述了有限的变量集合，并且这些变量通常在临床环境中不可观察。为了缩小这一差距，我们提出了潜在的杂交模型（LHM），它集成了专家设计的ODE系统与机器学习的神经ODE系统，以充分描述系统的动态，并将专家和潜在变量与可观测量联系起来。我们根据合成数据以及COVID-19患者的真实重症监护数据对LHM进行了评估。LHM的表现一直优于以前的作品，特别是当很少的训练样本，如在流行病的开始。
2021-06-17 cs.LG stat.ML
Model-based Reinforcement Learning for Semi-Markov Decision Processes with Neural ODEs
Harvard University（哈佛大学）
我们提出了两个优雅的解决方案建模连续时间动态，在一个新的基于基于模型的强化学习（RL）框架半马尔可夫决策过程（SMDP），使用神经常微分方程（ODE）。我们的模型准确地描述了连续时间动态，使我们能够使用少量数据开发高性能的策略。我们还开发了一种基于模型的方法来优化时间表，以减少与环境的交互率，同时保持接近最佳的性能，这是不可能的无模型的方法。我们通过实验证明了我们的方法在各种连续时间域的有效性。
2020-10-25 cs.LG stat.ML
Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation
ShanghaiTech University（上海科技大学）
本文通过同伦延拓建立DEQs与Neural ODEs的联系，提出新隐式模型HomoODE，兼具高精度与稳定性，并在图像分类任务中超越现有隐式模型。
2023-12-21 cs.LG stat.ML
STEER: Simple Temporal Regularization For Neural ODEs
University of Oxford（牛津大学）；University of Bath（巴斯大学）
训练神经常微分方程（ODE）通常是计算昂贵的。事实上，计算这种模型的前向传递涉及求解在训练期间可能变得任意复杂的ODE。最近的工作表明，正则化的动力学的常微分方程可以部分缓解这一点。在本文中，我们提出了一种新的正则化技术：在训练过程中随机采样ODE的结束时间。所提出的正则化实现简单，开销可以忽略不计，并且在各种任务中都是有效的。此外，该技术是正交的其他几种方法提出正规化的动态常微分方程，因此可以与他们一起使用。我们通过规范化流，时间序列模型和图像识别的实验表明，所提出的正则化可以显着减少训练时间，甚至提高基线模型的性能。
2020-11-02 cs.LG stat.ML
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）
本文针对连续时间参数的神经常微分方程及相应深度残差网络，基于Lipschitz论证推导泛化界，并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Implicit regularization of deep residual networks towards neural ODEs
Sorbonne Université（索邦大学）；ENS（巴黎高等师范学院）；LPSM（数学与计算机科学实验室）；DMA（应用数学实验室）
本文建立了深度残差网络向神经常微分方程的隐式正则化理论，证明在梯度流训练下离散化关系全程保持，并在Polyak-Lojasiewicz条件下保证收敛到全局最小值。
2024-07-05 cs.LG stat.ML
On Robustness of Neural Ordinary Differential Equations
National University of Singapore（新加坡国立大学）
近年来，神经元常微分方程（ODE）在各个研究领域都引起了越来越多的关注。已有一些研究神经常微分方程的优化问题和逼近能力的工作，但它们的鲁棒性仍然不清楚。在这项工作中，我们填补了这一重要的空白，探索神经常微分方程的鲁棒性的经验和理论。首先，我们提出了一个基于ODE的神经网络（ODENets）的鲁棒性的实证研究，通过将它们暴露于各种类型的扰动输入，随后调查相应的输出的变化。与传统的卷积神经网络（CNN）相比，我们发现ODENets对随机高斯扰动和对抗攻击的例子都更鲁棒。然后，我们提供了一个有见地的理解这种现象，利用一定的连续时间常微分方程的流动，即积分曲线是不相交的理想属性。我们的工作表明，由于其内在的鲁棒性，使用神经ODE作为构建鲁棒深度网络模型的基本块是有希望的。为了进一步增强香草神经常微分方程的鲁棒性，我们提出了时不变稳态神经常微分方程（TisODE），它通过时不变特性和施加稳态约束来正则化扰动数据上的流。我们证明了TisODE方法优于普通神经ODE，并且还可以与其他最先进的架构方法结合使用，以构建更强大的深度网络。
2022-03-03 cs.LG stat.ML
Dissecting Neural ODEs
The University of Tokyo（东京大学）；KAIST（韩国科学技术院）
连续深度学习架构最近以神经常微分方程（Neural ODE）的形式重新出现。这种无限深度的方法在理论上弥合了深度学习和动力系统之间的差距，提供了一个新的视角。然而，破译这些模型的内部工作仍然是一个开放的挑战，因为大多数应用程序将它们作为通用的黑盒模块。在这项工作中，我们“打开盒子”，进一步发展的连续深度配方，目的是澄清几个设计选择对底层动力学的影响。
2021-01-11 cs.LG cs.NE stat.ML
Neural ODEs for Informative Missingness in Multivariate Time Series
IBM；Maynooth University（梅努斯大学）
在连续时间序列的数字处理中，信息缺失是不可避免的，其中在不同时间点的一个或多个观测值缺失。这种缺失的观测是使用深度学习进行时间序列处理的主要限制之一。实际应用，例如，传感器数据、医疗保健、天气生成实际上在时间上连续的数据，并且信息缺失是这些数据集中的常见现象。这些数据集通常由多个变量组成，并且这些变量中的一个或多个通常存在缺失值。这一特性使得时间序列预测更具挑战性，并且丢失的输入观测值对最终输出的准确性的影响可能很大。最近一种名为GRU-D的新型深度学习模型是解决时间序列数据中信息缺失的早期尝试。另一方面，一种新的神经网络族称为神经ODE（常微分方程）是自然和有效的处理时间序列数据，这是连续的时间。在本文中，提出了一种深度学习模型，该模型利用了GRU-D的有效插补和神经ODE的时间连续性。在PhysioNet数据集上执行的时间序列分类任务演示了此架构的性能。
2020-05-20 cs.LG stat.ML
Stochasticity in Neural ODEs: An Empirical Study
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）
神经网络的随机正则化（例如dropout）是深度学习中广泛使用的技术，可以实现更好的泛化。尽管它的成功，连续时间模型，如神经常微分方程（ODE），通常依赖于一个完全确定性的前馈操作。这项工作提供了随机正则化神经ODE在几个图像分类任务（CIFAR-10，CIFAR-100，TinyImageNet）上的实证研究。建立在随机微分方程（SDES）的形式主义，我们证明了神经网络是能够超越其确定性的对应。此外，我们表明，在训练过程中的数据增强提高了同一模型的确定性和随机版本的性能。然而，通过数据增强获得的改进完全消除了随机正则化的经验增益，使得神经常微分方程和神经正则化的性能差异可以忽略不计。
2020-06-26 cs.LG stat.ML
On Second Order Behaviour in Augmented Neural ODEs
University of Cambridge（剑桥大学）
神经常微分方程（NODE）是一类新的模型，通过无限深度架构连续转换数据。NODE的连续性使其特别适合于学习复杂物理系统的动力学。虽然以前的工作主要集中在一阶常微分方程上，但许多系统的动力学，特别是经典物理中的系统，都受二阶定律的支配。在这项工作中，我们考虑二阶神经常微分方程（SONODE）。我们展示了如何伴随灵敏度方法可以扩展到SONODE，并证明一阶耦合ODE的优化是等价的，计算效率更高。此外，我们扩展了对更广泛的增强节点（ANODE）的理论理解，表明它们也可以用最小数量的增强维度学习高阶动力学，但代价是可解释性。这表明ANODE的优势超出了最初认为的增加维度所提供的额外空间。最后，我们比较了SONODE和ANODE在合成和真实动力学系统上的表现，并证明了前者的归纳偏差通常会导致更快的训练和更好的性能。
2020-10-21 cs.LG stat.ML
Global Convergence in Neural ODEs: Impact of Activation Functions
DePaul University（德保罗大学）；Iowa State University（爱荷华州立大学）
本文研究激活函数的光滑性与非线性对神经常微分方程训练动态的影响，并据此在过参数化条件下证明了梯度下降的全局收敛性。
2025-09-26 cs.AI cs.LG stat.ML
Adaptive Feedforward Gradient Estimation in Neural ODEs
Hassan First University of Settat（塞塔特哈桑一世大学）
本研究提出一种自适应前馈梯度估计方法，通过消除反向传播和伴随方法来提升Neural ODEs的效率与可解释性，同时保持准确率。
2024-09-22 cs.LG
ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks
Aalto University（阿尔托大学）
提出了一种高维序列数据的隐二阶常微分方程变分自动编码器（ODE $^2$ VAE）。利用深度生成模型的进步，ODE $^2$ VAE可以同时学习高维轨迹的嵌入并推断任意复杂的连续时间潜在动态。我们的模型显式地将潜在空间分解为动量和位置分量，并解决了二阶常微分方程系统，这是在基于递归神经网络（RNN）的时间序列模型和最近提出的黑盒常微分方程技术。为了考虑不确定性，我们提出了由深度贝叶斯神经网络参数化的概率潜在ODE动力学。我们展示了我们的方法上的运动捕捉，图像旋转和弹跳球数据集。我们在长期运动预测和插补任务中实现了最先进的性能。
2019-10-24 cs.LG stat.ML
PAC bounds of continuous Linear Parameter-Varying systems related to neural ODEs
Institute for Computer Science and Control (ELKH SZTAKI)（计算机科学与控制研究所（ELKH SZTAKI））；Eötvös Loránd University（厄特沃什·罗兰大学）；Université de Lille（里尔大学）
本文在连续时间LPV系统框架下研究neural ODEs的学习问题，并在稳定性条件下给出了不依赖于积分区间的PAC泛化界。
2023-07-07 cs.LG
Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations
University of Augsburg（奥格斯堡大学）；XRG Simulation GmbH（XRG仿真有限公司）；Hamburg University of Technology（汉堡工业大学）
本工作提出平衡神经常微分方程（B-NODE），结合VAE降维与Neural ODE动力学建模，通过连续传播变分参数实现时变输入系统的概率建模，并高效逼近Koopman算子，在电厂和MuJoCo等案例中验证了有效性。
2025-02-26 cs.LG stat.ML
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University（乌普萨拉大学）
在本文中，我们证明了，在深度极限，ResNet型深度神经网络，其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降，以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下，我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
Learning the Simplest Neural ODE
Gradiate School of Medicine, Kyoto University（京都大学研究生医学部）；Research Center for Mathematical Engineering, Chiba Institute of Technology（千叶技术大学数学工程研究中心）
本文通过一维线性模型揭示训练神经ODE的困难，提出新的稳定化方法并给出解析收敛性分析，为初学者提供简明教程。
2025-08-26 cs.LG math.DS stat.ML
Improving Neural ODEs via Knowledge Distillation
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
针对Neural ODEs在图像识别中因独热编码监督信息不足导致性能不佳的问题，提出基于知识蒸馏的师生训练方法，利用ResNets提供更丰富监督信息，显著提升了分类准确率及对抗鲁棒性。
2022-03-10 cs.CV cs.LG
Neural ODEs with stochastic vector field mixtures
University of Bristol（布里斯托大学）
最近的研究表明，神经常微分方程模型不能解决基本的和看似简单的任务，即使是高容量的向量场表示。本文介绍了其他两个基本任务的基线方法不能解决的一套，并提出了混合物的随机向量场作为一个模型类，能够解决这些基本问题。动态矢量场的选择是至关重要的，我们的模型，我们的方法是传播组件的不确定性的集成间隔与技术的基础上向前滤波。我们还正式几个损失函数，鼓励理想的属性的轨迹路径，特别感兴趣的是那些直接鼓励较少的预期功能评估。在实验中，我们证明了我们的模型类能够捕捉人类行为的自然动态;一个众所周知的不稳定的应用领域。基线方法无法充分模拟这一问题。
2019-05-23 cs.LG stat.ML
Forecasting Black Sigatoka Infection Risks with Latent Neural ODEs
University of Toronto（多伦多大学）
黑香蕉叶斑病严重降低了全球香蕉产量，气候变化通过改变真菌物种分布使问题更加严重。由于管理这种传染病的沉重财政负担，发展中国家的农民面临着严重的香蕉作物损失。尽管科学家已经建立了传染病的数学模型，但调整这些模型以纳入气候影响是困难的。我们提出了MR. NODE（多预测神经ODE），一个神经网络，通过神经常微分方程直接从数据中学习的黑色Sigatoka感染的动态模型。除了我们推断的变量之外，我们的方法还将外部预测因子编码到潜在空间中，并且它还可以预测任意时间点的感染风险。从经验上讲，我们在历史气候数据上证明，我们的方法在未来一个月的时间点和不可见的不规则性上具有优越的泛化性能。我们相信，我们的方法可以成为一个有用的工具，以控制黑色Sigatoka的蔓延。
2021-01-10 cs.LG stat.ML
Faster Training of Neural ODEs Using Gauß-Legendre Quadrature
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
针对神经ODE伴随法训练慢的问题，提出用高斯-勒让德求积法加速积分求解的方案，兼顾速度与内存效率，还可拓展至SDE训练，尤其适用于大模型。
2023-08-21 cs.LG cs.NA math.NA
Latent Neural ODEs with Sparse Bayesian Multiple Shooting
Aalto University（阿尔托大学）；University of Tübingen（图宾根大学）
在长轨迹上训练动态模型（如神经ODE）是一个很难的问题，需要使用各种技巧（如轨迹分裂）才能使模型训练在实践中发挥作用。这些方法通常是理论论证不佳的方法，并且需要迭代的手动调优。我们提出了一个原则性的多射击技术的神经常微分方程，分裂的轨迹成可管理的短段，这是并行优化，同时确保连续段的连续性概率控制。我们推导出变分推理我们的射击为基础的潜在神经ODE模型，并提出摊销编码的不规则采样轨迹与基于变换的识别网络的时间注意力和相对位置编码。我们在多个大规模基准数据集上展示了高效稳定的训练和最先进的性能。
2023-02-08 cs.LG
Unveiling LLM Mechanisms Through Neural ODEs and Control Theory
The Chinese University Of Hongkong（香港中文大学）；Fudan University（复旦大学）
本文提出融合神经ODE与鲁棒控制理论的框架，用于增强大语言模型的可解释性与可控性，实验证明该方法在多个问答数据集上显著提升输出一致性与可解释性。
2025-02-23 cs.AI cs.CL cs.LG
Function-Space Priors for Bayesian Neural ODEs with Application to Vessel Trajectory Prediction
Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST)（工业与系统工程系，韩国科学技术院（KAIST））
针对船舶轨迹预测中不规则采样、缺失报告和复杂动力学挑战，提出一种在向量场上施加高斯过程核先验的正则化方法，并结合概率多重打靶实现长序列的不确定性量化。
2026-06-04 cs.LG stat.ML
Neural Ordinary Differential Equation based Recurrent Neural Network Model
IBM（国际商业机器公司）；Maynooth University（梅努斯大学）
神经微分方程是神经网络家族中一个很有前途的新成员。它们显示了微分方程用于时间序列数据分析的潜力。本文对常微分方程的强度进行了新的推广。本文的主要目标是回答以下问题：（i）~ ODE可以用来重新定义现有的神经网络模型吗？(ii)神经ODE可以解决连续时间序列的现有神经网络模型的不规则采样率挑战，即，长度和动态性质，（iii）如何减少现有神经ODE系统的训练和评估时间？这项工作利用ODE的数学基础来重新设计传统的RNN，如长短期记忆（LSTM）和门控递归单元（GRU）。本文的主要贡献是说明了两种新的基于ODE的RNN模型（GRU-ODE模型和LSTM-ODE）的设计，它们可以使用ODE求解器计算任何时间点的隐藏状态和单元状态。这些模型大大减少了隐藏状态和单元状态的计算开销。这两个新模型的性能评估学习连续时间序列的不规则采样率，然后证明。实验表明，这些新的ODE基于RNN模型需要更少的训练时间比潜在ODE和传统的神经ODE。它们可以快速地达到更高的精度，并且神经网络的设计比以前的神经ODE系统更简单。
2020-05-20 cs.LG stat.ML
Noisy Learning for Neural ODEs Acts as a Robustness Locus Widening
Institut de Recherche Technologique SystemX（SystemX技术研究院）；Centre de Recherche en Informatique, Signal et Automatique de Lille（里尔计算机、信号与自动化研究中心）
我们调查的问题和挑战评估的鲁棒性微分方程为基础的（DE）网络对合成分布偏移。我们提出了一种新的和简单的精度度量，可用于评估固有的鲁棒性和验证数据集腐败模拟器。我们还提出了方法论建议，注定要评估神经DE的鲁棒性的许多方面，并严格比较它们与离散的同行。然后，我们使用这个标准来评估一种廉价的数据增强技术，作为一种可靠的方法来证明神经ODE对多个数据集上模拟图像损坏的自然鲁棒性。
2022-06-16 cs.LG
Latent Space Energy-based Neural ODEs
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）；University of California, Los Angeles（加州大学洛杉矶分校）；Akool Research（Akool研究院）
本文提出一种基于能量先验的潜空间神经常微分方程模型，通过端到端MCMC训练实现连续时间序列建模，在振荡系统、视频和MuJoCo数据上优于现有方法并支持长时程预测。
2025-02-05 cs.LG stat.ML
Reachability Analysis of a General Class of Neural Ordinary Differential Equations
Vanderbilt University（范德堡大学）
连续深度学习模型，被称为神经常微分方程（Neural ODE），在过去几年中受到了相当大的关注。尽管其迅速发展的影响，有一个缺乏正式的分析技术，这些系统。在本文中，我们考虑了一类具有不同架构和层的神经常微分方程，并引入了一个新的可达性框架，允许其行为的形式化分析。开发的神经常微分方程的可达性分析的方法实现在一个新的工具，称为NNVODE。具体来说，我们的工作扩展了现有的神经网络验证工具，以支持神经ODE。我们证明了我们的方法的能力和功效，通过分析一组基准，包括用于分类的神经ODE，并在控制和动态系统，包括我们的方法的功效和能力的评估，相对于现有的软件工具在连续时间系统可达性文献，当它是可能的。
2022-07-13 cs.LG
How to train your neural ODE: the world of Jacobian and kinetic regularization
McGill University（麦吉尔大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；UCLA（加州大学洛杉矶分校）
在大型数据集上训练神经常微分方程并不容易，因为需要允许自适应数值常微分方程求解器将其步长细化到非常小的值。在实践中，这导致相当于数百甚至数千层的动态。在本文中，我们克服了这个明显的困难，通过引入一个理论上的最佳运输和稳定性正则化的组合，鼓励神经常微分方程更喜欢简单的动力学的所有动力学，很好地解决问题。更简单的动力学导致更快的收敛速度和更少的离散化求解器，大大减少挂钟时间，而不会损失性能。我们的方法使我们能够训练基于神经ODE的生成模型，使其具有与非正则化动力学相同的性能，同时显著减少了训练时间。这使得神经ODE更接近大规模应用中的实际相关性。
2020-06-23 cs.LG stat.ML
Piecewise-constant Neural ODEs
Oregon State University（俄勒冈州立大学）
神经网络是一种流行的工具，用于建模连续数据，但他们通常不把时间作为一个连续变量。神经常微分方程代表了一个重要的例外：它们用神经网络参数化隐藏状态的时间导数，然后在任意时间内积分。但是这些具有任意曲率的参数化可能难以集成，从而难以训练和评估。在本文中，我们建议对神经常微分方程进行分段常数近似来缓解这些问题。我们的模型可以通过欧拉积分进行精确积分，并且可以比可比的RNN和ODE-RNN模型少3-20倍的步骤生成自回归样本。我们评估我们的模型上的几个合成物理任务和规划任务的灵感来自台球游戏。我们发现它与基线方法的性能相匹配，同时需要更少的时间进行训练和评估。
2021-06-11 cs.AI cs.LG
Generalization Bound for a General Class of Neural Ordinary Differential Equations
School of Engineering and Science（工程与科学学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本研究针对一般非线性动力学神经ODE，在Lipschitz条件下证明解的有界变差，首次推导出时间依赖与无关情形的泛化界，并分析过参数化与域约束的影响。
2025-08-26 cs.LG
Towards Foundation Inference Models that Learn ODEs In-Context
Lamarr Institute（拉马尔研究所）；University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫研究所）
本文提出FIM-ODE，一种预训练神经模型，能从稀疏含噪观测中零样本估计常微分方程，在合成数据上训练，利用神经算子实现稳健推断，性能与最先进方法相当。
2025-10-14 cs.LG
Sparsity in long-time control of neural ODEs
我们考虑神经ODE和最优控制的监督学习的角度来看，与$\ell^1$ -控制惩罚，而不是只最小化最终成本（\emph{empirical risk}）的状态，我们整合了整个时间范围内的成本。我们证明了任何最优控制（此成本）消失超过一些积极的停止时间。当在离散时间上下文中看到时，该结果需要相关残差神经网络的参数的\emph{ordered}稀疏模式：在这些参数都是$0$的意义上排序，超出某个层。此外，我们提供了一个多项式稳定性估计的经验风险的时间范围。这可以被看作是一个\emph{turnpike property}，非光滑动力学和泛函的$\ell^1$ -处罚，没有任何小的假设的数据，这两个都是新的文献。
2022-09-08 cs.LG math.OC stat.ML
An Invariant Compiler for Neural ODEs in AI-Accelerated Scientific Simulation
Virginia Tech（弗吉尼亚理工大学）
本文提出不变编译器，通过构造性方法强制保持不变量，将不变量作为第一类类型，利用LLM驱动的编译流程将通用神经ODE规范转换为保持结构的架构，确保轨迹在连续时间内保持在允许的流形上。
2026-03-25 cs.LG
Approximating velocity fields with planted point attractors via Neural-ODE for classification purposes
Department of Informatics and Computer Science, University of Pisa, Italy（比萨大学信息学与计算机科学系）
本文利用带有植入平衡点的神经ODE进行分类，通过速度场塑造吸引域，将初始条件导向对应目标。
2026-10-26 cond-mat.dis-nn cs.LG
MRI Image Reconstruction via Learning Optimization Using Neural ODEs
United Imaging Intelligence（联影智能）
我们建议制定MRI图像重建作为一个优化问题和模型的优化轨迹作为一个动态过程，使用常微分方程（ODE）。我们用神经网络对ODE中的动力学进行建模，并用现成的（固定的）求解器求解所需的ODE以获得重建图像。我们扩展了这个模型，并将现成的ODE求解器的知识融入到网络设计中（学习求解器）。我们调查了几个模型的基础上三个ODE求解器和固定求解器和学习求解器的模型进行比较。我们的模型实现了更好的重建结果，并且比其他流行的方法（如UNet和级联CNN）更具参数效率。我们介绍了一种新的方法来解决MRI重建问题的建模连续优化动态使用神经常微分方程。
2020-09-14 cs.LG eess.IV
Operator Neural Jump ODEs: $L^2$-optimal prediction in function spaces
ETH Zurich（苏黎世联邦理工学院）
研究将神经跳跃常微分方程扩展到无限维函数空间，基于神经算子方法思想构建框架，开发新近似策略证明收敛性，解决了函数值问题只能通过离散化处理导致信息丢失的问题。
2026-07-28 cs.LG stat.ML
A Self-Adaptive Penalty Method for Integrating Prior Knowledge Constraints into Neural ODEs
University of Minho（米尼奥大学）；University of Porto（波尔图大学）
针对神经常微分方程建模需遵循自然系统规则的需求，提出可动态调整参数的自适应惩罚算法，融入先验知识提升可解释性，经三类自然系统实验验证，该方法比现有方法更准确鲁棒。
2024-03-05 cs.LG math.OC
FI-ODE: Certifiably Robust Forward Invariance in Neural ODEs
California Institute of Technology（加州理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC San Diego（加州大学圣地亚哥分校）
本文提出FI-ODE框架，用于训练和可证明地认证神经ODE中的鲁棒前向不变性，首次为非空泛认证保证的神经ODE策略提供支持，并应用于鲁棒连续控制及图像分类的对抗鲁棒性认证。
2023-12-22 cs.LG
Learning Robust State Observers using Neural ODEs (longer version)
University of Oxford（牛津大学）
本文基于神经ODE提出了一种非线性系统状态观测器设计方法，通过分析可调谐KKL观测器在收敛速度与鲁棒性间的权衡，提升了基于学习的观测器的鲁棒性，并在数值仿真中验证了其优势。
2023-05-17 cs.LG cs.SY eess.SY
Accelerating Neural ODEs Using Model Order Reduction
Tampere University（坦佩雷大学）；Faculty of Medicine and Health Technology, Tampere University（坦佩雷大学医学与健康技术学院）；Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息技术与传播科学学院）
针对 Neural ODE 推理慢的问题，提出将模型降阶的子空间投影与插值集成为网络层以压缩加速，并在图像和时序任务中验证其相对剪枝和 SVD 截断的优势。
2022-03-02 cs.LG math.DS
Neural Flows: Efficient Alternative to Neural ODEs
Technical University of Munich（慕尼黑工业大学）；AWS AI Labs（AWS AI 实验室）
神经常微分方程描述了值如何随时间变化。这就是为什么它们在建模序列数据时变得重要的原因，特别是当观察以不规则的间隔进行时。在本文中，我们提出了一种替代方案，通过直接建模的解决方案曲线-一个常微分方程的流动-与神经网络。这立即消除了对昂贵的数值求解器的需要，同时仍然保持神经ODE的建模能力。我们提出了几个流架构适合不同的应用程序，建立精确的条件时，一个功能定义一个有效的流。除了计算效率，我们还提供了良好的泛化性能的经验证据，通过应用程序在时间序列建模，预测和密度估计。
2021-10-25 cs.LG cs.NA math.NA
Learning ODEs via Diffeomorphisms for Fast and Robust Integration
the University of Sydney（悉尼大学）；ETH Zurich（苏黎世联邦理工学院）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；NVIDIA（英伟达）
可微数值积分器的进步使得能够使用梯度下降技术来学习常微分方程（ODE）。在机器学习的背景下，可微求解器是神经ODE（NODE）的核心，NODE是一类具有连续深度而不是离散层的深度学习模型。然而，当从长序列学习常微分方程系统时，或者当系统的解在每个维度上以不同的时间尺度变化时，这些积分器可能是令人不满意的缓慢和不准确的。在本文中，我们提出了另一种方法来学习常微分方程的数据：我们表示的基础常微分方程作为一个向量场，是相关的另一个基本向量场的可微双射，可逆神经网络建模。通过限制基础常微分方程服从积分，我们可以大大加快和提高集成的鲁棒性。我们证明了我们的方法在训练和评估连续神经网络模型，以及在学习基准ODE系统的有效性。我们观察到的改进高达两个数量级时，集成学习的ODE与GPU计算。
2021-07-04 cs.LG
Training Neural ODEs Using Fully Discretized Simultaneous Optimization
Department of Computing, Imperial College London（帝国理工学院计算系）
针对神经常微分方程训练计算成本高的问题，提出基于配点法的完全离散化联立优化方案，结合IPOPT求解器及ADMM分解框架，经Van der Pol振子验证收敛更快，为高效训练提供新路径。
2025-02-21 cs.LG math.OC
Meta-Solver for Neural Ordinary Differential Equations
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
训练神经常微分方程（ODE）的传统方法是固定ODE求解器，然后学习神经网络的权重以优化目标损失函数。然而，这种方法是针对特定的离散化方法及其属性定制的，这对于所选择的应用可能不是最佳的，并且产生对给定求解器的过拟合。在我们的论文中，我们研究了求解器空间的可变性如何提高神经常微分方程的性能。我们考虑一个家庭的龙格-库塔方法参数不超过两个标量变量。基于求解器的属性，我们提出了一种方法来减少神经ODE过拟合到预定义的求解器，以及一个标准来评估这种行为。此外，我们表明，正确选择求解器参数化可以显着影响神经ODE模型的鲁棒性对抗攻击。最近的研究表明，神经ODE在鲁棒性方面优于传统的CNN。我们的工作表明，模型的鲁棒性可以进一步提高优化求解器的选择，为给定的任务。复制我们实验的源代码可在https://github.com/juliagusak/neural-ode-metasolver上获得。
2021-03-15 cs.LG
Efficient Training of Physics-enhanced Neural ODEs via Direct Collocation and Nonlinear Programming
Bielefeld University of Applied Sciences and Arts（比勒费尔德应用科学与艺术大学）
提出将物理增强神经ODE训练转化为动态优化问题，采用直接配点法离散化并用NLP求解器高效求解，实现参数与轨迹同步优化，在车辆和振荡器基准上验证了精度与速度优势。
2025-08-06 cs.LG math.DS math.OC
Robust Classification using Contractive Hamiltonian Neural ODEs
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
深度神经网络可能是脆弱的，对可能导致输出显著变化的小输入扰动敏感。在本文中，我们采用收缩理论来提高神经ODE（NODE）的鲁棒性。一个动力系统是压缩的，如果具有不同初始条件的所有解以指数速度收敛到彼此。因此，初始条件的扰动随着时间的推移变得越来越不相关。由于在NODE中输入数据对应于动力系统的初始条件，我们证明了收缩性可以减轻输入扰动的影响。更确切地说，受节点的哈密顿动力学的启发，我们提出了一类压缩哈密顿节点（CH-NODE）。通过适当调整标量参数，CH-NODE通过设计确保收缩性，并且可以使用标准反向传播进行训练。此外，CH-NODE享有非爆炸梯度的内置保证，这确保了良好的训练过程。最后，我们证明了鲁棒性的CH-NODE的MNIST图像分类问题与噪声测试数据。
2022-07-11 cs.LG
Progressive Growing of Neural ODEs
University of California, San Diego（加州大学圣地亚哥分校）；SRI International（SRI国际）
神经常微分方程（NODE）已被证明是一个强大的建模工具，用于近似（内插）和预测（外推）不规则采样的时间序列数据。然而，当应用于真实世界的数据时，它们的性能大幅下降，特别是具有复杂行为的长期数据（例如，跨年的长期趋势、跨月的中期季节性和跨天的短期局部变化）。为了解决这种复杂的数据在不同的频率（时间跨度）不同的行为建模，我们提出了一种新的渐进学习范式的NODE的长期时间序列预测。具体来说，我们遵循课程学习的原则，随着训练的进行，逐步增加数据的复杂度和网络容量。我们的实验与合成数据和真实的交通数据（PeMS湾区交通数据）表明，我们的训练方法一致提高了超过64%的香草节点的性能。
2020-03-08 cs.LG cs.NE stat.ML
AdamNODEs: When Neural ODE Meets Adaptive Moment Estimation
Yonsei University（延世大学）；Oregon State University（俄勒冈州立大学）；Arizona State University（亚利桑那州立大学）
Xia等人最近的工作利用了经典动量加速梯度下降的连续极限，并提出了重球神经常微分方程。虽然这种模型提供了比普通神经ODE更高的计算效率和实用性，但这种方法通常会导致内部动力学的过冲，导致模型的不稳定训练。先前的工作通过使用特别方法来解决这个问题，例如，边界的内部动态使用特定的激活函数，但得到的模型不满足精确的重球常微分方程。在这项工作中，我们提出了自适应动量估计神经常微分方程（AdamNODEs），自适应地控制加速经典的动量为基础的方法。我们发现，它的伴随状态也满足AdamODE，不需要特别的解决方案，以前的工作雇用。在评估中，我们表明AdamNODE比现有的神经ODE实现了最低的训练损失和有效性。我们还表明，AdamNODE比经典的动量神经ODE具有更好的训练稳定性。这一结果揭示了一些适应在优化社区提出的技术，以进一步改善神经ODE的训练和推理。我们的代码可在https://github.com/pmcsh04/AdamNODE上获得。
2022-07-13 cs.AI cs.LG
Nonparametric Filtering, Estimation and Classification using Neural Jump ODEs
Department of Mathematics ETH Zurich（数学系，苏黎世联邦理工学院）；Department of Statistics UC Berkeley（统计系，伯克利大学）；Department of Mathematics Albert-Ludwigs-Universität Freiburg（数学系，弗赖堡阿尔伯特-路易斯大学）
本文提出基于神经跳ODEs的非参数滤波与分类方法，通过理论保证和实验证明其在复杂分布下的优越性能，适用于金融和健康监测等实时性要求高的领域。
2025-08-15 cs.LG cs.NA math.NA
Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs
University of Utah（犹他大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Illinois Institute of Technology（伊利诺伊理工学院）；University of California, Irvine（加州大学欧文分校）；Scientific Computing and Imaging (SCI) Institute（科学计算与成像研究所）
学习神经常微分方程通常需要解决非常僵硬的常微分方程系统，主要是使用显式自适应步长常微分方程求解器。这些求解器在计算上是昂贵的，需要使用微小的步长来保证数值稳定性和精度。本文考虑使用不同阶数的隐式ODE求解器利用邻近算子学习神经ODE。近似隐式求解器由内部-外迭代组成：内迭代使用快速优化算法近似每个隐式更新步骤，而外迭代随时间求解ODE系统。近似隐式常微分方程求解器保证了在数值稳定性和计算效率方面优于显式求解器。我们在各种具有挑战性的基准任务上验证了近端隐式求解器相对于现有流行神经ODE求解器的优势，包括学习连续深度图神经网络和连续归一化流。
2022-04-19 cs.LG cs.NA math.NA
Sumudu Neural Operator for ODEs and PDEs
本文提出基于Sumudu变换的神经算子SNO，在多类ODE、PDE任务上性能优于FNO、精度比肩LNO，还支持零样本超分辨率，验证了该算子设计的应用潜力。
2025-11-14 cs.LG
Neural ODEs with Irregular and Noisy Data
Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）
测量噪声是物理过程数据采集中不可或缺的一部分。因此，噪声去除是必要的，从这些数据中得出结论，它往往成为必不可少的使用这些数据构建动态模型。我们讨论了一种方法来学习微分方程（S）使用噪声和不规则的采样测量。在我们的方法中，主要的创新可以在深度神经网络与神经常微分方程（ODE）方法的集成中看到。准确地说，我们的目标是学习一个神经网络，它提供（近似）数据的隐式表示，以及一个额外的神经网络，它对因变量的向量场进行建模。我们通过使用神经ODE约束来组合这两个网络。所提出的框架来学习描述矢量场的模型在噪声测量下是非常有效的。该方法可以处理因变量在同一时间网格中不可用的情况。此外，特定结构，例如，二阶相对于时间，可以很容易地纳入。我们证明了所提出的方法的有效性，学习模型使用从各种微分方程获得的数据，并提出了一个比较与神经ODE方法，不作任何特殊处理的噪声。
2022-05-19 cs.LG math.DS
