Towards Understanding Normalization in Neural ODEs
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
规范化是深度学习中一种重要且广泛研究的技术。然而，它在基于常微分方程的网络（神经ODE）中的作用仍然知之甚少。本文研究了不同的归一化技术如何影响神经常微分方程的性能。特别是，我们证明了在CIFAR-10分类任务中可以达到93%的准确率，据我们所知，这是在这个问题上测试的神经ODE中报告的最高准确率。
2020-04-27 cs.LG stat.ML
Automatic and Structure-Aware Sparsification of Hybrid Neural ODEs
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）
本文提出了一种混合神经ODEs的自动稀疏化方法，结合领域知识与数据驱动正则化，以提高预测性能和稳定性，同时保持机理合理性。
2026-03-03 cs.LG stat.ML
Time Dependence in Non-Autonomous Neural ODEs
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经常微分方程（ODE）是深度网络的优雅重新解释，其中连续时间可以取代深度的离散概念，ODE求解器执行前向传播，伴随方法实现高效，恒定内存反向传播。神经常微分方程只有在非自治时才是通用逼近器，也就是说，动力学显式依赖于时间。我们提出了一个新的家庭的神经常微分方程随时间变化的权重，时间依赖性是非参数的，和平滑的权重轨迹可以显式控制，以允许表达能力和效率之间的权衡。使用这种增强的表现力，我们在速度和表示能力方面都优于以前的神经ODE变体，最终在选择图像分类和视频预测任务上优于标准ResNet和CNN模型。
2020-05-06 cs.LG stat.ML
Approximation Capabilities of Neural ODEs and Invertible Residual Networks
Virginia Commonwealth University（弗吉尼亚联邦大学）
神经ODE和i-ResNet是最近提出的用于增强残差神经模型可逆性的方法。拥有构建可逆模型的通用技术可以为学习系统的进步开辟新的途径，但到目前为止，神经ODE和i-ResNets是否可以对任何连续可逆函数建模的问题仍未得到解决。在这里，我们表明，这两个模型是有限的，在他们的近似能力。然后，我们证明了$p$维欧氏空间上的任何同胚都可以通过在$2p$维欧氏空间上操作的神经ODE来近似，并且对于i-ResNets也有类似的结果。我们的结论是，用单个线性层覆盖神经ODE或i-ResNet足以将模型变成不可逆连续函数的通用近似器。
2020-03-01 cs.LG stat.ML
Efficient, Accurate and Stable Gradients for Neural ODEs
University of Bath（巴斯大学）
该研究提出一类代数可逆ODE求解器，在训练神经ODE时能计算精确梯度，并在时间、内存开销及数值稳定性上严格优于现有递归检查点与可逆架构。
2025-01-29 cs.LG stat.ML
Integrating Expert ODEs into Neural ODEs: Pharmacology and Disease Progression
University of Cambridge（剑桥大学）；UCLA（加州大学洛杉矶分校）；Amsterdam UMC（阿姆斯特丹大学医学中心）；The Alan Turing Institute（艾伦·图灵研究所）
在许多领域中，模拟系统对外部刺激的反应的时间行为是一个基本问题。纯机器学习（ML）方法通常在小样本情况下失败，并且无法提供超出预测的可操作见解。一个有前途的修改是将专家领域知识纳入ML模型。我们考虑的应用是预测药物治疗下的疾病进展，其中可以从药理学中获得过多的领域知识。药理学模型用常微分方程（ODE）系统描述精心选择的医学上有意义的变量的动力学。然而，这些模型仅描述了有限的变量集合，并且这些变量通常在临床环境中不可观察。为了缩小这一差距，我们提出了潜在的杂交模型（LHM），它集成了专家设计的ODE系统与机器学习的神经ODE系统，以充分描述系统的动态，并将专家和潜在变量与可观测量联系起来。我们根据合成数据以及COVID-19患者的真实重症监护数据对LHM进行了评估。LHM的表现一直优于以前的作品，特别是当很少的训练样本，如在流行病的开始。
2021-06-17 cs.LG stat.ML
Model-based Reinforcement Learning for Semi-Markov Decision Processes with Neural ODEs
Harvard University（哈佛大学）
我们提出了两个优雅的解决方案建模连续时间动态，在一个新的基于基于模型的强化学习（RL）框架半马尔可夫决策过程（SMDP），使用神经常微分方程（ODE）。我们的模型准确地描述了连续时间动态，使我们能够使用少量数据开发高性能的策略。我们还开发了一种基于模型的方法来优化时间表，以减少与环境的交互率，同时保持接近最佳的性能，这是不可能的无模型的方法。我们通过实验证明了我们的方法在各种连续时间域的有效性。
2020-10-25 cs.LG stat.ML
Progressive Growing of Neural ODEs
University of California, San Diego（加州大学圣地亚哥分校）；SRI International（SRI国际）
神经常微分方程（NODE）已被证明是一个强大的建模工具，用于近似（内插）和预测（外推）不规则采样的时间序列数据。然而，当应用于真实世界的数据时，它们的性能大幅下降，特别是具有复杂行为的长期数据（例如，跨年的长期趋势、跨月的中期季节性和跨天的短期局部变化）。为了解决这种复杂的数据在不同的频率（时间跨度）不同的行为建模，我们提出了一种新的渐进学习范式的NODE的长期时间序列预测。具体来说，我们遵循课程学习的原则，随着训练的进行，逐步增加数据的复杂度和网络容量。我们的实验与合成数据和真实的交通数据（PeMS湾区交通数据）表明，我们的训练方法一致提高了超过64%的香草节点的性能。
2020-03-08 cs.LG cs.NE stat.ML
Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation
ShanghaiTech University（上海科技大学）
本文通过同伦延拓建立DEQs与Neural ODEs的联系，提出新隐式模型HomoODE，兼具高精度与稳定性，并在图像分类任务中超越现有隐式模型。
2023-12-21 cs.LG stat.ML
STEER: Simple Temporal Regularization For Neural ODEs
University of Oxford（牛津大学）；University of Bath（巴斯大学）
训练神经常微分方程（ODE）通常是计算昂贵的。事实上，计算这种模型的前向传递涉及求解在训练期间可能变得任意复杂的ODE。最近的工作表明，正则化的动力学的常微分方程可以部分缓解这一点。在本文中，我们提出了一种新的正则化技术：在训练过程中随机采样ODE的结束时间。所提出的正则化实现简单，开销可以忽略不计，并且在各种任务中都是有效的。此外，该技术是正交的其他几种方法提出正规化的动态常微分方程，因此可以与他们一起使用。我们通过规范化流，时间序列模型和图像识别的实验表明，所提出的正则化可以显着减少训练时间，甚至提高基线模型的性能。
2020-11-02 cs.LG stat.ML
Global Convergence in Neural ODEs: Impact of Activation Functions
DePaul University（德保罗大学）；Iowa State University（爱荷华州立大学）
本文研究激活函数的光滑性与非线性对神经常微分方程训练动态的影响，并据此在过参数化条件下证明了梯度下降的全局收敛性。
2025-09-26 cs.AI cs.LG stat.ML
Adaptive Feedforward Gradient Estimation in Neural ODEs
Hassan First University of Settat（塞塔特哈桑一世大学）
本研究提出一种自适应前馈梯度估计方法，通过消除反向传播和伴随方法来提升Neural ODEs的效率与可解释性，同时保持准确率。
2024-09-22 cs.LG
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University（乌普萨拉大学）
在本文中，我们证明了，在深度极限，ResNet型深度神经网络，其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降，以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下，我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
Improving Neural ODEs via Knowledge Distillation
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
针对Neural ODEs在图像识别中因独热编码监督信息不足导致性能不佳的问题，提出基于知识蒸馏的师生训练方法，利用ResNets提供更丰富监督信息，显著提升了分类准确率及对抗鲁棒性。
2022-03-10 cs.CV cs.LG
PAC bounds of continuous Linear Parameter-Varying systems related to neural ODEs
Institute for Computer Science and Control (ELKH SZTAKI)（计算机科学与控制研究所（ELKH SZTAKI））；Eötvös Loránd University（厄特沃什·罗兰大学）；Université de Lille（里尔大学）
本文在连续时间LPV系统框架下研究neural ODEs的学习问题，并在稳定性条件下给出了不依赖于积分区间的PAC泛化界。
2023-07-07 cs.LG
Classifying the classifier: dissecting the weight space of neural networks
Linköping University（林雪平大学）；Ulm University（乌尔姆大学）
本文对神经网络的权值进行了实证研究，将每个模型看作是一个高维空间--神经权值空间中的一个点。为了探索这个空间的复杂结构，我们从不同的训练变量（数据集，优化过程，架构等）中进行采样。的神经网络分类器，并训练大量的模型来表示的权重空间。然后，我们使用一种机器学习方法来分析和提取这个空间中的信息。最重要的是，我们训练了一些新的深度元分类器，其目标是通过识别它们在权重空间中的足迹来对训练设置的不同属性进行分类。因此，元分类器探测由超参数引起的模式，这样我们就可以量化这些模式在优化过程中被编码的数量、位置和时间。这为可解释的人工智能提供了一个新的和补充的观点，我们展示了元分类器如何通过只考虑随机选择的连续权重的一个小子集来揭示有关训练设置和优化的大量信息。为了促进对权重空间的进一步研究，我们发布了神经权重空间（NWS）数据集-来自16 K个单独训练的深度神经网络的320 K权重快照的集合。
2020-02-13 cs.CV cs.LG
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）
本文针对连续时间参数的神经常微分方程及相应深度残差网络，基于Lipschitz论证推导泛化界，并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Implicit regularization of deep residual networks towards neural ODEs
Sorbonne Université（索邦大学）；ENS（巴黎高等师范学院）；LPSM（数学与计算机科学实验室）；DMA（应用数学实验室）
本文建立了深度残差网络向神经常微分方程的隐式正则化理论，证明在梯度流训练下离散化关系全程保持，并在Polyak-Lojasiewicz条件下保证收敛到全局最小值。
2024-07-05 cs.LG stat.ML
On Robustness of Neural Ordinary Differential Equations
National University of Singapore（新加坡国立大学）
近年来，神经元常微分方程（ODE）在各个研究领域都引起了越来越多的关注。已有一些研究神经常微分方程的优化问题和逼近能力的工作，但它们的鲁棒性仍然不清楚。在这项工作中，我们填补了这一重要的空白，探索神经常微分方程的鲁棒性的经验和理论。首先，我们提出了一个基于ODE的神经网络（ODENets）的鲁棒性的实证研究，通过将它们暴露于各种类型的扰动输入，随后调查相应的输出的变化。与传统的卷积神经网络（CNN）相比，我们发现ODENets对随机高斯扰动和对抗攻击的例子都更鲁棒。然后，我们提供了一个有见地的理解这种现象，利用一定的连续时间常微分方程的流动，即积分曲线是不相交的理想属性。我们的工作表明，由于其内在的鲁棒性，使用神经ODE作为构建鲁棒深度网络模型的基本块是有希望的。为了进一步增强香草神经常微分方程的鲁棒性，我们提出了时不变稳态神经常微分方程（TisODE），它通过时不变特性和施加稳态约束来正则化扰动数据上的流。我们证明了TisODE方法优于普通神经ODE，并且还可以与其他最先进的架构方法结合使用，以构建更强大的深度网络。
2022-03-03 cs.LG stat.ML
Faster Training of Neural ODEs Using Gauß-Legendre Quadrature
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
针对神经ODE伴随法训练慢的问题，提出用高斯-勒让德求积法加速积分求解的方案，兼顾速度与内存效率，还可拓展至SDE训练，尤其适用于大模型。
2023-08-21 cs.LG cs.NA math.NA
Unveiling LLM Mechanisms Through Neural ODEs and Control Theory
The Chinese University Of Hongkong（香港中文大学）；Fudan University（复旦大学）
本文提出融合神经ODE与鲁棒控制理论的框架，用于增强大语言模型的可解释性与可控性，实验证明该方法在多个问答数据集上显著提升输出一致性与可解释性。
2025-02-23 cs.AI cs.CL cs.LG
Dissecting a Small Artificial Neural Network
The University of Georgia（佐治亚大学）；College of Computing, Georgia Tech（佐治亚理工学院计算学院）
本研究剖析实现XOR门的最简神经网络，结合统计物理微正则熵分析其损失曲面与反向传播动力学，揭示学习的退火相变本质及隐藏神经元对熵垒的消除作用。
2025-01-03 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Learning the Simplest Neural ODE
Gradiate School of Medicine, Kyoto University（京都大学研究生医学部）；Research Center for Mathematical Engineering, Chiba Institute of Technology（千叶技术大学数学工程研究中心）
本文通过一维线性模型揭示训练神经ODE的困难，提出新的稳定化方法并给出解析收敛性分析，为初学者提供简明教程。
2025-08-26 cs.LG math.DS stat.ML
Neural ODEs for Informative Missingness in Multivariate Time Series
IBM；Maynooth University（梅努斯大学）
在连续时间序列的数字处理中，信息缺失是不可避免的，其中在不同时间点的一个或多个观测值缺失。这种缺失的观测是使用深度学习进行时间序列处理的主要限制之一。实际应用，例如，传感器数据、医疗保健、天气生成实际上在时间上连续的数据，并且信息缺失是这些数据集中的常见现象。这些数据集通常由多个变量组成，并且这些变量中的一个或多个通常存在缺失值。这一特性使得时间序列预测更具挑战性，并且丢失的输入观测值对最终输出的准确性的影响可能很大。最近一种名为GRU-D的新型深度学习模型是解决时间序列数据中信息缺失的早期尝试。另一方面，一种新的神经网络族称为神经ODE（常微分方程）是自然和有效的处理时间序列数据，这是连续的时间。在本文中，提出了一种深度学习模型，该模型利用了GRU-D的有效插补和神经ODE的时间连续性。在PhysioNet数据集上执行的时间序列分类任务演示了此架构的性能。
2020-05-20 cs.LG stat.ML
Stochasticity in Neural ODEs: An Empirical Study
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）
神经网络的随机正则化（例如dropout）是深度学习中广泛使用的技术，可以实现更好的泛化。尽管它的成功，连续时间模型，如神经常微分方程（ODE），通常依赖于一个完全确定性的前馈操作。这项工作提供了随机正则化神经ODE在几个图像分类任务（CIFAR-10，CIFAR-100，TinyImageNet）上的实证研究。建立在随机微分方程（SDES）的形式主义，我们证明了神经网络是能够超越其确定性的对应。此外，我们表明，在训练过程中的数据增强提高了同一模型的确定性和随机版本的性能。然而，通过数据增强获得的改进完全消除了随机正则化的经验增益，使得神经常微分方程和神经正则化的性能差异可以忽略不计。
2020-06-26 cs.LG stat.ML
On Second Order Behaviour in Augmented Neural ODEs
University of Cambridge（剑桥大学）
神经常微分方程（NODE）是一类新的模型，通过无限深度架构连续转换数据。NODE的连续性使其特别适合于学习复杂物理系统的动力学。虽然以前的工作主要集中在一阶常微分方程上，但许多系统的动力学，特别是经典物理中的系统，都受二阶定律的支配。在这项工作中，我们考虑二阶神经常微分方程（SONODE）。我们展示了如何伴随灵敏度方法可以扩展到SONODE，并证明一阶耦合ODE的优化是等价的，计算效率更高。此外，我们扩展了对更广泛的增强节点（ANODE）的理论理解，表明它们也可以用最小数量的增强维度学习高阶动力学，但代价是可解释性。这表明ANODE的优势超出了最初认为的增加维度所提供的额外空间。最后，我们比较了SONODE和ANODE在合成和真实动力学系统上的表现，并证明了前者的归纳偏差通常会导致更快的训练和更好的性能。
2020-10-21 cs.LG stat.ML
Latent Neural ODEs with Sparse Bayesian Multiple Shooting
Aalto University（阿尔托大学）；University of Tübingen（图宾根大学）
在长轨迹上训练动态模型（如神经ODE）是一个很难的问题，需要使用各种技巧（如轨迹分裂）才能使模型训练在实践中发挥作用。这些方法通常是理论论证不佳的方法，并且需要迭代的手动调优。我们提出了一个原则性的多射击技术的神经常微分方程，分裂的轨迹成可管理的短段，这是并行优化，同时确保连续段的连续性概率控制。我们推导出变分推理我们的射击为基础的潜在神经ODE模型，并提出摊销编码的不规则采样轨迹与基于变换的识别网络的时间注意力和相对位置编码。我们在多个大规模基准数据集上展示了高效稳定的训练和最先进的性能。
2023-02-08 cs.LG
ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks
Aalto University（阿尔托大学）
提出了一种高维序列数据的隐二阶常微分方程变分自动编码器（ODE $^2$ VAE）。利用深度生成模型的进步，ODE $^2$ VAE可以同时学习高维轨迹的嵌入并推断任意复杂的连续时间潜在动态。我们的模型显式地将潜在空间分解为动量和位置分量，并解决了二阶常微分方程系统，这是在基于递归神经网络（RNN）的时间序列模型和最近提出的黑盒常微分方程技术。为了考虑不确定性，我们提出了由深度贝叶斯神经网络参数化的概率潜在ODE动力学。我们展示了我们的方法上的运动捕捉，图像旋转和弹跳球数据集。我们在长期运动预测和插补任务中实现了最先进的性能。
2019-10-24 cs.LG stat.ML
Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations
University of Augsburg（奥格斯堡大学）；XRG Simulation GmbH（XRG仿真有限公司）；Hamburg University of Technology（汉堡工业大学）
本工作提出平衡神经常微分方程（B-NODE），结合VAE降维与Neural ODE动力学建模，通过连续传播变分参数实现时变输入系统的概率建模，并高效逼近Koopman算子，在电厂和MuJoCo等案例中验证了有效性。
2025-02-26 cs.LG stat.ML
Neural ODEs with stochastic vector field mixtures
University of Bristol（布里斯托大学）
最近的研究表明，神经常微分方程模型不能解决基本的和看似简单的任务，即使是高容量的向量场表示。本文介绍了其他两个基本任务的基线方法不能解决的一套，并提出了混合物的随机向量场作为一个模型类，能够解决这些基本问题。动态矢量场的选择是至关重要的，我们的模型，我们的方法是传播组件的不确定性的集成间隔与技术的基础上向前滤波。我们还正式几个损失函数，鼓励理想的属性的轨迹路径，特别感兴趣的是那些直接鼓励较少的预期功能评估。在实验中，我们证明了我们的模型类能够捕捉人类行为的自然动态;一个众所周知的不稳定的应用领域。基线方法无法充分模拟这一问题。
2019-05-23 cs.LG stat.ML
Modulated Neural ODEs
University of Amsterdam（阿姆斯特丹大学）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文提出调制神经常微分方程（MoNODE），通过引入时间不变调制变量区分动力学状态与静态变化因素，改进现有NODE方法，提升泛化与远距离预测能力。
2023-11-13 cs.LG stat.ML
Noisy Learning for Neural ODEs Acts as a Robustness Locus Widening
Institut de Recherche Technologique SystemX（SystemX技术研究院）；Centre de Recherche en Informatique, Signal et Automatique de Lille（里尔计算机、信号与自动化研究中心）
我们调查的问题和挑战评估的鲁棒性微分方程为基础的（DE）网络对合成分布偏移。我们提出了一种新的和简单的精度度量，可用于评估固有的鲁棒性和验证数据集腐败模拟器。我们还提出了方法论建议，注定要评估神经DE的鲁棒性的许多方面，并严格比较它们与离散的同行。然后，我们使用这个标准来评估一种廉价的数据增强技术，作为一种可靠的方法来证明神经ODE对多个数据集上模拟图像损坏的自然鲁棒性。
2022-06-16 cs.LG
Piecewise-constant Neural ODEs
Oregon State University（俄勒冈州立大学）
神经网络是一种流行的工具，用于建模连续数据，但他们通常不把时间作为一个连续变量。神经常微分方程代表了一个重要的例外：它们用神经网络参数化隐藏状态的时间导数，然后在任意时间内积分。但是这些具有任意曲率的参数化可能难以集成，从而难以训练和评估。在本文中，我们建议对神经常微分方程进行分段常数近似来缓解这些问题。我们的模型可以通过欧拉积分进行精确积分，并且可以比可比的RNN和ODE-RNN模型少3-20倍的步骤生成自回归样本。我们评估我们的模型上的几个合成物理任务和规划任务的灵感来自台球游戏。我们发现它与基线方法的性能相匹配，同时需要更少的时间进行训练和评估。
2021-06-11 cs.AI cs.LG
Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization
KAIST（韩国科学技术院）；Ansan Institute for Life Sciences, Ansan Medical Center（安山医疗中心安山生命科学研究所）
解释深度神经网络（通常被认为是黑盒）的行为至关重要，特别是当它们现在被广泛应用于人类生活的各个方面时。借鉴可解释人工智能的研究成果，提出了一种新的技术Auto DeepVis，用于分析持续学习中的灾难性遗忘。在利用Auto DeepVis对这一困境进行研究的基础上，提出了一种新的处理灾难性遗忘的方法--临界冻结法。对字幕模型的实验细致地展示了灾难性遗忘是如何发生的，特别是显示了哪些组件正在遗忘或发生变化。然后评估我们的技术的有效性;更准确地说，临界冻结要求在基线上对先前和未来的任务进行最佳性能，证明了调查的能力。我们的技术不仅可以补充现有的解决方案，完全消除终身学习的灾难性遗忘，而且可以解释。
2020-01-07 cs.LG stat.ML
Approximating velocity fields with planted point attractors via Neural-ODE for classification purposes
Department of Informatics and Computer Science, University of Pisa, Italy（比萨大学信息学与计算机科学系）
本文利用带有植入平衡点的神经ODE进行分类，通过速度场塑造吸引域，将初始条件导向对应目标。
2026-10-26 cond-mat.dis-nn cs.LG
MRI Image Reconstruction via Learning Optimization Using Neural ODEs
United Imaging Intelligence（联影智能）
我们建议制定MRI图像重建作为一个优化问题和模型的优化轨迹作为一个动态过程，使用常微分方程（ODE）。我们用神经网络对ODE中的动力学进行建模，并用现成的（固定的）求解器求解所需的ODE以获得重建图像。我们扩展了这个模型，并将现成的ODE求解器的知识融入到网络设计中（学习求解器）。我们调查了几个模型的基础上三个ODE求解器和固定求解器和学习求解器的模型进行比较。我们的模型实现了更好的重建结果，并且比其他流行的方法（如UNet和级联CNN）更具参数效率。我们介绍了一种新的方法来解决MRI重建问题的建模连续优化动态使用神经常微分方程。
2020-09-14 cs.LG eess.IV
Forecasting Black Sigatoka Infection Risks with Latent Neural ODEs
University of Toronto（多伦多大学）
黑香蕉叶斑病严重降低了全球香蕉产量，气候变化通过改变真菌物种分布使问题更加严重。由于管理这种传染病的沉重财政负担，发展中国家的农民面临着严重的香蕉作物损失。尽管科学家已经建立了传染病的数学模型，但调整这些模型以纳入气候影响是困难的。我们提出了MR. NODE（多预测神经ODE），一个神经网络，通过神经常微分方程直接从数据中学习的黑色Sigatoka感染的动态模型。除了我们推断的变量之外，我们的方法还将外部预测因子编码到潜在空间中，并且它还可以预测任意时间点的感染风险。从经验上讲，我们在历史气候数据上证明，我们的方法在未来一个月的时间点和不可见的不规则性上具有优越的泛化性能。我们相信，我们的方法可以成为一个有用的工具，以控制黑色Sigatoka的蔓延。
2021-01-10 cs.LG stat.ML
A Self-Adaptive Penalty Method for Integrating Prior Knowledge Constraints into Neural ODEs
University of Minho（米尼奥大学）；University of Porto（波尔图大学）
针对神经常微分方程建模需遵循自然系统规则的需求，提出可动态调整参数的自适应惩罚算法，融入先验知识提升可解释性，经三类自然系统实验验证，该方法比现有方法更准确鲁棒。
2024-03-05 cs.LG math.OC
Learning Robust State Observers using Neural ODEs (longer version)
University of Oxford（牛津大学）
本文基于神经ODE提出了一种非线性系统状态观测器设计方法，通过分析可调谐KKL观测器在收敛速度与鲁棒性间的权衡，提升了基于学习的观测器的鲁棒性，并在数值仿真中验证了其优势。
2023-05-17 cs.LG cs.SY eess.SY
Feedback Favors the Generalization of Neural ODEs
Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）
本文提出一种带反馈回路的二自由度神经网络，通过线性与非线性反馈校正神经ODE学习到的潜在动态，在未见场景中显著提升泛化能力，并在轨迹预测和四旋翼控制中优于现有方法。
2025-03-07 cs.AI cs.LG cs.NE
Reachability Analysis of a General Class of Neural Ordinary Differential Equations
Vanderbilt University（范德堡大学）
连续深度学习模型，被称为神经常微分方程（Neural ODE），在过去几年中受到了相当大的关注。尽管其迅速发展的影响，有一个缺乏正式的分析技术，这些系统。在本文中，我们考虑了一类具有不同架构和层的神经常微分方程，并引入了一个新的可达性框架，允许其行为的形式化分析。开发的神经常微分方程的可达性分析的方法实现在一个新的工具，称为NNVODE。具体来说，我们的工作扩展了现有的神经网络验证工具，以支持神经ODE。我们证明了我们的方法的能力和功效，通过分析一组基准，包括用于分类的神经ODE，并在控制和动态系统，包括我们的方法的功效和能力的评估，相对于现有的软件工具在连续时间系统可达性文献，当它是可能的。
2022-07-13 cs.LG
Neural Flows: Efficient Alternative to Neural ODEs
Technical University of Munich（慕尼黑工业大学）；AWS AI Labs（AWS AI 实验室）
神经常微分方程描述了值如何随时间变化。这就是为什么它们在建模序列数据时变得重要的原因，特别是当观察以不规则的间隔进行时。在本文中，我们提出了一种替代方案，通过直接建模的解决方案曲线-一个常微分方程的流动-与神经网络。这立即消除了对昂贵的数值求解器的需要，同时仍然保持神经ODE的建模能力。我们提出了几个流架构适合不同的应用程序，建立精确的条件时，一个功能定义一个有效的流。除了计算效率，我们还提供了良好的泛化性能的经验证据，通过应用程序在时间序列建模，预测和密度估计。
2021-10-25 cs.LG cs.NA math.NA
Accelerating Neural ODEs Using Model Order Reduction
Tampere University（坦佩雷大学）；Faculty of Medicine and Health Technology, Tampere University（坦佩雷大学医学与健康技术学院）；Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息技术与传播科学学院）
针对 Neural ODE 推理慢的问题，提出将模型降阶的子空间投影与插值集成为网络层以压缩加速，并在图像和时序任务中验证其相对剪枝和 SVD 截断的优势。
2022-03-02 cs.LG math.DS
Efficient Training of Physics-enhanced Neural ODEs via Direct Collocation and Nonlinear Programming
Bielefeld University of Applied Sciences and Arts（比勒费尔德应用科学与艺术大学）
提出将物理增强神经ODE训练转化为动态优化问题，采用直接配点法离散化并用NLP求解器高效求解，实现参数与轨迹同步优化，在车辆和振荡器基准上验证了精度与速度优势。
2025-08-06 cs.LG math.DS math.OC
Sparsity in long-time control of neural ODEs
我们考虑神经ODE和最优控制的监督学习的角度来看，与$\ell^1$ -控制惩罚，而不是只最小化最终成本（\emph{empirical risk}）的状态，我们整合了整个时间范围内的成本。我们证明了任何最优控制（此成本）消失超过一些积极的停止时间。当在离散时间上下文中看到时，该结果需要相关残差神经网络的参数的\emph{ordered}稀疏模式：在这些参数都是$0$的意义上排序，超出某个层。此外，我们提供了一个多项式稳定性估计的经验风险的时间范围。这可以被看作是一个\emph{turnpike property}，非光滑动力学和泛函的$\ell^1$ -处罚，没有任何小的假设的数据，这两个都是新的文献。
2022-09-08 cs.LG math.OC stat.ML
Generalization Bound for a General Class of Neural Ordinary Differential Equations
School of Engineering and Science（工程与科学学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本研究针对一般非线性动力学神经ODE，在Lipschitz条件下证明解的有界变差，首次推导出时间依赖与无关情形的泛化界，并分析过参数化与域约束的影响。
2025-08-26 cs.LG
Towards Foundation Inference Models that Learn ODEs In-Context
Lamarr Institute（拉马尔研究所）；University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫研究所）
本文提出FIM-ODE，一种预训练神经模型，能从稀疏含噪观测中零样本估计常微分方程，在合成数据上训练，利用神经算子实现稳健推断，性能与最先进方法相当。
2025-10-14 cs.LG
On The Verification of Neural ODEs with Stochastic Guarantees
我们表明，神经常微分方程，一类新兴的时间连续神经网络，可以通过解决一组全局优化问题进行验证。为此，我们引入随机拉格朗日可达性（SLR），一种基于抽象的技术，用于构建一个紧密的Reachtube（在给定的时间范围内的一组可达状态的过度近似），并提供随机保证的形式的置信区间的Reachtube边界。SLR本质上避免了臭名昭著的包装效应（过度近似误差的积累），通过执行局部优化步骤来扩展安全区域，而不是像确定性可达性方法那样重复向前传播它们。为了实现快速局部优化，我们引入了一种新的前向模式伴随灵敏度方法来计算梯度，而无需反向传播。最后，我们建立了SLR的渐近和非渐近收敛速度。
2020-12-16 cs.LG cs.NE cs.SY
Training Neural ODEs Using Fully Discretized Simultaneous Optimization
Department of Computing, Imperial College London（帝国理工学院计算系）
针对神经常微分方程训练计算成本高的问题，提出基于配点法的完全离散化联立优化方案，结合IPOPT求解器及ADMM分解框架，经Van der Pol振子验证收敛更快，为高效训练提供新路径。
2025-02-21 cs.LG math.OC
An Invariant Compiler for Neural ODEs in AI-Accelerated Scientific Simulation
Virginia Tech（弗吉尼亚理工大学）
本文提出不变编译器，通过构造性方法强制保持不变量，将不变量作为第一类类型，利用LLM驱动的编译流程将通用神经ODE规范转换为保持结构的架构，确保轨迹在连续时间内保持在允许的流形上。
2026-03-25 cs.LG
Function-Space Priors for Bayesian Neural ODEs with Application to Vessel Trajectory Prediction
Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST)（工业与系统工程系，韩国科学技术院（KAIST））
针对船舶轨迹预测中不规则采样、缺失报告和复杂动力学挑战，提出一种在向量场上施加高斯过程核先验的正则化方法，并结合概率多重打靶实现长序列的不确定性量化。
2026-06-04 cs.LG stat.ML
FI-ODE: Certifiably Robust Forward Invariance in Neural ODEs
California Institute of Technology（加州理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC San Diego（加州大学圣地亚哥分校）
本文提出FI-ODE框架，用于训练和可证明地认证神经ODE中的鲁棒前向不变性，首次为非空泛认证保证的神经ODE策略提供支持，并应用于鲁棒连续控制及图像分类的对抗鲁棒性认证。
2023-12-22 cs.LG
Nonparametric Filtering, Estimation and Classification using Neural Jump ODEs
Department of Mathematics ETH Zurich（数学系，苏黎世联邦理工学院）；Department of Statistics UC Berkeley（统计系，伯克利大学）；Department of Mathematics Albert-Ludwigs-Universität Freiburg（数学系，弗赖堡阿尔伯特-路易斯大学）
本文提出基于神经跳ODEs的非参数滤波与分类方法，通过理论保证和实验证明其在复杂分布下的优越性能，适用于金融和健康监测等实时性要求高的领域。
2025-08-15 cs.LG cs.NA math.NA
AdamNODEs: When Neural ODE Meets Adaptive Moment Estimation
Yonsei University（延世大学）；Oregon State University（俄勒冈州立大学）；Arizona State University（亚利桑那州立大学）
Xia等人最近的工作利用了经典动量加速梯度下降的连续极限，并提出了重球神经常微分方程。虽然这种模型提供了比普通神经ODE更高的计算效率和实用性，但这种方法通常会导致内部动力学的过冲，导致模型的不稳定训练。先前的工作通过使用特别方法来解决这个问题，例如，边界的内部动态使用特定的激活函数，但得到的模型不满足精确的重球常微分方程。在这项工作中，我们提出了自适应动量估计神经常微分方程（AdamNODEs），自适应地控制加速经典的动量为基础的方法。我们发现，它的伴随状态也满足AdamODE，不需要特别的解决方案，以前的工作雇用。在评估中，我们表明AdamNODE比现有的神经ODE实现了最低的训练损失和有效性。我们还表明，AdamNODE比经典的动量神经ODE具有更好的训练稳定性。这一结果揭示了一些适应在优化社区提出的技术，以进一步改善神经ODE的训练和推理。我们的代码可在https://github.com/pmcsh04/AdamNODE上获得。
2022-07-13 cs.AI cs.LG
