Parallel-in-Time Probabilistic Numerical ODE Solvers
Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；Aalto University（阿尔托大学）；Lund University（隆德大学）
本研究利用贝叶斯滤波平滑框架的算法灵活性，基于迭代扩展卡尔曼平滑器构建时间并行概率数值ODE求解器，将时间步跨度代价从线性降至对数级，在多类ODE上验证了有效性并与多种求解器对比。
2024-09-11 cs.LG cs.NA math.NA
Greedy kernel methods for accelerating implicit integrators for parametric ODEs
Institute for Applied Analysis and Numerical Simulation, University of Stuttgart（斯图加特大学应用分析与数值模拟研究所）
本文提出了一种基于贪心核方法的加速方法，用于通过单步隐式求解器求解参数ODE，通过预训练核模型来预测轨迹点，从而减少求解器迭代次数，提高整体模拟速度，同时保持求解精度。
2018-02-22 cs.NA math.NA
Investigation of the Estimation Accuracy of 5 Different Numerical ODE Solvers on 3 Case Studies
本研究使用5种数值ODE求解器求解三个案例研究并比较相对误差，发现求解精度因模型行为而异，Midpoint Method在温度变化中表现最佳，而所有求解器均无法估计市场均衡价格的突变行为。
2025-07-11 cs.NA math.AG math.DG
Probabilistic ODE Solvers with Runge-Kutta Means
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Cambridge University（剑桥大学）
Runge-Kutta方法是常微分方程（ODE）的经典求解器家族，也是最新技术的基础。与大多数数值方法一样，它们返回点估计。我们构建了一个家庭的概率数值方法，而不是返回高斯-马尔可夫过程定义的概率分布的ODE解决方案。在以前的工作相比，我们构造这个家庭，使后意味着完全匹配的龙格库塔家庭的输出，从而继承其良好的性能。选择与龙格库塔匹配未识别的剩余自由度，使得后验概率测量适合ODE的观察结构。我们的研究结果揭示了龙格-库塔解算器的结构从一个新的方向，提供了一个更丰富的，概率的输出，具有较低的计算成本，并提出了新的研究问题。
2014-10-24 cs.LG cs.NA math.NA
Stable Implementation of Probabilistic ODE Solvers
University of Tübingen（图宾根大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
常微分方程（ODE）的概率求解器提供了与动力系统仿真相关的数值不确定性的有效量化。它们的收敛速度已被越来越多的理论分析所证实。然而，这些算法遭受数值不稳定时，运行在高阶或小步长-也就是说，正是在该制度中，他们实现了最高的精度。目前的工作提出并研究了解决这个问题的方法。它包括三个组成部分：精确的初始化，一个坐标变化预处理，使数值稳定性的关注步长无关，和平方根的实现。使用所有这三种技术，使数值计算的概率解的常微分方程的算法顺序高达11，证明了一组具有挑战性的测试问题。由此产生的快速收敛被证明是具有竞争力的高阶，国家的最先进的，经典的方法。因此，分析概率ODE求解器和将它们应用于有趣的机器学习问题之间的障碍被有效地消除。
2020-12-18 cs.LG cs.NA math.NA
Mixed-Precision in adaptive Runge-Kutta method for large ODE systems
Univ. Rennes（雷恩大学）；Inria Lyon（法国国家信息与自动化研究所里昂分部）；CNRS, Université Claude Bernard Lyon 1（法国国家科学研究中心，克莱贝尔·贝尔纳·里昂第一大学）；INSA de Lyon, Université Claude Bernard Lyon 1（里昂国立应用科学学院，克莱贝尔·贝尔纳·里昂第一大学）；INSA Lyon（里昂国立应用科学学院）
针对大型常微分方程组，研究混合精度Bogacki-Shampine 3(2)龙格-库塔对在保持高精度解精度的同时，利用低精度计算加速，并发现混合精度求解器在大型耦合系统中能以极少精度损失实现显著加速。
2026-05-22 cs.NA math.NA
DelayDiffEq: Generating Delay Differential Equation Solvers via Recursive Embedding of Ordinary Differential Equation Solvers
传统的延迟微分方程（DDE）求解器仅围绕单一方法设计，并且没有有效地使用其更发达的常微分方程（ODE）对应物的基础设施。在这项工作中，我们提出了DelayDiffEq，数值求解延迟微分方程（DDE）的Julia软件包，它利用了OrdinaryDiffEq中的众多数值算法来解决刚性和非刚性常微分方程，并设法解决具有挑战性的刚性DDE。我们描述了如何编译的ODE积分器本身，并占不连续传播，导致一个设计，是有效的DDE，同时使用所有的ODE内部。我们强调一些困难，数值DDE求解器必须解决，并解释如何DelayDiffEq处理这些问题。我们展示了如何DelayDiffEq是能够解决困难的方程，它的刚性DDE求解器如何在时间尺度分离的问题上提供效率，以及如何设计允许的通用性和灵活性，如被重新用于生成随机延迟微分方程的求解器。
2022-08-26 cs.MS cs.NA math.DS
Pick-and-Mix Information Operators for Probabilistic ODE Solvers
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
常微分方程的概率数值求解器通过贝叶斯推断计算初始值问题的解的后验分布。在本文中，我们利用他们的概率公式无缝地包括额外的信息作为一般的可能性条款。我们表明，二阶微分方程应直接提供给求解器，而不是将问题转化为一阶。此外，通过在模型中包括高阶信息或物理守恒定律，解决方案变得更准确，更有物理意义。最后，我们证明了灵活的信息算子的效用，通过求解微分代数方程。总之，数值求解器的概率公式化提供了一种灵活的方式来结合各种类型的信息，从而提高了所得的解决方案。
2021-10-20 cs.LG cs.NA math.NA
Active Uncertainty Calibration in Bayesian ODE Solvers
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究了如何在贝叶斯微分方程求解器中平衡计算成本与概率校准，提出了一种基于过滤的方法Bayesian Quadrature filtering (BQF)，通过主动学习梯度测量的不精确性来提高不确定性校准。
2018-11-03 cs.LG cs.NA math.NA
Error Estimation of Numerical Solvers for Linear Ordinary Differential Equations
本文提出基于分段赫尔米特插值的残差定义，用于评估数值解的可靠性，并通过实例展示其在多种ODE模型中的有效性。
2018-04-10 cs.NA math.NA
Calibrated Adaptive Probabilistic ODE Solvers
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
常微分方程的概率求解器为初值问题的解分配后验测度。该分布的联合协方差提供了（全局）近似误差的估计。作为求解器步长的函数的该误差估计的收缩率将其识别为良好校准的最差情况误差，但是其对于特定步长的显式数值并不能自动地是显式误差的良好估计。针对这个问题，我们介绍，讨论和评估几种概率动机的方法来校准不确定性估计。数值实验表明，这些校准方法与自适应步长选择有效地相互作用，从而产生描述性的，有效地可计算的后验。我们证明了对经典的，广泛使用的Dormand-Prince 4/5龙格-库塔法的基准测试的方法的效率。
2021-02-22 cs.LG cs.NA math.NA
Adaptive Probabilistic ODE Solvers Without Adaptive Memory Requirements
Technical University of Denmark（丹麦技术大学）
本文针对自适应概率ODE求解器内存需求不可预测导致模拟失败的问题，提出一种基于鲁棒状态估计的固定内存需求自适应概率求解器，在消除内存问题、加速模拟的同时兼容JAX科学计算。
2025-07-03 cs.LG cs.NA math.NA
Comparison of Numerical Solvers for Differential Equations for Holonomic Gradient Method in Statistics
本文比较了求解线性微分方程的数值方法，用于评估统计学中的归一化常数。
2026-04-09 cs.NA math.NA stat.CO
GParareal: A time-parallel ODE solver using Gaussian process emulation
当在整个积分区间上要求高数值精度时，用于积分初值问题（IVP）的顺序数值方法可能过于昂贵。一种补救方法是以并行方式进行集成，使用廉价（粗略）求解器串行地“预测”解决方案，并使用在多个时间子区间上并行运行的昂贵（精细）求解器来“校正”这些值。在这项工作中，我们提出了一个时间并行算法（GParareal），解决IVP建模的校正项，即精细和粗糙的解决方案之间的差异，使用高斯过程仿真器。这种方法与经典的parareal算法相比，我们证明，在一些IVP，GParareal可以收敛在更少的迭代比parareal，导致并行加速的增加。GParareal还设法定位parareal失败的某些IVP的解决方案，并且具有能够使用遗留解决方案的存档的额外优势，例如来自不同初始条件的IVP先前运行的解决方案，以进一步加速方法的收敛-现有时间并行方法无法做到的事情。
2022-09-23 cs.NA math.NA stat.CO
Optimization of One-parameter Family of Integration Formulae for Solving Stiff Chemical-kinetic ODEs
本文提出了一种快速、鲁棒的无雅可比时间积分方法--化学动力学常微分方程求解器的最小误差自适应方法（MACKS）--用于求解与化学动力学有关的刚性常微分方程。MACKS公式是基于优化的一个参数的家庭的积分公式，再加上一个双时间步长的方法，以便于误差最小化。该方法表现出更高的精度相比，方法-扩展的鲁棒性增强的数值算法（ERENA）-以前提出的作者。此外，当该方法被用于非稳态点火仿真时，与变系数常微分方程求解器（VODE）相比，它有助于实现更快的性能。
2019-10-12 cs.NA math.NA physics.comp-ph
DDC-PINNs: A Predictor-Corrector Approach Based on Neural Network-Driven Domain Decomposition and Classical ODE Solvers for Time-Dependent PDEs
Sichuan Normal University（四川师范大学）
本文提出DDC-PINNs方法，通过域分解和因果策略解决传统PINNs在求解时变PDEs时的时序因果性不足和表达能力限制问题，将PDEs简化为ODEs并利用经典ODE求解器提高精度和泛化能力。
2026-06-25 cs.NA math.NA
Fast Convergence for High-Order ODE Solvers in Diffusion Probabilistic Models
Beijing International Center for Mathematical Research, Center for Machine Learning Research, Peking University, Beijing, China（北京国际数学研究中心、机器学习研究中心、北京大学，北京，中国）；Department of Statistics and Data Science, University of Pennsylvania, Philadelphia, PA, USA（统计与数据科学系、宾夕法尼亚大学，费城，PA，美国）；Department of Mathematics, Massachusetts Institute of Technology, 77 Massachusetts Ave, 02139 Cambridge MA, USA（数学系、麻省理工学院，马萨诸塞大道77号，02139剑桥MA，美国）
本研究针对扩散概率模型中的概率流 ODE，在评分函数导数有界假设下，分析了高阶龙格-库塔求解器的收敛性，给出了总变差距离的误差界，并通过实验验证了假设的合理性。
2026-09-14 cs.LG cs.NA math.CA
Understanding the impact of numerical solvers on inference for differential equation models
该研究指出数值求解器精度不足会扭曲ODE模型的似然面导致参数推断陷入局部最优，建议谨慎设置求解器容差并检查似然面以避免数值偏差。
2023-07-03 cs.NA math.NA math.ST
Continuous-discrete unscented Kalman filtering framework by MATLAB ODE solvers and square-root methods
针对连续-离散无迹卡尔曼滤波器的实现设计问题，提出基于MATLAB ODE求解器和J正交变换平方根方法的实现框架，可提升随机动态系统状态估计的精度与鲁棒性。
2023-10-06 cs.NA cs.SY eess.SY
Minimizing Residuals in ODE Integration Using Optimal Control
The University of Western Ontario（韦仕敦大学）；Adelaide University（阿德莱德大学）
本文通过将微分方程求解中的残差最小化问题转化为最优控制问题，提出了一种解析和数值方法，用于生成残差范数最小的插值曲线。
2026-02-17 cs.NA math.NA
Probabilistic ODE Solutions in Millions of Dimensions
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
常微分方程的概率求解器已经成为动力系统不确定性量化和推理的有效框架。在这项工作中，我们解释的数学假设和详细的实施方案背后解决{高维}常微分方程的概率数值算法。由于每个求解步骤中的矩阵-矩阵运算，这在以前是不可能的，但对于科学相关问题至关重要-最重要的是，离散偏微分方程的求解。简而言之，有效的高维概率ODE解决方案要么建立在独立性假设上，要么建立在先验模型的克罗内克结构上。我们评估所产生的效率上的一系列问题，包括概率数值模拟的微分方程与数百万的尺寸。
2021-10-22 cs.LG cs.NA math.NA
Bayesian Filtering for ODEs with Bounded Derivatives
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出了一种新的贝叶斯滤波方法，用于求解具有有界导数的常微分方程，通过引入集成奥本海姆-乌伦贝克过程（IOUP）作为先验，改进了传统积分维纳过程（IWP）滤波器。
2017-09-25 cs.AI cs.NA math.NA
On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation
University of Technology Sydney（悉尼科技大学）；NTT Communication Science Laboratories（NTT通信科学实验室）；Victoria University of Wellington（惠灵顿维多利亚大学）
本文提出改进积分近似（IIA），通过逐时间步最小化MSE来优化EDM、DDIM和DPM-Solver的ODE求解器系数，在低NFE下显著提升FID且无需改动预训练模型。
2023-10-03 cs.LG cs.NA math.NA
Differentiable Likelihoods for Fast Inversion of 'Likelihood-Free' Dynamical Systems
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）
无可能性（也称为基于仿真的）推理问题是具有昂贵的或难以处理的前向模型的逆问题。常微分方程反问题通常被视为无可能性，因为它们的正向映射必须由常微分方程求解器进行数值近似。然而，这不是一个基本的约束，而只是缺乏经典ODE求解器的功能，它不返回可能性，而是点估计。为了解决这个缺点，我们采用高斯ODE滤波（ODE的概率数值方法）来构建一个局部高斯近似的可能性。这种近似产生易于处理的估计的梯度和海森的（日志）的可能性。插入这些估计到现有的基于梯度的优化和采样方法产生新的求解ODE反问题。我们证明，这些方法优于标准的似然自由的方法在三个基准系统。
2020-06-29 cs.LG cs.NA math.NA
Efficient implementation of the hybrid method for stochastic simulation of biochemical systems
Virginia Tech（弗吉尼亚理工大学）
本文提出高效实现混合方法的方案，结合传统ODE求解器，提升生物化学系统随机模拟效率，并比较三种ODE求解器的性能。
2016-03-25 cs.CE cs.NA math.NA
Quantum differential equation solvers: limitations and fast-forwarding
本研究分析量子算法求解线性常微分方程的局限，提出下界框架并针对特殊非齐次ODE给出无需时间离散化的指数加速快速前进算法。
2025-07-09 cs.NA math.NA quant-ph
Sub-ODEs Simplify Taylor Series Algorithms for Ordinary Differential Equations
本文提出子 ODE 方法，将满足简单 ODE 的函数内联进泰勒级数求解器，简化实现并证明递推系统可靠性，性能优于 Matlab ODE 套件。
2025-03-27 cs.MS cs.NA math.NA
Efficient implicit solvers for models of neuronal networks
本文提出针对神经元网络模拟的经济型隐式 ODE 求解器，通过缩小每步代数系统提升 ESDIRK 等方法效率，并在三类慢-快单细胞模型网络中验证其优越性。
2025-06-11 cs.NA math.NA
Learning by solving differential equations
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
本研究评估高阶龙格-库塔（RK）常微分方程求解器在深度学习中的性能与局限，提出通过融入预处理、自适应学习率、动量等现代优化器关键要素来提升其表现的方法。
2025-05-19 cs.LG cs.NA math.NA
Bayesian ODE Solvers: The Maximum A Posteriori Estimate
最近已经建立，常微分方程的数值解可以被视为一个非线性贝叶斯推理问题，它可以近似地解决通过高斯滤波和平滑，每当使用高斯-马尔可夫先验。本文研究了一类$ν$次可微线性时不变Gauss-Markov先验。建立了高斯估计器的分类，最大后验估计在层次的顶部，它可以用迭代扩展卡尔曼平滑器计算。其余三类被称为显式，半隐式，和隐式，这是在类似的经典概念对应的向量场的条件下，过滤器更新产生一个局部极大值后验估计。最大后验估计对应于与先验相关的再生希尔伯特空间中的最优插值，在本例中，该最优插值等价于光滑的索伯列夫空间$ν+1$。因此，在索伯列夫空间中利用离散数据逼近和非线性分析的方法，证明了在向量场上，在适当的条件下，最大后验估计在填充距离（最大步长）内以多项式速度收敛于真解.开发的方法提供了一种新的和更自然的方法来研究这些估计的收敛性比经典的收敛性分析方法。数值算例验证了方法和理论结果。
2021-01-12 cs.NA math.NA stat.ME
SciML Agents: Write the Solver, Not the Solution
UC Berkeley（加州大学伯克利分校）；LBNL（劳伦斯伯克利国家实验室）；ICSI（国际计算机科学研究所）
本文探讨利用LLM编写科学机器学习求解器，通过设计新数据集评估不同模型在ODE问题中的表现，发现引导提示和微调能有效提升求解准确性。
2025-09-12 cs.LG cs.NA math.NA
GRADSOLVE: fast exact gradients for ODE ensembles on GPUs
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
GRADSOLVE是开源JAX库，可在NVIDIA GPU上快速精确求导低维ODE集合，比现有工具在梯度计算上快5.6-14.1倍，支持多种积分器，已发布。
2026-09-03 cs.DC cs.LG cs.MS
A deep learning-based ODE solver for chemical kinetics
Princeton University（普林斯顿大学）；Shanghai Jiao Tong University（上海交通大学）
由于化学积分的强刚性和高维性，开发高效、准确的化学积分算法是一项具有挑战性的任务。目前的工作提出了一种基于深度学习的数值方法，称为DeepCombustion0.0，用于求解刚性常微分方程系统。以DME/空气混合气的均质自燃为例，验证了该算法的有效性和准确性。训练和测试数据集涵盖了750-1200 K、30-50 atm和当量比= 0.7-1.5之间的温度、压力和混合物条件。考虑了第一阶段低温点火（LTI）和第二阶段高温点火（HTI）。该方法强调了自适应数据采样技术、功率变换预处理和二进制深度神经网络（DNN）设计的重要性。通过使用自适应随机采样和适当的幂变换，观察到状态向量相空间中的光滑子流形，可以在其上适当地训练两个三层DNN。神经网络是端到端的，它直接预测状态向量的时间梯度。结果表明，DNN预测的时间演化与传统的数值方法在所有的状态矢量维，包括温度，压力，和物种浓度。点火延迟时间差在1%以内。同时，CPU时间分别比HMTS和VODE方法减少了20倍和200倍以上。目前的工作展示了将深度学习算法应用于化学动力学和燃烧建模的巨大潜力。
2020-11-24 cs.LG cs.NA math.NA
Modelling pathwise uncertainty of Stochastic Differential Equations samplers via Probabilistic Numerics
本研究将概率ODE求解器方法拓展至SDE，通过布朗运动分段可微近似将SDE转为随机ODE序列，得到路径概率解，证明了收敛阶并实现边际化精确转移密度计算，数值验证了弱收敛特性。
2025-03-04 cs.NA math.NA stat.CO
Implementation and performance analysis of efficient grid-free integral wall models in unstructured-grid LES solvers
本文在非结构网格LES求解器中实现了两种无网格积分壁面模型，其中谱求积实现的ODE平衡壁面模型在保持相当计算成本的同时，比传统有限体积方法性能更优且对并行负载不均衡更不敏感。
2023-07-12 cs.NA math.NA physics.flu-dyn
A $\star$-product solver with spectral accuracy for non-autonomous ordinary differential equations
提出了一种求解非自治常微分方程的新方法，该方法具有谱精度。它是基于一个新的结果，表示作为一个元素，所谓的$\star$ -代数的这种常微分方程的解决方案。这个代数具有一个乘积，即$\star$ -乘积，它是两个二元分布的通常乘积上的积分。在勒让德多项式的基中展开二元分布导致$\star$ -乘积的离散化，并且这允许通过求解方程的线性系获得的向量来近似解。数值实验表明了该方法的有效性。
2022-09-30 cs.NA math.NA
On solving Ordinary Differential Equations using Gaussian Processes
我们描述了一套基于高斯过程的方法，可以用来解决非线性常微分方程。我们提出了一个显式的概率求解器和两个隐式的方法，一个类似于Picard迭代和其他梯度匹配。所有方法都比以前提出的高斯过程方法具有更高的精度。我们还提出了一个通用的方法，可以从任何标准的ODE求解器产生误差估计。
2014-08-17 cs.NA math.NA stat.CO
Convergence Rates of Gaussian ODE Filters
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Warwick（华威大学）；Zuse Institute Berlin（柏林楚泽研究所）
最近推出的一类概率（不确定性意识）求解常微分方程（ODE）应用高斯（卡尔曼）滤波的初始值问题。这些方法将真实解$x$及其一阶$q$导数\emph{a priori}建模为高斯-马尔可夫过程$\boldsymbol{X}$，然后迭代地以关于$\dot{x}$的信息为条件。本文建立了最坏情况下的局部收敛速度的顺序$q+1$的广泛版本的高斯ODE过滤器，以及全局收敛速度的顺序$q$的情况下，$q=1$和集成的布朗运动先验，并分析如何不准确的信息对$\dot{x}$来自$f$的近似评估影响这些速度。此外，我们表明，在全局收敛的情况下，后验可信区间校准良好的意义上说，他们在全球范围内的截断误差相同的速度收缩。我们说明这些理论结果的数值实验，这可能表明其推广到$q \in \{2,3,\dots\}$。
2020-07-17 cs.LG cs.NA math.NA
