Random time step probabilistic methods for uncertainty quantification in chaotic and geometric numerical integration
提出了一种新的概率数值方法,用于量化由常微分方程(ODE)时间积分引起的不确定性。从经典的战略随机ODE求解器通过添加一个随机强迫项,我们证明了一个概率测度的数值解可以通过引入适当的随机时间步长在经典的时间积分器。这种内在的随机化允许基本确定性积分器的几何性质的守恒,例如质量守恒、辛性或首次积分守恒。弱收敛和均方收敛分析。我们还分析了所提出的随机时间步长方法的蒙特卡罗估计的收敛性,并证明了重复采样得到的测量在均方意义下的收敛性与样本的样本个数无关。包括混沌哈密顿系统,化学反应和贝叶斯推理问题的数值例子说明了我们的概率数值方法的准确性,鲁棒性和通用性。
2020-01-21 cs.NA math.NA
A parallel-in-time Newton's method-based ODE solver
Aalto University(阿尔托大学)
介绍求解非线性常微分方程的并行时间求解器,将其数值解转化为求根问题用牛顿法求解,利用并行前缀和并行化牛顿步中的仿射递归运算,相比Parareal方法运行时间更优。
2026-07-07 cs.NA math.NA
On theoretical upper limits for valid timesteps of implicit ODE methods
数值解初值问题的隐式方法在任何给定的时间步长上都可能有多个解。因此,它们的非线性求解器可以收敛到这些解中的任何一个。在一个临界时间步之下,恰好有一个解(相容解)出现在一个解分支(主分支)上,该解分支可以连续单调地继续回到零时间步。标准步长控制可以通过调整时间步长以保持误差估计低于给定容差来促进收敛到一致解。然而,辛系统或大型物理系统的模拟通常以恒定的时间步长运行,因此更容易收敛到不一致的解决方案。由于模拟不能从不一致的解决方案可靠地继续,临界时间步长是有效时间步长的理论上的上界。
2019-12-18 cs.NA math.NA
An implicit algorithm for validated enclosures of the solutions to variational equations for ODEs
Jagiellonian University(雅盖隆大学);Faculty of Mathematics and Computer Science(数学与计算机科学系)
本文提出了一种新的算法,用于计算常微分方程变分方程解的验证边界,该算法结合高阶泰勒方法作为预测步骤和基于赫尔梅特-奥布里科夫插值的隐式方法作为校正步骤,改进了Zgliczyński提出的C^1-洛赫纳算法,并提供了更精确的边界。
2016-04-21 cs.NA math.NA
Neural Differential Recurrent Neural Network with Adaptive Time Steps
Duke University(杜克大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对含尖峰的非平稳时间序列,提出RNN-ODE-Adap,用神经ODE演化隐状态并按变化陡度自适应选步,兼具一致性理论保证与更高精度、更低成本。
2023-06-02 cs.LG cs.NA math.NA
A tensor decomposition algorithm for large ODEs with conservation laws
University of Bath(巴斯大学)
本文提出一种基于张量列车分解的算法,用于求解高维演化方程,通过低存储分解解决线性ODE和时间依赖PDE,并利用交替最小二乘法扩展以同时求解多个时间点,同时保留守恒律。
2017-10-04 cond-mat.str-el cs.NA math.NA
Performance Evaluation of Single-step Explicit Exponential Integration Methods on Stiff Ordinary Differential Equations
本研究评估了单步显式指数积分方法在刚性常微分方程上的性能,发现其精度和可扩展性显著落后于隐式方法,仅积分因子欧拉方法适用于重复低成本积分场景,揭示了显式指数方法的局限性并呼吁改进算法。
2024-11-28 cs.NA cs.SY eess.SY
Stable Implementation of Probabilistic ODE Solvers
University of Tübingen(图宾根大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
常微分方程(ODE)的概率求解器提供了与动力系统仿真相关的数值不确定性的有效量化。它们的收敛速度已被越来越多的理论分析所证实。然而,这些算法遭受数值不稳定时,运行在高阶或小步长-也就是说,正是在该制度中,他们实现了最高的精度。目前的工作提出并研究了解决这个问题的方法。它包括三个组成部分:精确的初始化,一个坐标变化预处理,使数值稳定性的关注步长无关,和平方根的实现。使用所有这三种技术,使数值计算的概率解的常微分方程的算法顺序高达11,证明了一组具有挑战性的测试问题。由此产生的快速收敛被证明是具有竞争力的高阶,国家的最先进的,经典的方法。因此,分析概率ODE求解器和将它们应用于有趣的机器学习问题之间的障碍被有效地消除。
2020-12-18 cs.LG cs.NA math.NA
Parallel-in-Time Probabilistic Numerical ODE Solvers
Tübingen AI Center, University of Tübingen(蒂宾根大学蒂宾根人工智能中心);Aalto University(阿尔托大学);Lund University(隆德大学)
本研究利用贝叶斯滤波平滑框架的算法灵活性,基于迭代扩展卡尔曼平滑器构建时间并行概率数值ODE求解器,将时间步跨度代价从线性降至对数级,在多类ODE上验证了有效性并与多种求解器对比。
2024-09-11 cs.LG cs.NA math.NA
The shifted ODE method for underdamped Langevin MCMC
本文考虑欠阻尼朗之万扩散问题,提出了一种利用常微分方程的数值逼近方法。当作为一个马尔可夫链蒙特卡罗(MCMC)算法,我们表明,ODE近似实现$2$ -Wasserstein误差$\varepsilon$在$\mathcal{O}\big(d^{\frac{1}{3}}/\varepsilon^{\frac{2}{3}}\big)$步骤下的标准光滑性和强凸性假设的目标分布。这与Shen和Lee [NeurIPS 2019]提出的随机中点方法的复杂性相匹配,Cao,Lu和Wang证明了该方法的顺序最优。然而,所提出的数值方法的主要特点是,它可以利用额外的光滑度的目标对数密度$f$。更具体地说,我们表明,ODE近似实现了$2$ -Wasserstein错误的$\varepsilon$在$\mathcal{O}\big(d^{\frac{2}{5}}/\varepsilon^{\frac{2}{5}}\big)$和$\mathcal{O}\big(\sqrt{d}/\varepsilon^{\frac{1}{3}}\big)$步骤时,Lipschitz连续性假设的Hessian和三阶导数的$f$。通过使用三阶Runge-Kutta方法离散这个常微分方程,我们可以得到一个实用的MCMC方法,该方法每步仅使用两个额外的梯度评估。在我们的实验中,目标来自一个逻辑斯谛回归,这种方法显示出更快的收敛…
2021-01-25 cs.NA math.NA math.PR
A quantitative investigation into the accumulation of rounding errors in the numerical solution of ODEs
通过理论分析和数值实验,研究了确定性ODE求解器中舍入误差的随机性积累及其对长期解发散行为的影响。
2005-12-15 cs.NA math.NA math.PR
A multistep algorithm for ODEs
Romanian Institute of Science and Technology(罗马尼亚科学与技术研究院)
本文提出一种基于泰勒近似的线性隐式多步法,并利用Dahlquist理论证明其收敛性和时间稳定性,最后通过对比实验验证其性能。
2011-03-07 cs.NA math.NA nlin.CD
Calibrated Adaptive Probabilistic ODE Solvers
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
常微分方程的概率求解器为初值问题的解分配后验测度。该分布的联合协方差提供了(全局)近似误差的估计。作为求解器步长的函数的该误差估计的收缩率将其识别为良好校准的最差情况误差,但是其对于特定步长的显式数值并不能自动地是显式误差的良好估计。针对这个问题,我们介绍,讨论和评估几种概率动机的方法来校准不确定性估计。数值实验表明,这些校准方法与自适应步长选择有效地相互作用,从而产生描述性的,有效地可计算的后验。我们证明了对经典的,广泛使用的Dormand-Prince 4/5龙格-库塔法的基准测试的方法的效率。
2021-02-22 cs.LG cs.NA math.NA
Optimization of One-parameter Family of Integration Formulae for Solving Stiff Chemical-kinetic ODEs
本文提出了一种快速、鲁棒的无雅可比时间积分方法--化学动力学常微分方程求解器的最小误差自适应方法(MACKS)--用于求解与化学动力学有关的刚性常微分方程。MACKS公式是基于优化的一个参数的家庭的积分公式,再加上一个双时间步长的方法,以便于误差最小化。该方法表现出更高的精度相比,方法-扩展的鲁棒性增强的数值算法(ERENA)-以前提出的作者。此外,当该方法被用于非稳态点火仿真时,与变系数常微分方程求解器(VODE)相比,它有助于实现更快的性能。
2019-10-12 cs.NA math.NA physics.comp-ph
Numerical analysis comparing ODE approach and level set method for evolving spirals by crystalline eikonal-curvature flow
本文比较了固定中心结晶曲率流演化多边形螺旋曲线的ODE离散模型与level set method,通过计算包围区域面积的归一化L1范数发现两种模型数值结果差异极小。
2019-01-26 cs.NA math.NA
The structural method for Ordinary Differential Equations
Coimbra University(科英布拉大学);University of Minho(米尼奥大学)
研究求解常微分方程系统的新方法,基于结构方法,通过求解对应\(R\)个时间步的块来计算解及其导数近似,利用方程建立关系并推导结构方程,求解非线性系统可提供精确近似及良好谱分辨率。
2026-07-08 cs.NA math.NA
Sub-ODEs Simplify Taylor Series Algorithms for Ordinary Differential Equations
本文提出子 ODE 方法,将满足简单 ODE 的函数内联进泰勒级数求解器,简化实现并证明递推系统可靠性,性能优于 Matlab ODE 套件。
2025-03-27 cs.MS cs.NA math.NA
Multirate integration of axisymmetric step-flow equations
California Institute of Technology(加州理工学院);University of California, Los Angeles(加州大学洛杉矶分校);Massachusetts Institute of Technology(麻省理工学院)
提出一种多速率方法,用于高效积分表面演化台阶模型中出现的常微分方程组,通过自适应时间步长处理内部台阶的奇异性和台阶束内的局部刚性,并构造高阶插值保证远离奇异轨迹时的四阶精度。
2008-10-14 cs.NA math.NA
Improving the Adaptive Moment Estimation (ADAM) stochastic optimizer through an Implicit-Explicit (IMEX) time-stepping approach
Computational Science Laboratory(计算科学实验室);Virginia Tech(弗吉尼亚理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);California State University, Long Beach(加州州立大学长滩分校)
本研究发现经典Adam优化器对应极小学习率下的ODE一阶IMEX欧拉离散,通过高阶IMEX方法扩展Adam格式,提出的新优化算法在回归和分类任务上性能优于经典Adam。
2024-09-14 cs.CE cs.LG cs.NA
Optimal monomial quadratization for ODE systems
二次化问题是给定一个右端为多项式的常微分方程组,通过引入新的变量,将其转化为右端为二次的常微分方程组。例如,这种变换已被用作模型降阶方法的预处理步骤和用于变换化学反应网络。我们提出了一个算法,给定一个系统的多项式常微分方程,发现一个转换成二次常微分方程系统,通过引入新的变量是单项式在原始变量。该算法保证产生这种形式的最优变换(即,新变量的数量尽可能少),这是我们所知道的第一个具有这种保证的算法。它的性能与现有软件相比毫不逊色,并且能够解决以前无法解决的问题。
2021-05-13 cs.DM cs.NA cs.SC
Understanding the impact of numerical solvers on inference for differential equation models
该研究指出数值求解器精度不足会扭曲ODE模型的似然面导致参数推断陷入局部最优,建议谨慎设置求解器容差并检查似然面以避免数值偏差。
2023-07-03 cs.NA math.NA math.ST
Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Science and Technology Beijing(北京科技大学)
研究基于隐式求解器模板的 ODE-nets 学习未知动力学,通过逆修正误差分析建立超参数选择理论基础,提出自适应调整隐式解迭代次数的算法以加速训练并保持精度。
2023-04-10 cs.LG cs.NA math.NA
Propagating Model Uncertainty through Filtering-based Probabilistic Numerical ODE Solvers
Institute of Science and Technology Austria(奥地利科学与技术研究所);Lund University(吕勒欧大学);Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学)
针对ODE滤波器无法自动传播动力系统参数不确定性的问题,提出结合ODE滤波器与数值积分的新方法,可同时量化参数与数值不确定性,实验验证其估计结果与参考解高度吻合,且能避免大步长下的过度自信问题。
2025-10-01 cs.LG cs.NA math.NA
Stable and Scalable Probabilistic Numerical Solvers for Stiff and High-Dimensional ODEs
EPFL(瑞士联邦理工学院)
针对刚性和高维常微分方程,提出两种互补策略:无矩阵更新步骤实现线性扩展,以及迭代重线性化提升稳定性,从而开发出稳定且可扩展的概率求解器。
2026-06-06 cs.LG cs.NA math.NA
GRADSOLVE: fast exact gradients for ODE ensembles on GPUs
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
GRADSOLVE是开源JAX库,可在NVIDIA GPU上快速精确求导低维ODE集合,比现有工具在梯度计算上快5.6-14.1倍,支持多种积分器,已发布。
2026-09-03 cs.DC cs.LG cs.MS
Time-vectorized numerical integration for systems of ODEs
Argonne National Laboratory(阿贡国家实验室);University of Shanghai for Science and Technology(上海理工大学)
本文提出一种时间向量化数值积分方法,通过同时向量化多个时间序列和连续时间步长,利用并行循环归约加速刚性常微分方程组的求解,实现超过100倍加速,并附带开源实现。
2023-10-12 cs.LG cs.NA math.NA