Probabilistic Numerical Method of Lines for Time-Dependent Partial Differential Equations
本文发展了一类求解非线性、不定常偏微分方程的数值解算法。当前最先进的PDE求解器将空间维度和时间维度分开、串行地处理,并且使用黑盒算法,这模糊了空间近似误差和时间近似误差之间的相互作用,并且误导了总体误差的量化。为了解决这个问题,我们引入了一种称为直线法的技术的概率版本。该算法首先对有限差分法进行高斯过程解释,然后与基于滤波的概率普通微分方程(ODE)求解器自然交互,因为它们共享一种共同的语言:贝叶斯推理。联合量化的空间和时间的不确定性成为可能,而不会失去良好的调整ODE求解器的性能优势。因此,我们扩展了概率程序工具箱的微分方程模拟偏微分方程。
2022-03-09 cs.NA math.NA stat.ML
Unifying Linear-Time Attention via Latent Probabilistic Modelling
University College London, AI Centre(伦敦大学学院,人工智能中心);UiPath
本文通过潜在概率建模统一线性时间注意力,提出定向参数化方法以解决方向性问题,并在语言建模中取得优于现有方法的性能。
2025-12-02 cs.CL stat.ML
Probabilistic Numerical Methods for Partial Differential Equations and Bayesian Inverse Problems
本文发展了一种求解偏微分方程的概率数值方法,并研究了该方法在偏微分方程约束反问题中的应用。这种方法使具有挑战性的反问题的解决方案,同时会计,在统计原则的方式,由于PDE的数值解的离散化误差的影响。特别是,该方法赋予数值PDE求解器的故障鲁棒性,在存在大量离散化误差的情况下,统计推断被驱动为更保守。更进一步,选择偏微分方程求解器的问题被视为贝叶斯实验设计中的一个问题,其目的是最大限度地减少求解器误差对统计推断的影响;这里还考虑了非线性偏微分方程的挑战。该方法适用于参数推断问题,其中离散化误差不可忽略,必须考虑到,以达到统计上有效的结论。
2017-07-11 cs.NA math.NA math.ST
Probabilistic Solutions To Ordinary Differential Equations As Non-Linear Bayesian Filtering: A New Perspective
我们将常微分方程(ODE)解的概率数值近似表示为具有非线性测量函数的高斯过程(GP)回归问题。这是通过定义测量序列来实现的,该测量序列由GP的导数与在GP处评估的向量场之间的差的观测值组成-这些观测值在ODE的解处均为零。当GP具有状态空间表示时,问题可以简化为非线性贝叶斯滤波问题,并且所有广泛使用的贝叶斯滤波和平滑问题的近似都变得适用。此外,所有以前的基于GP的ODE求解器,制定在生成合成测量的梯度场出来作为特定的近似。基于本文提出的非线性贝叶斯滤波问题,我们开发了新的高斯求解器,我们建立了良好的稳定性。此外,非高斯近似的滤波问题推导出的粒子滤波器的方法。所得到的求解器进行了比较与其他概率求解器在说明性实验。
2019-04-24 stat.CO stat.ME stat.ML
Probabilistic Linear Multistep Methods
我们提出了一个推导和理论研究的Adams-Bashforth和Adams-Moulton家庭的线性多步法解决常微分方程,从高斯过程(GP)的框架。在极限情况下,这一提法与经典的确定性方法相吻合,后者已被用作高阶初值问题求解器超过一个世纪。此外,自然的概率框架所提供的GP制定允许我们推导出这些方法的概率版本,在最近的文献中提出的一些其他概率ODE求解器的精神。高阶龙格-库塔法每步需要多个中间函数求值,而亚当斯族方法则利用先前的函数求值,因此高阶多步方法所产生的精度提高只需要很少的额外计算成本。我们表明,通过仔细选择的协方差函数的GP,后验均值和标准差的数值解可以完全符合的值,分别由确定性方法和其本地截断误差。我们提供了一个严格的证明,这些新方法的收敛性,以及实证调查(五阶)证明其收敛速度在实践中。
2016-10-26 cs.NA math.NA stat.CO
Scalable h-adaptive probabilistic solver for time-independent and time-dependent systems
Department of Aerospace and Mechanical Engineering(航空航天与机械工程系);University of Notre Dame(诺特丹大学);Department of Applied Mechanics(应用力学系);School of Artificial Intelligence(人工智能学院);Indian Institute of Technology Delhi(德里印度理工学院)
针对概率数值求解PDE计算成本高的问题,提出随机对偶下降算法与基于聚类的主动学习策略,构建可扩展的h-自适应概率求解器,显著降低计算复杂度并提升大规模问题求解效率。
2025-08-15 cs.LG stat.ML
Active Uncertainty Calibration in Bayesian ODE Solvers
Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文研究了如何在贝叶斯微分方程求解器中平衡计算成本与概率校准,提出了一种基于过滤的方法Bayesian Quadrature filtering (BQF),通过主动学习梯度测量的不精确性来提高不确定性校准。
2018-11-03 cs.LG cs.NA math.NA
Constrained Probabilistic Numerics: Gaussian Process Solvers for Linear PDEs under Linear Inequality Constraints
Johns Hopkins University(约翰斯·霍普金斯大学);University of Minnesota(明尼苏达大学)
该研究提出带线性不等式约束的线性PDE高斯过程求解器,通过联合条件化等式观测与不等式事件构造非高斯可计算后验,在泊松、期权、空气质量数据上验证其可显著降低误差、减少套利与负尾。
2026-10-12 cs.LG cs.NA math.NA
Modelling pathwise uncertainty of Stochastic Differential Equations samplers via Probabilistic Numerics
本研究将概率ODE求解器方法拓展至SDE,通过布朗运动分段可微近似将SDE转为随机ODE序列,得到路径概率解,证明了收敛阶并实现边际化精确转移密度计算,数值验证了弱收敛特性。
2025-03-04 cs.NA math.NA stat.CO
On solving Ordinary Differential Equations using Gaussian Processes
我们描述了一套基于高斯过程的方法,可以用来解决非线性常微分方程。我们提出了一个显式的概率求解器和两个隐式的方法,一个类似于Picard迭代和其他梯度匹配。所有方法都比以前提出的高斯过程方法具有更高的精度。我们还提出了一个通用的方法,可以从任何标准的ODE求解器产生误差估计。
2014-08-17 cs.NA math.NA stat.CO
Automating Involutive MCMC using Probabilistic and Differentiable Programming
对合MCMC是MCMC内核的统一数学构造,它概括了许多经典和最先进的MCMC算法,从可逆跳MCMC到基于深度神经网络的内核。但与MCMC采样器一样,实现对合MCMC内核通常是繁琐且容易出错的,特别是在复杂状态空间上采样时。本文描述了一种自动实现对合MCMC核的技术,给出了(i)一对分别定义目标分布和辅助分布的概率程序和(ii)一个可微程序,该程序转换这些概率程序的执行轨迹。该技术,这是实现的Gen概率编程系统的一部分,也自动检测用户错误的对合MCMC内核的规范,并利用稀疏的内核,以提高效率。本文显示了示例Gen代码的分裂合并可逆跳跃移动在无限高斯混合模型和状态依赖的混合物的建议组合空间的协方差函数的高斯过程。
2020-07-21 stat.CO
Probabilistic Numerical Methods for PDE-constrained Bayesian Inverse Problems
本文发展了概率描述偏微分方程数值解中离散误差的无网格方法。这种结构使贝叶斯逆问题的解决方案,同时考虑到正向问题的离散化的影响。特别地,这使得统计推断在存在显著求解器误差的情况下更加保守。理论结果描述的收敛速度的后验的正问题和反问题。该方法是一个具有挑战性的反问题与非线性正演模型进行测试。
2017-01-15 cs.NA math.NA math.ST
Linear-Time Probabilistic Solutions of Boundary Value Problems
University of Tübingen(蒂宾根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了一个快速算法的概率解的边值问题(BVP),这是常微分方程的边界条件。与以前的工作相比,我们引入了高斯-马尔可夫先验,并专门为BVP定制,它允许在线性时间内计算解决方案的后验分布,其质量和成本与成熟的非概率方法相当。我们的模型进一步提供了不确定性量化,网格细化和超参数自适应。我们展示了这些实际的考虑因素如何积极影响该计划的效率。总之,这导致了一个实际可用的概率BVP求解器,它(与非概率算法相比)与统计建模工具链的其他部分原生兼容。
2021-06-14 cs.LG cs.NA math.NA
Calibrated Computation-Aware Gaussian Processes
University of Southampton(南安普顿大学)
针对传统高斯过程计算复杂度高、现有计算感知高斯过程不确定性量化过于保守的问题,提出基于高斯-赛德尔迭代的校准型CAGP-GS框架,在低维少迭代场景下表现更优。
2025-03-21 cs.LG cs.NA math.NA
A probabilistic model for the numerical solution of initial value problems
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Aalto University(阿莱大学)
本文提出将初值问题解法视为对潜在路径的推断,连接了广义线性方法、Runge-Kutta方法和Nordsieck方法,揭示了经典方法的隐含假设和不确定性处理。
2017-08-10 cs.LG cs.NA math.NA
A Unifying Perspective on Probabilities as Model Predictions
Hasso Plattner Institute(哈索·普拉特纳研究院);University of Potsdam(波茨坦大学)
本文提出统一视角,将概率视为预测方法的输出,论证其模型依赖性,并证明满足有限校准准则时可用于有效决策。
2026-09-10 cs.CY cs.LG math.ST
A Probabilistic State Space Model for Joint Inference from Differential Equations and Data
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
具有微分方程的机理模型是机器学习的科学应用的关键组成部分。在这种模型中的推断通常需要计算,因为它涉及到反复求解微分方程。这里的主要问题是数值求解器很难与标准推理技术相结合。最近的工作在概率数值已经开发了一类新的求解器的常微分方程(ODE),短语的解决方案的过程中直接在贝叶斯滤波。我们在这里表明,这使得这种方法可以非常直接地结合起来,概念和数值上的方便,在常微分方程本身的潜在的力模型。然后,可以在扩展卡尔曼滤波器/平滑器的单个线性复杂度通道中对潜在力以及ODE解执行近似贝叶斯推断-也就是说,以计算单个ODE解为代价。我们通过对COVID-19爆发数据的非参数SIRD模型进行训练,展示了该算法的表现力和性能。
2022-07-05 cs.LG stat.ME stat.ML
Efficient semidefinite-programming-based inference for binary and multi-class MRFs
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
成对马尔可夫随机场(MRF)中的概率推理,即计算分区函数或计算变量的MAP估计,是概率图模型中的一个基本问题。半定规划松弛一直是分析概率推理性质的理论上强有力的工具,但由于求解所得SDP的典型求解器的高计算成本而不实用。在本文中,我们提出了一种有效的方法来计算分区函数或MAP估计在成对MRF,而不是利用最近提出的基于坐标下降的快速半定解算器。我们还将半定松弛从典型的二进制MRF到完整的多类设置,并开发了一个紧凑的半定松弛,可以再次有效地解决使用求解器。我们表明,该方法大大优于(无论是在解决方案的质量和速度方面)现有的最先进的近似推理,从以前的工作中得出的基准问题。我们还表明,我们的方法可以扩展到大型MRF域,如计算机视觉中使用的全连接成对CRF模型。
2021-05-01 cs.LG stat.ML
A Unifying Framework for Gaussian Process Pseudo-Point Approximations using Power Expectation Propagation
University of Cambridge(剑桥大学)
高斯过程(GP)是函数上的灵活分布,其使得关于未知函数的高级假设能够以简约、灵活和通用的方式进行编码。虽然优雅,GP的应用是有限的,当数据足够多或采用非高斯模型时,会出现计算和分析的棘手问题。因此,在过去的15年中,已经开发了大量的GP近似方案来解决这些关键限制。这些方案中的许多方案采用一小组伪数据点来总结实际数据。在本文中,我们开发了一个新的伪点近似框架,使用功率期望传播(功率EP),统一了大量的这些伪点近似。与以前在这一领域的许多令人尊敬的工作不同,新的框架是建立在近似推理的标准方法(变分自由能,EP和功率EP方法)上,而不是采用概率生成模型本身的近似。通过这种方式,所有的近似都是在“推理时间”而不是在“建模时间”进行的,解决了困扰以前方法的棘手的哲学和经验问题。至关重要的是,我们证明了新的框架包括新的伪点近似方法,在回归和分类任务上优于当前的方法。
2017-10-05 cs.LG stat.ML
rodeo: Probabilistic Methods of Parameter Inference for Ordinary Differential Equations
本文介绍了Python库rodeo,通过结合线性扩展的概率ODE求解器与自动微分及即时编译技术,为常微分方程系统提供快速、准确且可扩展的参数推断方法。
2025-06-26 stat.CO
Optimal Transport: Fast Probabilistic Approximation with Exact Solvers
我们提出了一个简单的子采样方案的快速随机近似计算的最佳运输距离。该方案对完整数据的随机子集进行操作,并且可以使用任何精确算法作为黑盒后端,包括最先进的求解器和熵惩罚版本。它基于对从原始测量的独立样本生成的经验测量之间的精确距离进行平均,并且可以很容易地调整到更高的精度或更短的计算时间。为此,我们给出了离散最优运输问题的情况下,其精度的非渐近偏差界。特别是,我们表明,在许多重要的情况下,包括图像(二维直方图),近似误差是独立的大小的完整的问题。我们提出的数值实验表明,一个非常好的近似在典型的应用程序中,可以获得在计算时间是几个数量级小于所需的精确计算的完整的问题。
2019-07-05 stat.CO stat.ME
Abductive Reasoning with Probabilistic Commonsense
International Laboratory on Learning Systems(学习系统国际实验室);McGill University(麦吉尔大学);Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所);Huawei Noah's Ark Lab(华为诺亚实验室)
本文提出PACS算法,通过LLM和形式求解器结合,建模常识认知的个体差异,提升大语言模型的归纳推理能力。
2026-05-08 cs.AI stat.CO
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models
Harvard University(哈佛大学);Boston University(波士顿大学)
针对潜在高斯模型 EM 需大量矩阵求逆、难以扩展的问题,提出结合 Monte Carlo 采样与迭代线性求解器的概率展开方法,可更快估计梯度并实现近一个数量级的训练加速。
2023-06-05 cs.LG eess.SP stat.CO
A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models
University of Catania(卡塔尼亚大学)
本文统一了噪声对比估计、逆逻辑回归、多重重要性采样和桥接采样在能量模型中的框架,揭示等价性并开发新估计器,提升统计与计算效率。
2026-11-11 cs.CE eess.SP stat.CO