Derivative-informed neural operator acceleration of geometric MCMC for infinite-dimensional Bayesian inverse problems
California Institute of Technology（加州理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对无限维贝叶斯反问题中几何MCMC计算成本高的问题，提出融合PtO映射与雅可比样本的导数信息神经算子代理模型，结合延迟接受框架实现3-9倍加速，训练成本仅需10-25个有效样本即可回本。
2024-05-20 cs.LG cs.NA math.NA
Advanced MCMC Methods for Sampling on Diffusion Pathspace
校准日益复杂的统计模型的需要需要持续努力，以进一步发展现有的计算密集型蒙特卡罗方法。我们在这里研究一个先进的版本熟悉的马尔可夫链蒙特卡罗（MCMC）算法，样本从目标分布定义为变化的措施，从高斯法律一般希尔伯特空间。这样的模型结构出现在几个方面：我们集中在这里的扩散路径驱动的重要类别的统计模型维纳过程构成的参考高斯定律。特别强调的是先进的混合蒙特卡罗（HMC），使大，导数驱动的步骤在状态空间（与本地移动随机行走型算法相比）的分析和实验结果。我们说明了它的计算优势，在各种扩散过程和观察制度，例子包括随机波动和潜在的生存模型。与其标准MCMC对应物相比，高级版本具有无网格混合时间，因为当在计算机上应用算法时，这些混合时间不会在通过实际使用的有限维扩散路径对固有无限维扩散路径的近似进行细化时恶化。
2013-03-07 stat.CO stat.ME
Construction of weakly CUD sequences for MCMC sampling
在马尔可夫链蒙特卡罗（MCMC）抽样中，大量的思想用于构造随机转移。但这些转变几乎总是由模拟的IID序列驱动的。最近，它已被证明，取代IID序列的弱完全均匀分布（WCUD）序列导致在有限状态空间中的一致估计。不幸的是，很少有WCUD序列已知。本文给出了序列是WCUD的一般证明方法，证明了某些特定序列是WCUD的，并证明了对WCUD序列的某些运算产生新的WCUD序列。一个42维连续吉布斯采样器的数值例子发现，一些WCUD输入序列产生的方差减少范围从几十到几百的后验均值的参数，相比IID输入。
2008-07-30 math.ST stat.CO stat.TH
Efficient MCMC Sampling with Expensive-to-Compute and Irregular Likelihoods
Department of Pharmacology and Therapeutics, University of Liverpool, UK（药理学与治疗学系，利物浦大学，英国）；Department of Electrical Engineering and Electronics, University of Liverpool, UK（电子工程与电子系，利物浦大学，英国）；Independent Researcher, c/o Department of Electrical Engineering and Electronics, University of Liverpool, UK（独立研究者，电子工程与电子系，利物浦大学，英国）
本文针对不规则且昂贵的似然函数，改进基于子集评估的 HINTS 采样器，引入数据驱动代理与成本感知自适应控制器，在固定预算下实现更优的精确 MCMC 采样。
2025-05-15 cs.LG stat.ML
Scalable Monte Carlo for Bayesian Learning
本书面向研究生介绍MCMC高级主题，涵盖随机梯度、不可逆及连续时间MCMC等近十年新方法，聚焦数据量与维度可扩展性，推动贝叶斯计算在机器学习与AI中的应用。
2024-07-17 cs.LG stat.CO stat.ME
Approximate Inference for Observation Driven Time Series Models with Intractable Likelihoods
在下面的文章中，我们考虑近似贝叶斯参数推断的观察驱动的时间序列模型。这样的统计模型出现在各种各样的应用中，包括计量经济学和应用数学。本文考虑的情况下，似然函数不能逐点评估，在这种情况下，不能执行精确的统计推断，包括参数估计，这往往需要先进的计算算法，如马尔可夫链蒙特卡罗（MCMC）。我们介绍了一种新的近似基于近似贝叶斯计算（ABC）。在一定的条件下，我们表明，作为$n\rightarrow\infty$，与$n$的长度的时间序列，ABC后验，几乎肯定，最大的\emph{a posteriori}（MAP）估计的参数，这是从真正的参数不同。然而，一个嘈杂的ABC MAP，扰动原始数据，渐近收敛到真正的参数，几乎肯定。为了得出统计推断，对于所采用的ABC近似，标准MCMC算法可以具有在$n$中以指数速率下降的接受概率，并且稍微更高级的算法可能混合不良。我们开发了一个新的和改进的MCMC内核，这是基于精确近似的边际算法，其成本每次迭代是随机的，但预期的成本，为良好的性能，被证明是$\mathcal{O}(n^2)$每次迭代。
2013-03-29 stat.CO
MCMC for Bayesian uncertainty quantification from time-series data
科学和工程中的许多问题需要对观测数据进行不确定性量化。例如，在计算神经科学中，神经群体模型（NPM）是描述一系列不同状态下大脑生理学的机械模型。在计算神经科学中，人们对从诸如EEG（脑电图）的记录中推断NPM参数的逆问题越来越感兴趣。在这一应用领域，不确定性量化是必不可少的，以便推断麻醉等干预措施的机械效果。本文介绍了用C++语言编写的软件，利用马尔可夫链蒙特卡罗（MCMC）方法从近似平稳数据中对NPM参数进行贝叶斯不确定性量化。现代MCMC方法需要后验密度的一阶（在某些情况下更高阶）导数。该软件提供了两种不同的方法来评估衍生物：有限差分和精确的衍生物通过微分（AD）。对于AD，使用了两种不同的实现：开源Stan Math Library和由NAG（Numerical Algorithms Group）分发的商业许可dco/c++工具。通过一个简单的例子，噪声驱动的谐振子，证明了MCMC采样的导数信息的使用。并对不同的导数计算方法进行了比较。该软件是写在一个模块化的面向对象的方式，使它可以扩展到衍生的MCMC为其他科学领域。
2020-08-03 stat.CO
Multinomial belief networks for healthcare data
University Medical Center Groningen（格罗宁根大学医学中心）；Boehringer Ingelheim Pharma GmbH & Co. KG（勃林格殷格翰制药有限责任两合公司）
针对医疗数据的稀疏、高缺失和小样本问题，提出多项信念网络这一深度生成贝叶斯模型，并开发折叠吉布斯采样，可识别数据子结构及癌症突变特征聚类。
2024-04-06 cs.LG stat.AP stat.ML
Inference for stochastic volatility models using time change transformations
利用马尔可夫链蒙特卡罗（MCMC）方法研究了扩散驱动随机波动模型的参数估计问题。为了避免退化问题，我们引入了一个创新的reparametrisation定义通过转换操作的时间尺度上的扩散。提出了一种新的MCMC方案，克服了时变变换的固有困难。该算法实现速度快，适用于具有随机波动率的模型。该方法通过模拟实验进行了测试，并说明了美国国债利率组成的数据。
2007-11-10 math.ST q-fin.CP stat.CO
Optimization and Regularization Under Arbitrary Objectives
University of Cape Town（开普敦大学）
本研究探讨了在任意目标函数下，MCMC方法的性能依赖于似然锐度，并通过混合方法验证了过度锐度对后验质量的影响。
2026-02-15 cs.LG stat.CO stat.ML
Bayesian Trend Filtering via Proximal Markov Chain Monte Carlo
近似马尔可夫链蒙特卡罗是贝叶斯计算和凸优化的交叉点，它有助于推广贝叶斯统计中不可微先验的使用。然而，现有的近端MCMC公式需要预先指定超参数和正则化参数。在这项工作中，我们通过引入一类新的不可微先验称为epigraph先验扩展了近端MCMC的范例。作为概念的证明，我们将趋势过滤，这本来是一个非参数回归问题，在参数设置提供后验中值拟合连同可信区间作为不确定性的措施。其关键思想是用Moreau-Yosida包络代替后验密度中的非光滑项，这使得基于梯度的MCMC采样器哈密顿蒙特卡罗的应用成为可能。所提出的方法以数据驱动的方式识别适当的平滑量，从而自动化正则化参数选择。与传统的近端MCMC方法相比，我们的方法主要是调整自由，实现了同时校准的均值，规模和正则化参数在一个完全贝叶斯框架。本文的补充材料可在网上查阅。
2023-01-21 stat.CO
Inverse modeling of hydrologic systems with adaptive multi-fidelity Markov chain Monte Carlo simulations
马尔可夫链蒙特卡罗（MCMC）模拟方法被广泛用于评估水文模型的参数不确定性条件下的可观测状态变量的测量。然而，当模型是CPU密集型和高维的，MCMC模拟的计算成本将是令人望而却步的。在这种情况下，CPU高效但不太准确的低保真度模型（例如，通常采用具有较粗离散化的数值模型或数据驱动的替代）。如今，多逼真度仿真方法，可以利用低逼真度模型的效率和高保真度模型的准确性得到普及。在MCMC模拟中，由于未知模型参数的后验分布是感兴趣区域，因此明智的做法是将大部分计算预算（即，高精度模型评估）。基于这一思想，本文提出了一种自适应多保真度MCMC算法，用于水文系统的高效逆建模。在该方法中，我们评估高保真模型主要是在后验区域通过迭代运行MCMC基于高斯过程（GP）系统，自适应构造与多保真度模拟。在MCMC仿真中严格考虑了GP系统的误差，并在后验区域逐渐减小到可以忽略的水平。因此，所提出的方法可以得到一个准确的估计后验分布与少量的高保真模型评估。所提出的方法的性能证明了三个数值算例研究在水文系统的逆模拟。
2018-06-14 math.OC stat.CO
Fast Linear Solvers via AI-Tuned Markov Chain Monte Carlo-based Matrix Inversion
STFC Hartree Centre（STFC哈特ree中心）；IBM Research（IBM研究）
本文提出AI驱动框架，利用图神经代理模型和贝叶斯采集函数自动推荐MCMC参数，以更低搜索预算生成更优预条件子并加速Krylov求解器收敛。
2025-09-22 cs.LG cs.NA math.NA
Running Markov Chain Monte Carlo on Modern Hardware and Software
本章探讨利用GPU、TPU等现代硬件及PyTorch、JAX等软件加速马尔可夫链蒙特卡洛（MCMC）应用，提供加速模式、直觉解释、代码示例及潜在陷阱讨论，旨在提升MCMC计算效率。
2024-11-06 stat.CO
How well does your sampler really work?
我们提出了一个新的数据驱动的基准测试系统，以评估新的MCMC采样器的性能。从COCO基准优化中获得灵感，我们认为这项任务对机器学习和统计学具有至关重要的意义，因为新采样器的提出速度很高。常见的手工制作的例子来测试新的采样器是不令人满意的;我们采取了一种类似元学习的方法来生成基准测试的例子从一个大的语料库的数据集和模型。使用高度灵活的密度模型，包括现代神经网络为基础的方法，在实际问题中发现的后验的代理。我们提供了新的见解，真正有效的样本量的各种采样器每单位时间和估计效率的采样器每个样本。此外，我们提供了一个荟萃分析，以评估各种MCMC诊断的预测效用，并进行非参数回归，将它们结合起来。
2017-12-16 stat.CO stat.ML
Unbiased Smoothing using Particle Independent Metropolis-Hastings
我们考虑的期望值的近似分布的潜在马尔可夫过程噪声测量。这被称为平滑问题，通常使用粒子和马尔可夫链蒙特卡罗（MCMC）方法来处理。这些方法在有限时间内运行时提供一致但有偏的估计。我们提出了一种简单的方法耦合两个MCMC链使用粒子独立的Metropolis-Hastings（PIMH）生成无偏平滑估计。无偏估计量在并行计算的背景下是有吸引力的，并且便于构造置信区间。该方案只需要访问现成的粒子滤波器（PF），因此更容易实现比最近提出的无偏平滑。该方法证明了一个Lévy驱动的随机波动率模型和随机动力学模型。
2019-02-05 stat.CO stat.ME stat.ML
Data-driven Sequential Monte Carlo in Probabilistic Programming
University of Oxford（牛津大学）
现有的概率规划系统中的大多数马尔可夫链蒙特卡罗（MCMC）和顺序蒙特卡罗（SMC）算法仅使用模型先验作为建议分布。在这项工作中，我们描述了一种训练判别模型，即一个神经网络的方法，以近似的最佳建议，通过使用后验估计从以前运行的推理。我们展示了一个例子，结合了数据驱动的建议，用于在英国圣公会概率编程系统的非参数模型。我们的研究结果表明，数据驱动的建议可以显着提高推理性能，因此需要相当少的粒子来执行良好的后验估计。
2016-05-16 cs.AI stat.AP stat.ML
Monte Carlo Co-Ordinate Ascent Variational Inference
在变分推断（VI）中，坐标上升和基于梯度的方法是两种主要类型的算法，用于近似难以计算的概率密度。在复杂模型的实际实现中，蒙特卡罗方法被广泛用于估计坐标上升方法中的期望值和导数驱动方法中的梯度。我们讨论了一个蒙特卡罗坐标上升VI（MC-CAVI）算法，利用马尔可夫链蒙特卡罗（MCMC）方法在计算内所需的期望坐标上升VI（CAVI）。我们表明，在正则条件下，MC-CAVI递归将得到任意接近最大化的证据下限（ELBO）与任何给定的高概率。在数值算例中，MC-CAVI算法的性能进行了比较，MCMC和-作为基于导数的VI方法的代表-黑盒VI（BBVI）。我们讨论和证明MC-CAVI的适用性与硬约束模型在模拟和真实的例子。我们比较MC-CAVI的性能与MCMC在一个重要的复杂的模型中使用的核磁共振（NMR）光谱数据分析- BBVI是几乎不可能在这种情况下，由于涉及的模型的硬约束。
2019-10-17 stat.CO
Discrepancy estimates for variance bounding Markov chain quasi-Monte Carlo
The University of New South Wales（新南威尔士大学）；Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
本文研究了由确定性序列驱动的方差限制马尔可夫链准蒙特卡洛方法的效率，定义了驱动序列的回溯偏差，并证明了存在确定性驱动序列使偏差以蒙特卡洛速率n^1/2衰减，同时提供了误差估计示例。
2014-12-02 cs.NA math.NA math.ST
Data-Driven Risk Measurement by SV-GARCH-EVT Model
本文提出SV-EVT-VaR动态模型，将厚尾分布、杠杆效应与极值理论相结合，用于更准确地度量股票市场风险，并通过标普500指数数据验证其在样本外回测中的优越性。
2024-12-27 q-fin.MF q-fin.RM q-fin.ST
A theoretical comparison of the data augmentation, marginal augmentation and PX-DA algorithms
数据增强（DA）算法是一种广泛使用的马尔可夫链蒙特卡罗（MCMC）算法，其基于$p(x|x')=\int_{\mathsf{Y}}f_{X|Y}(x|y)f_{Y|X}(y|x') dy$形式的马尔可夫转移密度，其中$f_{X|Y}$和$f_{Y|X}$是条件密度。Liu和Wu的PX-DA和边际增强算法[J. Amer. Statistic. Assoc.94（1999）1264- 1274]以及Meng和van Dyk [Biometrika 86（1999）301- 320]是DA的替代方案，它们通常收敛得更快，并且仅在计算上要求稍高。这些替代算法的转换密度可以写成$p_R(x|x')=\int_{\mathsf{Y}}\int _{\mathsf{Y}}f_{X|Y}(x|y')R(y,dy')f_{Y|X}(y|x') dy$的形式，其中$R$是$\mathsf{Y}$上的马尔可夫转换函数。证明了当$R$满足一定条件时，由$p_R$驱动的MCMC算法在中心极限定理和算子范数意义下的性能至少与由$p$驱动的MCMC算法一样好.这些结果带来的DA，PX-DA和边缘增强算法的理论比较。我们的重点是刘和吴所利用的群体结构可用的情况。我们证明了基于Haar测度的PX-DA算法至少与任何使用适当的先验构造的PX-DA算法一样好。
2008-04-04 math.ST stat.TH
Large-Flip Importance Sampling
Computer Science, UBC（不列颠哥伦比亚大学计算机科学系）
提出了一种新的求解复杂离散分布的蒙特卡罗算法。该算法的动机是N-Fold Way，这是一种巧妙的事件驱动MCMC采样器，可以避免在任何特定状态下的拒绝移动。然而，N重方式可能会被“困”在循环中。我们通过修改采样过程克服了这个问题。这种校正确实会引入偏差，但随后会使用精心设计的重要性采样器来校正偏差。
2012-06-20 cs.AI stat.CO
Layered Adaptive Importance Sampling
University of Helsinki（赫尔辛基大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）
蒙特卡罗方法代表了用于近似涉及多维目标分布的复杂积分的“事实上的”标准。为了从目标分布生成随机实现，蒙特卡罗技术使用更简单的提议概率密度来绘制候选样本。任何此类方法的性能都与建议分布的规格严格相关，因此不幸的选择很容易对结果估计造成严重破坏。在这项工作中，我们引入了一个分层（即，分层）过程来生成在蒙特卡罗方案内采用样本。这种方法确保总是自动获得适当的等效建议密度（从而消除灾难性性能的风险），尽管代价是复杂性的适度增加。此外，我们提供了一个通用的统一的重要性抽样（IS）框架，其中采用多个建议密度和几个IS计划引入所谓的确定性混合方法。最后，鉴于这些计划，我们还提出了一类新的自适应重要性采样器使用人口的建议，其中的适应是由独立的并行或相互作用的马尔可夫链蒙特卡罗（MCMC）链驱动。由此产生的算法有效地结合了IS和MCMC方法的优点。
2016-11-27 cs.LG stat.CO stat.ML
Adjoint-aided inference of Gaussian process driven differential equations
Makerere University（马凯雷雷大学）；University of Sheffield（谢菲尔德大学）；University of Manchester（曼彻斯特大学）；University of Nottingham（诺丁汉大学）
线性系统出现在工程和科学中，最著名的是微分方程。在许多情况下，系统的强迫函数是未知的，并且兴趣在于使用系统的噪声观测来推断强迫以及其他未知参数。在微分方程中，强迫函数是独立变量（通常是时间和空间）的未知函数，并且可以建模为高斯过程（GP）。在本文中，我们展示了如何伴随的线性系统可以用来有效地推断强迫函数建模为GP，使用截断的基础扩展的GP内核。我们展示了如何精确的共轭贝叶斯推断截断GP可以实现，在许多情况下，大大降低计算比将需要使用MCMC方法。我们证明了系统的常微分方程和偏微分方程的方法，并表明，基础扩展的方法近似以及真正的强迫与适度数量的基向量。最后，我们展示了如何推断点估计的非线性模型参数，如内核的长度尺度，使用贝叶斯优化。
2022-12-05 cs.LG stat.ML
Variational Autoencoder for Generating Broader-Spectrum prior Proposals in Markov chain Monte Carlo Methods
Department One（部门一）；Department Two（部门二）；National Laboratory for Scientific Computing（国家科学计算实验室）；Department of Mathematical Sciences, The University of Texas at Dallas（数学科学系，德克萨斯大学达拉斯分校）
本文提出用变分自编码器为马尔可夫链蒙特卡罗方法生成更广谱的先验提议，以替代依赖协方差先验知识的KLE方法，并通过地下水流动反演实验验证其在精度、鲁棒性和计算效率上的优势。
2025-06-16 cs.LG stat.ML
Composing Flow-Matching Energies with Known Physics: Generation, OOD Detection, and Inversion on PDE Fields
本研究提出带势诱导速度的流匹配模型，生成显式标量能量，实现能量校正生成、OOD检测及反问题后验采样，可降低PDE残差、提升OOD检测精度。
2026-08-19 cs.LG physics.comp-ph
Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Brain（谷歌大脑）
我们表明，一个GAN的隐式生成器的对数密度$\log p_g$与logit得分的ESTA定义的能量函数，产生真正的数据密度时，发电机是不完美的，但ESTA是最佳的，从而使它有可能改善典型的发电机（与隐式密度$p_g$）。为了实现这一点，我们表明，从这个修改后的密度采样可以通过根据潜在先验对数密度和潜在输出分数之和引起的基于能量的模型在潜在空间中进行采样来实现。这可以通过在潜在空间中运行Langevin MCMC，然后应用生成器函数来实现，我们称之为鉴别器驱动潜在采样~（DDLS）。我们表明，DDLS是非常有效的相比，以前的方法，工作在高维像素空间，可以应用于改善以前训练的GANs的许多类型。我们评估DDLS的合成和现实世界的数据集定性和定量。在CIFAR-10上，DDLS大大提高了现成的预训练SN-GAN~ \citep{sngan}的初始得分，从$8.22$到$9.09$，甚至可以与类条件BigGAN~ \citep{biggan}模型相媲美。这在无条件图像合成设置中实现了新的最先进技术，而无需引入额外的参数或额外的训练。
2021-07-07 cs.AI cs.LG stat.ML
Generalised Hyperbolic State-space Models for Inference in Dynamic Systems
本文提出由广义双曲Lévy过程驱动的线性向量SDE状态空间模型，结合序贯MCMC推断方法处理连续时间非高斯滤波问题，并在合成数据与真实金融序列上验证了模型能力。
2023-09-20 eess.SP stat.ME
Generalised shot noise representations of stochastic systems driven by non-Gaussian Lévy processes
该研究针对非高斯纯跳变Lévy过程驱动的线性向量值SDE，推导了基于NVM混合表示的广义散粒噪声仿真方法，证明了残差的高斯近似条件，为相关模型的状态推断与参数估计提供了高效工具。
2023-11-07 math.PR stat.ME
A Co-evolution Model of Network Structure and User Behavior in Online Social Networks: The Case of Network-Driven Content Generation
随着在线社交网站（SNS）的快速增长，平台所有者和在线营销人员必须调查是什么推动了这些平台上的内容生产。然而，以前的研究发现，由于无法单独评估网络形成和网络影响的影响，很难从观测数据中对这些因素进行统计建模。在本文中，我们采用并增强了一个面向行动者的连续时间模型，共同估计用户的社会网络结构和他们的内容生产行为的共同进化，使用马尔可夫链蒙特卡罗（MCMC）为基础的模拟方法。具体来说，我们提供了一种方法来分析在存在可观察和不可观察协变量的情况下具有网络效应的非平稳和连续行为，类似于在社交媒体生态系统中观察到的情况。利用来自大型社交网站的独特数据集，我们将我们的模型应用于六个月内的大学生数据，发现：1）用户倾向于与具有相似发帖行为的其他人联系，2）然而，这样做之后，用户倾向于在发帖行为中出现分歧，3）同伴影响对发帖行为的强度很敏感。此外，我们的方法为研究人员和从业人员提供了一种统计上严格的方法来分析观测数据中的网络效应。这些结果为SNS平台提供了见解和建议，以维持一个活跃和可行的社区。
2018-11-27 cs.SI physics.soc-ph stat.AP
SCORENF: Score-based Normalizing Flows for Sampling Unnormalized distributions
Department of Electrical Engineering, IIT Kanpur, India（印度IIT坎浦尔电子工程系）
本文提出ScoreNF，结合归一化流与独立Metropolis-Hastings模块，实现非归一化分布的高效无偏采样，并在小训练集下保持高性能，同时评估模式覆盖与崩溃。
2026-09-29 cs.LG hep-lat quant-ph
