Parallel Affine Transformation Tuning of Markov Chain Monte Carlo
针对MCMC采样受目标分布性质影响的问题,提出采样中自适应学习双射仿射变换的并行调优方案,并结合Gibbsian polar slice sampling在真实数据设置中以较低成本获得高质量样本。
2024-05-29 stat.ME stat.ML
Bayesian Inference of Nonlinear Malaria Dynamics in Ghana via an Ensemble Markov Chain Monte Carlo Sampler
Ghanaian Agricultural and Environmental Council(加纳农业与环境委员会)
针对加纳疟疾监测数据短、噪声大、空间异质性强的问题,提出一种贝叶斯非线性推断框架,结合三次基线与阻尼振荡核,通过仿射不变集成马尔可夫链蒙特卡洛采样器估计参数,实现了高精度拟合和概率预测,揭示了空间异质性并预测了2024-2026年疟疾回升趋势。
2026-05-30 cs.AI math.PR stat.AP
emcee v3: A Python ensemble sampling toolkit for affine-invariant MCMC
emcee是一个Python库,实现了一类用于马尔可夫链蒙特卡罗(MCMC)的仿射不变集成采样器。该软件包已被广泛应用于天体物理学中的概率建模问题,它最初出版的地方,在其他领域的一些应用。在2012年首次发布时,在emcee中实现的接口与当时流行的MCMC库(如PyMC)有着根本的不同,因为它是专门设计用于“黑盒”模型而不是结构化图形模型。这是天体物理学应用程序的一个流行接口,因为在其他库所需的建模框架内实现真实的物理学通常是不平凡的。自emcee发布以来,其他库已经开发了类似的接口,例如dynesty(Speagle 2019)。emcee的3.0版本是该库在大约6年内的第一个主要版本,它包括对计算后端的完全重写,几个常见的功能,以及一组新的“移动”实现。
2019-11-18 astro-ph.IM stat.CO
The Coupled Rejection Sampler
本文提出了一种耦合拒绝抽样方法,用于任意分布耦合的抽样。该方法依赖于接受或拒绝来自主导边缘的耦合样本。与现有的接受-拒绝耦合方法相反,所提出的方法的执行时间的方差是有限的,并且当两个目标边缘在总变差范数的意义上彼此接近时保持有限。在重要的特殊情况下,耦合多变量高斯与不同的手段和协方差,我们推导出积极的下限,我们的算法产生的耦合概率,然后我们展示了如何耦合方法可以优化在封闭的形式。最后,我们展示了如何修改耦合拒绝采样方法,从耦合的建议合奏,以便渐近恢复最大耦合。然后,我们将该方法应用到耦合罕见事件采样器的问题,推导出一个并行耦合拒绝算法用于粒子滤波,并显示如何耦合拒绝采样器可以用来加速基于耦合的无偏MCMC方法。
2022-03-10 math.PR stat.CO stat.ME
Gradient-free Riemannian Langevin Sampler
University of Toronto(多伦多大学);UGA, Inria, CNRS, Grenoble INP*, LJK(格勒诺布尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔国立综合理工学院、数值模拟与知识工程实验室)
研究多模态概率分布采样问题,提出无梯度黎曼朗之万采样器(GRiLS),通过引入黎曼度量改善探索,无需目标密度梯度评估,适用于复杂目标,用相互作用粒子系综估计均值和协方差,实证显示其混合效果优于现有方法。
2026-07-09 cs.LG math.ST stat.TH
MCMC Using Ensembles of States for Problems with Fast and Slow Variables such as Gaussian Process Regression
我介绍了一个马尔可夫链蒙特卡罗(MCMC)计划,在该计划中,从一个密度为π(x)的分布采样是使用更新操作的“合奏”的状态。当前状态x首先被随机映射到系综x^{(1)},.,x^{(K)}。然后使用MCMC更新来更新该系综,MCMC更新保持合适的系综密度rho(x^{(1)},.,x^{(K)}),根据pi(x^{(i)})定义,i=1,.,K.最后,在这些更新之后从系综中随机选择单个状态。当pi和系综的特性允许对于{1,.,K},其计算时间少于针对单个x计算pi(x)所需的计算时间的K倍。这种类型的一种常见情况是,对某些“快速”变量的更改允许快速重新计算密度,而对其他“慢速”变量的更改则不允许。高斯过程回归模型是此类问题的一个例子,协方差的总体缩放因子和噪声方差是快速变量。我表明,集成MCMC高斯过程回归模型确实可以大大提高采样性能。最后,我讨论了其他可能的应用合奏MCMC,其关系的“多尝试大都会”的方法刘,梁,黄和“多集采样器”的莱曼,陈和拉文。
2011-01-02 stat.CO
Dynamic Gauss Newton Metropolis Algorithm
GNM:MCMC Jagger。很棒的样品。这个python包是一个仿射不变的马尔可夫链蒙特卡罗(MCMC)采样器,基于动态高斯-牛顿-大都会(GNM)算法。GNM算法专门用于采样$e^{-||f(x)||^2/2}$形式的高度非线性后验概率分布函数,该软件包是该算法的实现。在原始GNM算法中的回退策略之上,还将动态超参数优化功能添加到算法中,并包含在软件包中,以帮助提高回退性能,从而提高采样性能。此外,还有雅可比测试器,误差线创建器和许多其他功能,以便于使用包括在代码中。在引言中介绍了问题并给出了安装指南。然后解释如何使用Python包。最后给出了指数时间序列的算例,说明了算法的性能和退避策略。
2019-12-30 astro-ph.EP astro-ph.SR physics.data-an
MCMC with Strings and Branes: The Suburban Algorithm
受弦和膜物理学的启发,我们引入了一套通用的马尔可夫链蒙特卡罗(MCMC)“郊区采样器”(即,展开大都市)。郊区算法涉及一个由随机网络连接在一起的统计代理的集合。集体在达到快速和准确的推断方面的性能主要取决于最近邻连接的平均数量。将邻居的平均数量增加到零以上最初会导致性能的提高,尽管存在有效维度d_eff ~ 1的临界连通性,在该临界连通性之上,“群体思维”接管,并且采样器的性能下降。
2016-05-19 cond-mat.dis-nn hep-th physics.comp-ph
emcee: The MCMC Hammer
我们介绍了一个稳定的,经过良好测试的Python实现的仿射不变集成采样器的马尔可夫链蒙特卡罗(MCMC)提出的古德曼和Weare(2010)。该代码是开源的,已经在天体物理学文献中的几个已发表的项目中使用。与传统的MCMC采样方法相比,emcee背后的算法具有几个优点,并且通过自相关时间(或每个独立样本的函数调用)来衡量,它具有出色的性能。该算法的一个主要优点是,与N维参数空间中的传统算法的$\sim N^2$相比,它只需要手动调整1或2个参数。在本文档中,我们描述了算法以及我们的实现和API的细节。利用集成方法的并行性,emcee允许任何用户利用多个CPU内核,而无需额外的努力。该代码可以在http://dan.iel.fm/emcee上根据MIT许可证在线获得。
2013-11-25 astro-ph.IM physics.comp-ph stat.CO
A gradient-free subspace-adjusting ensemble sampler for infinite-dimensional Bayesian inverse problems
在高维空间中对尖锐后验样本进行采样是一个具有挑战性的问题,特别是当似然函数的梯度不可用时。在低到中等尺寸,仿射不变的方法,一类基于集成的无梯度的方法,已发现在采样集中后验的成功。然而,系综成员的数量必须超过未知状态的维度,以便正确的分布成为目标。相反,预处理Crank-Nicolson(pCN)算法在高维采样时成功,但当后验与前验显著不同时,样本变得高度相关。在这篇文章中,我们将上述方法以两种不同的方式结合起来,试图找到一种折衷的方法。第一种方法涉及用当前集合的协方差来膨胀pCN中的建议协方差,而第二种方法在不断适应的低维子空间上执行近似仿射不变的步骤,同时在其正交补上使用pCN。
2022-02-22 cs.NA math.NA stat.CO
Quantitative Wasserstein Propagation of Chaos for Transport Ensemble Filters
Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学);California Institute of Technology(加州理工学院)
针对传输集成滤波器类交互粒子系统,提出一般概率框架,证明其以蒙特卡洛速率非渐近高概率Wasserstein收敛到平均场极限,首次给出EnKF和EnSMF的非渐近收敛保证。
2026-06-25 math.ST stat.CO stat.TH
Fast sampling from $β$-ensembles
我们研究的采样算法的$β$ -系综的时间复杂度小于立方的基数的合奏。根据Dumitriu和Edelman(2002),我们将系综视为随机三对角矩阵的特征值,即随机Jacobi矩阵。首先,我们提供了一个统一的和基本的治疗三对角模型相关联的三个经典的厄米,拉盖尔和雅可比合奏。为了这个目的,我们使用简单的变量之间的连续reparametrizations的系数定义的三对角矩阵。其次,我们推导出一个近似采样器的模拟$β$ -合奏,并说明如何快速可以多项式电位。该方法结合了Jacobi矩阵的Gibbs采样器和这些矩阵的对角化。在实践中,即使对于大的系综,只有几个吉布斯通过足够的边缘分布的特征值,以适应预期的理论分布。当吉布斯采样器中的条件可以被精确地模拟时,对于最大特征值的波动,观察到相同的快速经验收敛。我们的实验结果支持Krishnapur等人(2016)的猜想,即大小为$N$的Jacobi矩阵上的Gibbs链在$\mathcal{O}(\log(N))$中混合。
2020-03-04 math.PR stat.CO
Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions
Institute for Astronomy, University of Edinburgh(爱丁堡大学天文研究所)
切片采样已经成为一种强大的马尔可夫链蒙特卡罗算法,它以最小的手动调整适应目标分布的特征。然而,切片采样的性能对用户指定的初始长度尺度超参数高度敏感,并且该方法通常难以处理尺度差或强相关的分布。本文介绍了Ensemble切片采样(ESS),一类新的算法,绕过这样的困难,通过自适应调整的初始长度尺度和利用合奏的并行步行者,以有效地处理参数之间的强相关性。这些仿射不变的算法是平凡的构造,不需要手动调整,可以很容易地实现在并行计算环境中。实证测试表明,包围切片采样可以提高效率超过一个数量级相比,传统的MCMC方法在广泛的高度相关的目标分布。在强多模态目标分布的情况下,Enhancement切片采样即使在高维中也可以有效地采样。我们认为,并行,黑盒和梯度的方法的性质使其理想的用于科学领域,如物理学,天体物理学和宇宙学,这些领域主要是由各种各样的计算昂贵和不可微的模型。
2021-10-03 astro-ph.CO astro-ph.IM cs.LG
A Uniformly Efficient Rejection Sampler for the Multivariate Expectile-Based Distribution
针对多元期望分位数分布,提出一种基于仿射白化、极坐标分解和双曲变换的拒绝采样器,使接受概率均匀地不低于0.632,适用于任意维度和不对称参数。
2026-09-24 stat.CO
Persistent Sampling: Enhancing the Efficiency of Sequential Monte Carlo
Berkeley Center for Cosmological Physics, University of California, Berkeley(伯克利宇宙物理中心,加州大学伯克利分校);Lawrence Berkeley National Laboratory(伯克利国家实验室)
针对序贯蒙特卡洛计算成本高的问题,提出持久采样方法,通过重用历史粒子构建加权集合,无需额外似然评估,降低方差并提升效率,在多种模型上优于现有SMC变体。
2025-06-23 cs.LG stat.CO stat.ML
Metropolis-adjusted interacting particle sampling
本文针对交互粒子采样器因集合近似和时间步进引入偏差的问题,提出Metropolis化修正,并证明收敛性,数值实验显示其有效性。
2023-12-21 cs.NA math.NA stat.CO
Affine-Mapping based Variational Ensemble Kalman Filter
Shanghai Jiao Tong University(上海交通大学);University of Birmingham(伯明翰大学)
针对一般观测模型下的序列贝叶斯滤波问题,提出了一种基于仿射映射的变分Envelope卡尔曼滤波算法。具体地,所提出的方法被公式化为构造从先前集合到后验集合的仿射映射,并且该仿射映射经由变分贝叶斯公式计算,即,通过最小化通过仿射映射变换的分布和实际后验之间的Kullback-Leibler发散。研究了所得最优化问题的一些理论性质,并提出了求解所得最优化问题的梯度下降法。数值例子表明,该方法具有竞争力的性能,对现有的方法。
2021-09-03 cs.LG cs.NA math.NA
Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference
Universität Heidelberg(海德堡大学);University of Tübingen(蒂宾根大学);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);Zuse School ELIZA(祖塞ELIZA学院)
本文提出马尔可夫链蒙特卡洛循环类比热机循环,通过自适应集成调度器实现参数调整,发现非高斯模型可产生非零净功,并作为非高斯性度量应用于超新星宇宙学。
2026-09-09 cond-mat.stat-mech cs.AI stat.CO
Ensemble transport smoothing. Part I: Unified framework
本文从测度传输视角提出一个基于非线性传输映射的通用集合平滑框架,解决了传统平滑方法在非高斯设置下的不一致或计算成本过高问题,并证明标准Kalman型平滑算法为其特例。
2023-11-22 stat.CO stat.ME stat.ML
Efficient Metropolis-Hastings Proposal Mechanisms for Bayesian Regression Tree Models
贝叶斯回归树是一种灵活的非参数模型,非常适合许多现代统计回归问题。已经提出了许多这样的树模型,从简单的单树模型到更复杂的树集合。它们的非参数公式化允许对在模型预测因子和观测值之间表现出复杂的非线性关系的数据集进行有效和高效的建模。然而,马尔可夫链蒙特卡罗(MCMC)采样器的混合行为有时很差。这是因为采样器中的建议通常是树结构的局部改变,例如叶节点的出生/死亡,这不允许模型空间的有效遍历。这种糟糕的混合会导致推理问题,例如不确定性的代表性不足。在本文中,我们开发了新的建议机制,有效的采样。第一个是规则扰动建议,而第二个我们称之为树旋转。扰动建议可以被看作是一个有效的变化,在现有的文献中发现的变化建议。新的树旋转建议是简单的实现,因为它只需要局部变化的回归树结构,但它有效地遍历不同区域的模型空间沿等值线的概率相等。当结合经典的出生/死亡的建议,所得到的MCMC采样器表现出良好的接受率,并适当地代表模型的不确定性,在后验样本。我们实现这种抽样算法的贝叶斯加性回归树(BART)模型,并证明其有效性的预测问题,从计算机实验和测试功能,结构树的变异性是需要充分探索后验。
2013-12-06 stat.CO