Nonconvex sampling with the Metropolis-adjusted Langevin algorithm
Yale University(耶鲁大学)
朗之万马尔可夫链算法是在具有挑战性的高维和非凸统计和机器学习应用中从分布中采样的广泛部署的方法。尽管如此,目前的界限朗之万算法是慢于竞争的算法在许多重要的情况下,例如,当采样从弱对数凹分布,或当采样或优化非凸对数密度。在本文中,我们得到了改进的边界在许多这些情况下,表明大都会调整的朗之万算法(MALA)是快于最佳的边界,其竞争对手的算法时,目标分布满足弱的第三和第四阶正则性与输入数据。在许多情况下,我们的正则性条件弱于通常的欧几里德算子范数正则性性质,使我们能够比通常的欧几里德算子范数方法更快地显示更大类别的分布的边界,包括在统计和机器学习应用中,数据满足一定的不一致性条件。特别是,我们表明,使用我们的正则性条件,可以获得更快的应用程序,其中包括抽样问题的贝叶斯逻辑回归弱凸先验,和非凸优化问题的学习线性分类器的零-一损失函数的界限。我们在本文中的主要技术贡献是我们的分析的大都会接受概率的MALA在其“能量守恒误差”,我们的界限,这个错误的第三和第四阶正则性条件。我们将能量守恒误差的高阶分析与电导方法相结合,是获得非强对数凹设置中对维度$d$具有次线性依赖性的界限的关键。
2019-04-09 cs.DS cs.LG math.PR
Robust random walk-like Metropolis-Hastings algorithms for concentrating posteriors
出于贝叶斯推断与高信息量的数据,我们分析的性能的随机游动一样的梅特罗波利斯-黑斯廷斯算法的近似抽样越来越集中的目标分布。我们专注于高斯的建议,使用基于海森近似的目标协方差。通过前推转移核,我们证明了对于高斯目标测度,相应的梅特罗波利斯-黑斯廷斯算法的谱隙与后验的浓度无关,即,用于贝叶斯推断的观测数据中的噪声水平。此外,通过利用其拉普拉斯近似的集中后验的收敛性,我们将分析扩展到非高斯目标的措施,无论是集中在一个单一的点或沿线性流形。特别是,在该设置中,我们表明,平均接受率以及合适的大都会-黑斯廷斯马尔可夫链的预期平方跳跃距离不恶化的目标浓度。
2022-02-24 cs.NA math.NA math.PR
Perturbation Bounds for Monte Carlo within Metropolis via Restricted Approximations
蒙特卡罗内大都会(MCwM)算法,解释为一个扰动的大都会-黑斯廷斯(MH)算法,提供了一种近似抽样时,目标分布是棘手的方法。假设未扰动的马尔可夫链是几何遍历的,我们显式估计的第n步分布的扰动MCwM和未扰动的MH链之间的差异。这些界限是基于新的扰动结果的马尔可夫链的利益超出MCwM设置。为了应用该边界,我们需要控制两个链的转移概率之间的差异,并验证扰动链的稳定性。
2019-07-30 cs.NA math.NA math.PR
Spectral Gap of Metropolis Algorithms for Non-smooth Distributions under Isoperimetry
National University of Singapore(新加坡国立大学)
本文研究非光滑分布下Metropolis算法的谱隙,推导出显式界,并扩展至满足Poincaré或log-Sobolev不等式的目标分布。
2026-04-10 math.PR stat.CO
A large deviation principle for the empirical measures of Metropolis-Hastings chains
本文针对一般状态空间上的 Metropolis-Hastings 链,首次证明其经验测度满足大偏差原理,并依据接受与拒绝动力学刻画速率函数,为分析该类 MCMC 方法的效率提供了新的理论基础。
2023-08-14 math.PR stat.CO
Gibbs/Metropolis algorithms on a convex polytope
本文给出了凸多胞体上均匀分布采样的Metropolis算法的自然形式的收敛速度。奇异提案分布基于在固定的有限集方向中的一个方向上局部移动的行走,需要一些新的工具。利用Nash不等式和Weyl不等式得到了谱和特征函数的上界。马尔可夫链的上特征值与一个新拉普拉斯算子的多面体的Neuman特征值密切相关。
2011-04-05 math.PR math.SP
Large deviation-based tuning schemes for Metropolis-Hastings algorithms
本文利用大偏差理论中的速率函数量化 Metropolis-Hastings 算法的收敛速度,推导其替代表示并建立显式上下界,进而设计了提升算法效率的调优方案。
2025-04-29 math.PR math.ST stat.TH
On a generalization of the preconditioned Crank-Nicolson Metropolis algorithm
Institut für Mathematik, Universität Jena(耶拿大学数学研究所);Technische Universität Chemnitz(开姆尼茨工业大学)
本文提出一种改进的预条件Crank-Nicolson Metropolis算法,用于无限维Hilbert空间概率测度近似采样,并展示其在贝叶斯反问题中的有效性,证明其与状态空间维度和观测噪声方差无关,且具有几何混合性。
2016-10-12 cs.NA math.NA math.PR
Error bounds for Metropolis-Hastings algorithms applied to perturbations of Gaussian measures in high dimensions
Metropolis-adjusted Langevin算法(MALA)是一种用于从连续分布中近似采样的Metropolis-Hastings方法。我们推导上界的收缩率在Kantorovich-Rubinstein-Wasserstein距离的MALA链与半隐式欧拉建议适用于对数凹概率测度,有一个密度w.r. t。高斯参考测量。对于足够“规则”的密度,估计是维度无关的,并且它们对于足够小的步长$h$也不依赖于维度。在极限$h\downarrow0$下,边界接近凸势场中过阻尼Langevin扩散的已知最优收缩率。类似的方法也适用于大都会黑斯廷斯连锁与奥恩斯坦乌伦贝克建议。在这种情况下,得到的估计仍然是独立的维度,但不太理想,反映了一个事实,即MALA是一个高阶近似的扩散限制比大都会黑斯廷斯与奥恩斯坦-乌伦贝克建议。
2014-01-16 math.PR stat.CO
Irreversible Monte Carlo Algorithms for Efficient Sampling
平衡系统根据细致平衡(DB)进行演化。这一原理指导了Monte-Carlo抽样技术的发展,Metropolis-Hastings(MH)算法就是其中的著名代表。也知道DB是足够的,但不是必需的。我们构造了一个给定的可逆算法的不可逆变形,能够显着提高采样从已知的分布。我们的转换修改了转换速率,保持了转换结构的完整性。为了说明一般的计划,我们设计了一个不可逆的版本的大都市黑斯廷斯(IMH)和测试的自旋团簇的例子。模型的标准MH存在临界减速,而IMH没有临界减速。
2008-09-23 cond-mat.stat-mech cs.IT math.IT
Approximation and sampling of multivariate probability distributions in the tensor train decomposition
一般的多元分布是众所周知的昂贵的采样,特别是在偏微分方程约束的反问题的高维后验分布。本文提出了一种基于张量序列格式的低秩代理的任意连续多元分布的采样器。我们构造一个张量训练近似的目标密度函数使用交叉插值,这需要少量的函数评估。对于足够光滑的分布,TT近似所需的存储是适度的,随维度线性缩放。张量列车代理的结构允许有效的采样的条件分布方法。可以通过使用Metropolis-Hastings接受/拒绝步骤校正变换的随机种子来计算无偏估计。此外,可以使用更有效的拟蒙特卡罗方法求积,其可以通过控制变量策略或通过重要性加权来校正。我们表明,在张量列车近似的误差线性传播到大都会-黑斯廷斯拒绝率和综合自相关时间所产生的马尔可夫链。这些方法证明在三个计算实例:拟合故障时间的减震器;偏微分方程约束的逆扩散问题;和抽样从Rosenbrock分布。延迟拒绝自适应大都会(DRAM)算法被用作基准。我们发现,重要性权重校正的拟蒙特卡罗方法正交在所有计算的例子中表现最好,并且在很宽的近似精度和样本量范围内比DRAM更有效。事实上,这里开发的所有方法在所有计算示例中都显著优于DRAM。
2019-07-03 cs.NA math.NA math.PR
Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling
从后验分布抽样的贝叶斯方法由于其精确显示模型拟合的不确定性的能力而变得越来越流行。基于迭代随机采样和后验评估的经典方法,如Metropolis-Hastings,已知具有期望的长期混合特性,但是收敛缓慢。基于梯度的方法,如朗之万动力学(及其随机梯度对应物)表现出良好的维数依赖性和对数凹的快速混合时间,并“接近”对数凹分布,但也有很长的逃逸时间从局部极小值。许多当代的应用,如贝叶斯神经网络都是高维和高度多模态的。在本文中,我们调查的性能的混合大都市和Langevin采样方法类似于跳跃扩散的范围内的合成和真实的数据,表明仔细校准的混合采样跳跃与梯度为基础的链显着优于纯梯度为基础的或基于采样的计划。
2022-11-02 math.PR stat.ML
Two Metropolis-Hastings algorithms for posterior measures with non-Gaussian priors in infinite dimensions
California Institute of Technology(加州理工学院)
本文提出两种Metropolis-Hastings算法,用于在无限维Hilbert空间上绝对连续的目标测度采样,重点在于设计可逆的自回归类型提案核,并引入Bessel-K先验作为伽玛分布在无限维中的推广,用于稀疏或压缩参数建模。
2019-04-22 cs.NA math.NA math.PR
Improved annealing for sampling from multimodal distributions via landscape modification
给定一个目标分布$μ\propto e^{-\mathcal{H}}$与汉密尔顿$\mathcal{H}$的采样,在本文中,我们提出并分析了新的Metropolis-Hastings采样算法,目标是一个替代的分布$μ^f_{1,α,c} \propto e^{-\mathcal{H}^{f}_{1,α,c}}$,其中$\mathcal{H}^{f}_{1,α,c}$是我们明确引入的一个修正的汉密尔顿。以$π^f_{1,α,c}$为目标的Metropolis动力学的优点是它具有由阈值参数$c$、函数$f$和控制状态依赖效应的惩罚参数$α\geq 0$描述的降低的临界高度。首先,我们研究固定$α$的情况下,并提出了一个自归一化估计,纠正抽样偏差,并证明了渐近收敛结果和所提出的估计的Besoff型界。接下来,我们考虑对惩罚参数$α$进行退火的情况。我们证明了强遍历性和界所产生的非均匀链的总变差混合时间受到适当的假设上的衰减$α$。我们说明了所提出的算法,通过比较他们的混合时间与原来的大都会动力学统计物理模型,包括铁磁伊辛模型的超立方体或完整的图形和$q$状态Potts模型的二维环面。在这些情况下,经典的Glauber动力学的混合时间至少是指数的系统大小的临界高度增长至少与大小线性,而建议的退火算法,适当选择$f$,$c$,和退火时间表上$α$,混合迅速,最多多项式依赖的大小。证明的关键在…
2021-11-29 math-ph math.MP math.PR
Sampling conditioned diffusions via Pathspace Projected Monte Carlo
Tobias Grafke
提出路径空间投影蒙特卡洛算法,用于在一般约束下采样随机微分方程,通过流形采样方案有效处理多种约束并展示于多个物理场景。
2025-06-17 cs.LG math.PR math.ST
On hitting time, mixing time and geometric interpretations of Metropolis-Hastings reversiblizations
给定有限状态空间上的目标分布$μ$和生成元为$Q$的建议链,本文研究了连续时间环境下的两类Metropolis-Hastings(MH)生成元$M_1(Q,μ)$和$M_2(Q,μ)$.虽然$M_1$是经典的MH生成器,我们定义了一个新的生成器$M_2$,捕捉$M_1$的相反运动,并提供了一个全面的比较结果,从首中时和混合时间的渐近方差,大偏差和容量,这表明$M_2$享有优越的混合性能比$M_1$。为了证明$M_1$和$M_2$是自然变换,我们对$M_1$、$M_2$和它们的凸组合作为$Q$和$μ$ -可逆生成元集合之间的$\ell^1$极小元给出了一个有趣的几何解释,扩展了Billera和Diaconis(2001)的结果。我们提供两个例子作为说明。在第一个例子中,我们给出了$M_1$和$M_2$在Metropolised独立采样下的显式谱分析,而在第二个例子中,我们证明了出生-死亡$M_1$和$M_2$之间最快强平稳时间的Laplace变换阶。
2019-04-10 math.PR
Gaussian Processes to speed up MCMC with automatic exploratory-exploitation effect
Trinity College Dublin(都柏林大学三一学院)
针对概率模型的对数似然估计计算量大的问题,提出了一种基于代理高斯过程(GP)模型的两阶段梅特罗波利斯-黑斯廷斯算法.该方法的主要特点,以及与传统方法的区别。以前的作品,是从头开始学习目标分布的能力(同时采样),因此不需要预先训练GP。这是基本的自动和推理的概率编程语言特别是,我们提出了一个替代的第一阶段接受计划边缘化的GP分布函数,这使得接受率显式依赖于GP的方差。该方法被扩展为Metropolis-Adjusted Langevin算法(MALA)。
2021-09-28 cs.LG math.PR stat.ML