Weak Poincaré inequalities for two-component Deterministic-scan Metropolis-within-Gibbs samplers
University of Warwick(华威大学)
本文通过弱Poincaré不等式分析了确定性扫描Metropolis-within-Gibbs采样器的收敛性质,并建立了相关理论结果及应用。
2026-10-06 math.PR stat.CO
Analysis of Multiple-try Metropolis via Poincaré inequalities
本文利用庞加莱不等式框架分析Multiple-try Metropolis算法,推导其与理想Metropolis--Hastings算法的庞加莱比较结果,在高斯情形下证明了该算法的显式非渐近收敛界。
2025-11-17 math.PR stat.CO
Rate optimality of Random walk Metropolis algorithm in high-dimension with heavy-tailed target distribution
增量分布的选择是随机行走Metropolis-Hastings(RWM)算法的关键。本文研究了高维情形下所有可能的增量分布的最优选择问题。结论是相当违反直觉的,但最佳的收敛速度是通过通常的选择,正态分布作为增量分布。特别是,没有重尾增量分布可以提高速率。
2016-05-21 math.PR stat.ME
Small-world MCMC and convergence to multi-modal distributions: From slow mixing to fast mixing
我们比较了Metropolis-Hastings链在多模态目标分布下的收敛速度,当建议分布可以是“局部”和"小世界“类型时。特别是,我们表明,通过添加偶尔的远程跳跃到一个给定的本地建议分布,可以把一个链是“缓慢混合”(在问题的复杂性)到一个链是“快速混合。为了做到这一点,我们通过一个新的状态分解定理获得谱间隙估计,并对对数凹概率测度应用等周不等式。我们讨论了我们的结果的潜在适用性的大都市耦合马尔可夫链蒙特卡罗计划。
2007-03-01 math.PR
Adaptive independent Metropolis--Hastings
我们提出了一个自适应的独立的大都市-黑斯廷斯算法的能力,从所有以前的建议,除了当前位置的链中学习。它是独立的Metropolis-Hastings算法的一个扩展。收敛性被证明提供了一个强Doeblin条件满足,这基本上要求所有的建议功能有均匀重尾比平稳分布。如果间歇性地使用依赖于当前状态的建议,则证明也成立,只要来自这些迭代的信息不用于自适应。该算法在有限次数的迭代内从精确分布中给出样本,概率任意接近1。当需要来自相同分布的大量样本个数时,该算法特别有用,例如在贝叶斯估计中,以及在CPU密集型应用中,例如在逆问题和优化中。
2009-03-03 math.PR
Large deviation-based tuning schemes for Metropolis-Hastings algorithms
本文利用大偏差理论中的速率函数量化 Metropolis-Hastings 算法的收敛速度,推导其替代表示并建立显式上下界,进而设计了提升算法效率的调优方案。
2025-04-29 math.PR math.ST stat.TH
Gibbs/Metropolis algorithms on a convex polytope
本文给出了凸多胞体上均匀分布采样的Metropolis算法的自然形式的收敛速度。奇异提案分布基于在固定的有限集方向中的一个方向上局部移动的行走,需要一些新的工具。利用Nash不等式和Weyl不等式得到了谱和特征函数的上界。马尔可夫链的上特征值与一个新拉普拉斯算子的多面体的Neuman特征值密切相关。
2011-04-05 math.PR math.SP
Optimal scaling of random walk Metropolis algorithms with discontinuous target densities
考虑目标分布具有不连续密度函数的高维随机游动Metropolis(RWM)算法的最优尺度问题.几乎所有以前的分析都集中在连续目标密度上。主要结果是当目标密度的维数d收敛到无穷大时的弱收敛结果。特别地,当提案方差由$d^{-2}$缩放时,由每个马尔可夫链的第一分量形成的随机过程序列收敛到适当的朗之万扩散过程。因此,优化RWM算法的效率相当于最大化限制扩散的速度。这导致在相当一般的条件下,$e^{-2}$(=0.1353)的渐近最优接受率。结果有重大的实际影响,RWM算法的实施,突出了不利影响,选择RWM算法的大都市内吉布斯算法。
2012-10-18 math.PR
Asymptotic variance for Random walk Metropolis chains in high dimensions: logarithmic growth via the Poisson equation
有两种方法可以加速MCMC算法:(1)构造更复杂的采样器,使用目标的梯度和高阶信息;(2)设计一个控制变量来减小渐近方差。虽然(1)作为维数的函数的效率已被广泛研究,本文提供了第一个严格的结果,连接的增长的渐近方差(2)与维数。具体而言,我们使用Gelman,Gilks和Roberts的开创性论文“弱收敛和最佳缩放的随机游动Metropolis算法”中的缩放极限的泊松方程的解,构造具有IID目标的$d$维随机游动Metropolis链的控制变量。我们证明了相应的估计量的渐近方差是有界的多个$\log d/d$以上的频谱间隙的链。利用大偏差理论、最优Young不等式和Berry-Esseen型界,给出了证明.扩展的结果,非产品的目标进行了讨论。
2019-06-18 math.PR
Multidimensional examples of the Metropolis algorithm
考虑通过使用网格大小为$1/N$的正方形网格离散化和Metropolis算法来近似立方体$[0,1]^n$上的给定概率分布的问题。在这里,维度$n$是固定的,我们主要关注$n=2$的情况。为了理解这样一个过程的收敛速度,需要控制相关有限马尔可夫链的谱间隙$λ$,以及它如何依赖于参数$N$。在这项工作中,我们研究的基本例子,良好的上界和下界$λ$可以通过适当的应用路径技术。
2022-01-31 math.PR math.SP
Spectral Gap of Metropolis Algorithms for Non-smooth Distributions under Isoperimetry
National University of Singapore(新加坡国立大学)
本文研究非光滑分布下Metropolis算法的谱隙,推导出显式界,并扩展至满足Poincaré或log-Sobolev不等式的目标分布。
2026-04-10 math.PR stat.CO
Optimal scaling of the Random Walk Metropolis algorithm under Lp mean differentiability
本文考虑了高维随机游动Metropolis算法的最优尺度问题,其密度在Lp均值中是可微的,但在某些点上可能是不规则的(例如Laplace密度)和/或支持在一个区间上.我们的主要结果是弱收敛的马尔可夫链(适当地重新调整的时间和空间)的朗之万扩散过程的维数d趋于无穷大。因为对数密度可能是不可微的,所以极限扩散可能是奇异的。标度极限是在比[6]的原始推导中使用的假设弱得多的假设下建立的。这一结果具有重要的实际意义的随机游动大都市算法在贝叶斯框架的基础上稀疏诱导先验。
2016-04-22 math.PR math.ST stat.TH
Optimal scaling for the transient phase of the random walk Metropolis algorithm: The mean-field limit
我们考虑了随机游动Metropolis算法在$\mathbb{R}^n$上的高斯建议,当目标概率测度是一维规律的$n$ -倍积时.在极限$n\to\infty$,这是众所周知的(见[Ann. Appl. Probab. 7(1997)110-120]),当该提议的方差与维度$n$成反比,而时间被因子$n$加速时,如果该链在平衡处开始,则对于马尔可夫链的每个分量获得扩散极限。当初始分布不是目标概率测度时,本文推广了这一结果。值得注意的是,由于共同的接受/拒绝的建议的移动链的组件之间的相互作用是平均场类型,我们得到的混沌结果的传播下,在固定的情况下相同的缩放。这证明,在维度$n$方面,与近平稳性相同的缩放对于Metropolis-Hastings算法的瞬态阶段成立。每个分量的扩散极限和平均场极限是一个在McKean意义下的非线性扩散过程。这开辟了一条新的途径,即对建议分布方差的最佳选择进行新的研究,以加速收敛到均衡(参见[Metropolis-Hastings算法的瞬态阶段的最佳缩放:长期行为Bernoulli(2014)出现])。
2015-06-19 math.PR
Cutoff profile of the Metropolis biased card shuffling
本文证明了 Metropolis 偏置洗牌(多物种 ASEP)的截断窗口为 N^{1/3} 量级,截断轮廓由 GOE Tracy-Widom 分布给出,证实了 Bufetov-Nejjar 猜想,并推广了有向交换过程的收敛结果。
2022-08-29 cs.DM math-ph math.CO
Path convergence of Markov chains on large graphs
本文研究有限无标号图上两类随机过程(欧几里得优化与修正Metropolis链)在大图极限下的路径收敛,证明其轨迹收敛至测度值图限空间上的确定性曲线,并揭示Metropolis链与图限梯度流的新联系及指数收敛速率。
2023-10-15 math.PR stat.ML
Generalized and hybrid Metropolis-Hastings overdamped Langevin algorithms
结果表明,不可逆过阻尼Langevin动力学比可逆过阻尼Langevin动力学在谱隙和渐近方差方面具有更好的收敛性质。在这篇文章中,我们提出了一个方差减少方法的大都市黑斯廷斯调整Langevin算法(MALA),利用这些不可逆的动态的良好行为。它包括在构造一个不可逆的马尔可夫链(相对于目标不变测度),通过使用广义Metropolis-Hastings调整的提升状态空间。我们提出了这种方法的两个变化,我们讨论了一个精心选择的建议分布的平均拒绝概率的重要性。我们的结论与数值实验比较我们的算法与MALA,并显示方差减少几个数量级在一些有利的玩具情况下。
2017-01-19 math.PR math.ST stat.TH
On a generalization of the preconditioned Crank-Nicolson Metropolis algorithm
Institut für Mathematik, Universität Jena(耶拿大学数学研究所);Technische Universität Chemnitz(开姆尼茨工业大学)
本文提出一种改进的预条件Crank-Nicolson Metropolis算法,用于无限维Hilbert空间概率测度近似采样,并展示其在贝叶斯反问题中的有效性,证明其与状态空间维度和观测噪声方差无关,且具有几何混合性。
2016-10-12 cs.NA math.NA math.PR
Accelerated dimension-independent adaptive Metropolis
这项工作考虑了高维参数空间上的黑盒贝叶斯推断。众所周知的自适应Metropolis(AM)算法(Haario et. 2001)在本文中被扩展为通过考虑目标的方差,相对于高斯目标的底层参数维度渐近均匀地缩放。由此产生的算法,被称为维度无关的自适应大都市(DIAM)算法,也显示出改进的性能相对于非高斯目标的自适应大都市。通过GPU加速的数值库和周期性同步的并发链(后验证明),该算法得到了进一步改进,并且能够探测高维目标。在尺寸方面,这种GPU实现与基于CPU的竞争对手英特尔MKL并行版本相比,表现出四倍的改进。通过每个样本批次较长的时间(弱缩放)和更少的收敛所需样本的组合,表现出对并发链的强缩放。该算法的性能说明了几个高斯和非高斯目标的例子,其中的维度可能超过一千。
2015-06-18 math.PR stat.CO stat.ME
Metropolis-Hastings transition kernel couplings
耦合在马尔可夫链收敛分析和新型马尔可夫链蒙特卡罗估计、诊断和方差减少技术的构建中起着核心作用。可能的耦合的集合通常是棘手的,使寻找紧边界和有效估计器的努力受挫。为了解决这一挑战的算法在大都会黑斯廷斯(MH)家庭,我们建立了一个简单的表征MH过渡内核耦合的集合。然后,我们扩展这一结果来描述一组最大的耦合的MH内核,解决一个悬而未决的问题O 'Leary等人。我们的研究结果代表了一个进步,了解MH过渡内核和一个步骤向前耦合这类流行的算法。
2023-01-06 math.PR math.ST stat.CO
Robust random walk-like Metropolis-Hastings algorithms for concentrating posteriors
出于贝叶斯推断与高信息量的数据,我们分析的性能的随机游动一样的梅特罗波利斯-黑斯廷斯算法的近似抽样越来越集中的目标分布。我们专注于高斯的建议,使用基于海森近似的目标协方差。通过前推转移核,我们证明了对于高斯目标测度,相应的梅特罗波利斯-黑斯廷斯算法的谱隙与后验的浓度无关,即,用于贝叶斯推断的观测数据中的噪声水平。此外,通过利用其拉普拉斯近似的集中后验的收敛性,我们将分析扩展到非高斯目标的措施,无论是集中在一个单一的点或沿线性流形。特别是,在该设置中,我们表明,平均接受率以及合适的大都会-黑斯廷斯马尔可夫链的预期平方跳跃距离不恶化的目标浓度。
2022-02-24 cs.NA math.NA math.PR
Convergence Speed and Approximation Accuracy of Numerical MCMC
Monash University(莫纳什大学);Columbia University(哥伦比亚大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);National University of Singapore(新加坡国立大学)
本文研究了数值MCMC中扰动对收敛速度和估计精度的影响,提出在特定条件下扰动采样器可保持良好性能,并展示了其在多种采样算法中的应用。
2022-03-07 math.PR stat.CO
Robustness of random-walk Metropolis for steep potentials
University of Bristol(布里斯托大学)
本研究针对轻尾目标分布的采样问题,分析无梯度的随机游走Metropolis算法的鲁棒性,证明其接受概率稳定并可推导混合时间估计。
2026-08-21 math.PR math.ST stat.CO
Mixing time of Metropolis chain based on random transposition walk converging to multivariate Ewens distribution
证明了一类基于对称群上随机换位洗牌的Metropolis算法以恒等式为起点,收敛到Ewens平衡分布的快速度.的证明在很大程度上依赖于理论的对称杰克多项式,最初开发的杰克[Proc。Soc. Edinburgh Sect.A69(1970/1971)1-18],Macdonald [Symmetric Functions and Hall Polynomials(1995)New York]和Stanley [Adv.Math.77(1989)76-115]。这完成了Diaconis和Hanlon在[Contemp. 138(1992)99-117]。最后,我们还探讨了其他可积的马尔可夫链,可以得到对称函数理论。
2015-05-28 math.CO math.PR math.RT
Optimal Scaling and Shaping of Random Walk Metropolis via Diffusion Limits of Block-I.I.D. Targets
这项工作扩展了Roberts等人(1997)的研究,考虑了应用于块IID目标分布的随机游动Metropolis(RWM)的极限,并提出了相应的块独立建议。该扩展验证了最佳缩放启发式的鲁棒性,以将接受率调整为$\approx0.234$,用于任何建议成形的选择。我们将有限维子过程的弱收敛形式提升到无限维子过程。我们表明,最佳的成形(在线性函数的自相关的衰减方面)是目标分布的方差。我们表明,这种选择符合最佳的成形在特殊情况下,他们可以计算的频谱间隙。最后,我们提供了一些负面的保证,表明RWM性能下降与高阶依赖。在这种情况下,RWM的任何调整都不会产生与IID目标相当的性能。
2019-02-18 math.PR math.ST stat.CO
Convergence of sequential Markov Chain Monte Carlo methods: I. Nonlinear flow of probability measures
序贯蒙特卡罗抽样算法是一类用于蒙特卡罗积分估计的随机算法。概率分布,它结合了马尔可夫链蒙特卡罗方法和重要性抽样/重新抽样方案的元素。我们开发了一个稳定性分析的非线性流的概率测度描述的粒子数趋于无穷大的算法的极限行为的功能不等式。稳定性结果来自全球和当地的假设下的发电机的基本大都市动态。这使我们能够证明,组合方法有时具有良好的渐近稳定性属性,在多模态设置,传统的MCMC方法混合非常缓慢。例如,这适用于所有温度下的平均场伊辛模型。
2006-12-03 math.PR
Nonconvex sampling with the Metropolis-adjusted Langevin algorithm
Yale University(耶鲁大学)
朗之万马尔可夫链算法是在具有挑战性的高维和非凸统计和机器学习应用中从分布中采样的广泛部署的方法。尽管如此,目前的界限朗之万算法是慢于竞争的算法在许多重要的情况下,例如,当采样从弱对数凹分布,或当采样或优化非凸对数密度。在本文中,我们得到了改进的边界在许多这些情况下,表明大都会调整的朗之万算法(MALA)是快于最佳的边界,其竞争对手的算法时,目标分布满足弱的第三和第四阶正则性与输入数据。在许多情况下,我们的正则性条件弱于通常的欧几里德算子范数正则性性质,使我们能够比通常的欧几里德算子范数方法更快地显示更大类别的分布的边界,包括在统计和机器学习应用中,数据满足一定的不一致性条件。特别是,我们表明,使用我们的正则性条件,可以获得更快的应用程序,其中包括抽样问题的贝叶斯逻辑回归弱凸先验,和非凸优化问题的学习线性分类器的零-一损失函数的界限。我们在本文中的主要技术贡献是我们的分析的大都会接受概率的MALA在其“能量守恒误差”,我们的界限,这个错误的第三和第四阶正则性条件。我们将能量守恒误差的高阶分析与电导方法相结合,是获得非强对数凹设置中对维度$d$具有次线性依赖性的界限的关键。
2019-04-09 cs.DS cs.LG math.PR
Convergence properties of pseudo-marginal Markov chain Monte Carlo algorithms
我们研究了伪边缘马尔可夫链蒙特卡罗算法的收敛性(Andrieu和Roberts [Ann. Statistics. 37(2009)697-725])。我们发现,伪边际算法的渐近方差总是至少一样大的边际算法。我们表明,如果边际链承认(右)频谱间隙和权重(目标密度的归一化估计)是一致有界的,那么伪边际链有一个频谱间隙。在许多情况下,类似的结果也适用于绝对谱隙,它等价于几何遍历性。我们还考虑无界的权重分布和恢复多项式收敛速度在更具体的情况下,当边缘算法是一致遍历或独立的大都市黑斯廷斯或随机行走的大都市针对超指数密度与规则的轮廓。我们的几何收敛速度和多项式收敛速度的结果隐含中心极限定理。我们还证明了在一般条件下,如果估计的精度增加,伪边际算法的渐近方差收敛到边际算法的渐近方差。
2015-03-30 math.PR stat.CO
Scalable couplings for the random walk Metropolis algorithm
本文研究高维 random walk Metropolis 算法的可扩展耦合,提出同步耦合的低秩修正并改进反射耦合,建立渐近最优性框架并通过数值实验验证。
2024-10-28 math.PR stat.CO stat.ME
Implications of weak convergence rates of Markov transition kernels
Department of Statistics, Texas A&M University(德克萨斯农工大学统计学系)
本文探讨了马尔可夫转移核弱收敛速率对Lipschitz函数方差收敛的影响,提供了新的工具用于建立马尔可夫链蒙特卡罗模拟中Lipschitz函数的中心极限定理。
2026-04-28 math.PR math.ST stat.TH
Spectral gap bounds for reversible hybrid Gibbs chains
本文针对可逆混合Gibbs采样器收敛性质研究不足的问题,提出新方法建立其收敛速率界,证明混合Gibbs链绝对谱间隙可由精确链及近似用马尔可夫链的谱间隙界定,并拓展至混合数据增强算法,应用于三类采样器实例。
2025-03-21 math.PR math.ST stat.TH
Improved Metropolis-Hastings algorithms via landscape modifcation with applications to simulated annealing and the Curie-Weiss model
本文通过引入阈值参数修改能量景观,提出了改进的Metropolis-Hastings和模拟退火算法,在鼓励探索与利用间取得平衡,并在Curie-Weiss模型及低温模拟退火中显著提升了向基态的收敛速度与全局最小值间的隧道穿越时间。
2023-07-19 math-ph math.MP math.OC
Universality of the Langevin diffusion as scaling limit of a family of Metropolis-Hastings processes I: fixed dimension
给定一般状态空间$\mathcal{X}$上的目标分布$μ$和一个具有生成元$Q$的Markov跳过程,研究了两类分别具有生成元$M_1(Q,μ)$和$M_2(Q,μ)$的Metropolis-Hastings(MH)过程的两个泛性质.首先,我们激励我们的研究$M_2$通过提供一个几何解释$M_1$,$M_2$和它们的凸组合之间的$L^1$极小$Q$和一组$μ$ -可逆的马尔可夫跳跃过程的生成器。其次,专门的情况下,$\mathcal{X} = \mathbb{R}^d$随着高斯建议与消失的方差和吉布斯目标分布,我们证明了,在适当的缩放时间,家庭的马尔可夫跳跃过程对应的$M_1$,$M_2$或其凸组合都弱收敛到一个普遍的Langevin扩散。虽然$M_1$和$M_2$看起来是不同的随机动力学,但它们共享这两个泛性质可能令人惊讶。这两个结果在Billera和Diaconis(2001)以及Gelfand和Mitter(1991)中对于$M_1$是已知的,而对于$M_2$及其凸组合的对应结果是新的。
2019-08-21 math.PR math.ST stat.TH
Weak Convergence of Obliquely Reflected Diffusions
Burdzy和Chen(1998)证明了多维正反射布朗运动的弱收敛性.我们推广他们的工作,考虑斜反射扩散过程。我们要求域的弱收敛,这比Wijsman拓扑中的收敛强,但比Hausdorff拓扑中的收敛弱。
2017-06-15 math.PR
Mosco Type Convergence of Bilinear Forms and Weak Convergence of $n$-Particle Systems
众所周知,Mosco(型)收敛是检验随机过程序列有限维分布弱收敛的一个工具。在本文中,我们关注的概念,Mosco型收敛的非对称随机过程,特别是$n$ -粒子系统,以建立相对紧性。
2015-02-09 math.PR
Weak Convergence of Probability Measures
根据帕特里克·比林斯利的《概率测度的收敛》一书编写的讲义。
2020-07-20 math.PR
Optimal Ricci curvature Markov chain Monte Carlo methods on finite states
本文构造了一种新的有限状态下的马尔可夫链蒙特卡罗方法,并给出了最优取舍比函数的选择。证明了所构造的连续时间Markov跳过程在$L^1$距离上具有全局及时收敛速度。收敛速度不小于小于二分之一,且与目标分布无关。例如,我们的方法在两点状态下恢复Metropolis-Hastings算法。从而形成了一种新的一般目标分布的抽样算法。数值算例验证了算法的有效性。
2023-02-02 math.OC math.PR
Spectral gaps for a Metropolis-Hastings algorithm in infinite dimensions
我们研究的问题,采样高和无限维的目标措施所产生的应用程序,如条件扩散和反问题。我们专注于那些所产生的近似措施希尔伯特空间定义通过密度相对于高斯参考措施。我们考虑的Metropolis-Hastings算法,增加了一个接受-拒绝机制的马尔可夫链的建议,以使链可逆的目标措施。我们专注于的情况下,建议是一个高斯随机游动(RWM)的协方差等于参考措施或Ornstein-Uhlenbeck建议(pCN)的参考措施是不变的。以前的结果在缩放和扩散限制方面表明,pCN具有独立于维度的收敛速度,而RWM方法具有不期望的维度依赖行为。我们证实了这一说法,表现出一个维度独立的Wasserstein谱间隙pCN算法的一大类目标措施。在我们的设置中,该Wasserstein谱间隙意味着$L^2$ -谱间隙。我们使用这两个谱间隙表明,遍历平均满足一个强大数律,中心极限定理和非渐近界的均方误差,所有维度独立。与此相反,我们表明,适用于参考措施的RWM算法的频谱间隙退化的维数趋于无穷大。
2014-09-22 math.PR math.ST stat.TH
Weak Poincaré inequality comparisons for ideal and hybrid slice sampling
本文利用弱庞加莱不等式框架比较混合与理想切片抽样的狄利克雷型,证明二者在适当条件下可相互继承快速收敛性,并应用于分析多种切片抽样算法的收敛行为。
2025-08-22 math.PR stat.CO stat.ME
Collective Proposal Distributions for Nonlinear MCMC samplers: Mean-Field Theory and Fast Implementation
在过去的几十年里,各种“非线性”MCMC方法已经出现。虽然它们的收敛速度和效率很高,但它们的实际实现和理论研究仍然具有挑战性。在本文中,我们介绍了一个非线性推广的Metropolis-Hastings算法的建议,不仅取决于当前的状态,但也对它的法律。我们建议模拟这种动态的平均场限制的相互作用的粒子系统,这本身又可以被理解为一个概括的大都会黑斯廷斯算法的粒子群。在迭代次数和粒子数的双重限制下,证明了该算法的收敛性。然后,我们提出了一个高效的GPU实现,并说明其性能的各种例子。该方法是特别稳定的多峰的例子和收敛速度比经典的方法。
2022-08-03 math.PR math.ST stat.ME
Weak Poincaré Inequalities for Markov chains: theory and applications
该研究将弱庞加莱不等式应用于马尔可夫链,理论上证明其与RUPI条件等价且为L²收敛所必需,实践中推广Cheeger不等式到次几何情形,用于重尾分布随机游走Metropolis算法分析及伪边际算法下界推导。
2023-12-18 math.PR stat.CO
Hamiltonian Monte Carlo with Asymmetrical Momentum Distributions
IBM T.J. Watson Research Center(IBM T.J.沃森研究所以)
本文提出改进的AD-HMC方法,通过打破自共轭性要求实现更弱条件下的几何收敛,适用于一般辅助分布。
2026-05-09 cs.LG math.PR math.ST
A spectral gap for Metropolis-adjusted Langevin algorithm with a uniformly randomized step size
School of Statistics University of Minnesota(明尼苏达大学统计学院)
针对强凸目标分布,提出均匀随机步长的MALA算法,证明其谱间隙下界达到最优阶$(\kappa\sqrt{d})^{-1}$(含对数因子),通过新的Cheeger型不等式实现。
2026-09-30 math.PR math.ST stat.TH
Convergence of Dirichlet Forms for MCMC Optimal Scaling with Dependent Target Distributions on Large Graphs
本文利用Dirichlet形式的Mosco收敛理论分析大图上目标分布为Gibbs测度的RWM算法,展示了该方法在无限维空间和变化Hilbert空间中相较于标准扩散方法的显著优势。
2024-11-15 math.PR math.ST stat.ML
On the Theoretical Properties of the Exchange Algorithm
Rutgers University(罗格斯大学)
交换算法是梅特罗波利斯-黑斯廷斯算法的最流行的扩展之一,用于从双重难处理的分布中采样。然而,交换算法的理论探索非常有限。例如,像“交换算法是否以几何速度收敛?”或“交换算法是否承认中心极限定理?”还没有得到回答。在本文中,我们研究的理论性质的交换算法,在渐近方差和收敛速度。将交换算法与原梅特罗波利斯-黑斯廷斯算法进行了比较,给出了交换算法几何遍历的充要条件.此外,我们证明了我们的结果可以适用于各种实际应用,如位置模型,高斯模型,泊松模型,和一个大类的指数族,其中包括大多数的实际应用的交换算法。建立了交换算法的中心极限定理。我们的研究结果证明了理论上的有用性的交换算法。
2021-08-19 cs.LG math.PR math.ST
Distributed Averaging via Lifted Markov Chains
受分布式线性估计、分布式控制和分布式优化等应用的启发,我们考虑设计线性迭代算法来计算网络中的平均数。具体来说,我们的兴趣是在设计这样一个算法的收敛速度最快的网络的拓扑约束。作为本文的主要结果,我们设计了一个算法,在给定的网络图上使用不可逆马尔可夫链的最快可能的收敛速度。我们构造这样一个马尔可夫链通过转换的标准马尔可夫链,这是使用Metropolis-Hastings方法得到的。我们称这种新颖的变换为伪提升。我们应用我们的方法与几何图形,或图形的双重维度。具体来说,我们的算法的收敛时间(相当于我们的马尔可夫链的混合时间)与网络图的直径成正比,因此是最优的。作为一个副产品,我们的结果提供了最快的混合马尔可夫链给定的网络拓扑约束,自然应该找到他们的应用程序中的分布式优化,估计和控制。
2009-08-27 cs.DC cs.IT math.IT
Improved annealing for sampling from multimodal distributions via landscape modification
给定一个目标分布$μ\propto e^{-\mathcal{H}}$与汉密尔顿$\mathcal{H}$的采样,在本文中,我们提出并分析了新的Metropolis-Hastings采样算法,目标是一个替代的分布$μ^f_{1,α,c} \propto e^{-\mathcal{H}^{f}_{1,α,c}}$,其中$\mathcal{H}^{f}_{1,α,c}$是我们明确引入的一个修正的汉密尔顿。以$π^f_{1,α,c}$为目标的Metropolis动力学的优点是它具有由阈值参数$c$、函数$f$和控制状态依赖效应的惩罚参数$α\geq 0$描述的降低的临界高度。首先,我们研究固定$α$的情况下,并提出了一个自归一化估计,纠正抽样偏差,并证明了渐近收敛结果和所提出的估计的Besoff型界。接下来,我们考虑对惩罚参数$α$进行退火的情况。我们证明了强遍历性和界所产生的非均匀链的总变差混合时间受到适当的假设上的衰减$α$。我们说明了所提出的算法,通过比较他们的混合时间与原来的大都会动力学统计物理模型,包括铁磁伊辛模型的超立方体或完整的图形和$q$状态Potts模型的二维环面。在这些情况下,经典的Glauber动力学的混合时间至少是指数的系统大小的临界高度增长至少与大小线性,而建议的退火算法,适当选择$f$,$c$,和退火时间表上$α$,混合迅速,最多多项式依赖的大小。证明的关键在…
2021-11-29 math-ph math.MP math.PR