Fractional Langevin Monte Carlo: Exploring Lévy Driven Stochastic Differential Equations for Markov Chain Monte Carlo
随着可扩展的马尔可夫链蒙特卡罗方法的最新进展,基于朗之万扩散的采样技术开始受到越来越多的关注。这些所谓的朗之万蒙特卡罗(LMC)方法是基于布朗运动驱动的扩散,这在所得到的算法中产生高斯建议分布。尽管这些方法在许多应用中已经证明是成功的,但它们的性能可能受到高斯建议的光尾性质的限制。在这项研究中,我们扩展了经典的LMC和开发一个新的分数LMC(FLMC)的框架,是基于一个家庭的重尾分布,称为$α$ -稳定的Lévy分布。与经典方法相比,所提出的方法可以具有大的跳跃,同时以正确的分布为目标,这将有利于有效地探索状态空间。我们开发了新的计算方法,可以扩展到大规模的问题,我们提供正式的收敛性分析所提出的计划。我们的实验支持我们的理论:FLMC可以提供卓越的性能,在多模态设置,提高收敛速度,算法参数的鲁棒性。
2017-06-12 stat.CO stat.ME stat.ML
Regime-Switching Langevin Monte Carlo Algorithms
受状态切换随机微分方程启发,提出三类带随机参数的朗之万蒙特卡洛类算法,证明其非渐近收敛性并分析迭代复杂度,实验验证了算法效率。
2025-08-31 cs.LG math.PR stat.CO
Langevin Monte Carlo and JKO splitting
基于离散化朗之万扩散的算法是从高维分布中采样的流行工具。我们开发新的连接等蒙特卡罗算法,Wasserstein梯度流理论,算子分裂方法来解决偏微分方程。特别是,我们表明,近端版本的未调整的Langevin算法对应于一个计划,交替解决两个特定的泛函的梯度流的空间上的概率测度。使用这个角度来看,我们得出一些新的非渐近结果,该算法的收敛性。
2019-05-09 stat.CO
Efficient Bayesian reduced rank regression using Langevin Monte Carlo approach
研究了贝叶斯降秩回归问题。本文首次提出用朗之万蒙特卡罗方法来处理这一问题。一个频谱缩放的学生先验分布是用来利用底层的低秩结构的系数矩阵。我们表明,我们的算法是显着快于吉布斯采样器在高维设置。仿真结果表明,我们提出的贝叶斯降秩回归算法是可比的国家的最先进的方法,其中的秩是通过交叉验证选择。
2021-02-15 stat.CO
Accelerating Langevin Monte Carlo Sampling: A Large Deviations Analysis
College of Mathematics Science, Shenzhen University(深圳大学数学科学学院);Department of Mathematics, Florida State University(佛罗里达州立大学数学系)
本文通过大偏差理论研究了过阻尼Langevin动力学变种的加速方法,并通过合成和实际数据实验展示了其效率。
2026-05-20 math.PR stat.ML
Bregman Proximal Langevin Monte Carlo via Bregman--Moreau Envelopes
Northwestern University(西北大学)
我们提出了有效的Langevin蒙特卡罗算法的采样分布的非光滑凸复合势,这是一个连续可微的功能和可能的非光滑功能的总和。我们设计这样的算法,利用凸分析和优化方法的最新进展,涉及布雷格曼分歧,即布雷格曼-莫罗信封和布雷格曼邻近算子,并在朗之万蒙特卡罗算法让人想起镜像下降。所提出的算法扩展现有的朗之万蒙特卡罗算法在两个方面-能够采样非光滑分布与镜像下降的算法,和使用更一般的布雷格曼-莫罗包络代替莫罗包络作为一个光滑的近似的非光滑的潜在的一部分。所提出的方案的一个特定的情况下,让人想起Bregman近端梯度算法。所提出的方法的效率与现有的朗之万蒙特卡罗方法是已知的执行不佳的各种采样任务说明。
2022-07-10 cs.LG stat.CO stat.ML
Langevin Markov Chain Monte Carlo with stochastic gradients
蒙特卡罗抽样技术在机器学习、贝叶斯后验推理和参数估计中有着广泛的应用。通常,目标分布采用具有大量条目的数据集上的产品分布的形式。对于利用梯度信息的采样方案,使用数据的随机小子集来近似导数更便宜,从而将额外的噪声引入系统中。我们提出了一个新的离散计划欠阻尼朗之万动力学时,利用随机(噪声)梯度。该计划被证明是偏置计算的平均值的二阶步长,同时给出精确的结果,在特殊情况下的高斯分布与正态分布的随机梯度采样。
2019-09-17 cs.NA math.NA stat.CO
Randomized Runge-Kutta-Nyström Methods for Unadjusted Hamiltonian and Kinetic Langevin Monte Carlo
本文提出5/2阶和7/2阶L2精确的随机化Runge-Kutta-Nyström方法,用于在未调整哈密顿和动力学Langevin Monte Carlo中近似哈密顿流,并在理论上给出精度上界,实验验证其在高维目标分布上的高效性。
2024-10-03 cs.NA math.NA math.PR
Sampling from a log-concave distribution with compact support with proximal Langevin Monte Carlo
本文对最近在Durmus等人(Efficient Bayesian computation by proximal马尔可夫链蒙特卡罗:when Langevin meets Moreau,2016)中引入的Langevin蒙特卡罗采样算法应用于限于凸体$\mathsf{K}$的对数凹概率分布时进行了详细的理论分析。该方法依赖于涉及与$\mathsf{K}$相关联的指示函数的Moreau-Yosida包络的正则化过程。建立了全变差范数和瓦瑟斯坦距离下$1$阶的显式收敛界.特别是,我们证明了该算法的复杂性给定的一阶预言是多项式的状态空间的维度。最后,一些数值实验比较我们的方法与竞争MCMC方法从文献中。
2017-05-24 stat.ME
Further and stronger analogy between sampling and optimization: Langevin Monte Carlo and gradient descent
在本文中,我们重新审视最近建立的理论保证的Langevin Monte Carlo算法的采样从光滑和(强)对数凹密度的收敛性。我们改进了现有的结果时,收敛测量Wasserstein距离,并提供进一步的见解非常紧密的关系,一方面,朗之万蒙特卡罗采样,另一方面,梯度下降优化。最后,我们还建立了一个版本的朗之万蒙特卡罗算法,是基于噪声的梯度评估的收敛性保证。
2017-07-28 math.ST stat.TH
Non-Log-Concave and Nonsmooth Sampling via Langevin Monte Carlo Algorithms
Northwestern University(西北大学);The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Graz University of Technology(格拉茨工业大学)
本文研究了从非对数凹与非光滑分布中近似采样的难题,通过数值模拟比较了多种基于过阻尼Langevin扩散离散化的Langevin Monte Carlo及proximal MCMC算法在贝叶斯推理与成像逆问题中的性能。
2024-05-29 cs.LG stat.CO stat.ME
Black-box sampling for weakly smooth Langevin Monte Carlo using p-generalized Gaussian smoothing
连续时间扩散过程的离散化是一种被广泛认可的采样方法。然而,朗之万扩散过程的经典欧拉-丸山离散化,也称为朗之万蒙特卡罗(LMC),主要是在光滑(梯度-Lipschitz)和强对数凹密度的背景下研究的,这是其在许多科学中部署的重要限制,包括计算统计和统计学习。在本文中,我们建立了几个理论贡献的文献,这样的抽样方法。特别地,我们推广了高斯平滑,使用p-广义高斯平滑来近似梯度,并在黑箱采样的情况下利用它。我们首先提出了一个非强凹和弱光滑的黑盒LMC算法,理想的采样挑战在一般设置的实际适用性。
2020-10-05 stat.CO
Deterministic Langevin Monte Carlo with Normalizing Flows for Bayesian Inference
Tsinghua University(清华大学);University of California(加利福尼亚大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一个通用的贝叶斯推断算法昂贵的可能性,取代随机项的朗之万方程与确定性的密度梯度项。粒子密度是从当前的粒子位置使用归一化流(NF),这是可微的,并在高维具有良好的泛化性能进行评估。我们利用NF预处理和基于NF的Metropolis-Hastings更新来加快收敛速度。我们在各种例子中表明,该方法是有竞争力的最先进的采样方法。
2022-10-13 cond-mat.stat-mech cs.LG physics.data-an
Convergence rate of randomized midpoint Langevin Monte Carlo
School of Statistics and Data Science, Shanghai University of International Business and Economics(上海对外经贸大学统计与数据科学学院);School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
本文针对随机中点朗之万蒙特卡洛(RLMC),建立常步长版本的指数遍历性,设计递减步长RLMC并给出其函数类距离下的收敛速度,为该算法的理论分析提供关键结果。
2025-11-17 math.PR math.ST stat.TH
Analysis of Langevin Monte Carlo via convex optimization
在本文中,我们提供了新的见解的未调整的朗之万算法。我们表明,这种方法可以制定为一个一阶优化算法的目标功能定义在Wasserstein空间的顺序$2$。利用这种解释和借用凸优化的技术,我们给出了一个非渐近分析,这种方法的样本从logconvex光滑的目标分布$\mathbb{R}^d$。基于这种解释,我们提出了两种新的方法,从一个非光滑的目标分布,我们分析以及采样。此外,这些新算法是随机梯度Langevin动力学(SGLD)算法的自然扩展,SGLD算法是一个流行的扩展的未调整的Langevin算法。与SGLD类似,它们仅依赖于目标对数密度梯度的近似值,可用于大规模贝叶斯推断。
2018-03-28 stat.CO stat.ML
Non-asymptotic analysis of Langevin-type Monte Carlo algorithms
本文利用Liptser–Shiryaev理论与Poincaré不等式建立Langevin型采样算法与Gibbs分布间2-Wasserstein距离的非渐近上界,并提出适用于非凸、非光滑势函数的球形平滑算法。
2024-02-29 math.PR math.ST stat.ML
The Langevin Monte Carlo algorithm in the non-smooth log-concave case
证明了当势函数是一个在其定义域上全局Lipschitz的凸函数,通常是任意凸集上的有限个仿射函数的最大值时,Langevin Monte Carlo算法收敛的非渐近多项式界.特别是潜在的不被假定为梯度Lipschitz,与大多数现有的作品的主题。
2022-01-07 cs.DS math.PR math.ST
Non-asymptotic Analysis of Diffusion Annealed Langevin Monte Carlo for Generative Modelling
Imperial College London(帝国理工学院);The Alan Turing Institute(阿兰·图灵研究所)
在数据分布弱条件下,研究扩散退火朗之万蒙特卡洛(DALMC)的非渐近误差界,扩展至重尾扩散路径,为插值简单分布与数据分布的得分生成模型提供理论保证,拓宽了标准扩散方法视角。
2025-02-13 cs.LG math.PR stat.CO
Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo
Purdue University(普渡大学);Morgan Stanley(摩根士丹利)
近似汤普森采样与朗之万蒙特卡罗扩大了其范围从高斯后验采样,包括更一般的光滑后验。然而,它仍然遇到的高维问题时,要求高精度的可扩展性问题。为了解决这个问题,我们提出了一个近似的汤普森采样策略,利用欠阻尼朗之万蒙特卡罗,后者是去到主力的高维后验的模拟。基于标准光滑性和对数正态性条件,我们研究了使用特定势函数的加速后验集中和采样。该设计将实现对数遗憾的样本复杂度从$\mathcal{\tilde O}(d)$提高到$\mathcal{\tilde O}(\sqrt{d})$。我们的算法的可扩展性和鲁棒性也通过高维强盗问题的合成实验进行了经验验证。
2024-06-21 cs.AI cs.LG stat.ML
Geometrically adapted Langevin dynamics for Markov chain Monte Carlo simulations
马尔可夫链蒙特卡罗(MCMC)是从给定的概率分布进行采样的最强大的方法之一,其中大都会调整朗之万算法(MALA)是其中使用分布的梯度以实现更快收敛的变体。然而,被设置在欧几里德的框架,MALA可能会表现不佳,在高维问题或在那些涉及各向异性密度的潜在的非欧几里德方面的几何形状的样本空间仍然没有考虑。我们利用微分几何和黎曼流形上的随机分析的概念,对一个具有非平凡漂移项的随机微分方程进行几何适应。这种适应也被称为随机发展。我们将这种方法具体应用到朗之万扩散方程,并在几何适应朗之万动力学。这种新方法远远优于MALA,MALA的某些流形变体,以及其他方法,如哈密顿蒙特卡罗(HMC),其自适应变体无U形转弯采样器(NUTS)在斯坦实现,特别是当问题的维度增加时,通常GALA实际上是唯一成功的方法。这是证明通过几个数值例子,包括参数估计的广泛的一类概率分布和逻辑斯谛回归问题。
2022-01-20 stat.AP stat.CO
Efficient stochastic optimisation by unadjusted Langevin Monte Carlo. Application to maximum marginal likelihood and empirical Bayesian estimation
随机逼近方法在涉及棘手的似然函数的极大似然估计问题中起着核心作用,例如在缺失或不完整数据的问题中产生的边际似然,以及在参数经验贝叶斯估计中。结合马尔可夫链蒙特卡罗算法,这些随机优化方法已成功地应用于科学和工业中的广泛问题。然而,这种策略的规模差,大的问题,因为方法和理论上的困难,使用高维马尔可夫链蒙特卡罗算法内的随机逼近计划。本文提出了解决这些困难,通过使用未调整的朗之万算法构造的随机逼近。这导致了一个高效的随机优化方法,具有良好的收敛性能,可以明确量化,易于检查。所提出的方法证明了三个实验,包括一个具有挑战性的应用程序,高维统计音频分析和稀疏贝叶斯逻辑斯谛回归与随机效应的问题。
2020-05-30 stat.CO
Sampling with Shielded Langevin Monte Carlo Using Navigation Potentials
Rice University, USA 4cm \' E cole polytechnique, Institut Polytechnique de Paris, FR
本文提出屏蔽Langevin蒙特卡洛方法,通过结合空间自适应温度和排斥漂移,实现对非凸空间中约束分布的有效采样,并在高斯混合和MIMO检测中验证了其有效性。
2025-12-15 cs.LG stat.CO stat.ML
Delocalization of bias in unadjusted Hamiltonian Monte Carlo and underdamped Langevin
Department of Mathematics, University of California, Los Angeles, CA 90095, USA(加州大学洛杉矶分校数学系);Courant Institute, New York University, NY 10012, USA(纽约大学Courant研究所)
研究将偏差离域化现象从过阻尼朗之万算法扩展到无调整哈密顿蒙特卡罗和欠阻尼朗之万算法,表明在特定假设下控制高维分布K维边际偏差\(O(\sqrt{K})\)积分步即可,用矩阵多项式框架解决离散时间积分器技术难题。
2026-07-17 cs.LG math.PR stat.CO
Wasserstein Control of Mirror Langevin Monte Carlo
École Normale Supérieure / Université PSL(巴黎高等师范学院/巴黎文理研究大学);Normandie Univ, ENSICAEN, UNICAEN, CNRS, GREYC(诺曼底大学、法国国立高等凯恩工程师学院、凯恩大学、法国国家科学研究中心、GREYC实验室);Heriot-Watt University(赫瑞-瓦特大学)
离散朗之万扩散是一种有效的蒙特卡罗方法,用于从对数Lipschitz光滑和(强)对数凹的高维目标密度采样。特别是,欧几里德Langevin蒙特卡罗抽样算法最近受到了很大的关注,导致详细了解其非渐近收敛的性质和作用,平滑度和对数在收敛速度发挥。不具有这些规律性的分布可以通过考虑黎曼朗之万扩散来解决,该扩散具有捕获对数密度的局部几何的度量。然而,从这种黎曼朗之万扩散的离散化导出的蒙特卡罗算法是出了名的难以分析。在本文中,我们考虑朗之万扩散的Hessian型流形和研究的离散化是密切相关的镜像下降计划。我们首次建立了一个非渐近上界的采样误差所产生的Hessian黎曼Langevin蒙特卡罗算法。这个界限是根据一个Wasserstein距离引起的黎曼度量地面成本捕获海森结构和密切相关的自和谐的条件。例如,上界意味着迭代朝着目标密度周围的Wasserstein球收缩,该目标密度的半径是明确的。我们的理论恢复现有的欧几里德的结果,可以应付各种各样的海森度量高度非平坦的几何形状。
2020-02-11 cs.LG math.PR math.ST
High-Order Langevin Monte Carlo Algorithms
针对大规模采样问题,提出基于P阶(P≥3)朗之万动力学离散化的蒙特卡洛算法,通过分裂与精确积分法设计,获对数凹光滑分布采样的Wasserstein收敛保证,混合时间对d和ε的依赖性随P增大更优,数值实验验证其效率。
2025-08-24 cs.LG math.PR stat.ML
Analysis of kinetic Langevin Monte Carlo under the stochastic exponential Euler discretization from underdamped all the way to overdamped
University of Pennsylvania(宾夕法尼亚大学);Centre Borelli, ENS Paris-Saclay(巴黎萨克雷高等师范学校博尔利中心);Prescient Design, Genentech(罗氏基因泰克公司先锋设计部门);CMAP, CNRS, École Polytechnique(法国国家科学研究中心综合理工学院数学与应用数学中心)
本文研究了基于随机指数欧拉离散化的动能朗之万蒙特卡洛方法,分析了在不同参数选择下算法的稳定性与收敛性,得出了在过阻尼情况下算法仍能稳定运行的结论。
2026-07-21 cs.NA math.NA math.PR
Langevin Monte Carlo without smoothness
University of California, Berkeley(加利福尼亚大学伯克利分校);University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
朗之万蒙特卡罗(LMC)是一种迭代算法,用于从仅已知到归一化常数的分布中生成样本。它的混合时间的尺寸和目标精度的非渐近依赖性主要是在光滑(梯度Lipschitz)的对数密度,在机器学习中的应用程序的严重限制的设置理解。在本文中,我们消除了这一限制,提供多项式时间收敛保证的一个变种的LMC在非光滑的对数凹分布的设置。在高水平上,我们的结果是通过利用对数密度的隐式平滑来实现的,该对数密度来自我们添加到算法迭代中的小高斯扰动,并控制由该扰动引起的偏差和方差。
2020-02-24 cs.LG stat.CO stat.ML
Kinetic Interacting Particle Langevin Monte Carlo
Imperial College London(帝国理工学院)
本文提出动力学交互粒子兰格朗日蒙特卡洛方法,用于潜在变量模型统计推断,通过联合演化参数与潜在变量空间的扩散过程,实现非渐近收敛率和维度依赖性改进。
2026-09-16 stat.CO stat.ML
Efficient Bayesian computation by proximal Markov chain Monte Carlo: when Langevin meets Moreau
现代成像方法强烈依赖于贝叶斯推断技术来解决具有挑战性的成像问题。目前,主要的贝叶斯计算方法是凸优化,它非常有效地扩展到高维图像模型,并提供准确的点估计结果。然而,为了执行更复杂的分析,例如图像不确定性量化或模型选择,有必要使用计算更密集的贝叶斯计算技术,例如马尔可夫链蒙特卡罗方法。本文提出了一种新的和高效的马尔可夫链蒙特卡罗方法来执行贝叶斯计算的高维模型,是对数凹和非光滑,一类模型,是在成像科学的中心。该方法是基于一个正规化的未调整的Langevin算法,利用凸分析工具,即Moreau-Yoshida信封和邻近的运营商,构建马尔可夫链具有良好的收敛性能。除了有效地扩展到高维,该方法是直接适用于模型,目前解决了使用近似优化算法。我们提供了一个详细的理论分析,所提出的方法,包括渐近和非渐近收敛结果,易于验证的条件,并明确界定的收敛速度。所提出的方法证明了与四个实验相关的图像反卷积和断层重建与全变差和$\ell_1$先验,在那里我们进行了一系列具有挑战性的贝叶斯分析相关的不确定性量化,假设检验,和模型选择在地面真理的情况下。
2016-12-22 stat.CO stat.ME
Random Coordinate Underdamped Langevin Monte Carlo
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学)
欠阻尼朗之万蒙特卡罗(ULMC)是一种流行的马尔可夫链蒙特卡罗抽样方法。它需要在每次迭代时计算对数密度的全梯度,如果问题的维数很高,则这是一个昂贵的操作。我们提出了一种称为随机坐标ULMC(RC-ULMC)的采样方法,该方法在每次迭代时选择一个要更新的坐标,而其他坐标不变。我们研究了RC-ULMC的计算复杂度,并与经典的ULMC强对数凹概率分布。我们表明,RC-ULMC总是比经典的ULMC便宜,具有显着的成本降低时,问题是高度偏斜和高维。我们的复杂性约束RC-ULMC也紧的维度依赖。
2020-10-22 cs.LG stat.ML
Guarantees in Wasserstein Distance for the Langevin Monte Carlo Algorithm
我们研究了从分布$\target$使用Langevin蒙特卡罗算法的采样问题,并提供了该算法的瓦瑟斯坦距离的顺序$2$方面的收敛速度。我们的结果保持,只要与算法相关的连续扩散过程指数快速收敛到目标分布以及一些技术假设。虽然这样的指数收敛例如在对数凹测度的情况下成立,但它也适用于更一般的渐近对数凹测度的情况。因此,我们的结果扩展了已知的总变差和瓦瑟斯坦距离的收敛速度,只有在对数凹的情况下获得。此外,利用连续过程的一个更尖锐的逼近界,我们得到了比传统结果更好的渐近速率。我们还期待到变化的朗之万蒙特卡罗算法使用其他离散化计划。在第一次,我们期待到使用尾崎的离散化,但无法获得任何显着的改善方面的收敛速度相比,欧拉的计划。然后,我们提供了一个(次优)的方式来研究更一般的计划,但我们的方法只适用于对数凹的情况。
2016-07-01 math.ST stat.CO stat.ML
Towards a Theory of Non-Log-Concave Sampling: First-Order Stationarity Guarantees for Langevin Monte Carlo
对于从$\mathbb{R}^d$上的密度$π\propto \exp(-V)$采样的任务,其中$V$可能是非凸的,但$L$ -梯度Lipschitz,我们证明了平均朗之万蒙特卡罗输出样本与$\varepsilon$ -相对Fisher信息后,$O( L^2 d^2/\varepsilon^2)$迭代。这是在非凸优化中寻找一个$\varepsilon$近似的一阶稳定点的复杂性界限的采样模拟,因此构成了非对数凹采样的一般理论的第一步。我们讨论了我们的结果的许多扩展和应用,特别是,它产生了一个新的国家的最先进的保证抽样分布,满足庞加莱不等式。
2022-02-10 math.ST stat.ML stat.TH
DG-LMC: A Turn-key and Scalable Synchronous Distributed MCMC Algorithm via Langevin Monte Carlo within Gibbs
Lagrange Mathematics and Computing Research Center(拉格朗日数学与计算研究中心);Ecole Polytechnique(巴黎综合理工学院);Université Paris-Saclay(巴黎萨克雷大学);Ecole Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学院)
在大数据规模上执行可靠的贝叶斯推断正在成为现代机器学习时代的基石。实现这一任务的一个主力类的方法是马尔可夫链蒙特卡罗(MCMC)算法和它们的设计来处理分布式数据集已经是许多工作的主题。然而,现有的方法并不完全可靠或计算效率。在本文中,我们建议填补这一空白的情况下,数据集分区和存储在一个集群内的计算节点下的主/从架构。我们推导出一个用户友好的集中式分布式MCMC算法,在高维设置中具有可证明的缩放。我们说明了所提出的方法在合成和真实数据实验的相关性。
2021-06-18 cs.AI cs.LG stat.CO
Constrained Ensemble Langevin Monte Carlo
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出Constrained Ensemble Langevin Monte Carlo算法,通过约束方式使用集成近似替代梯度计算,在保持类似经典LMC稳定性的同时大幅降低数值成本。
2021-10-29 cs.LG cs.NA math.NA
Langevin Monte Carlo Beyond Lipschitz Gradient Continuity
Brno University of Technology(布尔诺理工大学);University of Warsaw(华沙大学);Norwegian University of Science and Technology (NTNU)(挪威科技大学(NTNU))
本研究提出非精确近端朗之万算法IPLA,突破LMC的传统L-光滑性假设,将其适用范围拓展至多项式增长、超二次势函数,实现更优收敛速率并给出马尔可夫链矩的界,提升分析鲁棒性且控制计算成本。
2024-12-12 cs.LG stat.ML
Higher Order Langevin Monte Carlo Algorithm
提出了一种新的(未调整)Langevin Monte Carlo(LMC)算法,该算法改进了全变差和Wasserstein距离。所有这些都是在从目标分布$π$采样的情况下获得的,该目标分布具有已知的直到归一化常数的$\mathbb{R}^d$上的密度$\hatπ$。此外,假定$-\log \hatπ$具有局部Lipschitz梯度,其三阶导数是指数为$β\in (0,1]$的局部Hölder连续.得到了新采样方法收敛于平稳性的非渐近界,其收敛速度$1+ β/2$在Wasserstein距离内,而收敛速率在全变差内为1.最后,在$-\log \hatπ$是强凸的且梯度是Lipschitz连续的情况下,给出了显式常数.
2019-09-25 math.ST stat.TH
Parallelized Midpoint Randomization for Langevin Monte Carlo
City University of Hong Kong(香港城市大学)
本文针对光滑强对数凹密度,在可并行评估梯度的设定下分析并行化随机中点 Langevin Monte Carlo,给出 Wasserstein 距离上界并证明并行处理带来显著运行时间提升。
2025-01-08 cs.LG math.PR math.ST
Estimating Multi-chirp Parameters using Curvature-guided Langevin Monte Carlo
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对含噪高阶多项式chirp参数估计问题,提出一种利用目标函数平均曲率的改进Langevin Monte Carlo (CG-LMC)采样器,在低信噪比下鲁棒地求解非凸优化问题。
2025-01-30 cs.LG eess.SP stat.ML
Information-geometric Markov Chain Monte Carlo methods using Diffusions
最近的工作纳入几何思想的马尔可夫链蒙特卡罗进行审查,以突出这些进展和它们可能的应用范围超出统计领域。马尔可夫链及其在统计推断和分子动力学的蒙特卡罗模拟中的应用的充分阐述,特别强调基于朗之万扩散的方法。然后介绍了马尔可夫链蒙特卡罗中的几何概念。给出了黎曼流形上朗之万扩散的一个完整的推导过程,并讨论了在不同的问题中如何选择合适的黎曼度量。提供了一个调查的应用程序,并讨论了一些悬而未决的问题。
2014-04-18 stat.CO stat.ME
Generalization of Gibbs and Langevin Monte Carlo Algorithms in the Interpolation Regime
ETH Zurich(苏黎世联邦理工学院)
本文在过参数化插值机制下,通过数据依赖的期望误差界,证明了低温区的泛化可由高温区的小训练误差预示,并利用朗之万蒙特卡洛算法稳定逼近,在MNIST、CIFAR-10和SVHN数据集上给出非平凡且接近真实标签测试误差的预测。
2026-05-29 cs.LG stat.ML
Annealed Langevin Monte Carlo for Flow ODE Sampling
Augusta University(奥古斯塔大学)
本文提出 ALMC-ODE 方法,通过退火 Langevin 链生成未归一化分布样本,尤其适用于多模态密度。该方法基于概率流 ODE,利用 Jarzynski 方案降低方差,理论分析证明了估计误差界。
2026-04-30 stat.CO
Analysis of Langevin Monte Carlo from Poincaré to Log-Sobolev
本研究突破了此前朗之万蒙特卡洛算法收敛保证多聚焦于强对数凹目标的局限,首次在目标分布满足介于庞加莱与对数索伯列夫之间的两类不等式时给出收敛保证,且无需凸性、耗散性条件,允许弱光滑性。
2024-07-10 math.ST stat.ML stat.TH
Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种在KL散度下无维度收敛的欠阻尼朗之万蒙特卡洛方法,通过改进的KL局部误差框架,得出了依赖于Hessian迹而非维度的收敛界限。
2026-10-30 cs.LG math.OC stat.ML
Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference
Tsinghua University(清华大学)
基于随机性的Monte Carlo抽样算法,如Langevin动力学和Hamilton Monte Carlo,是贝叶斯推理的重要方法。在大规模环境中,全梯度是负担不起的,因此在小批量上评估的随机梯度被用作替代。为了降低噪声随机梯度的高方差,Dubey等人[2016]将标准方差降低技术应用于随机梯度Langevin动力学,并获得了理论和实验上的改进。在本文中,我们将方差缩减技巧应用于哈密顿蒙特卡罗,并取得了更好的理论收敛结果相比,方差缩减的朗之万动力学。此外,我们将对称分裂格式应用到方差缩减的哈密顿蒙特卡罗算法中,进一步改进了理论结果。实验结果也与理论结果一致。正如我们的实验所示,在真实世界数据集上的贝叶斯回归和分类任务中,方差缩减的哈密顿蒙特卡罗比方差缩减的朗之万动力学表现出更好的性能。
2019-06-21 cs.DS cs.LG stat.ML
Langevin Quasi-Monte Carlo
本文提出用完全均匀分布(CUD)低差异序列替代随机高斯扰动,改进 Langevin Monte Carlo 采样,并在光滑凸性条件下证明其估计误差小于标准 LMC,数值实验验证了该方法的有效性。
2023-09-22 stat.CO stat.ML
Langevin Monte Carlo for strongly log-concave distributions: Randomized midpoint revisited
CREST, ENSAE, IP Paris(巴黎综合理工学院IP Paris、法国国立统计与经济管理学院ENSAE、 Crest统计与经济研究中心);KAUST(阿卜杜拉国王科技大学)
该研究针对高维大条件数下的强对数凹分布采样问题,再探随机中点离散化方法,推导了动力学朗之万扩散中点法的Wasserstein-2误差非渐近易计算上界,还改进了欧拉离散化的相关误差保证。
2023-06-16 cs.LG math.PR math.ST
Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients
City University of Hong Kong(香港城市大学);University of Edinburgh(爱丁堡大学);Nanyang Technological University(南洋理工大学);ETH Zurich(苏黎世联邦理工学院)
该研究提出了一种无偏动能 Langevin 蒙特卡罗方法,利用分裂方法和增强梯度近似,实现高精度估计并降低计算成本。
2025-12-03 cs.NA math.NA stat.CO
Random Coordinate Langevin Monte Carlo
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学)
朗之万蒙特卡罗(LMC)是一种流行的马尔可夫链蒙特卡罗抽样方法。一个缺点是它需要在每次迭代时计算全梯度,如果问题的维度很高,则这是一个昂贵的操作。我们提出了一种新的采样方法:随机坐标LMC(RC-LMC)。在每次迭代中,随机选择一个坐标,通过沿该方向的偏导数的倍数加上噪声进行更新,所有其他坐标保持不变。我们研究了RC-LMC的总复杂度,并将其与对数凹概率分布下的经典LMC进行了比较。当对数密度的梯度为Lipschitz时,如果对数密度对于高维问题是高度偏斜的,则RC-LMC比经典LMC更便宜,并且当对数密度的梯度和Hessian都为Lipschitz时,RC-LMC总是比经典LMC便宜,与问题维数的平方根成正比。在后一种情况下,我们对复杂性的估计在维度上是尖锐的。
2020-10-03 cs.LG stat.ML
Stochastic Runge-Kutta Accelerates Langevin Monte Carlo and Beyond
University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research(微软研究院)
使用马尔可夫链蒙特卡罗方法进行采样通常相当于使用数值积分对某些连续时间动态进行离散化。在本文中,我们建立了采样算法的收敛速度的离散光滑伊藤扩散表现出快速Wasserstein- $2$收缩的基础上,局部偏差性质的集成计划。特别地,我们研究了一种采样算法,该算法是用随机龙格-库塔方法离散过阻尼Langevin扩散而构造的。对于光滑到一定阶的强凸势,其迭代在$\tilde{\mathcal{O}}(dε^{-2/3})$迭代中收敛到瓦瑟斯坦距离的目标分布.这改进了基于过阻尼Langevin方程的强对数凹采样的最佳速率,仅使用梯度预言而不进行调整。此外,我们扩展我们的分析随机龙格-库塔方法的均匀耗散扩散可能非凸的潜力,并表明他们实现更好的速率相比,欧拉-丸山计划的依赖性公差$ε$。数值研究表明,这些算法具有更好的稳定性和更小的渐近误差。
2020-02-01 cs.LG stat.ML
Metropolis Adjusted Langevin Trajectories: a robust alternative to Hamiltonian Monte Carlo
本文提出基于 Langevin 扩散并对整条轨迹作 Metropolis 校正的 MALT,证明其缩放、稳健性与混合优势,并在玩具和贝叶斯逻辑回归实验中显示其优于 HMC/GHMC 且媲美 RHMC。
2023-12-10 math.PR math.ST stat.CO
Stochastic Langevin Monte Carlo for (weakly) log-concave posterior distributions
ISAE-SUPAERO, Université de Toulouse(图卢兹大学ISAE-高等航空与空间学院);Toulouse School of Economics (CNRS UMR 5314), Université Toulouse I Capitole(图卢兹第一大学图卢兹经济学院(法国国家科学研究中心 UMR 5314));Institut Universitaire de France(法国大学研究院)
在本文中,我们研究了一个连续时间版本的随机Langevin蒙特卡罗方法,在[WT 11]中介绍,其中包括一个随机采样步骤内的传统过阻尼Langevin扩散。该方法是机器学习中常用的后验分布采样方法。在我们的工作中,我们将特别关注$n$(产生后验分布的观测数)和$d$(感兴趣的参数存在的环境空间的维数)方面的计算成本。我们推导出我们的分析弱凸框架,这是参数化的帮助下的Kurdyka-Eschojasiewicz(KL)不等式,允许处理消失的曲率设置,这是远远没有那么严格相比,简单的强凸的情况下。我们建立的模拟,以获得一个$\varepsilon$近似(在熵方面)的最后地平线是顺序$( d \log(n)^2 )^{(1+r)^2} [\log^2(\varepsilon^{-1}) + n^2 d^{2(1+r)} \log^{4(1+r)}(n) ]$与泊松亚采样参数$\left(n ( d \log^2(n))^{1+r}\right)^{-1}$,其中参数$r$涉及KL不等式和$0$(强凸的情况下)和$1$(限制拉普拉斯情况)之间变化。
2023-01-08 cs.LG math.PR stat.CO
Exact Langevin Dynamics with Stochastic Gradients
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
随机梯度马尔可夫链蒙特卡罗算法是一种常用的近似推理抽样方法,但它们通常存在偏差。我们发现,这些方法的许多最新版本(例如Chen et al.(2014))无法使用Metropolis-Hastings拒绝抽样进行校正,因为它们的接受概率始终为零。我们可以通过使用具有可实现的向后轨迹的采样器来解决这个问题,例如服从引导蒙特卡罗(Horowitz,1991),它概括了随机梯度朗之万动力学(Welling和Teh,2011)和哈密顿蒙特卡罗。我们表明,这个采样器可以使用随机梯度,产生非零的接受概率,甚至可以跨多个步骤计算。
2021-02-02 cs.LG stat.ML
Non-Asymptotic Analysis of Fractional Langevin Monte Carlo for Non-Convex Optimization
LTCI, Télécom Paristech, Université Paris-Saclay(LTCI、巴黎高等电信学院、巴黎萨克雷大学)
最近对基于扩散的采样方法的研究表明,朗之万蒙特卡罗(LMC)算法可以是有益的非凸优化,和严格的理论保证已被证明为渐近和有限时间制度。在数学上,基于LMC的算法类似于众所周知的梯度下降(GD)算法,其中GD递归被加性高斯噪声扰动,该加性高斯噪声的方差具有特定形式。分数朗之万蒙特卡罗(FLMC)是最近提出的LMC的一种扩展,其中高斯噪声被重尾α稳定噪声代替。与其高斯对应物相反,这些重尾扰动可以引起大的跳跃,并且经验证明,α稳定噪声的选择可以在现代机器学习问题中提供几个优势,无论是在优化还是采样环境中。然而,相对于LMC,FLMC只有渐近收敛的性质尚未建立。在这项研究中,我们分析了FLMC的非渐近行为的非凸优化,并证明了有限的时间界限,其预期的次优性。结果表明,FLMC的弱误差增长速度比LMC快,这表明FLMC中使用较小的步长。最后,我们扩展我们的结果的情况下,确切的梯度取代随机梯度,并表明,类似的结果在此设置以及。
2019-01-22 cs.LG math.OC stat.ML
Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo
Rutgers Business School(罗格斯大学商学院);The Chinese University of Hong Kong(香港中文大学);Florida State University(佛罗里达州立大学)
随机梯度朗之万动力学(SGLD)和随机梯度哈密顿蒙特卡罗(SGHMC)是两种流行的马尔可夫链蒙特卡罗(MCMC)贝叶斯推断算法,可以扩展到大型数据集,允许从给定输入数据的统计模型参数的后验分布和模型参数的先验分布中采样。然而,这些算法不适用于分散式学习设置,当代理网络协作学习统计模型的参数时,由于隐私原因或通信限制,不共享他们的个人数据。我们研究两种算法:去中心化SGLD(DE-SGLD)和去中心化SGHMC(DE-SGHMC),它们是SGLD和SGHMC方法的改编,允许在去中心化设置中对大型数据集进行可扩展的贝叶斯推断。我们证明了当后验分布是强对数凹的光滑分布时,只要适当地选取参数,这些算法的迭代线性收敛到目标分布在2-瓦瑟斯坦距离上的一个邻域.我们说明了我们的算法的效率分散贝叶斯线性回归和贝叶斯逻辑斯谛回归问题。
2021-08-26 cs.LG math.OC stat.ML