Symplectic techniques for stochastic differential equations on reductive Lie groups with applications to Langevin diffusions
本文提出在约化李群上利用辛技术显式构造黎曼布朗运动,以研究具有保结构和耗散噪声的随机哈密顿系统背景下的 Langevin 扩散。
2025-09-12 math.PR
Ergodicity of Langevin Processes with Degenerate Diffusion in Momentums
本文介绍了一种证明退化噪声驱动随机过程遍历性的几何方法。驱动噪声被假定为具有非退化扩散分量的任意Levy过程(但这可以应用于系统的单个自由度)。几何条件是该过程的近似可控性,即在相空间中存在一个点,在该点处,经由驱动噪声的二次随机化版本的点的图像的内部是非空的。本文应用该方法证明了由Langevin型方程控制的滑动圆盘(一个简单的随机刚体系统)的遍历性。本文表明,这个朗之万过程的一个关键特征是,即使与动量相关的扩散和漂移矩阵是简并的,系统仍然处于均匀的温度。
2008-04-10 math.PR
A trajectorial approach to the gradient flow properties of Langevin-Smoluchowski diffusions
我们重新审视了熵梯度流的保守扩散的变分表征,并提供了一个基于随机分析的概率解释。乔丹、金德勒和奥托证明,对于朗之万-斯莫鲁霍夫斯基型扩散,福克-普朗克概率密度流使相对熵耗散率最大化,相对熵耗散率由具有有限二阶矩的概率测度在环境空间中移动的距离来测量,以二次瓦瑟斯坦度量表示。我们获得新的,随机过程的版本,这些功能,有效的沿几乎每一个轨迹的扩散运动在向后的时间方向,使用一个非常直接的扰动分析。通过平均我们的结果相对于道路空间上的基本措施,我们建立了最大的熵耗散率沿福克-普朗克流和测量准确的偏差,从这个最大值对应于任何给定的扰动。作为我们的方法的奖金,我们得到的HWI不等式有关相对熵(H),Wasserstein距离(W)和相对Fisher信息(I)。
2020-08-20 math.PR
Homogenization for Generalized Langevin Equations with Applications to Anomalous Diffusion
研究了一类系数依赖于状态的多时间尺度广义Langevin方程的均匀化问题。除了小质量的限制,我们专注于均匀化的限制,这涉及到零的惯性时间尺度,并可能,一些记忆的时间尺度和噪声相关的时间尺度。后者是有意义的限制一类GLE建模异常扩散。我们发现,在一般情况下,限制随机微分方程(SDES)的慢自由度包含非平凡的漂移校正项,并由非马尔可夫噪声过程驱动。这些结果遵循一个一般的均匀化定理陈述和证明这里。我们用粒子扩散的随机模型来说明它们。
2019-11-01 cond-mat.stat-mech math-ph math.MP
Diffusion annealed Langevin dynamics: a theoretical study
Department of Mathematics. Imperial College London(伦敦帝国理工学院数学系)
本文针对生成模型领域的扩散退火朗之万动力学开展理论研究,严格构造该类扩散过程,通过分析相关不等式证明了解的存在唯一性,并指出强化不等式可提升模型效率。
2025-11-13 math.PR stat.ML
A Function Space HMC Algorithm With Second Order Langevin Diffusion Limit
我们描述了一种新的MCMC方法优化希尔伯特空间上的概率测度的采样密度相对于高斯;这种措施出现在贝叶斯方法反问题,并在条件扩散。我们的算法是基于两个关键的设计原则:(i)算法是定义良好的无限维的结果,在方法中不遭受灾难的维数时,他们被施加到近似的无限维目标测量$\bbR^N$ ;(ii)不可逆的算法可以有更好的混合性能相比,其可逆的同行。我们介绍的方法是基于混合蒙特卡罗算法,量身定制,将这两个设计原则。本文的主要结果表明,新算法,适当重新缩放,弱收敛到希尔伯特空间上的二阶Langevin扩散;因此,该算法探索的近似目标措施在$\bbR^N$在一些步骤,这是独立于$N$。我们还提出了基本理论的限制不可逆扩散的希尔伯特空间,包括表征的不变测度,我们描述的数值模拟表明,所提出的方法具有良好的混合性能作为MCMC算法。
2014-04-03 math.PR
Lévy Langevin Monte Carlo for sampling from heavy-tailed target distributions
Technische Universität Dresden(德累斯顿工业大学)
研究如何从重尾目标分布采样,扩展Lévy朗之万蒙特卡罗方法,利用由复合泊松过程驱动的随机微分方程,可从非光滑目标和分离模式分布中采样,指数收敛到不变分布,且因复合泊松噪声项易于实现。
2026-07-14 math.PR
Convergence of Reflected Langevin Diffusion for Constrained Sampling
本文研究了反射拉格朗日扩散在约束采样中的收敛性,通过惩罚随机微分方程和时间离散化方案,证明了其在Wasserstein-2距离下的收敛性及多项式速率。
2026-01-21 math.PR math.ST stat.TH
Exponential Contraction for Underdamped Langevin Diffusions with Superlinear Forces
School of Mathematics and Statistics, Lanzhou University(兰州大学数学与统计学院);School of Mathematics and Statistics, Northeast Normal University(东北师范大学数学与统计学院);School of Mathematical Sciences, Tiangong University(天津工业大学数学科学学院)
针对超线性力下欠阻尼朗之万扩散的定量收敛难题,提出局部化反射-同步耦合方法,实现马尔可夫半群在坎托罗维奇距离下的指数收缩,为非线性动力学采样器提供稳定性估计。
2026-10-22 math.PR
Anomalous Thermodynamics in Homogenized Generalized Langevin Systems
我们研究泛函,如热量和工作,沿着一类多维广义Langevin系统的各种限制的情况下,对应于不同水平的均匀化的轨迹。这些是系统的惯性时间尺度、存储器时间尺度和噪声相关性时间尺度中的一个或多个被取为零的情况。我们发现,除非限制到特殊的情况下,不打破对称性的Onsager矩阵与快速动态,它通常是不可能表达的有效演变,这些泛函仅在轨迹的均匀化过程描述系统动态通过广泛采用的Stratonovich公约。事实上,一个反常项往往需要一个完整的描述,这意味着这些泛函的收敛需要更多的信息,而不仅仅是动力学过程的极限。我们将这种不可能性的根源追溯到面积异常,从而将对称性破缺与面积异常联系起来。这对许多可以用广义朗之万方程模拟的非平衡系统具有重要意义。我们的收敛结果在很强的路径意义上成立。
2021-02-24 cond-mat.stat-mech math-ph math.MP
Weak Equilibrium Measures and Capacity--Hitting Identities for the Hypoelliptic Third-Order Langevin Diffusion
Shanghai University of Finance and Economics(上海财经大学);Fudan University(复旦大学);Florida State University(佛罗里达州立大学)
本文受加速采样算法启发,针对亚椭圆三阶朗之万扩散,通过证明椭圆正则化稳定性定理,结合特定策略与估计,构建弱平衡测度和弱容量,得到有界域及全空间的相关恒等式和正哈里斯常返性。
2026-08-06 math.PR
Full-Covariance Chemical Langevin Predator--Prey Diffusion with Absorbing Boundaries
College of Engineering, Boston University(波士顿大学工程学院);Department of Mathematics, University of Tennessee(田纳西大学数学系);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Department of Industrial and Systems Engineering, The University of Iowa(爱荷华大学工业与系统工程系)
本文提出了一种全协方差化学 Langevin 扩散模型,用于描述预捕食者-猎物系统的吸收边界与灭绝结构,通过耦合捕食-转换事件和密度依赖缩放,实现了对事件级耦合的精确建模。
2026-02-05 math.PR
Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion
Northwestern University(西北大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia Business School(哥伦比亚大学商学院)
朗之万扩散是非凸优化的一种强大方法,它可以通过向梯度中注入噪声来摆脱局部最小值。特别地,控制噪声水平的温度参数引起"全局探测“和"局部利用”之间的权衡,这对应于高温和低温。为了实现这两个制度的优点,我们建议使用副本交换,交换两个朗之万扩散与不同的温度。本文从两个方面对副本交换的加速效应进行了理论分析:(i)χ^2-发散下的收敛性;(ii)大偏差原理。这种加速效应使我们能够更快地接近全局最小值。此外,通过离散化副本交换Langevin扩散,我们得到了一个离散时间算法。对于这种算法,我们从理论上量化了它的离散化误差,并在实践中证明了它的加速效果。
2020-07-04 cs.LG math.PR stat.ML
Stability of the overdamped Langevin equation in double-well potential
本文讨论了双势阱中一维过阻尼Lange-vin方程的稳定性.我们确定了不稳定和稳定的平衡点,并讨论了收敛到稳定平衡点的收敛速率。此外,我们还得到了一般扩散过程的稳定性条件,推广了Khasminskii 2012的经典和著名结果。
2018-07-28 math.PR
The Riemannian Langevin equation and conic programs
扩散极限为机器学习中使用的随机梯度下降(SGD)方案的渐近分析提供了一个框架。我们考虑另一个框架,黎曼朗之万方程(RLE),它将R^n中的经典平衡范式推广到黎曼流形(M^n,g)。这个方程最微妙的部分是对(M^n,g)上布朗运动的描述。给出了一些基本锥的显式公式。
2023-02-22 math.PR
Entropic multipliers method for langevin diffusion and weighted log sobolev inequalities
在他关于hypocercivity的工作中,Villani [18]特别考虑了动力学朗之万过程的平衡收敛。虽然他的收敛结果在L 2是在一个相当一般的设置,收敛熵需要一些有界条件的海森的哈密顿。我们将在这里展示如何摆脱这一假设在研究的亚强制熵松弛平衡的朗之万扩散。我们的方法依赖于推广到熵的乘数方法和一个适当的功能不等式。作为一个副产品,我们还给出了这个功能的不平等,这是一个特殊的例子加权对数Sobolev不等式,举行易于处理的条件。
2017-08-03 math.AP math.FA math.PR
Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling
从后验分布抽样的贝叶斯方法由于其精确显示模型拟合的不确定性的能力而变得越来越流行。基于迭代随机采样和后验评估的经典方法,如Metropolis-Hastings,已知具有期望的长期混合特性,但是收敛缓慢。基于梯度的方法,如朗之万动力学(及其随机梯度对应物)表现出良好的维数依赖性和对数凹的快速混合时间,并“接近”对数凹分布,但也有很长的逃逸时间从局部极小值。许多当代的应用,如贝叶斯神经网络都是高维和高度多模态的。在本文中,我们调查的性能的混合大都市和Langevin采样方法类似于跳跃扩散的范围内的合成和真实的数据,表明仔细校准的混合采样跳跃与梯度为基础的链显着优于纯梯度为基础的或基于采样的计划。
2022-11-02 math.PR stat.ML
On sampling from a log-concave density using kinetic Langevin diffusions
ENSAE-CREST(法国国家统计与经济管理学院-应用经济科学研究中心)
朗之万扩散过程及其离散化常用于从目标密度采样。最方便的框架来评估这样一个抽样方案的质量对应于光滑和强对数凹密度定义在$\mathbb R^p$。目前的工作集中在这个框架和研究的动力学朗之万扩散的离散化的基础上的Monte Carlo算法的行为。我们首先证明几何混合动力学朗之万扩散的混合率,这是在过阻尼制度,最佳的条件数的依赖性。然后,我们使用这个结果获得改进的保证,使用动力学朗之万蒙特卡罗方法的采样时,采样的质量是由Wasserstein距离测量。我们还考虑了目标分布的对数密度的Hessian函数是Lipschitz连续的情况。在这种情况下,我们引入了一个新的离散化的动力学朗之万扩散,并证明这导致大幅改善的上界测量Wasserstein距离的采样误差。
2018-12-26 cs.LG math.PR math.ST
Langevin Diffusion Approximation to Same Marginal Schrödinger Bridge
University of Washington(华盛顿大学)
本文提出利用兰格-恩扩散对相同边缘施瓦茨-布里德进行近似,证明在ε趋近于0时,施瓦茨-布里德的barycentric投影趋近于身份映射,且两者差异与边际对数密度梯度(即分数函数)成ε比例。
2026-04-02 math.PR stat.ML
Error analysis of an acceleration corrected diffusion approximation of Langevin dynamics with background flow
University of Pennsylvania(宾夕法尼亚大学);Mahidol University(玛希隆大学)
本文研究了Langevin动力学中背景流的加速校正扩散近似的误差分析,证明了在平均情形下误差估计,并通过计算实验验证了其最优性及长期行为的捕捉能力。
2026-02-21 cs.NA math.NA math.PR
Nonergodic solutions of the generalized Langevin equation
众所周知,在超线性扩散的制度,其特征在于零积分摩擦(消失积分的记忆功能),广义朗之万方程可能有非遍历的解决方案,不放松到平衡值。它表明,该方程可能有非遍历(非平稳)的解决方案,即使记忆函数的积分是有限的和扩散是正常的。
2011-06-17 cond-mat.stat-mech math.PR
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne(克莱蒙奥弗涅大学);University of Macau(澳门大学);UM Zhuhai Research Institute(澳门大学珠海研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing International Center for Mathematical Research (BICMR), Peking University(北京大学北京国际数学研究中心)
针对带动量的 SGD 与欠阻尼 Langevin 扩散的关系,本文在 1-Wasserstein 和全变差距离下建立了二者的定量误差估计。
2024-10-22 cs.LG math.PR stat.ML
Non-asymptotic Analysis of Diffusion Annealed Langevin Monte Carlo for Generative Modelling
Imperial College London(帝国理工学院);The Alan Turing Institute(阿兰·图灵研究所)
在数据分布弱条件下,研究扩散退火朗之万蒙特卡洛(DALMC)的非渐近误差界,扩展至重尾扩散路径,为插值简单分布与数据分布的得分生成模型提供理论保证,拓宽了标准扩散方法视角。
2025-02-13 cs.LG math.PR stat.CO
Unadjusted Langevin algorithm with multiplicative noise: Total variation and Wasserstein bounds
在本文中,我们专注于非渐近边界有关的遍历扩散的欧拉格式与可能的乘法扩散项(非常数扩散系数)。更准确地说,本文的目的是控制的距离标准欧拉格式与减少的步骤({通常称为未调整的Langevin算法在蒙特卡洛文献})的不变分布的遍历扩散。在一个适当的李雅普诺夫设置和{均匀}椭圆假设下的扩散系数,我们建立(或改善)这样的界的全变差和$L^1$ -Wasserstein距离的乘法和加法和框架。这些界限依赖于弱误差扩展,使用{随机分析}适应于递减步长设置。
2022-09-22 math.PR math.ST stat.TH
Constrained Dikin-Langevin diffusion for polyhedra
The University of Edinburgh(爱丁堡大学);King’s College London(伦敦国王学院)
本文提出一种无需反射的兰格vin框架,用于在紧致多面体上进行采样和优化,通过逆对数障碍Hessian定义Dikin-兰格-利文扩散,适应局部内点几何,保持约束域可行性。
2026-03-15 math.OC math.PR stat.CO
An Eyring--Kramers Law for the Hypoelliptic Third-Order Langevin Diffusion
School of Mathematical Sciences, Fudan University(复旦大学数学科学学院);Department of Mathematics, Florida State University(佛罗里达州立大学数学系)
研究亚椭圆三阶朗之万扩散在低温极限下亚稳态跃迁的艾林 - 克莱默斯定律,通过扩展策略并结合多种方法确定平均跃迁时间的相关尺度和因子,数值实验验证了阿累尼乌斯标度及因子比较。
2026-08-10 math.AP math.PR
Spectral Gap of Replica Exchange Langevin Diffusion on Mixture Distributions
朗之万扩散(LD)是采样问题的主要工具之一。然而,如果目标分布是多种密度的混合物,特别是当每个分量集中在不同的模式周围时,其收敛速度会显著降低。电子交换朗之万扩散(ReLD)是一种可以避免这个问题的采样方法。特别是,ReLD增加了另一个LD采样目标密度的高温版本,并根据Metropolis-Hasting类型的定律交换两个LD的位置。这种方法可以进一步扩展到多副本交换朗之万扩散(mReLD),其中$K$附加的LD被添加到不同温度下的样本分布,并且交换发生在相邻温度过程之间。虽然ReLD和mReLD已被广泛用于统计物理,分子动力学和其他应用中,但很少有现有的分析其收敛速度和温度的选择。本文关闭这些差距,假设目标分布是一个混合的对数凹密度。我们表明,ReLD可以获得恒定的,甚至更好的收敛速度,即使当密度成分的混合物集中在孤立的模式。我们还表明,使用mReLD与$K$额外的LD可以达到相同的结果,而交换频率只需要是$(1/K)$ -th权力的一个在ReLD。
2020-07-10 math.PR math.ST stat.TH
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器,每次迭代只需要一个梯度计算。相反,以前的作品类似的采样器,Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$,Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下,$\sqrt{d/\varepsilon}$,如果潜在的海森是Lipschitz,和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下,根据已知的结果为其他动力学朗之万或HMC计划。
2021-06-18 math.PR math.ST stat.TH
Hypoelliptic multiscale Langevin diffusions: Large deviations, invariant measures and small mass asymptotics
考虑了一类非梯度次椭圆Langevin扩散,并研究了两个相关问题。第一个是亚椭圆多尺度扩散的大偏差。第二类是亚椭圆Langevin算子及其相关的亚椭圆泊松方程的不变测度的小质量渐近性。由于多尺度效应,对应于亚椭圆问题的不变测度和适当的亚椭圆Poisson方程进入大偏差率函数。基于小质量渐近性,我们得到多尺度亚椭圆扩散的大偏差行为与其过阻尼对应物的大偏差行为是一致的。此外,我们还严格地得到了关于质量参数的不变测度的相关密度和亚椭圆泊松方程的解的渐近展开,刻画了收敛阶.不变测度的收敛性的证明是独立的兴趣,因为它涉及到动力学福克-普朗克方程的hypovervity结果的改进。我们不限制注意梯度漂移和我们的证明提供了明确的信息,在质量参数方面的利益的界限的依赖。
2017-02-23 math.AP math.DS math.PR
Mirror Langevin diffusions: Convergence rates and Markov chain approximations
Université Paris-Saclay(巴黎萨克雷大学);University of British Columbia(不列颠哥伦比亚大学);University of Washington(华盛顿大学)
研究给定概率密度\(\mu\)时,能否选强凸函数\(u\)使镜像朗之万扩散指数收敛到平衡态,基于李雅普诺夫函数方法给出条件。还引入马尔可夫链逼近,证明其在\(\chi^2\)中有与扩散时间尺度一致的收敛速率。
2026-07-28 math.PR stat.ML
Constructing a solution to the characteristic equation for the Langevin diffusion model with orthogonal perturbations
对于布朗粒子动力学的朗之万模型,其扰动与其当前速度正交,在粒子速度模量变为常数的情况下,布朗粒子的位置$x(t)$的特征函数$ψ(t,λ)=M\left[\exp (λ,x(t))/V={\rm v}(0)\right]$的方程。所得结果证实了基于朗之万方程的非传统物理解释所建立的布朗粒子动力学模型,即:e.随机方程与正交的影响,导致解释的布朗粒子作为一个系统的波动性质的合奏。这些结果是一致的与先前获得的结论,即,与一定的协议的系数在原来的随机方程,为小的随机影响和摩擦,朗之万方程导致的描述的概率密度的位置的粒子的波动方程的基础上。对于大的随机影响和摩擦,概率密度是扩散方程的解,其扩散系数低于经典扩散模型。
2021-02-26 cond-mat.stat-mech math-ph math.MP
Improved Bounds for Discretization of Langevin Diffusions: Near-Optimal Rates without Convexity
我们提出了一个改进的分析的欧拉-丸山离散的朗之万扩散。我们的分析不需要全局收缩性,并产生多项式依赖的时间范围。与现有的方法相比,我们做了一个额外的光滑假设,并提高了现有的速度从$O(η)$到$O(η^2)$的KL分歧。该结果与数值型随机微分方程的正确阶数相匹配,而不受指数时间依赖性的影响。当应用于采样和学习算法时,这一结果同时改进了基于Dalayan方法的所有方法。
2019-11-04 math.PR math.ST stat.CO
On couplings for kinetic Langevin diffusions
研究动能朗之万扩散及其分裂离散化中耦合与全变差界的关系,通过非马尔可夫耦合实现精确收缩并改进现有结果。
2026-05-29 math.PR stat.CO stat.ML
Langevin type limiting processes for Adaptive MCMC
自适应马尔可夫链蒙特卡罗(AMCMC)是一类MCMC算法,其中建议分布在链的每次迭代中改变。在这种情况下,重要的是验证这样的马尔可夫链确实具有平稳分布。在本文中,我们讨论了离散时间AMCMC的扩散近似。当与Gelman、Gilks和Roberts(1997)中的扩散近似相比时,该扩散近似是不同的,在Gelman、Gilks和Roberts(1997)中,状态空间在维度上增加到无穷大。在我们的方法中,时间参数以这样一种方式加速,即极限分布(当网格步长变为0时)是一个非平凡的连续时间扩散过程。
2015-09-04 math.PR stat.CO
Anchored Langevin Algorithms
Rutgers Business School(罗杰斯商学院);Department of Mathematics(数学系);School of Mathematics and Statistics(数学与统计学学院);Department of Management Science and Information Systems(管理科学与信息系统系)
针对标准朗之万算法无法处理不可微和重尾目标的问题,提出锚定朗之万动力学,通过平滑参考势和乘法缩放统一解决,并给出非渐近保证与数值验证。
2025-09-23 cs.LG math.PR stat.ML
Variance reduction for irreversible Langevin samplers and diffusion on graphs
在最近的论文中,它已被证明,从适当的时间不可逆朗之万过程的吉布斯分布采样是,从几个角度来看,有利的采样时,从一个时间可逆的。在过阻尼Langevin方程中加入适当的不可逆漂移,可使过程的经验测量值的速率函数有较大的大偏差,过程的观测值的长时间平均值的方差较小,谱隙较大.在这项工作中,我们专注于不可逆朗之万采样器的漂移强度增加。渐近方差是单调递减的漂移的增长,我们描述其限制行为。对于吉布斯测量,其潜力有一个或多个临界点,增加一个大的不可逆漂移的结果在分解的过程中的一个缓慢和快速的组件与快速运动沿水平集的潜力和缓慢运动的正交方向。这一结果有助于理解方差的减少,这可以在过程水平上解释为沿势的水平集的过程的诱导快速运动。随着不可逆扰动幅度的增长,渐近方差的极限是与极限慢运动相关的渐近方差。后者是图上的一个扩散过程。
2015-02-18 math.PR math.ST stat.TH
Wasserstein Control of Mirror Langevin Monte Carlo
École Normale Supérieure / Université PSL(巴黎高等师范学院/巴黎文理研究大学);Normandie Univ, ENSICAEN, UNICAEN, CNRS, GREYC(诺曼底大学、法国国立高等凯恩工程师学院、凯恩大学、法国国家科学研究中心、GREYC实验室);Heriot-Watt University(赫瑞-瓦特大学)
离散朗之万扩散是一种有效的蒙特卡罗方法,用于从对数Lipschitz光滑和(强)对数凹的高维目标密度采样。特别是,欧几里德Langevin蒙特卡罗抽样算法最近受到了很大的关注,导致详细了解其非渐近收敛的性质和作用,平滑度和对数在收敛速度发挥。不具有这些规律性的分布可以通过考虑黎曼朗之万扩散来解决,该扩散具有捕获对数密度的局部几何的度量。然而,从这种黎曼朗之万扩散的离散化导出的蒙特卡罗算法是出了名的难以分析。在本文中,我们考虑朗之万扩散的Hessian型流形和研究的离散化是密切相关的镜像下降计划。我们首次建立了一个非渐近上界的采样误差所产生的Hessian黎曼Langevin蒙特卡罗算法。这个界限是根据一个Wasserstein距离引起的黎曼度量地面成本捕获海森结构和密切相关的自和谐的条件。例如,上界意味着迭代朝着目标密度周围的Wasserstein球收缩,该目标密度的半径是明确的。我们的理论恢复现有的欧几里德的结果,可以应付各种各样的海森度量高度非平坦的几何形状。
2020-02-11 cs.LG math.PR math.ST
Dynamical mean-field analysis of adaptive Langevin diffusions: Propagation-of-chaos and convergence of the linear response
Yale University(耶鲁大学);University of Waterloo(滑铁卢大学);Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学)
研究高维回归中经验贝叶斯学习驱动的自适应Langevin扩散,证明其在大系统极限下收敛于动力学平均场理论描述的确定性极限律,并刻画相关核与响应核的渐近极限。
2025-11-01 math.PR math.ST stat.TH
The velocity jump Langevin process and its splitting scheme: long time convergence and numerical accuracy
本文对速度跳跃Langevin过程及其混合数值格式进行数值分析,证明了连续时间过程的指数遍历性、格式的2阶弱收敛阶,并给出了MCMC估计器的二次风险界。
2025-05-24 cs.NA math.NA math.PR
Mean-Field Langevin Diffusions with Density-dependent Temperature
Department of Applied Mathematics, University of Colorado(应用数学系,科罗拉多大学)
本文提出一种温度依赖自身密度的均场朗之万扩散方法,用于非凸优化,证明其 Fokker-Planck 方程解的唯一性、SDE 弱解的存在性及收敛到可用 Lambert W 函数表示的不变分布,并通过数值实验验证其能同时提升全局极小值估计的精度与收敛速度。
2025-08-21 cs.LG math.OC math.PR
Universality of the Langevin diffusion as scaling limit of a family of Metropolis-Hastings processes I: fixed dimension
给定一般状态空间$\mathcal{X}$上的目标分布$μ$和一个具有生成元$Q$的Markov跳过程,研究了两类分别具有生成元$M_1(Q,μ)$和$M_2(Q,μ)$的Metropolis-Hastings(MH)过程的两个泛性质.首先,我们激励我们的研究$M_2$通过提供一个几何解释$M_1$,$M_2$和它们的凸组合之间的$L^1$极小$Q$和一组$μ$ -可逆的马尔可夫跳跃过程的生成器。其次,专门的情况下,$\mathcal{X} = \mathbb{R}^d$随着高斯建议与消失的方差和吉布斯目标分布,我们证明了,在适当的缩放时间,家庭的马尔可夫跳跃过程对应的$M_1$,$M_2$或其凸组合都弱收敛到一个普遍的Langevin扩散。虽然$M_1$和$M_2$看起来是不同的随机动力学,但它们共享这两个泛性质可能令人惊讶。这两个结果在Billera和Diaconis(2001)以及Gelfand和Mitter(1991)中对于$M_1$是已知的,而对于$M_2$及其凸组合的对应结果是新的。
2019-08-21 math.PR math.ST stat.TH
Optimal scaling and diffusion limits for the Langevin algorithm in high dimensions
Metropolis-adjusted Langevin(MALA)算法是一种采样算法,其通过结合关于目标密度的对数的梯度的信息来进行局部移动。本文研究了无穷维希尔伯特空间上一类自然目标测度上MALA的有效性。这些自然的措施有密度相对于一个高斯随机场的措施,并出现在许多应用,如贝叶斯非参数统计和理论的条件扩散。我们证明,开始在平稳性,一个适当的插值和缩放版本的马尔可夫链对应MALA收敛到一个无限维扩散过程。我们的研究结果意味着,在平稳性,MALA算法适用于N维近似的目标将采取$\mathcal{O}(N^{1/3})$步骤,探索不变的措施,比较有利的随机游动大都会,最近被证明需要$\mathcal{O}(N)$步骤时,适用于同一类问题。
2012-11-28 math.PR math.ST stat.CO
A sharp uniform-in-time error estimate for Stochastic Gradient Langevin Dynamics
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究针对采样算法SGLD,在温和假设下推导得到其迭代与朗之万扩散间KL散度的O(η²)时间一致误差界,进一步得到不变测度距离的O(η)界,显著优于现有分析结果。
2025-03-19 cs.LG math.PR stat.ML
Sampling and estimation on manifolds using the Langevin diffusion
University of Nottingham(诺丁汉大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文提出了一种在流形上使用兰格vin扩散进行采样和估计的方法,推导了误差界并验证了其在不同曲率流形上的实用性。
2025-04-26 cs.NA math.NA math.PR
Fast Convergence for Langevin Diffusion with Manifold Structure
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文研究了从p(x)\propto e^{-βf(x)}分布中抽样的问题,其中f的值和梯度是可以查询的.这种访问f的模式在出现此类问题的场景中是自然的,例如从参数贝叶斯模型中的后验样本中进行采样。经典的结果表明,自然的随机游动,朗之万扩散,混合迅速时,f是凸的。不幸的是,即使是在简单的例子中,上面列出的应用程序也需要处理非凸函数f--从p采样通常需要指数数量的查询。在本文中,我们关注与现代机器学习应用相关的非凸性的一个方面:函数f中存在不变性(对称性),因此分布p将具有等概率的点流形。首先,我们给出了一个配方,证明混合的时间界限朗之万扩散作为这些流形的几何形状的函数。其次,我们将我们的论点专门用于经典的矩阵分解类贝叶斯推理问题,其中我们得到低秩矩阵的噪声测量A(XX^T),X \in R^{d \times k},即f(X)= \|A(XX^T)-b\^2_2,X \in R^{d \times k},β是噪声方差的倒数。这样的函数f在正交变换下是不变的,并且包括像矩阵因式分解、感测、完成这样的问题。除了采样,朗之万动力学是研究随机梯度下降的流行玩具模型。沿着这些思路,我们相信我们的工作是理解SGD如何表现的重要的第一步,当在参数空间中具有高度对称性时,产生相同的输出。
2020-09-21 cs.DS cs.LG math.PR
Fast and Robust Diffusion Posterior Sampling for MR Image Reconstruction Using the Preconditioned Unadjusted Langevin Algorithm
Institute of Biomedical Imaging, Graz University of Technology, Graz, Austria;Department of Radiology, Boston Children's Hospital, Harvard Medical School, Boston, USA;Chandra Family Department of Electrical Engineering, University of Texas at Austin, USA;Department of Diagnostic Medicine, Dell Medical School, University of Texas at Austin, USA
针对MR图像重建中扩散后验采样速度慢和参数调优问题,提出基于预条件未调整朗之万算法的精确似然方法,实现快速收敛且无需调参的鲁棒采样。
2026-04-21 cs.CV cs.LG math.PR
Essential m-dissipativity and hypocoercivity of Langevin dynamics with multiplicative noise
我们提供了一个完整的阐述$L^2$ -希尔伯特空间hypovivity定理的退化Langevin动力学与乘性噪声,研究的长期行为的强连续压缩半群解决抽象柯西问题的相关向后Kolmogorov算子。Dolbeault,Mouhot和Schmeiser在相应的Fokker-Planck框架下证明了具有常数扩散矩阵的Langevin动力学的假设性,Grothaus和Stilgenbauer在Kolmogorov向后设置下证明了该假设性。我们将这些结果推广到弱可微的扩散系数矩阵,在相应的随机微分方程中引入乘性噪声。收敛的收敛速率是根据这些系数的选择和给出外力的势显式计算的。为了得到抽象Cauchy问题的解,我们首先利用Bogachev,Krylov和Röckner的椭圆正则性结果和技巧证明了希尔伯特空间上非退化椭圆Dirichlet算子的本质自伴性.利用算子扰动理论得到了Kolmogorov算子的本质m-耗散性,推广了Conrad和Grothaus的m-耗散性结果.我们强调,选择Kolmogorov方法是自然的,广义Dirichlet形式的理论意味着随机表示的Langevin半群的过渡内核的扩散过程提供了一个鞅解的Langevin方程乘性噪声。此外,我们证明了即使是一个弱解是获得这种方式。
2022-05-24 math-ph math.FA math.MP