Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems
本研究将梯度朗之万动力学相关框架拓展至非凸可行域上的非凸优化问题,提出基于反射梯度朗之万动力学的全局优化算法,结合边界反射与诺伊曼边界泊松方程概率表示,得到优于现有凸约束非凸问题方法的收敛速率。
2024-08-13 math.OC math.PR stat.ML
Projected Stochastic Gradient Langevin Algorithms for Constrained Sampling and Non-Convex Learning
Langevin算法是具有加性噪声的梯度下降方法。它们已经在马尔可夫链蒙特卡罗(MCMC)采样,优化和学习中使用了几十年。它们在无约束非凸优化和学习问题中的收敛性在过去几年中得到了广泛的研究。其他工作研究了投影Langevin算法的抽样从对数凹分布限制凸紧集。对于学习和优化,对数凹分布对应于凸损失。在本文中,我们分析了非凸损失的情况下,紧凸约束集和IID外部数据变量。我们将此方法称为投影随机梯度Langevin算法(PSGLA)。我们表明,该算法实现了$O(T^{-1/4}(\log T)^{1/2})$从其目标分布在1-Wasserstein距离的偏差。对于优化和学习,我们表明,该算法实现$ε$ -次优的解决方案,平均而言,只要它运行的时间是多项式在$ε^{-1}$和稍微超指数的问题维度。
2020-12-22 cs.LG math.OC math.PR
Couplings, gradient estimates and logarithmic Sobolev inequality for Langevin bridges
在本文中,我们建立定量结果的朗之万动力学和相关的互惠过程的桥梁。它们包括桥半群和耦合的梯度估计之间的等价性,比较原则,不同Langevin动力学的桥之间的距离的界限,以及桥措施的对数Sobolev不等式。讨论了桥的不变测度的存在性,并证明了收敛到该不变测度的定量界。所有的结果都是基于一个看似新的表达式的漂移的桥梁的倒数特性,其中,粗略地说,量化的“平均加速度”的桥梁。
2016-12-28 math.PR
Nonasymptotic estimates for Stochastic Gradient Langevin Dynamics under local conditions in nonconvex optimization
Nanyang Technological University(南洋理工大学);Imperial College London(伦敦帝国理工学院);The Alan Turing Institute(艾伦·图灵研究所);The University of Warwick(华威大学);The University of Edinburgh(爱丁堡大学);National Technical University of Athens(雅典国立技术大学)
本文研究了非凸优化问题中抽样算法的非渐近性。特别是,我们获得非渐近估计Wasserstein-1和Wasserstein-2距离的一类流行的算法称为随机梯度Langevin动力学(SGLD)。此外,上述Wasserstein-2收敛结果可以应用于建立预期超额风险的非渐近误差界。最重要的是,这些结果是在局部利普希茨条件和局部耗散性条件下得到的,在该条件下,我们去除了数据流中的一致依赖性。我们通过变分推理和指数跟踪优化的例子说明了这种放松的重要性。
2022-10-14 cs.LG math.PR math.ST
Non-asymptotic analysis of Langevin-type Monte Carlo algorithms
本文利用Liptser–Shiryaev理论与Poincaré不等式建立Langevin型采样算法与Gibbs分布间2-Wasserstein距离的非渐近上界,并提出适用于非凸、非光滑势函数的球形平滑算法。
2024-02-29 math.PR math.ST stat.ML
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
随机梯度Langevin动力学是解决采样问题和非凸优化问题的最基本算法之一,出现在机器学习的许多应用中。特别是,其方差减少的版本,现在已经获得了特别的关注。在本文中,我们研究这类的两个变种,即随机方差约化梯度Langevin动力学和随机递归梯度Langevin动力学。我们证明了他们的收敛到目标分布的KL-发散光滑性和Log-Sobolev不等式的唯一假设下,这些算法比以前的作品中使用的条件较弱。将批次大小和内环长度设置为$\sqrt{n}$时,实现$ε$精度的梯度复杂度为$\tilde{O}((n+dn^{1/2}ε^{-1})γ^2 L^2α^{-2})$,这是对之前任何分析的改进。我们还展示了我们的结果在非凸优化中的一些重要应用。
2022-11-19 cs.LG math.PR stat.ML
Non-convex learning via Stochastic Gradient Langevin Dynamics: a nonasymptotic analysis
University of Illinois(伊利诺伊大学);University of Pennsylvania(宾夕法尼亚大学);Simons Institute(西蒙斯研究所)
随机梯度朗之万动力学(SGLD)是随机梯度下降的一个流行变体,其中适当缩放的各向同性高斯噪声被添加到每次迭代的梯度的无偏估计中。这种适度的变化允许SGLD逃避局部极小值,并足以保证渐近收敛到足够规则的非凸目标的全局极小值(Gelfand和Mitter,1991)。目前的工作提供了一个非渐近分析的背景下,非凸学习问题,给有限的时间保证SGLD找到近似最小的经验和人口的风险。在渐近设置中,我们的分析将离散时间SGLD马尔可夫链与连续时间扩散过程联系起来。一个新的工具,驱动的结果是使用加权运输成本不等式,以量化的收敛速度的SGLD到一个平稳的分布在欧几里德$2$ -Wasserstein距离。
2017-06-04 cs.LG math.OC math.PR
New Langevin and Gradient Thermostats for Rigid Body Dynamics
University of Leicester(莱斯特大学);Imperial College(帝国理工学院);University of Nottingham(诺丁汉大学)
本文提出两种新热浴用于刚体动力学,通过四元数表示旋转,并设计了三种 Langevin 热浴和一种梯度热浴的数值积分器,分析了其精度和效率。
2015-06-11 cs.NA math.NA math.PR
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);National Technical University of Athens(雅典国立技术大学)
在这篇文章中,我们考虑从Hamilton设置的对数凹分布采样,而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形(驯服)欧拉计划,从目标措施的样本,并提供非渐近2-Wasserstein距离界限之间的法律的过程中,每个算法和目标措施。最后,我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
A sharp uniform-in-time error estimate for Stochastic Gradient Langevin Dynamics
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究针对采样算法SGLD,在温和假设下推导得到其迭代与朗之万扩散间KL散度的O(η²)时间一致误差界,进一步得到不变测度距离的O(η)界,显著优于现有分析结果。
2025-03-19 cs.LG math.PR stat.ML
Random Reshuffling for Stochastic Gradient Langevin Dynamics
Universitat Jaume I(豪梅一世大学)
本文提出通过随机重排策略改进随机梯度 Langevin 动力学算法的性能,通过理论和实验证明其在采样任务中的有效性。
2025-12-14 cs.NA math.NA math.PR
Muon meets Tamed Langevin: Momentum Preconditioning beyond Convex and gradient-Lipschitz Potentials
University of Edinburgh(爱丁堡大学);National Technical University of Athens(雅典国立技术大学);Athena/Archimedes Research Centre(Athena/Archimedes 研究中心)
针对非凸且非梯度-Lipschitz 势的矩阵空间 Gibbs 采样,提出非二次动能驱动的欠阻尼 Langevin 系统,实现动量预处理,证明测度不变性与指数收敛,并保证离散化算法的稳定性。
2026-10-02 cs.LG math.OC math.PR
Taming neural networks with TUSLA: Non-convex learning via adaptive stochastic gradient Langevin algorithms
Alfréd Rényi Institute of Mathematics(阿尔弗雷德·雷尼数学研究所);The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);National Technical University of Athens(雅典国立技术大学)
人工神经网络(ANN)通常是高度非线性的系统,其经由其相关联的非凸损失函数的优化而被精细地调谐。在许多情况下,任何这样的损失函数的梯度具有超线性增长,使得基于欧拉数值方案的广泛接受的(随机)梯度下降方法的使用成为问题。我们提供了一个新的学习算法的基础上适当构造的流行的随机梯度Langevin动力学(SGLD),这是所谓的驯服的未调整的随机Langevin算法(TUSLA)的变体。我们还提供了一个非渐近分析的新算法的收敛特性的背景下,非凸学习问题的使用人工神经网络。因此,我们提供有限的时间保证TUSLA找到经验和人口风险的近似最小化。TUSLA算法的根源是基于\citet{tamed-euler, SabanisAoAP}中开发的超线性系数扩散过程的驯服技术和\citet{tula}中的MCMC算法。数值实验证实了理论研究结果,并说明需要使用的新算法相比,香草SGLD的框架内的人工神经网络。
2023-01-15 cs.LG math.OC math.PR
Theoretical guarantees for stochastic gradient Langevin dynamics
College of Computing and Data Science Nanyang Technological University(南洋理工大学计算与数据科学学院);Department of Statistics University of Warwick(华威大学统计学系)
本文证明随机梯度Langevin动力学在Wasserstein距离下的渐近偏差界,强凸与Lipschitz条件下,四阶矩得$h$阶界,二阶矩仅得$h^{1/2}$阶,并指出二阶矩不足以保证均匀$h$阶界。
2026-10-02 cs.NA math.NA math.PR
Dimension-free convergence rates for gradient Langevin dynamics in RKHS
CREST, ENSAE, IP Paris(巴黎理工学院国立统计与经济管理学院经济与统计研究中心);The University of Tokyo(东京大学);INRIA, Université Paris-Saclay(巴黎萨克雷大学法国国家信息与自动化研究所);Riken AIP(理化学研究所先进智能项目中心)
梯度朗之万动力学(GLD)和随机GLD(SGLD)最近引起了相当大的关注,作为一种在非凸设置中提供收敛保证的方式。然而,已知的速率随着空间的维度呈指数增长。在这项工作中,我们提供了一个收敛性分析GLD和SGLD的优化空间是一个无限维的希尔伯特空间。更准确地说,我们推导出非渐近的,无量纲的收敛速度GLD/SGLD进行正则化的非凸优化在再生核希尔伯特空间。其中,收敛性分析依赖于一个随机微分方程,其离散时间Galerkin近似和相关的马尔可夫链的几何遍历性的属性。
2020-03-26 cs.LG math.PR stat.ML
Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling
从后验分布抽样的贝叶斯方法由于其精确显示模型拟合的不确定性的能力而变得越来越流行。基于迭代随机采样和后验评估的经典方法,如Metropolis-Hastings,已知具有期望的长期混合特性,但是收敛缓慢。基于梯度的方法,如朗之万动力学(及其随机梯度对应物)表现出良好的维数依赖性和对数凹的快速混合时间,并“接近”对数凹分布,但也有很长的逃逸时间从局部极小值。许多当代的应用,如贝叶斯神经网络都是高维和高度多模态的。在本文中,我们调查的性能的混合大都市和Langevin采样方法类似于跳跃扩散的范围内的合成和真实的数据,表明仔细校准的混合采样跳跃与梯度为基础的链显着优于纯梯度为基础的或基于采样的计划。
2022-11-02 math.PR stat.ML
Quantitative hydrodynamic limits of the Langevin dynamics for gradient interface models
本文通过定量均匀化方法,研究了梯度界面模型Langevin动力学的流体动力学极限,证明了表面张力正则性、轨迹估计及涨落耗散关系,并指出方法可推广至退化凸势情形。
2023-12-28 math-ph math.MP math.PR
User-friendly guarantees for the Langevin Monte Carlo with inaccurate gradient
CREST, ENSAE(CREST,法国国立统计与经济管理学校)
本文针对光滑强对数凹分布的采样问题,为梯度不精确情形下的一阶和二阶朗之万蒙特卡罗方法建立了Wasserstein-2误差上界,其中变步长一阶LMC具有无时间范围依赖的优点,二阶LMC在病态条件下优于一阶方法。
2024-02-23 cs.LG math.PR math.ST
A trajectorial approach to the gradient flow properties of Langevin-Smoluchowski diffusions
我们重新审视了熵梯度流的保守扩散的变分表征,并提供了一个基于随机分析的概率解释。乔丹、金德勒和奥托证明,对于朗之万-斯莫鲁霍夫斯基型扩散,福克-普朗克概率密度流使相对熵耗散率最大化,相对熵耗散率由具有有限二阶矩的概率测度在环境空间中移动的距离来测量,以二次瓦瑟斯坦度量表示。我们获得新的,随机过程的版本,这些功能,有效的沿几乎每一个轨迹的扩散运动在向后的时间方向,使用一个非常直接的扰动分析。通过平均我们的结果相对于道路空间上的基本措施,我们建立了最大的熵耗散率沿福克-普朗克流和测量准确的偏差,从这个最大值对应于任何给定的扰动。作为我们的方法的奖金,我们得到的HWI不等式有关相对熵(H),Wasserstein距离(W)和相对Fisher信息(I)。
2020-08-20 math.PR
Decentralized Proximal Stochastic Gradient Langevin Dynamics
本文提出去中心化近端随机梯度兰格朗日动力学算法,用于在凸域内采样对数凹概率分布。通过共享的近端正则化约束,保证更新一致性。算法在2-瓦瑟斯坦距离下具有非渐近收敛性,并在合成和真实数据集上验证了其有效性。
2026-05-01 cs.LG math.PR stat.ML
Optimal friction matrix for underdamped Langevin sampling
本文提出通过渐近方差关于摩擦系数的梯度来系统优化欠阻尼 Langevin 采样的摩擦矩阵,利用 Poisson 方程解和切向过程短时模拟近似该梯度,并在贝叶斯后验均值估计中验证了方差降低。
2021-11-30 math.PR stat.CO
Convergence Of The Unadjusted Langevin Algorithm For Discontinuous Gradients
本文研究位势梯度不连续时未调整朗之万算法的非渐近收敛性,证明在强对数凸且流形上不连续位势下步长偏差阶为1/2,在仅满足增长界条件下为1/4,首次在无界时间区间上统一了不连续系数SDE数值方法与ULA偏差分析。
2023-12-04 math.PR
Statistical Error of Numerical Integrators for Underdamped Langevin Dynamics with Deterministic And Stochastic Gradients
提出基于离散 Poisson 方程的统计误差分析框架,刻画确定性及随机梯度欠阻尼 Langevin 数值积分器在有限迭代下的均方误差阶数,并放宽时间步长约束。
2024-05-11 cs.NA math.NA math.PR
Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms
FinTech Thrust, Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)金融科技方向);School of Mathematical Science, Fudan University(复旦大学数学学院);Department of Mathematics, Florida State University(佛罗里达州立大学数学系)
研究随机梯度欧拉-丸山估计器在广义非可逆朗之万动力学中的前导阶波动,证明在消失步长下中心极限定理,并给出非对称扰动严格降低波动常数的充分条件。
2026-06-27 cs.LG math.PR stat.ML
The Langevin Monte Carlo algorithm in the non-smooth log-concave case
证明了当势函数是一个在其定义域上全局Lipschitz的凸函数,通常是任意凸集上的有限个仿射函数的最大值时,Langevin Monte Carlo算法收敛的非渐近多项式界.特别是潜在的不被假定为梯度Lipschitz,与大多数现有的作品的主题。
2022-01-07 cs.DS math.PR math.ST
Deterministic Denominator Design for Localized Tamed Stochastic Gradient Langevin Dynamics
School of Mathematics and Statistics, Yunnan University(云南大学数学与统计学院)
针对驯化随机梯度朗之万动力学中分母设计问题,提出基于代理分数和分位数的确定性分母方法,避免随机分母的均值偏移,实验表明其性能接近理想情况。
2026-07-07 math.PR stat.ME stat.ML
kTULA: A Langevin sampling algorithm with improved KL bounds under super-linear log-gradients
Archimedes/Athena Research Centre & National Technical University of Athens(Archimedes/Athena研究机构 & 国家技术大学雅典);School of Mathematics, The University of Edinburgh(数学系,爱丁堡大学);The Alan Turing Institute, London, UK(艾伦·图灵研究所,伦敦,英国);National Technical University of Athens(国家技术大学雅典);Financial Technology Thrust, Society Hub, The Hong Kong University of Science and Technology (Guangzhou)(金融科技 thrust,社会枢纽,香港科技大学(广州))
针对深度学习中对数梯度超线性增长且不满足全局Lipschitz条件的采样问题,本文提出驯化Langevin算法kTULA,在KL散度下取得速率$2-\overlineε$的改进非渐近收敛界,并应用于双阱分布采样和神经网络优化。
2025-06-05 cs.LG math.PR math.ST
A constrained Wasserstein gradient flow for mean-field Langevin dynamics
Univ Angers(昂热大学);CNRS(法国国家科学研究中心);LAREMA(昂热数学与应用数学实验室);SFR MATHSTIC(数学与科学计算联合研究结构)
本文研究约束平均场Langevin动力学的Wasserstein梯度流,证明其适定性、耗散性、指数收敛及传播混沌,并给出具体应用。
2026-10-08 math.PR
Stochastic gradient descent and fast relaxation to thermodynamic equilibrium: a stochastic control approach
研究了受线性反馈力控制的欠阻尼Langevin方程的平衡收敛性。具体而言,我们感兴趣的是采样可能的多峰不变概率分布的Langevin系统在小噪声(或低温),其中的动态可以很容易地被困在亚稳态子集的相空间。我们遵循[陈等人,J.Math.Phys.56,113302,2015],并考虑在高温下模拟的朗之万方程,其中控制起平衡附加噪声的摩擦的作用,以便在较低温度下恢复原始不变测度。我们讨论了不同的限制,温度比趋于无穷大,并证明收敛到一个极限动态。事实证明,取决于是否较低(“目标”)或较高(“模拟”)的温度是固定的,受控动态收敛到过阻尼朗之万方程或确定性梯度流。这意味着(a)遍历极限和大温度分离极限一般不交换,以及(b)不可能通过使温度分离越来越大来加速收敛到遍历极限的速度。我们讨论了这些观察的影响,从分子动力学的随机优化算法和增强的采样方案的角度。
2021-03-08 math.OC math.PR
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne(克莱蒙奥弗涅大学);University of Macau(澳门大学);UM Zhuhai Research Institute(澳门大学珠海研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing International Center for Mathematical Research (BICMR), Peking University(北京大学北京国际数学研究中心)
针对带动量的 SGD 与欠阻尼 Langevin 扩散的关系,本文在 1-Wasserstein 和全变差距离下建立了二者的定量误差估计。
2024-10-22 cs.LG math.PR stat.ML
The Riemannian Langevin equation and conic programs
扩散极限为机器学习中使用的随机梯度下降(SGD)方案的渐近分析提供了一个框架。我们考虑另一个框架,黎曼朗之万方程(RLE),它将R^n中的经典平衡范式推广到黎曼流形(M^n,g)。这个方程最微妙的部分是对(M^n,g)上布朗运动的描述。给出了一些基本锥的显式公式。
2023-02-22 math.PR
A Weak Overdamped Limit Theorem for Langevin Processes
本文证明了Langevin过程在过阻尼渐近下的依分布收敛。证明依赖于经典的扰动检验函数(或校正器)方法,这是用来显示紧的道路空间,并确定提取的极限与鞅问题。假设势能梯度连续,并对初始动能进行适度控制,结果成立。
2019-03-08 math.PR
Langevin dynamics for the probability of finite state Markov processes
本文提出用Wasserstein共同噪声扰动有限状态马尔可夫过程,引入随机可逆马尔可夫过程,并推导其泛函Fokker-Planck方程,其平稳分布为熵泛函的吉布斯分布。
2024-09-19 math.OC math.PR
Global contractivity for Langevin dynamics with distribution-dependent forces and uniform in time propagation of chaos
研究了经典的二阶Langevin动力学和McKean-Vlasov型的非线性二阶Langevin动力学的长时间行为。通过耦合的方法,我们建立了一个明确的无量纲率的两两弱相互作用的$L^1$ Wasserstein距离的整体收缩。对于$κ$ -强凸势所对应的外力,在某些情况下得到了$\mathcal{O}(\sqrtκ)$级的收缩率.但是收缩的结果并不局限于这些力。相反,它包括多阱势和非梯度型外力以及非梯度型排斥和吸引相互作用力。证明是基于一个新的距离函数,它结合了两个收缩结果大,小的距离,并使用耦合的方法调整的距离。通过应用一个分量适应的耦合,我们提供了统一的时间传播的混沌边界相应的平均场粒子系统。
2022-06-07 math.PR
Langevin dynamics based algorithm e-TH$\varepsilon$O POULA for stochastic optimization problems with discontinuous stochastic gradient
UNIST(蔚山科学技术院);Nanyang Technological University(南洋理工大学);The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(阿兰·图灵研究所);National Technical University of Athens(雅典国家技术大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出基于Langevin动力学的e-TH$\varepsilon$O POULA算法,用于求解具有不连续随机梯度的优化问题,建立了非渐近误差界和期望超额风险估计,并在金融保险领域的三个应用中验证了其优于SGLD、TUSLA、ADAM和AMSGrad的性能。
2024-06-30 cs.LG cs.NA math.NA
On the computational cost of Stochastic Gradient Langevin Dynamics
School of Mathematical and Computer Sciences, Heriot-Watt University(赫瑞-瓦特大学数学与计算机科学学院);School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);The Alan Turing Institute(艾伦·图灵研究所);Department of Mathematics and Statistics, University of Strathclyde(思克莱德大学数学与统计系)
本文研究了随机梯度Langevin动力学(SGLD)与Euler-Maruyama方法在有限和漂移随机微分方程中的计算成本权衡,推导了复杂度估计,指出SGLD在大多数参数区域更优,并在小数据、激进子采样区域EM更优,转变尺度为m与ε^{-1}成正比。
2026-09-17 cs.NA math.NA math.PR
Flatness-Aware Stochastic Gradient Langevin Dynamics
UNIST InnoCORE AI-Space Solar Initiative, Ulsan National Institute of Science and Technology (UNIST), Ulsan, 44919, Republic of Korea(UNIST InnoCORE AI-Space Solar Initiative,乌山国立科学与技术研究所(UNIST),乌山,44919,韩国);Artificial Intelligence Graduate School, Ulsan National Institute of Science and Technology (UNIST), Ulsan, 44919, Republic of Korea(人工智能研究生院,乌山国立科学与技术研究所(UNIST),乌山,44919,韩国);Department of Industrial Engineering, Ulsan National Institute of Science and Technology (UNIST), Ulsan, 44919, Republic of Korea(工业工程系,乌山国立科学与技术研究所(UNIST),乌山,44919,韩国);School of Mathematics, University of Edinburgh, Edinburgh, United Kingdom(爱丁堡大学数学学院,爱丁堡,英国);Department of Mathematics, National Technical University of Athens, Athens, Greece(雅典国家技术大学数学系,雅典,希腊);Archimedes, Athena Research and Innovation Centre, Marousi, Greece(Archimedes,雅典研究与创新中心,Marousi,希腊)
提出平坦感知随机梯度Langevin动力学(fSGLD),通过理论规定的噪声尺度与逆温度耦合,在保持计算效率的同时偏向平坦盆地,并提供非渐近理论分析和实验验证。
2026-05-27 cs.LG math.OC math.PR
Fisher information dissipation for time inhomogeneous stochastic differential equations
Florida State University(佛罗里达州立大学);University of California, Los Angeles(加州大学洛杉矶分校);University of South Carolina(南卡罗来纳大学)
该研究针对时间非齐次变系数随机微分方程开展Lyapunov收敛分析,通过修正梯度流表述、选取时间依赖相对Fisher信息泛函并提出Hessian矩阵条件,证明了三类典型Langevin动力学的收敛性并通过数值算例验证。
2024-02-01 cs.LG math.PR stat.ML
Mean-field Langevin System, Optimal Control and Deep Neural Networks
Université Paris-Dauphine, PSL Research University(巴黎文理研究大学巴黎多芬纳大学)
本文研究了正则松弛最优控制问题,特别是当控制变量是大维数时,我们所关心的问题。我们引入了一个平均场Langevin方程组,在较弱的条件下证明了其不变测度是初始问题的最优控制。因此,这个过程系统可以看作是计算最优控制的连续时间数值算法。作为一个应用,这一结果支持了随机梯度下降算法对广泛的一类深度神经网络的可解性。
2019-10-03 cs.LG math.OC math.PR
Global Convergence of Third-Order Langevin Dynamics for Non-Convex Optimization via Simulated Annealing
Fudan University(复旦大学);Florida State University(佛罗里达州立大学)
本研究提出三阶朗之万动力学结合模拟退火实现非凸优化全局收敛,通过扭曲熵和三次端点估计保证速率,数值实验显示优于UBU和过阻尼方法。
2026-10-02 cs.NA math.NA math.OC
Metastable transitions in inertial Langevin systems: what can be different from the overdamped case?
Georgia Institute of Technology(佐治亚理工学院)
研究了惯性兰格朗日系统中亚稳态转变的特性,发现其路径几何和全局行为与过阻尼极限有显著差异,通过时间反向动力学重写自由能和改进弦方法揭示了非梯度系统的瞬子寻找方法。
2018-05-25 cond-mat.stat-mech cs.NA math.DS
Ergodicity of the underdamped mean-field Langevin dynamics
Université Paris-Saclay(巴黎萨克雷大学);Université Paris-Dauphine, PSL(巴黎多芬大学,PSL大学);The Chinese University of Hong Kong(香港中文大学);Vienna University of Technology(维也纳工业大学)
本文研究欠阻尼平均场朗之万方程的遍历性,给出一般收敛与指数收敛速率结果,并将其应用于过参数化优化中哈密顿梯度下降算法及GAN训练。
2023-11-25 cs.LG math.OC math.PR
Contractive kinetic Langevin samplers beyond global Lipschitz continuity
Archimedes / Athena Research Centre(阿尔基米德/雅典娜研究中心);National Technical University of Athens(雅典国立技术大学);Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国信息与自动化研究所、格勒诺布尔理工学院、信息实验室)
本文提出了一种在全局Lipschitz连续性之外的收缩动能兰格vin采样方法,通过驯化方案实现非渐近的收敛性界。
2025-12-09 cs.NA math.NA math.PR
Langevin Thermostat for Rigid Body Dynamics
University of Leicester(莱斯特大学)
提出一种基于四元数表示和朗之万动力学的等温刚体模拟方法,结合平移自由度的朗之万或梯度动力学正确采样NVT分布,并设计了准辛二次数值积分器,在TIP4P水模型上测试了性能。
2009-01-29 cs.NA math.NA math.PR
Convergence in total variation for the kinetic Langevin algorithm
本文针对满足 Poincaré 不等式且势函数梯度 Lipschitz 的高维目标测度,证明动力学 Langevin 算法的非渐近全变差收敛,并将维数依赖由 $O(n)$ 改进至 $O(\sqrt n)$。
2025-03-13 cs.CC math.AP math.PR
Projected Langevin dynamics and a gradient flow for entropic optimal transport
本文提出一种投影 Langevin 动力学,用于在给定边际分布的耦合集合上采样熵正则最优传输,证明其指数收敛并刻画其 Wasserstein 梯度流结构。
2023-09-15 math.AP math.PR stat.ML
Projected Langevin Monte Carlo algorithms in non-convex and super-linear setting
本文提出了一种处理非凸势能与超线性梯度的显式投影Langevin Monte Carlo算法,推导了其在总变差距离下的非渐近误差界限,并利用Malliavin calculus改进了经典LMC在全局Lipschitz条件下的收敛阶。
2025-01-29 cs.NA math.NA math.PR