Mixing Times and Privacy Analysis for the Projected Langevin Algorithm under a Modulus of Continuity
Institute for Mathematical；School of Engineering, Pontificia Universidad Cat\'olica de Chile, Vicu\ na Mackenna 4860, Santiago, Chile
本文研究了投影拉格朗日算法的混合时间及噪声SGD的隐私曲线，通过扩展PABI框架，得出了新的混合时间界和隐私曲线上界，适用于非光滑凸、弱光滑及强耗散等情形。
2026-03-02 cs.LG math.OC math.ST
Stochastic Gradient Langevin with Delayed Gradients
Czech Technical University in Prague（布拉格捷克理工大学）
随机梯度朗之万动力学（SGLD）通过向随机梯度迭代中添加噪声，确保了对对数凹后验分布进行采样时在测量上的收敛性。考虑到许多实际问题的规模，在多个异步运行的处理器上并行化是减少随机优化算法的端到端计算时间的流行策略。在本文中，我们是第一个调查异步计算的效果，特别是随机Langevin梯度延迟迭代的评价，在测量上的收敛。为此，我们利用最近的结果建模朗之万动力学作为解决凸优化问题的措施空间。我们表明，收敛速度的措施是没有显着影响的延迟梯度信息用于计算所造成的错误，这表明在墙上时钟时间加速显着的潜力。我们证实了我们的理论结果与一些实际问题的数值实验。
2020-06-12 cs.LG stat.ML
Stochastic Proximal Langevin Algorithm: Potential Splitting and Nonasymptotic Rates
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
提出了一种新的对数凹分布抽样算法--随机邻近朗之万算法（SPLA）。我们的方法是一个推广的Langevin算法的潜力表示为一个随机光滑项和多个随机非光滑项的总和。在每次迭代中，我们的分裂技术只需要访问一个随机梯度的光滑项和一个随机邻近算子的每个非光滑项。我们建立了光滑项的凸性和强凸性下的非渐近次线性和线性收敛速度，分别用库尔贝克-莱布勒散度和瓦瑟斯坦距离表示。我们说明了我们的抽样技术的效率，通过数值模拟贝叶斯学习任务。
2020-06-16 cs.LG math.OC math.ST
Exponential ergodicity of mirror-Langevin diffusions
Massachusetts Institute of Technology（麻省理工学院）
受病态对数凹分布的采样问题的启发，我们给出了Zhang et al.（2020）中介绍的镜像朗之万扩散的干净的非渐近收敛分析。作为这个框架的一个特殊情况下，我们提出了一类称为牛顿-朗之万扩散，并证明了他们收敛到平稳指数快速的速度，不仅是无量纲的，而且也没有依赖于目标分布。我们给出了一个应用程序的这一结果的问题，从均匀分布的凸体上使用的策略启发的邻域点方法的采样。我们的一般方法遵循最近的趋势，链接采样和优化，并突出了卡方分歧的作用。特别是，它产生了新的结果的收敛香草Langevin扩散Wasserstein距离。
2020-06-02 cs.LG math.ST stat.TH
Constrained Langevin Algorithms with L-mixing External Random Variables
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
朗之万算法是一种用加性噪声增强的梯度下降方法，广泛应用于马尔可夫链蒙特卡罗（MCMC）采样、优化和机器学习。近年来，非凸学习的Langevin算法的非渐近分析得到了广泛的研究。对于具有IID数据变量的紧致凸域上的非凸损失的约束问题，投影Langevin算法在$1$ -Wasserstein距离中实现了$O(T^{-1/4} (\log T)^{1/2})$与其目标分布的偏差[27]。在本文中，我们得到了$O(T^{-1/2} \log T)$在$1$ -Wasserstein距离的偏差非凸损失与$L$ -混合数据变量和多面体的约束（不一定是有界的）。这改进了以前的约束问题的界限，并匹配最知名的无约束问题的界限。
2023-01-07 cs.LG math.OC math.PR
Wasserstein Control of Mirror Langevin Monte Carlo
École Normale Supérieure / Université PSL（巴黎高等师范学院/巴黎文理研究大学）；Normandie Univ, ENSICAEN, UNICAEN, CNRS, GREYC（诺曼底大学、法国国立高等凯恩工程师学院、凯恩大学、法国国家科学研究中心、GREYC实验室）；Heriot-Watt University（赫瑞-瓦特大学）
离散朗之万扩散是一种有效的蒙特卡罗方法，用于从对数Lipschitz光滑和（强）对数凹的高维目标密度采样。特别是，欧几里德Langevin蒙特卡罗抽样算法最近受到了很大的关注，导致详细了解其非渐近收敛的性质和作用，平滑度和对数在收敛速度发挥。不具有这些规律性的分布可以通过考虑黎曼朗之万扩散来解决，该扩散具有捕获对数密度的局部几何的度量。然而，从这种黎曼朗之万扩散的离散化导出的蒙特卡罗算法是出了名的难以分析。在本文中，我们考虑朗之万扩散的Hessian型流形和研究的离散化是密切相关的镜像下降计划。我们首次建立了一个非渐近上界的采样误差所产生的Hessian黎曼Langevin蒙特卡罗算法。这个界限是根据一个Wasserstein距离引起的黎曼度量地面成本捕获海森结构和密切相关的自和谐的条件。例如，上界意味着迭代朝着目标密度周围的Wasserstein球收缩，该目标密度的半径是明确的。我们的理论恢复现有的欧几里德的结果，可以应付各种各样的海森度量高度非平坦的几何形状。
2020-02-11 cs.LG math.PR math.ST
Stochastic Runge-Kutta Accelerates Langevin Monte Carlo and Beyond
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Microsoft Research（微软研究院）
使用马尔可夫链蒙特卡罗方法进行采样通常相当于使用数值积分对某些连续时间动态进行离散化。在本文中，我们建立了采样算法的收敛速度的离散光滑伊藤扩散表现出快速Wasserstein- $2$收缩的基础上，局部偏差性质的集成计划。特别地，我们研究了一种采样算法，该算法是用随机龙格-库塔方法离散过阻尼Langevin扩散而构造的。对于光滑到一定阶的强凸势，其迭代在$\tilde{\mathcal{O}}(dε^{-2/3})$迭代中收敛到瓦瑟斯坦距离的目标分布.这改进了基于过阻尼Langevin方程的强对数凹采样的最佳速率，仅使用梯度预言而不进行调整。此外，我们扩展我们的分析随机龙格-库塔方法的均匀耗散扩散可能非凸的潜力，并表明他们实现更好的速率相比，欧拉-丸山计划的依赖性公差$ε$。数值研究表明，这些算法具有更好的稳定性和更小的渐近误差。
2020-02-01 cs.LG stat.ML
Laplacian Smoothing Stochastic Gradient Markov Chain Monte Carlo
University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度朗之万动力学（SGLD）算法作为一种重要的马尔可夫链蒙特卡罗（MCMC）方法，在贝叶斯学习和后验抽样方面取得了巨大的成功。然而，SGLD通常遭受缓慢的收敛速度，由于其由随机梯度引起的大方差。为了缓解这些缺点，我们利用最近开发的拉普拉斯平滑（LS）技术，并提出了一个拉普拉斯平滑随机梯度朗之万动力学（LS-SGLD）算法。我们证明，从对数凹和非对数凹密度采样，LS-SGLD实现严格较小的离散误差在$2$ -Wasserstein距离，虽然它的混合速度可以稍微慢。在人工和真实数据集上的实验验证了我们的理论结果，并证明了LS-SGLD在不同机器学习任务上的优越性能，包括后验采样、贝叶斯逻辑回归和训练贝叶斯卷积神经网络。代码可在\url{https://github.com/BaoWangMath/LS-MCMC}上获得。
2019-11-02 cs.LG cs.NA math.NA
Non-Reversible Langevin Algorithms for Constrained Sampling
University of California, Irvine（加利福尼亚大学欧文分校）；Florida State University（佛罗里达州立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对约束域上目标分布的采样问题，提出带斜反射边界的不可逆朗之万动力学SRNLD及离散化算法SRNLMC，证明其在收敛速率上优于可逆动力学，并通过实验验证了有效性。
2025-04-15 cs.LG math.PR stat.CO
The Langevin Monte Carlo algorithm in the non-smooth log-concave case
证明了当势函数是一个在其定义域上全局Lipschitz的凸函数，通常是任意凸集上的有限个仿射函数的最大值时，Langevin Monte Carlo算法收敛的非渐近多项式界.特别是潜在的不被假定为梯度Lipschitz，与大多数现有的作品的主题。
2022-01-07 cs.DS math.PR math.ST
On sampling from a log-concave density using kinetic Langevin diffusions
ENSAE-CREST（法国国家统计与经济管理学院-应用经济科学研究中心）
朗之万扩散过程及其离散化常用于从目标密度采样。最方便的框架来评估这样一个抽样方案的质量对应于光滑和强对数凹密度定义在$\mathbb R^p$。目前的工作集中在这个框架和研究的动力学朗之万扩散的离散化的基础上的Monte Carlo算法的行为。我们首先证明几何混合动力学朗之万扩散的混合率，这是在过阻尼制度，最佳的条件数的依赖性。然后，我们使用这个结果获得改进的保证，使用动力学朗之万蒙特卡罗方法的采样时，采样的质量是由Wasserstein距离测量。我们还考虑了目标分布的对数密度的Hessian函数是Lipschitz连续的情况。在这种情况下，我们引入了一个新的离散化的动力学朗之万扩散，并证明这导致大幅改善的上界测量Wasserstein距离的采样误差。
2018-12-26 cs.LG math.PR math.ST
Langevin Monte Carlo for strongly log-concave distributions: Randomized midpoint revisited
CREST, ENSAE, IP Paris（巴黎综合理工学院IP Paris、法国国立统计与经济管理学院ENSAE、 Crest统计与经济研究中心）；KAUST（阿卜杜拉国王科技大学）
该研究针对高维大条件数下的强对数凹分布采样问题，再探随机中点离散化方法，推导了动力学朗之万扩散中点法的Wasserstein-2误差非渐近易计算上界，还改进了欧拉离散化的相关误差保证。
2023-06-16 cs.LG math.PR math.ST
Mixing Time of the Proximal Sampler in Relative Fisher Information via Strong Data Processing Inequality
Yale University（耶鲁大学）
本文研究了强对数凹目标分布下 Proximal Sampler 算法的混合时间，通过建立高斯信道的强数据处理不等式，证明了相对 Fisher 信息的指数收敛速率及高精度迭代复杂度保证。
2025-06-28 cs.IT cs.LG math.IT
Matching Multi-Loop Complexities with a Single Loop: Optimal Optimization Stationarity and Best-Known Game Stationarity in Nonconvex--Concave Minimax Optimization
Shanghai University（上海大学）
本文提出单循环投影阻尼外梯度算法，在非凸-凹极小极大优化中同时达到优化与博弈平稳性的最佳已知复杂度，并证明预热版本在优化平稳性上最优。
2026-09-17 cs.LG math.OC stat.ML
Variance reduction for Random Coordinate Descent-Langevin Monte Carlo
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Department of Mathematics（数学系）；Madison, WI 53706（威斯康星州麦迪逊市 53706（注：该地址非机构，此处仅按要求提取原文中明确出现的机构相关内容））
对数凹分布函数的抽样问题是贝叶斯统计和机器学习中的一个核心问题。虽然大多数无梯度方法具有缓慢的收敛速度，但提供快速收敛的Langevin蒙特卡罗（LMC）需要计算梯度。在实践中，人们使用有限差分近似作为替代，该方法在高维中是昂贵的。减少每次迭代中的计算成本的自然策略是利用随机梯度近似，诸如随机坐标下降（RCD）或同时扰动随机逼近（SPSA）。我们通过一个反例表明，盲目地应用RCD并不能在最一般的环境中实现目标。由随机性引起的高方差意味着需要更大数量的迭代，并且这平衡了每次迭代中的节省。然后，我们引入了一个新的方差减少的方法，称为随机坐标平均下降（RCAD），并将其与过阻尼和欠阻尼LMC。这两种方法分别称为RCAD-O-LMC和RCAD-U-LMC。该方法仍然处于随机梯度近似框架中，因此每次迭代的计算成本很低。然而，通过采用RCAD，方差减小，因此该方法在与经典过阻尼和欠阻尼LMC相同的迭代次数内收敛。这导致总体上的计算节省。
2020-10-22 cs.LG math.ST stat.ML
Policy-based Primal-Dual Methods for Concave CMDP with Variance Reduction
Department of Industrial Engineering and Operations Research, UC Berkeley（加州大学伯克利分校工业工程与运筹学系）；Department of Mechanical Engineering, UC Berkeley（加州大学伯克利分校机械工程系）
针对凹约束马尔可夫决策过程，提出方差缩减的原始-对偶策略梯度算法，利用隐藏凹性实现全局收敛，并证明其收敛速率与样本复杂度，通过悲观项实现零约束违反。
2024-05-26 cs.LG math.OC
Fast low-rank estimation by projected gradient descent: General statistical and algorithmic guarantees
University of California, Berkeley（加州大学伯克利分校）
具有秩约束的最优化问题在许多应用中出现，包括矩阵回归、结构PCA、矩阵完备化和矩阵分解问题。一个有吸引力的启发式解决这样的问题是因式分解的低秩矩阵，并运行投影梯度下降的非凸因式分解的最优化问题。这个问题的目标是提供一个一般的理论框架，以了解当这样的方法工作良好，并描述所产生的不动点的性质。我们提供了一组简单的条件下，投影梯度下降，当给定一个合适的初始化，几何收敛到一个统计上有用的解决方案。我们的结果是适用的，即使当初始解是任何区域的局部凸，甚至当问题是全球凹。工作在一个非渐近的框架，我们表明，我们的条件是满足广泛的具体模型，包括矩阵回归，结构PCA，矩阵完成与真正的和量化的意见，矩阵分解，图聚类问题。仿真结果与理论预测吻合良好。
2015-09-10 cs.LG math.ST stat.ML
Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling
从高维分布中采样是统计、工程和科学中的一项基本任务。一种典型的方法是朗之万算法，即，离散朗之万扩散的马尔可夫链。这是梯度下降的采样模拟。尽管被研究了几十年，在多个社区，该算法的紧混合边界仍然没有得到解决，即使在一个有界域上的对数凹分布看似简单的设置。本文完整地刻画了Langevin算法的混合时间在此设置（和其他）中的平稳分布。该混合结果可以与离散化偏置上的任何约束相结合，以便从连续朗之万扩散的平稳分布中采样。通过这种方式，我们理清了朗之万算法的混合和偏差的研究。我们的主要见解是介绍一种技术，从差分隐私文献的抽样文献。这种技术被称为迭代隐私放大，它使用雷尼发散的一个潜在变体，通过最优输运平滑在几何上感知。这给出了最优混合边界的一个简短而简单的证明，并具有几个额外的吸引人的性质。首先，我们的方法删除了其他抽样分析所需的所有不必要的假设。其次，我们的方法统一了许多设置：如果Langevin算法使用投影，随机小批量梯度或强凸势（由此我们的混合时间呈指数级提高），则它可以扩展不变。第三，我们的方法仅通过梯度步骤的收缩性来利用凸性-让人想起凸性在梯度下降的教科书证明中的使用。这样，我们提供了一个新的方法，进一步统一的分析优化和采样算法。
2022-10-31 math.OC math.PR math.ST
Stochastic Langevin Monte Carlo for (weakly) log-concave posterior distributions
ISAE-SUPAERO, Université de Toulouse（图卢兹大学ISAE-高等航空与空间学院）；Toulouse School of Economics (CNRS UMR 5314), Université Toulouse I Capitole（图卢兹第一大学图卢兹经济学院（法国国家科学研究中心 UMR 5314））；Institut Universitaire de France（法国大学研究院）
在本文中，我们研究了一个连续时间版本的随机Langevin蒙特卡罗方法，在[WT 11]中介绍，其中包括一个随机采样步骤内的传统过阻尼Langevin扩散。该方法是机器学习中常用的后验分布采样方法。在我们的工作中，我们将特别关注$n$（产生后验分布的观测数）和$d$（感兴趣的参数存在的环境空间的维数）方面的计算成本。我们推导出我们的分析弱凸框架，这是参数化的帮助下的Kurdyka-Eschojasiewicz（KL）不等式，允许处理消失的曲率设置，这是远远没有那么严格相比，简单的强凸的情况下。我们建立的模拟，以获得一个$\varepsilon$近似（在熵方面）的最后地平线是顺序$( d \log(n)^2 )^{(1+r)^2} [\log^2(\varepsilon^{-1}) + n^2 d^{2(1+r)} \log^{4(1+r)}(n) ]$与泊松亚采样参数$\left(n ( d \log^2(n))^{1+r}\right)^{-1}$，其中参数$r$涉及KL不等式和$0$（强凸的情况下）和$1$（限制拉普拉斯情况）之间变化。
2023-01-08 cs.LG math.PR stat.CO
Dual Iterative Hard Thresholding: From Non-convex Sparse Minimization to Non-smooth Concave Maximization
Rutgers University（罗格斯大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
迭代硬约束保持（IHT）是一类用于优化稀疏约束最小化模型的投影梯度下降方法，具有最好的效率和可扩展性。据我们所知，现有的IHT风格的方法被设计为原始形式的稀疏最小化。它仍然开放，探索对偶理论和算法在这样一个非凸和NP-难的问题设置。在本文中，我们建立了一个对偶理论的稀疏约束最小化与$\ell_2$正则化损失函数，并提出了一个IHT风格的算法对偶最大化。我们的稀疏对偶理论提供了一组充分和必要的条件下，原来的NP-难/非凸问题可以等价地解决在一个对偶制定。提出的对偶IHT算法是一种最大化非光滑对偶目标的超梯度算法。一个有趣的发现是，双IHT的稀疏恢复性能是不变的限制等距属性（RIP），这是所需的几乎所有现有的原始IHT算法没有稀疏松弛。此外，提出了一种随机变形的对偶IHT的大规模随机优化。数值结果表明，双重IHT算法的优越性，最先进的原始IHT风格的算法在模型估计精度和计算效率。
2017-06-21 cs.LG stat.ML
Randomized Midpoint Method for Log-Concave Sampling under Constraints
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Artificial Intelligence Research Institute, Shenzhen MSU-BIT University（深圳MSU-BIT大学人工智能研究院）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）
提出约束域中过阻尼和动能朗之万扩散的随机中点离散化方法，通过投影算子建立统一框架，证明Wasserstein-q距离下的收敛保证并得到近最优下界。
2026-06-17 cs.LG math.PR math.ST
Simulated Tempering Langevin Monte Carlo II: An Improved Proof using Soft Markov Chain Decomposition
Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
贝叶斯机器学习中的一个关键任务是从仅指定到分区函数（即，比例常数）。一个普遍的例子是参数分布中的采样后验，例如潜变量生成模型。然而，采样（甚至非常近似）可能是#P-hard。经典的结果可以追溯到Bakry和Émery（1985）的抽样集中在对数凹分布，并显示一个自然的马尔可夫链称为朗之万扩散混合在多项式时间。然而，所有对数凹分布都是单峰的，而在实践中，感兴趣的分布具有多个模式是非常常见的。在这种情况下，朗之万扩散受到迟钝混合的影响。我们解决这个问题，结合朗之万扩散与模拟回火。其结果是一个马尔可夫链，通过在分布的不同温度之间过渡，混合得更快。我们分析这个马尔可夫链的混合物（强）对数凹分布相同的形状。特别是，我们的技术适用于典型的多峰分布：高斯（等方差）的混合。我们的算法有效地从这些分布中采样，只允许访问log-pdf的梯度。对于分析，我们介绍了新的技术，证明光谱差距的基础上分解的扩散的发电机的行动。以前的方法依赖于将状态空间分解为集合的分区，而我们的方法可以被认为是将静态测量分解为分布的混合（“软分区”）。论文的其他材料可以在http://holdenlee.github.io/Simulated%20tempering%20Langevin%20Monte%20Carlo.html上找到。证明和结果已经从arXiv：1710.02736的前体得到改进和推广。
2020-09-09 cs.DS cs.LG math.PR
Poisson Midpoint Method for Log Concave Sampling: Beyond the Strong Error Lower Bounds
Google DeepMind（谷歌DeepMind）
本研究提出用于强对数凹分布采样的Poisson中点离散化方法，证明其在2-Wasserstein距离下收敛，精度依赖上较Euler-Maruyama法实现三次方加速，且欠阻尼场景下W₂收敛复杂度低于已知L²强误差下界。
2025-10-01 cs.LG math.PR math.ST
On the implicit regularization of Langevin dynamics with projected noise
Division of Applied Mathematics, Brown University and Institute for Advanced Study, Princeton（应用数学系，布朗大学和普林斯顿高等研究院）；Department of Statistics, CREST, ENSAE, IP Paris（统计系，CREST，ENSAE，IP巴黎）
该研究探讨了具有投影噪声的 Langevin 动力学的隐式正则化机制，揭示了对称性对随机梯度下降的影响。
2026-02-12 cs.AI math.PR
Exact simulation of diffusions and improved algorithms for log-concave sampling
MIT（麻省理工学院）；Yale University（耶鲁大学）
该研究基于Girsanov定理的密度比无偏估计量，提出改进的扩散精确模拟及对数凹采样算法，优化了采样复杂度与维度依赖关系，还给出相关应用。
2026-08-06 cs.DS cs.NA math.NA
Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling
从后验分布抽样的贝叶斯方法由于其精确显示模型拟合的不确定性的能力而变得越来越流行。基于迭代随机采样和后验评估的经典方法，如Metropolis-Hastings，已知具有期望的长期混合特性，但是收敛缓慢。基于梯度的方法，如朗之万动力学（及其随机梯度对应物）表现出良好的维数依赖性和对数凹的快速混合时间，并“接近”对数凹分布，但也有很长的逃逸时间从局部极小值。许多当代的应用，如贝叶斯神经网络都是高维和高度多模态的。在本文中，我们调查的性能的混合大都市和Langevin采样方法类似于跳跃扩散的范围内的合成和真实的数据，表明仔细校准的混合采样跳跃与梯度为基础的链显着优于纯梯度为基础的或基于采样的计划。
2022-11-02 math.PR stat.ML
Long-time reverse transportation inequalities for non-globally-dissipative Langevin dynamics
Duke University（杜克大学）
针对非凸势的Langevin动力学，建立了无维数、时间一致的反向运输不等式，将对数凹抽样的结果推广到非凸情形。
2026-05-21 math.PR
Functional inequalities for perturbed measures with applications to log-concave measures and to some Bayesian problems
我们研究了作为扰动的概率测度的函数不等式（Poincaré，Cheeger，log-Sobolev）。给出了一般测度和对数凹分布的几个显式结果，本文的最初目的是为了得到常数的显式界，例如统计应用。然后将这些结果应用于统计学中使用的朗之万蒙特卡罗方法，以计算贝叶斯估计。
2021-01-27 math.PR math.ST stat.TH
On the cost of Bayesian posterior mean strategy for log-concave models
在本文中，我们研究的问题，计算贝叶斯估计使用朗之万蒙特卡洛型近似。本文的新颖之处是一起考虑的统计和数值对应（在一般的日志凹设置）。更确切地说，我们解决了以下问题：给定$n$观察$\mathbb{R}^q$分布在一个未知的概率$\mathbb{P}_{θ^\star}$与$θ^\star \in \mathbb{R}^d$，什么是最佳的数值策略和成本的近似$θ^\star$与贝叶斯后验均值？为了回答这个问题，我们建立了一些定量的统计界相关的基础庞加莱常数的模型和建立新的结果的数值逼近吉布斯措施的Cesaro平均的欧拉计划（过阻尼）Langevin扩散。这些最后的结果包括特别是一些定量控制在弱凸的情况下，新的边界上的相关的泊松方程的扩散的解决方案。
2022-02-14 math.PR math.ST stat.ML
Faster Differentially Private Samplers via Rényi Divergence Analysis of Discretized Langevin MCMC
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
各种不同的私有算法实例化指数机制，并且需要从分布$\exp(-f)$采样以获得合适的函数$f$。当分布的域是高维时，这种采样在计算上可能是具有挑战性的。使用启发式抽样方案，如吉布斯抽样，并不一定导致可证明的隐私。当$f$是凸的时，对数凹采样的技术导致多项式时间算法，尽管具有大的多项式。基于朗之万动力学的算法在某些距离度量（如统计距离）下提供了更快的替代方案。在这项工作中，我们建立了快速收敛的距离措施下，这些算法更适合差分隐私。对于光滑的强凸的$f$，我们给出了证明收敛于Rényi发散的第一个结果。这为我们提供了用于这种$f$的快速差分私有算法。我们的技术和简单和通用的，也适用于欠阻尼朗之万动力学。
2020-12-17 cs.CR cs.DS cs.LG
Multivariate Stein Factors for a Class of Strongly Log-concave Distributions
我们建立统一的边界上的低阶衍生物的Stein方程的解决方案的一个广泛的类别的多元，强对数凹目标分布。这些“斯坦因子”的界限提供了对Wasserstein和相关的光滑函数距离的控制，并且非常适合于分析Gorham和Mackey的可计算的斯坦差异度量。我们的论据证明概率和功能的同步耦合多个过阻尼Langevin扩散。
2016-11-23 math.PR
Wasserstein mixing time of the unadjusted Langevin algorithm
ETH Zürich（苏黎世联邦理工学院）
该研究针对对数强凹测度场景，推导了未校准朗之万算法的Wasserstein混合时间界，将其量级定为κ√d/ε，较此前最优结果实现了√d/ε倍的性能提升。
2026-08-04 cs.LG cs.NA math.NA
Contractive kinetic Langevin samplers beyond global Lipschitz continuity
本文提出了一种在全局Lipschitz连续性之外的收缩动能兰格vin采样方法，通过驯化方案实现非渐近的收敛性界。
2025-12-09 cs.NA math.NA math.PR
A dimension-free bound for isoperimetry of unconditional log-concave measures
University of Washington（华盛顿大学）；Yale University（耶鲁大学）
本文证明无条件对数凹测度的无维数Poincaré不等式，从而在无条件情形下解决KLS猜想，方法结合Dunkl算子理论与测度变换及谱分析，核心思想由AI辅助生成。
2026-10-01 math.MG math.PR
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
在这篇文章中，我们考虑从Hamilton设置的对数凹分布采样，而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形（驯服）欧拉计划，从目标措施的样本，并提供非渐近2-Wasserstein距离界限之间的法律的过程中，每个算法和目标措施。最后，我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
Parallelized Midpoint Randomization for Langevin Monte Carlo
City University of Hong Kong（香港城市大学）
本文针对光滑强对数凹密度，在可并行评估梯度的设定下分析并行化随机中点 Langevin Monte Carlo，给出 Wasserstein 距离上界并证明并行处理带来显著运行时间提升。
2025-01-08 cs.LG math.PR math.ST
Decentralized Proximal Stochastic Gradient Langevin Dynamics
本文提出去中心化近端随机梯度兰格朗日动力学算法，用于在凸域内采样对数凹概率分布。通过共享的近端正则化约束，保证更新一致性。算法在2-瓦瑟斯坦距离下具有非渐近收敛性，并在合成和真实数据集上验证了其有效性。
2026-05-01 cs.LG math.PR stat.ML
Beyond Log-concavity: Provable Guarantees for Sampling Multi-modal Distributions using Simulated Tempering Langevin Monte Carlo
Duke University（杜克大学）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
贝叶斯统计中的一个关键任务是从仅指定到分区函数（即，比例常数）。然而，在没有任何假设的情况下，采样（即使是近似）也可能是#P-hard的，很少有作品为这种设置提供了“超越最坏情况”的保证。对于对数凹分布，经典的结果可以追溯到Bakry和Émery（1985），表明自然连续时间马尔可夫链称为朗之万扩散混合在多项式时间。在实践中违反对数分布的最显著特征是单峰：通常，我们希望从中采样的分布是多峰的。在存在多个深度且分离良好的模式的情况下，朗之万扩散会遭受迟钝混合。我们解决这个问题，结合朗之万扩散与模拟回火。其结果是一个马尔可夫链，通过在分布的不同温度之间过渡，混合得更快。我们分析这个马尔可夫链的典型多峰分布：高斯（等方差）的混合物。该算法的基础上，我们的马尔可夫链可证明样本的分布是接近混合高斯，获得梯度的对数PDF。对于分析，我们使用图的谱分解定理（Gharan和Trevisan，2014）和马尔可夫链分解技术（Madras和Randall，2002）。
2017-11-06 cs.DS cs.LG math.PR
High-Order Langevin Monte Carlo Algorithms
针对大规模采样问题，提出基于P阶（P≥3）朗之万动力学离散化的蒙特卡洛算法，通过分裂与精确积分法设计，获对数凹光滑分布采样的Wasserstein收敛保证，混合时间对d和ε的依赖性随P增大更优，数值实验验证其效率。
2025-08-24 cs.LG math.PR stat.ML
The Randomized Midpoint Method for Log-Concave Sampling
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
对数凹分布的抽样是一个在统计学和机器学习中有许多应用的研究问题。本文研究了$p^{*}\propto\exp(-f(x))$型的分布，其中$f:\mathbb{R}^{d}\rightarrow\mathbb{R}$具有$L$ -Lipschitz梯度，并且是$m$ -强凸的.本文提出了一种基于欠阻尼朗之万扩散（ULD）的马尔可夫链蒙特卡罗（MCMC）算法。它可以在$\tilde{O}\left(κ^{7/6}/ε^{1/3}+κ/ε^{2/3}\right)$步骤中实现$ε\cdot D$误差（以2-Wasserstein距离计），其中$D\overset{\mathrm{def}}{=}\sqrt{\frac{d}{m}}$是问题的有效直径，$κ\overset{\mathrm{def}}{=}\frac{L}{m}$是条件数。我们的算法执行速度显着比以前最好的已知算法解决这个问题，这需要$\tilde{O}\left(κ^{1.5}/ε\right)$的步骤。此外，我们的算法可以很容易地并行化，只需要$O(κ\log\frac{1}ε)$并行步骤。为了解决抽样问题，我们提出了一个新的框架来离散随机微分方程。我们应用这个框架离散和模拟ULD，它收敛到目标分布$p^{*}$。该框架不仅可用于解决对数凹抽样问题，还可用于解决涉及模拟（随机）微分方程的任何问题。
2019-09-12 cs.DS cs.LG math.PR
On sample complexity for covariance estimation via the unadjusted Langevin algorithm
Komaba Institute for Science, University of Tokyo（东京大学驹场理学院）
本文通过未调整的兰格vin算法研究了协方差矩阵估计的样本复杂性，揭示了单链方法在样本复杂性上优于并行方法的结论。
2026-02-13 math.PR stat.ML
Projected Langevin Monte Carlo algorithms in non-convex and super-linear setting
本文提出了一种处理非凸势能与超线性梯度的显式投影Langevin Monte Carlo算法，推导了其在总变差距离下的非渐近误差界限，并利用Malliavin calculus改进了经典LMC在全局Lipschitz条件下的收敛阶。
2025-01-29 cs.NA math.NA math.PR
Reflected Anchored Langevin Algorithms
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）；Beijing Institute of Technology（北京理工大学）；Florida State University（佛罗里达州立大学）
本文提出反射锚定朗之万算法，通过平滑锚定参考势处理不可微目标，实现约束域上的高效采样，并给出收敛保证与实验验证。
2026-10-08 cs.LG math.PR stat.ML
Convergence of Unadjusted Langevin in High Dimensions: Delocalization of Bias
Courant Institute, New York University, NY, USA（纽约大学Courant研究所）；Department of Mathematics, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校数学系）
针对高维下未调整朗之万算法全变量W₂误差收敛迭代次数随维度缩放差的问题，提出偏差非局域化效应，证明其在高斯和稀疏交互强对数凹分布下成立，采用新型W_{2,ℓ^∞}度量分析并探索了推广可能。
2025-09-03 cs.LG math.PR stat.CO
Wasserstein distance estimates for the distributions of numerical approximations to ergodic stochastic differential equations
Universidad Carlos III de Madrid（卡洛斯三世大学）；University of Edinburgh（爱丁堡大学）
我们提出了一个框架，允许非渐近研究的$2$ -瓦瑟斯坦距离之间的不变分布的遍历随机微分方程和分布的数值逼近在强对数凹的情况下。这使我们能够以统一的方式研究文献中提出的一些不同的积分器的过阻尼和欠阻尼朗之万动力学。此外，我们分析了一种新的分裂方法的欠阻尼朗之万动力学，只需要一个梯度评估每个时间步。根据一个额外的平滑性假设的$d$ -维强对数凹分布的条件数$κ$，该算法被证明是生产与$\mathcal{O}\big(κ^{5/4} d^{1/4}ε^{-1/2} \big)$复杂性样本的分布，在瓦瑟斯坦距离，是最多$ε>0$远离目标分布。
2021-09-24 cs.LG cs.NA math.NA
The Fenchel Game of Underdamped Langevin Dynamics: Insights into Accelerated Convergence
King’s College London（伦敦国王学院）
本文通过将欠阻尼Langevin动力学视为在线采样博弈的策略组合，利用虚构竞争者成本函数估计KL散度，证明了强对数凹和对数凹目标下分别以指数和二次速率加速收敛，匹配加速梯度流经典速率。
2026-09-09 math.AP math.OC math.PR
$L^\infty$-optimal transport of anisotropic log-concave measures and exponential convergence in Fisher's infinitesimal model
该研究证明各向异性强对数凹密度最优输运的$L^\infty$-Wasserstein距离上界，改进输运-信息不等式，并用Langevin动力学方法将Fisher无穷小模型的指数收敛结果从一维推广到任意维。
2025-08-01 math.PR
Estimating Normalizing Constants for Log-Concave Distributions: Algorithms and Lower Bounds
Duke University（杜克大学）
估计未归一化概率分布的归一化常数在计算机科学、统计物理学、机器学习和统计学中有重要应用。在这项工作中，我们考虑的问题估计的归一化常数$Z=\int_{\mathbb{R}^d} e^{-f(x)}\,\mathrm{d}x$内的一个乘法因子$1 \pm \varepsilon$的$μ$ -强凸和$L$ -光滑的功能$f$，查询访问$f(x)$和$\nabla f(x)$。我们给这个问题的算法和下界。使用退火算法结合基于欠阻尼朗之万动力学的多级蒙特卡罗方法，我们表明，$\widetilde{\mathcal{O}}\Bigl(\frac{d^{4/3}κ+ d^{7/6}κ^{7/6}}{\varepsilon^2}\Bigr)$查询$\nabla f$是足够的，其中$κ= L / μ$是条件数。此外，我们提供了一个信息理论下限，表明至少$\frac{d^{1-o(1)}}{\varepsilon^{2-o(1)}}$查询是必要的。这提供了问题的第一个非平凡下界。
2020-06-23 cs.DS cs.LG math.PR
Nonconvex sampling with the Metropolis-adjusted Langevin algorithm
Yale University（耶鲁大学）
朗之万马尔可夫链算法是在具有挑战性的高维和非凸统计和机器学习应用中从分布中采样的广泛部署的方法。尽管如此，目前的界限朗之万算法是慢于竞争的算法在许多重要的情况下，例如，当采样从弱对数凹分布，或当采样或优化非凸对数密度。在本文中，我们得到了改进的边界在许多这些情况下，表明大都会调整的朗之万算法（MALA）是快于最佳的边界，其竞争对手的算法时，目标分布满足弱的第三和第四阶正则性与输入数据。在许多情况下，我们的正则性条件弱于通常的欧几里德算子范数正则性性质，使我们能够比通常的欧几里德算子范数方法更快地显示更大类别的分布的边界，包括在统计和机器学习应用中，数据满足一定的不一致性条件。特别是，我们表明，使用我们的正则性条件，可以获得更快的应用程序，其中包括抽样问题的贝叶斯逻辑回归弱凸先验，和非凸优化问题的学习线性分类器的零-一损失函数的界限。我们在本文中的主要技术贡献是我们的分析的大都会接受概率的MALA在其“能量守恒误差”，我们的界限，这个错误的第三和第四阶正则性条件。我们将能量守恒误差的高阶分析与电导方法相结合，是获得非强对数凹设置中对维度$d$具有次线性依赖性的界限的关键。
2019-04-09 cs.DS cs.LG math.PR
Projected Langevin dynamics and a gradient flow for entropic optimal transport
本文提出一种投影 Langevin 动力学，用于在给定边际分布的耦合集合上采样熵正则最优传输，证明其指数收敛并刻画其 Wasserstein 梯度流结构。
2023-09-15 math.AP math.PR stat.ML
Approximating Langevin Monte Carlo with ResNet-like Neural Network architectures
Centrale Nantes（南特中央理工学院）；Nantes Université（南特大学）；Laboratoire de Mathématiques Jean Leray（让·勒雷数学实验室）
本文提出受 LMC 启发、类似深度残差网络的采样架构，证明其对光滑对数凹目标分布在 Wasserstein-2 距离下的逼近速率与表达能力。
2024-12-10 cs.LG math.PR math.ST
Spectral Gap of Replica Exchange Langevin Diffusion on Mixture Distributions
朗之万扩散（LD）是采样问题的主要工具之一。然而，如果目标分布是多种密度的混合物，特别是当每个分量集中在不同的模式周围时，其收敛速度会显著降低。电子交换朗之万扩散（ReLD）是一种可以避免这个问题的采样方法。特别是，ReLD增加了另一个LD采样目标密度的高温版本，并根据Metropolis-Hasting类型的定律交换两个LD的位置。这种方法可以进一步扩展到多副本交换朗之万扩散（mReLD），其中$K$附加的LD被添加到不同温度下的样本分布，并且交换发生在相邻温度过程之间。虽然ReLD和mReLD已被广泛用于统计物理，分子动力学和其他应用中，但很少有现有的分析其收敛速度和温度的选择。本文关闭这些差距，假设目标分布是一个混合的对数凹密度。我们表明，ReLD可以获得恒定的，甚至更好的收敛速度，即使当密度成分的混合物集中在孤立的模式。我们还表明，使用mReLD与$K$额外的LD可以达到相同的结果，而交换频率只需要是$(1/K)$ -th权力的一个在ReLD。
2020-07-10 math.PR math.ST stat.TH
Tamed Langevin sampling under weaker conditions
Athena/Archimedes Research Centre（雅典娜/阿基米德研究中心）；The University of Edinburgh（爱丁堡大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔工业大学）；LIG（格勒诺布尔信息与信号处理实验室）
针对深度学习中的非光滑弱耗散分布采样问题，提出一种定制驯化方案，并给出KL散度、全变差和Wasserstein距离下的非渐近保证。
2024-05-27 cs.LG cs.NA math.NA
On stochastic gradient Langevin dynamics with dependent data streams in the logconcave case
我们研究了从概率分布$π$上$\rset^d$的采样问题，$π$具有密度\wrt \Lebesgue测量已知的归一化因子$x \mapsto \rme^{-U(x)} / \int_{\rset^d} \rme^{-U(y)} \rmd y$。在假定位势$U$连续可微、$\nabla U$为Lipschitz、$U$为强凹的条件下，分析了基于Langevin随机微分方程Euler离散的采样方法.我们专注于的情况下，对数密度的梯度不能直接计算，但无偏估计的梯度从可能依赖的观察。这种设置可以被看作是一个组合的随机逼近（这里随机梯度）型算法与离散朗之万动力学。我们得到的Wasserstein-2距离的上界之间的法律的迭代算法和目标分布$π$与常数显式依赖于Lipschitz和强凸常数的潜力和空间的维数。最后，在对$U$及其梯度较弱的假设下，但在独立观测存在的情况下，我们得到了Wasserstein-2距离的类似结果.
2019-09-15 math.PR math.ST stat.ML
