A connection between Tempering and Entropic Mirror Descent
本文证明 SMC 的 tempering 迭代等价于最小化反向 KL 散度的熵镜像下降，并据此给出收敛速率与自适应规则。
2024-06-16 math.OC math.ST stat.CO
Is There an Analog of Nesterov Acceleration for MCMC?
University of California, Berkeley（加州大学伯克利分校）
本文将基于梯度的马尔可夫链蒙特卡罗（MCMC）抽样方法描述为概率测度空间上的优化问题，并以KL散度为目标函数。我们表明，欠阻尼形式的Langevin算法在这个度量进行加速梯度下降。为了刻画算法的收敛性，我们构造了一个李雅普诺夫泛函，并利用欠阻尼Langevin算法的假设性。作为应用，我们证明了利用Langevin算法可以得到一类非凸函数的加速率。
2019-10-22 cs.LG cs.NA math.NA
Geometric Ergodicity in Modified Variations of Riemannian Manifold and Lagrangian Monte Carlo
黎曼流形哈密尔顿算子和拉格朗日蒙特卡罗方法已成为贝叶斯推断的有力工具。与欧氏哈密顿蒙特卡罗（EHMC）和Metropolis调整的Langevin算法（MALA）不同，这些黎曼算法的几何遍历性尚未得到广泛研究。另一方面，流形Metropolis调整Langevin算法（MMALA）最近已被证明在一定条件下表现出几何遍历性。这项工作调查的混合物的LMC和RMHMC过渡内核MMALA，以装备所得到的方法与“继承”的几何遍历理论。我们激励这个混合内核之间的类比单步HMC和MALA的基础上。然后，我们继续评估几个基准贝叶斯推断任务的原始和修改后的过渡内核。
2023-01-04 stat.CO stat.ME stat.ML
Non-Asymptotic Analysis of Fractional Langevin Monte Carlo for Non-Convex Optimization
LTCI, Télécom Paristech, Université Paris-Saclay（LTCI、巴黎高等电信学院、巴黎萨克雷大学）
最近对基于扩散的采样方法的研究表明，朗之万蒙特卡罗（LMC）算法可以是有益的非凸优化，和严格的理论保证已被证明为渐近和有限时间制度。在数学上，基于LMC的算法类似于众所周知的梯度下降（GD）算法，其中GD递归被加性高斯噪声扰动，该加性高斯噪声的方差具有特定形式。分数朗之万蒙特卡罗（FLMC）是最近提出的LMC的一种扩展，其中高斯噪声被重尾α稳定噪声代替。与其高斯对应物相反，这些重尾扰动可以引起大的跳跃，并且经验证明，α稳定噪声的选择可以在现代机器学习问题中提供几个优势，无论是在优化还是采样环境中。然而，相对于LMC，FLMC只有渐近收敛的性质尚未建立。在这项研究中，我们分析了FLMC的非渐近行为的非凸优化，并证明了有限的时间界限，其预期的次优性。结果表明，FLMC的弱误差增长速度比LMC快，这表明FLMC中使用较小的步长。最后，我们扩展我们的结果的情况下，确切的梯度取代随机梯度，并表明，类似的结果在此设置以及。
2019-01-22 cs.LG math.OC stat.ML
Constrained Sampling with Primal-Dual Langevin Monte Carlo
University of Stuttgart（斯图加特大学）；ETH Zürich（苏黎世联邦理工学院）；CREST, ENSAE, IP Paris（CREST、ENSAE、巴黎理工学院）
针对带非线性期望统计约束的分布采样问题，提出离散时间原始-对偶 PD-LMC 算法，并在凸性与对数 Sobolev 不等式假设下证明其收敛性。
2025-01-07 cs.LG math.OC stat.ML
Non-Asymptotic Guarantees For Sampling by Stochastic Gradient Descent
从各种分布中抽样是统计学中最重要的问题，因为它通常是构造估计量、检验程序或置信区间的关键成分。在许多情况下，从给定分布中进行精确采样是不可能的，或者计算成本很高，因此需要采用近似采样策略。然而，直到最近，一个数学理论，提供非渐近保证近似抽样问题的高维设置开始发展。在本文中，我们介绍了一个新的数学框架，有助于分析随机梯度下降作为一种抽样方法，密切相关的朗之万蒙特卡洛。
2018-11-02 math.ST stat.TH
Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition
KAUST（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是Langevin型算法的一个重要替代方案，用于从$π(x) \propto \exp(-V(x))$形式的概率分布中采样。在现有的Langevin型算法和SVGD理论中，常假设势函数$V$是$L$ -光滑的.然而，这个限制性条件排除了一大类潜在的功能，如多项式的次数大于$2$。本文研究了具有$(L_0,L_1)$ -光滑位势分布的SVGD算法的收敛性。这种放松的平滑假设是由Zhang等人[2019 a]引入的，用于分析梯度裁剪算法。在独立于概率的辅助条件下，我们给出了一个下降引理，证明了算法在每次迭代时减小了$\mathrm{KL}$发散，并证明了在种群极限下SVGD的复杂度界.
2022-06-01 cs.LG math.PR math.ST
Large-Scale Distributed Bayesian Matrix Factorization using Stochastic Gradient MCMC
University of California, Irvine（加州大学尔湾分校）；Google（谷歌）；Yahoo Labs（雅虎实验室）；University of Amsterdam（阿姆斯特丹大学）
尽管具有各种吸引人的品质，如高预测精度和量化不确定性和避免过拟合的能力，但由于推理成本过高，贝叶斯矩阵分解尚未被广泛采用。在本文中，我们提出了一个可扩展的分布式贝叶斯矩阵分解算法使用随机梯度MCMC。我们的算法，基于分布随机梯度Langevin动力学，不仅可以匹配标准MCMC方法，如吉布斯抽样的预测精度，但同时是快速和简单的随机梯度下降。在我们的实验中，我们表明，我们的算法可以达到相同水平的预测精度吉布斯采样一个数量级更快。我们还表明，我们的方法降低了预测误差的速度与分布式随机梯度下降一样快，Netflix数据集的RMSE提高了4.1%，Yahoo音乐数据集的RMSE提高了1.8%。
2015-03-10 cs.LG stat.ML
Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling
从高维分布中采样是统计、工程和科学中的一项基本任务。一种典型的方法是朗之万算法，即，离散朗之万扩散的马尔可夫链。这是梯度下降的采样模拟。尽管被研究了几十年，在多个社区，该算法的紧混合边界仍然没有得到解决，即使在一个有界域上的对数凹分布看似简单的设置。本文完整地刻画了Langevin算法的混合时间在此设置（和其他）中的平稳分布。该混合结果可以与离散化偏置上的任何约束相结合，以便从连续朗之万扩散的平稳分布中采样。通过这种方式，我们理清了朗之万算法的混合和偏差的研究。我们的主要见解是介绍一种技术，从差分隐私文献的抽样文献。这种技术被称为迭代隐私放大，它使用雷尼发散的一个潜在变体，通过最优输运平滑在几何上感知。这给出了最优混合边界的一个简短而简单的证明，并具有几个额外的吸引人的性质。首先，我们的方法删除了其他抽样分析所需的所有不必要的假设。其次，我们的方法统一了许多设置：如果Langevin算法使用投影，随机小批量梯度或强凸势（由此我们的混合时间呈指数级提高），则它可以扩展不变。第三，我们的方法仅通过梯度步骤的收缩性来利用凸性-让人想起凸性在梯度下降的教科书证明中的使用。这样，我们提供了一个新的方法，进一步统一的分析优化和采样算法。
2022-10-31 math.OC math.PR math.ST
Parallel Stochastic Gradient Markov Chain Monte Carlo for Matrix Factorisation Models
对于大型矩阵分解问题，我们开发了一个分布式的马尔可夫链蒙特卡罗（MCMC）方法的基础上随机梯度朗之万动力学（SGLD），我们称之为并行SGLD（PSGLD）。随着数据量的增加，PSGLD具有非常有利的缩放特性，并且在计算要求方面与基于随机梯度下降的优化方法相当。PSGLD通过利用MF模型的条件独立结构以系统的方式对数据进行子采样以允许并行化和分布式计算来实现高性能。我们提供了一个收敛性证明的算法，并验证其优越的性能在各种架构，如图形处理单元，共享内存多核系统和多计算机集群。
2015-09-28 stat.ML
Stochasticity helps to navigate rough landscapes: comparing gradient-descent-based algorithms in the phase retrieval problem
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
在本文中，我们研究如何基于梯度的算法，如梯度下降，（多遍）随机梯度下降，其持久的变种，和朗之万算法导航非凸损失景观，其中能够达到最佳的泛化误差在有限的样本复杂度。我们认为损失景观的高维相位恢复问题作为一个典型的高度非凸的例子。我们观察到，对于相位恢复，梯度下降的随机变量能够达到完美的泛化控制参数的区域，梯度下降算法不是。我们应用动态平均场论从统计物理分析这些算法的完整轨迹在其连续的时间限制，一个温暖的开始，并为大系统的大小。我们进一步揭示了景观和算法的一些有趣的属性，例如梯度下降可以从较少的信息初始化中获得更好的泛化性能。
2021-04-13 cond-mat.dis-nn cs.LG math.ST
Marvels and Pitfalls of the Langevin Algorithm in Noisy High-dimensional Inference
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；Institut de physique théorique（理论物理研究所）；Laboratoire de Physique de l’Ecole normale supérieure ENS（巴黎高等师范学院物理实验室）；Université PSL（巴黎文理研究大学）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；Sorbonne Paris Cité（索邦巴黎西岱大学）；King’s College London（伦敦国王学院）；Laboratoire de Physique Statistique（统计物理实验室）；Université Pierre & Marie Curie（皮埃尔和玛丽·居里大学）；Ecole Normale Supérieure（高等师范学院）；PSL Université（巴黎文理研究大学）
基于递归下降的算法及其随机版本在机器学习和统计推断中有着广泛的应用。在这项工作中，我们进行了分析研究的性能，其中之一，Langevin算法，在嘈杂的高维推理的背景下。我们采用Langevin算法对尖峰矩阵张量模型的后验概率测度进行采样。该算法的典型行为是由一个系统的积分-微分方程，我们称之为Langevin状态演变，其解决方案相比，一个近似的消息传递（AMP）的状态演变。我们的研究结果表明，值得注意的是，Langevin算法的算法阈值是次优的AMP。我们推测这一现象是由于残留的glassiness目前在该地区的参数。最后，我们将展示如何使用Langevin算法但违反贝叶斯最优性条件的退火协议，可以接近AMP的性能。
2020-01-13 cond-mat.dis-nn cs.LG math.ST
High-accuracy sampling from constrained spaces with the Metropolis-adjusted Preconditioned Langevin Algorithm
提出Metropolis调整预条件Langevin算法，用于受限空间高精度采样，通过Metropolis-Hastings滤波改进预条件Langevin链，证明在更强自协调条件下混合时间维度依赖更优，并实验验证实用性。
2025-02-25 math.ST stat.CO stat.ML
Passed & Spurious: Descent Algorithms and Local Minima in Spiked Matrix-Tensor Models
Institut de physique théorique, Université Paris Saclay, CNRS, CEA（巴黎萨克雷大学理论物理研究所，法国国家科学研究中心，法国原子能和替代能源委员会）
在这项工作中，我们定量分析损失景观和性能下降算法在一个原型推理问题，尖峰矩阵张量模型之间的相互作用。我们研究的损失函数是负对数似然模型。我们分析了在一个固定的距离从信号/穗与卡茨-赖斯公式的局部极小值的数量，并定位平凡化的景观在大的信噪比。我们评估在一个封闭的形式的梯度流算法，使用积分微分偏微分方程的性能，在物理学的无序系统的朗之万动力学。我们分析了一个近似的消息传递算法的性能估计最大似然配置通过其状态演化。我们得出结论，通过比较上述结果：虽然我们观察到一个急剧放缓的梯度流动态，即使在该地区的景观是微不足道的，这两个分析的算法表现良好，即使在该地区的参数，其中虚假的局部极小值存在的部分。
2020-01-20 cond-mat.dis-nn cs.LG math.ST
Mixing Times and Privacy Analysis for the Projected Langevin Algorithm under a Modulus of Continuity
Institute for Mathematical；School of Engineering, Pontificia Universidad Cat\'olica de Chile, Vicu\ na Mackenna 4860, Santiago, Chile
本文研究了投影拉格朗日算法的混合时间及噪声SGD的隐私曲线，通过扩展PABI框架，得出了新的混合时间界和隐私曲线上界，适用于非光滑凸、弱光滑及强耗散等情形。
2026-03-02 cs.LG math.OC math.ST
Quantitative Weak Convergence for Discrete Stochastic Processes
UC Berkeley（加州大学伯克利分校）；Adobe Research（奥多比研究院）
在本文中，我们定量收敛于$W_2$的一个家庭的Langevin类随机过程，包括随机梯度下降和相关的梯度为基础的算法。在一定的正则性假设下，我们证明了这些随机过程的迭代收敛到一个不变的分布在$\tilde{O}\lrp{1/\sqrt{k}}$的速度，其中$k$是步骤的数量，这个速度是可证明的紧对数因子。在势函数为二次函数的特殊情况下，我们的结果退化为经典中心极限定理的一个定量形式。
2019-07-02 cs.LG math.ST stat.ML
Bayesian imaging using Plug & Play priors: when Langevin meets Tweedie
University of Oxford（牛津大学）；Institut Universitaire de France（法国大学研究院）；Heriot-Watt University（赫瑞瓦特大学）；Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
本文针对贝叶斯成像中 Plug & Play (PnP) 先验方法缺乏收敛证明的问题，提出了两种可证明收敛的算法 PnP-ULA 和 PnP-SGD，并建立了详细的收敛保证，适用于图像去模糊、修复和去噪等任务。
2022-01-12 cs.CV eess.IV math.ST
