Bregman Proximal Langevin Monte Carlo via Bregman--Moreau Envelopes
Northwestern University（西北大学）
我们提出了有效的Langevin蒙特卡罗算法的采样分布的非光滑凸复合势，这是一个连续可微的功能和可能的非光滑功能的总和。我们设计这样的算法，利用凸分析和优化方法的最新进展，涉及布雷格曼分歧，即布雷格曼-莫罗信封和布雷格曼邻近算子，并在朗之万蒙特卡罗算法让人想起镜像下降。所提出的算法扩展现有的朗之万蒙特卡罗算法在两个方面-能够采样非光滑分布与镜像下降的算法，和使用更一般的布雷格曼-莫罗包络代替莫罗包络作为一个光滑的近似的非光滑的潜在的一部分。所提出的方案的一个特定的情况下，让人想起Bregman近端梯度算法。所提出的方法的效率与现有的朗之万蒙特卡罗方法是已知的执行不佳的各种采样任务说明。
2022-07-10 cs.LG stat.CO stat.ML
Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms
FinTech Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）金融科技方向）；School of Mathematical Science, Fudan University（复旦大学数学学院）；Department of Mathematics, Florida State University（佛罗里达州立大学数学系）
研究随机梯度欧拉-丸山估计器在广义非可逆朗之万动力学中的前导阶波动，证明在消失步长下中心极限定理，并给出非对称扰动严格降低波动常数的充分条件。
2026-06-27 cs.LG math.PR stat.ML
Quasi-symplectic Langevin Variational Autoencoder
Inria Sophia Antipolis（索菲亚·安提波利斯法国国家信息与自动化研究所）；University Côte d’Azur（蔚蓝海岸大学）
变分自编码器（VAE）是神经学习研究中一个非常流行和研究的生成模型。为了将VAE应用于处理大规模数据集的实际任务中，需要处理低方差证据下限（ELBO）的困难。马尔可夫链蒙特卡罗（MCMC）是一种有效的方法来收紧ELBO近似的后验分布和汉密尔顿变分自动编码器（HVAE）是一种有效的MCMC启发的方法来构建一个低方差ELBO，是服从重新参数化技巧。HVAE适应的哈密顿动态流到变分推断，显着提高后验估计的性能。在这项工作中，我们提出了一个Langevin动态流为基础的推理方法，通过Langevin动态，这是一种基于MCMC的方法类似于HVAE的推理过程中的梯度信息。具体地说，我们采用了一个准辛积分，以应付在朴素朗之万流的海森计算的禁止问题。我们展示了所提出的框架与其他基于梯度流的方法的理论和实际有效性。
2021-05-27 cs.AI cs.LG stat.ML
Federated Stochastic Gradient Langevin Dynamics
Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；F-Secure（芬安全公司）；University of Manchester（曼彻斯特大学）
随机梯度MCMC方法，如随机梯度朗之万动力学（SGLD），采用快速但有噪声的梯度估计，以实现大规模的后验采样。尽管我们可以很容易地将SGLD扩展到分布式设置，但是当应用于联邦非IID数据时，它会遇到两个问题。首先，这些估计值的方差显著增加。第二，即使对于非常简单的模型，延迟通信也会导致马尔可夫链偏离真实的后验。为了缓解这两个问题，我们提出了有益的梯度，一个简单的机制，结合局部似然近似校正梯度更新。值得注意的是，传导梯度很容易计算，而且由于我们只计算一次近似值，因此它们产生的开销可以忽略不计。我们适用于分布式随机梯度朗之万动力学（DSGLD）的有益梯度，并呼吁联邦随机梯度朗之万动力学（FSGLD）的方法。我们证明，我们的方法可以处理延迟的通信轮，收敛到目标后DSGLD失败的情况下。我们还表明，FSGLD优于DSGLD的非IID联邦数据与实验的度量学习和神经网络。
2021-06-14 cs.LG stat.ML
Diffusion approximations and control variates for MCMC
提出了一种构造控制变量以减小马尔可夫链蒙特卡罗（MCMC）采样器可加泛函方差的新方法。我们的控制变量是通过函数族上的Langevin扩散的渐近方差的最小化来定义的，这可以看作是一个二次风险最小化过程。这些对照变量的使用在理论上是合理的。我们发现，一些著名的MCMC算法，包括随机游动大都市和（大都市）未调整/调整Langevin算法的渐近方差接近Langevin扩散的渐近方差。贝叶斯推断问题的几个例子表明，相应的减少方差是显着的。
2019-07-08 stat.ME
Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff
自适应重要性抽样是一种广泛使用的蒙特卡罗技术，它使用重新加权策略来迭代估计所谓的目标分布。自适应重要性采样的一个主要缺点是权重的大方差，这是已知的严重影响估计的准确性。本文研究了一种正则化策略，其基本原理是以一定的幂来提高重要性权重。该正则化参数在算法期间可能在零和一之间演变，被示出为（i）在偏置和方差之间进行平衡，以及（ii）连接到镜像下降框架。利用核密度估计建立抽样策略，在较弱的条件下证明了算法的一致收敛性。最后，讨论了几种实用的正则化参数选择方法，并通过实验说明了所提出方法的优点。
2021-10-29 math.ST stat.ML stat.TH
Is There an Analog of Nesterov Acceleration for MCMC?
University of California, Berkeley（加州大学伯克利分校）
本文将基于梯度的马尔可夫链蒙特卡罗（MCMC）抽样方法描述为概率测度空间上的优化问题，并以KL散度为目标函数。我们表明，欠阻尼形式的Langevin算法在这个度量进行加速梯度下降。为了刻画算法的收敛性，我们构造了一个李雅普诺夫泛函，并利用欠阻尼Langevin算法的假设性。作为应用，我们证明了利用Langevin算法可以得到一类非凸函数的加速率。
2019-10-22 cs.LG cs.NA math.NA
Optimal importance sampling for overdamped Langevin dynamics
针对多峰分布下MCMC方法因亚稳态导致方差大的问题，研究过阻尼朗之万动力学的最优重要性采样，推导了一维最优偏置势显式解，提出多维近似方法及多可观测量加权优化方案，并通过数值实验验证效果。
2023-07-11 math.PR stat.ME
Langevin Monte Carlo without smoothness
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
朗之万蒙特卡罗（LMC）是一种迭代算法，用于从仅已知到归一化常数的分布中生成样本。它的混合时间的尺寸和目标精度的非渐近依赖性主要是在光滑（梯度Lipschitz）的对数密度，在机器学习中的应用程序的严重限制的设置理解。在本文中，我们消除了这一限制，提供多项式时间收敛保证的一个变种的LMC在非光滑的对数凹分布的设置。在高水平上，我们的结果是通过利用对数密度的隐式平滑来实现的，该对数密度来自我们添加到算法迭代中的小高斯扰动，并控制由该扰动引起的偏差和方差。
2020-02-24 cs.LG stat.CO stat.ML
Preferential Subsampling for Stochastic Gradient Langevin Dynamics
STOR-i Centre for Doctoral Training（STOR-i博士培训中心）；Lancaster University（兰卡斯特大学）
针对随机梯度MCMC中均匀子采样梯度估计方差高的问题，提出基于非均匀概率的优先子采样及自适应调整子样本大小的方法，在保持精度的同时显著降低平均子样本量。
2023-07-08 cs.LG stat.CO stat.ME
Fast Replica Exchange Stochastic Gradient Langevin Dynamics
副本交换的应用（即，随机梯度Langevin动力学（SGLD）技术在非凸学习问题中取得了巨大的成功，但一个潜在的限制是运行多个链所带来的计算代价。在观察到SGLD中梯度估计量的大方差本质上增加了平稳分布的温度后，我们提出了通过直接估计随机梯度估计量引起的偏差来加速SGLD的回火计划。这个简单的想法使我们能够以可忽略不计的计算成本（与低温链相比）模拟高温链，同时保持收敛到目标分布。我们的方法与最近提出的m-reSGLD（多方差副本交换SGLD）方法有根本的不同，因为后者遭受梯度估计器的低精度（例如，链可能无法收敛到目标），而我们的方法从中受益。此外，我们得出了一个交换率，可以很容易地评估，提供了另一个显着的改进m-reSGLD。为了从理论上证明我们的方法的优势，我们开发的收敛界Wasserstein距离。最后给出了高斯混合模型和逆偏微分方程模型的数值算例，结果表明该方法比vanilla多方差副本交换方法收敛更快。
2023-01-05 cs.NA math.NA math.ST
(Non-) asymptotic properties of Stochastic Gradient Langevin Dynamics
将标准的马尔可夫链蒙特卡罗（MCMC）算法应用于大型数据集在计算上是不可行的。最近提出的随机梯度朗之万动力学（SGLD）方法规避这个问题在三个方面：它产生建议的移动只使用一个子集的数据，它跳过大都会黑斯廷斯接受拒绝步骤，它使用的序列的步长减小。在\cite{TehThierryVollmerSGLD2014}中，我们提供了减小步长SGLD的数学基础，包括一致性和中心极限定理。然而，在实践中，SGLD运行相对较少的迭代次数，并且其步长不会减小到零。本文研究了具有固定步长的SGLD的行为。特别是，我们显式地证明了渐近偏差，以及它对步长和随机梯度方差的依赖性。在此基础上，一个修改的SGLD，它消除了渐近偏差，由于方差的随机梯度到第一阶的步长推导。此外，我们能够得到的有限时间偏差，方差和均方误差（MSE）的界限。该理论说明了高斯玩具模型的偏差和MSE的估计的时刻，可以得到明确的。对于这个玩具模型，我们研究了在大数据集的限制下，SGLD超过标准欧拉方法的增益。
2015-09-21 math.ST stat.ME stat.ML
Variance reduction for additive functional of Markov chains via martingale representations
在本文中，我们提出了一个有效的方差减少方法的马尔可夫链依赖于一个新的离散时间鞅表示的可加泛函。我们的方法是完全非渐进的，并且不需要静态分布（甚至任何类型的遍历性）或底层密度的特定结构的知识。通过严格分析算法的收敛性，我们表明，它的成本方差积确实小于一个朴素的算法。用Langevin型马尔可夫链蒙特卡罗（MCMC）方法验证了新方法的数值性能。
2021-12-21 stat.CO stat.ML
Provable Compressed Sensing with Generative Priors via Langevin Dynamics
Iowa State University（爱荷华州立大学）；New York University（纽约大学）
深度生成模型已经成为压缩感知、相位恢复和超分辨率等各种逆问题中信号的一类强大先验。在这里，我们假设一个未知信号位于某个预先训练的生成模型的范围内。一种流行的信号恢复方法是通过低维潜在空间中的梯度下降。虽然梯度下降已经取得了很好的经验性能，但其理论行为还没有得到很好的理解。在本文中，我们介绍了使用随机梯度朗之万动力学（SGLD）的压缩感知与生成先验。在生成模型的适当假设下，我们证明了SGLD收敛于真实信号。我们还证明了竞争力的经验性能标准梯度下降。
2021-02-25 cs.LG stat.ML
Wasserstein Control of Mirror Langevin Monte Carlo
École Normale Supérieure / Université PSL（巴黎高等师范学院/巴黎文理研究大学）；Normandie Univ, ENSICAEN, UNICAEN, CNRS, GREYC（诺曼底大学、法国国立高等凯恩工程师学院、凯恩大学、法国国家科学研究中心、GREYC实验室）；Heriot-Watt University（赫瑞-瓦特大学）
离散朗之万扩散是一种有效的蒙特卡罗方法，用于从对数Lipschitz光滑和（强）对数凹的高维目标密度采样。特别是，欧几里德Langevin蒙特卡罗抽样算法最近受到了很大的关注，导致详细了解其非渐近收敛的性质和作用，平滑度和对数在收敛速度发挥。不具有这些规律性的分布可以通过考虑黎曼朗之万扩散来解决，该扩散具有捕获对数密度的局部几何的度量。然而，从这种黎曼朗之万扩散的离散化导出的蒙特卡罗算法是出了名的难以分析。在本文中，我们考虑朗之万扩散的Hessian型流形和研究的离散化是密切相关的镜像下降计划。我们首次建立了一个非渐近上界的采样误差所产生的Hessian黎曼Langevin蒙特卡罗算法。这个界限是根据一个Wasserstein距离引起的黎曼度量地面成本捕获海森结构和密切相关的自和谐的条件。例如，上界意味着迭代朝着目标密度周围的Wasserstein球收缩，该目标密度的半径是明确的。我们的理论恢复现有的欧几里德的结果，可以应付各种各样的海森度量高度非平坦的几何形状。
2020-02-11 cs.LG math.PR math.ST
Nonreversible Langevin Samplers: Splitting Schemes, Analysis and Implementation
对于给定的目标密度，存在无穷多个关于该密度遍历的扩散过程。正如在一些论文中所观察到的，基于不可逆扩散过程的采样器在渐近方差和收敛到平衡点的速度方面都可以显着优于可逆的采样器。在本文中，我们利用这一点，以构建高效的采样算法的基础上的Lie-Trotter分解的不可逆扩散过程的可逆和不可逆组件。我们表明，基于该方案的采样器可以显着优于标准的MCMC方法，在引入一些控制偏置的成本。特别是，我们证明了根据这种分解构造的数值积分器是几何遍历的，并证明了它们的渐近偏差和方差，表明采样器继承了底层不可逆扩散的良好混合特性。这是进一步说明了一些数值例子，从高度相关的低维分布，逻辑斯谛回归的问题，在高维空间模型，以及推断与许多潜在的变量。
2017-01-16 stat.CO stat.ME
Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients
该研究提出了一种无偏动能 Langevin 蒙特卡罗方法，利用分裂方法和增强梯度近似，实现高精度估计并降低计算成本。
2025-12-03 cs.NA math.NA stat.CO
A connection between Tempering and Entropic Mirror Descent
本文证明 SMC 的 tempering 迭代等价于最小化反向 KL 散度的熵镜像下降，并据此给出收敛速率与自适应规则。
2024-06-16 math.OC math.ST stat.CO
Langevin algorithms for Markovian Neural Networks and Deep Stochastic control
Sorbonne Université（索邦大学）
随机梯度下降朗之万动力学（SGLD）算法，它添加噪声到经典的梯度下降，是已知的，以改善神经网络的训练，在某些情况下，神经网络是非常深的。在本文中，我们研究了训练加速的可能性，通过梯度下降的数值分辨率的随机控制问题，其中控制参数化的神经网络。如果在许多离散化时间应用控制，则解决随机控制问题减少到最小化非常深的神经网络的损失。我们数值计算表明，朗之万算法提高了训练的各种随机控制问题，如对冲和资源管理，并为不同的选择梯度下降方法。
2023-01-13 cs.LG math.OC q-fin.CP
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器，每次迭代只需要一个梯度计算。相反，以前的作品类似的采样器，Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$，Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下，$\sqrt{d/\varepsilon}$，如果潜在的海森是Lipschitz，和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下，根据已知的结果为其他动力学朗之万或HMC计划。
2021-06-18 math.PR math.ST stat.TH
Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent
National University of Singapore（新加坡国立大学）
当迭代随机学习算法的内部状态为\emph{private}时，算法关于训练数据的信息泄漏是什么？每个特定的训练时期对通过发布模型的信息泄漏的贡献有多大？我们研究了这个问题的噪声梯度下降算法，并在整个训练过程中建模的Rényi差分隐私损失的\emph{dynamics}。我们的分析追踪了一个可证明的\emph{tight}边界，该边界位于在相邻数据集上训练的模型参数上的一对概率分布之间的Rényi发散上。我们证明了隐私损失指数收敛速度快，光滑和强凸损失函数，这是一个显着的改进组合定理（高估了隐私损失的上限，其总价值超过所有中间梯度计算）。对于Lipschitz，光滑，强凸损失函数，我们证明了噪声梯度下降算法的最佳效用与一个小的梯度复杂性。
2022-09-09 cs.CR cs.LG stat.ML
A generalization gap estimation for overparameterized models via the Langevin functional variance
The Institute of Statistical Mathematics（统计数学研究所）；RIKEN AIP（理化学研究所人工智能研究中心）
本文讨论了包括神经网络在内的过参数化模型的泛化性能和训练性能之间的差异--泛化间隙的估计。我们首先表明，一个功能的方差，一个关键的概念，在定义一个广泛适用的信息标准，即使在overparameterized设置，传统的理论不能应用的泛化差距的特点。由于函数方差的计算成本是昂贵的过参数化模型，我们提出了一个有效的近似的函数方差，Langevin近似的函数方差（Langevin FV）。该方法仅利用平方损失函数的$1$第一阶梯度，而不参考$2$第二阶梯度;这确保了计算是高效的，并且实现与基于梯度的优化算法一致。我们证明了Langevin FV数值估计的泛化间隙过参数化的线性回归和非线性神经网络模型，其中包含超过一千个参数。
2023-03-20 cs.LG stat.ME stat.ML
Annealed Langevin Monte Carlo for Flow ODE Sampling
Augusta University（奥古斯塔大学）
本文提出 ALMC-ODE 方法，通过退火 Langevin 链生成未归一化分布样本，尤其适用于多模态密度。该方法基于概率流 ODE，利用 Jarzynski 方案降低方差，理论分析证明了估计误差界。
2026-04-30 stat.CO
On Irreversible Metropolis Sampling Related to Langevin Dynamics
利用朗之万动力学的数值方法设计马尔可夫链蒙特卡罗算法已经引起了相当大的兴趣，朗之万动力学包括作为确定性情况的哈密顿动力学。一个突出的方法是哈密顿蒙特卡罗（HMC），其中采用了跳跃离散化的哈密尔顿动力学。我们研究了最近提出的一类不可逆采样算法，称为汉密尔顿辅助大都会采样（HAMS），它使用了增强的目标密度类似于在HMC，但涉及到一个灵活的建议方案和精心制定的接受拒绝计划，以实现广义可逆性。我们表明，作为步长趋于0，HAMS建议满足一类随机微分方程，包括朗之万动力学作为特殊情况。我们提供的理论结果HAMS下的单变量高斯设置，包括平稳方差，预期的接受率，和光谱半径。从这些结果中，我们得到默认的选择调谐参数的HAMS，这样，只有步长需要在应用程序中进行调整。各种相对较新的算法朗之万动力学也被证明属于类的HAMS建议可忽略不计的差异。我们对高维潜变量采样的数值实验证实，HAMS算法始终实现优越的性能，与几个大都市调整算法的基础上流行的积分朗之万动力学。
2021-06-06 cs.NA math.NA physics.comp-ph
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
随机梯度Langevin动力学是解决采样问题和非凸优化问题的最基本算法之一，出现在机器学习的许多应用中。特别是，其方差减少的版本，现在已经获得了特别的关注。在本文中，我们研究这类的两个变种，即随机方差约化梯度Langevin动力学和随机递归梯度Langevin动力学。我们证明了他们的收敛到目标分布的KL-发散光滑性和Log-Sobolev不等式的唯一假设下，这些算法比以前的作品中使用的条件较弱。将批次大小和内环长度设置为$\sqrt{n}$时，实现$ε$精度的梯度复杂度为$\tilde{O}((n+dn^{1/2}ε^{-1})γ^2 L^2α^{-2})$，这是对之前任何分析的改进。我们还展示了我们的结果在非凸优化中的一些重要应用。
2022-11-19 cs.LG math.PR stat.ML
Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Electrical and Computer Engineering Department, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）
本文研究了通过超参数调优实现学习学习的问题，提出兰格文梯度下降算法，并证明其在平方损失下达到贝叶斯最优解，同时给出了泛化保证和经验验证。
2026-09-11 cs.LG stat.ML
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne（克莱蒙奥弗涅大学）；University of Macau（澳门大学）；UM Zhuhai Research Institute（澳门大学珠海研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing International Center for Mathematical Research (BICMR), Peking University（北京大学北京国际数学研究中心）
针对带动量的 SGD 与欠阻尼 Langevin 扩散的关系，本文在 1-Wasserstein 和全变差距离下建立了二者的定量误差估计。
2024-10-22 cs.LG math.PR stat.ML
Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction
University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Kyushu Institute of Technology（九州工业大学）
该研究提出通用框架证明平均场朗之万动力学的时间一致混沌传播，同时考虑有限粒子、时间离散和随机梯度误差，在多类学习问题与梯度估计器下给出定量收敛保证，且应用于标准朗之万动力学时收敛速率更优。
2023-06-12 cs.LG stat.ML
Covariance-Controlled Adaptive Langevin Thermostat for Large-Scale Bayesian Sampling
University of Edinburgh（爱丁堡大学）
贝叶斯后验推理的蒙特卡罗抽样是机器学习中常用的方法。所使用的马尔可夫链蒙特卡罗程序通常是相关随机微分方程（SDEs）的离散时间模拟。这些随机微分方程保证所需的后验分布不变。当前研究的一个领域是在这种情况下随机梯度方法的计算优势。现有技术依赖于估计子采样误差的方差或协方差，并且通常假设方差恒定。在这篇文章中，我们提出了一个协方差控制的自适应Langevin恒温器，可以有效地消散参数相关的噪声，同时保持所需的目标分布。所提出的方法实现了大规模机器学习应用程序的流行的替代方案的大幅加速。
2020-02-12 cs.LG stat.ML
On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了基于方差缩减的随机梯度下降优化算法。最近通过SAG、SVRG、SAGA等算法的发展，在这个方向上取得了显著的进展。这些算法已经被证明优于SGD，无论是理论上还是经验上。然而，这些算法的异步版本-现代大规模应用程序的一个关键要求-还没有被研究。我们提出了一个统一的框架，许多方差减少技术弥合这一差距。随后，我们提出了一个异步算法接地在我们的框架，并证明了其快速收敛。我们的一般方法的一个重要后果是，它会产生异步版本的方差减少算法，如SVRG和SAGA作为副产品。我们的方法在机器学习常见的稀疏设置中实现了接近线性的加速。我们证明了我们的方法通过具体实现异步SVRG的经验性能。
2016-01-25 cs.LG stat.ML
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Sharp Minima and Regularization Effects
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
最近，在深度神经网络的背景下理解随机梯度下降（SGD）的行为引起了很多关注。沿着这条线，我们研究了一般形式的基于梯度的优化动力学无偏噪声，它统一了SGD和标准朗之万动力学。通过研究这种一般的优化动力学，我们分析了SGD从最小值逃逸的行为及其正则化效果。通过测量噪声协方差和损失函数的曲率来表征算法的最小值逃逸效率。在此基础上，建立了两个条件，以表明哪种类型的噪声结构在逃逸效率方面优于各向同性噪声。我们进一步证明了SGD中的各向异性噪声满足这两个条件，从而有助于有效地逃离尖锐和贫穷的最小值，走向更稳定和平坦的最小值，通常推广良好。我们系统地设计了各种实验来验证各向异性噪声的好处，与全梯度下降加各向同性扩散（即朗之万动力学）相比。
2019-06-10 cs.LG stat.ML
Differential Privacy Guarantees for Stochastic Gradient Langevin Dynamics
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）
我们分析噪声随机梯度下降的隐私泄漏建模雷尼发散动力学与朗之万扩散。最近的非随机算法的工作的启发，我们得到类似的理想性质的随机设置。特别是，我们证明了隐私损失指数收敛速度快的平滑和强凸目标下恒定的步长，这是一个显着的改进，比以前的DP-SGD分析。我们还将我们的分析扩展到任意序列的不同步长，并推导出新的效用界。最后，我们提出了一个实现和我们的实验表明，我们的方法相比，经典的DP-SGD库的实际效用。
2022-02-05 cs.LG stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Stochastic Gradient and Langevin Processes
University of California, Berkeley（加州大学伯克利分校）
我们证明了定量的收敛速度离散Langevin过程收敛到一个相关的随机微分方程的不变分布。我们研究了加性噪声可以是非高斯的和状态相关的，势函数可以是非凸的设置。我们表明，这些过程的关键属性取决于潜在的功能和二阶矩的加性噪声。我们将我们的理论研究结果应用于研究随机梯度下降（SGD）对非凸问题的收敛性，并使用SGD在CIFAR-10数据集上进行训练深度神经网络的实验来证实它们。
2020-11-19 cs.LG stat.ML
Accelerated Variance Reduced Block Coordinate Descent
Zhejiang University（浙江大学）
在大数据时代，由于对在\emph{ultra-high}维空间中具有\emph{a large number of samples}的问题获得\emph{highly accurate solutions}的需求，具有快速收敛、小数据访问数量和低每次迭代复杂度的算法特别有利。现有的算法缺乏这些品质中的至少一种，因此在处理这种大数据挑战时效率低下。在本文中，我们提出了一种方法享受所有这些优点与加速收敛速度$O(\frac{1}{k^2})$。在超过100万个特征的大规模数据集上进行了实验研究，以证明我们的方法在实践中的有效性。
2016-11-13 cs.LG stat.ML
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University（普渡大学）
在这项工作中，我们调查的方差减少的想法，通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD，并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度，从而加快了收敛速度。特别是，我们的一般理论意味着，方差减少可以应用于使用时变步长的算法和自适应算法，如AdaGrad和RMSProp。此外，SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology（K.N.托西理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比，离散贝叶斯网络的学习是一个具有挑战性的问题，由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络，很少有方法已经提出了离散的。在本文中，我们解决学习贝叶斯网络作为一个优化问题，并提出了一个得分函数，保证学习的结构是一个稀疏的有向无环图。此外，我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说，我们在优化算法中使用了方差减少方法，使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量，可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比，结果表明，我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Stochastic modified equations for the asynchronous stochastic gradient descent
Stanford University（斯坦福大学）；Duke University（杜克大学）
提出了一种随机修正方程（SME）模型，用于异步随机梯度下降（ASGD）算法的建模。由此产生的Langevin型中小企业提取更多的信息ASGD动力学和阐明不同类型的随机梯度算法之间的关系。我们证明了在连续时间限制下ASGD向SME的收敛，以及SME对不同强迫项下ASGD轨迹的精确预测。作为SME的一个应用，我们通过求解关联SME的最优控制问题，提出了一种ASGD的最优最小化策略。
2019-09-27 cs.LG stat.ML
The promises and pitfalls of Stochastic Gradient Langevin Dynamics
Centre de Mathématiques Appliquées（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；Ecole Normale Supérieure（巴黎高等师范学院）
随机梯度朗之万动力学（SGLD）已经成为一个关键的MCMC算法贝叶斯学习从大规模数据集。虽然具有减小的步长的SGLD较弱地收敛到后验分布，但该算法在实践中通常以恒定的步长使用，并且在机器学习任务中已经证明了成功。目前的做法是将步长设置为与$N$成反比，其中$N$是训练样本的数量。随着$N$变大，我们表明，SGLD算法具有不变的概率测度显着偏离目标后验和行为像随机梯度下降（SGD）。这种差异本质上是由于随机梯度的高方差。已经提出了几种策略来减少这种影响;其中，SGLD固定点（SGLDFP）使用精心设计的控制变量来减少随机梯度的方差。我们发现，SGLDFP提供近似样本的后验分布，与精度相当的朗之万蒙特卡罗（LMC）算法的计算成本次线性的数据点的数量。我们提供了一个详细的分析LMC，SGLD，SGLDFP和SGD之间的瓦瑟斯坦距离和显式表达式的平均值和协方差阵矩阵的不变分布。我们的研究结果得到了有限的数值实验的支持。
2018-11-25 cs.LG stat.ML
Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition
Google Brain（谷歌大脑）
经典学习理论表明，机器学习模型的最佳泛化性能应该发生在中等模型复杂度下，较简单的模型表现出高偏差，较复杂的模型表现出预测函数的高方差。然而，这种简单的权衡并不能充分描述深度学习模型，这些模型在严重过度参数化的情况下同时获得低偏差和方差。解释这种行为的一个主要障碍是，深度学习算法通常涉及多个随机性来源，这些来源的个体贡献在总方差中不可见。为了实现细粒度的分析，我们描述了一个可解释的，对称的方差分解成与随机性从采样，初始化和标签相关的条款。此外，我们计算随机特征核回归分解的高维渐近行为，并分析了由此产生的惊人的丰富现象。我们发现，随着网络宽度的偏差单调下降，但方差项表现出非单调的行为，可以在插值边界发散，即使在没有标签噪声。发散是由采样和初始化之间的\emph{interaction}引起的，因此可以通过在初始参数上边缘化样本（即装袋）\emph{or}（即集成学习）来消除。
2020-11-04 cs.LG stat.ML
Limit Theorems for Stochastic Gradient Descent with Infinite Variance
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；Department of Statistics, University of Warwick（沃里克大学统计学系）
本文针对无限方差随机梯度下降，建立了其渐近分布，推广至多维情形，并应用于线性与逻辑回归。
2025-09-05 cs.LG math.PR stat.ML
Variance Suppression: Balanced Training Process in Deep Learning
随机梯度下降使用从随机数据批次计算的求和梯度来更新参数。如果我们得到的数据是不平衡的，这种求和将导致不平衡的训练过程。为了解决这个问题，本文考虑了误差方差和误差均值。算法中还给出了两项折衷的自适应调整方法。由于该算法能有效抑制误差方差，我们将其命名为方差抑制梯度下降算法（VSSGD）。实验结果表明，VSSGD能加快训练过程，有效防止过拟合，提高网络在小样本情况下的学习能力。
2018-11-28 cs.LG stat.ML
Variance Reduced Stochastic Gradient Descent with Neighbors
ETH Zurich（苏黎世联邦理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
随机梯度下降（SGD）是机器学习中的主力，但其缓慢的收敛可能是计算瓶颈。方差减少技术，如SAG，SVRG和SAGA已被提出来克服这一弱点，实现线性收敛。然而，这些方法要么基于枢轴点处的全梯度的计算，要么基于在存储器中保持每个数据点的校正。因此，相对于SGD的加速可能需要最少数量的时期才能实现。本文研究了可以利用训练数据中的邻域结构来共享和重用关于数据点之间的过去随机梯度的信息的算法，这在瞬态优化阶段提供了优势。作为副产品，我们提供了一个统一的收敛性分析的方差减少算法，我们称之为记忆算法的家庭。我们提供实验结果支持我们的理论。
2016-02-26 cs.LG math.OC stat.ML
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）
方差缩减（VR）方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降（SGD）的性能。然而，当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算（使用整个数据集）。这限制了VR方法在实际分布式环境中的使用。在本文中，我们提出了一种方差降低方法，称为VR-lite，不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种，可扩展的，保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法，并发现我们提出的算法表现良好，其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
Spectral Gradient Descent Mitigates Anisotropy-Driven Misalignment: A Case Study in Phase Retrieval
研究谱梯度方法在非线性相位检索模型中的作用机制，通过动力学分析发现梯度下降存在方差诱导失准，谱梯度下降可消除此效应，实现稳定对齐和加速噪声收缩，数值实验证实理论。
2026-07-07 cs.LG stat.ML
Guaranteed Sufficient Decrease for Variance Reduced Stochastic Gradient Descent
The Chinese University of Hong Kong（香港中文大学）；National Institute of Informatics（国立信息学研究所）；Preferred Infrastructure, Inc.（Preferred Infrastructure公司）
在本文中，我们提出了一种新的充分减少技术的方差减少随机梯度下降方法，如SAG，SVRG和SAGA。为了使随机优化问题得到充分的降阶，我们设计了一个新的充分降阶准则，该准则产生了SVRG-SD和SAGA-SD等方差降阶算法的充分降阶版本。我们引入一个系数来缩放当前向量，并满足充分减少性质，决定收缩、扩张或向相反方向移动，然后给出Lasso和岭回归的两个具体的系数更新规则。此外，我们分析了我们的算法的收敛性强凸问题，这表明我们的算法达到线性收敛速度。我们还为非强凸问题提供了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2017-06-04 cs.LG math.OC stat.ML
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Davis（加州大学戴维斯分校）
研究了噪声方差为无穷大时的随机凸优化问题。具体地说，当随机梯度是无偏的且具有一致有界的$(1+κ)$阶矩时，对于某些$κ\in (0,1]$，我们根据优化问题的迭代次数、维数和相关的几何参数，量化了具有一类特殊的一致凸镜映射的随机镜像下降算法的收敛速度.有趣的是，该算法不需要任何显式的梯度裁剪或归一化，这已被广泛用于最近的几个经验和理论工作。我们补充我们的收敛结果与信息理论的下限表明，没有其他算法只使用随机一阶预言机可以实现提高利率。我们的研究结果有几个有趣的后果，设计在线/流随机逼近算法的鲁棒统计和机器学习中出现的问题。
2022-02-23 cs.LG math.OC stat.ML
Statistical Inference for Stochastic Gradient Descent: Beyond Finite Variance
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
针对随机梯度下降中梯度方差可能无限的问题，提出一种基于联合弱收敛和自正则化统计量的模型无关置信域构建方法，并通过子采样校准实现渐近有效推断。
2026-08-03 cs.LG stat.ME stat.ML
Accelerating Stochastic Gradient Descent Using Antithetic Sampling
University of Science and Technology of China（中国科学技术大学）
（小批量）随机梯度下降是一种流行的优化方法，已被应用于许多机器学习应用。但由于随机梯度在每一步中引入了较大的方差，可能会减慢收敛速度。在本文中，我们提出的对偶抽样策略，以减少方差，利用数据集的内部结构。在这种新策略下，小批量中的随机梯度不再是独立的，而是尽可能负相关的，而小批量随机梯度仍然是全梯度的无偏估计.对于二值分类问题，只需预先计算对偶样本，并在每次迭代中重用结果，具有实用性。实验结果验证了该方法的有效性。
2018-10-07 cs.LG stat.ML
Natural Langevin Dynamics for Neural Networks
在机器学习中避免过拟合的一种方法是使用根据给定数据的贝叶斯后验分布的模型参数，而不是极大似然估计。随机梯度朗之万动力学（SGLD）是一种用于近似大型模型和数据集的贝叶斯后验的算法。SGLD是一种标准的随机梯度下降，其中添加了受控量的噪声，特别是缩放，以便参数按规律收敛到后验分布[WT 11，TTV 16]。后验预测分布可以通过来自轨迹的样本的集合来近似。已知噪声方差的选择会影响SGLD的实际行为：例如，对于敏感参数方向，噪声应该更小。理论上，建议使用模型的逆费舍尔信息矩阵作为噪声的方差，因为它也是贝叶斯后验的方差[PT 13，AKW 12，GC 11]。但是对于大维度的模型来说，费歇尔矩阵的计算成本很高.在这里，我们使用[MO16，Oll15]中的深度神经网络的Fisher矩阵近似。由此产生的自然Langevin动力学结合了Amari的自然梯度下降和Fisher预处理Langevin动力学的优势，用于大型神经网络。MNIST上的小规模实验表明，Fisher矩阵预处理作为一种正则化技术，使SGLD接近dropout。
2017-12-04 cs.NE stat.ML
Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime
Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
深度神经网络在对训练数据进行完美插值的同时，可以实现显著的泛化性能。他们的检验误差通常遵循“双下降“，而不是偏倚-方差权衡的U型曲线，这是过度参数化的有益作用的标志。在这项工作中，我们开发了一个定量的理论，这种现象在所谓的懒惰学习制度的神经网络，通过考虑学习一个高维函数与随机特征回归的问题。我们得到一个精确的渐近表达式的偏差方差分解的测试误差，并表明，偏差显示在插值阈值的相变，超过此阈值，它保持不变。我们从数据集的采样、破坏标签的加性噪声以及权重的初始化中分离出方差。在Geiger等人2019的基础上，我们首先证明了后两个贡献是双下降的关键：它们导致插值阈值处的过拟合峰值和过参数化后测试误差的衰减。然后，我们量化它们是如何被抑制的合奏平均K独立初始化估计的输出。当K被发送到无穷大时，测试误差在插值阈值之外保持恒定。我们进一步比较了过度参数化，集成和正则化的效果。最后，我们在经典的深度学习设置上进行了数值实验，以表明我们的结果在现实的懒惰学习场景中定性地成立。
2020-04-03 cond-mat.dis-nn cs.LG stat.ML
Kernel regression in high dimensions: Refined analysis beyond double descent
KU Leuven；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提供了一个精确的表征的泛化性能的高维核岭回归在下和过参数化制度，这取决于训练数据的数量n是否超过特征维数d。通过建立一个偏差方差分解的预期超额风险，我们表明，虽然偏差是（几乎）独立的d和单调递减的n，方差依赖于n，d，可以是单峰或单调递减下不同的正则化方案。我们的精细分析超越了双下降理论，表明根据数据特征曲线和正则化水平，核回归风险曲线可以是双下降，钟形或n的单调函数。合成和真实数据进行实验，以支持我们的理论研究结果。
2021-02-24 cs.LG stat.ML
Stochastic Variance-reduced Gradient Descent for Low-rank Matrix Recovery from Linear Measurements
我们研究了从线性测量估计低秩矩阵的问题（也称为，矩阵传感）通过非凸优化。提出了一种有效的随机方差缩减梯度下降算法来求解矩阵传感的非凸优化问题。我们的算法是适用于噪声和无噪声的设置。在噪声观测的情况下，我们证明了我们的算法收敛到未知的低秩矩阵的线性速率最小最大的最佳统计误差。在无噪声环境下，我们的算法保证线性收敛到未知的低秩矩阵，并以最佳的样本复杂度实现精确恢复。最值得注意的是，我们提出的算法的整体计算复杂度，这是定义为迭代复杂度倍每迭代时间复杂度，是低于最先进的算法的基础上梯度下降。合成数据上的实验证实了所提出的算法的优越性比国家的最先进的算法。
2017-01-16 stat.ML
