Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss
MIT（麻省理工学院）；Apple（苹果公司）
机器学习的一个核心问题是如何在敏感的用户数据上训练模型。工业界广泛采用了一种简单的算法：带噪声的随机梯度下降（也称为随机梯度朗之万动力学）。然而，关于该算法的隐私损失的基本理论问题仍然是开放的-即使在有界域上光滑凸损失的看似简单的设置中。我们的主要结果解决了这些问题：对于一个大的参数范围内，我们的差分隐私的特点，以一个常数的因素。这一结果表明，之前针对该设置的所有分析都具有错误的定性行为。具体来说，虽然以前的隐私分析增加了迭代次数的无限次，但我们表明，经过一段时间的磨合，运行SGD不再泄漏更多的隐私。我们的分析与以前基于快速混合的方法不同，而是使用基于最佳传输（即迭代隐私放大）和采样高斯机制（即采样隐私放大）的技术。我们的技术很容易扩展到其他设置，例如，强凸损失、非均匀步长、任意批量大小以及批量的随机或循环选择。
2023-02-28 cs.CR cs.LG math.OC
Noisy Linear Convergence of Stochastic Gradient Descent for CV@R Statistical Learning under Polyak-Łojasiewicz Conditions
Michigan State University（密歇根州立大学）
条件风险值（$\mathrm{CV@R}$）是最流行的风险度量之一，最近被认为是监督统计学习的性能标准，因为它与现代应用中期望的操作特性有关，例如安全性，公平性，分布鲁棒性和预测误差稳定性。然而，由于其变分定义，$\mathrm{CV@R}$通常被认为会导致困难的优化问题，即使是光滑和强凸损失函数。我们通过建立噪声（即，固定精度）线性收敛的随机梯度下降顺序$\mathrm{CV@R}$学习，为一大类不一定强凸（或甚至凸）损失函数满足集限制Polyak-Lojasiewicz不等式。这类包含所有光滑和强凸损失，确认经典问题，如线性最小二乘回归，可以有效地解决$\mathrm{CV@R}$标准下，就像他们的风险中性版本。我们的结果在这样一个风险意识岭回归任务的数值说明，也验证了他们在实践中的有效性。
2021-01-19 cs.LG cs.SY eess.SP
Efficient Over-parameterized Matrix Sensing from Noisy Measurements via Alternating Preconditioned Gradient Descent
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人国家重点实验室，沈阳自动化研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；School of Management, Xi’an Jiaotong University（西安交通大学管理学院）
针对过参数化噪声矩阵感知问题，提出交替预条件梯度下降（APGD）算法，交替更新因子矩阵，消除了阻尼参数需求并支持更大步长，理论证明其线性收敛至近最优误差，实验验证在多类低秩估计任务中收敛最快且计算时间最短。
2025-05-31 cs.LG math.OC stat.ML
Uniform-in-Time Wasserstein Stability Bounds for (Noisy) Stochastic Gradient Descent
Florida State University（佛罗里达州立大学）；Rutgers Business School（罗格斯商学院）；Princeton University（普林斯顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过学习理论与应用概率的联系，提出统一的 Wasserstein 稳定性界证明准则，并基于 Lyapunov 函数为 SGD 在强凸、非凸及无额外噪声的凸与非凸损失下建立了时间一致稳定性界。
2023-10-28 cs.LG math.OC stat.ML
On the Convergence of a Noisy Gradient Method for Non-convex Distributed Resource Allocation: Saddle Point Escape
University of Melbourne（墨尔本大学）
针对非凸分布式资源分配问题，本文在拉普拉斯加权梯度下降基础上加入随机扰动以实现鞍点逃逸，证明了二阶收敛性，实验显示其性能优于标准加权梯度下降。
2026-08-26 math.OC
Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses
McMaster University（麦克马斯特大学）；Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）
本文研究了非凸损失下DP-SGD的隐私损失问题，证明了在不依赖凸性或平滑性假设时，投影DP-SGD的隐私损失能呈指数级收敛，并利用非线性数据处理不等式分析了非投影变体。
2023-05-17 cs.CR cs.IT cs.LG
Convergence of a Steepest Descent Algorithm for Ratio Cut Clustering
散乱、噪声、高维数据点的无监督聚类是一个重要而又困难的问题。最近已经证明，平衡切割问题的紧连续松弛提供了出色的聚类结果。本文对松弛比截问题提出了一种显隐梯度流格式，并证明了该算法收敛于能量的一个临界点。我们还显示了该算法的效率上的两个月亮数据集。
2012-04-30 math.OC
Gradient Descent Learns Linear Dynamical Systems
University of California, Berkeley（加利福尼亚大学伯克利分校）；Facebook AI Research（Facebook人工智能研究（Facebook AI Research））
我们证明了随机梯度下降有效地收敛到全局优化的最大似然目标的一个未知的线性时不变动力系统从一个序列的噪声观测系统所产生的。即使目标函数是非凸的，我们提供了多项式的运行时间和样本的复杂性界限下强，但自然的假设。线性系统辨识已经研究了几十年，然而，据我们所知，这些是我们考虑的问题的第一个多项式保证。
2019-02-11 cs.DS cs.LG math.OC
Power-Constrained Policy Gradient Methods for LQR
本文研究在平均功率约束和噪声信道下，利用策略梯度求解未知系统矩阵的LQR问题，提出最优功率分配算法以最小化期望最优性误差上界，并证明自适应功率分配相比均匀功率分配能提升收敛速率。
2025-07-21 math.OC
Gradient Descent for Convex and Smooth Noisy Optimization
本文研究使用带回溯线搜索的梯度下降（GD-BLS）解决非必然L-光滑的严格凸噪声优化问题，提出一种迭代提前停止策略，在固定计算预算下显著提升了参数估计的收敛速率，且无需针对特定函数调参即可保证收敛。
2025-04-01 math.OC
Coordinate Descent for SLOPE
针对 SLOPE 现有求解器在高维场景下效率不足的问题，提出融合近端梯度下降与近端坐标下降的快速算法，并给出理论收敛保证及基准优势验证。
2022-10-26 math.OC stat.CO stat.ML
The Extended Kalman Filter is a Natural Gradient Descent in Trajectory Space
扩展卡尔曼滤波器可能是从系统的某些功能的噪声测量实时估计动力系统的状态的最标准工具，具有广泛的实际应用（例如通过GPS的位置跟踪）。虽然用于线性系的普通卡尔曼滤波器是很好理解的，但是扩展卡尔曼滤波器依赖于已经被争论的线性化。我们从统计学习的第一原理中恢复精确的扩展卡尔曼滤波方程：扩展卡尔曼滤波器等于Amari的在线自然梯度，应用于系统的轨迹空间。也就是说，动力系统的每个可能的轨迹定义了可能观测的概率定律。原则上，这使得有可能将潜在的轨迹视为观测的统计模型的参数。然后，当观测值变得可用时，可以通过对观测值的对数似然的梯度上升来学习参数。使用来自信息几何的Amari自然梯度（用Fisher矩阵预处理的梯度下降，其提供参数化不变性）精确地恢复扩展卡尔曼滤波器。这仅适用于卡尔曼滤波器中过程噪声的特定选择，即，采用与后验协方差成比例的噪声-在缺乏特定模型信息的情况下的典型选择。
2019-01-03 math.OC stat.ML
Convergence Analysis of the Wasserstein Proximal Algorithm beyond Geodesic Convexity
University of British Columbia（不列颠哥伦比亚大学）；University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）
本文提出了一种无需假设目标函数测地凸性的简单自包含分析，证明了Wasserstein近端算法在自然的Wasserstein类欧几里得Polyak-Łojasiewicz不等式下具有无偏线性收敛性，改进了现有在强测地凸性下求解Wasserstein梯度流的近端算法收敛率，并扩展到半测地凸目标的近端算法。
2026-10-02 math.OC stat.ML
Nesterov acceleration despite very noisy gradients
University of Pittsburgh（匹兹堡大学）；Texas A&M University（德克萨斯农工大学）
针对梯度噪声与幅值成正比的场景，提出可适配任意信噪比的AGNES算法，推广Nesterov加速梯度法，参数更少且性能更优，还给出参数选择的几何解释与启发式规则。
2024-10-31 cs.LG math.OC stat.ML
High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
本文针对重尾噪声下的分布式优化问题，提出分布式裁剪随机梯度下降算法，并在图连通性温和假设下证明其高概率收敛，仿真验证了理论结果。
2025-06-18 math.OC
Stochastic Gradient Descent in Continuous Time
连续时间随机梯度下降（SGDCT）为连续时间模型的统计学习提供了一种计算效率高的方法，广泛应用于科学、工程和金融领域。SGDCT算法遵循沿着连续数据流的（有噪声的）下降方向。SGDCT在连续时间内执行在线参数更新，其中参数更新$θ_t$满足随机微分方程。我们证明了$\lim_{t \rightarrow \infty} \nabla \bar g(θ_t) = 0$，其中$\bar g$是一个自然的目标函数的连续时间动态的估计。收敛性证明通过使用适当的泊松方程来帮助描述参数在大时间内的演化，从而利用遍历性。SGDCT也可以用来解决连续时间的最优化问题，如美式期权。对于某些连续时间问题，SGDCT相比传统的随机梯度下降算法有一些有前途的优势。作为一个示例应用，SGDCT与深度神经网络相结合，为高维美式期权（最多100维）定价。
2017-10-29 math.OC math.PR math.ST
Robust Analysis of Almost Sure Convergence of Zeroth-Order Mirror Descent Algorithm
本文研究带偏噪声预言机下零阶镜像下降算法的几乎必然收敛性，利用改进的 Nesterov 高斯近似估计次梯度，并给出有限时间集中不等式刻画迭代值落入最优邻域的概率。
2024-06-30 math.OC
Mean-Field Langevin Dynamics: Exponential Convergence and Annealing
噪声粒子梯度下降（NPGD）算法是一种最小化包含熵项的测度空间上的凸函数的算法。在多粒子的限制，该算法是由一个平均场朗之万动力学-一个推广的朗之万动力学与非线性漂移-这是我们的主要研究对象。以前的工作表明，它的收敛到唯一的极小通过非定量参数。我们证明了这种动态收敛在指数速度，假设一定的家庭的Log-Sobolev不等式成立。例如，这个假设适用于某些双层神经网络的风险最小化，其中NPGD等价于标准噪声梯度下降。我们还研究了退火动力学，并表明，噪声衰减的对数率，动态收敛值的非正则化目标函数的全局最小值。
2022-08-11 math.OC
Locally Regularized Sparse Graph by Fast Proximal Gradient Descent
Arizona State University（亚利桑那州立大学）
针对原始稀疏图忽略数据几何信息的问题，提出支持正则化稀疏图（SRSG），通过支持正则化项鼓励局部平滑，并采用快速近端梯度下降求解，实验证明其在聚类上优于其他方法。
2024-09-25 cs.LG math.OC
A Novel Fractional-Order Accelerated Gradient Descent Method for Nonlinear Optimization with Application to Posture Recognition
Indian Institute of Technology, Jodhpur（印度焦特布尔理工学院）；Kaunas University of Technology（考纳斯理工大学）
本文提出适用于光滑与非光滑优化的Caputo分数阶加速梯度下降（CFAGD）方法，结合自适应参数与Armijo线搜索，理论上线性收敛，数值验证显示其性能优于竞争方法，可应用于姿态识别。
2026-08-26 math.OC
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Peking University（北京大学）
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降（XOR-SGD）提供了一个收敛速度保证解决约束的版本的问题，利用XOR-采样。然而，当需要满足额外的等式和不等式约束时，任务变得更加困难。本文提出了一种基于投影梯度下降（PGD）和异或采样器相结合的新算法XOR-PGD，通过选择合适的步长，保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明，在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明，改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核，通过实验与大尺寸。
2022-03-22 cs.LG math.OC
Preference-based optimization from noisy pairwise comparisons
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出了一种基于噪声成对比较的优化算法，通过均匀球扰动生成扰动动作并估计下降方向，证明其在标准假设下收敛到 stationary 点，并在 LQG 系统中验证了有效性。
2025-12-20 math.OC
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们引入有偏梯度预言机来捕获一个设置，其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的，在几个实际情况下，例如，风险度量估计从一批独立同分布（i.i.d.）样本或模拟优化，其中函数测量由于计算约束而“有偏”。在任何一种情况下，增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下，我们分析了一个变种的随机梯度（RSG）算法与有偏梯度预言。我们量化该算法的收敛速度，通过推导其性能的非渐近界。接下来，在随机凸优化设置，我们推导出非渐近界的随机梯度下降（SGD）算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
Random coordinate descent: a simple alternative for optimizing parameterized quantum circuits
本文提出一种随机坐标下降算法，每次迭代仅需一个偏导数，在噪声环境下优化参数化量子电路时，具备与全梯度下降相当的随机稳定性，且在特定问题中复杂度更优。
2024-06-28 math.OC quant-ph
A Scalable Min-Max Multi-Gradient Descent Method for Multi-Objective Transportation Problems
University of Maryland（马里兰大学）
提出一种可扩展的最小-最大多梯度下降框架，通过求解约束最小-最大问题构建平衡公共下降方向，解决多目标交通问题中竞争目标和高维约束的优化，理论证明与实验验证其有效性。
2026-06-11 math.OC
Distributed Stochastic Constrained Composite Optimization over Time-Varying Network with a Class of Communication Noise
研究了一类带有通信噪声的时变网络上分布式随机多智能体约束最优化问题。本文考虑的问题，在复合优化设置，这是更普遍的文献中的噪声网络优化。值得注意的是，现有的主流噪声网络优化方法是基于欧几里德投影。基于Bregman投影的镜像下降格式，提出了一种非欧方法，并研究了其收敛性。这种方法是分布式随机复合镜像下降型方法（DSCMD-N），它提供了一个更通用的算法框架。得到了DSCMD-N的一些新的误差界。据我们所知，这是第一个工作，分析和推导的收敛速度的优化算法在噪声网络优化。在适当的通信噪声条件下，我们还证明了该方法在非光滑凸优化下可以得到一个最优的$O(1/\sqrt{T})$速率。在期望收敛性、高概率收敛性和几乎必然收敛性方面得到了新的收敛结果。
2022-12-19 cs.SY eess.SY math.OC
Noisy Optimization: Fast Convergence Rates with Comparison-Based Algorithms
无导数优化算法是解决黑箱最优化问题的一种有效方法。当涉及到噪声函数时，经典的基于比较的算法比基于梯度的算法慢。对于二次函数，当$N$是函数评估的数量时，没有大突变的进化算法最多有一个简单的遗憾$O(1/ \sqrt{N})$，而随机梯度下降可以在$O(1/N)$中（紧密地）达到一个简单的遗憾。已经证明，通过有限差分的梯度近似（因此，不是基于比较的方法）对于达到这样的$O(1/N)$是必要的。我们回答这个猜想的否定，提供一个基于比较的算法一样好的梯度法，即达到$O(1/N)$ -的条件下，但是，噪声是高斯。实验结果证实了$O(1/N)$简单的遗憾，即，与$O(1/\sqrt{N})$上发表的许多结果相比，
2016-04-28 math.OC
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley（加州大学伯克利分校）；National University of Defense Technology（国防科技大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）
我们考虑了广泛的正则化随机极小化问题的两个正则化项，其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用，例如融合Lasso，融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面，与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面，当输入数据样本的数量相当大时，目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题，我们提出了一个随机变量的额外梯度型方法，即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)}，并分析其收敛性的凸和强凸目标。对于一般的凸目标，由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标，由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的，以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明，该算法的性能非常有效，并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
Two-Scale Gradient Descent Ascent Dynamics Finds Mixed Nash Equilibria of Continuous Games: A Mean-Field Perspective
University of Massachusetts（马萨诸塞大学）
寻找两人零和连续对策的混合纳什均衡（MNE）是机器学习中一个重要而又具有挑战性的问题。找到MNE的规范算法是噪声梯度下降上升方法，其在无限粒子极限中产生概率测度空间上的{ \em平均场梯度下降上升}（GDA）动力学。在本文中，我们首先研究了两尺度平均场GDA动力学的收敛性，以找到熵正则化目标的MNE。更精确地说，我们表明，对于每个有限的温度（或正则化参数），具有适当的{ \em有限}尺度比的双尺度平均场GDA指数收敛到唯一的MNE，而无需假设的凸性或相互作用势。我们的证明的关键成分在于新的李雅普诺夫函数，沿平均场GDA指数耗散的建设。我们进一步研究了平均场GDA动力学的模拟退火。我们表明，随着时间的推移，退火平均场GDA的温度时间表，衰减的mammically收敛到MNE的原始未正则化的目标。
2023-01-08 cs.LG math.AP math.OC
Distributed Stochastic Optimization under Heavy-Tailed Noise: A Federated Mirror Descent Approach with High Probability Convergence
本文针对重尾噪声下分布式随机优化问题，提出截断联邦随机镜像下降算法，并证明在适当步长和截断参数下可实现高概率收敛。
2025-09-22 math.OC
From sparse recovery to plug-and-play priors, understanding trade-offs for stable recovery with generalized projected gradient descent
本文提出了一种通用投影梯度下降框架，结合深度投影先验，以提高稀疏恢复和图像逆问题中的稳定性和鲁棒性。
2025-12-08 cs.NE eess.IV math.OC
Approximating Hessian matrices using Bayesian inference: a new approach for quasi-Newton methods in stochastic optimization
本文提出一种基于贝叶斯推断的Hessian近似方法，通过最小化割线方程残差并约束极端特征值范围来改善随机梯度下降的预条件处理，实验表明其在不放大梯度噪声的前提下有效提升了随机优化的收敛性能。
2024-04-01 math.OC
Zeroth-order methods for noisy Hölder-gradient functions
本文证明了非凸优化零阶方法的新的复杂性界，其中目标函数值具有不精确观测。我们使用Nesterov和Spokoiny [2015]的高斯平滑方法，并将其结果扩展到光滑零阶非凸问题的最优化方法，以设置具有Hölder连续梯度的函数的最小化，并获得噪声上界。我们考虑了基于正态分布随机高斯向量的有限差分梯度近似，并证明了基于这种近似的梯度下降格式收敛到光滑函数的平稳点。我们还考虑收敛到原来的（不平滑）功能的稳定点，并获得的步骤的数量上的界限，使其梯度的范数小的算法。此外，我们提供了零阶预言中的噪声水平的界限，仍然可以保证上述界限。我们还考虑单独的情况下，$ν= 1$，并表明，在这种情况下，所获得的边界上的尺寸的依赖性可以得到改善。
2021-01-13 math.OC
Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem
University of Maryland, College Park（马里兰大学帕克分校）；École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对服务器—智能体网络中的分布式线性最小二乘问题，提出迭代预条件梯度下降法，在唯一解时实现超线性收敛，并通过无噪声与含噪声实验验证其速率优势。
2021-08-06 cs.LG cs.SY eess.SY
Second-Order Mirror Descent: Convergence in Games Beyond Averaging and Discounting
University of Toronto（多伦多大学）
本文提出博弈论镜像下降的二阶连续时间动力学 MD2，无需时间平均或贴现即可收敛到单纯 VSS，并给出无悔、指数收敛、离散噪声情形保证及新动力学推导。
2023-06-30 cs.GT cs.LG cs.SY
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Guaranteed Noisy CP Tensor Recovery via Riemannian Optimization on the Segre Manifold
Department of Applied and Computational Mathematics and Statistics, University of Notre Dame（应用与计算数学与统计学系，诺特丹大学）
针对高维数据分析中低CP秩张量的含噪恢复难题，提出基于Segre流形黎曼优化的RGD与RGN算法，证明其收敛性并通过实验验证了有效性。
2025-10-01 cs.LG math.OC math.ST
A Sharp Estimate on the Transient Time of Distributed Stochastic Gradient Descent
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Boston University（波士顿大学）
本文研究了在网络环境下，各代理之间可以相互通信和交换信息时，最小化$n$费用函数的平均值问题。我们考虑只有噪声梯度信息可用的设置。为了解决这个问题，我们研究了分布式随机梯度下降（DSGD）方法，并进行了非渐近收敛分析。对于强凸和光滑的目标函数，DSGD渐近实现最佳的网络独立的收敛速度相比，集中式随机梯度下降（SGD）。我们的主要贡献是表征DSGD接近渐近收敛速度所需的瞬态时间，我们表现为$K_T=\mathcal{O}\left(\frac{n}{(1-ρ_w)^2}\right)$，其中$1-ρ_w$表示混合矩阵的谱隙。此外，我们构造了一个“硬”的最优化问题，我们表明所需的过渡时间DSGD接近渐近收敛速度是下有界的$Ω\left(\frac{n}{(1-ρ_w)^2} \right)$，这意味着所获得的结果的锋利。数值实验证明了理论结果的严密性。
2021-01-30 cs.DC cs.LG cs.MA
Stable Phase Retrieval with Mirror Descent
Normandie Univ（诺曼底大学）；ENSICAEN（卡昂高等师范工程师学院）；CNRS（法国国家科学研究中心）；GREYC（格雷西研究所）；Aix-Marseille Univ（艾克斯-马赛大学）；Centrale Marseille（马赛中央理工学院）；Institut Fresnel（弗雷内尔研究所）
本文将无噪声镜像下降相位恢复框架拓展至含噪场景，证明了算法对小加性噪声的稳定性及高斯测量下的全局收敛性，结合谱初始化可降低样本复杂度，数值实验验证了其计算与统计效率。
2024-06-20 cs.CV cs.IT math.IT
On the convergence of gradient-like flows with noisy gradient input
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息实验室）；Maastricht University（马斯特里赫特大学）
针对带噪声梯度输入的凸优化问题，分析了随机扰动下类梯度流的渐近行为。具体来说，我们专注于广泛研究的类镜像下降计划的凸计划与紧凑的可行域，我们研究的动力学的收敛性和浓度的存在噪声的性质。在消失的噪声限制，我们表明，动态收敛到解决方案的基本问题（a.s.）。否则，当噪声是持久的，我们表明，从长远来看，动力学集中在内部解决方案，他们收敛到边界的解决方案，是足够的“尖锐”。最后，我们证明了一个适当的整流的方法收敛的变体，而不管噪声的大小（或结构的基本凸计划），我们推导出一个明确的估计其收敛速率。
2017-09-20 cs.LG math.DS math.OC
