Accelerated gradient methods with strong convergence to the minimum norm minimizer: a dynamic approach combining time scaling, averaging, and Tikhonov regularization
在Hilbert框架下，对于凸可微优化问题，我们考虑了通过结合时间尺度和平均技术与Tikhonov正则化得到的加速梯度法。我们从连续的最速下降动态与一个额外的Tikhonov正则化项，其系数渐近消失。我们提供了一个广泛的一阶发展方程的李雅普诺夫分析。然后，我们适用于这个动态的时间缩放和平均最近推出的Attouch，博特和阮的方法。因此，我们得到一个惯性动态，其中涉及粘性阻尼与Nesterov的方法，隐式海森阻尼和Tikhonov正则化。在一个适当的参数设置，只是使用詹森不等式，而不需要另一个李雅普诺夫分析，我们表明，轨迹在同一时间有几个显着的属性：它们提供了一个快速收敛的值，快速收敛的梯度为零，和强收敛到最小范数最小。这些结果完善和改进了作者以前的结果。
2022-11-18 math.OC
Can speed up the convergence rate of stochastic gradient methods to $\mathcal{O}(1/k^2)$ by a gradient averaging strategy?
Princeton University（普林斯顿大学）；Nanjing University（南京大学）
在本文中，我们考虑的问题是，是否有可能应用梯度平均策略，以改善次线性收敛速度没有任何增加的存储。我们的分析表明，一个积极的答案需要一个适当的平均策略和迭代，满足方差占主导地位的条件。作为一个有趣的事实，我们表明，如果我们定义的迭代方差总是占主导地位，即使是一点点的随机梯度迭代，建议的梯度平均策略可以增加收敛速度$\mathcal{O}(1/k)$ $\mathcal{O}(1/k^2)$的概率为Lipschitz梯度的强凸目标。这一结论为如何控制随机梯度迭代以提高算法的收敛速率提供了依据。
2020-02-25 cs.LG cs.NA math.NA
Finite-time and Asymptotic Convergence of Distributed Averaging and Maximizing Algorithms
在本文中，我们制定和调查的广义共识算法，试图统一的分布平均和最大化算法在文献中考虑。每个节点迭代地更新其状态作为其自身状态、其邻居的最小状态和最大状态的时变加权平均。我们证明了有限时间的共识几乎是不可能的平均在这个统一的模型。考虑了时间依赖图和状态依赖图，给出了一致收敛的各种必要和/或充分条件。对于时间依赖图，我们表明，准强连通性是至关重要的平均，是强连通性最大化。对于由$μ$ -最近邻规则定义的状态依赖图，其中每个节点与其$μ$最近较小的邻居和$μ$最近较大的邻居相互作用，我们表明，$μ+1$是一个临界阈值的节点总数的过渡从有限时间到渐近收敛平均，在没有节点自信。如果每个节点选择仅连接到具有唯一值的邻居，则阈值为$2μ$。数值例子说明了紧的条件。结果表征分布平均和最大化算法之间的一些基本的相似性和差异。
2012-09-05 cs.DC math.OC
Convergence of Extragradient SVRG for Variational Inequalities: Error Bounds and Increasing Iterate Averaging
研究变分不等式外梯度SVRG算法在弱于强单调性的误差界条件下的最后迭代线性收敛性，并扩展至弱锐性假设与递增迭代平均技术。
2023-12-30 cs.GT math.OC
DSA: Decentralized Double Stochastic Averaging Gradient Algorithm
本文考虑网络节点可访问全局目标的和式的凸优化问题。进一步假设这些局部目标中的每一个是函数的有限集的平均。这种设置的动机是解决大规模机器学习问题，其中训练集的元素被分配到多个计算元素。分散的双随机平均梯度（DSA）算法被提出作为一种解决方案的替代方案，依赖于：（i）使用局部随机平均梯度。(ii)将下降步长确定为连续随机平均梯度的差。证明了局部函数的强凸性和局部梯度的Lipschitz连续性保证了DSA生成的序列按期望值的线性收敛。局部迭代进一步示出接近几乎所有实现的最优参数。DSA的预期线性收敛性与现有分散随机最优化方法的次线性速率特性形成对比。对逻辑斯谛回归问题的数值实验表明，相对于这些其他替代方案，收敛时间和处理的特征向量的数量减少，直到收敛。
2015-06-13 math.OC
Large Gain Stability of Extremum Seeking and Higher-Order Averaging Theory
在小增益的限制下，证明了搜索算法的收敛性。使用平均理论和收缩分析，我们提出了一个框架，用于计算明确的界限偏离ES计划从其理想的优势阶平均动态。对于可能的大增益，界限仍然有效。它们使我们能够建立稳定性和估计收敛速度，他们开辟了选择“最佳”的ES计划的有限增益的方式。
2013-03-19 math.OC
Convergence Properties of Dynamic String Averaging Projection Methods in the Presence of Perturbations
The Technion—Israel Institute of Technology（以色列理工学院）；University of Innsbruck（因斯布鲁克大学）
研究扰动下动态字符串平均投影方法的收敛性，证明扰动不影响收敛速率，尤其适用于线性收敛性证明，并应用于超级化方法。
2017-03-22 cs.NA math.FA math.NA
A Generalized Frank-Wolfe Method With "Dual Averaging" for Strongly Convex Composite Optimization
通过在对偶变量上引入一个额外的平均步骤，我们提出了一个简单的求解强凸复合最优化问题的广义Frank-Wolfe方法的变体.我们表明，在这种变体中，可以选择一个简单的常数步长，并获得一个线性收敛速率的对偶间隙。通过利用这种变体的收敛性分析，我们然后分析了逻辑虚拟游戏算法的局部收敛率，该算法在对策论中已经建立，但缺乏任何形式的收敛速度保证。我们表明，以高概率，该算法局部收敛率$O(1/t)$，在一定的预期的对偶差距。
2022-10-25 math.OC math.PR
Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence
ICSI（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
我们考虑使用随机牛顿法极小化光滑和强凸目标函数。在每一次迭代中，该算法被给予对黑塞矩阵的随机估计的预言访问。Oracle模型包括流行的算法，如Subsampled Newton和Newton Sketch。尽管使用二阶信息，这些现有的方法不表现出超线性收敛，除非随机噪声逐渐减少到零，在迭代过程中，这将导致计算爆破在每次迭代的成本。我们建议使用Hessian平均来解决这个限制：我们的算法不是使用最近的Hessian估计，而是保持所有过去估计的平均值。这减少了随机噪声，同时避免了计算爆炸。我们证明了该方案具有局部$Q$ -超线性收敛的非渐近速率为$(Υ\sqrt{\log (t)/t}\,)^{t}$，其中$Υ$与Hessian预言机中随机噪声的水平成正比。这种（均匀平均）方法的潜在缺点是平均估计包含来自该方法的全局阶段的Hessian信息，即，在迭代收敛到局部邻域之前。这导致失真，该失真可实质上延迟超线性收敛直到到达局部邻域之后很久。为了解决这个缺点，我们研究了一些加权平均计划，分配更大的权重，最近的海森，使超线性收敛出现得更快，虽然速度稍慢。值得注意的是，我们发现，存在一个普遍的加权平均计划，过渡到局部收敛的最佳阶段，仍然表现出超线性收敛速率几乎（对数因子）匹配的均匀海森平均。
2022-11-28 cs.LG math.OC stat.ML
Bregman Parallel Direction Method of Multipliers for Distributed Optimization via Mirror Averaging
分布式优化的目的是通过局部计算和通信来优化由图上耦合的局部凸函数之和形成的全局目标。本文提出了基于镜像平均的Bregman平行方向乘子法（PDMM）。我们建立了Bregman PDMM的整体收敛和$O(1/T)$收敛速度，以及它对现有PDMM的$O(n/\ln n)$改进，其中$T$表示迭代次数，$n$表示解变量的维数.此外，我们可以通过优化平均矩阵的谱隙来提高其性能。我们通过一个数值例子证明了我们的结果。
2018-05-02 math.OC
Strong convergence, perturbation resilience and superiorization of Generalized Modular String-Averaging with infinitely many input operators
Department of Mathematics University of Haifa（海法大学数学系）
本文研究了基于通用模块字符串平均（GMSA）过程的迭代算法在一般容许控制下的强收敛性和扰动鲁棒性，探讨了其在实Hilbert空间中的可行性问题，包括公共不动点问题和凸可行性问题，并展示了其在优越化方法和动态字符串平均中的应用。
2026-03-15 cs.NA math.NA math.OC
Averaging on the Bures-Wasserstein manifold: dimension-free convergence of gradient descent
Massachusetts Institute of Technology（麻省理工学院）
本文针对Bures-Wasserstein流形上高斯分布重心的优化问题，证明了新的测地凸性结果，首次为黎曼梯度下降建立了无维度收敛速率，并扩展到熵正则化重心和几何中位数问题。
2023-10-31 cs.LG math.OC
Convergence and Perturbation Resilience of Dynamic String-Averaging Projection Methods
University of Haifa（海法大学）；The Technion – Israel Institute of Technology（以色列理工学院）
针对希尔伯特空间中的凸可行性问题，提出动态字符串平均投影方法，并证明其收敛性和有界扰动鲁棒性。
2012-06-01 cs.NA math.NA math.OC
Blind Random Search with Noisy Loss Measurements: Averaging, Thresholding, and Almost Sure Convergence
该研究针对含噪声损失测量的盲随机搜索问题，通过结合平均与阈值化技术，实现了真实损失的几乎必然收敛。
2026-09-07 cs.IT math.IT math.OC
On the Convergence of Stochastic Extragradient for Bilinear Games using Restarted Iteration Averaging
University of California, Berkeley（加州大学伯克利分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
我们研究了随机双线性极大极小最优化问题，提出了一种分析相同的样本随机ExtraGradient（SEG）方法与恒定的步长，并提出了变化的方法，产生良好的收敛性。与最后一次迭代仅收缩到纳什均衡的固定邻域的基本SEG方法形成鲜明对比，在相同的标准设置下，通过迭代平均增强的SEG可证明收敛到纳什均衡，并且通过结合预定的重新启动过程进一步提高了这样的速率。在插值设置噪声消失的纳什均衡，我们实现了最佳的收敛速度紧常数。我们提出了数值实验，验证我们的理论研究结果，并证明了SEG方法的有效性时，配备迭代平均和重新启动。
2022-04-08 cs.GT cs.LG math.OC
Robust Distributed Averaging: When are Potential-Theoretic Strategies Optimal?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究网络设计者与对抗者在动态网络中的互动，分析对抗者如何断开链接阻止达成共识，网络设计者通过调整有限链接权重帮助达成共识，提出两个Stackelberg博弈模型，利用潜在理论提供最优策略的替代描述，并给出零和博弈均衡存在的充分条件。
2015-02-20 cs.SY eess.SY math.OC
Decentralized Composite Optimization in Stochastic Networks: A Dual Averaging Approach with Linear Convergence
分散优化，特别是分散复合凸优化（DCCO）问题，有着广泛的应用。由于在实际中普遍存在的通信拥塞和随机丢弃，因此非常需要设计能够处理随机通信网络的分散算法。然而，大多数现有的DCCO算法只工作在网络中的确定性连接在有界的通信轮，因此不能扩展到随机网络。本文提出了一种新的分散双平均（DDA）算法，可以求解随机网络中的DCCO。在随机网络上，在一个相当温和的条件下，我们证明了所提出的算法达到全局线性收敛，如果每个局部目标函数强凸。我们的算法大大提高了现有的DDA型算法，因为后者只知道收敛次线性之前，我们的工作。实现提高的速率的关键是设计一种新的动态平均共识协议的DDA，直观地导致更准确的局部估计的全球对偶变量。据我们所知，这是第一个线性收敛的DDA型分散算法，也是第一个算法，达到全局线性收敛求解DCCO随机网络。数值结果也支持我们的设计和分析。
2022-10-11 cs.DC math.OC
Extremely Fast Convergence Rates for Extremum Seeking Control with Polyak-Ruppert Averaging
本文研究极值搜索控制的收敛速率，通过引入两种新技术并结合数论与随机逼近理论，将无梯度优化等应用中的最优收敛速率从 $O(n^{-2})$ 提升至 $O(n^{-4+δ})$，在标准基准上验证了该方法的有效性。
2024-03-25 math.OC
Design and Analysis of Distributed Averaging with Quantized Communication
考虑一个网络，其节点具有一些初始值，并且期望设计一种基于邻居到邻居交互的算法，其最终目标是收敛到所有初始节点值的平均值或接近该平均值的某个值。这样的算法被称为一般的“分布式平均”，在本文中，我们的目标是研究性能的一个子类的确定性分布式平均算法，其中相邻节点（代理）之间的信息交换是均匀量化。通过这种量化，一般无法达到精确平均值的收敛，但收敛将接近于它的某个值，称为量化共识。利用李雅普诺夫稳定性分析，我们描述了所产生的非线性量化系统的收敛性。我们表明，在有限时间内，并取决于初始条件，该算法将导致所有的代理达到一个量化的共识，共识值是最大的量化值不大于大于他们的初始值的平均值，或将导致所有变量的循环在一个小的邻域周围的平均值。在后一种情况下，我们确定紧边界的大小的邻域，我们进一步表明，可以通过调整算法的参数，以分布式的方式使误差任意小。
2014-09-14 math.OC
Convergence Speed in Distributed Consensus and Control
研究分布式迭代算法在共识和平均问题中的收敛速度，提出固定拓扑下的最优算法和时变拓扑下的多项式时间平均算法。
2009-01-14 cs.SY eess.SY math.OC
Rate analysis of dual averaging for nonconvex distributed optimization
本文研究了随机通信网络上的非凸分布约束优化问题。我们重新分布式双平均算法，这是已知的凸问题收敛。我们从集中的情况下，其中两个连续的更新的变化被视为次优措施。我们验证使用这样的措施，表明它是密切相关的平稳性。这为我们研究非凸优化问题中对偶平均的收敛性提供了一个工具。我们证明了这种次优性测度的平方范数以速率$\mathcal{O}(1/t)$收敛。然后，对于分布式设置，我们证明收敛到稳定点的速度$\mathcal{O}(1/t)$。最后，通过一个数值例子来说明我们的理论结果.
2022-11-13 math.OC
On convergence of occupational measures sets of a discrete-time stochastic control system, with applications to averaging of hybrid systems
在本文的第一部分中，我们考虑离散时间随机控制系统。我们表明，在一定的条件下，所产生的随机职业措施的状态控制轨迹的系统，以及他们的数学期望的集合收敛（作为时间范围趋于无穷大）到一个凸的和紧凑的（非随机）集，这是一致的一组固定的概率的系统。在第二部分中，我们应用第一部分中得到的结果来处理一个混合系统，在连续时间内发展，并受到某些参数的突变。我们证明了这样的混合系统的解决方案是由一个微分包含的解决方案，其中的右手侧定义的极限占领措施集，其存在性和凸性建立在第一部分的文件。
2022-12-20 math.OC
Double Averaging and Gradient Projection: Convergence Guarantees for Decentralized Constrained Optimization
针对静态有向网络下的去中心化约束优化问题，提出基于双重平均与梯度投影的DAGP算法，结合分布式零空间投影实现全局最优，建立次线性收敛速率，还提出聚合下界分析方法并验证算法在多类问题中的有效性。
2023-11-08 cs.DC cs.MA math.OC
Second-Order Mirror Descent: Convergence in Games Beyond Averaging and Discounting
University of Toronto（多伦多大学）
本文提出博弈论镜像下降的二阶连续时间动力学 MD2，无需时间平均或贴现即可收敛到单纯 VSS，并给出无悔、指数收敛、离散噪声情形保证及新动力学推导。
2023-06-30 cs.GT cs.LG cs.SY
Optimized convergence of stochastic gradient descent by weighted averaging
在温和的假设下，如果所有迭代的算术平均值作为近似最优解返回，则随机梯度法渐近地实现最优收敛速率。然而，在没有随机噪声的情况下，所有迭代的算术平均值收敛到最优解的速度比迭代本身慢得多。而且在噪声存在的情况下，当考虑随机梯度法的有限终止时，算术平均值不一定是未知最优解的最佳可能逼近。本文的目的是确定最优策略在一个特别简单的情况下，一个强凸函数的最小化，i。I. D.噪声项和有限终止。根据SGD方法的某些参数，导出了随机误差和优化误差的显式公式。其目的是选择参数，使随机误差和优化误差都减少算术平均。这一目标无法实现;然而，通过允许随机误差的略微增加，可以选择参数，使得可以实现优化误差的显著减少。在仅使用中等数量的迭代或者当初始误差较大时，优化误差的这种减小对由随机梯度法生成的近似解具有强烈的影响。数值例子证实了理论结果，并建议推广到非二次目标函数是可能的。
2022-10-05 math.OC
Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes
Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
随机梯度下降（SGD）是最简单、最流行的随机优化方法之一。虽然它已经在理论上研究了几十年，经典的分析通常需要非平凡的光滑性假设，这并不适用于SGD的许多现代应用与非光滑的目标函数，如支持向量机。在本文中，我们调查的性能SGD没有这样的平滑性假设，以及一个运行平均计划转换SGD迭代的解决方案，最佳的优化精度。在这个框架中，我们证明了T轮后，最后的SGD迭代的次优性尺度为O（log（T）/ \sqrt{T}）的非光滑凸目标函数，和O（log（T）/T）的非光滑强凸的情况下。据我们所知，这些是第一种界限，几乎匹配的最小最优率可通过适当的平均计划。我们还提出了一种新的简单的平均方案，它不仅可以获得最佳速率，而且还可以很容易地实时计算（相比之下，Rakhlin等人（2011）提出的后缀平均方案并不容易实现）。最后，我们提供了一些实验说明。
2012-12-28 cs.LG math.OC stat.ML
Asymptotic properties of dual averaging algorithm for constrained distributed stochastic optimization
考虑时变随机网络上的约束随机最优化问题，其中智能体在一个共同的约束集下共同最小化目标函数之和.与现有的分布式对偶平均算法主要研究其非渐近性质不同，本文不仅证明了算法的几乎必然收敛和几乎必然收敛的速度，而且证明了算法的渐近正态性和渐近有效性。首先，对于分布在随机网络上的一般约束凸优化问题，证明了可以实现几乎必然一致性，且各智能体的估计收敛于同一最优点。对于线性约束凸优化问题，我们证明了平均对偶序列的镜像映射以概率1识别最优解的积极约束，这有助于我们证明算法的几乎必然收敛率，进而建立算法的渐近正态性.此外，我们还证明了该算法是渐近最优的。据我们所知，这似乎是约束分布优化算法的第一个渐近正态性结果。最后，通过数值算例验证了理论分析的正确性.
2020-09-06 math.OC
A Cross Entropy based Optimization Algorithm with Global Convergence Guarantees
Indian Institute of Science（印度科学学院）
交叉熵（CE）方法是一种基于模型的搜索方法，用于解决目标函数具有最小结构的优化问题。蒙特卡罗版本的CE方法采用朴素的样本平均技术，这是低效的，无论是计算和空间明智的。我们提供了一种新的随机近似版本的CE方法，其中的样本平均被替换为增量几何平均。这种方法可以节省大量的计算和存储成本。我们的算法是增量的性质，并具有额外的吸引力的功能，如准确性，稳定性，鲁棒性和收敛到全局最优的一类特定的目标函数。我们评估了各种全局优化基准问题的算法，得到的结果证实了我们的理论研究结果。
2018-01-31 cs.AI math.OC
Acceleration and Averaging in Stochastic Mirror Descent Dynamics
我们制定和研究一般家庭的（连续时间）随机动力学的加速一阶最小化光滑凸函数。建立在平均配方的加速镜下降，我们提出了一个随机变量，其中梯度被噪声污染，并研究由此产生的随机微分方程。我们证明了与问题相关的能量函数的变化率的界，然后使用它来获得函数值的收敛速度的估计，（a.s.并且在期望中）对于持续的和渐近消失的噪声两者。我们讨论的动态参数（学习率和平均权重）和噪声过程的协变之间的相互作用，并显示，特别是，协变的渐近速率如何影响参数的选择，并最终，收敛速度。
2017-07-19 math.OC stat.ML
From Averaging to Acceleration, There is Only a Step-size
我们表明，加速梯度下降，平均梯度下降和重球方法的非强凸问题可以重新制定为常数参数二阶差分方程算法，其中系统的稳定性是等价的收敛速度为O（1/n2），其中n是迭代次数。我们提供了一个详细的分析相应的线性动力系统的特征值，表现出各种振荡和非振荡行为，连同一个尖锐的稳定性结果与明确的常数。我们还考虑了噪声梯度可用的情况，其中我们扩展了我们的一般收敛结果，这提出了一种替代算法（即，具有不同的步长），其表现出平均和加速的良好方面。
2015-04-07 math.OC stat.ML
General Perturbation Resilient Dynamic String-Averaging for Inconsistent Problems with Superiorization
本文提出一般动态串平均（GDSA）迭代格式，借助强相干性分析其在不一致问题中的弱收敛、强收敛及有界扰动弹性，并研究其在优越化方法论中的应用。
2025-07-01 cs.NA math.FA math.NA
Dual Averaging for Distributed Optimization: Convergence Analysis and Network Scaling
UC Berkeley（加州大学伯克利分校）
针对网络上的分布式优化问题，提出基于次梯度对偶平均的分布式算法，并给出收敛速率关于网络规模和拓扑的尖锐界，证明迭代次数与网络谱间隙成反比。
2011-04-10 cs.SY eess.SY math.OC
Maximizing Convergence Time in Network Averaging Dynamics Subject to Edge Removal
我们考虑的共识阻断问题（CIP），其中的目标是最大限度地提高收敛时间的共识平均动态删除有限数量的网络边缘。我们首先表明，CIP可以铸造作为一个有效的电阻阻断问题（ERIP），其中的目标是删除有限数量的网络边缘，以最大限度地提高有效电阻之间的源节点和汇节点。我们发现，ERIP是强NP-硬的，即使是固定的源/汇边缘的直径为3的二部图，并建立相同的硬度结果的CIP。然后，我们表明，ERIP和CIP不能近似到一个（近）多项式因子假设指数时间假设。随后，我们设计了一个多项式时间的$mn$近似算法的ERIP，只依赖于节点的数量$n$和边缘的数量$m$，但不依赖于边缘电阻的大小。最后，使用二次规划制定CIP，我们设计了一个迭代近似算法，找到一个一阶固定的CIP解决方案，并通过数值结果评估其良好的性能。
2022-03-21 cs.CC cs.MA cs.SY
Accelerating Frank-Wolfe via Averaging Step Directions
Frank-Wolfe方法因其快速的每次迭代复杂度而成为稀疏约束优化中的一种流行方法。然而，折衷是其最坏情况下整体收敛相对较慢，并且重要的是，从根本上慢于其流率--也就是说，收敛速度被离散化误差抑制。在这项工作中，我们考虑修改后的弗兰克-沃尔夫的步骤方向是一个简单的加权平均过去的甲骨文调用。这种方法需要非常少的内存和计算开销，并证明衰减这个离散化误差项。数值上，我们表明，这种方法提高了收敛速度在几个问题，特别是在稀疏流形已被检测。理论上，我们证明了该方法具有$O(1/k^p)$的整体收敛速度，其中$0< p < 1$ ;流形识别后，该速度加快到$O(1/k^{3p/2})$。我们还观察到，该方法从很早的阶段就实现了这种加速率，这表明这一系列方法的加速模式很有前途。
2022-05-24 cs.LG math.OC
Efficient Information Aggregation Strategies for Distributed Control and Signal Processing
本论文研究的是由多个潜在移动代理组成的网络的分布式控制和协调。这主要是由于大规模网络的出现，其特点是缺乏对信息的集中访问和随时间变化的连接。在这样的网络中部署的控制和优化算法应该是完全分布式的，只依赖于本地的观察和信息，并且对拓扑结构的意外变化（如链路故障）具有鲁棒性。我们将描述协议，以解决某些控制和信号处理问题，在这种情况下。我们将证明，这种系统的一个关键挑战是以分散的方式计算平均值的问题。也就是说，我们将表明，一些分布式控制和信号处理问题可以直接解决，如果解决方案的平均问题。论文的其余部分将关注平均问题的算法及其推广。我们将（i）在各种设置中导出已知最快的平均算法，并受到各种通信和存储约束（ii）证明一个下界，确定平均算法的基本障碍（iii）提出一个新的分布式函数计算模型，该模型反映了许多大规模网络面临的约束，并且几乎刻画了在该模型中可计算的一般函数类。
2010-09-30 math.OC
Parallel Restarted SGD with Faster Convergence and Less Communication: Demystifying Why Model Averaging Works for Deep Learning
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）有限公司）
在深度神经网络的分布式训练中，并行小批量SGD被广泛用于通过使用多个工人来加速训练过程。它使用多个工人并行采样局部随机梯度，在单个服务器中聚合所有梯度以获得平均值，并使用平均梯度的SGD更新来更新每个工人的局部模型。理想情况下，与单个工作者上的SGD相比，并行小批量SGD可以实现训练时间的线性加速（相对于工作者的数量）。然而，这种线性可扩展性在实践中受到越来越多的工人参与的梯度通信需求的限制。模型平均，定期对在并行工作者上训练的单个模型进行平均，是自Zinkevich et al. 2010以来用于深度神经网络分布式训练的另一种常见做法（McDonald，Hall，and Mann 2010）。与并行小批量SGD相比，模型平均的通信开销显著降低。令人印象深刻的是，大量的实验工作已经证明，模型平均仍然可以实现良好的加速的训练时间，只要平均间隔是仔细控制。然而，为什么这样一个简单的启发式如此有效，在理论上仍然是一个谜。本文提供了一个彻底和严格的理论研究，为什么模型平均可以工作，以及并行小批量SGD显着减少通信开销。
2018-11-16 cs.DC cs.LG math.OC
The Convergence of Finite-Averaging of AIMD for Distributed Heterogeneous Resource Allocations
本文针对分布式异构资源分配问题，分析了基于随机化AIMD算法、仅需与中央智能体少量通信的分布式方案，通过有限窗口时间平均和位置依赖概率马尔可夫链建模，证明了时间平均分配向量收敛到唯一不变测度且具有遍历性。
2020-01-24 cs.SY eess.SY math.OC
Stochastic Inertial Dynamics Via Time Scaling and Averaging
本文在随机环境下，通过随机惯性微分包含的视角研究随机凸最小化问题，基于时间缩放与平均化方法建立通用分析框架，推导了弱/强收敛性及多情形下的收敛率，为二阶随机优化动力学提供统一理论。
2025-02-20 math.OC
Faster Randomized Block Sparse Kaczmarz by Averaging
标准随机稀疏Kaczmarz（RSK）方法是计算方程的线性系的稀疏解的算法，并且使用顺序更新，并且因此不利用并行计算。在这项工作中，我们介绍了一个并行（小批量）版本的RSK平均几个Kaczmarz步骤的基础上。自然，这种方法允许并行化，我们表明，它也可以利用大的过度松弛。我们证明了线性预期收敛，并表明，由于并行计算可以利用，该方法可证明提供更快的收敛速度比标准方法。这种方法也可以被看作是一个变种的线性化Bregman算法，一个随机双块坐标下降更新，一个随机镜像下降更新，或一个放松版本的RSK和我们恢复标准RSK方法时，批量大小等于1。我们还提供了不一致的系统的估计，并表明，迭代收敛到一个错误的顺序的噪声水平。最后，数值例子说明了新算法的好处。
2022-10-17 cs.NA math.NA math.OC
Lyapunov Approach to Consensus Problems
本文研究了无约束和有约束一致性问题的加权平均动态。通过使用适当定义的伴随动态，二次李雅普诺夫比较函数构造的加权平均动态的行为进行分析。结果，获得了新的收敛速度结果，其以新颖的方式捕获图形结构。特别地，建立了指数收敛速度与$1-O(1/(m\log_2m))$的顺序的指数的无约束共识。同时，建立了约束一致性的指数收敛速度，推广了现有的结果仅限于使用双随机权矩阵。
2014-07-28 math.OC
Continuous-Time Analysis of Federated Averaging
Northwestern University（西北大学）
本文首次从连续时间角度分析FedAvg算法，通过多元随机微分方程建模全局权重演化，建立不同损失函数下的收敛保证，并揭示其泛化性质。
2025-01-31 cs.DC cs.LG math.OC
Accelerating Gradient Tracking with Periodic Global Averaging
针对去中心化优化中梯度跟踪算法每步通信成本高的问题，提出结合周期性全局平均的GT-PGA算法，通过调整全局平均周期弥补网络连通性不足，在随机非凸场景下提升收敛速度，稀疏网络效果更显著。
2024-09-16 math.OC
General Holder Smooth Convergence Rates Follow From Specialized Rates Assuming Growth Bounds
通常在光滑和非光滑最优化的一阶方法的分析中，假设存在增长/误差界或KL条件有利于更强的收敛性分析。因此，对于一般情况和增长受限情况，通常需要单独分析。我们给出的元定理推导一般的收敛速度从那些假设的增长下界。将这个简单但概念上强大的工具应用于邻近点、次梯度、束、对偶平均、梯度下降、Frank-Wolfe和通用加速方法，可以立即从其专用速度恢复其已知的一般凸优化问题的收敛速度。新的收敛结果如下束方法，双平均，和弗兰克-沃尔夫。我们的结果可以提升任何基于Hölder连续梯度和Hölder增长边界的速率。此外，我们的理论提供了简单的证明，最佳收敛下界下的Hölder增长教科书的例子没有增长的界限。
2023-01-08 math.OC
The Dual Averaging Power-Prox Method with Application to Heavy-Tail Incremental Gradient
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全中心）；Universität des Saarlandes（萨尔兰大学）
针对增量梯度访问和重尾梯度噪声，提出双平均幂近端方法，首次给出收敛性分析，并证明其渐近收敛率优于有放回SGD。
2026-06-08 math.OC
Accuracy Certificates for Convex Optimization at Accelerated Rates via Primal-Dual Averaging
University of Rochester（罗切斯特大学）
本文提出基于简单对偶平均的算法，通过计算可得的最优性证书，实现非渐近收敛保证，证明了三种平均方法在加速率上的证书复杂度。
2026-04-20 math.OC
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
EPFL（洛桑联邦理工学院）；Google Research（谷歌研究院）；Courant Institute（库朗数学科学研究所）
联邦平均（Federated Averaging，FedAvg）由于其简单性和低通信成本而成为联邦学习的首选算法。然而，尽管最近的研究工作，其性能并没有得到充分的理解。我们获得紧FedAvg收敛速度，并证明它遭受“客户端漂移”时，数据是异构的（非iid），导致不稳定和缓慢的收敛。作为一种解决方案，我们提出了一种新的算法（SCAFFOLD），它使用控制变量（方差减少），以纠正其本地更新的“客户端漂移”。我们证明，SCAFFOLD需要显着更少的通信回合，不受数据异质性或客户端采样。此外，我们表明，（二次）SCAFFOLD可以利用客户端的数据产生更快的收敛相似。后者是第一个结果，以量化的有用性的本地步骤在分布式优化。
2021-04-09 cs.DC cs.LG math.OC
Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods
针对现有子采样牛顿法需精确梯度与强凸性限制，提出带自适应梯度采样的海森平均方法，推导多场景收敛速率，提出Dan方法并验证其在CIFAR100分类等任务的SOTA性能。
2024-08-14 cs.NA math.NA math.OC
A Unified Analysis for Finite Weight Averaging
School of Mathematics and Statistics, Huazhong University of Science and Technology（华中科技大学数学与统计学院）；School of Computer and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院）；School of Cyber Science & Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间科学与技术学院）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Faculty of Engineering, the University of Sydney（悉尼大学工程学院）
本文将 SGD 和 LAWA 统一为有限权重平均（FWA），在凸性假设下证明其收敛界优于 SGD，并通过递归表示分析累积梯度，从理论和实验上验证了 FWA 在收敛速度和泛化性能上的优势。
2024-11-20 cs.LG math.OC stat.ML
A Sharp Bound on the $s$-Energy and Its Applications to Averaging Systems
{ \em $s$ -能量}是在基于网络的动力学中具有广泛适用性的生成函数。对于任意正实$s\leq 1$，我们导出了$n$ -agent对称平均系统的$s$ -能量上的$(3/ρs)^{n-1}$的（本质上）最优界，其中~ $ρ$是非零权重的下界.这是通过引入{ \em扭转系统}的新动力学来完成的。我们展示了如何使用新的约束上的$s$ -能量收紧的系统的收敛速度，意见动态，群集，和同步。
2018-12-28 cs.MA math.OC
Averaging Stochastic Gradient Descent on Riemannian Manifolds
University of California Berkeley（加州大学伯克利分校）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑定义在黎曼流形$\mathcal{M}$上的函数的极小化问题，该问题只能通过其梯度的无偏估计来获得。我们开发了一个几何框架来转换一个序列的缓慢收敛的迭代产生的随机梯度下降（SGD）$\mathcal{M}$的一个强大的和快速的$O(1/n)$收敛速度的平均序列。然后，我们提出了一个应用程序，我们的框架，大地强凸（可能欧几里德非凸）的问题。最后，我们演示了这些想法如何适用于流$k$ -PCA的情况下，我们展示了如何加速缓慢的随机功率方法（不需要本征间隙的知识）到一个强大的算法，实现最佳的收敛速度。
2018-06-08 cs.LG math.OC stat.ML
Distributed Optimization, Averaging via ADMM, and Network Topology
Mathematical Institute for Data Science, Johns Hopkins University（约翰斯·霍普金斯大学数据科学数学研究所）；Department of Computer Science, Boston College（波士顿学院计算机科学系）
对于可扩展的最优化方法的需求越来越大，特别是由于现代机器学习应用中数据集大小和模型复杂性的爆炸。可伸缩求解器通常将计算分布在处理单元的网络上。对于简单的算法，如梯度下降，收敛时间与该网络拓扑的依赖性是众所周知的。然而，对于更复杂的算法，如乘法器的交替方向法（ADMM），知之甚少。在许多分布式优化算法的核心，存在一个gossip子例程，它在网络上平均本地信息，其效率对方法的整体性能至关重要。在本文中，我们回顾了最近的研究在这方面，隔离这样的通信交换行为的目标，我们比较不同的算法时，适用于一个典型的分布平均共识问题。我们还显示了有趣的ADMM和解除马尔可夫链之间的连接，除了提供一个明确的表征其收敛性和最佳参数调整的网络的频谱特性。最后，我们实证研究了网络拓扑结构和收敛速度不同的算法在现实世界中的传感器定位问题之间的连接。
2020-09-05 cs.LG math.OC stat.ML
Simple and optimal high-probability bounds for strongly-convex stochastic gradient descent
University of British Columbia（英属哥伦比亚大学）
我们考虑随机梯度下降算法最小化一个非光滑，强凸函数。已知该算法的几种形式，包括后缀平均，以达到预期的最佳$O(1/T)$收敛速度。我们考虑了Lacoste-Julien等人（2011）提出的一种简单的非均匀平均策略，并证明了它以高概率达到了最优的$O(1/T)$收敛速度。我们的证明使用最近开发的推广弗里德曼不等式。最后，我们比较了几个这些算法的实验，并表明这种非均匀平均策略优于许多标准技术，并具有较小的方差。
2019-09-02 cs.LG math.OC stat.ML
Anchoring and Mixed-Norm Contractions in Averaging-Learning Dynamics
University of Bucharest, Faculty of Mathematics and Computer Science（布加勒斯特大学数学与计算机科学学院）；Simion Stoilow Institute of Mathematics of the Romanian Academy（罗马尼亚科学院西莫恩·斯托伊洛瓦数学研究所）；Division of Mathematical Sciences, Nanyang Technological University（南洋理工大学数理学院）
本文提出了一种混合范数框架，用于分析在间歇性连通性下平均学习动力学的收敛性，通过聚合学习质量与影响扩散的相互作用实现两步收缩。
2026-02-28 math.DS math.OC math.PR
