On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks
本文针对联邦学习中客户端部分参与场景下神经网络非凸优化的收敛理论空白，证明过参数化假设下FedAvg在两类经典模型上以线性速率收敛至全局最小值，实验验证了该理论结果。
2024-10-29 cs.LG stat.ML
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg
Stanford University（斯坦福大学）；Michigan State University（密歇根州立大学）；New York University（纽约大学）
本文聚焦FedAvg及其Nesterov加速变体，在非独立同分布数据和部分参与下系统研究了其收敛性随设备数量的扩展，提供了统一分析并首次给出凸设置下动量变体的线性加速保证。
2023-12-31 cs.LG stat.ML
Revisiting SGD with Increasingly Weighted Averaging: Optimization and Generalization Perspectives
The University of Iowa（爱荷华大学）
随机梯度下降（SGD）已经在文献中从不同角度进行了广泛的研究，并且通常用于解决许多大数据机器学习问题。然而，将所有迭代解组合成单个解的平均技术仍然未被探索。虽然一些越来越加权平均计划已被认为在文献中，现有的工作大多限于强凸的目标函数和优化误差的收敛性。对于{\bf非强凸目标，包括非凸问题}，这些平均方案如何影响{\it优化误差和泛化误差}（测试误差的两个同等重要的分量）的收敛性仍然不清楚。本文从优化误差和泛化误差两个方面综合分析了凸、强凸和非凸目标函数上的递增加权平均算法，{ \it fill the gap}.特别是，我们分析了一个家庭的日益加权平均，在迭代$t$的解决方案的权重是成比例的$t^α$（$α> 0$）。我们展示了$α$如何影响优化误差和泛化误差，并展示了由$α$引起的权衡。实验已经证明了这种权衡和多项式增加加权平均的有效性，与其他平均方案相比，适用于包括深度学习在内的各种问题。
2020-05-27 cs.LG stat.ML
On the Convergence of Stochastic Extragradient for Bilinear Games using Restarted Iteration Averaging
University of California, Berkeley（加州大学伯克利分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
我们研究了随机双线性极大极小最优化问题，提出了一种分析相同的样本随机ExtraGradient（SEG）方法与恒定的步长，并提出了变化的方法，产生良好的收敛性。与最后一次迭代仅收缩到纳什均衡的固定邻域的基本SEG方法形成鲜明对比，在相同的标准设置下，通过迭代平均增强的SEG可证明收敛到纳什均衡，并且通过结合预定的重新启动过程进一步提高了这样的速率。在插值设置噪声消失的纳什均衡，我们实现了最佳的收敛速度紧常数。我们提出了数值实验，验证我们的理论研究结果，并证明了SEG方法的有效性时，配备迭代平均和重新启动。
2022-04-08 cs.GT cs.LG math.OC
A generalization of regularized dual averaging and its dynamics
University of Missouri--Columbia（密苏里大学哥伦比亚分校）；Purdue University（普渡大学）
学习大数据和流数据的过度计算成本可以通过使用随机算法来减轻，例如随机梯度下降及其变体。最近的进展改进了随机算法的收敛速度，自适应性和结构意识。然而，这些新算法的分布方面知之甚少，特别是结构化参数。为了在这种情况下开发统计推断，我们提出了一类具有恒定步长的广义正则化对偶平均（gRDA）算法，它改进了RDA（Xiao，2010; Flammarion和Bach，2017）。gRDA轨迹的弱收敛进行了研究，因此，在文献中的第一次，在线l1惩罚问题的渐近分布变得可用。这些一般结果适用于凸和非凸可微损失函数，特别是，恢复了凸损失的现有遗憾界（Nemirovski等人，2009年）。作为重要的应用，在线稀疏线性回归和在线稀疏主成分分析的统计推断理论得到了发展，并得到了广泛的数值分析的支持。有趣的是，当gRDA被适当调整时，支持恢复和中心限制分布（均值为零）在在线设置中同时保持，这与批次Lasso的有偏中心限制分布形成对比（Knight和Fu，2000）。技术设备，包括随机镜像下降的弱收敛，作为具有独立兴趣的副产品开发。对现代图像数据的初步实证分析表明，通过gRDA学习非常稀疏的深度神经网络并不一定会牺牲测试精度。
2019-09-22 cs.LG stat.ML
Can speed up the convergence rate of stochastic gradient methods to $\mathcal{O}(1/k^2)$ by a gradient averaging strategy?
Princeton University（普林斯顿大学）；Nanjing University（南京大学）
在本文中，我们考虑的问题是，是否有可能应用梯度平均策略，以改善次线性收敛速度没有任何增加的存储。我们的分析表明，一个积极的答案需要一个适当的平均策略和迭代，满足方差占主导地位的条件。作为一个有趣的事实，我们表明，如果我们定义的迭代方差总是占主导地位，即使是一点点的随机梯度迭代，建议的梯度平均策略可以增加收敛速度$\mathcal{O}(1/k)$ $\mathcal{O}(1/k^2)$的概率为Lipschitz梯度的强凸目标。这一结论为如何控制随机梯度迭代以提高算法的收敛速率提供了依据。
2020-02-25 cs.LG cs.NA math.NA
Dual Averaging on Compactly-Supported Distributions And Application to No-Regret Learning on a Continuum
我们考虑一个连续统上的在线学习问题。给定决策者一个紧致可行集$S$，在迭代$t$中，决策者选择一个分布$x^{(t)} \in Δ(S)$，然后给出一个损失函数$\ell^{(t)} : S \to \mathbb{R}_+$，决策者将遭受期望损失$\langle \ell^{(t)}, x^{(t)} \rangle = \mathbb{E}_{s \sim x^{(t)}} \ell^{(t)}(s)$ .我们把这个问题看作是$S$上Lebesgue连续分布空间$Δ(S)$上的一个在线凸优化问题。我们证明了$L^2(S)$上对偶平均方法的一般遗憾界，然后证明了当$S$是一致胖的（一个弱于凸性的条件）时，$ω$ -势（一类强凸正则化子）的对偶平均达到次线性遗憾.
2015-04-29 cs.LG math.OC
Parallel SGD: When does averaging help?
Stanford University（斯坦福大学）
考虑一些工作人员在同一个数据池上独立运行SGD，并每隔一段时间对模型进行平均--这是一种常见但不太容易理解的实践。我们研究模型平均作为一种方差减少机制，并描述了两种方式，平均的频率影响收敛。对于凸目标，我们表明频繁平均的好处取决于梯度方差包络。对于非凸目标，我们说明，这种好处取决于多个全局最优点的存在。我们补充我们的研究结果与多核实验的合成和真实数据。
2016-06-23 cs.LG stat.ML
An Exponential Averaging Process with Strong Convergence Properties
针对传统指数移动平均（EMA）因最新观测权重恒定而缺乏强随机收敛性的问题，提出权重以次谐波速率衰减的$p$-EMA方法，给出温和假设下的收敛保证，并探讨其在SGD自适应步长控制中的应用意义。
2025-05-15 cs.LG math.PR math.ST
Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes
Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
随机梯度下降（SGD）是最简单、最流行的随机优化方法之一。虽然它已经在理论上研究了几十年，经典的分析通常需要非平凡的光滑性假设，这并不适用于SGD的许多现代应用与非光滑的目标函数，如支持向量机。在本文中，我们调查的性能SGD没有这样的平滑性假设，以及一个运行平均计划转换SGD迭代的解决方案，最佳的优化精度。在这个框架中，我们证明了T轮后，最后的SGD迭代的次优性尺度为O（log（T）/ \sqrt{T}）的非光滑凸目标函数，和O（log（T）/T）的非光滑强凸的情况下。据我们所知，这些是第一种界限，几乎匹配的最小最优率可通过适当的平均计划。我们还提出了一种新的简单的平均方案，它不仅可以获得最佳速率，而且还可以很容易地实时计算（相比之下，Rakhlin等人（2011）提出的后缀平均方案并不容易实现）。最后，我们提供了一些实验说明。
2012-12-28 cs.LG math.OC stat.ML
Adding vs. Averaging in Distributed Primal-Dual Optimization
Lehigh University（利哈伊大学）；University of California, Berkeley（加州大学伯克利分校）；ETH Zürich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
用于大规模机器学习的分布式优化方法遭受通信瓶颈。很难减少这个瓶颈，同时仍然有效和准确地聚合来自不同机器的部分工作。在本文中，我们提出了一个新的推广最近的通信效率的原始-对偶框架（CoCoA）的分布式优化。我们的框架，CoCoA+，允许添加剂组合的局部更新的全局参数在每次迭代，而以前的计划与收敛保证只允许保守的平均。我们给出了更强的（原始-对偶）收敛速度保证CoCoA以及我们的新变种，并推广了这两种方法的理论，以涵盖非光滑凸损失函数。我们提供了一个广泛的实验比较，表明CoCoA+在几个真实世界的分布式数据集上的性能显着提高，特别是在扩大机器数量时。
2015-07-03 cs.LG
On the Convergence of Federated Averaging with Cyclic Client Participation
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；HKUST（香港科技大学）
联邦平均（Federated Averaging，FedAvg）及其变体是联邦学习（Federated Learning，FL）中最流行的优化算法。以前的FedAvg收敛分析要么假设完全的客户端参与，要么假设部分客户端参与，其中客户端可以被统一采样。然而，在实际的跨设备FL系统中，在给定时间，只有满足本地标准（例如电池状态、网络连接和最大参与频率要求（以确保隐私））的客户端的子集可用于训练。因此，客户端可用性遵循自然的循环模式。我们提供（据我们所知）的第一个理论框架来分析FedAvg与循环客户端参与的收敛与几个不同的客户端优化器，如GD，SGD和洗牌SGD。我们的分析发现，循环的客户端参与可以实现更快的渐近收敛速度比香草FedAvg与均匀的客户端参与在适当的条件下，客户端采样协议的设计提供了有价值的见解。
2023-02-06 cs.DC cs.LG
Composite Optimization with Error Feedback: the Dual Averaging Approach
CISPA Helmholtz Center for Information Security, Germany（CISPA 香港信息安全中心，德国）；Universität des Saarlandes, Germany（萨尔布吕克大学，德国）
针对标准误差反馈方法在复合优化场景中失效的问题，提出结合对偶平均与EControl的新方法，首次实现带误差反馈的复合优化强收敛分析，还给出非精确对偶平均的新分析模板并补充实验验证。
2025-10-03 cs.LG math.OC stat.ML
A new boosting algorithm based on dual averaging scheme
LinkedIn Corporation（领英公司）
机器学习和数学优化的领域日益交织在一起。关于监督学习和凸优化的专题研究了这种相互作用。大多数监督学习算法的训练部分通常可以简化为最小化模型预测和训练数据之间的损失的优化问题。虽然大多数优化技术关注的是收敛的准确性和速度，但从机器学习的角度来看，好的优化算法的质量可能会有很大的不同，因为机器学习不仅仅是拟合数据。最小化训练损失的更好的优化算法可能会给出非常差的泛化性能。在本文中，我们研究了一种特殊的机器学习算法，boosting，其训练过程可以被视为函数坐标下降的指数损失。我们通过实现一个新的boosting算法来研究优化技术和机器学习之间的关系。DABoost算法，并研究其泛化性能。我们表明，DABoost，虽然在减少训练误差较慢，一般享有更好的泛化误差比AdaBoost。
2015-07-11 cs.LG
Adaptive Periodic Averaging: A Practical Approach to Reducing Communication in Distributed Learning
The University of Iowa（爱荷华大学）；Augusta University（奥古斯塔大学）
随机梯度下降（SGD）是机器学习任务的关键学习算法。由于其计算成本，人们越来越有兴趣在GPU集群等HPC资源上加速SGD。然而，并行SGD的性能仍然受到高通信成本的影响，即使在机器之间具有快速连接。缓解这个问题的一个简单方法，在许多现有的努力中使用，是使用恒定的平均周期，每隔几次迭代执行通信。在本文中，我们表明，在收敛和通信成本方面的最佳平均周期不是一个常数，而是在执行过程中变化。具体来说，我们观察到，减少计算节点之间的模型参数的方差是至关重要的周期性参数平均SGD的收敛。给定一个固定的通信预算，我们表明，这是更有益的同步更频繁地在早期的迭代，以减少初始的大方差和同步频率较低的训练过程的后期阶段。我们提出了一种实用的算法，自适应周期参数平均SGD（ADPSGD），以实现更小的模型参数的整体方差，从而更好的收敛性相比，恒定周期参数平均SGD（CPSGD）。我们评估我们的方法与几个图像分类基准，并表明，我们的ADPSGD确实实现了较小的训练损失和更高的测试精度与较小的通信相比，CPSGD。与梯度量化SGD相比，我们的算法实现了更快的收敛速度，只有一半的通信。与全通信SGD相比，在100 Gbps的节点连接下，加速比为1：14 ~ 1：27倍;在10 Gbps的节点连接下，加速比为1：46 ~ 1：95倍。
2021-01-19 cs.DC cs.LG stat.ML
DADA: Dual Averaging with Distance Adaptation
University of British Columbia（不列颠哥伦比亚大学）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨研究中心）；Arizona State University（亚利桑那州立大学）
本文提出一种通用梯度法，通过动态调整系数解决凸优化问题，适用于多种问题类别，无需问题特定参数。
2026-04-20 cs.LG math.OC
Averaging on the Bures-Wasserstein manifold: dimension-free convergence of gradient descent
Massachusetts Institute of Technology（麻省理工学院）
本文针对Bures-Wasserstein流形上高斯分布重心的优化问题，证明了新的测地凸性结果，首次为黎曼梯度下降建立了无维度收敛速率，并扩展到熵正则化重心和几何中位数问题。
2023-10-31 cs.LG math.OC
Online mirror descent and dual averaging: keeping pace in the dynamic case
University of British Columbia（不列颠哥伦比亚大学）
在线镜像下降（OMD）和双平均（DA）-在线凸优化的两个基本算法-被称为具有非常相似（有时相同）的性能保证时，使用固定的学习率。然而，在动态学习率下，OMD被证明不如DA，并且即使在诸如专家建议的预测之类的常见设置中也会遭受线性遗憾。我们修改OMD算法通过一个简单的技术，我们称之为稳定。我们给基本上相同的抽象的遗憾界OMD稳定和DA通过修改经典的OMD收敛性分析，在一个仔细的和模块化的方式，允许直接和灵活的证明。这些界限的简单推论表明，具有稳定性的OMD和DA在许多应用中享有相同的性能保证-即使在动态学习率下。我们还阐明了OMD和DA之间的相似性，并显示了简单的条件下，稳定的OMD和DA产生相同的迭代。
2021-09-03 cs.LG math.OC stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Exponentially Fast Parameter Estimation in Networks Using Distributed Dual Averaging
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了一个基于优化的观点分布参数估计和观察社会学习网络。代理接收一系列随机、独立和同分布（i.i.d.）信号，每个信号单独地可能不提供关于潜在真实状态的信息，但是信号一起提供的信息足以使真实状态可识别。使用基于优化的表征贝叶斯学习的近端随机梯度下降（与Kullback-Leibler分歧作为一个近端函数），我们展示了如何有效地使用分布式，在线的Nesterov的双平均方法的变体来解决估计与纯粹的本地信息。当真实状态是全局可识别的，网络是连接的，我们证明了代理最终学习的真实参数使用随机八卦计划。我们证明了，以高概率的收敛速度是指数级的速度依赖于KL分歧的观察下的真实状态下的第二个最可能的状态下的观察。此外，我们的工作还强调了在网络的连续适应下学习的可能性，这是采用恒定的单位步长的算法的结果。
2013-09-10 cs.LG cs.SI math.OC
Dual Averaging Method for Online Graph-structured Sparsity
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
在线学习算法通过每次迭代一个样本来更新模型，因此可以有效地处理大规模数据集，并有助于检测恶意事件以获得社会效益，例如疾病爆发和交通拥堵。然而，现有的图结构模型的算法主要集中在离线设置和最小平方损失，无法在线设置，而在线设置的方法不能直接应用于复杂（通常是非凸）图结构稀疏模型的问题。为了解决这些问题，在本文中，我们提出了一个新的算法，我们称之为\textsc{GraphDA}在线设置下的图结构稀疏约束问题。\textsc{GraphDA}的关键部分是将平均梯度（对偶空间）和原始变量（原始空间）投影到低维子空间上，从而有效地捕获图结构稀疏性。此外，这里假设的目标函数通常是凸的，以便处理在线学习设置的不同损失。据我们所知，\textsc{GraphDA}是第一个图结构约束优化问题的在线学习算法。为了验证我们的方法，我们在基准图和真实世界的图数据集上进行了大量的实验。实验结果表明，与其他基线方法相比，\textsc{GraphDA}不仅提高了分类性能，而且更有效地捕获了图结构特征，具有更强的可解释性。
2019-05-26 cs.AI cs.LG stat.ML
Zeroth-order non-convex learning via hierarchical dual averaging
Criteo AI Lab；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
我们提出了一个层次版本的双平均零阶在线非凸优化-即，学习过程，其中在每个阶段，优化器面对未知的非凸损失函数，并且仅接收所引起的损失作为反馈。所提出的一类政策依赖于一个在线模型的建设，聚集损失信息，因为它到达，它由两个主要组成部分：（a）一个正则化适应的Fisher信息度量（相对于周围空间的度量规范）;和（b）一个原则性的探索问题的状态空间的基础上，适应分层时间表。这种结构能够更好地控制模型的偏差和方差，并允许我们推导出学习者静态和动态后悔的严格界限-即，在游戏的地平线上，事后对最好的动态政策所产生的遗憾。
2021-09-13 cs.LG math.OC
Accelerated Cyclic Coordinate Dual Averaging with Extrapolation for Composite Convex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
以循环的方式利用部分一阶信息可以说是获得可扩展的一阶方法的最自然的策略。然而，尽管它们在实践中广泛使用，但从理论角度来看，循环方案远不如它们的随机对应方案那么容易理解。最近成功地分析了广义变分不等式的外推循环方案的启发，我们提出了一个加速循环坐标对偶平均与外推（A-CODER）方法的复合凸优化，其中目标函数可以表示为一个光滑的凸函数可通过梯度预言和一个凸的，可能是非光滑的，通过一个接近预言的功能。我们表明，A-编码器达到最佳的收敛速度与改进的依赖于块的数量相比，以前的工作。此外，对于目标函数的平滑分量可以用有限和形式表示的设置，我们引入了具有最先进的复杂性保证的方差减小的A-编码器，VR-A-编码器变体。最后，我们通过数值实验证明了我们的算法的有效性。
2023-03-28 cs.LG math.OC
A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates
Google, Inc.（谷歌公司）
我们研究了三个家庭的在线凸优化算法：跟随邻近正则化领导（FTRL-Proximal），正则化的双重平均（RDA），和复合目标镜像下降。我们首先证明等价定理，表明所有这些算法的实例一般FTRL更新。这为以前的实验观察提供了理论上的见解。特别是，尽管FOBOS复合镜像下降算法显式地处理L1正则化，但已经观察到RDA在产生稀疏性方面甚至更有效。我们的研究结果表明，FOBOS使用次梯度近似的L1罚款从以前的回合，导致较少的稀疏性比RDA，它处理的累积罚款在封闭的形式。FTRL-Proximal算法可以被视为这两种算法的混合，并且在大型真实世界数据集上的性能优于两者。我们的第二个贡献是一个统一的分析，产生遗憾的界限，匹配（对数项）或改善以前已知的最好的界限。这种分析还扩展了这些算法在两个重要的方面：我们支持更一般类型的复合目标，我们分析隐式更新，它取代了次梯度近似的当前损失函数的精确优化。
2011-09-20 cs.LG
A Unified Analysis for Finite Weight Averaging
School of Mathematics and Statistics, Huazhong University of Science and Technology（华中科技大学数学与统计学院）；School of Computer and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院）；School of Cyber Science & Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间科学与技术学院）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Faculty of Engineering, the University of Sydney（悉尼大学工程学院）
本文将 SGD 和 LAWA 统一为有限权重平均（FWA），在凸性假设下证明其收敛界优于 SGD，并通过递归表示分析累积梯度，从理论和实验上验证了 FWA 在收敛速度和泛化性能上的优势。
2024-11-20 cs.LG math.OC stat.ML
Variance Reduction via Accelerated Dual Averaging for Finite-Sum Optimization
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学-伯克利深圳学院，清华大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文介绍了有限和凸优化问题的一种简化统一的方法，称为\emph{Variance Reduction via Accelerated Dual Averaging (VRADA)}。在一般的凸和强凸的设置，VRADA可以达到$O\big(\frac{1}{n}\big)$ -精确的解决方案，在$O(n\log\log n)$数量的随机梯度评估，提高了最有名的结果$O(n\log n)$，其中$n$是样本的数量。同时，VRADA匹配的一般凸设置的下限到一个$\log\log n$因子，并匹配的下限在两个制度$n\le Θ(κ)$和$n\gg κ$的强凸设置，其中$κ$表示的条件数。VRADA不仅改进了已有的结果，而且同时满足上述所有下界，对于一般凸和强凸情形，VRADA的算法实现和收敛性分析更加统一和简化.潜在的新方法，如VRADA中的新初始化策略，可能会引起独立的兴趣。通过在真实数据集上的实验，我们证明了VRADA在大规模机器学习问题上优于现有方法的良好性能。
2021-03-07 cs.LG math.OC
Accelerating Frank-Wolfe via Averaging Step Directions
Frank-Wolfe方法因其快速的每次迭代复杂度而成为稀疏约束优化中的一种流行方法。然而，折衷是其最坏情况下整体收敛相对较慢，并且重要的是，从根本上慢于其流率--也就是说，收敛速度被离散化误差抑制。在这项工作中，我们考虑修改后的弗兰克-沃尔夫的步骤方向是一个简单的加权平均过去的甲骨文调用。这种方法需要非常少的内存和计算开销，并证明衰减这个离散化误差项。数值上，我们表明，这种方法提高了收敛速度在几个问题，特别是在稀疏流形已被检测。理论上，我们证明了该方法具有$O(1/k^p)$的整体收敛速度，其中$0< p < 1$ ;流形识别后，该速度加快到$O(1/k^{3p/2})$。我们还观察到，该方法从很早的阶段就实现了这种加速率，这表明这一系列方法的加速模式很有前途。
2022-05-24 cs.LG math.OC
Increasing Iterate Averaging for Solving Saddle-Point Problems
Columbia University（哥伦比亚大学）
机器学习和博弈论中的许多问题都可以表述为鞍点问题，各种一阶方法已经被开发出来并在实践中证明是有效的。在一般的凹凸假设下，大多数一阶方法只保证遍历收敛率，即迭代的一致平均以鞍点残差的$O(1/T)$收敛率收敛。然而，在数值上，迭代本身往往比均匀平均收敛得快得多。这一观察结果促使越来越多的平均方案，把更多的权重放在后面的迭代，而不是通常的均匀平均。我们表明，这种增加平均计划，适用于各种一阶方法，能够保持$O(1/T)$收敛速度，没有额外的假设或计算开销。在零和博弈求解、市场均衡计算和图像去噪等方面的大量数值实验证明了所提方案的有效性。特别是，增加的平均值在所有测试问题中始终优于均匀平均值。在解决矩阵和扩展形式的游戏时，增加平均值也始终优于最后一次迭代。对于矩阵游戏，一阶方法配备了增加平均优于竞争激烈的CFR $^+$算法。
2020-06-13 cs.GT cs.LG math.OC
Coordinate Dual Averaging for Decentralized Online Optimization with Nonseparable Global Objectives
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出两种去中心化变体ODA-C和ODA-PS，用于解决去中心化在线凸优化问题，通过双平均方法实现子线性悔度增长。
2016-05-20 cs.LG cs.SY eess.SY
Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
拜占庭式的弹性成为分布式机器学习社区中的一个突出话题。从本质上讲，目标是增强分布式优化算法，如分布式SGD，以保证收敛，尽管存在一些行为不端（也称为，{ \em Byzantine}）工人。虽然已经提出了无数的技术来解决这个问题，但该领域可以说是建立在脆弱的基础上。这些技术很难证明是正确的，并且依赖于（a）非常不现实的假设，即，在实践中经常被违反，以及（b）异质性，即，使得难以比较方法。我们提出了\emph{RESAM (RESilient Averaging of Momentums)}，一个统一的框架，使它简单地建立最佳的拜占庭弹性，只依赖于标准的机器学习假设。我们的框架主要由两个操作符组成：服务器端的\emph{resilient averaging}和工作端的\emph{distributed momentum}。我们证明了一个一般定理，说明分布式SGD下RESAM的收敛性。有趣的是，证明和比较许多现有技术的收敛性成为我们定理的直接推论，而无需采取严格的假设。我们还提出了RESAM的实际意义的实证评估。
2022-05-24 cs.DC cs.LG
Parallel Restarted SGD with Faster Convergence and Less Communication: Demystifying Why Model Averaging Works for Deep Learning
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）有限公司）
在深度神经网络的分布式训练中，并行小批量SGD被广泛用于通过使用多个工人来加速训练过程。它使用多个工人并行采样局部随机梯度，在单个服务器中聚合所有梯度以获得平均值，并使用平均梯度的SGD更新来更新每个工人的局部模型。理想情况下，与单个工作者上的SGD相比，并行小批量SGD可以实现训练时间的线性加速（相对于工作者的数量）。然而，这种线性可扩展性在实践中受到越来越多的工人参与的梯度通信需求的限制。模型平均，定期对在并行工作者上训练的单个模型进行平均，是自Zinkevich et al. 2010以来用于深度神经网络分布式训练的另一种常见做法（McDonald，Hall，and Mann 2010）。与并行小批量SGD相比，模型平均的通信开销显著降低。令人印象深刻的是，大量的实验工作已经证明，模型平均仍然可以实现良好的加速的训练时间，只要平均间隔是仔细控制。然而，为什么这样一个简单的启发式如此有效，在理论上仍然是一个谜。本文提供了一个彻底和严格的理论研究，为什么模型平均可以工作，以及并行小批量SGD显着减少通信开销。
2018-11-16 cs.DC cs.LG math.OC
Continuous-Time Analysis of Federated Averaging
Northwestern University（西北大学）
本文首次从连续时间角度分析FedAvg算法，通过多元随机微分方程建模全局权重演化，建立不同损失函数下的收敛保证，并揭示其泛化性质。
2025-01-31 cs.DC cs.LG math.OC
Accelerated Dual-Averaging Primal-Dual Method for Composite Convex Minimization
WeBank AI Group（微众银行AI集团）；Tencent Inc.（腾讯公司）；University of California, Davis（加州大学戴维斯分校）；The Hong Kong University of Science and Technology（香港科技大学）
双平均型方法由于其促进解结构（例如，稀疏性）有效地。本文提出了一种新的求解复合凸函数最小化问题的加速双平均原始对偶法。我们还得到了一个随机版本的方法，解决了经验风险最小化，其优势在处理稀疏数据的理论和经验证明。
2020-01-15 cs.LG math.OC stat.ML
On Convergence of Federated Averaging Langevin Dynamics
Morgan Stanley（摩根士丹利）；Purdue University（普渡大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（奥多比研究院）
该研究提出联邦平均朗之万算法FA-LD，推导其在非独立同分布数据下的收敛保证，分析噪声、数据异质性等因素的影响，探讨通信-准确率-隐私的权衡及部分设备参与时的收敛特性，为优化通信成本提供理论依据。
2023-10-05 cs.LG stat.ML
Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization
Chinese University of Hong Kong（香港中文大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）
尽管单智能体强化学习取得了成功，但由于智能体之间的复杂交互，多智能体强化学习（MARL）仍然具有挑战性。受传感器网络、群机器人和电网等分散式应用的启发，我们研究了MARL中的策略评估，在MARL中，具有联合观察状态-动作对和私有局部奖励的代理合作学习给定策略的值。在本文中，我们提出了一个双平均方案，每个代理迭代执行平均在空间和时间，分别将相邻的梯度信息和本地奖励信息。我们证明了该算法以全局几何速度收敛到最优解。特别是，这样的算法是建立在原始-对偶的均方投影贝尔曼误差最小化问题，这引起了一个分散的凸-凹鞍点问题的重新制定。据我们所知，提出的双重平均原始-对偶优化算法是第一个实现快速有限时间收敛的分散凹凸鞍点问题。
2019-01-09 cs.LG math.OC stat.ML
Accelerated Distributed Dual Averaging over Evolving Networks of Growing Connectivity
我们考虑的问题，加速分布式优化的多智能体网络顺序添加边缘。具体来说，我们扩展的分布式双平均（DDA）次梯度算法不断发展的网络连接，并分析相应的改善收敛速度。众所周知，DDA的收敛速度受到底层网络的代数连通性的影响，其中更好的连通性导致更快的收敛。然而，网络拓扑设计对DDA收敛速度的影响尚未完全了解。在本文中，我们首先通过边选择和调度来设计网络拓扑。对于边缘选择，我们确定的候选边缘，实现网络连接的增长和网络资源的使用之间的最佳权衡的最佳集合。网络演化的动力学，然后引起边缘调度。此外，我们提供了一个易于处理的方法来分析的DDA的收敛速度的改善引起的网络连接的增长。我们的分析揭示了网络拓扑设计和DDA的收敛速度之间的联系，并提供了定量评估的DDA加速分布式优化，是在现有的分析缺乏。最后，数值实验表明，DDA可以显着加速使用一系列精心设计的网络，我们的理论预测很好地匹配其经验收敛行为。
2018-01-09 stat.ML
Gossip Dual Averaging for Decentralized Optimization of Pairwise Functions
Magnet Team, INRIA Lille – Nord Europe（磁力团队、法国国家信息与自动化技术研究所里尔-北欧洲分部）
本文提出了一种基于 gossip 的双重平均算法，用于在分布式网络中优化配对函数，适用于排名、距离度量学习和图推断等应用，通过同步和异步设置解决优化问题，并展示了其在AUC最大化和度量学习中的实际应用。
2016-06-08 cs.AI cs.DC cs.LG
Federated Composite Optimization
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
联邦学习（FL）是一种分布式学习范式，可协作和私下扩展设备上的学习。标准FL算法（如FedAvg）主要面向平滑无约束设置。研究了损失函数中含有非光滑正则化子的联邦复合优化问题。这样的问题自然出现在FL应用程序，涉及稀疏性，低秩，单调性，或更一般的约束。我们首先表明，直接扩展的原始算法，如FedAvg不适合FCO，因为他们遭受的“诅咒原始平均”，导致收敛性差。作为一种解决方案，我们提出了一种新的原始-对偶算法，联邦双平均（FedDualAvg），它通过采用一种新的服务器双平均过程规避原始平均的诅咒。我们的理论分析和实证实验表明，FedDualAvg优于其他基线。
2021-06-05 cs.DC cs.LG math.OC
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
EPFL（洛桑联邦理工学院）；Google Research（谷歌研究院）；Courant Institute（库朗数学科学研究所）
联邦平均（Federated Averaging，FedAvg）由于其简单性和低通信成本而成为联邦学习的首选算法。然而，尽管最近的研究工作，其性能并没有得到充分的理解。我们获得紧FedAvg收敛速度，并证明它遭受“客户端漂移”时，数据是异构的（非iid），导致不稳定和缓慢的收敛。作为一种解决方案，我们提出了一种新的算法（SCAFFOLD），它使用控制变量（方差减少），以纠正其本地更新的“客户端漂移”。我们证明，SCAFFOLD需要显着更少的通信回合，不受数据异质性或客户端采样。此外，我们表明，（二次）SCAFFOLD可以利用客户端的数据产生更快的收敛相似。后者是第一个结果，以量化的有用性的本地步骤在分布式优化。
2021-04-09 cs.DC cs.LG math.OC
Acceleration and Averaging in Stochastic Mirror Descent Dynamics
我们制定和研究一般家庭的（连续时间）随机动力学的加速一阶最小化光滑凸函数。建立在平均配方的加速镜下降，我们提出了一个随机变量，其中梯度被噪声污染，并研究由此产生的随机微分方程。我们证明了与问题相关的能量函数的变化率的界，然后使用它来获得函数值的收敛速度的估计，（a.s.并且在期望中）对于持续的和渐近消失的噪声两者。我们讨论的动态参数（学习率和平均权重）和噪声过程的协变之间的相互作用，并显示，特别是，协变的渐近速率如何影响参数的选择，并最终，收敛速度。
2017-07-19 math.OC stat.ML
From Averaging to Acceleration, There is Only a Step-size
我们表明，加速梯度下降，平均梯度下降和重球方法的非强凸问题可以重新制定为常数参数二阶差分方程算法，其中系统的稳定性是等价的收敛速度为O（1/n2），其中n是迭代次数。我们提供了一个详细的分析相应的线性动力系统的特征值，表现出各种振荡和非振荡行为，连同一个尖锐的稳定性结果与明确的常数。我们还考虑了噪声梯度可用的情况，其中我们扩展了我们的一般收敛结果，这提出了一种替代算法（即，具有不同的步长），其表现出平均和加速的良好方面。
2015-04-07 math.OC stat.ML
Dual Averaging for Distributed Optimization: Convergence Analysis and Network Scaling
UC Berkeley（加州大学伯克利分校）
针对网络上的分布式优化问题，提出基于次梯度对偶平均的分布式算法，并给出收敛速率关于网络规模和拓扑的尖锐界，证明迭代次数与网络谱间隙成反比。
2011-04-10 cs.SY eess.SY math.OC
A convergence analysis of the perturbed compositional gradient flow: averaging principle and normal deviations
在这项工作中，我们考虑系统的两个随机微分方程命名的扰动成分梯度流。通过引入两个方程的快、慢尺度的分离，我们证明了慢运动的极限由一个平均的常微分方程给出。然后，我们证明了从平均方程的慢动作的偏差，经过适当的重新缩放，收敛到一个随机过程与高斯输入。这表明，慢动作可以近似在弱意义上的一个标准的扰动梯度流或连续时间随机梯度下降算法，解决了最优化问题的两个功能的组合。作为一个应用，扰动的成分梯度流对应于随机复合梯度下降（SCGD）算法的扩散极限最小化的两个期望值函数的组合在优化文献中。在强凸情形下，这种分析意味着SCGD算法具有与经典的随机梯度下降算法相同的收敛时间渐近性。从而在连续逼近水平上验证了在强凸情形下使用SCGD算法的有效性。
2018-07-25 math.PR stat.ML
Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods
针对现有子采样牛顿法需精确梯度与强凸性限制，提出带自适应梯度采样的海森平均方法，推导多场景收敛速率，提出Dan方法并验证其在CIFAR100分类等任务的SOTA性能。
2024-08-14 cs.NA math.NA math.OC
