Distributed Stochastic Gradient Descent with Cost-Sensitive and Strategic Agents
Arizona State University(亚利桑那州立大学)
本研究认为,联邦学习设置成本敏感和战略代理训练的学习模型与服务器。在每一轮中,每个智能体采样一小批训练数据并发送其梯度更新。作为他的小批量大小选择的递增函数,代理招致与数据汇集、梯度计算和通信相关联的成本。代理商可以自由选择他们的小批量,甚至可以选择退出培训。为了降低成本,代理可能会减少他的小批量大小,这也可能导致梯度更新的噪声水平增加。服务器可以提供奖励来补偿代理的成本并激励他们的参与,但她缺乏验证代理的真实小批量大小的能力。为了解决这一挑战,建议的奖励机制评估每个代理的梯度的质量,根据其距离的参考,这是从其他代理提供的梯度构造。结果表明,建议的奖励机制有一个合作的纳什均衡,其中代理商确定的小批量大小的选择,根据服务器的请求。
2022-12-05 cs.AI cs.GT cs.LG
Local MixVR: Breaking the Communication-Sample Dependence in Distributed Learning
Technion Haifa, Israel(技术离子海法分校,以色列);EPFL Lausanne, Switzerland(洛桑联邦理工学院,瑞士)
提出Local MixVR框架,通过局部更新与方差缩减技术消除通信复杂度对样本总数N的依赖,实现仅与工作节点数M相关的通信复杂度,在M<O(N^{1/4})时优于现有最优方法。
2026-10-01 cs.LG
A Selective Review on Statistical Methods for Massive Data Computation: Distributed Computing, Subsampling, and Minibatch Techniques
Guanghua School of Management, Peking University(北京大学光华管理学院);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心与统计学院);School of Economics and Management, Beihang University(北京航空航天大学经济管理学院);School of Statistics and Mathematics, Central University of Finance and Economics(中央财经大学统计与数学学院);School of Statistics, Beijing Normal University(北京师范大学统计学院);School of Statistics and Management, Shanghai University of Finance and Economics(上海财经大学统计与管理学院);School of Statistics, University of International Business and Economics(对外经济贸易大学统计学院)
本文选择性综述了海量数据计算的三类统计方法:分布式计算、子抽样方法和小批量梯度技术,分别针对数据过大无法单机处理、数据可单机存储但内存处理困难,以及深度学习模型优化等场景。
2024-03-17 cs.LG math.ST stat.CO
Hybrid Stochastic-Deterministic Minibatch Proximal Gradient: Less-Than-Single-Pass Optimization with Nearly Optimal Generalization
Salesforce Research(Salesforce研究院);Nanjing University of Information Science & Technology(南京信息工程大学)
随机方差缩减梯度(SVRG)算法已被证明在解决大规模学习问题方面效果良好。尽管取得了显着的成功,但SVRG类型算法的随机梯度复杂度通常与数据大小呈线性关系,因此对于庞大的数据仍然可能是昂贵的。为了解决这一不足,我们提出了一个混合随机-确定性小批量最近梯度(HSDMPG)算法的强凸问题,享有可证明的改进的数据大小无关的复杂性保证。更准确地说,对于$n$分量的二次损失$F(θ)$,我们证明了在$\mathcal{O}\Big(\frac{κ^{1.5}ε^{0.75}\log^{1.5}(\frac{1}ε)+1}ε\wedge\Big(κ\sqrt{n}\log^{1.5}\big(\frac{1}ε\big)+n\log\big(\frac{1}ε\big)\Big)\Big)$随机梯度评估内,HSDPA PG可以获得$ε$优化误差$\mathbb{E}[F(θ)-F(θ^*)]\leqε$,其中$κ$是条件数。对于一般的强凸损失函数,我们证明了一个几乎相同的复杂性界,虽然在成本略有增加的对数因子。对于大规模的学习问题,我们的复杂性界限优于现有的最先进的SVRG算法,或不依赖于数据大小。特别是,在$ε=\mathcal{O}\big(1/\sqrt{n}\big)$的情况下,这是在学习模型的内在超额误差界的顺序,从而足以推广,随机梯度复杂性界限的二次和通用损失函数的HSDMPG分别…
2020-09-18 cs.LG cs.NA math.NA
Efficient Algorithms for Federated Saddle Point Optimization
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
我们考虑了联邦环境下的强凸-凹极大极小问题,其中通信约束是主要的瓶颈。当客户端任意异构时,简单的Minibatch代理可以实现最佳性能。随着客户端变得更加同质化,在客户端使用多个局部梯度更新通过降低通信频率显著改善了Minibatch代理。我们的目标是设计一种算法,可以利用客户端的相似性的好处,同时恢复任意异构性(最多日志因素)下的Minibatch代理性能。我们给出了第一个实现这一目标的联邦极大极小优化算法。其主要思想是结合(i)SCAFFOLD(一种在客户端之间执行凸优化方差缩减的算法)来消除对异质性的最坏情况依赖性,以及(ii)Catalyst(一种基于修改目标的加速框架)来加速收敛,而不会放大客户端漂移。我们证明了该算法实现了我们的目标,并包括实验来验证理论。
2021-02-12 cs.DC cs.LG math.OC
Accelerated, Optimal, and Parallel: Some Results on Model-Based Stochastic Optimization
Stanford University(斯坦福大学)
我们扩展的近似邻近点(aProx)家庭的基于模型的方法来解决随机凸优化问题,包括随机次梯度,邻近点,束方法,到小批量和加速设置。要做到这一点,我们提出了具体的基于模型的算法和加速计划,我们提供非渐近收敛的保证,这是为了最佳的所有问题相关的常数,并提供线性加速minibatch大小,同时保持理想的鲁棒性特征(例如步长)的aProx家庭。此外,我们还展示了改进的收敛速度和匹配的下界识别新的基本常数的“插值”问题,其重要性在统计机器学习的增长,这,例如,给出了交替投影的并行化策略。我们证实了我们的理论结果与实证测试,以证明准确的建模,加速,和minimizing提供的收益。
2021-01-07 cs.LG math.OC stat.ML
Proximal Policy Optimization Algorithms
OpenAI
我们提出了一个新的家庭策略梯度方法的强化学习,通过与环境的相互作用采样数据之间的交替,并使用随机梯度上升优化“代理”的目标函数。而标准的策略梯度方法执行一个梯度更新每个数据样本,我们提出了一个新的目标函数,使多个时期的小批量更新。我们称之为近端策略优化(PPO)的新方法具有信赖域策略优化(TRPO)的一些优点,但它们更易于实现,更通用,并且具有更好的样本复杂度(经验)。我们的实验测试PPO的基准任务,包括模拟机器人运动和雅达利游戏,我们表明,PPO优于其他在线策略梯度方法,并总体上取得了良好的平衡样本的复杂性,简单性和墙时间。
2017-08-28 cs.LG
Unified Analysis of Stochastic Gradient Methods for Composite Convex and Smooth Optimization
KAUST(阿卜杜拉国王科技大学);Cairo University(开罗大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Facebook AI Research(脸书人工智能研究院)
本文给出了一个关于光滑凸损失加凸正则化子的随机梯度算法收敛性分析的统一定理。我们通过扩展Gorbunov,Hanzely \& Richtárik(2020)的统一分析并放弃损失函数是强凸的要求来做到这一点。相反,我们只依赖于损失函数的凸性。我们的统一分析适用于主机现有的算法,如近端SGD,方差减少的方法,量化和一些坐标下降型方法。对于方差减少的方法,我们恢复最好的已知的收敛速度作为特殊情况。对于近端SGD、量化和坐标类型方法,我们发现了新的最先进的收敛率。我们的分析还包括任何形式的采样和微量分析。因此,我们能够确定优化方差缩减方法的总复杂性的小批量大小。我们展示了这两个方差减少方法(\textit{L-SVRG}和\textit{SAGA})的最佳小批量大小获得一个简单的公式。这个最佳的minibatch大小不仅提高了理论上的总复杂度的方法,但也提高了他们的收敛性在实践中,我们在几个实验中显示。
2020-06-20 cs.LG math.OC stat.ML
Distributed Deep Learning Using Synchronous Stochastic Gradient Descent
Intel Parallel Computing Lab(英特尔并行计算实验室)
我们设计并实现了一个分布式的多节点同步SGD算法,不需要改变超参数,不需要压缩数据,也不需要改变算法行为。我们对缩放进行了详细的分析,并确定了不同网络的最佳设计点。我们展示了CNN在100个节点上的扩展,并展示了我们认为是创纪录的训练吞吐量。在128个节点上将512个小批量VGG-A CNN训练运行缩放90倍。此外,256个小批量VGG-A和Overlay-FAST网络在64节点群集上分别扩展了53倍和42倍。我们还通过16个节点上的7层DNN的同类最佳6.5倍扩展来证明我们方法的通用性。此后,我们试图通过在基于以太网的AWS集群上进行训练来实现深度学习的民主化,并在16个节点上展示了~ 14倍的扩展。
2016-02-22 cs.DC cs.LG
Minibatch and Momentum Model-based Methods for Stochastic Weakly Convex Optimization
Shanghai University of Finance and Economics(上海财经大学)
基于随机模型的方法由于其对步长选择的鲁棒性和可证明的效率保证而受到越来越多的关注。对随机弱凸优化的模型基方法进行了两个重要的改进。首先,我们提出了新的minibatch基于模型的方法,涉及一组样本近似模型函数在每次迭代。对于第一次,我们表明,随机算法实现线性加速的批量大小,即使是非光滑和非凸(特别是,弱凸)的问题。为此,我们开发了一种新的灵敏度分析的近端映射参与每个算法迭代。我们的分析似乎是在更一般的设置独立的利益。其次,在动量随机梯度下降算法成功的基础上,提出了一种新的基于模型的随机外推算法,将经典的Polyak动量算法扩展到更广泛的弱凸优化随机算法中。在相当灵活的外推项范围内建立了到某些自然平稳性条件的收敛速率。在主要研究弱凸优化的同时,我们也将工作扩展到了凸优化。我们应用小批量和外推模型为基础的方法随机凸优化,我们提供了一个新的复杂性界和有前途的线性加速批量大小。此外,基于Nesterov的动量的加速模型为基础的方法,我们建立了一个最佳的复杂性界达到最优。
2021-11-13 cs.LG math.OC
Distributed Matrix-Based Sampling for Graph Neural Network Training
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出基于矩阵的批量采样方法,将采样表示为稀疏矩阵乘法,减少分布式GNN训练通信开销,支持更大图,在128 GPU上比Quiver快2.5倍,并展示扩展性。
2024-04-19 cs.DC cs.LG cs.PF
Fast Stochastic Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
我们分析随机算法优化非凸,非光滑有限和问题,其中非凸部分是光滑的,非光滑部分是凸的。令人惊讶的是,与光滑情况不同,我们对这个基本问题的了解非常有限。例如,不知道具有常数小批量的邻近随机梯度法是否收敛到一个稳定点。为了解决这个问题,我们开发了快速的随机算法,可证明收敛到一个固定的点恒定的小批量。此外,使用这些算法的一个变体,我们证明了比批量邻近梯度下降更快的收敛速度。最后,我们证明了全局线性收敛速率的一个有趣的子类的非光滑非凸函数,其中包括一些最近的工作。本文建立在我们最近关于光滑非凸优化的快速随机方法的一系列论文[22,23]的基础上,对非凸和非光滑函数进行了新的分析。
2016-05-23 cs.LG math.OC stat.ML
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory(阿贡国家实验室);Wayne State University(韦恩州立大学)
在分布式机器学习中,跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器,实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中,我们解决了强凸,凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法,(加速)梯度上升多随机梯度下降(GA-MSGD),适用于分布式优化的拉格朗日固有地包含本地更新,因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是,对于强凸目标,(加速)GA-MSGD在通信轮次中实现线性收敛,尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质,使得对偶问题是强凹的。当与Catalyst框架集成时,我们的方法在各种设置中实现了接近最佳的通信复杂性,而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Communication-Efficient Adaptive Batch Size Strategies for Distributed Local Gradient Methods
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
针对分布式局部梯度方法,提出自适应增大批量大小以降低梯度方差,并在同质数据下给出收敛保证,实验验证其提升训练效率与泛化能力。
2024-11-06 cs.LG math.OC stat.ML
Convergence of Distributed Adaptive Optimization with Local Updates
University of California, Berkeley(加利福尼亚大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
本文研究分布式自适应优化中局部更新的理论益处,首次证明凸和弱凸场景下Local SGDM与局部Adam可优于小批量对应方法,其分析通过新颖技术证明局部迭代收缩性,为局部更新优势提供关键理论支撑。
2025-02-12 cs.LG math.OC
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
Technion(以色列理工学院)
针对异构分布式学习,提出SLowcal-SGD方法,通过定制慢查询技术,首次在理论上证明优于Minibatch-SGD和Local-SGD,有效缓解局部更新偏差。
2025-01-18 cs.LG math.OC
BatchGNN: Efficient CPU-Based Distributed GNN Training on Very Large Graphs
KatanaGraph(KatanaGraph公司);Intel Corporation(英特尔公司);Colorado School of Mines(科罗拉多矿业学院)
本文提出分布式CPU系统BatchGNN,通过宏批处理、集成图分区和原生GNN层实现等技术降低通信与采样开销,在TB级图上高效训练GNN,平均3倍快于DistDGL并优于GPU系统。
2023-06-23 cs.DC cs.LG
Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization
The University of Hong Kong(香港大学);University of Florida(佛罗里达大学)
本文针对非凸高维随机优化提出维度不敏感的随机一阶方法DISFOMs,允许非光滑非欧几里得近端项,并证明其样本复杂度仅对数依赖于维度,显著优于线性依赖。
2024-09-29 cs.LG math.OC
Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization
Institut de Mathématiques de Toulouse(图卢兹数学研究所);CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Ecole Polytechnique(巴黎综合理工学院)
提出了一种求解有限和非凸复合优化问题的新算法--扰动邻近预处理SPIDER算法(3 P-SPIDER)。它是一种随机变度量前向-后向算法,允许近似预处理前向算子,并使用变度量邻近算子作为后向算子;它还提出了一种方差减少的小批量策略来解决有限和设置。我们表明,3 P-SPIDER扩展了一些随机预处理的梯度下降为基础的算法和一些增量期望最大化算法的复合优化和前向算子的情况下,不能计算在封闭的形式。我们还提供了一个显式的收敛控制的期望3 P-SPIDER,并研究其复杂性,以满足ε-近似平稳条件。我们的研究结果是第一个结合复合非凸优化设置,方差减少技术来解决有限和设置通过使用minibatch策略,并允许确定性或随机近似的预处理前向算子。最后,通过应用逻辑回归模型的推理随机效应,我们数值比较3 P-SPIDER其他随机向前向后算法,并讨论了一些设计参数的3 P-SPIDER的作用。
2023-03-08 cs.LG math.OC
A Simple Proximal Stochastic Gradient Method for Nonsmooth Nonconvex Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
我们分析随机梯度算法优化非凸,非光滑有限和问题。特别地,目标函数由可微(可能非凸)分量与可能不可微但凸的分量的总和给出。我们提出了一个近似的随机梯度算法的基础上减少方差,称为ProxSVRG+。我们的主要贡献在于ProxSVRG+的分析。它恢复了几个现有的收敛结果,并改善/推广它们(随机梯度Oracle调用和邻近Oracle调用的数量)。特别地,ProxSVRG+概括了最近由[Lei等人,[2017]第一个非线性方程。ProxSVRG+也比SCSG更简单,分析更简单。此外,ProxSVRG+对于大范围的小批量大小优于确定性近端梯度下降(ProxGD),这部分地解决了在[Reddi等人,2016年b]。此外,ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用[Reddi等人,2016年b]。此外,对于满足Polyak-Chaojasiewicz条件的非凸函数,我们证明了ProxSVRG+具有全局线性收敛速率,且不需要重新启动.因此,只要目标函数在某些区域局部满足PL条件,\emph{automatically}就可以在这些区域切换到更快的线性收敛。ProxSVRG+还改进了ProxGD和ProxSVRG/SAGA,并在这种情况下推广了SCSG的结果。最后,进行了实验研究,实验结果与理论分析结果基本一致。
2018-12-01 cs.DS cs.LG math.OC
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University(延世大学);Deakin University(迪肯大学);Samsung Electronics Co., Ltd.(三星电子株式会社);University of Oulu(奥卢大学)
传统的分布式深度强化学习(RL)通常依赖于交换每个代理的经验重放记忆(RM)。由于RM包含所有的状态观测和动作策略历史,它可能会导致巨大的通信开销,同时侵犯每个代理的隐私。或者,本文提出了一个通信高效和隐私保护的分布式强化学习框架,称为联邦强化蒸馏(FRD)。在FRD中,每个代理交换其代理经验重放存储器(ProxRM),其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解,我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外,我们提出了一个改进版本的FRD,创造mixup增强FRD(MixFRD),其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性,与基准计划,香草FRD,联邦强化学习(FRL)和策略蒸馏(PD)相比。
2020-05-15 cs.AI cs.LG
Proximal Policy Optimization with Mixed Distributed Training
Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院)
不稳定性和缓慢性是深度强化学习中的两个主要问题。即使近端策略优化(PPO)是现有技术,它仍然遭受这两个问题。提出了一种基于近端策略优化的改进算法--混合分布式近端策略优化(MDPPO),并证明了该算法能够加速和稳定训练过程。在我们的算法中,多个不同的策略同时训练,每个策略控制几个相同的代理与环境进行交互。每个策略像往常一样分别对动作进行采样,但训练过程的轨迹是从所有代理收集的,而不是只有一个策略。我们发现,如果我们精心选择一些辅助轨迹来训练策略,算法将更稳定,更快地收敛,特别是在稀疏奖励的环境中。
2019-09-30 cs.AI cs.LG
Simple and Optimal Stochastic Gradient Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
我们提出并分析了几种随机梯度算法,用于寻找非凸的稳定点或局部最小值,可能与非光滑正则化,有限和和在线优化问题。首先,我们提出了一个简单的近似随机梯度算法的基础上减少方差称为ProxSVRG+。我们对ProxSVRG+进行了清晰而严密的分析,结果表明,对于各种小批量大小,它的性能优于确定性近端梯度下降(ProxGD),因此解决了Reddi等人提出的一个公开问题。(2016 b)。此外,ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用(Reddi等人,2016 b),并通过避免完整的梯度计算扩展到在线设置。然后,我们进一步提出了一种基于SARAH(Nguyen et al.,2017),并表明SSRGD进一步提高了ProxSVRG+的梯度复杂度,并实现了最佳上限,与已知的下限(Fang et al.,2018年; Li等人,2021年)。此外,我们表明,ProxSVRG+和SSRGD都可以自动适应目标函数的局部结构,例如在有限和情况下非凸函数的Polyak-Jasojasiewicz(PL)条件,即,我们证明了它们都可以自动切换到更快的全局线性收敛而无需在先前的工作ProxSVRG(Reddi等人,2016年b)。最后,我们专注于更具有挑战性的问题,找到一个$(ε, δ)$ -局部最小值,而不仅仅是找到一个$ε$ -近似(一阶)平稳点(这可能是一些坏的不稳定鞍点)。…
2022-08-22 cs.DS cs.LG math.OC
Distributed Proximal Splitting Algorithms with Rates and Acceleration
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
我们分析了几个通用的邻近分裂算法,以及适合于大规模的凸非光滑最优化。我们推导出次线性和线性收敛的结果与新的利率的函数值次优或距离的解决方案,以及新的加速版本,使用不同的步长。此外,我们还提出了这些算法的分布式变体,这些算法也可以加速。虽然大多数现有的结果是遍历的,我们的nonergodic结果显着拓宽了我们的理解原始对偶优化算法。
2022-01-27 cs.LG cs.NA math.NA
Distributed stochastic proximal algorithm with random reshuffling for non-smooth finite-sum optimization
Beijing Institute of Technology(北京理工大学);Beijing Institute of Technology Chongqing Innovation Center(北京理工大学重庆创新中心);Tongji University(同济大学);Nanyang Technological University(南洋理工大学)
非光滑有限和极小化问题是机器学习中的一个基本问题。本文提出了一种带随机重排的分布式随机近似梯度算法,用于求解时变多智能体网络上的有限和极小化问题。目标函数是可微凸函数和非光滑正则化的总和。网络中的每个智能体利用局部信息以恒定步长更新局部变量,并相互协作寻求最优解。我们证明了所提出的算法产生的局部变量的估计达到共识,并吸引到最优解的一个邻域中的期望与$\mathcal{O}(\frac{1}{T}+\frac{1}{\sqrt{T}})$收敛速度,其中$T$是迭代的总次数。最后,通过仿真比较验证了算法的收敛性能。
2022-10-10 cs.LG math.OC
A Fast Distributed Proximal-Gradient Method
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个分布式的近似梯度法优化凸函数的平均值,其中每个凸函数是一个代理在网络中的时变拓扑的私人局部目标。局部目标具有不同的可微分量,但它们共享一个共同的不可微分量,该不可微分量具有适合于邻近算子的有效计算的有利结构。在我们的方法中,每个代理通过优化其局部目标函数来迭代更新其对全局最小值的估计,并通过网络中的通信与其他代理交换估计。使用Nesterov型加速技术和每次迭代的多个通信步骤,我们证明了该方法以1/k的速度收敛(其中k是代理之间的通信轮数),这比现有的分布式方法的收敛速度更快。数值实验也验证了该方法的优越收敛速度。
2012-10-08 cs.DC cs.LG stat.ML
MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs
Iowa State University(爱荷华州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对大规模连接分布式图上GNN训练存在的通信开销与负载不均问题,提出MassiveGNN方法,在DistDGL框架上加入参数化连续预取驱逐方案,在Perlmutter超算的OGB数据集上实现15%-40%的端到端训练性能提升。
2024-11-03 cs.DC cs.LG cs.PF
Achieving Linear Speedup with ProxSkip in Distributed Stochastic Optimization
School of Computer Science and Engineering, Suzhou University of Technology(苏州科技大学计算机科学与工程学院);Department of Electrical Engineering, Kuwait University(科威特大学电子工程系);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);King Abdullah University of Science and Technology(卡塔尔科学与技术大学);School of Mathematics, Southeast University(东南大学数学系);Purple Mountain Laboratories(紫金山实验室)
本文研究了ProxSkip在非凸设置下的收敛性,证明其在节点数量上实现线性加速,并展示了局部更新对通信效率的提升作用。
2026-09-14 cs.LG math.OC stat.ML
Distributed Proximal Policy Optimization for Contention-Based Spectrum Access
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在未授权频谱中操作的无线设备的数量的增加激励了超越传统载波侦听的智能自适应频谱接入方法的发展。我们开发了一种新的分布式实现的策略梯度的方法称为近端策略优化建模的两阶段马尔可夫决策过程,使这样一个智能的方法,并仍然实现了分散的竞争为基础的媒体访问。在每个时隙中,基站(BS)使用来自频谱感测和接收质量的信息来自主地决定是否在给定资源上进行发送,目标是最大化网络范围的比例公平性。从经验上讲,我们发现的比例公平性奖励积累的策略梯度的方法是显着高于甚至基因辅助自适应能量检测阈值。这进一步验证了我们的方法所实现的改进的总和和最大用户吞吐量。
2021-10-07 cs.LG cs.NI eess.SP
Asynchronous Distributed Optimization with Stochastic Delays
Stanford University(斯坦福大学)
我们研究异步有限和最小化在一个分布式数据设置与中央参数服务器。虽然在所有机器都可以访问数据的并行设置中很好地理解了并行性,例如,像SAGA这样的方差缩减梯度算法的修改工作得很好--对于分布式数据设置知之甚少。我们开发了一个算法ADSAGA的基础上SAGA的分布式数据设置,其中的数据被划分在许多机器之间。我们发现,与$m$机器,在一个自然的随机延迟模型与$m$的平均延迟,ADSAGA收敛于$\tilde{O}\left(\left(n + \sqrt{m}κ\right)\log(1/ε)\right)$迭代,其中$n$是组件功能的数量,和$κ$是一个条件数。该复杂性正好位于SAGA \textit{without delays}的复杂性$\tilde{O}\left(\left(n + κ\right)\log(1/ε)\right)$和并行异步算法的复杂性$\tilde{O}\left(\left(n + mκ\right)\log(1/ε)\right)$之间,其中延迟是\textit{arbitrary}(但以$O(m)$为界),并且数据可由所有人访问。现有的异步算法与分布式数据设置和任意延迟已被证明是收敛在$\tilde{O}(n^2κ\log(1/ε))$迭代。我们经验比较最小二乘问题的迭代复杂性和挂钟性能的ADSAGA现有的并行和分布式算法,包括同步minibatch算…
2021-03-10 cs.DC cs.LG stat.ML
Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对无代理数据联邦蒸馏中客户端模型异构导致的知识不一致、精度下降问题,提出基于分布式知识一致性的FedDKC算法,通过两种知识修正策略缩小知识差异,在多个数据集上实现精度与收敛速度的双重提升。
2023-11-09 cs.AI cs.LG
BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization
Southeast University(东南大学)
本文提出了一种新的原始-对偶邻近分裂算法(Primal-Dual Proximal Splitting Algorithm,简称BALPA),用于求解具有等式约束的复合最优化问题,其中损失函数由光滑项和由线性映射组成的非光滑项组成.在BALPA中,对偶更新被设计为时变二次函数的邻近点,平衡了原始更新和对偶更新的实现,并保留了经典PD-PSA的邻近诱导特性.此外,通过这种平衡,BALPA消除了经典的PD-PSA的复合最优化问题,其中的线性映射或等式约束映射的欧几里德范数是大的效率低下。因此,BALPA不仅继承了经典PD-PSA结构简单、易于实现的优点,而且在范数较大的情况下也能保证快速收敛。此外,我们提出了一个随机版本的BALPA(S-BALPA),并应用开发的BALPA的分布式优化设计一个新的分布式优化算法。此外,全面的收敛性分析的BALPA和S-BALPA分别进行。最后,数值实验验证了算法的有效性.
2022-12-06 cs.LG math.OC
signProx: One-Bit Proximal Algorithm for Nonconvex Stochastic Optimization
Washington University in St. Louis(圣路易斯华盛顿大学)
随机梯度下降(SGD)是大数据集并行和分布式处理中应用最广泛的最优化方法之一。分布式SGD的关键限制之一是需要在不同的计算节点之间定期传送梯度。为了减少这种通信瓶颈,最近的工作已经考虑了SGD的一位变体,其中在优化中仅使用每个梯度元素的符号。在本文中,我们提出了一个随机变量的近端梯度法,也使用一位每个更新元素扩展这一想法。在一组显式假设下,我们证明了该方法对非凸优化的理论收敛性。我们的结果表明,压缩方法可以与未压缩方法的收敛速度相匹配,这使得所提出的方法对于大型数据集的分布式处理具有潜在的吸引力。
2018-10-23 cs.LG math.OC stat.ML
Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);The University of Tokyo(东京大学);RIKEN(理化学研究所)
近年来,局部SGD算法在分布式学习领域得到了广泛的研究,以克服分布式学习中的通信瓶颈问题。然而,本地SGD的优越性,minibatch SGD只在相当有限的情况下举行。本文研究了一种新的求解非凸分布优化问题的局部算法--偏差方差缩减局部SGD(Bias-Variance Reduced Local SGD,BVR-L-SGD)。从理论上讲,我们提出的偏差和方差减少的局部梯度估计器充分利用了局部目标的二阶异质性,并建议随机选取一个局部模型,而不是在工人同步时取其平均值。理论上,在局部目标的异质性较小的情况下,我们证明了BVR-L-SGD在温和的条件下比以前的非局部方法和局部方法具有更好的通信复杂性,特别是BVR-L-SGD是第一个在异质性较小和局部计算预算较大的情况下,突破一般非凸光滑目标通信复杂性度$Θ(1/\varepsilon)$障碍的方法.数值结果验证了理论结果,并给出了经验证据的优越性,我们的方法。
2021-06-14 cs.LG math.OC
Stabilized Proximal-Point Methods for Federated Optimization
Saarland University(萨尔大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
针对联邦学习通信约束问题,提出稳定分布式邻近点算法S-DANE及其加速版本,在保持最优通信复杂度的同时提升局部计算效率,还推出无需参数先验的自适应线搜索变体。
2024-11-03 cs.LG math.OC
Local Updates in Distributed Optimization: Provable Acceleration and Topology Effects
Department of Electrical and Computer Engineering, Clemson University(电气与计算机工程系,克莱姆斯大学)
本文研究了在分布式优化中引入局部更新对加速效果和网络拓扑的影响,通过理论分析证明局部更新能提升性能,且拓扑结构影响加速效果。
2026-04-21 cs.LG cs.SY eess.SY
Federated Reinforcement Distillation with Proxy Experience Memory
Yonsei University(延世大学);University of Oulu(奥卢大学)
在分布式强化学习中,通常交换每个代理的经验记忆,从而集体训练它们的局部模型。然而,经验存储器包含所有先前的状态观察和它们对应的主机代理的策略,这可能会侵犯代理的隐私。为了避免这个问题,在这项工作中,我们提出了一个隐私保护的分布式强化学习(RL)框架,称为联邦强化蒸馏(FRD)。其关键思想是交换一个代理体验记忆,包括预先安排的一组状态和时间平均策略,从而保护实际体验的隐私。基于一个优势的actor-critic强化学习体系结构,我们数值评估FRD的有效性,并研究代理内存结构和不同的内存交换规则如何影响FRD的性能。
2020-04-13 cs.LG cs.MA cs.NI
A Drift Stable Quantum Federated Learning for Intelligent Services
School of IT, Deakin University(迪肯大学信息技术学院)
针对量子联邦学习中异构客户端数据和噪声导致的问题,提出基于深度展开局部优化的DUQFL-Prox框架,客户端执行自适应更新,近端项和轻量级控制器协同作用,实验证明该框架提升了稳定性、泛化能力及客户端公平性,支持更可靠公平的智能服务。
2026-07-27 cs.AI cs.LG
DISA: A Dual Inexact Splitting Algorithm for Distributed Convex Composite Optimization
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Yonsei University(延世大学)
针对含光滑项与线性复合非光滑项的分布式凸复合优化,提出DISA,解除步长对线性映射范数的依赖,并证明多种收敛速率及近似变体的全局收敛性。
2023-04-23 cs.LG math.OC
Discrete GCBF Proximal Policy Optimization for Multi-agent Safe Optimal Control
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文提出 DGPPO 框架,联合学习离散图 CBF 与分布式安全策略,以解决未知离散时间 MAS 在部分可观测、邻域变化和输入约束下的安全高性能控制问题。
2025-03-13 cs.LG cs.MA cs.RO
Exponentially Fast Parameter Estimation in Networks Using Distributed Dual Averaging
University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们提出了一个基于优化的观点分布参数估计和观察社会学习网络。代理接收一系列随机、独立和同分布(i.i.d.)信号,每个信号单独地可能不提供关于潜在真实状态的信息,但是信号一起提供的信息足以使真实状态可识别。使用基于优化的表征贝叶斯学习的近端随机梯度下降(与Kullback-Leibler分歧作为一个近端函数),我们展示了如何有效地使用分布式,在线的Nesterov的双平均方法的变体来解决估计与纯粹的本地信息。当真实状态是全局可识别的,网络是连接的,我们证明了代理最终学习的真实参数使用随机八卦计划。我们证明了,以高概率的收敛速度是指数级的速度依赖于KL分歧的观察下的真实状态下的第二个最可能的状态下的观察。此外,我们的工作还强调了在网络的连续适应下学习的可能性,这是采用恒定的单位步长的算法的结果。
2013-09-10 cs.LG cs.SI math.OC
KKT Conditions, First-Order and Second-Order Optimization, and Distributed Optimization: Tutorial and Survey
University of Waterloo(滑铁卢大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Statistics and Actuarial Science(统计与精算科学系);David R. Cheriton School of Computer Science(大卫·R·谢里顿计算机科学学院);Centre for Pattern Analysis and Machine Intelligence(模式分析与机器智能中心);Machine Learning Laboratory(机器学习实验室);Data Analytics Laboratory(数据分析实验室)
这是一篇关于Karush-Kuhn-Tucker(KKT)条件、一阶和二阶数值优化以及分布式优化的教程和综述论文。在简要回顾了最优化的历史之后,我们从集合、范数、函数和最优化概念的性质开始。然后介绍了最优化问题、标准最优化问题(包括线性规划、二次规划和半定规划)和凸问题。我们还介绍了一些技术,如消除不等式,等式和集合约束,添加松弛变量,epigraph形式。介绍了拉格朗日函数、对偶变量、KKT条件(包括原始可行性、对偶可行性、弱对偶性、强对偶性、互补松弛性和平稳性条件)以及用拉格朗日乘子法求解最优化问题。然后,我们涵盖了一阶优化,包括梯度下降,线搜索,收敛的梯度法,动量,最速下降,和反向传播。介绍了加速梯度法、随机梯度下降法、小批量梯度下降法、随机平均梯度法、随机方差约简梯度法、AdaGrad、RMSProp和Adam优化器、近似方法等一阶方法(包括邻近标测、邻近点法和邻近梯度法)和约束梯度法(包括投影梯度法、凸集投影法和Frank-Wolfe法)。我们还介绍了非光滑和$\ell_1$最优化方法,包括套索正则化,凸共轭,Huber函数,软阈值,坐标下降和次梯度方法。然后,我们解释二阶方法,包括牛顿法无约束,等式约束和不等式约束问题。
2021-10-05 cs.DC cs.LG cs.NA
Adjacency-Based Spectral Proxy Control of Mobile Communication Agents
针对异构移动智能体网络,提出用邻接矩阵主导特征向量替代Fiedler向量的A-Fiedler方法,提升分布式估计鲁棒性,为分布式网络控制提供更简单路径。
2026-08-17 cs.LG cs.MA cs.RO
Avoiding Communication in Proximal Methods for Convex Optimization Problems
School of Electrical and Computer Engineering, Rutgers University, Piscataway, NJ(电气与计算机工程系,罗格斯大学,新泽西州皮萨迦way);EECS Department, University of Berkeley, Berkeley, CA(电气工程与计算机科学系,伯克利大学,加利福尼亚州伯克利);MSIS Department, Rutgers University, Piscataway, NJ(管理科学与信息系,罗格斯大学,新泽西州皮萨迦way)
本文提出一种改进的FISTA算法,通过每k次迭代通信一次来减少数据传输,提升分布式架构性能,实验显示在多个基准测试中平均加速3-10倍。
2017-10-24 cs.DC cs.LG cs.NA