Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California(南加州大学)
我们研究无限时域折扣两人零和马尔可夫博弈,并开发了一个分散的算法,证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略,并使用一个慢慢学习每个状态值的评论家。据我们所知,这是第一个算法,在这种设置,同时是理性的(当对手使用固定策略时,收敛到对手的最佳对策),收敛(收敛到自我博弈下的纳什均衡集),不可知论者(不需要知道对手的动作),对称(玩家在算法中扮演对称角色),并享受有限时间的最后收敛保证,所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates
University of California, Berkeley(加州大学伯克利分校)
针对数据异构下的联邦极小极大优化,提出结合局部更新与梯度跟踪的去中心化算法 K-GT-Minimax,并证明其在 NC-SC 情形下具有更优通信效率和收敛率。
2024-05-07 cs.DC cs.LG stat.ML
SQuARM-SGD: Communication-Efficient Momentum SGD for Decentralized Optimization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);US Army Research Lab(美国陆军研究实验室)
在本文中,我们提出并分析了SQuARM-SGD,一个通信效率高的算法,用于在网络上分散训练大规模机器学习模型。在SQuARM-SGD中,每个节点使用Nesterov的动量执行固定数量的本地SGD步骤,然后将稀疏化和量化的更新发送到受本地可计算触发标准调节的邻居。我们为一般(非凸)和凸光滑目标提供了算法的收敛保证,据我们所知,这是第一次对压缩分散SGD进行动量更新的理论分析。我们证明了SQuARM-SGD的收敛速度与vanilla SGD相匹配。我们的经验表明,包括动量更新SQuARM-SGD可以导致更好的测试性能比目前的最先进的不考虑动量更新。
2021-10-11 cs.DC cs.LG stat.ML
Optimal Complexity in Decentralized Training
Cornell University(康奈尔大学)
去中心化是一种扩展并行机器学习系统的有前途的方法。在本文中,我们提供了一个严格的下界的迭代复杂性,这样的方法在一个随机的非凸设置。我们的下界揭示了许多现有分散训练算法(如D-PSGD)的已知收敛速度的理论差距。通过构造证明了这个下界是紧的和可实现的。受我们的见解的启发,我们进一步提出了DeTAG,这是一种实用的八卦式分散算法,仅用对数间隙就可以达到下界。从经验上讲,我们将DeTAG与其他分散式算法在图像分类任务上进行了比较,我们表明DeTAG与基线相比具有更快的收敛速度,特别是在未混洗数据和稀疏网络中。
2022-01-28 cs.LG stat.ML
DePRL: Achieving Linear Convergence Speedup in Personalized Decentralized Learning with Shared Representations
Stony Brook University(石溪大学);Binghamton University(宾汉姆顿大学);IBM T. J. Watson Research Center(IBM T. J. Watson研究中心)
针对去中心化学习中数据异构导致单共享模型表现差的问题,提出基于共享表征的DePRL算法,以全去中心化方式协作学习全局表征并搭配个性化局部头,首次实现非线性表征下的线性收敛加速,在异构环境中表现更优。
2023-12-17 cs.DC cs.LG math.OC
Refined Convergence and Topology Learning for Decentralized SGD with Heterogeneous Data
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Université de Bâle(巴塞尔大学);EPFL(洛桑联邦理工学院)
分散式和联邦学习的关键挑战之一是设计算法,有效地处理跨代理的高度异构的数据分布。在本文中,我们重新分析流行的分散式随机梯度下降算法(D-SGD)在数据异构性。我们展示了一个新的数量,称为邻域异质性,D-SGD的收敛速度所发挥的关键作用。通过耦合的通信拓扑结构和异质性,我们的分析揭示了这两个概念之间的相互作用知之甚少。然后,我们认为,邻域异质性提供了一个自然的标准来学习数据依赖的拓扑结构,减少(甚至可以消除),否则不利的影响,数据异构性的收敛时间的D-SGD。对于标签倾斜分类的重要情况下,我们制定了学习这样一个良好的拓扑结构的问题,我们解决了一个易于处理的优化问题,弗兰克-沃尔夫算法。正如一组模拟和真实实验所示,我们的方法提供了一种设计稀疏拓扑的原则性方法,该拓扑可以在数据异构的情况下平衡D-SGD的收敛速度和每次迭代的通信成本。
2022-10-21 cs.LG math.OC stat.ML
DeEPCA: Decentralized Exact PCA with Linear Convergence Rate
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hong Kong University of Science and Technology(香港科技大学)
由于智能代理的快速增长,如弱连接的计算节点和传感器,开发分散的算法,可以执行本地代理的计算成为一个主要的研究方向。本文考虑了分散主成分分析(PCA)的问题,这是一种广泛用于数据分析的统计方法。我们引入了一种称为子空间跟踪的技术,以减少通信成本,并将其应用到电源迭代。这导致了一个分散的PCA算法称为\texttt{DeEPCA},它具有类似的集中式PCA的收敛速度,同时实现了最好的通信复杂性在现有的分散PCA算法。\texttt{DeEPCA}是第一个分散PCA算法,每个幂迭代的通信轮数与目标精度无关。与现有的算法相比,该方法更容易在实践中调整,与改善的整体通信成本。我们的实验验证了\texttt{DeEPCA}经验的优势。
2021-02-08 cs.LG math.OC
Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
Carnegie Mellon University(卡内基梅隆大学)
本文首次研究了在带有通信压缩的去中心化非凸优化中梯度裁剪的作用,提出PORTER框架及其两种变体,在无需梯度有界假设下证明了收敛性并分析了收敛速率、压缩比、网络连通性与隐私间的权衡。
2023-05-17 cs.LG math.OC
Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学);MetaCarbon
分散优化是大规模机器学习中节省通信的有效方法。虽然已经提出了许多算法的理论保证和经验的成功,分散优化的性能限制,特别是网络拓扑结构及其相关的权重矩阵的最优收敛速度的影响,还没有得到充分的理解。虽然(Lu和Sa,2021)最近为非凸随机分散优化提供了一个最优速率,其权重矩阵定义在线性图上,但具有一般权重矩阵的最优速率仍不清楚。本文重新研究了非凸随机分散优化问题,并在一般权矩阵下建立了一个最优收敛速度。此外,我们还建立了非凸损失函数进一步满足Polyak-Lojasiewicz(PL)条件时的最优速率。按照文献中现有的分析路线无法实现这些结果。相反,我们利用环格图承认一般的权重矩阵,同时保持图直径和权重矩阵连通性之间的最佳关系。最后,我们开发了一个新的分散算法,几乎达到上述两个最优速率在额外的温和条件。
2022-10-14 cs.LG math.OC
A Unified Theory of Decentralized SGD with Changing Topology and Local Updates
EPFL(洛桑联邦理工学院);Mila(米拉研究所);DIRO, Université de Montréal(蒙特利尔大学信息与运筹学系)
分散随机优化方法近年来得到了广泛的关注,主要是因为其每次迭代成本低,数据局部性和通信效率。在本文中,我们介绍了一个统一的收敛分析,涵盖了各种分散SGD方法,到目前为止,需要不同的直觉,有不同的应用程序,并已分别在各个社区开发。我们的算法框架涵盖了自适应网络拓扑上的本地SGD更新和同步和成对的八卦更新。我们推导出普遍的收敛速度光滑(凸和非凸)的问题和利率之间的异构(非同分布的数据)和iid数据设置,恢复线性收敛速度在许多特殊情况下,例如过参数化模型。我们的证明依赖于弱假设(通常在几个方面比以前的工作有所改进),并恢复(和改进)许多重要场景的最知名的复杂性结果,例如合作SGD和联合平均(本地SGD)。
2021-03-02 cs.DC cs.LG math.OC
DIGEST: Fast and Communication Efficient Decentralized Learning with Local Updates
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对现有去中心化学习算法通信成本高或收敛慢的问题,结合Gossip与随机游走思路提出基于local-SGD的异步DIGEST算法,支持单/多流模式,在iid与non-iid数据下均渐近收敛,多流版本在non-iid场景下性能优于基线。
2024-05-10 cs.DC cs.LG
A decentralized proximal-gradient method with network independent step-sizes and separated convergence rates
Michigan State University(密歇根州立大学);Princeton University(普林斯顿大学)
针对一类具有光滑项和非光滑项的分散最优化问题,提出了一种新的近似梯度算法。具体地说,平滑和非平滑项分别由梯度和邻近更新处理。所提出的算法是密切相关的以前的算法,PG-EXTRA \cite{shi2015proximal},但有一些优点。首先,代理使用不协调的步长,稳定的上界步长是独立的网络拓扑结构。步长取决于局部目标函数,并且它们可以与梯度下降的步长一样大。其次,对于不含非光滑项的特殊情形,在强凸性假设下,可以达到线性收敛。新算法的收敛速度与目标函数和网络的依赖性是分离的,其收敛速度与一般梯度下降法和一致平均法的典型收敛速度相当。我们提供了数值实验来证明所介绍的算法的有效性,并验证我们的理论发现。
2019-06-18 cs.DC cs.LG cs.NA
A Unified Convergence Analysis for Semi-Decentralized Learning: Sampled-to-Sampled vs. Sampled-to-All Communication
针对半去中心化联邦学习中S2S和S2A两种服务器通信策略缺乏严格比较的问题,本文通过统一收敛框架分析其理论与实证表现,揭示了数据异质性对策略优势的影响,为部署提供设计指南。
2025-11-17 cs.AI cs.DC cs.LG
Fast and Robust Sparsity Learning over Networks: A Decentralized Surrogate Median Regression Approach
Shanghai Jiao Tong University(上海交通大学);Iowa State University(爱荷华州立大学)
分散稀疏学习由于其快速增长的应用,最近吸引了大量的关注。为了得到鲁棒的稀疏估计,一个自然的想法是采用非光滑中值损失结合$\ell_1$稀疏正则化。然而,大多数现有的方法遭受由{ \em double}非光滑目标引起的慢收敛性能。为了加快计算速度,本文提出了一种分散代理中值回归(deSMR)方法,有效地解决了分散稀疏学习问题。我们表明,我们提出的算法具有线性收敛速度与一个简单的实现。我们还研究了统计保证,它表明,我们提出的估计实现了近预言收敛速度,而没有任何限制的网络节点的数量。此外,我们建立了稀疏支持恢复的理论结果。数值实验和实际数据的研究证明了该方法的有效性。
2022-02-11 cs.LG stat.ME stat.ML
On the Communication Complexity of Decentralized Stochastic Bilevel Optimization
Temple University(特拉华大学)
针对异构环境下现有去中心化随机双层优化算法收敛慢、通信成本高的问题,提出基于同步和交替更新策略的两种新算法,实现了更快的收敛速度和更低的通信成本,并首次在温和假设下揭示了异构设置中Hessian逆向量积的计算与通信对收敛率的影响。
2026-05-25 cs.DC cs.LG math.OC
An Empirical Study on Compressed Decentralized Stochastic Gradient Algorithms with Overparameterized Models
The Chinese University of Hong Kong(香港中文大学)
本文考虑分散优化与应用到图上的机器学习。神经网络(NN)模型的规模不断增长,促使分散式随机梯度算法的先前工作,以纳入通信压缩。另一方面,最近的工作已经证明了良好的收敛性和推广性能的过参数化神经网络。在这项工作中,我们提出了一个实证分析的压缩分散随机梯度(DSG)算法与过参数化神经网络的性能。通过在MPI网络环境下的仿真,我们观察到流行的压缩DSG算法的收敛速度对神经网络的大小具有鲁棒性。我们的研究结果表明,在现有文献中的压缩DSG算法的理论和实践之间的差距。
2021-10-09 cs.DC cs.LG math.OC
Finite-Time Convergence Rates of Decentralized Stochastic Approximation with Applications in Multi-Agent and Multi-Task Learning
Georgia Institute of Technology(佐治亚理工学院);Virginia Tech(弗吉尼亚理工大学)
我们研究了随机近似的一个分散的变体,一种数据驱动的方法,用于在噪声测量下找到算子的根。一个代理网络,每个代理都有自己的运营商和数据观测,合作找到分散通信图上的聚合运营商的不动点。我们的主要贡献是提供一个有限的时间分析,这种分散的随机近似方法时,在每个代理观察到的数据是从马尔可夫过程采样,这种缺乏独立性,使迭代有偏和(潜在)无界。在相当标准的假设下,我们表明,所提出的方法的收敛速度基本上是相同的,如果样本是独立的,不同的只有一个对数因子,占混合时间的马尔可夫过程。在我们的分析中的关键思想是引入一个新的Razumikhin-Lyapunov函数,激励用于分析延迟常微分方程的稳定性。我们还讨论了所提出的方法在多智能体系统中的一些有趣的学习问题的应用。
2022-06-16 cs.LG math.OC
Fully Decentralized Joint Learning of Personalized Models and Collaboration Graphs
GE – Global Research(通用电气全球研究中心);Inria(法国国家信息与自动化研究所);Univ Lyon(里昂大学);UJM-Saint-Etienne(圣艾蒂安让·莫内大学);CNRS(法国国家科学研究中心);Laboratoire Hubert Curien(于贝尔·居里安实验室)
本文研究完全去中心化场景下,用户通过本地点对点交换协作学习个性化模型,提出联合学习协作图与模型的优化方法,交替进行贪婪式非线性模型训练和稀疏图更新,实现通信高效、保护隐私且随用户规模自然扩展,在合成与真实数据集上优于竞争技术。
2020-03-26 cs.AI cs.DC cs.LG
Decentralized Stochastic Gradient Tracking for Non-convex Empirical Risk Minimization
Tsinghua University(清华大学)
研究了一种分散随机梯度跟踪(DSGT)算法,该算法求解节点网络上的非凸经验风险最小化问题,与现有的仅求解凸问题的DSGT算法形成了鲜明的对比.为了确保精确收敛并处理分散数据集之间的方差,每个节点通过使用小批量样本执行随机梯度(SG)跟踪步骤,其中批量大小被设计为与本地数据集的大小成比例。我们明确评估DSGT的收敛速度相对于代数连接的网络,小批量大小,梯度方差等方面的迭代次数在一定条件下,我们进一步表明,DSGT具有网络独立性的意义上,网络拓扑结构只影响收敛速度的一个常数因子。因此,DSGT的收敛速度可以与集中式SGD方法相媲美。此外,对于某些场景,DSGT相对于节点数量的线性加速是可实现的。在CIFAR-10上对神经网络和逻辑回归问题的数值实验表明了DSGT的优越性。
2020-08-28 cs.DC cs.LG cs.MA
An improved convergence analysis for decentralized online stochastic non-convex optimization
Carnegie Mellon University(卡内基梅隆大学);Tufts University(塔夫茨大学)
本文研究节点网络上分散在线随机非凸优化问题。在分散式随机梯度下降中集成一种称为梯度跟踪的技术,我们证明了所得到的算法GT-DSGD具有一定的理想特性,可以最小化光滑非凸函数的总和。特别是,对于一般光滑的非凸函数,我们建立了非渐近的GT-DSGD的特征,并推导出条件下,它实现网络无关的性能,匹配的集中minibatch SGD。相比之下,现有的结果表明,GT-DSGD总是依赖于网络,因此严格比集中式小批量SGD更差。当全局非凸函数另外满足Polyak-Lojasiewics(PL)条件时,我们证明了GT-DSGD算法在适当的常数步长下直到稳态误差是线性收敛的.此外,在随机逼近步长下,我们首次给出了在几乎每一条样本路径上的最优全局次线性收敛速度,以及期望的渐近最优次线性收敛速度.由于强凸函数是满足PL条件的函数的特殊情况,我们的结果不仅是立即适用,而且还改善了目前已知的最佳收敛速度和它们对问题参数的依赖性。
2020-12-29 cs.LG cs.MA cs.SY
Faster Convergence with Less Communication: Broadcast-Based Subgraph Sampling for Decentralized Learning over Wireless Networks
Linköping University(林雪平大学)
针对无线网络去中心化学习中D-SGD的通信协调问题,提出广播基子图采样方法BASS,通过生成稀疏子图混合矩阵并联合优化采样概率,实现更快收敛且传输时隙更少,挖掘无线广播特性的加速潜力。
2025-02-11 cs.DC cs.IT cs.LG
Push-SAGA: A decentralized stochastic algorithm with variance reduction over directed graphs
Tufts University(塔夫茨大学);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了Push-SAGA,一个分散的随机一阶方法有限和最小化的有向网络的节点。Push-SAGA结合了节点级方差缩减以消除随机梯度引起的不确定性,网络级梯度跟踪以解决数据的分布式性质,以及推和共识以解决有向通信链路的挑战。我们表明,Push-SAGA实现了线性收敛到光滑和强凸问题的精确解,因此是第一个线性收敛的随机算法在任意强连通有向图。我们还描述了制度,其中Push-SAGA实现了线性加速相比,其集中的对应,并实现了独立于网络的收敛速度。我们说明的行为和收敛性能的Push-SAGA的强凸和非凸问题的数值实验的帮助下。
2020-10-22 cs.DC cs.LG cs.MA
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Texas A&M University(德克萨斯农工大学);University of Minnesota(明尼苏达大学)
我们考虑一个分布式的非凸优化网络的代理人的目的是最小化一个全局函数的Stiefel流形。全局函数被表示为光滑局部函数的有限和,其中每个局部函数与一个代理相关联,并且代理通过无向连通图彼此通信。这个问题是非凸的,因为局部函数可能是非凸的(但光滑的),Steifel流形是一个非凸集。本文提出了一种分散的黎曼随机梯度法(DRSGD),其收敛速度为$\mathcal{O}(1/\sqrt{K})$。为了在恒定步长下具有精确收敛性,我们还提出了一种分散的黎曼梯度跟踪算法(DRGTA),其收敛速度为$\mathcal{O}(1/K)$到一个稳定点。我们使用多步共识来保持局部(共识)区域中的迭代。DRGTA是Stiefel流形上第一个具有精确收敛性的分布式优化算法。
2021-02-14 cs.LG cs.SY eess.SY
The Entrapment Problem in Random Walk Decentralized Learning
Rutgers University(罗格斯大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文研究图结构去中心化学习中的陷入困境问题,提出带Lévy跳跃的MHLJ算法以克服MH算法导致的随机游走卡顿,理论上证明了其收敛速率与误差差距并通过实验验证。
2024-07-30 cs.DC cs.IT cs.LG
Decentralized Joint-Sparse Signal Recovery: A Sparse Bayesian Learning Approach
Indian Institute of Science(印度科学院)
这项工作提出了一种分散的,迭代的,贝叶斯算法称为CB-DSBL的多个联合稀疏向量的网络估计的网络节点,使用噪声和欠定线性测量。所提出的算法利用未知稀疏向量的网络范围联合稀疏性,与独立稀疏信号恢复方案相比,从数量显著较少的本地测量中恢复未知稀疏向量。为了减少节点间通信量和相关开销,节点仅与其单跳邻居的一小部分交换消息。在这种通信方案下,我们分别分析了我们所提出的算法中使用的交替方向乘法(ADMM)迭代的收敛性,并建立了其线性收敛速度。从分散ADMM的收敛性分析的结果被用来加速所提出的CB-DSBL算法的收敛性。使用Monte Carlo模拟,我们证明了优越的信号重建,以及支持恢复性能相比,我们提出的算法现有的分散式算法:DRL-1,DCOMP和DCSP。
2015-12-18 cs.IT cs.LG math.IT
On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks
Rice University(莱斯大学)
研究静态有向图上具有压缩通信的分散一致性和随机最优化问题。我们提出了一个迭代的基于梯度的算法,压缩消息根据所需的压缩比。所提出的方法可证明减少了网络上的通信开销,在每一个通信轮。与现有文献相反,我们允许任意的压缩比在通信的消息。我们显示了一个线性收敛速率所提出的方法的共识问题。此外,我们提供了明确的收敛速度分散随机最优化问题的光滑函数是(i)强凸,(ii)凸,或(iii)非凸。最后,我们提供了数值实验来说明在任意压缩比下的收敛性和我们的算法的通信效率。
2022-04-18 cs.LG cs.MA cs.SY
Decentralized Domain Generalization with Style Sharing: Formal Model and Convergence Analysis
Purdue University(普渡大学);Yonsei University(延世大学);University at Buffalo --- SUNY(布法罗大学---SUNY)
本文提出StyleDDG算法,通过去中心化网络中的风格信息共享实现领域泛化,提供形式模型与收敛分析,实验显示其在目标领域具有更高的准确性与更低的通信开销。
2026-01-29 cs.AI cs.LG
Decentralized Markov Chain Gradient Descent
National University of Defense Technology(国防科技大学)
分散随机梯度法是解决大规模机器学习问题的一种有效方法。本文研究了分散马尔可夫链梯度下降(DMGD)算法-分散随机梯度法的一种变体,其中随机样本沿马尔可夫链的轨迹。当获得独立样本的成本很高或不可能时,这种设置是有充分动机的,这排除了传统随机梯度算法的使用。具体来说,我们考虑一阶和零阶版本的分散马尔可夫链梯度下降在一个连接的网络,其中每个节点只与它的邻居关于中间结果进行通信。所提出的算法的非遍历收敛性和遍历收敛速度已被严格建立,并已强调其关键依赖于网络拓扑结构和混合时间的马尔可夫链。数值试验进一步验证了算法的采样效率。
2021-04-13 cs.LG cs.NA math.NA
Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems?
Temple University(天普大学);Tencent(腾讯);Southern University of Science and Technology(南方科技大学)
本文研究去中心化有限和非凸-非凹极小极大优化,提出两种满足PL条件的随机方差缩减梯度下降上升算法,首次实现线性收敛并通过实验验证有效性。
2023-04-24 cs.LG
Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本研究证明,在重尾噪声下,裁剪的去中心化随机梯度下降(DSGD)能实现阶最优收敛率并具有线性加速,与归一化方法形成对比,凸显了裁剪在保留幅度信息方面的优势。
2026-10-08 cs.LG cs.MA math.OC
Adjacent Leader Decentralized Stochastic Gradient Descent
New York University(纽约大学);Tandon School of Engineering(坦登工程学院)
本文提出相邻领导者去中心化梯度下降(AL-DSGD),通过加权聚合和动态通信图提升去中心化深度学习的性能与收敛速度,降低通信开销,并开源了通用分布式训练库。
2024-08-19 cs.LG
FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis
The University of Sydney(悉尼大学)
大多数现有的联邦学习方法假设客户端已经完全标记了数据进行训练,而在现实中,由于用户的隐私问题,高标签成本或缺乏专业知识,客户端很难获得特定于任务的标签。这项工作考虑了服务器与一个小的标记数据集,并打算使用未标记的数据在多个客户端的半监督学习。我们提出了一个新的框架,一个广义的模型,联邦增量学习(FedIL),以解决如何利用标记的数据在服务器和未标记的数据在客户端分开的情况下,联邦学习(FL)的问题。FedIL使用迭代相似性融合来强制服务器-客户端对未标记数据的预测的一致性,并使用增量置信度在每个客户端中建立可信的伪标签集。我们证明了FedIL将加速模型收敛的余弦相似与规范化,证明了Banach不动点定理。该代码可在https://anonymous.4open.science/r/fedil上获得。
2023-02-23 cs.LG
Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
School of Data Science(数据科学学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对异构计算与通信延迟下的去中心化非凸优化,本文提出改进 ADSGD 模型,并借助 ASBCD 证明其无需数据异构有界即可采用不依赖计算延迟的步长收敛,实验显示其挂钟时间更优。
2025-05-15 cs.LG math.OC
Fully First-Order Methods for Decentralized Bilevel Optimization
The Hong Kong University of Science and Technology(香港科技大学);University of California Davis(加州大学戴维斯分校);Rice University(莱斯大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种分布式双层优化的完全一阶方法,通过一阶 oracle 实现高效收敛,样本复杂度与单智能体最优结果匹配,并验证了算法的通信和训练效率。
2025-03-10 cs.LG math.OC
High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking
本文研究去中心化随机优化中的高概率收敛性,提出结合梯度跟踪技术的DSGD算法,证明其在非凸和Polyak-Łojasiewicz成本下的最优收敛率,且在放松的子高斯条件下实现高概率收敛。
2026-04-30 cs.LG cs.MA math.OC
A Decentralized Approach to Bayesian Learning
CCDC Army Research Laboratory(CCDC陆军研究实验室);Oklahoma State University(俄克拉荷马州立大学);Booz Allen Hamilton(博思艾伦汉密尔顿公司)
受分散式机器学习方法的启发,我们提出了一种协作贝叶斯学习算法,该算法采用非凸设置中分散式Langevin动态的形式。我们的分析表明,初始KL之间的马尔可夫链和目标后验分布的分歧是指数下降,而错误的贡献,从加性噪声的整体KL发散是减少在多项式时间。我们进一步表明,多项式项的经验加速与代理的数量,并提供充分的条件,随时间变化的步长,以保证收敛到所需的分布。所提出的算法的性能进行了评估各种各样的机器学习任务。实证结果表明,与集中式设置相当大的改善收敛速度的个人代理与本地可用的数据的性能。
2021-01-09 cs.LG math.ST stat.ML
CEDAS: A Compressed Decentralized Stochastic Gradient Method with Improved Convergence
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳)数据科学学院)
本文提出压缩去中心化随机梯度方法 CEDAS,在通信受限的多智能体网络中达到与集中式 SGD 相当的收敛速率,并具有最短瞬态时间。
2024-09-29 cs.DC cs.LG cs.MA
Theory of Decentralized Robust Kernel-Based Learning
Department of Mathematics(数学系);School of Computing and Data Science(计算与数据科学学院);School of Mathematics and Statistics(数学与统计学学院)
本文在再生核希尔伯特空间框架下提出统一的去中心化鲁棒核学习算法,建立学习理论并给出最优收敛速率,揭示去中心化、样本选择与鲁棒性之间的内在联系。
2025-08-15 cs.LG
High-Probability Convergence Guarantees of Decentralized SGD
STI, EPFL, Lausanne, Switzerland(瑞士洛桑联邦理工学院(EPFL)信息与通信系统研究所(STI))
本文研究了在轻尾噪声下去中心化SGD的高概率收敛性,证明了在与MSE收敛相同的成本条件下,去中心化SGD能够实现高概率收敛,同时提供了非凸和强凸成本的最优速率,以及用户数量的线性加速效果。
2026-05-21 cs.LG cs.MA math.OC
Accelerating Decentralized Optimization via Overlapping Local Steps
School of Data Science(数据科学学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
OLDSGD通过计算-通信重叠技术,加速去中心化优化,提升收敛速度并保持理论保证。
2026-01-04 cs.LG math.OC
Decentralized Sum-of-Nonconvex Optimization
National University of Singapore(新加坡国立大学)
本文针对分布式环境下非凸函数和最小化问题,提出加速随机一阶算法,将加速、梯度跟踪与多共识混合融入SVRG,实现条件数平方根依赖的收敛速率,并在合成及真实数据上验证。
2024-02-04 cs.LG math.OC
Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access
Linköping University(林雪平大学)
本文研究无线网络中广播传输与概率随机接入对去中心化随机梯度下降(D-SGD)收敛性能的影响,证明优化接入概率以最大化成功链路期望数能有效加速系统收敛。
2023-07-07 cs.LG cs.NI cs.SY
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Yonsei University(延世大学)
针对无向连通网络上的凸组合最优化问题,提出了一种新的基于CTA(Combine-Then-Adapt)的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长,只需近似求解一系列邻近映射,有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形,我们证明了该算法的O(1/k)收敛速度,如果精确求解邻近映射,则该算法的收敛速度可提高到O(1/k).此外,利用度量次正则性,我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
Retraction-Free Decentralized Non-convex Optimization with Orthogonal Constraints
Northeastern University(东北大学);University of Science and Technology of China (USTC)(中国科学技术大学);Texas A & M University(德克萨斯农工大学)
针对带正交约束的去中心化非凸优化传统方法计算成本高的问题,提出无收缩去中心化算法DRFGT,理论上证明其收敛速率匹配中心化方法且在特定条件下可达线性收敛,实验显示其性能持平主流方法且计算开销显著降低。
2024-12-07 cs.LG math.OC
On linear convergence of two decentralized algorithms
Michigan State University(密歇根州立大学)
分散式算法解决连接网络上的多智能体问题,其中信息只能与可访问的邻居交换。虽然存在几种分散优化算法,但分散算法和集中算法在收敛条件和收敛速度上仍存在差距。在本文中,我们填补了一些空白,考虑两个分散的算法:EXTRA和NIDS。它们都线性收敛于强凸目标函数。我们将回答两个关于他们的问题。它们的步长的最优上界是什么?分散式算法是否比集中式算法需要更多的函数性质来实现线性收敛?更具体地说,我们放宽了所需的条件,这两种算法的线性收敛。对于额外的,我们表明,步长是可比的集中式算法。对于NIDS,步长的上界被证明是完全相同的集中。此外,我们放宽了对目标函数和混合矩阵的要求。在最弱的条件下,我们给出了这两种算法的线性收敛结果。
2021-02-04 cs.DC cs.LG cs.NA
Learn Electronic Health Records by Fully Decentralized Federated Learning
University of Minnesota(明尼苏达大学);IQVIA(艾昆纬)
联邦学习在星型网络中的分布式训练问题中具有很高的通信效率,这为联邦学习提供了许多研究机会。在本文中,我们专注于提高通信效率的完全分散的联邦学习在一个图,该算法执行本地更新几次迭代,然后使节点之间的通信。这样,在不损失解的最优性的情况下,可以显著地节省交换参数的共同兴趣的通信回合。基于大型真实世界电子健康记录数据库的多个数值模拟显示了分散式联邦学习与经典方法相比的优越性。
2019-12-10 cs.LG cs.NE stat.ML
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降(SGD)是分散式联邦学习(DFL)的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中,我们提出了一个通用的DFL框架,它实现了多个本地更新和多个节点间的通信周期,以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证,而无需假设凸目标。DFL的收敛速度可以被优化,以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率,将压缩通信作为一种新的方案引入到DFL中,命名为DFL with compressed communication(C-DFL)。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明,DFL优于传统的分散SGD方法,并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
Improved Analysis of the Accelerated Noisy Power Method with Applications to Decentralized PCA
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文改进了加速噪声幂方法的分析,在更宽松的扰动条件下保持加速收敛速率,并首次提出具有可证明加速收敛的分布式PCA算法。
2026-06-08 cs.DC cs.LG cs.NA
On the Convergence of Decentralized Adaptive Gradient Methods
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
包括Adam、AdaGrad及其变体在内的自适应梯度方法在训练深度学习模型(如神经网络)方面非常成功。同时,由于分布式计算的需要,分布式优化算法正迅速成为焦点。随着计算能力的增长以及在移动设备上使用机器学习模型的需求,需要仔细考虑分布式训练算法的通信成本。在本文中,我们介绍了新的收敛分散自适应梯度方法,并严格地将自适应梯度方法分散的训练过程。具体来说,我们提出了一个通用的算法框架,可以将现有的自适应梯度方法转换为分散的方法。此外,我们深入分析了所提出的算法框架的收敛行为,并表明,如果一个给定的自适应梯度方法收敛,在某些特定的条件下,那么它的分散对应也是收敛的。我们说明了我们的通用去中心化框架的原型方法的好处,即,AMSGrad,无论是理论上还是数值上。
2021-09-07 cs.LG
Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and University of Chinese Academy of Sciences, China(国家科学工程计算重点实验室,数学系统科学学院,中国科学院,中国科学院大学)
本文提出一个统一去中心化随机子梯度法的框架,为非光滑非凸函数的收敛性提供理论保证,并通过实验验证其在非光滑神经网络训练中的有效性。
2026-01-06 cs.LG math.OC
Dropout-Robust Mechanisms for Differentially Private and Fully Decentralized Mean Estimation
Insa-Lyon(里昂国立应用科学学院);CNRS(国家科学研究中心);Inria(法国国家信息与自动化技术研究院)
本文提出完全去中心化均值估计协议 IncA,通过增量注入低方差相关噪声实现差分隐私,无需中心协调,并在理论和实验上证明其能显著缓解参与方退出时的准确性损失。
2025-06-04 cs.CR cs.DC cs.LG
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent(腾讯)
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下,从理论上推导了隐私预算,并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界,对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees
Purdue University(普渡大学);Yonsei University(延世大学);MIT(麻省理工学院);University at Buffalo (SUNY)(纽约州立大学布法罗分校)
本文提出去中心化偶发联邦学习框架DSpodFL,通过广义的偶发性概念统一建模异构且时变的局部梯度与聚合过程,并在温和假设下提供了凸与非凸模型的收敛性保证,实验证明其训练速度优于基线。
2025-03-06 cs.DC cs.LG
Fully Decentralized, Scalable Gaussian Processes for Multi-Agent Federated Learning
Virginia Tech(弗吉尼亚理工大学)
在本文中,我们提出了分散和可扩展的算法高斯过程(GP)的训练和预测的多智能体系统。为了分散GP训练优化算法的实现,我们采用交替方向乘法器(ADMM)。一个封闭形式的解决方案,分散近端ADMM的情况下,GP超参数训练极大似然估计。用于GP预测的多个聚合技术是分散的,使用迭代和共识方法。此外,我们提出了一种基于协方差的最近邻选择策略,使代理子集能够执行预测。所提出的方法的有效性说明了与合成和真实数据的数值实验。
2022-03-06 cs.LG cs.MA cs.RO