The Gossiping Insert-Eliminate Algorithm for Multi-Agent Bandits
University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Bristol（布里斯托尔大学）
本文针对去中心化多智能体多臂赌博机问题，提出基于闲聊通信的插入-消除算法，证明少量通信即可使每个智能体的遗憾降低约 N 倍，并给出遗憾与通信的权衡界。
2024-07-02 cs.DC cs.LG cs.NI
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
School of Cyber Science & Engineering, Southeast University（东南大学网络空间科学与工程学院）；Institute of Artificial Intelligence (TeleAI) of China Telecom（中国电信人工智能研究院）；School of Mathematics, Southeast University（东南大学数学学院）；Purple Mountain Laboratories（紫金山实验室）
针对分布式非凸复合联邦学习问题，提出DEPOSITUM算法，其通过梯度跟踪机制适配两类动量，支持多轮局部更新，理论上具低迭代复杂度，实验验证其有效性与竞争力。
2026-08-11 cs.DC cs.LG math.OC
Gradient tracking and variance reduction for decentralized optimization and machine learning
解决有限和最小化问题的分散式方法在许多信号处理和机器学习任务中是重要的，其中数据分布在节点网络上，并且由于隐私和/或资源约束而不允许原始数据共享。在这篇文章中，我们回顾了分散随机一阶方法，并提供了一个统一的算法框架，结合方差减少与梯度跟踪，以实现鲁棒性能和快速收敛。当目标函数是光滑的和强凸的时，我们给出了相应方法的明确的理论保证，并通过数值实验证明了它们对非凸问题的适用性。在整篇文章中，我们通过对感兴趣的方法进行适当的权衡和比较，并通过突出机器学习模型的分散训练应用，直观地说明了主要的技术思想。
2020-02-13 cs.DC cs.LG cs.MA
A Double Tracking Method for Optimization with Decentralized Generalized Orthogonality Constraints
针对分散广义正交约束优化，本文利用约束溶解算子建立无约束惩罚模型，并提出同时跟踪目标梯度与约束 Jacobian 的双重跟踪算法，证明其全局收敛与迭代复杂度，且经合成及真实数据验证有效。
2024-09-08 cs.DC math.OC stat.ML
An Improved Analysis of Gradient Tracking for Decentralized Machine Learning
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全研究中心）；EPFL（洛桑联邦理工学院）
我们考虑在网络上分散的机器学习，其中训练数据分布在$n$代理中，每个代理都可以在其本地数据上计算随机模型更新。代理的共同目标是找到一个模型，最小化所有本地损失函数的平均值。虽然梯度跟踪（GT）算法可以克服一个关键的挑战，即考虑工人的本地数据分布之间的差异，GT算法的已知收敛速度不是最佳的，相对于它们的依赖于混合参数$p$（相关的连接矩阵的频谱间隙）。我们提供了一个更严格的分析GT方法在随机强凸，凸和非凸设置。我们改善$p$的$\mathcal{O}(p^{-2})$ $\mathcal{O}(p^{-1}c^{-1})$在无噪声的情况下，从$\mathcal{O}(p^{-3/2})$到$\mathcal{O}(p^{-1/2}c^{-1})$在一般的随机情况下，其中$c \geq p$是有关的连接矩阵的负特征值（在大多数实际应用中是一个常数）的依赖。这种改进是可能的，由于一个新的证明技术，可以独立的利益。
2022-02-08 cs.DC cs.LG math.OC
A Unified and Refined Convergence Analysis for Non-Convex Decentralized Learning
我们研究的共识分散优化问题的目标函数是平均的$n$代理私人非凸成本函数，而且，代理只能与他们的邻居在一个给定的网络拓扑结构。随机学习设置被认为是在本文中，每个代理只能访问其梯度的噪声估计。许多分散的方法可以解决这样的问题，包括EXTRA，精确扩散/D $^2$，和梯度跟踪。与著名的DSGD算法不同，这些方法已被证明对局部成本函数的异质性具有鲁棒性。然而，这些方法的收敛速度表明，它们对网络拓扑结构的敏感性比DSGD差。这样的理论结果意味着这些方法在稀疏网络上的性能比DSGD差得多，然而，这与DSGD对网络拓扑结构更敏感的经验实验相矛盾。在这项工作中，我们研究了一个一般的随机统一分散算法（SUDA），其中包括上述方法作为特殊情况。在非凸和Polyak-Lojasiewicz条件下，我们建立了SUDA的收敛性。我们的研究结果提供了改进的网络拓扑结构相关的界限，这些方法（如精确扩散/D $^2$和梯度跟踪）相比，现有的文献。此外，我们的研究结果表明，这些方法往往是不太敏感的网络拓扑结构相比，DSGD，这与数值实验。
2022-06-16 cs.DC math.OC
Executable Models and Instance Tracking for Decentralized Applications -- Towards an Architecture Based on Blockchains and Cloud Platforms
University of Fribourg（弗里堡大学）
针对区块链上去中心化应用的可扩展性和执行指定复杂性问题，本文提出可执行模型作为高级抽象，研究其与智能合约耦合以追踪执行，并给出支持可扩展性和去中心化协调的架构。
2022-11-11 cs.DC cs.NI
Improving the Sample and Communication Complexity for Decentralized Non-Convex Optimization: A Joint Gradient Estimation and Tracking Approach
University of Minnesota Twin Cities（明尼苏达大学双城分校）；IBM Research AI（IBM研究院AI）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
许多现代大规模机器学习问题都受益于分散和随机优化。最近的研究表明，在涉及高度非凸问题的应用中，利用分散计算和局部随机梯度估计可以优于最先进的集中式算法，例如训练深度神经网络。在这项工作中，我们提出了一个分散的随机算法来处理某些光滑的非凸问题，其中系统中有$m$节点，每个节点有大量的样本（表示为$n$）。与大多数现有的分散学习算法的随机或有限和问题不同，我们的重点是减少节点之间的总通信轮次，同时访问最少数量的本地数据样本。特别是，我们提出了一种名为D-GET（分散式梯度估计和跟踪）的算法，该算法联合执行分散式梯度估计（使用局部样本的子集估计局部梯度）和梯度跟踪（使用局部估计跟踪全局全梯度）。我们表明，实现一定的$ε$固定解决方案的确定性有限和问题，该算法实现了$\mathcal{O}(mn^{1/2}ε^{-1})$样本复杂度和$\mathcal{O}(ε^{-1})$通信复杂度。这些界限分别显著改进了$\mathcal{O}(mnε^{-1})$和$\mathcal{O}(ε^{-1})$的最佳现有界限。类似地，对于在线问题，所提出的方法实现了$\mathcal{O}(m ε^{-3/2})$样本复杂度和$\mathcal{O}(ε^{-1})$通信复杂度，而现有的最佳界限分别是$\mathcal{O}(mε^{-2})$和$\mathcal{O}(ε^{-2})$。
2019-10-13 cs.DC cs.LG eess.SP
Robust Decentralized Learning with Local Updates and Gradient Tracking
UC Santa Barbara（加州大学圣巴巴拉分校）；Massachusetts Institute of Technology（麻省理工学院）
针对去中心化学习中的数据异构与对抗鲁棒问题，提出融合本地更新和梯度跟踪的极小极大算法 Dec-FedTrack，证明其在非凸-强凹设定下收敛至驻点，并通过实验验证。
2025-03-13 cs.DC cs.LG
Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates
University of California, Berkeley（加州大学伯克利分校）
针对数据异构下的联邦极小极大优化，提出结合局部更新与梯度跟踪的去中心化算法 K-GT-Minimax，并证明其在 NC-SC 情形下具有更优通信效率和收敛率。
2024-05-07 cs.DC cs.LG stat.ML
Executable Models and Instance Tracking for Decentralized Applications on Blockchains and Cloud Platforms -- Metamodel and Implementation
本文扩展了一种区块链与云平台上的执行与实例追踪方法，提出独立于具体实现的元模型、多维数据模型及基于Ethereum和AWS的实现，使分布式参与方能多维度可验证地追踪和分析执行状态。
2023-07-28 cs.DC cs.NI
Compressed Gradient Tracking for Decentralized Optimization Over General Directed Networks
Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Department of Mathematics, Michigan State University（密歇根州立大学数学系）
针对一般有向多智能体网络，提出结合梯度跟踪与通信压缩的 CPP 及异步广播版 B-CPP，二者均对强凸光滑目标实现线性收敛，且 B-CPP 进一步降低通信成本。
2024-04-10 cs.DC cs.LG cs.MA
Decentralized Stochastic Gradient Tracking for Non-convex Empirical Risk Minimization
Tsinghua University（清华大学）
研究了一种分散随机梯度跟踪（DSGT）算法，该算法求解节点网络上的非凸经验风险最小化问题，与现有的仅求解凸问题的DSGT算法形成了鲜明的对比.为了确保精确收敛并处理分散数据集之间的方差，每个节点通过使用小批量样本执行随机梯度（SG）跟踪步骤，其中批量大小被设计为与本地数据集的大小成比例。我们明确评估DSGT的收敛速度相对于代数连接的网络，小批量大小，梯度方差等方面的迭代次数在一定条件下，我们进一步表明，DSGT具有网络独立性的意义上，网络拓扑结构只影响收敛速度的一个常数因子。因此，DSGT的收敛速度可以与集中式SGD方法相媲美。此外，对于某些场景，DSGT相对于节点数量的线性加速是可实现的。在CIFAR-10上对神经网络和逻辑回归问题的数值实验表明了DSGT的优越性。
2020-08-28 cs.DC cs.LG cs.MA
Resilient Decentralized Wireless Federated Learning via Gradient Tracking with AdamW
University of Luxembourg（卢森堡大学）；Interdisciplinary Centre for Security, Reliability and Trust (SnT)（安全、可靠性与跨学科信任中心（SnT））
本文提出QEF-GT-AdamW算法，结合梯度跟踪、AdamW优化与带误差反馈的双流偏置量化，解决无线分布式学习的通信开销与不可靠传输问题，在异构数据集上实现更优性能。
2026-08-27 cs.DC cs.LG cs.NI
Robust Group LASSO Over Decentralized Networks
本文研究了多智能体网络中测量值存在稀疏误差时的群稀疏信号恢复问题。我们首先研究了鲁棒的组LASSO模型及其基于交替方向乘法（ADMM）的集中式算法，该算法需要一个中央融合中心来计算全局行支持检测器。为了在去中心化网络环境中实现它，我们采用动态平均共识策略，可以动态跟踪全局行支持检测器。数值实验证明了算法的有效性。
2017-01-11 cs.DC
Decentralized Collaborative Inertial Tracking
本文提出一种基于移动设备惯性传感器和蓝牙匿名数据交换的去中心化室内协作跟踪算法，以低复杂度几何运算纠正位置误差，实验表明其相比独立行人航位推算算法平均精度提升44%。
2024-10-02 cs.DC cs.ET cs.NI
Decentralized Dictionary Learning Over Time-Varying Digraphs
Purdue University（普渡大学）；University of Rome “La Sapienza”（罗马第一大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文研究了字典学习问题，其中的学习任务分布在一个多智能体网络，建模为一个随时间变化的有向图。例如，在大量数据被收集/存储在不同位置（例如，传感器、云）以及在融合中心中聚集和/或处理所有数据可能由于资源限制、通信开销或隐私问题而效率低下或不可行。我们开发了一个统一的分散算法框架，这类非凸问题，这被证明是收敛到稳态解的次线性速率。新方法依赖于连续凸逼近技术，再加上一个分散的跟踪机制，旨在局部估计和效用的平滑部分的梯度。据我们所知，这是字典学习的第一个可证明收敛的分散算法，更一般地说，是（时变）（di）图上的双凸问题。
2019-03-05 cs.DC cs.LG math.OC
NFTracer: A Non-Fungible Token Tracking Proof-of-Concept Using Hyperledger Fabric
各种初创开发人员和学术研究人员已经研究了区块链作为数据存储介质的使用，因为它具有防篡改和分散的特性。然而，还没有很多尝试来提供用于虚拟地存储唯一有形实体的状态及其随后的修改的标准平台。在本文中，我们提出了NFTracer，这是一种基于Hyperledger Composer和Hyperledger Fabric Blockchain的不可替代的令牌跟踪概念验证。为了实现我们平台的功能，我们使用NFTracer来构建艺术品拍卖和房地产拍卖，这两个拍卖在技术复杂性上各不相同，并展示了能够以分散的方式跟踪实体及其所产生的修改的优势。我们还介绍了其相应的模块化架构和系统组件，并讨论了未来可能的工作NFTracer。
2019-05-12 cs.DB cs.DC
Communication-Efficient Federated Optimization over Semi-Decentralized Networks
Carnegie Mellon University（卡内基梅隆大学）
本文针对大规模联邦与分散式学习中的通信瓶颈，提出半分散通信协议下的PISCO算法，结合梯度跟踪与多次本地更新，实现通信高效并保持线性加速，数值验证其鲁棒性。
2025-02-23 cs.DC cs.LG math.OC
FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文提出FedNMUT算法，通过梯度跟踪与参数噪声纳入机制应对去中心化联邦学习中的通信噪声，理论证明其以 $\mathcal{O}\left(\frac{1}{\sqrt{T}}\right)$ 速率收敛至 $ε-$平稳解，且实验表明其性能优于现有方法。
2024-03-24 cs.DC cs.LG
A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data
Shanghai University of Electric Power（上海电力大学）
新兴的分布式应用最近推动了去中心化机器学习的发展，特别是在物联网和边缘计算领域。在现实世界中，非凸性和数据异构性的常见问题导致效率低下，性能下降和开发停滞。大部分研究集中在上述问题之一，而没有一个更普遍的框架，已被证明是最佳的。为此，我们提出了一个统一的范式称为UMP，其中包括两个算法，D-SUM和GT-DSUM，基于分散的随机梯度下降（SGD）的动量技术。前者为一般非凸目标提供了收敛保证。同时，通过引入梯度跟踪来扩展后者，该梯度跟踪估计全局优化方向以减轻数据异构性（即，分布漂移）。我们可以覆盖大多数基于动量的变量，基于经典的重球或Nesterov的加速度与UMP中的不同参数。在理论上，我们严格提供了这两种方法的收敛性分析非凸目标，并进行了广泛的实验，证明了显着提高模型的准确性高达57.6%相比，其他方法在实践中。
2023-03-01 cs.DC cs.LG
Push-SAGA: A decentralized stochastic algorithm with variance reduction over directed graphs
Tufts University（塔夫茨大学）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了Push-SAGA，一个分散的随机一阶方法有限和最小化的有向网络的节点。Push-SAGA结合了节点级方差缩减以消除随机梯度引起的不确定性，网络级梯度跟踪以解决数据的分布式性质，以及推和共识以解决有向通信链路的挑战。我们表明，Push-SAGA实现了线性收敛到光滑和强凸问题的精确解，因此是第一个线性收敛的随机算法在任意强连通有向图。我们还描述了制度，其中Push-SAGA实现了线性加速相比，其集中的对应，并实现了独立于网络的收敛速度。我们说明的行为和收敛性能的Push-SAGA的强凸和非凸问题的数值实验的帮助下。
2020-10-22 cs.DC cs.LG cs.MA
