Robust Distributed Estimation: Extending Gossip Algorithms to Ranking and Trimmed Means
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI, TELECOM 巴黎,巴黎理工学院)
本文提出 GoRank 和 GoTrim 算法,用于在任意通信图上实现鲁棒的排名和修剪均值估计,并建立了 O(1/t) 的收敛率分析。
2025-12-30 cs.LG stat.AP stat.ML
GADGET SVM: A Gossip-bAseD sub-GradiEnT Solver for Linear SVMs
State University of New York(纽约州立大学)
在大数据时代,机器学习研究人员武器库中的一个重要武器是可扩展的支持向量机(SVM)算法。SVM被广泛用于解决分类问题。传统的支持向量机学习算法通常与训练集大小呈超线性关系,这对于大数据集来说是不可行的。近年来,可扩展的算法已经设计研究的原始或对偶配方的问题。这通常意味着一种分解问题并促进分布式算法开发的方法。在本文中,我们提出了一种分布式算法学习线性支持向量机的原始形式的二进制分类称为Gossip-bAseD子分类器(GADGET)SVM。该算法的设计,使它可以在分布式系统的节点上本地执行。每个节点处理其局部均匀划分的数据,并学习原始SVM模型。然后,它与随机邻居谈论学习的分类器,并使用这些信息来更新模型。广泛的理论和实证结果表明,这种随时随地算法的性能与其集中式和在线同行。
2018-12-05 cs.LG stat.ML
Extending Gossip Algorithms to Distributed Estimation of U-Statistics
INRIA Lille - Nord Europe(INRIA里尔-北欧洲)
本文提出新的同步和异步随机 gossip 算法,用于在分布式网络中同时传播数据并维护局部的 U-统计量估计,证明了同步和异步情况下的收敛率分别为 O(1/t) 和 O(log t / t),并通过数值实验验证了算法的优越性。
2015-11-17 cs.DC cs.LG cs.SY
Asynchronous Gossip Algorithms for Rank-Based Statistical Methods
LTCI;Télécom Paris Institut Polytechnique de Paris(巴黎高等电信学院)
本文提出异步八卦算法以计算基于秩的稳健统计量,首次用于Wilcoxon秩和检验,并提供收敛性保证与实验验证。
2025-09-11 cs.LG stat.ML
Asynchronous Bayesian Learning over a Network
Oklahoma State University(俄克拉荷马州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
我们提出了一个实用的异步数据融合模型,网络代理进行分布式贝叶斯学习,而无需共享原始数据。我们的算法使用了一个基于流言的方法,对随机选择的代理采用未经调整的朗之万动态参数采样。我们还引入了一个事件触发机制,以进一步减少八卦代理之间的通信。这些机制大大减少了通信开销,并有助于避免分布式算法通常遇到的瓶颈。此外,通过该算法减少的链路利用率预计将增加对偶尔链路故障的弹性。我们建立了我们的算法的数学保证,并通过数值实验证明其有效性。
2022-11-16 cs.DC cs.LG
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University(浙江大学);Purdue University(普渡大学)
本文提出了一种新的家庭的原始对偶为基础的分布式算法,光滑,凸,多智能体优化网络,只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析,他们的收敛速度,测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速,速率被证明是最佳的,在这个意义上,它匹配(根据建议的度量)现有的复杂性下界的分布式算法适用于这样一类问题,只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明,该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
Decentralized Gossip Learning and Federated Averaging for Histopathology Image Classification
Antalya Bilim University(安塔利亚比尔姆大学);Ankara University(安卡拉大学);Northwestern University(西北大学)
本研究比较了FedAvg、去中心化八卦学习及混合方法在IDC组织病理学图像分类中的性能,发现混合八卦-FedAvg在ROC-AUC上略优,FedAvg作为服务器基线最稳定,拓扑感知八卦提供了可行的去中心化替代方案。
2026-09-29 cs.CV cs.LG
Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks
HKUST(香港科技大学);Princeton University(普林斯顿大学)
双层优化已经获得了越来越多的关注,在Meta学习,极大极小游戏,强化学习和嵌套组合优化中发现了许多应用。本文研究了网络上的分布式双层优化问题,其中智能体只能与邻居通信,包括多任务,多智能体学习和联邦学习的例子。在本文中,我们提出了一个基于流言的分布式双层学习算法,允许网络代理解决内部和外部优化问题在一个单一的时间尺度和共享信息通过网络传播。我们发现,我们的算法享有$\mathcal{O}(\frac{1}{K ε^2})$每个代理的样本复杂性一般非凸双层优化和$\mathcal{O}(\frac{1}{K ε})$强凸目标,实现了加速,规模与网络规模线性。样本复杂度在$ε$和$K$中都是最优的。我们在超参数调整和分散强化学习的例子上测试了我们的算法。仿真实验表明,该算法在训练效率和测试准确率上都达到了最高水平。
2022-06-22 cs.LG math.OC stat.ML
Chisme: Heterogeneity-Aware Gossip Learning
提出Chisme算法,利用客户端数据分布亲和性调节模型融合权重,在异构、间歇连接的无基础设施边缘网络中实现鲁棒分布式学习,优于现有方法。
2026-06-26 cs.ET cs.LG cs.MA
How to scale distributed deep learning?
University of California, Berkeley(加州大学伯克利分校)
深度神经网络在大型数据集上的训练时间是深度学习的许多重要应用中的主要工作流程瓶颈,例如自动驾驶辅助系统(ADAS)中的对象分类和检测。为了最小化训练时间,深度神经网络的训练必须通过分布用于训练的优化方法而从单个机器扩展到尽可能多的机器。虽然已经提出了许多分布式随机梯度下降(SGD)的方法,在目前的时间同步方法分布式SGD似乎是在大规模表现出最大的性能。SGD的同步缩放需要在每个梯度步骤上同步所有处理器,并且在处理器故障或滞后时没有弹性。在使用参数服务器的异步方法中,参数服务器的争用会减慢训练速度。在本文中,我们比较了同步和异步SGD在ImageNet分类问题上训练现代ResNet网络架构的收敛性。我们还提出了一个异步的方法,八卦SGD,其目的是保留这两个系统的积极特点,取代所有减少集体操作的同步训练与八卦聚合算法。我们发现,也许违反直觉,异步SGD,包括弹性平均和闲聊,收敛速度更快,在较少的节点(约32个节点),而同步SGD规模更好地更多的节点(约100个节点)。
2016-11-14 cs.LG
Decentralized Federated Learning: A Segmented Gossip Approach
Tsinghua University(清华大学);Jilin University(吉林大学);Peng Cheng Laboratory(鹏城实验室)
对数据隐私和安全性的新担忧激发了联邦学习的提出,它允许节点只同步本地训练的模型,而不是自己的原始数据。传统的联邦学习架构继承自参数服务器设计,依赖于高度集中的拓扑结构和大的节点到服务器带宽的假设。然而,在现实世界的联邦学习场景中,节点之间的网络容量是高度均匀分布的,并且小于数据中心中的网络容量。传统的联邦学习方法难以有效利用节点间的网络容量。在本文中,我们提出了一个模型段级分散联邦学习来解决这个问题。特别是,我们提出了一种分段的流言方法,它不仅充分利用了节点到节点的带宽,而且具有良好的训练收敛性。实验结果表明,与集中式联邦学习相比,即使是训练时间也可以大大减少。
2019-08-21 cs.DC cs.LG cs.NI
Gossiped and Quantized Online Multi-Kernel Learning
Center for Pervasive Communications & Computing(普适通信与计算中心);University of California, Irvine(加州大学欧文分校)
针对非完全连通网络下的在线多核学习场景,提出带量化通信的gossip算法,证明其能达到次线性遗憾,并用真实数据集实验验证了结论。
2023-04-28 cs.LG eess.SP math.OC
Byzantine-Robust Gossip: Insights from a Dual Approach
Center for Applied Mathematics(应用数学中心);École polytechnique(巴黎高等理工学院);IP Paris Palaiseau(巴黎-Palaiseau研究所);Inria(法国国家信息与自动化技术研究所);Center of Grenoble Alpes University(格勒诺布尔阿尔卑斯大学中心);CNRS, LJK(国家科学研究中心,LJK)
本文利用去中心化优化的对偶方法提出一种拜占庭鲁棒算法,在平均共识子情形下给出收敛保证,并通过实验验证其有效性。
2025-07-02 cs.LG stat.ML
Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices
Yandex;HSE University(俄罗斯国立高等经济学院);MIPT(莫斯科物理技术学院);University of Toronto(多伦多大学);Vector Institute
在大型数据集上训练深度神经网络通常可以通过使用多个计算节点来加速。这种方法被称为分布式训练,可以通过专门的消息传递协议(如Ring All-Reduce)利用数百台计算机。但是,大规模运行这些协议需要可靠的高速网络,而这种网络仅在专用群集中可用。相比之下,许多现实世界的应用程序,如联邦学习和基于云的分布式训练,运行在不可靠的设备上,网络带宽不稳定。因此,这些应用程序被限制使用参数服务器或基于流言的平均协议。在这项工作中,我们提出了Moshpit All-Reduce -一种迭代平均协议,以指数方式收敛到全局平均值,从而解除了这一限制。我们证明了我们的协议的分布式优化具有强有力的理论保证的效率。实验显示,与竞争性的基于流言的策略相比,ImageNet上ResNet-50训练的速度提高了1.3倍,使用可抢占计算节点从头开始训练ALBERT-large时的速度提高了1.5倍。
2022-01-11 cs.DC cs.LG math.OC
On Gossip Algorithms for Machine Learning with Pairwise Objectives
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎高等理工学院);PreMeDICaL team, Inria, Idesp, Inserm, Université de Montpellier(PreMeDICaL团队,法国国家科学研究中心(Inria),Idesp,Inserm,蒙彼利埃大学);IMAG, IROKO, Univ Montpellier, Inria, CNRS(IMAG,IROKO,蒙彼利埃大学,Inria,法国国家科学研究中心(CNRS))
本文研究了用于机器学习的 gossip 算法在处理配对目标(如U统计量)时的收敛性,提出理论框架并分析其效率影响因素。
2026-03-25 cs.LG
Accelerated Gossip via Stochastic Heavy Ball Method
School of Mathematics, KAUST, Saudi Arabia(卡士塔大学数学学院,沙特阿拉伯);The University of Edinburgh(爱丁堡大学);The University of Edinburgh, United Kingdom(英国爱丁堡大学);Edinburgh, Scotland, UK(苏格兰爱丁堡,英国);MIPT, Russia(莫斯科国立信息安全大学,俄罗斯)
本文研究了随机重力球方法(SHB)作为随机 gossip 算法的应用,提出了一种新的解决平均共识问题的协议,并通过实验展示了其优势。
2018-09-23 cs.IT cs.LG cs.NA
Gossip Dual Averaging for Decentralized Optimization of Pairwise Functions
Magnet Team, INRIA Lille – Nord Europe(磁力团队、法国国家信息与自动化技术研究所里尔-北欧洲分部)
本文提出了一种基于 gossip 的双重平均算法,用于在分布式网络中优化配对函数,适用于排名、距离度量学习和图推断等应用,通过同步和异步设置解决优化问题,并展示了其在AUC最大化和度量学习中的实际应用。
2016-06-08 cs.AI cs.DC cs.LG
Detection of Insider Attacks in Distributed Projected Subgradient Algorithms
Shenzhen University(深圳大学)
基于gossip的分布式算法被广泛用于解决各种多Agent应用中的分散优化问题,但由于每个Agent在没有授权监督的情况下局部估计其体面方向,因此它们通常容易受到内部恶意代理的数据注入攻击。在这项工作中,我们探索了人工智能(AI)技术在检测内部攻击中的应用。我们表明,一般的神经网络是特别适合检测和定位的恶意代理,因为它们可以有效地探索所收集的数据的非线性关系。此外,我们建议采用联邦学习中最先进的方法之一,即,一个协作的点对点机器学习协议,通过八卦交流来帮助训练我们的神经网络模型。这种先进的方法有望使我们的模型在训练数据不足或测试数据不匹配的情况下更加稳健。在我们的模拟中,最小二乘问题被认为是验证基于人工智能的方法的可行性和有效性。仿真结果表明,与基于分数的方法相比,提出的基于人工智能的方法有利于提高恶意代理的检测和定位性能,并且对等神经网络模型确实对目标问题具有鲁棒性。
2021-01-18 cs.IT cs.LG math.IT
The Cost of Training Machine Learning Models over Distributed Data Sources
Centre Tecnològic de Telecomunicacions de Catalunya(加泰罗尼亚电信技术中心);Nokia Bell-Labs(诺基亚贝尔实验室)
联邦学习是标准集中式学习范式最有吸引力的替代方案之一,它允许一组异构设备在不共享原始数据的情况下训练机器学习模型。然而,它需要一个中央服务器来协调学习过程,从而引入了潜在的可扩展性和安全问题。在文献中,已经提出了无服务器的联邦学习方法,如八卦联邦学习和支持区块链的联邦学习,以缓解这些问题。在这项工作中,我们提出了一个完整的概述,这三种技术提出了一个比较,根据一组完整的性能指标,包括模型的准确性,时间复杂度,通信开销,收敛时间和能源消耗。一个广泛的模拟活动允许绘制一个定量分析,同时考虑前馈和卷积神经网络模型。结果表明,gossip联邦学习和标准联邦解决方案能够达到相似的精度水平,其能耗受所采用的机器学习模型、软件库和所使用的硬件的影响。因此,支持区块链的联邦学习代表了一种可行的解决方案,可以实现更高安全级别的分散学习,但代价是额外的能源使用和数据共享。最后,我们确定了两个分散的联邦学习实现的开放问题,并提供了在这个新的研究领域的潜在扩展和可能的研究方向的见解。
2023-02-28 cs.LG
FedBGS: A Blockchain Approach to Segment Gossip Learning in Decentralized Systems
Department of Sciences and Methods for Engineering(科学与工程方法系);University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学)
FedBGS是一种基于区块链的去中心化框架,通过分段 gossip 学习优化区块链使用,提升联邦学习中的隐私、安全和非 IID 数据处理能力。
2026-02-01 cs.AI cs.CR cs.DC
Acceleration in Distributed Optimization under Similarity
Purdue University(普渡大学);MIPT(莫斯科物理技术学院);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息传输问题研究所可信人工智能研究中心)
我们研究分布式(强凸)最优化问题在网络的代理,没有集中的节点。由于统计数据的相似性或其他原因,代理的损失函数被假定为\textit{similar}。为了减少通信次数以达到求解精度,提出了一种{ \it预处理,加速}分布式方法。$\varepsilon$ -解决方案是在$\tilde{\mathcal{O}}\big(\sqrt{\frac{β/μ}{1-ρ}}\log1/\varepsilon\big)$通信步骤数中实现的,其中$β/μ$是全局和局部损失函数之间的相对条件数,并且$ρ$表征网络的连通性。该速率匹配(多对数因子)较低的复杂性通信边界的分布式八卦算法适用于感兴趣的问题的类。数值结果表明,显着的通信节省现有的加速分布式计划,特别是在解决病态问题。
2022-04-10 cs.LG math.OC
Gradient Coding in Decentralized Learning for Evading Stragglers
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出GOCO方法,将梯度编码与gossip去中心化学习结合,通过编码梯度本地更新和gossip平均来规避滞后节点影响,并在强凸损失下验证了其收敛性和性能优势。
2024-06-14 cs.LG eess.SP
Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对有向对等网络上分布式强化学习(DisRL)的策略评估问题,提出了一种\emph{fully asynchronous}方案.无需等待网络的任何其他节点,每个节点可以通过使用来自其邻居的(可能延迟的)信息在任何时间本地更新其价值函数。这与一对节点同时更新的基于流言的方案形成鲜明对比。虽然完全异步设置涉及到一个困难的多时标决策问题,我们设计了一种新的随机平均梯度(SAG)为基础的分布式算法,并开发了一个推拉增广图的方法来证明其精确收敛的线性速率$\mathcal{O}(c^k)$,其中$c\in(0,1)$和$k$增加了一个无论在哪个节点更新。最后,数值实验验证了我们的方法的速度与节点数成线性关系,并且对离散节点具有鲁棒性。
2021-01-22 cs.LG cs.MA math.OC