On the Robustness of Distributed Machine Learning against Transfer Attacks
NEC Labs Europe(NEC欧洲实验室);Ruhr University Bochum(波鸿鲁尔大学)
首次探索在训练与推理阶段均完全异构的分布式机器学习模型针对迁移攻击的鲁棒性,实验证明其在提升鲁棒准确率的同时对干净任务准确率影响极小。
2024-12-18 cs.CR cs.LG
Distributed Robust Learning
ICSI(国际计算机科学研究所);UC Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学);Technion(以色列理工学院)
我们提出了一个分布式鲁棒统计学习{ \em大污染数据}的框架。分布式鲁棒学习(DRL)框架可以将传统鲁棒学习方法的计算时间减少几个数量级。我们分析了DRL的鲁棒性,表明DRL不仅保留了基础鲁棒学习方法的鲁棒性,而且还容忍计算节点(节点故障)结果的恒定部分上的污染。更确切地说,即使在计算节点上存在最具对抗性的离群值分布的情况下,DRL仍然实现至少$ λ^*/2 $的分解点,其中$ λ^* $是对应的集中式算法的分解点。这与朴素的除法和平均实现方式形成鲜明对比,朴素的除法和平均实现方式在使用$ k $计算节点时可以将崩溃点减少$ k $的因子。然后,我们专门的DRL框架的两个具体情况下:分布式鲁棒主成分分析和分布式鲁棒回归。我们证明了DRL的效率和鲁棒性的优势,通过全面的模拟和预测图像标签上的大规模图像集。
2015-02-07 cs.LG stat.ML
Communication-efficient Byzantine-robust distributed learning with statistical guarantee
School of Statistics and Mathematics(统计与数学学院);Nanjing Audit University(南京审计大学)
通信效率和鲁棒性是现代分布式学习框架的两个主要问题。这是由于一些计算节点可能具有有限的通信能力或可能表现出对抗行为的实际情况。为了同时解决这两个问题,本文提出了两个通信高效和鲁棒的分布式学习算法的凸问题。我们的动机是基于替代似然框架和中位数和修剪平均操作。特别是,所提出的算法是可证明的强大的拜占庭故障,也实现了最佳的统计率强凸损失和凸(非光滑)的罚款。对于典型的统计模型,如广义线性模型,我们的结果表明,统计误差占主导地位的优化误差在有限的迭代。仿真和真实数据实验证明了我们的算法的数值性能。
2021-02-28 cs.DC cs.LG stat.ML
Attacks on Robust Distributed Learning Schemes via Sensitivity Curve Maximization
Imperial College London(伦敦帝国理工学院)
本文提出基于敏感度曲线最大化的新攻击方法,证明其能通过注入微小但有效的扰动破坏现有鲁棒聚合方案。
2023-04-27 cs.CR cs.LG eess.SP
Robust Online and Distributed Mean Estimation Under Adversarial Data Corruption
Purdue University(普渡大学)
我们研究了在线和分布式场景中存在对抗性数据攻击的鲁棒均值估计。在每一个时间步,网络中的每个代理都接收到一个可能被破坏的数据点,其中数据点最初是随机变量的独立和相同分布的样本。我们提出了在线和分布式算法的所有代理渐近估计的平均值。我们提供的误差界和收敛性的估计下,我们的算法的真均值。基于网络拓扑结构,我们进一步评估每个代理的收敛速度之间的权衡,将数据从邻居和学习只有本地的意见。
2022-09-17 cs.CR cs.LG cs.MA
Tight Stability Bounds for Robust Distributed Learning: Byzantine Failures Hurt Generalization More than Data Poisoning
Inria(法国国家信息与自动化技术研究院);Inserm(法国国家医学院);Univ. Lille(里尔大学);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
研究稳健分布式学习中拜占庭故障和数据中毒两种威胁模型对泛化的影响,通过算法稳定性分析,首次揭示拜占庭故障导致的泛化速率比数据中毒更差。
2026-07-07 cs.CR cs.LG stat.ML
Defending Against Saddle Point Attack in Byzantine-Robust Distributed Learning
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
我们研究鲁棒分布式学习,涉及最小化非凸损失函数鞍点。我们考虑拜占庭设置,其中一些工人机器具有异常甚至任意和对抗性行为。在这种情况下,拜占庭机器可能会在远离任何真正的局部最小值的鞍点附近创建假的局部最小值,即使使用了鲁棒的梯度估计器。我们开发ByzantinePGD,一个强大的一阶算法,可以证明逃脱鞍点和假的局部极小值,并收敛到一个近似的真正的局部极小,具有低迭代复杂度。作为副产品,我们给出了一个更简单的算法和分析,在通常的非拜占庭设置逃逸鞍点。我们进一步讨论了三个强大的梯度估计,可用于ByzantinePGD,包括中位数,修剪均值,迭代滤波。我们在具体的统计环境中的性能特点,并认为他们的近最优的低维和高维制度。
2020-07-29 cs.CR cs.DC cs.LG
Byzantine-Robust Distributed Sparse Learning Revisited
School of Mathematical Sciences(数学科学学院);School of Statistics and Mathematics(统计与数学学院);Information Center(信息中心)
本文提出结合局部ℓ1正则化鲁棒估计与服务器端鲁棒聚合的方法,用于高维稀疏线性模型,实现非渐进行为保证和近优统计速率,同时保持通信效率。
2026-05-13 cs.LG math.ST stat.TH
Fast and Robust Distributed Learning in High Dimension
EPFL(洛桑联邦理工学院)
分布式机器学习的梯度聚合规则(GAR)是否既健壮又快速?本文通过多卜利安的肯定回答。给定$n$工人,其中$f$是任意恶意的(拜占庭)和$m=n-f$不是,我们证明了多Bulyan可以确保一个强大的形式的拜占庭弹性,以及${\frac{m}{n}}$减速,平均相比,最快的(但非拜占庭弹性)规则的分布式机器学习。当$m \approx n$(几乎所有的工人都是正确的),多Bulyan达到平均的速度。我们还证明了多Bulyan的成本在本地计算是$O(d)$(如平均),ML的一个重要特征,其中$d$通常达到$10^9$,而强大的替代品至少有二次成本在$d$。我们的理论研究结果是补充与实验评价,除了支持线性$O(d)$复杂性参数,传达了这样一个事实,即多Bulyan的并行性进一步增加了其效率。
2021-02-05 cs.CR cs.DC cs.LG
Robust Distributed Optimization With Randomly Corrupted Gradients
Rice University(莱斯大学)
在本文中,我们提出了一个一阶分布式优化算法,可证明是强大的拜占庭故障任意和潜在的敌对行为,其中所有参与的代理都容易失败。我们模型每个代理的状态随着时间的推移,作为一个两个状态的马尔可夫链,表明拜占庭或值得信赖的行为在不同的时刻。我们对任何给定时间的拜占庭代理的最大数量没有限制。我们设计了基于三层防御的方法:1)时间鲁棒聚合,2)空间鲁棒聚合,3)梯度归一化。我们研究了两种随机最优化的设置,即样本平均近似和随机逼近。我们提供了强凸和光滑的非凸费用函数我们的方法的收敛保证。
2022-06-17 cs.DC cs.LG math.OC
First-order Constrained Trilevel Optimization Over Distributed Networks for Robust Coreset Selection
该研究针对分布式边缘网络的海量数据问题,提出F²CTO方法,将分布式鲁棒核心集选择建模为带层级约束的三层优化问题,其收敛速率为O(ε^(-3/2)),经实证验证有效高效。
2026-07-31 cs.LG
Online and Distributed Robust Regressions under Adversarial Data Corruption
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);U. S. Army Corps of Engineers(美国陆军工程兵团)
在当今的大数据时代,当考虑到数据集爆炸性增长的对抗性腐败时,鲁棒最小二乘回归成为一个更具挑战性的问题。传统的鲁棒方法可以处理噪声,但在应用于大型数据集时会遇到一些挑战,包括1)一次处理整个数据集的计算不可行性,2)存在异构分布的损坏,以及3)当数据无法完全加载时难以估计损坏。本文提出了在线和分布式鲁棒回归方法,这两种方法可以同时解决所有上述挑战。具体地说,分布式算法通过启发式硬阈值优化每个数据块的回归系数,并将所有估计值组合在分布式鲁棒合并中。此外,提出了一个在线版本的分布式算法,以增量更新现有的估计与新的传入数据。我们还证明了我们的算法受益于强大的鲁棒性保证回归系数恢复与一个恒定的上限的错误的国家的最先进的批处理方法。在人工数据集和真实数据集上的大量实验表明,我们的方法在有效性上优于现有方法,具有竞争力的效率。
2017-10-02 cs.DS cs.LG stat.ML
Byzantine-Robust Distributed Online Learning: Taming Adversarial Participants in An Adversarial Environment
Sun Yat-Sen University(中山大学);George Mason University(乔治梅森大学)
该研究分析拜占庭攻击下的分布式在线学习,证明完全对抗环境中遗憾只能线性且紧,并提出在诚实损失 i.i.d. 时实现次线性随机遗憾的鲁棒动量算法。
2023-12-05 cs.DC cs.LG
Variance Reduced Median-of-Means Estimator for Byzantine-Robust Distributed Inference
Shanghai Jiao Tong University(上海交通大学);New York University(纽约大学)
本文提出了一种高效的分布式推理算法,该算法对拜占庭节点的中等比例是鲁棒的,即分布式学习系统中的任意和可能的对抗机器。在稳健统计中,均值中值(median-of-means,简写为MEN)由于其易于实现和计算效率而成为对冲拜占庭故障的流行方法。然而,该估计量在统计效率方面存在不足。本文的第一个主要贡献是提出了一个方差缩减均值估计(VRSTO),它提高了统计效率比香草估计,是计算效率的计算。基于所提出的VRNTR估计,我们开发了一个通用的分布式推理算法,对拜占庭故障是强大的。从理论上讲,我们的分布式算法实现了一个快速的收敛速度,只有一个恒定的通信轮数。我们还提供了渐近正态性的结果,统计推断的目的。据我们所知,这是拜占庭鲁棒分布学习设置中的第一个正态结果。仿真结果也说明了我们的方法的有效性。
2021-03-04 cs.LG stat.ME stat.ML
Solon: Communication-efficient Byzantine-resilient Distributed Training via Redundant Gradients
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学);University of Wisconsin(威斯康星大学)
在分布式模型训练中提供拜占庭弹性的需求越来越大。现有的鲁棒分布式学习算法主要关注于在参数服务器上开发复杂的鲁棒聚集器,而对通信开销和鲁棒性的平衡关注较少。在本文中,我们提出了梭伦,一个算法框架,利用梯度冗余,同时提供通信效率和拜占庭鲁棒性。我们的理论分析表明,计算负载,通信成本和拜占庭鲁棒性之间的基本权衡。我们还开发了一个具体的算法,以实现最佳的权衡,借用编码理论和稀疏恢复的想法。在各种数据集上的实验表明,Solon在现有方法上提供了显着的加速,以达到相同的精度,比Bulyan快10倍以上,比Draco快80%。我们还表明,精心设计的拜占庭攻击打破Signum和Bulyan,但不影响梭伦的成功收敛。
2021-10-09 cs.DC cs.LG
Distributed Distributionally Robust Optimization with Non-Convex Objectives
Tongji University(同济大学);University of Connecticut(康涅狄格大学)
分布鲁棒优化(DRO)的目的是在概率分布的模糊集上找到最小化最坏情况成本的最优决策,其已广泛应用于各种应用中,例如,然而,现有的DRO技术面临三个关键挑战:1)如何处理分布式环境中的异步更新; 2)如何有效地利用先验分布; 3)如何根据不同的场景适当地调整鲁棒性程度。为此,我们提出了一个异步分布式算法,命名为异步单循环交替梯度投影(ASPIRE)算法与迭代主动集方法(EASE)来解决分布式分布式鲁棒优化(DDRO)问题。此外,一个新的不确定性集,即,约束的D-范数不确定性集,有效地利用先验分布和灵活地控制鲁棒性程度。最后,我们的理论分析表明,该算法是保证收敛的,并分析了迭代的复杂性。在真实数据集上的大量实验表明,该方法不仅能够实现快速收敛,而且对数据异构性和恶意攻击保持鲁棒性,而且能够在鲁棒性和性能之间进行权衡。
2022-12-17 cs.AI cs.LG
Mean Aggregator is More Robust than Robust Aggregators under Label Poisoning Attacks on Distributed Heterogeneous Data
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-Sen University(中山大学);School of Engineering and Applied Science(工程与应用科学学院);Harvard University(哈佛大学);Imperial College London(伦敦帝国学院)
本文研究分布式异构数据下的标签投毒攻击,证明在数据充分异构时均值聚合器比最先进的鲁棒聚合器更鲁棒且学习误差阶最优,并通过实验验证其优越性。
2024-12-25 cs.LG
Robust Distributed Learning: Tight Error Bounds and Breakdown Point under Data Heterogeneity
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文针对数据异质性场景,提出 (G,B)-梯度不相似性模型,证明其崩溃点低于经典比例 1/2,并给出分布式学习误差的匹配上下界,从而缩小了鲁棒分布式学习理论与实践的差距。
2023-10-28 cs.DC cs.LG math.OC
Two-Stage Robust and Sparse Distributed Statistical Inference for Large-Scale Data
Aalto University(阿尔托大学)
在本文中,我们解决的问题进行统计推断的设置,涉及大规模的数据,可能是高维和污染的离群值。数据的高容量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段的分布式和强大的统计推断程序处理高维模型,促进稀疏。在第一阶段,称为模型选择,通过对不同的数据子集应用鲁棒Lasso估计来局部选择相关的预测因子。从每个计算节点的变量选择,然后融合的投票计划,找到完整的数据集的稀疏基。它以稳健的方式确定相关变量。在第二阶段,采用已开发的统计稳健且计算高效的自助方法。实际推断构造置信区间,找到参数估计值并量化标准差。与阶段1类似,本地推理的结果被传送到融合中心并在那里组合。通过使用分析方法,我们建立了良好的统计特性的强大的和计算效率的自助方法,包括一致性的固定数量的预测,和鲁棒性。建议的两阶段的强大和分布式推理程序表现出可靠的性能和稳健性,在变量选择,发现置信区间和自举近似的标准差,即使数据是高维和离群值污染。
2022-08-17 cs.LG eess.SP stat.ML
Robust and Efficient Aggregation for Distributed Learning
Imperial College London(帝国理工学院);Technische Universität Darmstadt(达姆施塔特工业大学);Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院电子与电气工程系);Signal Processing Group, Technische Universität Darmstadt(达姆施塔特工业大学信号处理组)
分布式学习范式,如联合学习和分散学习,允许跨代理集合协调模型,而无需交换原始数据。相反,代理基于其可用数据在本地计算模型更新,并随后与参数服务器或其对等体共享更新模型。这之后是一个汇总步骤,传统上采取(加权)平均值的形式。基于平均值的分布式学习方案已知易受离群值的影响。单个恶意代理能够将基于平均的分布式学习算法驱动到任意差的模型。这促使发展强大的汇总计划,这是基于中位数和修剪平均值的变化。虽然这样的过程确保了对离群值和恶意行为的鲁棒性,但它们以显著降低的样本效率为代价。这意味着,目前强大的聚合计划需要显着更高的代理参与率,以实现一定程度的性能比他们的平均为基础的同行在非污染的设置。在这项工作中,我们弥补了这一缺陷,开发统计上有效的和强大的聚合方案的分布式学习。
2022-04-01 cs.LG cs.MA stat.ML
Optimal Complexity in Byzantine-Robust Distributed Stochastic Optimization with Data Heterogeneity
Pengcheng Laboratory(鹏城实验室)
该研究针对数据异构的拜占庭鲁棒分布式随机优化问题,推导了强凸与非凸场景下的紧下界,结合Nesterov加速与方差缩减技术提出匹配下界的新方法,验证了下界的紧致性。
2025-03-20 cs.LG math.OC
Adversarially Robust Distributed Count Tracking via Partial Differential Privacy
本文研究自适应对手下的分布式计数跟踪问题,提出部分差分隐私框架并证明新的泛化定理,从而设计出具有最优通信的鲁棒算法,证明随机化算法的√k优势来自随机性本身而非遗忘型对手假设。
2023-11-01 cs.CR cs.DS cs.LG
A Distributed Neural Network Architecture for Robust Non-Linear Spatio-Temporal Prediction
University of Tübingen(图宾根大学);University of Hohenheim(霍恩海姆大学)
介绍了一种分布式时空人工神经网络体系结构(DISTANA)。它使用递归神经预测内核(PK)编码网格节点,而神经过渡内核(TK)在相邻PK之间传输信息,共同建模和预测时空时间序列动态。因此,DISTANA假设普遍适用的原因,这可能是局部修改,产生观察到的数据。DISTANA以并行、空间分布的方式学习,可扩展到大型问题空间,能够近似复杂的动态,与其他竞争性ANN模型相比,对过拟合特别鲁棒。此外,它还适用于结构不均匀的网格。
2019-12-23 cs.LG cs.NE
Distributed Maximum Consensus over Noisy Links
Norwegian University of Science and Technology(挪威科技大学);CSIRO’s Data61(联邦科学与工业研究组织Data61);Linköping University(林雪平大学)
针对噪声通信链路下的多智能体最大共识问题,提出RD-MC算法,将其重构为分布式优化并用ADMM求解,结合单组估计与移动平均提升效率和鲁棒性。
2024-06-17 cs.DC cs.LG eess.SP
Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering
Digital Futures(数字未来机构);College of Computer Science, Sichuan University(四川大学计算机学院);Institute of Clinical Pathology, West China Hospital, Sichuan University(四川大学华西医院临床病理研究所)
针对现有分布式学习方法拜占庭鲁棒性与通信效率不足、收敛邻域大的问题,提出基于Polyak动量的压缩动量滤波方法,可在压缩通信下抵御拜占庭攻击,收敛邻域更小且复杂度界匹配无拜占庭下界,经多任务实验验证有效。
2024-09-13 cs.DC cs.LG
Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
Zhejiang University(浙江大学);Huazhong Agricultural University(华中农业大学)
本文针对分布式核鲁棒梯度下降算法,通过谱特征与误差分析优化参数选择,放宽机器数量限制并保持最优学习率,同时提出通信高效策略提升收敛性能。
2026-09-11 cs.LG math.OA math.PR
Diffusion Maximum Correntropy Criterion Algorithms for Robust Distributed Estimation
Xi’an University of Technology(西安理工大学);Xi’an Jiaotong University(西安交通大学);Southwest Jiaotong University(西南交通大学)
针对脉冲(长尾)噪声环境下的网络分布式估计问题,提出了基于最大相关熵准则(MCC)的鲁棒扩散自适应估计算法,包括自适应组合MCC和组合自适应MCC。在分布式估计中使用的成本函数通常基于均方误差(MSE)准则,这在测量噪声为高斯时是期望的。在非高斯情况下,例如脉冲噪声情况,基于MCC的方法可以实现比MSE方法好得多的性能,因为它们考虑了误差分布的顺序统计量。所提出的方法也可以优于鲁棒的扩散最小平均p-功率(DLMP)和扩散最小误差熵(DXM)算法。对新算法进行了均方收敛性分析。
2016-02-03 cs.LG stat.ML
Differential Secrecy for Distributed Data and Applications to Robust Differentially Secure Vector Summation
Apple(苹果公司)
计算实值向量的噪声和是差分私有学习和统计中的重要基础。在私有联邦学习应用程序中,这些向量由客户端设备保存,导致分布式求和问题。针对该问题的标准安全多方计算(SMC)协议容易受到中毒攻击,其中客户端可能对和有很大影响,而不被检测到。在这项工作中,我们提出了一个中毒的强大的私人求和协议在多服务器设置,最近在PRIO研究。我们提出了一个协议,验证了每个贡献的欧几里德范数近似有界的向量求和。我们表明,通过放松SMC的安全约束的差分隐私一样的保证,可以提高在PRIO方面的通信要求,以及客户端的计算。与SMC算法不可避免地将整数转换为大型有限域的元素不同,我们的算法可以在整数/实数上工作,这可以提高效率。
2022-02-22 cs.CR cs.LG
Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
Ivannikov Institute for System Programming of the RAS(俄罗斯科学院伊万尼科夫系统编程研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Innopolis University(因诺波利斯大学);Artificial Intelligence Research Institute(人工智能研究所);Institute for Information Transmission Problems of the RAS(俄罗斯科学院信息传输问题研究所)
本文研究分布式随机鞍点问题,提出下界与近最优算法,并设计新联邦算法Extra Step Local SGD,通过分布式训练GAN验证其有效性。
2025-04-25 cs.DC cs.LG math.OC
On Fundamental Limits of Robust Learning
National University of Singapore(新加坡国立大学)
我们考虑的问题,强大的PAC学习分布式和流数据,其中可能包含恶意错误和离群值,并分析其基本的复杂性问题。特别是,我们建立的通信复杂性的下限进行分布式鲁棒学习多台机器上,和空间复杂度的鲁棒学习流数据在一台机器上。这些结果表明,获得学习算法的鲁棒性通常是以增加复杂性为代价的。据我们所知,这项工作给出了分布式和在线鲁棒PAC学习的第一个复杂性结果。
2017-03-30 cs.LG stat.ML
Sensitivity Curve Maximization: Attacking Robust Aggregators in Distributed Learning
Technische Universität Darmstadt(达姆施塔特工业大学);Imperial College London(伦敦帝国学院)
本文提出利用敏感性曲线(SC)系统推导针对分布式学习中任意鲁棒聚合器的最优攻击模式,使多数聚合器失效,并通过仿真验证了攻击有效性。
2024-12-23 cs.LG eess.SP
Adversarial Robustness in Distributed Quantum Machine Learning
Department of Electrical and Computer Engineering, University of Toronto(电气与计算机工程系,多伦多大学)
本文综述了分布式量子机器学习中联邦学习与电路切割、隐形传态等量子特有分布式范式对模型对抗鲁棒性的影响,梳理现有方法并指出开放问题。
2025-08-16 cs.ET cs.LG quant-ph
U-Parking: Distributed UWB-Assisted Autonomous Parking System with Robust Localization and Intelligent Planning
Jiangnan University(江南大学);Zhuhai Fudan Innovation Institute(珠海复旦创新研究院);Tsinghua University(清华大学);Brunel University of London(布鲁内尔大学);Shanghai Jiao Tong University(上海交通大学);Southeast University(东南大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
U-Parking通过整合大语言模型辅助规划、稳健定位与轨迹跟踪,实现具有挑战性的室内环境中的可靠自动化泊车。
2026-03-05 cs.LG cs.NI
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale
MIT-IBM Watson AI Lab, IBM Research(IBM研究院MIT-IBM沃森人工智能实验室);Thomas J. Watson Research Center, IBM Research(IBM研究院托马斯·J·沃森研究中心);Michigan State University(密歇根州立大学);University of Minnesota(明尼苏达大学)
当前的深度神经网络(DNN)容易受到对抗攻击的攻击,其中对输入的对抗性扰动可以改变或操纵分类。为了抵御这种攻击,一种有效且流行的方法,称为对抗训练(AT),已被证明可以通过最小-最大鲁棒训练方法减轻对抗攻击的负面影响。虽然有效,但仍不清楚它是否能成功地适应分布式学习环境。在多台机器上进行分布式优化的能力使我们能够在大型模型和数据集上扩展强大的训练。受此启发,我们提出了分布式对抗训练(DAT),这是一种在多台机器上实现的大批量对抗训练框架。我们证明了DAT是通用的,它支持对标记和未标记数据的训练,多种类型的攻击生成方法,以及有利于分布式优化的梯度压缩操作。理论上,我们提供了,在最优化理论的标准条件下,DAT的收敛速度的一阶稳定点一般非凸设置。从经验上讲,我们证明DAT匹配或优于最先进的鲁棒精度,并实现了优雅的训练加速(例如,在ImageNet下的ResNet-50上)。代码可在https://github.com/dat-2022/dat上获得。
2022-09-07 cs.LG
Robust Distributed Online Prediction
Microsoft Research(微软研究院)
在线预测的标准模型是通过单个处理器对输入进行串行处理。然而,在大规模在线预测问题中,输入以高速率到达,越来越常见的必要性是将计算分布在多个处理器上。一个不平凡的挑战是设计分布式算法在线预测,保持良好的遗憾保证。在\cite{DMB}中,我们提出了DMB算法,这是一个通用的框架,可以将任何串行的基于梯度的在线预测算法转换为分布式算法。而且,对于光滑凸损失函数和随机输入,它的后悔保证是渐近最优的。另一方面,它对分布式环境中常见的许多类型的故障都很脆弱。在这篇配套论文中,我们提出了DMB算法的变体,它对许多类型的网络故障有弹性,并能容忍计算节点的不同性能。
2010-12-07 cs.LG math.OC
Robust Distributed Learning Against Both Distributional Shifts and Byzantine Attacks
George Mason University(乔治梅森大学)
在分布式学习系统中,鲁棒性问题可能来自两个来源。一方面,由于训练数据和测试数据之间的分布变化,训练后的模型可能表现出较差的样本外性能。另一方面,一部分工作节点可能会受到拜占庭攻击,这可能会使学习结果无效。现有的工作大多是分别处理这两个问题。在本文中,我们提出了一个新的算法,装备分布式学习的鲁棒性措施,对分布移位和拜占庭攻击。我们的算法是建立在最近的进展,分布鲁棒优化以及基于规范的筛选(NBS),强大的聚合计划,对拜占庭攻击。我们提供了三种情况下的学习模型是非凸的,凸的,和强凸的算法的收敛性证明,阐明其收敛行为和可扩展性对拜占庭攻击。特别是,我们推断,任何算法采用NBS(包括我们的)不能收敛时,拜占庭节点的百分比是1/3或更高,而不是1/2,这是目前文献中的共同信念。实验结果表明,我们的算法对鲁棒性问题的有效性。据我们所知,这是第一个同时解决分布转移和拜占庭攻击的工作。
2022-10-29 cs.LG eess.SP
Robust Coreset Construction for Distributed Machine Learning
Pennsylvania State University(宾夕法尼亚州立大学);IBM T. J. Watson Center(IBM托马斯·J·沃森研究中心);Army Research Laboratory(美国陆军研究实验室)
Coreset是在同一样本空间中以小加权集的形式对原始数据集的总结,它提供了一种有前途的方法,可以在分布式数据上实现机器学习。虽然被视为原始数据集的代理,但每个核心集仅被设计为近似特定机器学习问题的成本函数,因此通常需要不同的核心集来解决不同的机器学习问题,从而增加了通信开销。我们解决这个困境,通过开发强大的coreset建设算法,可以支持各种机器学习问题。基于经验证据表明,适当加权的k-聚类中心提供了一个强大的coreset,我们加强了观察,建立理论条件下,coreset提供了一个保证近似范围广泛的机器学习问题,并开发集中式和分布式算法来生成满足条件的coreset。通过在不同数据集上的大量实验,验证了所提出的算法在监督学习和无监督学习问题上的鲁棒性。
2020-06-22 cs.DS cs.LG stat.ML
Accelerating Byzantine-Robust Distributed Learning with Compressed Communication via Double Momentum and Variance Reduction
Sichuan University(四川大学);East China University of Science and Technology(华东理工大学)
本文提出Byz-DM21算法,通过双动量机制和误差反馈技术,实现容错分布式学习的高效通信与加速收敛,证明其在O(ε⁻⁴)迭代内达到ε- stationary点。
2026-04-05 cs.LG
Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学前沿交叉科学学院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);Ministry of Education Key Laboratory of Mathematics and Information Networks, School of Mathematical Sciences, Beijing University of Posts and Telecommunications(北京邮电大学数学科学学院数学与信息网络教育部重点实验室)
本文研究了容错分布式随机梯度下降,分析了带和不带局部动量的变体,推导了非凸光滑目标和满足Polyak-Lojasiewicz条件的收敛速率,并给出了匹配下界以证明上界是紧的。
2026-04-11 cs.LG math.OC
Adversarial Attacks to Latent Representations of Distributed Neural Networks in Split Computing
Institute for the Wireless Internet of Things at Northeastern University(东北大学无线物联网研究所);Air Force Research Laboratory(空军研究实验室)
该研究针对分布式DNN对抗攻击韧性研究空白,从信息论角度证明潜在维度、拆分点与鲁棒性的权衡关系,并通过多架构、多方法、多攻击的ImageNet-1K实验验证,为鲁棒分布式DNN设计提供新视角。
2025-10-01 cs.AI cs.LG
Byzantine-Tolerant Methods for Distributed Variational Inequalities
MBZUAI(穆罕默德·本·扎耶德人工智能大学);MIPT(莫斯科物理技术学院)
针对分布式学习中变分不等式问题的拜占庭鲁棒性研究不足的现状,提出若干可证明的拜占庭鲁棒方法,分析其理论收敛性,突破此前研究局限并通过数值实验验证理论结论。
2023-11-08 cs.LG math.OC
Distributed Matrix Completion and Robust Factorization
Stanford(斯坦福大学);UC Berkeley(加州大学伯克利分校)
如果学习方法要扩展到现代数据集的大规模规模,那么机器学习领域必须采用并行和分布式计算。受最近矩阵分解方法理论丰富但计算复杂性较差以及将矩阵映射到分布式架构上相对容易的启发,我们引入了一个可扩展的分治框架用于噪声矩阵分解。我们提出了一个彻底的理论分析,在这个框架中,我们的特征的统计误差引入的“划分”步骤和控制其大小的“征服”的步骤,使整个算法享有高概率估计保证相比,其基础算法。我们还提出了协同过滤和视频背景建模的实验,证明了这种方法可以达到的近线性到超线性的加速。
2013-10-28 cs.DS cs.LG cs.NA
Reconciling Communication Compression and Byzantine-Robustness in Distributed Learning
针对分布式学习中通信压缩与拜占庭鲁棒性难以兼顾的问题,提出新算法 RoSDHB,通过集成 Polyak 动量与协调压缩策略,在更少内存和通信开销下实现了与现有最优方法同等的收敛保证及更强鲁棒性。
2025-10-31 cs.LG
Scale-Calibrated Median-of-Means for Robust Distributed Principal Component Analysis
Baruch College(巴彻学院);The Graduate Center, City University of New York(纽约市立大学研究生中心)
本文研究了基于尺度校准的中位数-均值估计器,用于鲁棒分布式主成分分析,通过欧几里得空间和格拉斯曼流形的产品几何结构,提出了一个节点级PCA展开,证明了所提出的产品流形中位数-均值估计器的渐近等价性,并展示了鲁棒块尺度和推断最优校准规则,以及高概率中位数-均值界限。
2026-05-20 cs.LG stat.ME
Distributed quasi-Newton robust estimation under differential privacy
Beijing Normal University at Zhuhai(北京师范大学珠海校区)
针对隐私保护下含拜占庭机器的分布式计算问题,提出仅需传输五个向量的稳健拟牛顿估计算法,有效降低隐私预算与传输成本,实现最优收敛速率与渐近正态性。
2024-08-22 cs.LG math.ST stat.ML
EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning
VMware Research(威睿研究院);University College London(伦敦大学学院);Ben-Gurion University(本-古里安大学);Stanford University(斯坦福大学);Harvard University(哈佛大学)
分布式均值估计(DME)是联邦学习中的核心构建块,其中客户端将局部梯度发送到参数服务器以平均和更新模型。由于通信约束,客户端经常使用有损压缩技术来压缩梯度,从而导致估计不准确。当客户端具有不同的网络条件时,DME更具挑战性,例如通信预算受限和数据包丢失。在这样的设置中,DME技术往往会导致估计误差的显著增加,从而导致学习性能下降。在这项工作中,我们提出了一个强大的DME技术命名为EDEN,自然处理异构通信预算和数据包丢失。我们得出有吸引力的理论保证EDEN和经验评估。我们的研究结果表明,EDEN一贯改善国家的最先进的DME技术。
2022-06-15 cs.AI cs.DS cs.LG
STRONG: Synchronous and asynchronous RObust Network localization, under Non-Gaussian noise
IST Universidade de Lisboa(里斯本大学高等技术学院);Institute for Systems and Robotics(系统与机器人研究所)
现实世界的网络应用程序必须应对故障节点、恶意攻击或面临损坏数据的节点(被归类为离群值的数据)。我们的工作解决了这些问题的传感器网络定位问题的范围内,尽管丰富的技术文献,以前的研究很少考虑离群数据。我们提出了强大的,快速的,分布式网络定位算法,弹性高功率噪声,但也精确下,经常高斯噪声。我们使用Huber M-估计,从而获得一个强大的(但非凸)最优化问题。我们凸化和改变的问题表示,允许分布式强大的本地化算法:一个同步的分布式方法,具有最佳的收敛速度和异步的收敛保证。我们的贡献的一个主要亮点在于这样一个事实,即我们不付出任何代价,证明分布式计算的准确性,也不在通信成本或收敛速度。模拟显示了我们的算法的优越性能,无论是在离群值的存在下,并在规则的高斯噪声:我们的方法超过了其他方法的准确性,分布式和集中式,即使在重加性和乘性离群噪声。
2021-10-01 cs.LG math.OC
Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning
Sun Yat-Sen University(中山大学);University of Science and Technology of China(中国科学技术大学);Pazhou Lab(琶洲实验室)
本文旨在解决拜占庭攻击下的分布式学习问题。在底层分布式系统中,由于数据损坏、计算错误或恶意攻击,许多未知但恶意的工作者(称为拜占庭工作者)可以向主节点发送任意消息,并使学习过程产生偏差。先前的工作已经考虑了一个全变差(TV)范数惩罚近似公式来处理拜占庭攻击,其中TV范数惩罚迫使常规工人的局部变量接近,同时容忍拜占庭工人发送的离群值。为了解决TV范数惩罚近似公式,我们提出了一个拜占庭鲁棒随机交替方向法的乘法器(ADMM),充分利用可分离的问题结构。理论上,我们证明了在温和的假设下,该方法以O(1/k)的速度收敛到最优解的有界邻域,其中k是迭代次数,邻域大小由拜占庭工人的数量决定。在MNIST和COVERTYPE数据集上的数值实验证明了该方法对各种拜占庭攻击的有效性。
2021-06-13 cs.LG math.OC stat.ML