Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Microsoft（微软）；Nokia Bell Labs（诺基亚贝尔实验室）
联邦学习是一个很有前途的框架，用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本，并且可以提高隐私性，因为分布式站点不必透露隐私敏感数据。在本文中，我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法（ADMM），并检查其隐私的弱点。与以前的工作，使用差分隐私或同态加密的隐私，我们开发了一个协议，控制参与者之间的通信，在每一轮的聚合，以尽量减少隐私泄漏。我们建立了隐私保证，以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式，灵感来自组合块设计理论。我们的安全聚合协议的基础上，这种新的组通信模式的设计，导致一个有效的算法，联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明，我们的算法执行的标准集中式联邦学习方法，同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Submodular Rank Aggregation on Score-based Permutations for Distributed Automatic Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Universidad San Pablo-CEU（圣巴布洛CEU大学）
分布式自动语音识别（ASR）需要聚合基于分布式深度神经网络（DNN）的模型的输出。这项工作研究了使用子模块功能来设计一个基于分数的排列，它可以用于分布式ASR系统在监督和无监督模式的秩聚合。具体地说，我们构造了一个聚合秩函数的基础上的Lovasz Bregman分歧，建立线性结构的凸和嵌套结构的凹函数。该算法是基于随机梯度下降（SGD），可以获得良好的训练聚集模型。在分布式自动语音识别系统上的实验表明，与Adaboost等传统聚合方法相比，子模秩聚合方法可以获得更高的语音识别准确率。代码可在线获取~ \footnote{https://github.com/uwjunqi/Subrank}。
2020-01-27 cs.LG cs.NE cs.SD
GradiVeQ: Vector Quantization for Bandwidth-Efficient Gradient Aggregation in Distributed CNN Training
University of Southern California（南加利福尼亚大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
数据并行可以提高卷积神经网络（CNN）的训练速度，但可能会受到梯度聚合导致的显著通信成本的影响。为了缓解这个问题，已经开发了几种标量量化技术来压缩梯度。但是，这些技术在与分散式聚合协议（如ring all-reduce（RAR））一起使用时可能表现不佳，主要是由于它们无法直接聚合压缩梯度。在本文中，我们经验性地证明了CNN梯度之间的强线性相关性，并提出了一种梯度矢量量化技术，命名为MARVeQ，利用这些相关性，通过主成分分析（PCA）大幅降低梯度维数。VeQ支持压缩梯度的直接聚合，因此允许我们构建一个分布式学习系统，将VeQ梯度压缩和RAR通信并行化。在流行的CNN上进行的大量实验表明，应用WARDVEQ将原始RAR的挂钟梯度聚合时间削减了5倍以上，而没有明显的准确性损失，并将端到端训练时间减少了近50%。实验结果还表明，该算法与量化SGD（Quantized SGD）等标量量化技术兼容，在相同压缩比下具有更高的加速增益。
2018-12-31 cs.DC cs.LG stat.ML
Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction
King’s College London（伦敦国王学院）
尽管联邦学习近年来取得了许多突破性进展，但学习环境的异构性极大地限制了其性能，阻碍了其在现实世界中的应用。异构数据、时变无线条件和计算有限的设备是三个主要挑战，这通常会导致训练过程不稳定和精度下降。在此，我们提出了应对这些挑战的战略。针对异构数据分布，我们提出了一种新的自适应混合聚合（AMA）方案，将前几轮的模型更新与当前轮混合，以避免大的模型偏移，从而保持训练稳定性。我们进一步提出了一种新的基于过时的加权方案的异步模型更新所造成的动态无线环境。最后，我们提出了一种新的CPU友好的计算减少计划的基础上迁移学习共享的特征提取器（FES），让计算有限的设备更新只有分类器。仿真结果表明，所提出的框架优于现有的最先进的解决方案，并提高了测试精度和训练稳定性分别高达2.38%，93.10%。此外，所提出的框架可以容忍的通信延迟高达15轮下的中等延迟环境下，没有显着的准确性下降。
2023-02-16 cs.DC cs.LG
Simplifying Distributed Neural Network Training on Massive Graphs: Randomized Partitions Improve Model Aggregation
University of Michigan（密歇根大学）；Amazon（亚马逊）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Microsoft（微软）
提出一种简化的分布式GNN训练框架，通过随机化分区和周期性模型聚合提升数据均匀性，在减少开销的同时实现优于基线的性能、2.31倍加速及更强鲁棒性。
2023-05-17 cs.DC cs.LG
Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation
University of Nevada, Reno（内华达大学雷诺分校）
本文提出层自适应稀疏化模型聚合方法LASA，通过预聚合稀疏化和逐层自适应过滤提升联邦学习对拜占庭攻击的鲁棒性，并在多种数据集上验证其有效性。
2024-09-02 cs.CR cs.DC cs.LG
DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家）
DisAgg通过分布式聚合器实现高效安全聚合，减少通信轮次和计算开销，提升10万维更新向量处理速度达4.6倍。
2026-05-13 cs.CR cs.DC cs.LG
Towards a Distributed Federated Learning Aggregation Placement using Particle Swarm Intelligence
ÉTS Montréal / Université du Québec（蒙特利尔ÉTS/魁北克大学）；Islamic Azad University of Bojnord（伊斯兰Azad大学波尼尔分校）
针对分层半去中心化联邦学习中的分布式聚合放置问题，提出基于粒子群优化的Flag-Swap方法，仅依据处理延迟优化放置，仿真与真实实验表明其性能优于随机和均匀放置策略。
2025-04-22 cs.DC cs.LG cs.NE
A Biased Estimator for MinMax Sampling and Distributed Aggregation
University of Minnesota（明尼苏达大学）
提出有偏MinMax估计方案B-MinMax，通过增加偏差换取方差减小，在无聚合或小样本聚合场景下获得更低的MSE。
2024-04-26 cs.DC cs.LG stat.AP
Scaling Distributed Machine Learning with In-Network Aggregation
KAUST（沙特国王科技大学）；Microsoft（微软）；Barefoot Networks；University of Washington（华盛顿大学）
并行训练机器学习模型是越来越重要的工作量。我们加速分布式并行训练设计一个通信原语，使用可编程开关数据平面执行的训练过程中的一个关键步骤。我们的方法SwitchML通过聚合网络中多个工作者的模型更新来减少交换的数据量。我们与终端主机协议和ML框架共同设计了交换机处理，以提供一种高效的解决方案，为许多真实世界的基准模型加快了高达5.5 $\times$的训练。
2020-09-30 cs.DC cs.LG cs.NI
Robust and Efficient Aggregation for Distributed Learning
Imperial College London（帝国理工学院）；Technische Universität Darmstadt（达姆施塔特工业大学）；Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院电子与电气工程系）；Signal Processing Group, Technische Universität Darmstadt（达姆施塔特工业大学信号处理组）
分布式学习范式，如联合学习和分散学习，允许跨代理集合协调模型，而无需交换原始数据。相反，代理基于其可用数据在本地计算模型更新，并随后与参数服务器或其对等体共享更新模型。这之后是一个汇总步骤，传统上采取（加权）平均值的形式。基于平均值的分布式学习方案已知易受离群值的影响。单个恶意代理能够将基于平均的分布式学习算法驱动到任意差的模型。这促使发展强大的汇总计划，这是基于中位数和修剪平均值的变化。虽然这样的过程确保了对离群值和恶意行为的鲁棒性，但它们以显著降低的样本效率为代价。这意味着，目前强大的聚合计划需要显着更高的代理参与率，以实现一定程度的性能比他们的平均为基础的同行在非污染的设置。在这项工作中，我们弥补了这一缺陷，开发统计上有效的和强大的聚合方案的分布式学习。
2022-04-01 cs.LG cs.MA stat.ML
Aggregation Models with Optimal Weights for Distributed Gaussian Processes
Department of Industrial and Systems Engineering（工业与系统工程系）；Texas A&M University（德克萨斯大学）
本文提出了一种具有最优权重的分布式高斯过程聚合方法，通过整合专家间相关性提升预测准确性，且计算效率更高。
2026-02-10 cs.LG stat.ME stat.ML
The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation
Google Research（谷歌研究院）
我们考虑在分布在用户设备上的私人数据上训练模型。为了确保隐私，我们添加了设备上的噪声，并使用安全聚合，以便只有噪声和才会显示给服务器。我们提出了一个全面的端到端系统，它适当地离散化数据，并在执行安全聚合之前添加离散高斯噪声。我们提供了一个新的隐私分析的离散高斯和仔细分析的影响，数据量化和模求和算法。我们的理论保证强调了沟通、隐私和准确性之间的复杂张力。我们广泛的实验结果表明，我们的解决方案基本上是能够匹配的准确性，中央差分隐私与小于16位的精度每个值。
2022-09-08 cs.DS cs.LG stat.ML
DETOX: A Redundancy-based Framework for Faster and More Robust Gradient Aggregation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
为了提高分布式训练对最坏情况或拜占庭节点故障的恢复能力，最近的几种方法已经用鲁棒的聚合方法取代了梯度平均。这样的技术可能具有高计算成本，通常是计算节点数量的二次方，并且仅具有有限的鲁棒性保证。其他方法使用冗余来保证鲁棒性，但只能容忍有限数量的拜占庭故障。在这项工作中，我们提出了DETOX，拜占庭弹性分布式训练框架，结合了算法冗余与强大的聚合。DETOX分两个步骤操作，一个是过滤步骤，使用有限的冗余来显著减少拜占庭节点的影响，另一个是分层聚合步骤，可以与任何最先进的鲁棒聚合方法一起使用。我们从理论上表明，这导致了鲁棒性的大幅增加，并且具有在计算节点的数量上几乎是线性的每次迭代运行时间。我们在各种大规模机器学习任务的真实分布式设置上提供了广泛的实验，表明DETOX导致了许多最先进的拜占庭弹性方法的数量级精度和加速改进。
2020-03-08 cs.DC cs.LG stat.ML
Distributed Momentum for Byzantine-resilient Learning
Distributed Computing Laboratory (DCL), École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL）分布式计算实验室（DCL））
动量法是梯度下降的一种变体，因其在收敛方面的优势而被提出。在分布式环境中，动量可以在服务器端或工作端实现。当服务器使用的聚合规则是线性的时，加法的可交换性使两个部署等效。然而，鲁棒性和隐私是放弃线性聚合规则的动机之一。在这项工作中，我们证明了在工人侧使用动量的鲁棒性的好处。我们首先证明，在工人的计算动量降低了服务器的梯度估计的方差-范数比，加强拜占庭弹性聚合规则。然后，我们提供了一个广泛的实验演示的鲁棒性效果的工人侧动量分布式SGD。
2020-03-09 cs.CR cs.DC cs.LG
Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach
Shanghai Jiao Tong University（上海交通大学）
分布式学习的主要焦点之一是通信效率，因为每一轮训练的模型聚合可能包含数百万到数十亿个参数。为了提高模型聚合的通信效率，人们提出了几种模型压缩方法，如梯度量化和稀疏化。然而，对于给定的梯度估计失真的信息理论的最小通信成本仍然是未知的。本文从率失真的角度研究了分布式学习中模型聚合的通信代价的基本限制。通过将模型聚合问题描述为一个向量高斯CEO问题，推导了模型聚合问题的速率域界和和速率失真函数，揭示了在特定梯度失真上界下的最小通信速率.我们还分析了通信成本在每次迭代和总通信成本的基础上的总和率失真函数与现实世界的数据集的梯度统计。研究发现，SignSGD算法利用工作节点间的相关性获得的通信增益是显著的，梯度估计器的高失真可以降低梯度压缩的总通信开销。
2022-06-28 cs.IT cs.LG math.IT
Towards Sparse Federated Analytics: Location Heatmaps under Distributed Differential Privacy with Secure Aggregation
Cornell Tech（康奈尔理工学院）；Google（谷歌）
我们设计了一种可扩展的算法，可以在来自数百万用户设备的分散数据上私下生成位置热图。它旨在确保数据对服务提供商可见之前的差分隐私，同时保持高数据准确性并最大限度地减少用户设备上的资源消耗。为了实现这一目标，我们重新分布式差分隐私的基础上，最近的结果在安全多方计算，我们设计了一个可扩展的和自适应的分布式差分隐私的位置分析方法。对公共位置数据集的评估表明，这种方法成功地从数百万用户样本中生成了大都市规模的热图，最坏情况下的客户端通信开销明显小于现有的最先进的私有协议。
2022-06-26 cs.CR cs.LG
Distributed Cross-Channel Hierarchical Aggregation for Foundation Models
Oak Ridge National Laboratory（橡树岭国家实验室）；RIKEN Center for Computational Science（日本计算科学研究中心）
针对基础模型图像分词与聚合的计算瓶颈，提出兼容任意模型并行与视觉transformer架构的分布式跨通道分层聚合方法D-CHAG，在超算上显著降低内存并提升吞吐量。
2025-06-26 cs.LG
3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation
KAUST（阿卜杜拉国王科技大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；ETH Zurich（苏黎世联邦理工学院）；MIPT（莫斯科物理技术学院）
我们提出并研究了一类新的梯度通信机制的通信效率的培训-三点压缩机（3 PC）-以及有效的分布式非凸优化算法，可以利用它们。与依赖于静态压缩机选择（例如，Top- $K$），我们的类允许压缩器在整个训练过程中{ \em进化}，目的是提高底层方法的理论通信复杂性和实际效率。我们表明，我们的一般方法可以恢复最近提出的最先进的错误反馈机制EF 21（Richtárik等人，2021）及其作为特例的理论性质，同时也引出了许多新的高效方法。值得注意的是，我们的方法允许我们改进{ \em惰性聚合}文献（Chen等人，2018年）。作为一个副产品，可能是独立的利益，我们提供了一个新的和根本的懒惰的聚合和错误反馈文献之间的联系。我们工作的一个特点是我们不要求压缩机是无偏的。
2022-02-02 cs.DC cs.DS cs.LG
Scalable and Differentially Private Distributed Aggregation in the Shuffled Model
Google Research（谷歌研究院）；IT University of Copenhagen（哥本哈根信息技术大学）
联邦学习通过使用安全聚合方法实现梯度下降，有望使机器学习在分布式私有数据集上变得可行。这个想法是计算全局权重更新，而不显示单个用户的贡献。当前用于安全聚合的实际协议在“诚实但好奇”的设置中工作，其中好奇的对手观察到所有去往和来自服务器的通信，无法获知任何私人信息，假设服务器是诚实的并且遵循协议。隐私保护协议的一个更可扩展和鲁棒的原语是用户数据的混洗，以便隐藏每个数据项的来源。用于混洗的高度可扩展和安全的协议，即所谓的混合网，已经被提出作为Bittau等人的编码-混洗-分析框架中的隐私保护分析的原语，后来Erlingsson等人和Cheu等人对其进行了分析研究。Cheu等人最近的论文，和Balle等人已经给出了用于安全聚集的协议，其在该“混洗模型”中实现了差分隐私保证。然而，他们的协议是有代价的：预期的聚合错误或每个用户的通信量都是用户数$n$的多项式$n^{Ω(1)}$。在本文中，我们提出了简单且更有效的洗牌模型聚合协议，其中通信和错误在$n$中仅呈多对数增加。我们的新技术是一种概念上的“隐形斗篷”，它使用户的数据几乎无法与随机噪声区分开来，同时在总和上引入零失真。
2019-12-02 cs.CR cs.DC cs.DS
Federated Learning Robust to Byzantine Attacks: Achieving Zero Optimality Gap
Beijing Institute of Technology（北京理工大学）；University of Windsor（温莎大学）；Sun Yat-sen University（中山大学）
针对联邦学习中的拜占庭攻击问题，提出用户端多步可调更新、中心端几何中位数聚合的鲁棒方法，在攻击者占比低于半数时可线性收敛并实现零最优性间隙，经数值实验验证有效。
2023-08-21 cs.CR cs.DC cs.LG
Secure Byzantine-Robust Distributed Learning via Clustering
Coordinated Sciences Laboratory（协同科学实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
联邦学习系统，共同保持拜占庭的鲁棒性和隐私仍然是一个开放的问题。健壮的聚合是拜占庭攻击的标准防御，通常需要服务器访问个人更新或非线性计算-因此与隐私保护方法（例如通过多方计算的安全聚合）不兼容。为此，我们提出了共享（安全分层鲁棒聚合），一个分布式学习框架，旨在以加密方式保护客户端更新的隐私和鲁棒性拜占庭对手同时。其关键思想是在通过强大的聚合过滤恶意更新之前，在随机群集的客户端之间进行安全平均。实验表明，SHARE具有与现有技术相似的鲁棒性保证，同时增强隐私。
2021-10-06 cs.AI cs.CR cs.LG
Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation
Institut Polytechnique de Paris（巴黎理工学院）；JD Explore Academy（京东探索研究院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
尽管牛顿型方法的计算和通信成本很高，但由于其对病态凸问题的鲁棒性，牛顿型方法仍然是分布式训练的一个有吸引力的选择。在这项工作中，我们研究了曲率信息的压缩和聚合机制，以减少这些成本，同时保持理论上优越的局部收敛保证。我们证明了Richtarik等人[2022]最近开发的用于梯度通信的三点压缩器（3 PC）类也可以推广到Hessian通信。这个结果开启了各种各样的通信策略，例如压缩压缩和惰性聚合，可用于我们的处理以压缩代价高昂的曲率信息。此外，我们发现了几个新的3 PC机制，如自适应阈值和伯努利聚合，这需要减少通信和偶尔的海森计算。此外，我们扩展和分析我们的双向通信压缩和部分设备参与设置的方法，以满足在联邦学习的应用程序的实际考虑。对于我们所有的方法，我们得到快速的条件数独立的局部线性和/或超线性收敛速度。最后，通过对凸优化问题的大量数值评估，我们说明了我们设计的方案与使用二阶信息的几个关键基线相比，实现了最先进的通信复杂性。
2022-06-07 cs.LG math.OC
Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs
Intel AI Lab（英特尔人工智能实验室）
我们提出了顺序聚合和再物质化（SAR）计划的分布式全批训练的图神经网络（GNNs）在大型图。最近，GNN的大规模训练主要是基于采样的方法和基于不可学习消息传递的方法。另一方面，SAR是一种分布式技术，可以直接在整个大型图上训练任何GNN类型。SAR中的关键创新是分布式顺序重新物质化方案，该方案在向后传递期间顺序地重建然后释放过大的GNN计算图的片段。这导致了出色的内存扩展行为，其中每个工作线程的内存消耗随工作线程的数量线性下降，即使是密集连接的图形。使用SAR，我们报告了迄今为止全批GNN训练的最大应用，并展示了随着工人数量的增加而节省的大量内存。我们还提出了一种基于核融合和注意力矩阵再物质化的通用技术，以优化基于注意力的模型的运行时间和内存效率。我们表明，与SAR相结合，我们优化的注意力内核可以显著提高基于注意力的GNNs的速度并节省内存。我们提供了SAR GNN训练库：\url{https://github.com/IntelLabs/SAR}。
2022-04-15 cs.AI cs.LG
Attacks on Robust Distributed Learning Schemes via Sensitivity Curve Maximization
Imperial College London（伦敦帝国理工学院）
本文提出基于敏感度曲线最大化的新攻击方法，证明其能通过注入微小但有效的扰动破坏现有鲁棒聚合方案。
2023-04-27 cs.CR cs.LG eess.SP
Accelerating Distributed Deep Learning using Lossless Homomorphic Compression
UT Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）；Airbnb（爱彼迎）
提出一种无损同态压缩算法，将worker级压缩与网内聚合相结合，无需CPU/GPU处理即可高效聚合且不损失训练精度，在多种DNN模型上显著提升了聚合吞吐量和训练速度。
2024-02-12 cs.DC cs.DS cs.LG
A decentralized aggregation mechanism for training deep learning models using smart contract system for bank loan prediction
Pune Institute of Computer Technology（浦那计算机技术学院）
在试图构建复杂的基于深度学习的系统来对数据进行建模时，数据隐私和共享一直是一个关键问题。促进一种分散的方法，可以从多个节点的数据中受益，同时不需要物理地合并其数据内容，这一直是一个活跃的研究领域。在本文中，我们提出了一种解决方案，通过使用智能合约系统来训练深度学习架构，从而从分布式数据设置中受益。具体来说，我们提出了一种机制，将从区块链上的本地ANN模型获得的中间表示聚合在一起。本地模型的训练在其各自的数据上进行。从它们派生的中间表示，当在主机节点上组合和训练在一起时，有助于获得更准确的系统。虽然联邦学习主要处理相同的数据特征，其中样本数量分布在多个节点上，但这里我们处理的是相同数量的样本，但它们的特征分布在多个节点上。我们考虑银行贷款预测的任务，其中个人的个人详细信息和他们的银行特定的详细信息可能无法在同一个地方。我们的聚合机制有助于在现有的分布式数据上训练模型，而不必共享和连接实际的数据值。所获得的性能优于单个节点的性能，并且与集中式数据设置的性能相当，这为将我们的技术扩展到其他架构和任务提供了强有力的理由。该解决方案适用于希望在垂直分区数据上训练深度学习模型的组织。
2020-11-22 cs.DC cs.LG
Aggregation Delayed Federated Learning
Northwestern University（西北大学）
联邦学习是一种分布式机器学习范例，其中多个数据所有者（客户端）协作训练一个机器学习模型，同时将数据保存在他们自己的设备上。客户端数据集的异构性是联邦学习算法面临的最大挑战之一。研究发现，标准联邦算法（如FedAvg）在非IID数据上会降低性能。许多现有的处理非IID数据的工作采用与FedAvg相同的聚合框架，并专注于改进服务器端或客户端的模型更新。在这项工作中，我们通过引入延迟聚合的再分配回合来从不同的角度应对这一挑战。我们在多个任务上进行了实验，结果表明，该框架显着提高了非IID数据的性能。
2021-08-17 cs.DC cs.LG
Bootstrap Model Aggregation for Distributed Statistical Learning
Dartmouth College（达特茅斯学院）
在分布式或隐私保护学习中，我们经常会得到一组从不同本地存储库估计的概率模型，并要求将它们组合成一个模型，以提供有效的统计估计。一个简单的方法是线性平均的局部模型的参数，然而，这往往是退化或不适用于非凸模型，或具有不同的参数尺寸的模型。一种更实用的策略是从局部模型生成引导样本，然后基于组合的引导集学习联合模型。不幸的是，引导过程引入了额外的噪声，并可能显着恶化的性能。在这项工作中，我们提出了两种方差减少方法来纠正自举噪声，包括加权M估计，这是统计上有效的，实际上是强大的。理论和实证分析来证明我们的方法。
2017-02-27 cs.AI cs.LG stat.ML
Cross-Gradient Aggregation for Decentralized Learning from Non-IID data
Iowa State University（爱荷华州立大学）；Johnson Controls（江森自控）；New York University（纽约大学）
分散式学习使一组协作代理能够使用分布式数据集学习模型，而无需中央参数服务器。最近，分散式学习算法已经在基准数据集上展示了最先进的结果，可与集中式算法相媲美。然而，实现有竞争力的性能的关键假设是，数据是独立和相同的分布（IID）之间的代理，在现实生活中的应用程序，往往是不适用的。受持续学习思想的启发，我们提出了交叉梯度聚合（CGA），一种新的分散式学习算法，其中（i）每个代理聚合交叉梯度信息，即，其模型相对于其邻居的数据集的导数，以及（ii）使用基于二次规划（QP）的投影梯度来更新其模型。我们从理论上分析了CGA的收敛特性，并证明了它的效率非IID数据分布从MNIST和CIFAR-10数据集采样。我们的实证比较表明，优越的学习性能的CGA现有的国家的最先进的分散式学习算法，以及保持信息压缩下的改进性能，以减少对等通信开销。代码可以在GitHub上找到。
2021-06-28 cs.DC cs.LG
Privacy-Preserving Object Detection & Localization Using Distributed Machine Learning: A Case Study of Infant Eyeblink Conditioning
The Hague University of Applied Sciences（海牙应用科学大学）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Erasmus University Medical Center（伊拉斯姆斯大学医学中心）；Princeton University（普林斯顿大学）；Delft University of Technology（代尔夫特理工大学）
分布式机器学习由于隐私、计算可扩展性和带宽容量而成为流行的模型训练方法。在这项工作中，我们探讨了可扩展的分布式训练版本的目标检测中常用的两种算法。提出了一种基于方向直方图的线性支持向量机（L-SVM）目标检测分布式训练算法。此外，提出了一种新的加权箱聚合（WBA）算法的回归树（ERT）的地标定位的分布式训练。这两种算法都不限制模型聚合的位置，并允许模型分发的自定义架构。对于这项工作，基于池的本地训练和聚合（PBLTA）的架构，这两个算法进行了探讨。这两种算法在医学领域的应用研究使用的范式从心理学和神经科学领域-婴儿眨眼条件反射-模型需要在面部图像上进行训练，同时保护参与者的隐私。使用分布式学习，可以在不向其他节点发送图像数据的情况下训练模型。该定制软件已在GitHub上公开使用：https://github.com/SLWZwaard/DMT。结果表明，使用MWMA的HOG算法的模型的聚合，不仅保留了模型的准确性，但也允许分布式学习的准确性提高了0.9%，与传统的学习。此外，WBA允许ERT模型聚合，与单节点模型相比，精度提高了8%。
2020-10-14 cs.CR cs.CV cs.LG
GraphFAS: A Distributed System for Automated Graph Feature Generation and Selection in Industrial Transaction Networks
Ant Group（蚂蚁集团）；Nanjing University（南京大学）
GraphFAS提出基于Boruta的分布式图特征自动生成与选择系统，通过非参数化多跳子图提取和多尺度聚合构建可解释特征，在支付宝部署中实现工程效率数量级提升并优于基线。
2026-09-09 cs.AI cs.DC cs.LG
Unsupervised Submodular Rank Aggregation on Score-based Permutations
University of Washington（华盛顿大学）；The University of Tokyo（东京大学）；University San Pablo CEU（圣巴布罗CEU大学）
无监督的基于得分的排序聚合算法在许多应用中得到了广泛的应用，但尚未得到深入的研究。本文研究了在无监督的情况下，使用子模优化算法对基于分数的排列进行秩聚合。具体来说，我们提出了一个无监督的方法的基础上的Lovasz Bregman分歧建立线性结构的凸和嵌套结构的凹目标函数。此外，在训练过程中应用随机优化方法，可以保证有效的推理算法。信息检索、组合分布式神经网络、社交网络中的影响者和分布式自动语音识别任务的实验结果证明了所提方法的有效性。
2017-09-06 cs.AI cs.LG
Semantic-Constrained Federated Aggregation: Convergence Theory and Privacy-Utility Bounds for Knowledge-Enhanced Distributed Learning
Auburn University（亚伯拉罕大学）
本文提出语义约束联邦聚合框架，通过引入领域知识约束提升联邦学习的收敛速度和隐私-效用平衡，实验证明在制造预测维护中显著提高性能。
2025-12-12 cs.LG
Generalized Robust Bayesian Committee Machine for Large-scale Gaussian Process Regression
Nanyang Technological University（南洋理工大学）；Applied Technology Group, Rolls-Royce Singapore（新加坡劳斯莱斯应用技术集团）；Data Science and Artificial Intelligence Research Center, Nanyang Technological University（南洋理工大学数据科学与人工智能研究中心）
为了将标准高斯过程（GP）回归扩展到大规模数据集，聚合模型采用因子分解的训练过程，然后组合来自分布式专家的预测。然而，最先进的聚合模型要么提供不一致的预测，要么需要耗时的聚合过程。我们首先证明了不相交或随机数据划分的典型聚集的不一致性，然后提出了一个一致的，但有效的大规模GP聚集模型。所提出的模型继承了聚合的优点，例如，封闭形式的推理和聚合，并行化和分布式计算。此外，理论和实证分析表明，新的聚合模型表现更好，由于一致的预测，收敛到真正的底层函数时，训练规模接近无穷大。
2018-06-03 cs.LG stat.ML
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX（IRT系统X）；Normandie Univ, UNICAEN, CNRS, LMNO（诺曼底大学、UNICAEN、CNRS、LMNO）
本文提出基于最优传输的分布式MoE模型聚合方法，通过减少传输分歧构建全局估计器，实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
SwiftAgg+: Achieving Asymptotically Optimal Communication Loads in Secure Aggregation for Federated Learning
Technische Universität Berlin（柏林工业大学）；Sharif University of Technology（谢里夫理工大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了SwiftAgg+，一种新的安全聚合协议的联邦学习系统，其中中央服务器聚合本地模型的$N \in \mathbb{N}$分布式用户，每个大小$L \in \mathbb{N}$，训练他们的本地数据，在隐私保护的方式。SwiftAgg+可以在不影响安全性的情况下显著降低通信开销，并在减少间隙的情况下实现最佳通信负载。具体来说，在最多$D=o(N)$退出用户的情况下，SwiftAgg+实现了$(1+\mathcal{O}(\frac{1}{N}))L$符号的每用户通信负载和$(1+\mathcal{O}(\frac{1}{N}))L$符号的服务器通信负载，具有最坏情况的信息理论安全保证，针对可能与好奇服务器勾结的最多$T=o(N)$半诚实用户的任何子集。此外，所提出的SwiftAgg+允许在通信负载和活动通信链路的数量之间进行灵活的权衡。特别地，对于$T<N-D$和任何$K\in\mathbb{N}$，SwiftAgg+可以实现$(1+\frac{T}{K})L$符号的服务器通信负载，以及高达$(1+\frac{T+D}{K})L$符号的每用户通信负载，其中网络中成对活动连接的数量是$\frac{N}{2}(K+T+D+1)$。
2022-09-08 cs.DC cs.IT cs.LG
CodedReduce: A Fast and Robust Framework for Gradient Aggregation in Distributed Learning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Southern California（南加利福尼亚大学）
我们专注于常用的同步梯度下降范式的大规模分布式学习，有越来越多的兴趣，开发高效和强大的梯度聚合策略，克服两个关键的系统瓶颈：通信带宽和掉队者的延迟。特别地，已经提出了Ring-AllReduce（RAR）设计，以通过允许每个工作者仅与布置在逻辑环中的其邻居通信来避免任何特定节点处的带宽瓶颈。另一方面，最近已经提出了梯度编码（GC），以减轻在主-工人拓扑中的掉队者，通过允许精心设计的冗余分配的数据集的工人。我们提出了一个联合通信拓扑设计和数据集分配策略，命名为CodedReduce（CR），结合了RAR和GC的优点。也就是说，它并行的树拓扑结构，导致有效的带宽利用率的通信，并仔细设计了一个冗余的数据集分配和编码策略的节点，使所提出的梯度聚合计划的强大的掉队者。特别是，我们量化的通信并行化增益和弹性的建议CR计划，并证明其最优性时，通信拓扑结构是一个规则的树。此外，我们的CR的预期运行时间的特点，并显示顺序明智的加速比基准计划。最后，我们通过Amazon EC2实证评估了我们提出的CR设计的性能，并证明它分别比基准GC和RAR实现了高达27.2倍和7.0倍的加速比。
2021-09-29 cs.DC cs.IT cs.LG
Scalable and Private Federated Learning Using Distributed Differential Privacy and Secure Aggregation
Université Paris Cité（巴黎Cité大学）
本文提出DDP-SA框架，结合客户端侧本地差分隐私和全阈值加法秘密共享，实现安全聚合，提供更强的端到端隐私保障且计算可行。
2026-06-06 cs.CR cs.LG
Convergence Analysis of Aggregation-Broadcast in LoRA-enabled Distributed Fine-Tuning
School of Mathematics and Statistics, Central South University, China（数学与统计学学院，中南大学）；School of Computer Science, The University of Sydney, Australia（计算机科学学院，悉尼大学）；Department of Engineering Science, University of Oxford, England（工程科学系，牛津大学）
该研究针对LoRA联邦学习中本地模型聚合的研究缺口，对现有聚合方法分类并定义聚合-广播算子，推导了弱、强收敛条件，证明两类聚合方法的收敛特性差异，且通过实验验证了理论结论。
2025-08-30 cs.AI cs.LG
Sensitivity Curve Maximization: Attacking Robust Aggregators in Distributed Learning
Technische Universität Darmstadt（达姆施塔特工业大学）；Imperial College London（伦敦帝国学院）
本文提出利用敏感性曲线（SC）系统推导针对分布式学习中任意鲁棒聚合器的最优攻击模式，使多数聚合器失效，并通过仿真验证了攻击有效性。
2024-12-23 cs.LG eess.SP
Federated Learning Aggregation: New Robust Algorithms with Guarantees
ENS, PSL Research University（巴黎高等师范学院，巴黎文理研究大学）；CNRS, PSL Research University（法国国家科学研究中心，巴黎文理研究大学）
联邦学习最近被提出用于边缘的分布式模型训练。这种方法的原理是聚合在分布式客户机上学习的模型，以获得一个新的更通用的“平均”模型（FedAvg）。然后将生成的模型重新分发给客户进行进一步的培训。迄今为止，最流行的联邦学习算法使用模型参数的坐标平均进行聚合。在本文中，我们进行了一个完整的一般数学收敛分析，以评估联邦学习框架中的聚合策略。从这一点上，我们得到新的聚合算法，能够修改他们的模型架构，区分客户端的贡献，根据其损失的价值。此外，我们超越了理论上引入的假设，评估了这些策略的性能，并将它们与IID和Non-IID框架中分类任务中的FedAvg进行了比较，而没有额外的假设。
2022-07-18 cs.LG stat.ML
RSA: Byzantine-Robust Stochastic Aggregation Methods for Distributed Learning from Heterogeneous Datasets
University of Science and Technology of China（中国科学技术大学）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）；Sun Yat-Sen University（中山大学）
在本文中，我们提出了一类强大的随机次梯度方法的分布式学习异构数据集在存在未知数量的拜占庭工人。在学习过程中，由于数据损坏、通信故障或恶意攻击，拜占庭工作者可能会向主节点发送任意不正确的消息，从而使学习的模型产生偏差。所提出的方法的关键是与目标函数相结合的正则化项，以增强学习任务的鲁棒性并减轻拜占庭攻击的负面影响。由此产生的子梯度为基础的算法被称为拜占庭鲁棒随机聚合方法，证明我们的缩写RSA使用。与大多数现有算法相比，RSA不依赖于数据独立同分布（i.i.d.）的假设。因此，它适用于更广泛的应用。理论上，我们证明：i）RSA收敛到一个近似最优解，学习误差依赖于Byzantine工人的数量; ii）RSA在Byzantine攻击下的收敛速度与随机梯度下降方法相同，不受Byzantine攻击。在数值上，真实数据集上的实验证实了RSA的竞争性能和复杂性降低相比，国家的最先进的替代品。
2019-11-11 cs.CR cs.LG cs.MA
Byzantine-Resilient Federated Learning via Distributed Optimization
Institut Polytechnique de Paris（巴黎综合理工学院）；Aalborg University（奥尔堡大学）
本文针对联邦学习中的拜占庭攻击，提出利用PDMM分布式优化的容错共识机制替代传统聚合协议，并在多数据集与多种攻击下验证其更高效用、更快收敛与更强稳定性。
2025-03-13 cs.AI cs.LG
Robust Distributed Optimization With Randomly Corrupted Gradients
Rice University（莱斯大学）
在本文中，我们提出了一个一阶分布式优化算法，可证明是强大的拜占庭故障任意和潜在的敌对行为，其中所有参与的代理都容易失败。我们模型每个代理的状态随着时间的推移，作为一个两个状态的马尔可夫链，表明拜占庭或值得信赖的行为在不同的时刻。我们对任何给定时间的拜占庭代理的最大数量没有限制。我们设计了基于三层防御的方法：1）时间鲁棒聚合，2）空间鲁棒聚合，3）梯度归一化。我们研究了两种随机最优化的设置，即样本平均近似和随机逼近。我们提供了强凸和光滑的非凸费用函数我们的方法的收敛保证。
2022-06-17 cs.DC cs.LG math.OC
Secure and Private Federated Learning: Achieving Adversarial Resilience through Robust Aggregation
O’Donnell Data Science and Research Computing Institute（奥登数据科学与研究计算研究所）；Southern Methodist University（南方 Methodist 大学）
本文提出 ArKrum 聚合策略，通过中位数过滤和多更新平均提升联邦学习在 Byzantine 攻击下的鲁棒性与隐私保障，并在图像和文本基准上验证其高准确率和稳定性。
2025-06-03 cs.CR cs.LG
A Federated Learning Aggregation Algorithm for Pervasive Computing: Evaluation and Comparison
Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
普适计算促进了在我们的生活空间中安装连接设备，以提供服务。最近，两个主要的发展势头强劲：边缘资源的高级使用和工程应用中机器学习技术的集成。这种演变带来了重大挑战，特别是与计算元素沿边缘到云连续体的适当分布有关。关于这一点，联邦学习最近被提出用于边缘中的分布式模型训练。这种方法的原理是聚合在分布式客户机上学习的模型，以获得新的、更通用的模型。然后将生成的模型重新分发给客户进行进一步的培训。迄今为止，最流行的联邦学习算法使用模型参数的坐标平均值进行聚合。然而，它已经表明，这种方法是不适合在异构环境中的数据是不相同的，独立分布（非iid）。这直接对应于一些普适计算场景，在这些场景中，设备和用户的异构性对具有泛化和个性化双重目标的机器学习提出了挑战。在本文中，我们提出了一种新的聚合算法，称为FedDist，它能够通过识别客户端中特定神经元之间的差异来修改其模型架构（这里是深度神经网络）。这允许在不损害概括性的情况下考虑客户的特殊性。此外，我们定义了一个完整的方法来评估联邦学习在一个现实的方式考虑到泛化和个性化。使用这种方法，FedDist进行了广泛的测试，并与三个国家的最先进的联邦学习算法的人类活动识别与智能手机的普及领域进行了比较。
2021-10-19 cs.AI cs.DC cs.LG
Federated Transfer Learning with Dynamic Gradient Aggregation
Microsoft（微软）
介绍了一个联邦学习（FL）仿真平台。目标场景是基于该平台的声学模型训练。据我们所知，这是第一次尝试应用FL技术的语音识别任务，由于固有的复杂性。该平台采用模块化设计，能够支持不同的任务。作为该平台的一部分，提出了一种新的分层优化方案和两种梯度聚合方法，与其他分布式或FL训练算法（如BMUF和FedAvg）相比，训练收敛速度几乎提高了一个数量级。除了增强的收敛速度之外，分层优化还在训练管道中提供了额外的灵活性。在分层优化的基础上，提出了一种基于数据驱动权值推理的动态梯度聚集算法。该聚合算法充当梯度质量的正则化器。最后，为FL量身定制的无监督训练管道作为一个单独的训练场景。所提出的系统的实验验证是基于两个任务：第一，LibriSpeech任务显示出7倍的速度和6%的字出错率减少（WERR）相比，基线结果。第二个任务是基于会话自适应，提供了20%的WERR比有竞争力的生产就绪LAS模型的改进。所提出的联邦学习系统在收敛速度和整体模型性能方面都优于分布式训练的黄金标准。
2020-08-06 cs.DC cs.LG stat.ML
Graph Theory Meets Federated Learning over Satellite Constellations: Spanning Aggregations, Network Formation, and Performance Optimization
University at Buffalo—SUNY（纽约州立大学布法罗分校）
Fed-Span结合图论与联邦学习，通过生成性聚合和优化，提升卫星星座分布式学习的性能与效率。
2025-12-02 cs.DC cs.LG cs.NI
From Aggregation to Selection: User-Validated Distributed Social Recommendation
Rutgers University（罗格斯大学）；Lehigh University（莱斯大学）；Hong Kong Baptist University（香港 Baptist大学）
DeSocial是一种通过用户验证提升分布式社交推荐系统决策正确性和鲁棒性的框架。
2026-01-26 cs.AI cs.LG cs.SI
DistDD: Distributed Data Distillation Aggregation through Gradient Matching
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出DistDD方法，通过梯度匹配在客户端设备上直接进行数据蒸馏，一次性提取全局蒸馏数据集，在保持隐私的同时显著降低联邦学习中的通信成本，支持即时参数调优和神经架构搜索。
2024-10-11 cs.AI cs.LG
Distributed Learning over Networks with Graph-Attention-Based Personalization
Zhejiang University（浙江大学）；NC State University（北卡罗来纳州立大学）
针对非独立同分布数据下统一模型低效的问题，提出基于图注意力机制的个性化分布式深度学习算法GATTA，通过学习邻居节点聚合权重并跳过低权重传输，实现了高效通信与收敛性能提升。
2023-05-22 cs.DC cs.LG eess.SP
Privacy-enhanced federated learning via asynchronous aggregation and local differential perturbation
Georgetown University（乔治城大学）；LinkedIn（领英）；Shanghai Ocean University（上海海洋大学）
提出一种集成动态差分隐私、轻量级同态加密和本地差分隐私的联邦学习框架，采用异步聚合策略，在严格隐私约束下保持高精度并降低通信开销。
2026-09-15 cs.AI cs.CE cs.DB
Caramel: Accelerating Decentralized Distributed Deep Learning with Computation Scheduling
Google（谷歌）；UC Irvine（加州大学欧文分校）；VMware Research（VMware研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；VMware
深度神经网络（DNN）训练中的参数聚合选择方法是一项网络密集型任务，受理论保证更好性能的启发，正在从参数服务器模型转向分散聚合方案（AllReduce）。然而，目前的AllReduce实现忽略了通信和计算的相互依赖性，导致显着的性能下降。在本文中，我们开发了Caramel，这是一个通过模型感知计算调度和AllReduce通信优化来加速分散式分布式深度学习的系统。Caramel通过（a）计算DAG调度来实现这一目标，该计算DAG调度为每个参数（传输边界）扩展了可行的传输窗口，以及（b）用于平滑负载的网络优化，包括参数传输的自适应优化和流水线化。Caramel保持了Refllow模型的正确性，是硬件独立的，并且不需要任何用户级或框架级的更改。我们在TensorFlow上实现了Caramel，并表明在云环境中DNN训练的迭代时间可以提高3.62倍。
2020-04-29 cs.DC cs.LG cs.NI
