Towards a Distributed Federated Learning Aggregation Placement using Particle Swarm Intelligence
ÉTS Montréal / Université du Québec（蒙特利尔ÉTS/魁北克大学）；Islamic Azad University of Bojnord（伊斯兰Azad大学波尼尔分校）
针对分层半去中心化联邦学习中的分布式聚合放置问题，提出基于粒子群优化的Flag-Swap方法，仅依据处理延迟优化放置，仿真与真实实验表明其性能优于随机和均匀放置策略。
2025-04-22 cs.DC cs.LG cs.NE
Scaling Distributed Machine Learning with In-Network Aggregation
KAUST（沙特国王科技大学）；Microsoft（微软）；Barefoot Networks；University of Washington（华盛顿大学）
并行训练机器学习模型是越来越重要的工作量。我们加速分布式并行训练设计一个通信原语，使用可编程开关数据平面执行的训练过程中的一个关键步骤。我们的方法SwitchML通过聚合网络中多个工作者的模型更新来减少交换的数据量。我们与终端主机协议和ML框架共同设计了交换机处理，以提供一种高效的解决方案，为许多真实世界的基准模型加快了高达5.5 $\times$的训练。
2020-09-30 cs.DC cs.LG cs.NI
Hierarchical Aggregation Approach for Distributed clustering of spatial datasets
Insight Centre for Data Analytics School of Computer Science University College Dublin（都柏林大学学院计算机科学学院数据洞察中心）；School of Computer Science University College Dublin（都柏林大学学院计算机科学学院）
在本文中，我们提出了一种新的方法，分布式聚类的空间数据集，基于创新和有效的聚合技术。这种分布式方法包括两个阶段：1）局部聚类阶段，其中每个节点对其本地数据执行聚类，2）聚合阶段，其中局部聚类被聚合以产生全局聚类。这种方法的特点是，本地集群表示在一个简单而有效的方式。聚合阶段的设计使得最终的聚类是紧凑和准确的，而整个过程在响应时间和内存分配方面都是有效的。我们使用不同的数据集评估了这种方法，并将其与众所周知的聚类技术进行了比较。实验结果表明，该方法是非常有前途的，并优于所有这些算法
2018-02-01 cs.DB cs.DC cs.LG
Achieving Efficient Distributed Machine Learning Using a Novel Non-Linear Class of Aggregation Functions
Shanghai University of Electric Power（上海电力大学）；Choate Rosemary Hall（乔特罗斯玛丽中学）；Xiamen University（厦门大学）；Yale University（耶鲁大学）
时变网络上的分布式机器学习（DML）可以成为新兴的分散式ML应用（如自动驾驶和无人机飞行）的推动者。然而，在现有的DML系统中，常用的加权算术平均模型聚合函数可能会导致高模型损失，低模型精度，以及对时变网络的收敛速度慢。为了解决这个问题，在本文中，我们提出了一种新的非线性类的模型聚合函数，以实现有效的DML随时间变化的网络。而不是采取线性聚合的相邻模型，因为大多数现有的研究，我们的机制使用非线性聚合，加权幂p均值（WPM），作为聚合函数的本地模型从邻居。随后的优化步骤使用由Bregman发散定义的镜像下降来进行，该Bregman发散保持收敛到最优。在本文中，我们分析了性质的WPM和严格证明我们的聚合机制的收敛性。此外，通过大量的实验，我们表明，当p > 1时，我们的设计显着提高了模型的收敛速度和DML下的时变网络的可扩展性相比，算术平均聚合函数，几乎没有额外的计算开销。
2022-02-19 cs.DC cs.LG
Optimizing Smart Grid Aggregators and Measuring Degree of Privacy in a Distributed Trust Based Anonymous Aggregation System
智能电网是一种先进的向消费者供电的方法，可以缓解现有系统的局限性。它导致从最终用户到供应商的频繁的仪表读数传输。这种频繁的数据传输会带来隐私风险。已经提出了一些工作来解决这个问题，但不能确保隐私的最佳水平。这项工作是基于一个分布式的基于信任的数据聚合系统，利用秘密共享机制。在这项工作中，我们表明，{ \em三个聚合器}是足够的，以确保消费者的隐私在一个分布式的信任为基础的系统。我们在研究中利用匿名的思想，表明无论是主动攻击者还是被动攻击者都无法侵犯消费者的隐私。我们证明了我们的概念数学和基于加密游戏的机制。我们命名我们的新系统\emph{"Distributed Trust Based Anonymous System (DTBAS)"}。
2020-06-10 cs.CR cs.DC
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络（GNN）是为图结构数据定制的神经模型家族，并且在学习图结构数据的表示方面表现出优异的性能。然而，在大型图上训练GNN仍然具有挑战性，一个有前途的方向是分布式GNN训练，即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中，我们研究了分布式GNNs训练过程中的通信复杂性，并提出了一种简单的无损通信减少方法，称为通信前聚合（ABC）方法。ABC方法利用GNNs层的置换不变属性，并导致一种范式，其中顶点切割被证明比当前流行的范式（边缘切割）具有更好的通信性能。此外，我们表明，新的分区范例是特别理想的情况下，动态图，它是不可行的，以控制边缘的位置，由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
PF-OLA: A High-Performance Framework for Parallel On-Line Aggregation
在线聚合在实际处理期间提供对计算的最终结果的估计。一旦估计足够准确，用户就可以停止计算，通常在执行的早期。这允许对最大的数据集进行交互式数据探索。在本文中，我们介绍了并行在线聚合的第一个框架，估计几乎不会产生任何开销的实际执行。我们定义了一个通用的接口来表达任何评估模型，完全抽象的执行细节。我们设计了一个新的估计专门针对并行在线聚合。当由框架在大规模$8\text{TB}$ TPC-H实例上执行时，即使最终结果的基数比数据集大小小七个数量级，估计器也会在执行早期提供准确的置信界限，并且不会产生开销。
2013-02-20 cs.DB cs.DC
Efficient Multi-Worker Selection based Distributed Swarm Learning via Analog Aggregation
针对边缘大规模网络中资源受限与隐私风险问题，本文提出融合多工作者选择和OTA模拟聚合的DSL-OTA方法，提升通信效率与隐私性，并验证其收敛快、成本低且性能更优。
2025-10-20 cs.DC
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
Applied AI Institute（应用人工智能研究所）
本文提出Rennala NIGT和Malenia NIGT算法，通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率，理论和实验均优于现有方法。
2026-03-28 cs.DC cs.LG math.OC
Aggregation in the Mirror Space (AIMS): Fast, Accurate Distributed Machine Learning in Military Settings
Choate Rosemary Hall（乔特罗斯玛丽中学）；Shanghai University of Electric Power（上海电力大学）；Yale University（耶鲁大学）；Royal Air Force（皇家空军）
分布式机器学习（DML）可以是现代军事利用分布在多个有利位置的数据和设备来适应和学习的重要能力。然而，现有的分布式机器学习框架无法实现DML的全部好处，因为它们都是基于简单的线性聚合框架，但线性聚合无法处理军事环境中出现的$\textit{divergence challenges}$：不同设备处的学习数据可以是异构的（$\textit{i.e.}$，非IID数据），导致模型分歧，但设备通信的能力基本上受到限制（$\textit{i.e.}$，由于稀疏和动态通信导致的弱连接），降低了设备协调模型分歧的能力。在本文中，我们介绍了一种新的DML框架称为聚合在镜像空间（AIMS），允许一个DML系统引入一个通用的镜像函数映射到一个镜像空间的模型进行聚合和梯度下降。根据发散力调整镜像函数的凸性，AIMS允许DML的自动优化。我们进行严格的分析和广泛的实验评估，以证明AIMS的好处。例如，我们证明，AIMS实现了损失的$O\left((\frac{m^{r+1}}{T})^{\frac1r}\right)$后$T$网络范围的更新，其中$m$是设备的数量和$r$的镜像函数的凸性，与现有的线性聚合框架是一个特殊的情况下，与$r=2$。我们的实验评估使用EMANE（可扩展移动自组织网络仿真器）的军事通信设置显示了类似的结果：AIMS可以提高DML收敛速度高达57%，以及扩展到更多的设备与弱连接，所…
2022-10-28 cs.DC cs.LG
A Fast, Scalable, Universal Approach For Distributed Data Aggregations
在当前的大数据时代，数据工程已经成为许多科学分支的重要研究领域。人工智能（AI）的进步扩大了数据工程的范围，并在企业和研究界开辟了新的应用。聚合（在函数式编程中也称为reduce）是这些应用程序中不可或缺的功能。传统上，它们的目标是在大型数据集上生成有意义的信息，而今天，它们被用于为复杂的AI模型设计更有效的功能。聚合通常在数据抽象（如表/数组）之上执行，并与其他操作（如值分组）相结合。有些框架在上述领域中表现出色。但是，我们认为，数据分析工具必须能够与现有框架普遍集成，从而提高整个数据分析管道的生产力和效率。赛昂人努力填补这一空白。在本文中，我们提出了Cylon的快速和可扩展的聚合操作上实现的分布式内存表结构，普遍集成与现有的框架。
2020-12-15 cs.DC cs.IR
GradiVeQ: Vector Quantization for Bandwidth-Efficient Gradient Aggregation in Distributed CNN Training
University of Southern California（南加利福尼亚大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
数据并行可以提高卷积神经网络（CNN）的训练速度，但可能会受到梯度聚合导致的显著通信成本的影响。为了缓解这个问题，已经开发了几种标量量化技术来压缩梯度。但是，这些技术在与分散式聚合协议（如ring all-reduce（RAR））一起使用时可能表现不佳，主要是由于它们无法直接聚合压缩梯度。在本文中，我们经验性地证明了CNN梯度之间的强线性相关性，并提出了一种梯度矢量量化技术，命名为MARVeQ，利用这些相关性，通过主成分分析（PCA）大幅降低梯度维数。VeQ支持压缩梯度的直接聚合，因此允许我们构建一个分布式学习系统，将VeQ梯度压缩和RAR通信并行化。在流行的CNN上进行的大量实验表明，应用WARDVEQ将原始RAR的挂钟梯度聚合时间削减了5倍以上，而没有明显的准确性损失，并将端到端训练时间减少了近50%。实验结果还表明，该算法与量化SGD（Quantized SGD）等标量量化技术兼容，在相同压缩比下具有更高的加速增益。
2018-12-31 cs.DC cs.LG stat.ML
Computation-Aware Data Aggregation
数据聚集是分布式计算中的基本原理，其中网络计算每个节点的输入的函数。然而，虽然计算时间在现代系统中是不可忽略的，但是分布式计算的标准模型不考虑计算时间。相反，大多数分布式计算模型只明确考虑通信时间。本文介绍了一种分布式计算模型，该模型考虑了\emph{both}计算和通信，从而对数据聚集进行了理论上的处理。我们研究的结构和如何计算最快的数据聚集在这个模型中的时间表。作为我们的第一个结果，我们给出了一个多项式时间算法，当输入网络是一个完全图时，该算法计算最优调度。此外，由于人们可能希望通过预先存在的网络聚合数据，我们还研究了任意图上的数据聚合调度。我们证明，这个问题在任意图是很难近似的乘法$1.5$因素。最后，我们给出了任意图上该问题的一个$O(\log n \cdot \log \frac{\mathrm{OPT}}{t_m})$ -近似算法，其中$n$是节点数，$\mathrm{OPT}$是最优调度的长度。
2019-11-12 cs.DC cs.DS
Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers
College of Computer Science, Sichuan University（四川大学计算机学院）；School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology（瑞典皇家理工学院电气工程与计算机科学学院）；School of Robotics, Hunan University（湖南大学机器人学院）
本文利用带离群点的1-中心和1-均值聚类提出近最优弹性聚合规则，并设计两阶段弹性聚合框架，在图像分类实验中显著优于已有方法。
2024-03-31 cs.DC cs.LG
NEURON-Fabric: CXL-Side Low-Bit Gradient Aggregation for Distributed Training
Carleton University（卡尔顿大学）
提出NEURON-Fabric架构，在CXL内存控制器中实现低比特梯度聚合，通过G-Binary和G-Ternary方法减少通信量，同时保留FP32路径，在CIFAR-10/ResNet-18等任务上接近FP32精度，梯度流量降至3.6-5.4%。
2026-06-16 cs.DC
Heta: Distributed Training of Heterogeneous Graph Neural Networks
针对现有分布式GNN系统不适应异构图特性导致训练效率低的问题，提出Heta框架，采用关系聚合优先范式、新型图划分与GPU缓存策略，大幅提升分布式HGNN训练速度。
2024-08-20 cs.DC
DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家）
DisAgg通过分布式聚合器实现高效安全聚合，减少通信轮次和计算开销，提升10万维更新向量处理速度达4.6倍。
2026-05-13 cs.CR cs.DC cs.LG
A Biased Estimator for MinMax Sampling and Distributed Aggregation
University of Minnesota（明尼苏达大学）
提出有偏MinMax估计方案B-MinMax，通过增加偏差换取方差减小，在无聚合或小样本聚合场景下获得更低的MSE。
2024-04-26 cs.DC cs.LG stat.AP
Accelerating Distributed Deep Learning using Lossless Homomorphic Compression
UT Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）；Airbnb（爱彼迎）
提出一种无损同态压缩算法，将worker级压缩与网内聚合相结合，无需CPU/GPU处理即可高效聚合且不损失训练精度，在多种DNN模型上显著提升了聚合吞吐量和训练速度。
2024-02-12 cs.DC cs.DS cs.LG
Data-Distributed Weighted Majority and Online Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们专注于在线学习在多大程度上可以受益于分布式计算的问题。我们专注于设置中，$N$代理在线学习合作，每个代理只能访问自己的数据。我们提出了一个通用的数据分布式在线学习元算法。然后，我们介绍了分布式加权多数和分布式在线镜像下降算法，作为特例。我们表明，使用理论分析和实验，相比于一个单一的代理：给定相同的计算时间，这些分布式算法实现较小的泛化误差，并给予相同的泛化误差，他们可以快$N$倍。
2011-05-11 cs.DC cs.LG
Scalable and Differentially Private Distributed Aggregation in the Shuffled Model
Google Research（谷歌研究院）；IT University of Copenhagen（哥本哈根信息技术大学）
联邦学习通过使用安全聚合方法实现梯度下降，有望使机器学习在分布式私有数据集上变得可行。这个想法是计算全局权重更新，而不显示单个用户的贡献。当前用于安全聚合的实际协议在“诚实但好奇”的设置中工作，其中好奇的对手观察到所有去往和来自服务器的通信，无法获知任何私人信息，假设服务器是诚实的并且遵循协议。隐私保护协议的一个更可扩展和鲁棒的原语是用户数据的混洗，以便隐藏每个数据项的来源。用于混洗的高度可扩展和安全的协议，即所谓的混合网，已经被提出作为Bittau等人的编码-混洗-分析框架中的隐私保护分析的原语，后来Erlingsson等人和Cheu等人对其进行了分析研究。Cheu等人最近的论文，和Balle等人已经给出了用于安全聚集的协议，其在该“混洗模型”中实现了差分隐私保证。然而，他们的协议是有代价的：预期的聚合错误或每个用户的通信量都是用户数$n$的多项式$n^{Ω(1)}$。在本文中，我们提出了简单且更有效的洗牌模型聚合协议，其中通信和错误在$n$中仅呈多对数增加。我们的新技术是一种概念上的“隐形斗篷”，它使用户的数据几乎无法与随机噪声区分开来，同时在总和上引入零失真。
2019-12-02 cs.CR cs.DC cs.DS
3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation
KAUST（阿卜杜拉国王科技大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；ETH Zurich（苏黎世联邦理工学院）；MIPT（莫斯科物理技术学院）
我们提出并研究了一类新的梯度通信机制的通信效率的培训-三点压缩机（3 PC）-以及有效的分布式非凸优化算法，可以利用它们。与依赖于静态压缩机选择（例如，Top- $K$），我们的类允许压缩器在整个训练过程中{ \em进化}，目的是提高底层方法的理论通信复杂性和实际效率。我们表明，我们的一般方法可以恢复最近提出的最先进的错误反馈机制EF 21（Richtárik等人，2021）及其作为特例的理论性质，同时也引出了许多新的高效方法。值得注意的是，我们的方法允许我们改进{ \em惰性聚合}文献（Chen等人，2018年）。作为一个副产品，可能是独立的利益，我们提供了一个新的和根本的懒惰的聚合和错误反馈文献之间的联系。我们工作的一个特点是我们不要求压缩机是无偏的。
2022-02-02 cs.DC cs.DS cs.LG
Dynamic Approaches to In-Network Aggregation
小规模无线设备之间的协作取决于它们推断多个附近节点之间共享的属性的能力。特别是无线移动设备创建一个高度动态的环境，不利于分布式推理这样的全球属性。本文解决了这个问题的一个具体实例：分布式聚合。我们提出了扩展现有的非结构化聚合协议，使高度动态环境中的计数，总和和平均聚合的估计。通过修改后的协议，仅具有有限连接的设备可以保持对聚合的估计，而不管\textit{unexpected}对等体离开和到达。我们对这些聚合维护扩展的分析表明，尽管节点移动性很高，但它们在非结构化环境中仍然有效。
2008-10-17 cs.DB cs.DC cs.DS
TreeRedux: Separating Concerns in Spark's Distributed Tree Aggregation
University of Mississippi（密西西比大学）
TreeRedux 通过在执行器上增加终端最终化操作，将聚合状态映射为紧凑结果，避免在驱动程序上物化大型中间状态，从而解决 Spark 树聚合的内存瓶颈问题。
2026-09-09 cs.DC
DETOX: A Redundancy-based Framework for Faster and More Robust Gradient Aggregation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
为了提高分布式训练对最坏情况或拜占庭节点故障的恢复能力，最近的几种方法已经用鲁棒的聚合方法取代了梯度平均。这样的技术可能具有高计算成本，通常是计算节点数量的二次方，并且仅具有有限的鲁棒性保证。其他方法使用冗余来保证鲁棒性，但只能容忍有限数量的拜占庭故障。在这项工作中，我们提出了DETOX，拜占庭弹性分布式训练框架，结合了算法冗余与强大的聚合。DETOX分两个步骤操作，一个是过滤步骤，使用有限的冗余来显著减少拜占庭节点的影响，另一个是分层聚合步骤，可以与任何最先进的鲁棒聚合方法一起使用。我们从理论上表明，这导致了鲁棒性的大幅增加，并且具有在计算节点的数量上几乎是线性的每次迭代运行时间。我们在各种大规模机器学习任务的真实分布式设置上提供了广泛的实验，表明DETOX导致了许多最先进的拜占庭弹性方法的数量级精度和加速改进。
2020-03-08 cs.DC cs.LG stat.ML
Lattice Aggregation in Distributed Verification under Crash and Byzantine Failures
Posgrado en Ciencia e Ingeniería de la Computación, Universidad Nacional Autónoma de México（墨西哥国立自治大学计算机科学与工程研究生项目）；Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学工程系）；Instituto de Matemáticas, Universidad Nacional Autónoma de México（墨西哥国立自治大学数学研究所）
提出c-格聚合问题，用于崩溃和拜占庭故障下的分布式验证，通过冗余参数x建立可解性阈值，并给出匹配算法。
2026-06-15 cs.DC
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Microsoft（微软）；Nokia Bell Labs（诺基亚贝尔实验室）
联邦学习是一个很有前途的框架，用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本，并且可以提高隐私性，因为分布式站点不必透露隐私敏感数据。在本文中，我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法（ADMM），并检查其隐私的弱点。与以前的工作，使用差分隐私或同态加密的隐私，我们开发了一个协议，控制参与者之间的通信，在每一轮的聚合，以尽量减少隐私泄漏。我们建立了隐私保证，以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式，灵感来自组合块设计理论。我们的安全聚合协议的基础上，这种新的组通信模式的设计，导致一个有效的算法，联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明，我们的算法执行的标准集中式联邦学习方法，同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
A Fast Distributed Algorithm for Large-Scale Demand Response Aggregation
实施住宅需求响应的一个主要挑战是，调整许多家庭的目标，每个家庭的目标是尽量减少其支付和最大限度地提高其舒适度，同时平衡这与聚合器的目标，旨在尽量减少在集中批发市场购买电力的成本。本文提出了一种快速的分布式算法聚合大量的家庭与离散和连续的能量水平的混合。本文中的方法的一个显着特点是，非凸DR问题被分解的家庭，而不是设备，这允许将更复杂的耦合之间的能量存储设备，电器和分布式能源。该方法是一种快速分布式算法，适用于所采用的DR模型的双平滑对偶函数。该方法在多达2560个家庭的系统上进行了测试，每个家庭平均拥有10台设备。该算法的目的是终止在60次迭代，无论系统的大小，这可以是理想的在线版本的这个问题。此外，数值结果表明，与最小的参数调整，该算法表现出非常相似的收敛行为，在整个研究的系统，并收敛到近最优解，这证实了其可扩展性。
2016-03-01 cs.DC math.OC
Distributed Momentum for Byzantine-resilient Learning
Distributed Computing Laboratory (DCL), École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL）分布式计算实验室（DCL））
动量法是梯度下降的一种变体，因其在收敛方面的优势而被提出。在分布式环境中，动量可以在服务器端或工作端实现。当服务器使用的聚合规则是线性的时，加法的可交换性使两个部署等效。然而，鲁棒性和隐私是放弃线性聚合规则的动机之一。在这项工作中，我们证明了在工人侧使用动量的鲁棒性的好处。我们首先证明，在工人的计算动量降低了服务器的梯度估计的方差-范数比，加强拜占庭弹性聚合规则。然后，我们提供了一个广泛的实验演示的鲁棒性效果的工人侧动量分布式SGD。
2020-03-09 cs.CR cs.DC cs.LG
Distributed Protocols at the Rescue for Trustworthy Online Voting
虽然在线服务出现在生活的各个领域，但许多民主国家的投票程序仍然是基于纸张的，因为当前在线投票技术的安全性存在很大争议。我们解决的问题，值得信赖的在线投票协议，并因此回顾其信任假设的安全概念。受比特币协议的启发，分析了分布式在线投票协议的发展前景。没有可信的权威被假定为确保投票保密。此外，投票的完整性由所有投票者自己执行，并且没有最弱的链接，协议变得更加健壮。我们介绍了一个分类的概念分布在网上投票协议，我们适用于选定的网上投票协议。因此，基于区块链的协议似乎很有希望用于在线投票，因为它们与基于纸张的协议相似。
2017-05-12 cs.CR cs.DC
Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction
King’s College London（伦敦国王学院）
尽管联邦学习近年来取得了许多突破性进展，但学习环境的异构性极大地限制了其性能，阻碍了其在现实世界中的应用。异构数据、时变无线条件和计算有限的设备是三个主要挑战，这通常会导致训练过程不稳定和精度下降。在此，我们提出了应对这些挑战的战略。针对异构数据分布，我们提出了一种新的自适应混合聚合（AMA）方案，将前几轮的模型更新与当前轮混合，以避免大的模型偏移，从而保持训练稳定性。我们进一步提出了一种新的基于过时的加权方案的异步模型更新所造成的动态无线环境。最后，我们提出了一种新的CPU友好的计算减少计划的基础上迁移学习共享的特征提取器（FES），让计算有限的设备更新只有分类器。仿真结果表明，所提出的框架优于现有的最先进的解决方案，并提高了测试精度和训练稳定性分别高达2.38%，93.10%。此外，所提出的框架可以容忍的通信延迟高达15轮下的中等延迟环境下，没有显着的准确性下降。
2023-02-16 cs.DC cs.LG
Simplifying Distributed Neural Network Training on Massive Graphs: Randomized Partitions Improve Model Aggregation
University of Michigan（密歇根大学）；Amazon（亚马逊）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Microsoft（微软）
提出一种简化的分布式GNN训练框架，通过随机化分区和周期性模型聚合提升数据均匀性，在减少开销的同时实现优于基线的性能、2.31倍加速及更强鲁棒性。
2023-05-17 cs.DC cs.LG
Improving Dynamic Regret in Distributed Online Mirror Descent Using Primal and Dual Information
我们考虑分布式在线优化的问题，一组学习者通过动态通信图连接。学习器的目标是以分布式的方式跟踪时变损失函数之和的全局最小值。我们提出了一种新的算法，称为分布式在线镜像下降与多个平均决策和梯度共识（DOMD-MADGC），这是基于镜像下降，但结合了多个共识平均迭代局部梯度以及局部决策。其关键思想是允许局部学习器收集足够量的全局信息，这使它们能够更准确地近似时变全局损失，从而使它们能够随着时间的推移密切跟踪动态全局最小值。我们证明了DOMD-MADGC的动态后悔是由路径长度上界的，路径长度定义为连续最小值之间的累积距离。由此产生的界限改善现有的分布式在线算法的界限，并消除了显式依赖$T$。
2021-12-07 cs.DC math.OC
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Optimal Distributed Online Prediction using Mini-Batches
Microsoft Research（微软研究院）
在线预测方法通常呈现为在单个处理器上运行的串行算法。然而，在网络规模的预测问题的时代，它是越来越常见的情况下，遇到一个单一的处理器无法跟上输入到达的高速率。在这项工作中，我们提出了\emph{distributed mini-batch}算法，一种将许多串行基于梯度的在线预测算法转换为分布式算法的方法。我们证明了这种方法是渐近最优光滑凸损失函数和随机输入的遗憾界。此外，我们的分析明确考虑到在分布式环境中的节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题，实现了多个处理器的渐近线性加速。最后，我们展示了我们的方法的优点在网络规模的在线预测问题。
2012-01-31 cs.DC cs.LG math.OC
OrcoDCS: An IoT-Edge Orchestrated Online Deep Compressed Sensing Framework
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Virginia Tech（弗吉尼亚理工大学）
针对WSNs中现有压缩数据聚合框架灵活性和自适应性不足且忽略后续应用性能的问题，提出物联网-边缘协同的在线深度压缩感知框架OrcoDCS，利用非对称自编码器减少编码开销并提升重建性能，在训练时间、灵活性及后续应用性能上均优于现有方法。
2023-08-05 cs.DC cs.IT cs.LG
On Distributed Online Classification in the Midst of Concept Drifts
University of California（加州大学）
在这项工作中，我们分析了分布式在线学习算法在平稳和非平稳环境下的泛化能力。我们推导出界限的过度风险达到每个节点在一个连接的网络的学习者和研究的性能优势，扩散策略有超过个人的非合作处理。我们进行了大量的模拟来说明结果。
2013-01-01 cs.DC cs.LG cs.SI
CodedReduce: A Fast and Robust Framework for Gradient Aggregation in Distributed Learning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Southern California（南加利福尼亚大学）
我们专注于常用的同步梯度下降范式的大规模分布式学习，有越来越多的兴趣，开发高效和强大的梯度聚合策略，克服两个关键的系统瓶颈：通信带宽和掉队者的延迟。特别地，已经提出了Ring-AllReduce（RAR）设计，以通过允许每个工作者仅与布置在逻辑环中的其邻居通信来避免任何特定节点处的带宽瓶颈。另一方面，最近已经提出了梯度编码（GC），以减轻在主-工人拓扑中的掉队者，通过允许精心设计的冗余分配的数据集的工人。我们提出了一个联合通信拓扑设计和数据集分配策略，命名为CodedReduce（CR），结合了RAR和GC的优点。也就是说，它并行的树拓扑结构，导致有效的带宽利用率的通信，并仔细设计了一个冗余的数据集分配和编码策略的节点，使所提出的梯度聚合计划的强大的掉队者。特别是，我们量化的通信并行化增益和弹性的建议CR计划，并证明其最优性时，通信拓扑结构是一个规则的树。此外，我们的CR的预期运行时间的特点，并显示顺序明智的加速比基准计划。最后，我们通过Amazon EC2实证评估了我们提出的CR设计的性能，并证明它分别比基准GC和RAR实现了高达27.2倍和7.0倍的加速比。
2021-09-29 cs.DC cs.IT cs.LG
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
Gradient and Projection Free Distributed Online Min-Max Resource Optimization
University of Toronto（多伦多大学）
针对无先验信息的分布式在线最小-最大资源分配问题，提出无梯度无投影的DORA算法，推导非凸函数动态遗憾上界，实验验证其在带宽分配中更省时间。
2023-07-20 cs.AI cs.DC cs.IT
Online Distributed ADMM on Networks
研究了在线分布式乘子交替方向法。目标是在线性约束下，在决策者网络上分布式优化全局目标函数。全局目标函数由与每个代理相关联的凸费用函数组成。另一方面，当地的费用函数，假设已被分解成两个不同的凸函数，其中之一是揭示了决策者随着时间的推移和一个已知的先验。此外，代理必须通过线性约束在与私有局部变量相关的全局变量上达成共识。在这项工作中，我们将在线ADMM扩展到基于双平均和分布式梯度下降的分布式设置。然后，我们提出了一个性能指标，这样的在线分布式算法和探索的算法所产生的决策序列的性能相比，最好的固定的决定在事后。这种表现指标被称为社交遗憾。一个次线性上界的社会遗憾的算法，然后得到强调的作用，底层网络拓扑结构和某些条件的措施与线性约束。在线分布式ADMM算法，然后施加到一个编队捕获问题，证明了分布式机器人的应用程序，建议的设置。
2015-10-02 cs.DC cs.DS cs.MA
