RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data
University of Chinese Academy of Sciences（中国科学院大学）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
联邦学习是一种广泛使用的分布式深度学习框架，它通过交换模型参数而不是原始数据来保护每个客户端的隐私。然而，联邦学习存在通信成本高的问题，因为在训练过程中需要多次传输相当数量的模型参数，使得该方法效率低下，特别是在通信网络带宽有限的情况下。本文提出了RingFed，一种新的框架，以减少联邦学习的训练过程中的通信开销。与原始联邦学习中在中心服务器和每个客户端之间传输参数不同，在所提出的RingFed中，更新后的参数在每个客户端之间依次传输，并且仅将最终结果传输到中心服务器，从而大大减少了通信开销。在几次本地更新之后，客户端首先将其参数发送到另一个邻近的客户端，而不是直接发送到中心服务器，以进行预聚合。在两个不同的公开数据集上的实验表明，RingFed算法具有收敛速度快、模型精度高、通信代价低的特点。
2021-07-19 cs.DC cs.LG
Reducing Reconciliation Communication Cost with Compressed Sensing
我们考虑一个和解问题，其中两个主机希望同步各自的集。文献中已经提出了用于最小化两个主机之间的通信成本的有效解决方案。然而，它们依赖于关于要调和的两个集合之间的集合差异的大小的先验知识。在本文中，我们提出了一种方法，可以实现可比的效率，而无需假设这种先验知识。我们的方法使用压缩感知技术，可以利用集合差异中的预期稀疏性。我们通过理论分析和数值模拟研究了该方法的性能。
2012-12-05 cs.DC cs.IT math.IT
Distributed Learning with Low Communication Cost via Gradient Boosting Untrained Neural Network
对于高维数据，分布式GBDT存在巨大的通信开销，因为GBDT的通信量与特征的数量有关。为了克服这个问题，我们提出了一种新的梯度提升算法，梯度提升未经训练的神经网络（GBUN）。GBUN集成了未经训练的随机生成的神经网络，该网络将数据样本软分布到多个神经元输出，并大大降低了分布式学习的通信成本。为了避免对高维数据建立庞大的神经网络，我们扩展了Simhash算法来模拟神经网络的前向计算。我们在多个公共数据集上的实验表明，GBUN在预测精度方面与传统的GBDT一样好，并且在分布式学习的缩放特性方面要优于它。与传统的GBDT品种相比，GBUN在64台机器的集群上将训练过程加快了13倍，在100 KB/s网络带宽的集群上加快了4614倍。因此，GBUN不仅是一种高效的分布式学习算法，而且在联邦学习中具有很大的应用潜力。
2020-11-10 cs.DC cs.LG
Minimizing Communication for Eigenproblems and the Singular Value Decomposition
算法有两个成本：算术和通信。后者表示在存储器层次结构的级别之间或通过网络在处理器之间移动数据的成本。通信经常主导算术，并代表了总成本的比例迅速增加，所以我们寻求算法，最大限度地减少通信。在\cite{BDHS10}中，提出了基本上所有$O(n^3)$类线性代数算法所需的通信量的下界，包括本征值问题和SVD。传统的算法，包括目前在（Sca）LAPACK中实现的算法，执行比这些下界要求的渐近更多的通信。在本文中，我们提出了并行和顺序特征值算法（铅笔，非对称矩阵，和对称矩阵）和SVD算法，达到这些下界，并分析其收敛性和通信成本。
2010-11-13 cs.DC cs.MS cs.NA
A Reexamination of the Communication Bandwidth Cost Analysis of A Parallel Recursive Algorithm for Solving Triangular Systems of Linear Equations
本文重新审视了Wicky等人关于TRSM通信避免并行算法的带宽成本分析，指出其中存在不一致和计算错误，尤其是在按矩阵维度与处理器数量关系划分三种成本情形时，为该领域后续改进提供依据。
2024-04-10 cs.DC cs.DS cs.NA
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech（弗吉尼亚理工大学）
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决，即模型压缩、部分设备参与和周期性聚合，代价是增加训练方差。与传统的分布式学习系统不同，联邦学习存在数据异构性（因为设备从可能不同的分布中采样数据），这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响，而它们通常需要额外的通信资源来提供必要的控制信息。此外，数据隐私仍然是FL中的一个关键问题，因此已经有人尝试将差分隐私引入该框架，作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡，以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Algorithmics and Complexity of Cost-Driven Task Offloading with Submodular Optimization in Edge-Cloud Environments
本文研究边缘-云环境中成本驱动的任务卸载问题，提出通信假设并证明该问题可建模为子模最小化从而多项式可解，同时揭示其难度取决于通信假设是否成立。
2024-11-24 cs.CC cs.DC cs.DM
Unbiased Compression Saves Communication in Distributed Optimization: When and How Much?
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；AI for Science Institute（北京科学智能研究院）
本文首次从理论上刻画了分布式优化中无偏压缩对总通信成本的影响，证明独立无偏压缩器可将总通信成本最多降低Θ(√min{n,κ})倍，并给出紧的通信轮次下界。
2024-01-10 cs.DC cs.LG math.OC
Improving Performance Models for Irregular Point-to-Point Communication
并行应用程序往往无法充分利用新兴的并行架构，由于扩展的限制，这是由于进程间通信。性能模型用于分析通信成本的来源。然而，传统的点对点通信模型无法捕获许多不规则操作的全部成本，例如稀疏矩阵方法。本文提出了一种基于节点感知的模型。此外，该模型进行了扩展，包括通信队列搜索时间以及一个额外的参数估计网络竞争。由此产生的模型被应用到各种不规则的通信模式，在整个矩阵运算，显示出比传统模型更高的准确性。
2018-06-06 cs.DC
Reducing Communication in Algebraic Multigrid with Multi-step Node Aware Communication
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种并行多重网格方法，通过优化节点内通信减少通信开销，从而提升算法的弱标度和强标度性能。
2019-04-24 cs.DC cs.MS cs.NA
Communication cost of consensus for nodes with limited memory
受区块链和传感器网络应用的启发，我们考虑了一个$n$节点试图在其多数位上达成共识的模型。每个节点$i$在时间0被分配一个位，并且是具有存储器的$m$位的有限自动机（即，$2^m$状态）和泊松时钟。当$i$的时钟振铃时，$i$可以选择通信，然后匹配到统一选择的节点$j$。节点$j$和$i$可以基于另一个节点的状态来更新它们的状态。以前的工作集中在最小化达成共识的时间和错误的概率，而我们的目标是最小化通信的数量。我们表明，当$m>3 \log\log\log(n)$，共识可以达到线性通信成本，但这是不可能的，如果$m<\log\log\log(n)$。我们还研究了一个同步的模型，其中我们的上限和下限$m$实现线性通信成本分别为$2\log\log\log(n)$和$\log\log\log(n)$。一个关键步骤是区分节点何时可以意识到知道多数位并停止通信。我们表明，这是不可能的，如果他们的记忆太低。
2019-01-07 cs.DC cs.DS math.PR
Caching Techniques for Reducing the Communication Cost of Federated Learning in IoT Environments
Department of Electrical Engineering & Computer Science（电气工程与计算机科学系）；The University of Missouri（密苏里大学）
针对联邦学习通信瓶颈，本文提出 FIFO、LRU 和基于优先级的缓存策略，选择性转发重要模型更新，在 CIFAR-10 与医学数据集上以极小准确率损失降低通信开销。
2025-07-19 cs.AI cs.CV cs.DC
Federated Learning with Additional Mechanisms on Clients to Reduce Communication Costs
Tsinghua University（清华大学）
联邦学习（FL）支持通过由大量现代智能设备（如智能手机和IoT（物联网）设备）组成的分布式网络进行设备上训练。然而，在这样的设置中的主要优化算法，即，Federated Average（Federated Average）面临着沉重的通信成本和不可避免的性能下降，特别是当本地数据以非IID方式分布时。为了缓解这个问题，我们提出了两个潜在的解决方案，通过引入额外的机制，设备上的培训。第一个（FedMMD）是采用具有MMD（最大平均离散）约束的双流模型，而不是在设备上训练的vanilla FedAvg中的单个模型。实验表明，该方法优于基线，特别是在非IID FL设置，减少了超过20%的所需的通信轮。第二种是融合特征的FL（FedFusion）。通过聚合来自局部和全局模型的特征，我们以更少的通信成本实现了更高的准确性。此外，特征融合模块为新进入的客户端提供更好的初始化，从而加快收敛过程。在流行的FL场景中的实验表明，我们的FedFusion在准确性和泛化能力方面都优于基线，同时将所需的通信轮数减少了60%以上。
2019-09-01 cs.DC cs.LG stat.ML
Communication efficient privacy-preserving distributed optimization using adaptive differential quantization
隐私问题和通信成本都是分布式优化中的主要问题。它们之间通常存在权衡，因为隐私保护所需的加密方法通常会导致昂贵的通信带宽。为了解决这个问题，我们，在本文中，提出了一种基于量化的方法来实现通信效率和隐私保护的解决方案的背景下，分布式优化。通过部署自适应差分量化方案，我们允许网络中的每个节点以较低的通信成本实现其最佳解决方案，同时保持其私有数据不被泄露。此外，所提出的方法是通用的，可以应用于各种分布式优化方法，如原始对偶乘法器（PDMM）和交替方向乘法器（ADMM）。移动，我们考虑两个广泛使用的对手模型：被动和窃听。最后，我们调查所提出的方法使用不同的应用程序的属性，并证明其优越的性能，包括准确性，隐私和通信成本的几个参数。
2021-05-30 cs.DC eess.SP
Reactive Orchestration for Hierarchical Federated Learning Under a Communication Cost Budget
Faculty of Electrical Engineering and Computing, University of Zagreb（Zagreb大学电气工程与计算学院）；Distributed Systems Group, TU Wien（TU Wien分布式系统组）
提出一种自适应编排 HFL 流水线的响应式框架，基于多级监控信息在通信成本预算内动态重配置并平衡成本与模型准确率，通过扩展 Kubernetes 实现对环境变化的快速响应。
2025-04-28 cs.DC cs.LG cs.NI
Geometric Lower Bounds for Distributed Parameter Estimation under Communication Constraints
我们认为在分布式网络中的参数估计，其中网络中的每个传感器观察到一个独立的样本从一个底层的分布，并有$k$位通信的样本到一个集中的处理器计算所需的参数估计。我们开发了一个大类的损失和分布的极小极大风险估计的基本参数的下界。我们的研究结果表明，在温和的规则性条件下，通信约束减少了有效样本量的一个因素$d$时，$k$是小的，其中$d$是估计参数的维数。此外，该惩罚最多随着$k$的增加而指数地减小，这是某些模型的情况，例如，估计高维分布。然而，对于其他模型，我们表明，重新介导的样本大小的减少，只有线性增加$k$，例如，当一些亚高斯结构是可用的。我们将我们的结果应用到分布设置与产品伯努利模型，多项式模型，高斯位置模型，和逻辑回归恢复或加强现有的结果。我们的方法显着偏离现有的方法开发信息理论的通信效率估计的下限。我们规避了需要强有力的数据处理不平等在以前的工作中使用，并开发了一种几何方法，它建立在一个新的表示的通信约束。这种方法使我们能够加强和推广现有的结果更简单，更透明的证明。
2021-07-22 cs.DC cs.IT math.IT
A Coded Shared Atomic Memory Algorithm for Message Passing Architectures
本文考虑了分布式消息传递系统中模拟原子（可线性化）多写多读共享内存的通信和存储开销。本文的主要贡献有三个：（1）提出了一种原子共享存储仿真算法，我们称之为编码原子存储（CAS）。该算法使用纠删编码方法。在存储系统中的$N$服务器是弹性的$f$服务器故障，我们表明，CAS的通信成本是$\frac{N}{N-2f}$。CAS的存储成本是无限的。(2)我们提出了一个修改的CAS算法称为CAS与垃圾回收（CASGC）。CASGC算法由整数$δ$参数化，并且具有有限的存储成本。我们表明，在每一个执行的写操作是并发的读操作的数量不大于$δ$，参数$δ$的CASGC算法满足原子性和活性。我们明确地描述了CASGC的存储成本，并表明它具有相同的通信成本CAS。(3)我们描述了一种算法称为通信成本最优原子存储（CCOAS）算法，实现了比CAS和CASGC更小的通信成本。具体地，CCOAS引起$\frac{N}{N-f}$的读写通信成本，该成本是根据对象值的数量来测量的。并讨论了CCOAS与CAS和CASGC相比的不足之处。
2014-07-15 cs.DC cs.IT math.IT
A Distributed Frank-Wolfe Algorithm for Communication-Efficient Sparse Learning
Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）；University of Southern California（南加利福尼亚大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
稀疏组合学习是机器学习中的一个常见主题。在本文中，我们研究了其相关的优化问题，在分布式设置的元素被组合不是集中位于，但分布在网络上。我们解决了平衡通信成本和优化错误的关键挑战。为此，我们提出了一个分布式的Frank-Wolfe（dFW）算法。我们得到的优化误差$ε$和通信成本，不依赖于合并元素的总数的理论保证。我们进一步表明，dFW的通信成本是最佳的，通过推导出一个下界的通信成本所需的构建一个$ε$近似的解决方案。我们验证了我们的理论分析与实证研究的合成和真实世界的数据，这表明dFW优于基线和竞争的方法。我们还研究了dFW的性能时，我们的分析条件放宽，并表明，dFW是相当强大的。
2015-01-12 cs.AI cs.DC cs.LG
Graph Expansion and Communication Costs of Fast Matrix Multiplication
算法的通信成本（也称为I/O复杂度）与相应计算图的扩展特性密切相关。我们证明了这对Strassen的和其他快速矩阵乘法算法，并获得第一个下界的通信成本。在顺序情况下，其中处理器具有大小为$M$的快速存储器，其太小而不能存储三个$n$ × $n$矩阵，对于许多矩阵乘法算法，在快速和慢速存储器之间移动的字的数目的下限是$Ω((\frac{n}{\sqrt M})^{ω_0}\cdot M)$，其中$ω_0$是算术计数中的指数（例如，用于Strassen的$ω_0 = \lg 7$和用于常规矩阵乘法的$ω_0 = 3$）。对于$p$并行处理器，每个处理器具有大小为$M$的快速存储器，下限小$p$倍。这些界限是可达到的顺序和并行算法，因此最佳的。这些界限也可以通过线性代数中的许多快速算法来获得（例如，用于LU、QR和求解Sylvester方程的算法）。
2011-09-08 cs.CC cs.DC cs.DS
