Communication-Efficient Distributed Learning via Sparse and Adaptive Stochastic Gradient
本文提出通信高效的分布式算法SASG，通过自适应聚合规则动态选择通信节点并对传输梯度进行稀疏化，在保持与SGD相同的次线性收敛速率的同时显著降低通信轮次和通信比特数。
2024-06-09 cs.DC
A Distributed Frank-Wolfe Algorithm for Communication-Efficient Sparse Learning
Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）；University of Southern California（南加利福尼亚大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
稀疏组合学习是机器学习中的一个常见主题。在本文中，我们研究了其相关的优化问题，在分布式设置的元素被组合不是集中位于，但分布在网络上。我们解决了平衡通信成本和优化错误的关键挑战。为此，我们提出了一个分布式的Frank-Wolfe（dFW）算法。我们得到的优化误差$ε$和通信成本，不依赖于合并元素的总数的理论保证。我们进一步表明，dFW的通信成本是最佳的，通过推导出一个下界的通信成本所需的构建一个$ε$近似的解决方案。我们验证了我们的理论分析与实证研究的合成和真实世界的数据，这表明dFW优于基线和竞争的方法。我们还研究了dFW的性能时，我们的分析条件放宽，并表明，dFW是相当强大的。
2015-01-12 cs.AI cs.DC cs.LG
Distributed Learning with Sparse Communications by Identification
在大规模学习的分布式优化中，一个主要的性能限制来自不同实体之间的通信。当计算是由工人对本地数据，而协调机器协调其更新，以最大限度地减少全局损失时，我们提出了一个异步优化算法，有效地减少了协调员和工人之间的通信。这种减少来自于局部更新的随机稀疏化。我们表明，该算法在强凸的情况下线性收敛，并确定最佳的强稀疏解决方案。我们进一步利用这种识别提出了一个自动降维，适当稀疏协调员和工人之间的所有交流。
2020-06-25 cs.DC math.OC
SHIRO: Near-Optimal Communication Strategies for Distributed Sparse Matrix Multiplication
Institute of Science Tokyo（东京科学大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Intel Corporation（英特尔公司）
本文提出SHIRO框架，通过细粒度稀疏感知通信策略和分层通信策略，减少通信开销，提升分布式稀疏矩阵乘法的性能与可扩展性。
2026-05-13 cs.DC cs.PF
Arrow Matrix Decomposition: A Novel Approach for Communication-Efficient Sparse Matrix Multiplication
本文提出将稀疏矩阵分解为少量 Arrow 矩阵并利用置换连接，实现通信避免的稀疏矩阵乘法，在数亿行矩阵上优于现有方法，具有近线性扩展性。
2024-03-20 cs.DC
CFL-SparseMed: Communication-Efficient Federated Learning for Medical Imaging with Top-k Sparse Updates
University of Helsinki（赫尔辛基大学）；Shoolini University（Shoolini大学）；King Khalid University（国王 Khalid 大学）
针对医学影像集中式分类的隐私问题及联邦学习的非独立同分布数据异构、高通信成本痛点，提出采用Top-k稀疏化的CFL-SparseMed方法，仅传前k个梯度降开销，兼顾精度与隐私，提升医学诊断效率。
2025-10-25 cs.CV cs.DC cs.LG
LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging
KAUST（卡塔尔科技大学）
本文研究了在异构计算环境下结合通信压缩、局部训练和通信-计算重叠的局部SGD方法，提出LOSCAR-SGD通过仅通信稀疏模型坐标并持续优化来提高分布式学习效率，首次给出了这种组合方法的理论保证。
2026-05-20 cs.DC cs.LG math.OC
Reducing Communication in Graph Neural Network Training
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
图神经网络（GNN）是一种强大而灵活的神经网络，它使用数据的自然稀疏连接信息。GNN将这种连接表示为稀疏矩阵，与密集矩阵相比，稀疏矩阵具有较低的算术强度，因此通信成本较高，这使得GNN比卷积或全连接神经网络更难扩展到高并发。我们介绍了一系列用于训练GNN的并行算法，并表明与以前的并行GNN训练方法相比，它们可以渐进地减少通信。我们实现了这些算法，这是基于1D，1.5D，2D和3D稀疏密集矩阵乘法，使用火炬。分布在配备GPU的集群。我们的算法优化了整个GNN训练管道的通信。我们在多个数据集上的100多个GPU上训练GNN，包括具有超过10亿条边的蛋白质网络。
2020-09-02 cs.DC cs.LG stat.ML
Bounded Languages Meet Cellular Automata with Sparse Communication
元胞自动机是相互关联的有限自动机的一维阵列。我们调查的最弱的类之一，实时单向元胞自动机，并施加额外的限制，其细胞间的通信，通过限制允许使用的细胞之间的链接的数量。此外，我们考虑的设备作为有界语言的接受者，以探索边界的非平凡的可判定性问题的细胞自动机类成为可判定的。它示出，即使设备大大减少通信，也就是说，每两个相邻的细胞可能只经常通信，接受有界语言，不是半线性的。如果通信的数量在输入的长度上至少是对数的，那么有几个问题是不可判定的。对于在计算期间通信的总数是线性有界的类，得到相同的结果。
2009-07-29 cs.DC cs.FL
Communication-Avoiding Optimization Methods for Distributed Massive-Scale Sparse Inverse Covariance Estimation
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Berkeley Institute for Data Science, UC Berkeley（加州大学伯克利分校伯克利数据科学研究所）；UC Santa Barbara（加州大学圣塔芭芭拉分校）；Google Brain（谷歌大脑）
在各种科学学科中，稀疏逆协方差估计是用于捕获多变量数据中的潜在依赖关系的流行工具。不幸的是，大多数估计器的可扩展性不足以处理现代高维数据集的大小（通常为TB级），并假设高斯样本。为了解决这些不足，我们引入HP-CONCORD，一个高度可扩展的优化方法，用于估计稀疏逆协方差阵的基础上正则化的pseudolikestry框架，而不假设高斯。我们的并行邻近梯度方法使用了一种新型的通信避免线性代数算法，并在多达1 k个节点（24 k个核心）的多节点集群上运行，实现了高达8190亿个参数（128万个维度）的问题的并行可扩展性;即使在单个节点上，HP-CONCORD也表现出可扩展性，优于最先进的方法。我们还使用HP-CONCORD从fMRI数据中估计大脑的潜在依赖结构，并使用结果自动识别功能区域。结果显示出良好的协议，从神经科学文献的聚类。
2018-04-08 cs.DC cs.LG stat.ML
Load Balancing Using Sparse Communication
本研究提出感知通信的负载均衡框架与基于状态近似的算法，通过新型通信协议用稀疏通信实现准确队列近似，经理论证明和仿真验证，在降低90%通信量的同时达到甚至超越现有最优算法性能。
2024-05-23 cs.DC cs.SY eess.SY
Scaling betweenness centrality using communication-efficient sparse matrix multiplication
介数中心性（BC）是一个重要的图问题，它通过穿过顶点的最短路径的数量来衡量顶点的重要性。我们提出了最大边界介数中心性（MFBC）：一种基于新颖的稀疏矩阵乘法例程的简洁BC算法，其在$p$处理器上执行比最佳已知替代方案少$p^{1/3}$倍的通信，对于具有$n$顶点和平均度$k=n/p^{2/3}$的图。我们制定，实施，并证明了MFBC的正确性加权图利用幺半群，而不是半环，这使得一个令人惊讶的简洁的配方。MFBC的规模非常稀疏和相对密集的图形。它自动搜索分布式数据分解和稀疏矩阵乘法算法的空间，以获得最有利的配置。MFBC实现的性能比著名的CombBLAS库高出8倍，并显示出更强大的性能。我们的设计方法很容易扩展到其他图形问题。
2017-08-09 cs.DC cs.DM cs.MS
SparDL: Distributed Deep Learning Training with Efficient Sparse Communication
College of Computer Science, Zhejiang University（浙江大学计算机学院）
针对分布式深度学习Top-k稀疏化中的稀疏梯度累积困境，提出SparDL框架，通过Spar-Reduce-Scatter、Spar-All-Gather和全局残差收集算法实现高效稀疏通信与快速收敛。
2024-02-23 cs.DC cs.LG
Communication-Efficient Federated Learning via Regularized Sparse Random Networks
Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）；EURECOM（欧洲通信研究中心）；CICT Mobile Communications Technology Co. Ltd.（中国通信建设集团移动通信技术有限公司）；China Academy of Telecommunications Technology (CATT)（中国电信技术研究院）
针对随机联邦学习中交换浮点权重导致的高通信与存储开销，提出在局部目标中加入掩码熵代理正则项以学习稀疏二元掩码，实现每参数至多1比特传输，并在准确率损失极小的情况下将通信和内存效率提升最高五个数量级。
2024-02-28 cs.CV cs.DC cs.DS
Sparse Communication for Distributed Gradient Descent
University of Edinburgh（爱丁堡大学）
我们通过交换稀疏更新而不是密集更新来使分布式随机梯度下降更快。梯度更新是正偏态的，因为大多数更新都接近零，所以我们将99%的最小更新（按绝对值）映射到零，然后交换稀疏矩阵。这种方法可以与量化相结合，以进一步提高压缩。我们探索不同的配置，并将其应用于神经机器翻译和MNIST图像分类任务。大多数配置在MNIST上工作，而不同的配置降低了更复杂的翻译任务的收敛速度。我们的实验表明，我们可以在MNIST上实现高达49%的速度，在NMT上实现22%的速度，而不会损害最终的准确性或BLEU。
2017-07-24 cs.CL cs.DC cs.LG
High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
针对大规模分布式训练中通信成本高、现有方法更新发散且难处理高维稀疏性的问题，提出通信高效的分布式逻辑回归方案，仅需少量更新即可大幅提升准确率，运行速度更优。
2024-07-08 cs.DC cs.LG stat.ML
Sparse Binary Compression: Towards Distributed Deep Learning with minimal Communication
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
目前，越来越大的深度神经网络是在不断增长的数据语料库上训练的。由于这种趋势在未来只会增加，分布式训练方案变得越来越重要。分布式训练中的一个主要问题是贡献节点之间有限的通信带宽或通常过高的通信成本。随着计算节点数量的增加，这些挑战变得更加紧迫。为了抵消这种发展，我们提出了稀疏二进制压缩（SBC），一个压缩框架，可以大大减少分布式训练的通信成本。SBC将现有的通信延迟和梯度稀疏化技术与新的二值化方法和最佳权重更新编码相结合，将压缩增益推向新的极限。通过这样做，我们的方法还允许我们平滑地权衡梯度稀疏性和时间稀疏性，以适应学习任务的要求。我们的实验表明，SBC可以将各种卷积和递归神经网络架构上的上游通信减少四个数量级以上，而不会显著损害前向-后向传递的收敛速度。例如，我们可以在ImageNet上使用$\times 3531$更少的位以相同的迭代次数将ResNet训练到基线精度，或者使用$\times 37208$更少的位将其训练到$1\%$更低的精度。在后一种情况下，每个参与客户端所需的上行通信总量从125 TB减少到3.35 GB。
2018-05-22 cs.AI cs.DC cs.LG
Distributed Sparse SGD with Majority Voting
Ozyegin University（厄兹耶金大学）；Imperial College London（帝国理工学院）
分布式学习，特别是分布式随机梯度下降（DSGD）的变体，被广泛用于通过利用多个工作者的计算资源来加速训练。然而，在实践中，由于需要在工作器和参数服务器之间交换大量信息，通信延迟成为瓶颈。缓解通信瓶颈的最有效策略之一是top-K稀疏化。然而，top-K稀疏化需要额外的通信负载来表示稀疏模式，并且工作者的稀疏模式之间的不匹配阻碍了高效通信协议的利用。为了解决这些问题，我们引入了一种新的基于多数表决的稀疏通信策略，在该策略中，工作人员首先寻求稀疏表示结构上的共识。这种策略提供了一个显着减少通信负载，并允许在两个通信方向上使用相同的稀疏水平。通过对CIFAR-10数据集的广泛模拟，我们证明了在测试精度没有任何损失的情况下，可以实现高达x4000的压缩。
2020-11-12 cs.DC cs.IT cs.LG
Better Process Mapping and Sparse Quadratic Assignment
通信和拓扑感知进程映射是一种有效的方法，可以减少大型分布式内存系统上具有已知通信模式的并行应用程序的通信时间。我们解决的问题，作为一个二次分配问题（QAP），并提出算法来构建初始映射的进程处理器，快速局部搜索算法，以进一步提高映射。通过利用假设，通常持有的应用程序和现代超级计算机系统，如稀疏的通信模式和分层组织的通信系统，我们获得这些特殊的QAP更强大的算法。我们的多级构造算法采用完全平衡的图划分技术，并利用给定的通信系统层次结构的显着方式。我们对Brandfass等人（2013）的局部搜索算法进行了改进，并通过减少分配中执行交换所需的时间以及仔细约束局部搜索邻域来进一步减少运行时间。我们还研究了不同的算法来创建映射到处理器网络的通信图。实验表明，我们的算法不仅大大加快了局部搜索，但由于多级方法也找到更好的解决方案在实践中。
2019-07-22 cs.DC cs.DS
PacTrain: Pruning and Adaptive Sparse Gradient Compression for Efficient Collective Communication in Distributed Deep Learning
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
PacTrain通过剪枝与稀疏梯度压缩结合，在保持精度的同时加速分布式训练，实验显示吞吐量提升1.25至8.72倍。
2025-05-24 cs.AI cs.DC
Sparse-SignSGD with Majority Vote for Communication-Efficient Distributed Learning
Pohang University of Science and Technology（浦项科技大学）；Korea University（高丽大学）
通过使用分布式优化，可以显著提高复杂深度学习模型的训练效率。然而，这个过程经常被迭代期间工作者和参数服务器之间的大量通信成本所阻碍。为了解决这个瓶颈，在本文中，我们提出了一种新的通信高效算法，该算法提供了稀疏化和符号量化的协同优势，称为${\sf S}^3$ GD-MV。${\sf S}^3$ GD-MV中的工作器选择其本地梯度向量的顶部$K$幅度分量，并且仅将这些分量的符号发送到服务器。然后，服务器聚集这些符号，并通过多数投票规则返回结果。我们的分析表明，在某些温和的条件下，如果基于工人的数量和深度学习模型的大小适当选择稀疏化参数$K$，则${\sf S}^3$ GD-MV可以以与signSGD相同的速率收敛，同时显著降低通信成本。使用独立同分布（IID）和非IID数据集的实验结果表明，${\sf S}^3$ GD-MV达到更高的准确性比signSGD，显着降低通信成本。这些发现突出了${\sf S}^3$ GD-MV作为深度学习中通信高效分布式优化的有前途的解决方案的潜力。
2023-02-15 cs.DC cs.LG math.OC
Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets
Purdue University（普渡大学）；IMEC（IMEC（微电子研究中心））；University of California Berkeley（加州大学伯克利分校）
当前的深度学习（DL）系统依赖于集中式计算范例，这限制了可用训练数据的量，增加了系统延迟，并增加了隐私和安全约束。通过对等无线连接的边缘设备上的DL模型的分散和分布式训练实现的设备上学习不仅缓解了上述限制，而且还使需要DL模型的下一代应用程序能够持续交互并从其环境中学习。然而，这需要开发新的训练算法，该训练算法在时变和有向对等图结构上训练DL模型，同时最小化设备之间的通信量并且还对非IID数据分布有弹性。在这项工作中，我们提出，稀疏推送，一个通信效率高的分散式分布式训练算法，支持训练的对等，有向和随时间变化的图形拓扑结构。当在CIFAR-10数据集上训练各种DL模型（如ResNet-20和VGG 11）时，所提出的算法能够将通信减少466倍，性能仅下降1%。此外，我们演示了如何通信压缩可以导致显着的性能下降的情况下，非IID数据集，并提出倾斜补偿稀疏推送算法，恢复这种性能下降，同时保持类似的通信压缩水平。
2021-02-12 cs.AI cs.CV cs.DC
Hypergraph Partitioning for Sparse Matrix-Matrix Multiplication
稀疏矩阵-矩阵乘法（SpGEMM）是科学计算和数据分析中的一个关键计算核心，其性能往往受通信约束，本文提出了一种细粒度超图模型.该模型正确地描述了并行计算中沿关键路线的处理器间通信量和顺序计算中通过存储层次结构移动的数据量。我们发现，确定特定的输入矩阵的通信最优算法是等价于解决超图划分问题。我们的方法是稀疏依赖的，这意味着我们寻求最好的算法给定的输入矩阵。除了我们的（3D）细粒度模型，我们还提出了粗粒度的1D和2D模型，对应于更简单的SpGEMM算法。我们从理论上探讨我们的模型之间的关系，我们研究他们的性能实验的背景下，使用SpGEMM作为一个关键计算的应用程序。对于每个应用程序，我们发现，至少有一个粗粒度的模型是通信效率的细粒度的模型。我们还观察到，不同的应用程序有不同的算法的亲和力。我们的研究结果表明，超图是一个准确的模型推理的通信成本的SpGEMM以及探索SpGEMM算法设计空间的实用工具。
2016-03-17 cs.DC
FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models
King Abdullah University of Science and Technology (KAUST)（国王阿卜杜勒-阿齐兹大学科学与技术学院）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（SDAIA-KAUST数据科学与人工智能卓越中心）
针对联邦学习通信瓶颈，提出FedComLoc方法，将压缩技术集成到Scaffnew算法中，通过TopK压缩与量化在异构环境下显著降低通信开销。
2025-09-10 cs.AI cs.DC cs.LG
Node Aware Sparse Matrix-Vector Multiplication
稀疏矩阵向量乘（SpMV）运算是许多仿真和线性求解器中的关键计算内核。与并行SpMV的参考实现相关联的大的通信要求导致差的并行可扩展性。通信成本取决于发送和接收进程的物理位置：注入网络的消息比在同一节点上的进程之间发送的消息成本更高。在本文中，一个节点感知并行SpMV（NAPSpMV）被引入到利用系统拓扑结构的知识，特别是节点处理器的布局，以减少与通信相关的成本。输入向量的值被重新分配，以最小化在SpMV期间注入网络的消息的数量和大小，从而降低通信成本。各种计算实验，突出了这种方法的效率。
2017-11-15 cs.DC cs.MS
SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead
Virginia Tech（弗吉尼亚理工大学）；Khalifa University（哈利法大学）；Kyung Hee University（庆熙大学）
针对联邦学习通信与计算开销高的问题，提出 SpaFL 框架，通过可训练阈值实现结构化剪枝并仅传输阈值，推导泛化界，且实验证明其更省资源并提升准确率。
2024-12-10 cs.AI cs.DC cs.LG
Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
针对分布式线性模型通信成本高且单轮通信近似随机器增多而退化的问题，本文提出新技术ACOWA，通过增加一轮通信在略微增加运行时间下显著提升近似质量，在稀疏分布式逻辑回归中实现了更高准确率。
2024-06-03 cs.DC cs.LG stat.ML
SparseRL-Sync: Lossless Weight Synchronization with ~100x Less Communication
Scitix
本文提出SparseRL-Sync，通过稀疏更新方案减少大规模强化学习中权重同步的通信开销，利用参数稀疏性实现100倍的数据传输减少，提升带宽受限和高异步场景下的可扩展性与效率。
2026-05-08 cs.AI cs.DC cs.LG
Sparse Allreduce: Efficient Scalable Communication for Power-Law Data
University of California Berkeley（加州大学伯克利分校）
许多大型数据集表现出幂律统计：Web图，社交网络，文本数据，点击数据等，它们的邻接图被称为自然图，并且已知难以划分。因此，这些图上的大多数分布式算法都是通信密集型的。自然图上的许多算法都涉及Allreduce：分区数据的总和或平均值，然后共享回集群节点。例子包括PageRank、谱划分和许多机器学习算法，包括回归、因子（主题）模型和聚类。在本文中，我们描述了一个有效的和可扩展的Allreduce原语的幂律数据。我们指出现有的蝴蝶和循环网络稀疏Allreduce的缩放问题，并表明，一种混合的方法，提高了两者。此外，我们表明，稀疏Allreduce阶段应该嵌套，而不是级联（如在密集的情况下）。最佳吞吐量的Allreduce网络应该是一个异度的蝴蝶，异度随着网络深度的增加而减小。最后，一个简单的复制计划，介绍了处理节点故障。我们目前的实验显示显着的改进，如PowerGraph和Hadoop的现有系统。
2013-12-11 cs.AI cs.DC cs.MS
Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach
Iowa State University（爱荷华州立大学）
随着机器学习（ML）的兴起和智能移动设备的激增，近年来人们对在无线边缘网络中执行ML的兴趣激增。在本文中，我们考虑共同提高分布式边缘学习的数据隐私和通信效率的问题，这两者都是无线边缘网络计算中的关键性能指标。为此，我们提出了一种新的分散随机梯度方法与稀疏差分高斯掩蔽随机梯度（SDM-DSGD）的非凸分布边缘学习。我们的主要贡献是三方面的：i）我们从理论上建立了我们的SDM-DSGD方法的隐私和通信效率的性能保证，它优于所有现有的工作; ii）我们表明，与现有技术相比，SDM-DSGD将基本的训练隐私权衡提高了{ \em两个数量级}。我们揭示了理论的见解，并提供实用的设计准则之间的相互作用的隐私保护和通信效率，两个相互冲突的性能目标。我们在MNIST和CIFAR-10数据集上使用各种学习模型进行了广泛的实验，以验证我们的理论发现。总的来说，我们的研究结果有助于分布式边缘学习的理论和算法设计。
2020-03-28 cs.CR cs.DC cs.LG
Increasing the Efficiency of Sparse Matrix-Matrix Multiplication with a 2.5D Algorithm and One-Sided MPI
矩阵-矩阵乘法是线性代数中的基本运算，也是各种科学领域中广泛算法的重要组成部分。理论和实现的密集，方阵的情况下是发达国家。如果矩阵是稀疏的，具有特定于应用程序的稀疏模式，那么最佳实现仍然是一个悬而未决的问题。在这里，我们探讨了通信减少2.5D算法和单边MPI通信的线性标度电子结构理论的背景下的性能。特别是，我们扩展了DBCSR稀疏矩阵库，这是线性标度电子结构理论和低标度相关方法在CP 2K的基本构建块。该库专门设计用于有效地执行占用相对较大的矩阵的块稀疏矩阵-矩阵乘法。在这里，我们比较了性能的基础上，大炮的算法和MPI点对点通信的原始实现，与基于MPI单边通信（RMA）的实现，在2D和2.5D的方法。2.5D方法用内存和辅助操作来减少通信，如果通信占主导地位，这可能会导致加速。2.5D算法在单边通信中更容易实现。的实施提供了详细的描述，也为非理想的处理器拓扑结构，因为这是重要的实际应用。考虑到精确稀疏模式的重要性，甚至是决定乘法时有效填充的实际矩阵数据，测试在CP 2K包中使用应用程序基准进行。结果显示，基于RMA的2.5D算法的性能大幅提高，高达1.80倍，这是观察到的并行化中所涉及的进程的数量增加。
2017-05-29 cs.DC cs.MS
Clownfish: Scaling DAG-based BFT Consensus via Sparse Edges
Tsinghua University（清华大学）
提出Clownfish协议，通过稀疏化DAG中的边来降低通信复杂度，实现可扩展的基于DAG的BFT共识。
2026-06-03 cs.DC
Time-Correlated Sparsification for Communication-Efficient Federated Learning
Imperial College London（帝国理工学院）；Ozyegin University（奥兹耶金大学）
联邦学习（FL）使多个客户端能够协作训练共享模型，而无需公开其本地数据集。这通过在参数服务器（PS）的帮助下交换本地模型更新来实现。然而，由于训练的模型的大小增加，由于客户端和PS之间的迭代交换的通信负载往往成为性能的瓶颈。稀疏通信通常用于减少通信负载，其中仅将模型更新的一小部分从客户端传送到PS。在本文中，我们介绍了一种新的时间相关稀疏化（TCS）计划，它建立在稀疏通信框架可以被认为是识别底层模型的最重要的元素的概念。因此，TCS寻求在FL中连续迭代时使用的稀疏表示之间的某种相关性，使得由于稀疏表示的编码和传输而引起的开销可以显著减少，而不会损害测试精度。通过对CIFAR-10数据集的广泛模拟，我们表明TCS可以实现100倍稀疏化的集中训练精度，并且当与量化一起使用时，通信负载减少高达2000倍。
2021-01-21 cs.DC cs.IT cs.LG
A sparsity-aware distributed-memory algorithm for sparse-sparse matrix multiplication
提出一种分布式内存1D SpGEMM算法，利用MPI RDMA和块获取策略降低通信成本，在多种配置下优于CombBLAS中的2D和3D实现。
2024-08-26 cs.DC
Federated LoRA with Sparse Communication
Carnegie Mellon University（卡内基梅隆大学）
本文提出联邦稀疏通信方法 FLASC，在通信时对 LoRA 施加稀疏性而允许客户端本地微调完整模块，以最多 10 倍通信减少达到与稠密 LoRA 相当的性能，并在异质性和隐私方面优于现有方法。
2024-06-07 cs.DC cs.LG
Compressed threshold pivoting for sparse symmetric indefinite systems
在稀疏直接求解器中，控制数值稳定性的一个关键技术是阈值部分主元。选择透视表时，对角线下方的整个候选透视表列必须是最新的，并且必须进行扫描。如果因子分解在大量核上并行化，则通信延迟可能是主要的计算成本。在本文中，我们提出了两种替代的旋转战略稀疏对称不定矩阵，显着减少通信压缩到一个小的矩阵，可用于选择枢轴所需的数据。一旦选择了枢轴，它们就可以以有效的通信方式应用。对于P处理器上的n × p子矩阵，我们表明我们的方法使用O（log P）消息而不是O（p log P）进行阈值部分旋转的因式分解。业务和通信带宽方面的额外费用相对较小。一个稳定性证明和数值结果，使用一系列的对称不定矩阵所产生的实际问题，以证明实际的鲁棒性。大型随机示例的时序结果说明了当前多核机器上的潜在加速。
2013-05-10 cs.DC cs.NA math.NA
RDMA-Based Algorithms for Sparse Matrix Multiplication on GPUs
本文针对GPU分布式环境下的稀疏矩阵乘法，提出基于RDMA和NVSHMEM的异步SpMM与SpGEMM算法，实验表明其性能优于批量同步方案，并支持工作窃取等新算法。
2024-05-31 cs.DC
Locality-aware parallel block-sparse matrix-matrix multiplication using the Chunks and Tasks programming model
本文提出了一种在分布式内存集群上实现并行块稀疏矩阵矩阵乘法的方法。通过使用四叉树矩阵表示，利用数据局部性，而无需有关矩阵稀疏模式的先验信息。由于我们最近开发了块和任务编程模型[并行计算]，分布式四叉树矩阵表示可以直接实现。40，328（2014）]。四叉树表示与块和任务模型相结合，导致有利的弱和强缩放的通信成本与进程的数量，在理论上和数值实验中所示。矩阵由块对象的稀疏四叉树表示。层次结构中的叶子是块稀疏子矩阵。稀疏性由矩阵库动态检测，并且可以发生在层次结构中的任何级别和/或子矩阵叶内。在图形处理单元（GPU）可用的情况下，CPU和GPU都用于叶级乘法工作，从而利用每个节点的全部计算能力。的性能进行评估，为矩阵具有不同的稀疏结构，包括电子结构计算的例子。与不利用数据局部性的方法相比，我们的局部感知方法显着减少了通信，在弱缩放测试中实现了每个节点基本上恒定的通信。
2016-06-27 cs.DC
Distributed-Memory Sparse Kernels for Machine Learning
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
采样稠密时间稠密矩阵乘法（SDDMM）和稀疏时间稠密矩阵乘法（SpMM）出现在不同的设置中，如协同过滤，文档聚类和图嵌入。通常，SDDMM输出成为后续SpMM操作的输入稀疏矩阵。现有的工作集中在共享内存并行这些原语。虽然已经有广泛的分析，通信最小化分布式1.5D算法的SpMM，没有这样的分析存在SDDMM或背靠背序列的SDDMM和SpMM，称为融合MM。我们发现，分布式存储器1.5D和2.5D算法的SpMM可以转换为算法SDDMM具有相同的通信成本和输入/输出数据布局。此外，我们给出了两个通信省略策略，以进一步降低成本的FusionMM内核：要么重用SDDMM和SpMM的输入稠密矩阵的复制顺序，或融合本地SDDMM和SpMM内核。我们基准测试FusedMM算法Cori，Cray XC 40在LBNL，使用Erdos-Renyi随机矩阵和大型现实世界的稀疏矩阵。在256个节点上，每个节点有68个内核，与依次执行分布式内存SpMM和SDDMM内核相比，使用任何一种通信省略方法的1.5D FusedMM算法可以节省至少30%的通信时间。在具有数亿条边的真实矩阵上，我们所有的算法都比PETSc中的SpMM算法至少有10倍的加速。在这些矩阵上，我们的通信省略技术的运行时间比未优化的SDDMM和SpMM序列快1.6倍。我们嵌入和测试我们的算法在现实世界中的应用，包括协同过滤通过交替最小二乘法和…
2022-03-18 cs.DC cs.LG
A More Scalable Sparse Dynamic Data Exchange
针对 MPI 并行应用中的稀疏动态数据交换瓶颈，本文在扩展库中设计统一 API 并提出位置感知算法，最高获得 20 倍加速。
2024-04-03 cs.DC
SparSP: Exploiting Communication Sparsity for Sequence-Parallel Video DiTs
University of Waterloo（滑铁卢大学）；Rice University（莱斯大学）
本文提出SparSP，一种利用注意力稀疏性作为通信原语的序列并行系统，通过依赖感知放置、需求导向KV路由和解耦传输运行时，在PCIe多GPU环境下实现视频扩散Transformer的高效推理，提升注意力性能1.38-1.5倍，端到端加速最高1.69倍。
2026-09-29 cs.DC cs.LG cs.PF
Avoiding Synchronization in First-Order Methods for Sparse Convex Optimization
EECS Department Univeristy of California, Berkeley；Statistics Department Univeristy of California, Berkeley；Math Department Univeristy of California, Berkeley
并行计算在加速大数据分析和大规模机器学习（ML）的凸优化方法方面发挥了重要作用。然而，这些优化方法的可扩展性受到并行设置中的通信和同步处理器的成本的抑制。迭代ML方法对通信成本特别敏感，因为它们通常需要每次迭代进行通信。在这项工作中，我们扩展了众所周知的技术，从通信避免Krylov子空间方法的一阶，块坐标下降方法的支持向量机和最小二乘问题。我们的同步避免（SA）变体通过$s$的可调因子减少延迟成本，但以$s$的因子增加触发器和带宽成本为代价。我们表明，SA-变种是数值稳定的，可以达到大的加速比高达$5.1\times$的Cray XC 30超级计算机上。
2017-12-17 cs.DC cs.LG math.OC
SCAPE: Accurate and Efficient LLM Training with Extreme Sparse Communication
Rutgers University（罗格斯大学）
提出SCAPE分布式优化器，利用AdamS的一阶矩稳定性实现高稀疏度通信，通过基于一阶矩的掩码生成、分片并行和延迟掩码策略，在90%-99%稀疏度下保持模型质量，并减少端到端训练时间达43.3%。
2026-07-03 cs.DC cs.LG
Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization
Pillar of Information Systems Technology and Design（信息系统技术与设计学院）；School of Information Science and Engineering（信息科学与工程学院）；School of Cyber Science and Engineering（网络安全科学与工程学院）；National Mobile Communications Research Laboratory（国家移动通信研究实验室）；School of Electronic and Optical Engineering（电子与光学工程学院）；School of Electronics, Electrical Engineering and Computer Science (EEECS)（电子、电气工程与计算机科学学院）；Data61, CSIRO（Data61，CSIRO）；Department of Electronics Engineering（电子工程系）；Department of Electrical and Computer Engineering（电气与计算机工程系）
针对FedAdam上行通信开销三倍于FedSGD的问题，本文提出FedAdam-SSM算法，通过共享稀疏掩码同时稀疏化模型参数与矩估计更新，并从理论上优化掩码以缓解性能下降，实验表明其在收敛速度和测试准确率上均显著优于稀疏及量化FedAdam基线。
2025-09-19 cs.DC cs.LG
SSFL: Discovering Sparse Unified Subnetworks at Initialization for Efficient Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；TReNDS Center（TReNDS中心）；Google DeepMind, Mila - Quebec AI Institute（谷歌DeepMind、魁北克AI研究所）；Georgia State University（佐治亚州立大学）；Emory University（埃默里大学）；Center for Translational Research in Neuroimaging & Data Science (TReNDS)（神经影像与数据科学转化研究中心（TReNDS））
SSFL通过在初始化时发现稀疏统一子网络，实现高效联邦学习，减少通信成本并提升准确性与稀疏性权衡。
2026-01-15 cs.AI cs.DC cs.LG
Practical offloading for fine-tuning LLM on commodity GPU via learned sparse projectors
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
本文提出LSP-Offload框架，通过学习稀疏投影器减少通信开销并设计逐层调度，使消费级GPU能以接近原生速度微调十亿级参数LLM，相比现有卸载方法端到端时间减少33.1%-62.5%。
2025-02-09 cs.AI cs.DC
SparsePipe: Parallel Deep Learning for 3D Point Clouds
University of Florida（佛罗里达大学）
我们提出了SparsePipe，这是一种高效的异步并行方法，用于处理具有多GPU训练的3D点云。SparsePipe旨在支持点云等3D稀疏数据。它通过采用具有稀疏张量表示的广义卷积来构建具有表达能力的高维卷积神经网络。与密集解决方案相比，新模型可以有效地处理不规则的点云，而无需在整个空间上密集滑动，显著降低内存需求，并允许底层3D体积的更高分辨率，以获得更好的性能。SparsePipe利用批内并行性，将输入数据划分到多个处理器中，并通过批间流水线进一步提高训练吞吐量，以重叠通信和计算。此外，当GPU是异构的时，它适当地划分模型，使得计算负载平衡，减少通信开销。使用八GPU平台上的实验结果，我们表明，SparsePipe可以有效地并行化，并获得更好的性能在当前的点云基准的训练和推理，相比其密集的解决方案。
2020-12-27 cs.CV cs.DC
Bayesian Federated Model Compression for Communication and Computation Efficiency
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对联邦学习的通信与计算效率问题，提出融合分层稀疏先验与去中心化Turbo框架的D-Turbo-VBI算法，可双向降低通信开销与本地推理复杂度，且已证明收敛性，实验效果优于基线。
2024-04-11 cs.AI cs.DC cs.LG
Accelerating Clique Counting in Sparse Real-World Graphs via Communication-Reducing Optimizations
图挖掘中的一个重要问题是计算大图中特定子图的实例数。寻找大小为k的团（k-cliques）是这个NP难问题的一个例子。不同的团计数算法通过旋转或排序图来避免多次计数相同的团。基于排序的算法包括一个排序步骤，以指导输入图中的边，和一个计数步骤，这是由建立节点或边诱导的子图为主。在基于排序的算法中，kClist是设计用于稀疏真实世界图的最先进算法。尽管kClist的顶点并行实现具有领先的整体性能，但在具有几百万个顶点的图上的实际扩展性并不好。我们提出了CITRON（团计数与流量减少优化），以提高并行可扩展性，从而整体性能的团计数。我们通过放弃kClist的顺序核心排序并使用并行化的度排序来加速排序阶段。我们使用重组的子图数据结构加快了计数阶段，减少了内存流量，改善了扩展瓶颈。我们的排序，紧凑的邻居列表提高了局部性和通信效率，从而导致近线性的并行缩放。CITRON在计数中等大小的团时显著优于kClist，从而增加了用于团计数的实用图形的大小。我们最近意识到ArbCount（arXiv：2002.10047），它的性能往往优于我们。然而，我们相信本文中的分析将有助于任何希望了解k团计数性能特征的人。
2021-12-29 cs.DC cs.DS cs.PF
Distributed soft thresholding for sparse signal recovery
在本文中，我们解决的问题，通过压缩测量传感器网络中获得的信号的分布式稀疏恢复。我们提出了一类新的分布式算法来解决Lasso回归问题，当与融合中心的通信是不可能的，例如，由于通信成本或隐私原因。更确切地说，我们介绍了一个分布式迭代软阈值算法（DISTA），由三个步骤组成：平均步骤，梯度步骤，和软阈值操作。我们证明了DISTA的收敛性，在网络中表示的规则图，我们比较它与现有的方法在性能，内存和复杂性。
2013-10-14 cs.DC cs.IT math.IT
