SpDISTAL: Compiling Distributed Sparse Tensor Computations
我们介绍SpDISTAL，稀疏张量代数的编译器，目标是分布式系统。SpDISTAL结合了张量代数表达式、稀疏数据结构、数据分布和计算分布的单独描述。因此，它使得稀疏张量代数表达式的分布式执行具有各种各样的稀疏数据结构和数据分布。SpDISTAL作为一个C++库实现，目标是基于任务的分布式运行时系统，可以为具有多核CPU和多个GPU的节点生成代码。SpDISTAL生成的分布式代码可以与特定稀疏张量代数表达式的手写分布式函数竞争性能，并且性能优于基于一般解释的系统一到两个数量级。
2022-07-28 cs.DC cs.PL
Distributed Learning with Dependent Samples
研究强混合序列下分布核岭回归的学习率分析。利用最近发展起来的积分算子方法和Banach值强混合序列的经典协方差不等式，我们成功地导出了分布核岭回归的最优学习率.作为一个副产品，我们还推出了一个充分条件的混合性质，以保证最佳的学习率的核岭回归。我们的结果扩展了i.i.d.分布式学习的适用范围样本至非i.i.d.序列的
2021-11-04 cs.DC cs.LG stat.ML
Distributed Kernel Regression: An Algorithm for Training Collaboratively
本文研究了通信约束下的分布式学习问题，其动机是无线传感器网络中的分布式信号处理和使用分布式数据库的数据采掘。在形式化了分布式学习的一般模型后，导出了协作训练正则化核最小二乘回归估计器的算法。注意到该算法可以被看作是连续正交投影算法的应用，其收敛性进行了研究，并在一个简化的理论设置的估计的统计行为进行了讨论。
2006-01-20 cs.AI cs.DC cs.IT
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
Optimal Rates of Distributed Regression with Imperfect Kernels
University of Jinan（济南大学）；Middle Tennessee State University（中田纳西州立大学）
分布式机器学习系统因其处理大规模数据的高效性而受到越来越多的关注。针对不同的机器学习任务，已经提出了许多分布式框架。在本文中，我们研究了分布式核回归的分治方法。这种方法已被证明是渐近极小极大最优的，如果核是完美的选择，使真正的回归函数位于相关的再生核希尔伯特空间。然而，这通常是不切实际的，因为只能通过先验知识或调整过程来选择的内核很难是完美的。相反，更常见的是，内核足够好，但不完美，在这个意义上，真正的回归可以很好地近似，但不完全位于内核空间。我们证明了分布式核回归在这种情况下仍然可以达到与容量无关的最优速率。为此，我们首先建立了一个通用的框架，允许分析分布式回归与响应加权基础算法的边界上一个单一的数据集，这些算法的错误，提供的误差界已考虑到的影响，无法解释的方差的响应变量。然后，我们执行留一分析的内核岭回归和偏差校正内核岭回归，结合上述框架，使我们能够获得尖锐的误差界和容量独立的最佳速率为相关的分布式内核回归算法。作为彻底分析的副产品，我们还证明了核岭回归可以在无噪声设置中比$N^{-1}$（其中$N$是样本大小）更快地实现速率，据我们所知，这是回归学习中首次观察到的和新颖的。
2020-06-30 cs.DC cs.LG math.ST
Sparse Communication for Distributed Gradient Descent
University of Edinburgh（爱丁堡大学）
我们通过交换稀疏更新而不是密集更新来使分布式随机梯度下降更快。梯度更新是正偏态的，因为大多数更新都接近零，所以我们将99%的最小更新（按绝对值）映射到零，然后交换稀疏矩阵。这种方法可以与量化相结合，以进一步提高压缩。我们探索不同的配置，并将其应用于神经机器翻译和MNIST图像分类任务。大多数配置在MNIST上工作，而不同的配置降低了更复杂的翻译任务的收敛速度。我们的实验表明，我们可以在MNIST上实现高达49%的速度，在NMT上实现22%的速度，而不会损害最终的准确性或BLEU。
2017-07-24 cs.CL cs.DC cs.LG
Popcorn: Accelerating Kernel K-means on GPUs through Sparse Linear Algebra
本文提出基于 SpMM 和 SpMV 的核 K-means 稀疏线性代数表述，并实现开源 GPU 系统 Popcorn，最高较 CPU 加速 123.8 倍。
2025-01-09 cs.DC
Consensus-based Distributed Quantum Kernel Learning for Speech Recognition
Imperial College London（帝国理工学院）；Centre for Quantum Engineering, Science and Technology (QuEST), Imperial College London（帝国理工学院量子工程、科学与技术中心）；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
提出CDQKL分布式量子核学习框架，在不共享本地数据的前提下经经典信道交换参数，提升语音识别的隐私性、效率与可扩展性。
2024-09-09 cs.CV cs.DC cs.LG
Distributed Averaging in the presence of a Sparse Cut
我们考虑一个图的平均问题，该图有一个稀疏的切割分离两个内部连通良好的子图。虽然已经有大量的工作致力于分布式平均算法，几乎所有的算法只涉及{ \it凸}更新。在本文中，我们建议{ \it非凸}更新可以导致显着的改善。我们这样做，展示一个分散的算法，图与一个稀疏的削减，使用非凸平均值，并具有平均时间，可以显着小于平均时间的已知分布式算法，如\cite{tsitsiklis, Boyd}。我们使用随机优势来证明这一结果的方式，可能是独立的利益。
2008-04-30 cs.DC
A sparsity-aware distributed-memory algorithm for sparse-sparse matrix multiplication
提出一种分布式内存1D SpGEMM算法，利用MPI RDMA和块获取策略降低通信成本，在多种配置下优于CombBLAS中的2D和3D实现。
2024-08-26 cs.DC
RSH-SpMM: A Row-Structured Hybrid Kernel for Sparse Matrix-Matrix Multiplication on GPUs
University of Science and Technology of China（中国科学技术大学）
RSH-SpMM通过自适应行划分和RS-Tile表示法，提升GPU上稀疏矩阵-矩阵乘法的性能，实现1.27至6.13倍的加速。
2026-02-24 cs.DC
Exploring Sparse Matrix Multiplication Kernels on the Cerebras CS-3
North Carolina State University（北卡罗来纳州立大学）；Argonne National Laboratory（阿贡国家实验室）
本文研究了Cerebras CS-3在稀疏线性代数内核中的性能，针对稀疏-密集矩阵乘法和采样密集-密集矩阵乘法进行了优化，结果显示在高稀疏度下CS-3性能优于CPU，但稀疏度超过99%时性能下降。
2026-08-11 cs.DC
MSREP: A Fast yet Light Sparse Matrix Framework for Multi-GPU Systems
稀疏线性代数内核在许多应用中发挥着关键作用，涵盖了从exascale科学模拟到大规模数据分析。在这些应用程序中，将线性代数内核卸载到一个GPU上将不再可行，因为快速增长的数据量可能会超过单个GPU的内存容量和计算能力。目前，多GPU系统在超级计算机和数据中心中无处不在，在扩展大型稀疏线性代数内核方面具有巨大的潜力。在这项工作中，我们设计了一个新的稀疏矩阵表示框架的多GPU系统称为MSREP，规模稀疏线性代数运算的基础上，我们的增强稀疏矩阵格式的平衡模式。与密集运算不同，稀疏性显著加剧了以平衡方式在多个GPU之间分配计算工作量的难度。我们增强了三种主流的稀疏数据格式-- CSR、CSC和COO，以实现细粒度的数据分发。我们以稀疏矩阵向量乘法（SpMV）为例，以证明我们的MSREP框架的效率。此外，MSREP可以容易地扩展以支持基于三种基本格式的其他稀疏线性代数内核（即，CSR、CSC和COO）。
2022-09-15 cs.DC
Efficient Distributed Transposition Of Large-Scale Multigraphs And High-Cardinality Sparse Matrices
基于图形的表示是广泛的科学问题的基础。图形连接通常表示为压缩稀疏行格式的稀疏矩阵。大规模图依赖于分布式存储，将不同的行子集分配给计算节点。高效的矩阵转置是一个非常重要的操作，它提供了反向图路径和列有序矩阵视图。对于简单的图模型，这种操作已经得到了很好的研究。然而，它的解决方案的多重图和更高的基数连接矩阵是不存在的。我们先进的最先进的分布式换位方法，提供了一个理论模型，算法的细节，基于MPI的实现和证明这样复杂的模型的数学合理性。基准测试结果分别证明了完美平衡和异质平衡数据集的理想和几乎理想的缩放特性
2020-12-10 cs.DC
Distributed-Memory Parallel Algorithms for Sparse Matrix and Sparse Tall-and-Skinny Matrix Multiplication
针对稀疏矩阵与高瘦矩阵乘法（TS-SpGEMM）的性能瓶颈，提出一种基于定制1D划分和稀疏感知分块的分布式内存算法，结合本地与远程计算降低通信开销，较2D和3D SUMMA平均提升5倍性能，并在512节点上验证了多源广度优先搜索等应用的可扩展性。
2024-08-21 cs.DC
A Second-Order Distributed Trotter-Suzuki Solver with a Hybrid Kernel
Trotter-Suzuki近似导致求解含时薛定谔方程的有效算法。使用现有的高度优化的CPU和GPU内核，我们开发了一个分布式版本的算法，有效地运行在集群上。我们的实现还提高了单节点性能，并能够在一个节点内使用多个GPU。使用CPU内核的缩放接近线性，而GPU内核的效率随着矩阵的增大而提高。我们还介绍了一个混合内核，同时使用多核CPU和GPU的分布式系统。当矩阵大小不适合GPU内存时，该内核被证明是有效的。较大的量子系统在节点数量较多的情况下扩展得特别好。该代码在开源许可证下可用。
2012-08-12 cs.DC physics.comp-ph quant-ph
Efficient Sparse Matrix Kernels based on Adaptive Workload-Balancing and Parallel-Reduction
稀疏矩阵-向量和矩阵-矩阵乘法（SpMV和SpMM）在传统（图分析，科学计算）和新兴（稀疏DNN，GNN）领域都是基础。工作负载平衡和并行减少是高效SpMV的广泛使用的设计原则。然而，以前的工作未能解决如何实现和自适应地使用这两个原则的SpMV/MM。为了克服这一障碍，我们首先完成了实现空间的优化，填补了以前的工作中缺失的三个部分，包括：（1）我们表明，工作负载平衡和并行减少可以通过一个片段减少算法实现SIMD洗牌原语相结合。(2)我们表明，并行减少可以实现在SpMM通过加载稠密矩阵行与向量记忆操作。(3)我们表明，稀疏行的向量化加载，并行减少的好处的一部分，可以共存的顺序减少SpMM通过临时缓存稀疏矩阵元素在共享内存中。在自适应使用方面，我们分析了两个原则的好处如何从输入数据空间的两个特性：不同的稀疏模式和密集矩阵宽度的变化。我们发现这两个原则的好处随着总工作量的增加而消失，即增加密集矩阵宽度。我们还确定，SpMV和SpMM，不同的稀疏矩阵功能，影响工作负载平衡的有效性。我们的设计在不同的GPU和密集矩阵宽度上始终超过cuSPARSE 1.07 - 1.57倍，与最佳选择相比，内核选择规则涉及5 - 12%的性能损失。我们的内核正在被集成到流行的图学习框架中，以加速GNN训练。
2021-10-14 cs.DC
Deterministic Distributed Sparse and Ultra-Sparse Spanners and Connectivity Certificates
本文提出了有效的分布式算法的一些基本问题，在该地区的图稀疏：我们提供了第一个确定性的分布式算法，计算超稀疏的$\textrm{polylog}(n)$轮加权图。具体地说，我们的算法输出的生成子图只有$n+o(n)$边，其中的成对距离拉伸的一个因素，最多$O(\log n \;\cdot\; 2^{O(\log^* n)})$。我们提供了一个$\textrm{polylog}(n)$轮确定性分布式算法，计算一个拉伸$(2k-1)$和$O(nk + n^{1 + 1/k} \log k)$边在未加权图和$O(n^{1 + 1/k} k)$边在加权图的顶点。我们提出了第一个$\textrm{polylog}(n)$轮随机分布式算法，计算稀疏连接证书。对于$n$ -节点图$G$，用于连通性的证书$k$是$k$ -边连通的生成子图$H$当且仅当$G$是$k$-边连通的，并且如果该子图具有$O(nk)$边，则该子图$H$被称为稀疏的。我们的算法实现了稀疏的$(1 + o(1))nk$边缘，这是一个$2(1 + o(1))$因素的最佳可能。
2022-09-23 cs.DC cs.DS
Composing Distributed Computations Through Task and Kernel Fusion
Diffuse通过中间表示和JIT编译器在分布式任务运行时中动态融合任务与内核，平均加速1.86倍，并发现跨库优化机会，使Python程序性能媲美MPI。
2024-12-16 cs.DC
Computing the sparse matrix vector product using block-based kernels without zero padding on processors with AVX-512 instructions
稀疏矩阵向量积（SpMV）是各个领域许多科学应用中的基本运算。因此，高性能计算（HPC）社区不断投入大量精力，在现代CPU架构上提供高效的SpMV内核。虽然已经证明基于块的内核有助于实现高性能，但由于它们需要零填充，因此它们难以在实践中使用。在目前的论文中，我们提出了新的内核使用的AVX-512指令集，这使得它可以使用一个阻塞方案，没有任何零填充的矩阵存储器存储。我们描述了基于掩码的稀疏矩阵格式及其相应的SpMV内核高度优化的汇编语言。考虑到最佳的块大小取决于矩阵，我们还提供了一种方法来预测最好的内核使用从以前的执行结果的简单插值。我们在一组标准基准测试矩阵上比较了我们的方法与英特尔MKL CSR内核和CSR 5开源软件包的性能。我们表明，我们可以实现显着的改善，在许多情况下，顺序和并行执行。最后，我们在一个名为SPC 5的开源库中提供了相应的代码。
2018-05-11 cs.DC cs.MS cs.PF
A Parallel Sparse Tensor Benchmark Suite on CPUs and GPUs
张量计算提出了重大的性能挑战，影响了从机器学习、医疗分析、社会网络分析、数据采掘到量子化学和信号处理的广泛应用。提高张量计算性能的努力包括探索常见张量内核中的数据布局、执行调度和并行性。这项工作提出了一个基准套件的任意阶稀疏张量内核使用国家的最先进的张量格式：坐标（COO）和层次坐标（HiCOO）的CPU和GPU。它提出了一组参考张量核实现，这些实现与从合成图生成技术扩展的真实世界张量和幂律张量兼容。我们还提出了这些内核的Roofline性能模型，以提供从稀疏张量视图的计算机平台的见解。
2020-01-02 cs.DC cs.PF
Compressed Multi-Row Storage Format for Sparse Matrices on Graphics Processing Units
提出了一种新的存储稀疏矩阵的格式，用于在现代图形处理单元（GPU）上进行高效的稀疏矩阵向量（SpMV）乘积计算。这种格式扩展了标准的压缩行存储（CRS）格式，可以快速转换，并从它。计算性能的两个SpMV内核的新格式确定为超过130稀疏矩阵的费米级和开普勒级GPU和比较，现有的5个通用算法和工业实现，包括英伟达cuSparse CSR和HYB内核。我们发现最高可达$\approx 60%$的加速比超过了五个备选内核中的最佳内核。
2014-04-25 cs.DC physics.comp-ph
Distributed Many-to-Many Protein Sequence Alignment using Sparse Matrices
相似蛋白质序列的识别是许多计算生物学流程中的核心步骤，例如同源蛋白质序列的检测，用于下游分析的相似蛋白质图的生成，功能注释和基因定位。蛋白质相似性搜索的性能和可扩展性已被证明是许多生物信息学管道中的瓶颈，这是由于廉价且丰富的测序数据的增加。本文介绍了一种新的分布式存储软件PASTIS。PASTIS依赖于稀疏矩阵计算来有效识别可能相似的蛋白质。我们使用分布式稀疏矩阵的可扩展性，并表明稀疏矩阵基础设施是一个非常适合蛋白质相似性搜索时，再加上一个完全分布式的字典的序列，允许远程序列请求得到满足。我们的算法在不改变基本稀疏矩阵模型的情况下，在搜索中引入了氨基酸序列替换的独特偏差，从而实现了理想的扩展到数百万个蛋白质序列。
2020-09-30 cs.DC q-bio.GN
S2 Reducer: High-Performance Sparse Communication to Accelerate Distributed Deep Learning
College of Computer, National University of Defense Technology（国防科技大学计算机学院）
分布式随机梯度下降（SGD）方法在大规模深度学习中得到了广泛应用，梯度集合方法是保证分布式深度学习系统训练可扩展性的关键。诸如AllReduce的集体通信已被广泛用于分布式SGD过程以减少通信时间。然而，AllReduce会占用大量带宽资源，而大多数梯度在许多情况下是稀疏的，因为许多梯度值为零，应该有效地压缩以节省带宽。为了减少稀疏梯度通信开销，我们提出了稀疏草图还原器（S2还原器），一种新的基于草图的稀疏梯度聚合方法，具有收敛保证。S2 Reducer通过仅使用计数草图和位图压缩非零梯度来降低通信成本，并支持高效的AllReduce操作符进行并行SGD训练。我们对五种训练模型中的四种最先进的方法进行了广泛的评估。我们的研究结果表明，S2 Reducer收敛到相同的精度，减少了81\%的稀疏通信开销，并实现了1.8 $ \times $的加速比相比，国家的最先进的方法。
2021-11-26 cs.AI cs.DC
A Simple Distributed Algorithm for Sparse Fractional Covering and Packing Problems
本文提出一种简单的CONGEST模型分布式算法，对RS-FCP和CS-FPP实现$(1+ε)$-近似，较已知最佳算法更简单且显著改善了对$ε$的依赖。
2024-09-24 cs.DC cs.DS
On Distributed Exact Sparse Linear Regression over Networks
在这项工作中，我们提出了一种算法，用于解决精确稀疏线性回归问题在网络上的分布式方式。特别地，我们考虑数据存储在不同计算机或代理之间的问题，这些计算机或代理试图协作地找到具有指定稀疏性k的公共回归量，即，L0范数小于或等于k。与现有文献使用L1正则化来近似稀疏性相反，我们用精确的稀疏性k来解决问题。在我们的建议中的主要新颖之处在于显示零对偶差距的问题制定，我们采用了一种双重的方法来解决这个问题，在一个分散的方式。这为研究具有显式稀疏约束的分布式优化问题奠定了基础。我们从理论上和经验表明，在适当的假设下，每个代理解决较小的和本地的整数规划问题，所有代理最终将达成共识，在同一稀疏最优回归。
2022-04-01 cs.DC math.OC
Highly Scalable Multiplication for Distributed Sparse Multivariate Polynomials on Many-core Systems
我们提出了一个高度可扩展的算法乘以稀疏的多元多项式表示的分布式格式。该算法不仅针对共享存储器多核计算机，而且针对计算机集群或附接到主机计算机的专用硬件，诸如图形处理单元或众核协处理器。通过在主并行步骤期间缺乏同步、锁定和假共享来确保大量核上的可扩展性。
2013-03-29 astro-ph.IM cs.DC cs.MS
Performance Modeling of Streaming Kernels and Sparse Matrix-Vector Multiplication on A64FX
A64 FX CPU是目前Top500排行榜上排名第一的超级计算机。虽然它是一个传统的基于缓存的多核处理器，但其峰值性能和内存带宽可与加速器设备相媲美。为这样一个新的体系结构生成高效的代码需要很好地理解其性能特性。利用这些功能，我们构建的执行缓存存储器（ECM）的性能模型的A64 FX处理器在FX 700超级计算机，并验证它使用流循环。我们还确定架构的特点，并获得优化提示。将ECM模型应用于稀疏矩阵向量乘法（SpMV），我们激发了CRS矩阵存储格式不合适的原因以及SELL-C-sigma格式如何通过适当的代码优化实现SpMV的带宽饱和。
2020-09-29 cs.AR cs.DC cs.PF
A New Kernel Regularity Condition for Distributed Mirror Descent: Broader Coverage and Simpler Analysis
National University of Singapore（新加坡国立大学）
本文提出一种新的核正则性条件，用于解决分布式优化中非欧几里得几何中的收敛问题，通过引入Hessian相对均匀连续性（HRUC）条件，简化了分析并扩展了应用范围。
2026-09-09 cs.DC math.OC stat.ML
Distributed soft thresholding for sparse signal recovery
在本文中，我们解决的问题，通过压缩测量传感器网络中获得的信号的分布式稀疏恢复。我们提出了一类新的分布式算法来解决Lasso回归问题，当与融合中心的通信是不可能的，例如，由于通信成本或隐私原因。更确切地说，我们介绍了一个分布式迭代软阈值算法（DISTA），由三个步骤组成：平均步骤，梯度步骤，和软阈值操作。我们证明了DISTA的收敛性，在网络中表示的规则图，我们比较它与现有的方法在性能，内存和复杂性。
2013-10-14 cs.DC cs.IT math.IT
