Speeding Up Private Distributed Matrix Multiplication via Bivariate Polynomial Codes
研究了有限资源下的私有分布式矩阵乘法问题。编码计算已被证明是分布式矩阵乘法的有效解决方案,既提供了对工作人员的隐私,又通过有效地减少掉队者来提高计算速度。在这项工作中,我们提出了使用最近推出的二元多项式代码,以进一步加快私人分布式矩阵乘法利用部分工作所做的掉队者,而不是完全忽略它们。我们表明,所提出的方法减少了私有分布式矩阵乘法的平均计算时间相比,其竞争对手在文献中,同时提高上传通信成本和工人的存储效率。
2021-07-13 cs.CR cs.DC cs.IT
Efficient distributed algorithms for Convolutional Neural Networks
已经开发了几种有效的分布式算法用于矩阵-矩阵乘法:3D算法,2D SUMMA算法和2.5D算法。这些算法中的每一个都是独立构思的,并且它们权衡了每个节点所需的存储器和节点间数据通信量。卷积神经网络(CNN)计算可以被视为与邻域模板计算相结合的矩阵乘法的推广。我们为CNN开发了通信高效的分布式存储器算法,类似于矩阵-矩阵乘法的2D/2.5D/3D算法。
2021-05-31 cs.DC
Bivariate Polynomial Codes for Secure Distributed Matrix Multiplication
研究了安全分布式矩阵乘法(SDMM)问题。编码计算已被证明是分布式矩阵乘法的有效解决方案,既提供了对工作人员的隐私,又通过有效地减少掉队者来提高计算速度。在这项工作中,我们提出了一个非直接安全的扩展最近推出的二元多项式码。二元多项式码已经被证明能够通过利用掉队者所做的部分工作而不是完全忽略它们来进一步加速分布式矩阵乘法,同时降低上传通信成本和/或工作者的存储容量需求。我们表明,特别是对于上传通信或存储受限的设置,所提出的方法减少了SDMM的平均计算时间相比,其竞争对手在文献中。
2022-02-06 cs.CR cs.DC cs.IT
On the Capacity of Secure Distributed Matrix Multiplication
矩阵乘法是各种工程应用中的关键运算之一。将大规模矩阵乘法任务外包给多个分布式服务器或云是期望的,以加速计算。然而,当这些服务器不可信时,安全性就成了一个问题。本文研究了分布式不可信任服务器上的安全分布式矩阵乘法问题。这个问题属于安全函数计算的范畴,在密码学界受到了极大的关注。然而,信息理论上安全的矩阵乘法的基本限制仍然是一个悬而未决的问题。我们专注于信息理论上安全的分布式矩阵乘法的目标是表征最小的通信开销。安全矩阵乘法的容量被定义为所需信息与从$N$分布式服务器接收的总通信的最大可能比率。特别是,我们研究了以下两个模型,我们要乘以两个矩阵$A\in\mathbb{F}^{m\times n}$和$B\in\mathbb{F}^{n\times p}$:$(a)$单边安全矩阵乘法与$\ell$串通服务器,其中$B$是一个公共矩阵在所有服务器和$A$是一个私有矩阵。$(b)$完全安全的矩阵乘法与$\ell$串通服务器,其中$A$和$B$都是私有矩阵。我们的目标是在任何$\ell$服务器都可以合谋的情况下安全地增加$A$和$B$。对于模型$(a)$,我们通过提供一个安全的矩阵乘法方案和一个匹配的逆,将容量刻画为$C_{\text{one-sided}}^{(\ell)}=(N-\ell)/N$。对于模型$(b)$,我们提出了一种新的方案,降低了容量,即,$C_{\text{fully}}…
2018-06-01 cs.CR cs.DC cs.IT
Successive Approximation Coding for Distributed Matrix Multiplication
编码分布式计算是近年来提出的一种用于减轻离散节点对分布式计算的影响的计算方法。本文将近似计算与编码计算相结合,进一步提高计算速度。我们提出了逐次逼近编码(SAC)技术,实现了准确性和速度之间的权衡,允许的分布式计算系统产生的近似,随着时间的推移增加的准确性。如果有足够数量的计算节点完成了它们的任务,SAC会准确地恢复所需的计算。我们从理论上为我们的SAC技术提供了设计指导方针,数值计算表明,SAC实现了更好的精度-速度的权衡与以前的方法相比。
2022-01-10 cs.DC cs.IT math.IT
Efficient Distributed-Memory Parallel Matrix-Vector Multiplication with Wide or Tall Unstructured Sparse Matrices
本文提出了一种有效的技术,矩阵向量和向量转置矩阵乘法在分布式内存并行计算环境中,矩阵是非结构化的,稀疏的,有一个显着的列数比行数或反之亦然。我们的方法允许并行I/O,不需要大量的预处理,并具有相同的通信复杂性的矩阵向量乘法与列或行分区。我们使用MPI实现该方法。我们将矩阵划分为单个非零元素,而不是行或列,并使用与矩阵匹配的“重叠”向量表示。转置乘法使用矩阵特定的MPI通信和减少,我们可以建立一个有效的方式。所提出的技术实现了良好的工作每处理器的平衡,即使一些列是密集的,同时保持通信成本相对较低。
2018-12-03 cs.DC cs.MS
Residue Number System (RNS) based Distributed Quantum Multiplication
针对量子乘法器Toffoli深度和T门开销高的问题,提出基于余数系统的分布式量子乘法,设计量子减一模乘法器,实现Toffoli深度降低46.018%、T门减少34.483%至86.25%。
2025-06-21 cs.AR cs.DC math.QA
FlexPie: Accelerate Distributed Inference on Edge Devices with Flexible Combinatorial Optimization[Technical Report]
本研究针对物联网场景下多边缘设备协同部署预训练DNN模型进行推理的需求,提出FlexPie方案,通过柔性组合优化来加速边缘侧的分布式推理过程。
2025-02-21 cs.DC
Highly Scalable Multiplication for Distributed Sparse Multivariate Polynomials on Many-core Systems
我们提出了一个高度可扩展的算法乘以稀疏的多元多项式表示的分布式格式。该算法不仅针对共享存储器多核计算机,而且针对计算机集群或附接到主机计算机的专用硬件,诸如图形处理单元或众核协处理器。通过在主并行步骤期间缺乏同步、锁定和假共享来确保大量核上的可扩展性。
2013-03-29 astro-ph.IM cs.DC cs.MS
Multivariate Polynomial Codes for Efficient Matrix Chain Multiplication in Distributed Systems
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)(加泰罗尼亚电信技术中心)
本文提出多变量多项式码用于分布式系统中的矩阵链乘法,通过减少存储开销来平衡计算与存储效率。
2026-01-13 cs.DC cs.IT math.IT
Entangled Polynomial Codes for Secure, Private, and Batch Distributed Matrix Multiplication: Breaking the "Cubic" Barrier
在分布式矩阵乘法中,一个常见的场景是通过将输入矩阵划分为更小的子矩阵,为每个工作者分配乘法任务的一部分。特别地,通过将两个输入矩阵划分为$m$ × $p$和$p$ × $n$子块,单个乘法任务可以被视为计算$pmn$子矩阵乘积的线性组合,其可以被分配给$pmn$工作器.这种基于块划分的设计已经在安全、私有和批量计算的主题下被广泛研究,其中现有技术都要求计算至少“立方”($pmn$)数量的子矩阵乘法。纠缠多项式码,首先提出的掉队缓解,提供了一个强大的方法来打破立方障碍。它实现了次立方恢复阈值,这意味着可以从乘法结果的\emph{any}子集恢复最终乘积,其大小顺序小于$pmn$。在这项工作中,我们表明,纠缠多项式码可以进一步扩展到也包括这三个重要的设置,并提供了一个统一的框架,顺序减少总的计算成本后,通过实现次立方恢复阈值的最新技术。
2020-04-13 cs.DC cs.IT math.IT
Flexible Communication Avoiding Matrix Multiplication on FPGA with High-Level Synthesis
在现代计算系统中,数据移动是影响性能和能量的主要因素。因此,许多算法已经被开发出来,以最大限度地减少常见的计算模式的I/O操作的数量。矩阵乘法也不例外,并且对于共享和分布式存储器系统都已经证明和实现了下限。可重构硬件平台是I/O最小化算法的一个有利可图的目标,因为它们为程序员提供了对存储器访问的完全控制。虽然在固定架构的背景下开发的边界仍然适用于这些平台,但其计算和内存资源的空间分布性质需要一种分散的方法来优化算法,以实现最大的硬件利用率。我们提出了一个模型来优化FPGA平台的矩阵乘法,同时以最大的性能和最小的片外数据移动为目标,在硬件设置的约束。我们映射到一个具体的架构模型,使用一个高层次的综合工具,保持高层次的抽象,使我们能够支持任意数据类型,并使可维护性和跨FPGA器件的可移植性。从我们的架构生成的内核在实践中提供了有竞争力的性能,可扩展的计算和内存资源。我们提供我们的设计作为一个开源项目,以鼓励可重构硬件平台上的线性代数和I/O最小化算法的开放式开发。
2021-01-25 cs.CC cs.DC
SHIRO: Near-Optimal Communication Strategies for Distributed Sparse Matrix Multiplication
Institute of Science Tokyo(东京科学大学);RIKEN Center for Computational Science(理化学研究所计算科学中心);Intel Corporation(英特尔公司)
本文提出SHIRO框架,通过细粒度稀疏感知通信策略和分层通信策略,减少通信开销,提升分布式稀疏矩阵乘法的性能与可扩展性。
2026-05-13 cs.DC cs.PF
Distributed Matrix-Vector Multiplication: A Convolutional Coding Approach
针对分布式计算中的滞后节点问题,提出一种基于卷积编码的分布式矩阵-向量乘法策略,采用低复杂度剥离解码器,在数值稳定性和稀疏矩阵乘法场景下优于现有方案。
2019-01-25 cs.DC cs.IT cs.NA
Rateless Codes for Private Distributed Matrix-Matrix Multiplication
我们考虑的问题,设计无比率编码的私人分布式矩阵矩阵乘法。主服务器拥有两个私有矩阵$\mathbf{A}$和$\mathbf{B}$,并希望雇用工作节点来帮助计算乘法。从信息论的意义上说,矩阵应该对工作者保持私有。这个问题已被认为是在文献中,并与预先设计的阈值代码构建。更准确地说,主节点向工作节点分配任务,并等待预定数量的工作节点完成分配的任务。分配给工人的任务的大小取决于设计的阈值。我们感兴趣的设置中的任务的大小必须是小的和独立的设计阈值。我们设计了一个无比率的私有矩阵-矩阵乘法方案,称为RPM 3。我们的计划固定的任务的大小,并允许主发送多个任务的工人。主机不断接收结果,直到它可以解码乘法。两个主要的应用程序需要这个属性:i)利用系统中可能的异质性,并将更多的任务分配给速度更快的工人; ii)自适应地分配任务,以考虑可能随时间变化的系统。
2020-04-27 cs.DC cs.IT math.IT
Root of Unity for Secure Distributed Matrix Multiplication: Grid Partition Case
我们考虑的问题,安全的分布式矩阵乘法(SDMM),其中用户有两个矩阵,并希望计算他们的产品的帮助下,$N$诚实,但好奇的服务器的安全约束下,任何有关$A$或$B$的信息不泄露给任何服务器。本文提出了一种\emph{new scheme},认为一个网格产品划分矩阵$A$和$B$,它实现了上传成本显着低于现有的文献中的结果。由于网格分区是一个一般的分区,它结合了内部和外部的,事实证明,所提出的方案的通信负载匹配最知名的协议,为这些极端情况。
2022-06-03 cs.CR cs.DC cs.IT
Communication-Optimal Parallel Standard and Karatsuba Integer Multiplication in the Distributed Memory Model
我们提出了COPSIM标准整数乘法的并行实现的分布式内存设置,和COPK的Karatsuba的快速整数乘法算法的分布式内存设置的并行实现。当使用$\mathcal{P}$处理器,每个处理器配备一个本地非共享存储器,计算两个$n$位整数的乘积时,在温和的条件下,我们的算法实现了最佳的计算时间加速比.即,$\mathcal{O}\left(n^2/\mathcal{P}\right)$用于COPSIM,$\mathcal{O}\left(n^{\log_2 3}/\mathcal{P}\right)$用于COPK。跨处理器所需的内存总量为$\mathcal{O}\left(n\right)$,也就是说,在存储输入值所需的最小空间的常数因子内。我们严格分析所提出的算法的输入/输出(I/O)成本。我们表明,他们的带宽成本(即,由至少一个处理器发送或接收的存储器字的数量)与渐近对应的已知I/O下限匹配,并且它们的等待时间(即,在算法的关键执行路径中发送或接收的消息的数量)渐近地在对应的已知I/O下限的乘法因子$\mathcal{O}\left(\log^2_2 \mathcal{P}\right)$内。因此,我们的算法是渐近最优的带宽成本和几乎渐近最优的延迟成本。
2020-09-30 cs.DC cs.DS
Distributed-memory $\mathcal{H}$-matrix Algebra I: Data Distribution and Matrix-vector Multiplication
介绍了$\mathcal{H}$ -矩阵的数据分布方案和$\mathcal{H}$ -矩阵-向量乘法的分布存储算法。我们的数据分布方案避免了昂贵的$Ω(P^2)$调度过程中使用的在以前的工作,其中$P$是进程的数量,而数据平衡得到很好的保护。该算法根据数据分布的特点,将计算均匀地分配到各个$P$进程中,并采用一种新的树型通信算法来降低延迟代价。对于弱容许条件下的$\mathcal{H}$ -矩阵,我们的算法的总复杂度为$O\Big(\frac{N \log N}{P} + α\log P + β\log^2 P \Big)$,其中$N$是矩阵大小,$α$表示延迟,$β$表示逆带宽.数值上,我们的算法适用于解决各种数量的进程之间的各种大小的二维和三维问题。在数千个进程上,仍然可以观察到良好的并行效率。
2020-09-22 cs.DC cs.NA math.NA
Slicing Is All You Need: Towards A Universal One-Sided Algorithm for Distributed Matrix Multiplication
Intel Corporation(英特尔公司);Parallel Computing Laboratory(并行计算实验室)
本文提出一种支持所有分区与复制因子组合的通用单侧分布式矩阵乘法算法,利用切片计算重叠块,实现高效通信,性能与PyTorch DTensor相当。
2025-10-10 cs.AI cs.DC
Semi-External Memory Sparse Matrix Multiplication for Billion-Node Graphs
稀疏矩阵乘法传统上在内存中执行,并使用多个节点的分布式内存扩展到大型矩阵。相比之下,我们通过以半外部存储器(SEM)方式实现稀疏矩阵密集矩阵乘法(SpMM)来扩展稀疏矩阵乘法超过存储器容量;即,我们将稀疏矩阵保存在商品SSD上,将密集矩阵保存在内存中。我们的SEM-SpMM集成了许多针对大型幂律图的内存优化。它的性能优于Trilinos和英特尔MKL的内存实现,并可扩展到十亿节点图形,远远超出内存的限制。此外,在单个大型并行机上,我们的SEM-SpMM与Trilinos的分布式实现一样快,使用五倍的处理能力。我们还在内存中运行我们的实现(IM-SpMM),以量化在SSD上保存数据的开销。当密集矩阵超过四列时,SEM-SpMM在图上实现了IM-SpMM的几乎100%性能;它在所有输入上实现了IM-SpMM的至少65%性能。我们将我们的SpMM应用于三个重要的数据分析任务-PageRank,eigensolving和非负矩阵分解-并表明我们的SEM实现显着推进了最先进的技术。
2016-10-14 cs.DC
JAMPI: efficient matrix multiplication in Spark using Barrier Execution Mode
Apache Spark中的新屏障模式允许将分布式深度学习训练作为Spark阶段嵌入,以简化分布式训练工作流程。在Spark中,一个阶段中的任务不依赖于同一阶段中的任何其他任务,因此可以独立调度。然而,一些算法需要更复杂的任务间通信,类似于MPI范例。通过结合分布式消息传递(使用异步网络IO),OpenJDK的新自动向量化和Spark的屏障执行模式,我们可以添加非map/reduce算法,例如Cannon的分布式矩阵乘法到Spark。我们记录了一个有效的分布式矩阵乘法使用坎农的算法,显着提高现有的MLlib实现的性能。在屏障任务中使用,本文所述的算法在10,000 × 10,000的方阵上导致高达24%的性能提高,同时显著降低内存占用。高效矩阵乘法的应用包括加速基于深度卷积神经网络的工作负载的训练和实现,因此这种高效算法可以在更快、更高效地执行甚至最复杂的机器学习任务方面发挥开创性的作用。
2020-06-27 cs.DC cs.DS stat.ML
Algebrisation in Distributed Graph Algorithms: Fast Matrix Multiplication in the Congested Clique
虽然algebrisation构成了一个强大的技术在集中式算法的设计和分析,迄今为止,几乎没有任何应用的代数技术的背景下,分布式图算法。这项工作是一个案例研究,展示了潜在的代数在分布式环境中。我们将重点关注拥塞集团模型中的分布式图算法;我们将考虑的图问题包括,例如,三角形检测问题和全对最短路径问题(APSP)。在拥塞集团模型中有大量关于组合算法的先前工作:例如,Dolev等人(DISC 2012)给出了一种运行时间为$\tilde O(n^{1/3})$的三角形检测算法,Nanongkai(STOC 2014)给出了一种运行时间为$\tilde O(n^{1/2})$的APSP近似算法。在这项工作中,我们将使用代数技术-特别是基于快速矩阵乘法的算法-解决三角形检测和未加权APSP的时间$O(n^{0.15715})$ ;加权APSP,我们给出了一个$(1+o(1))$近似与此运行时间,以及一个精确的$\tilde O(n^{1/3})$解决方案。
2015-03-18 cs.DC cs.DS
On the Extension of Private Distributed Matrix Multiplication Schemes to the Grid Partition
American University of Beirut (AUB)(贝鲁特美国大学)
本文提出了一种将私有分布式矩阵乘法方案扩展到网格划分的方法,改进了某些参数的最先进技术,并展示了新方案在特定参数下的性能优势。
2026-01-25 cs.DC cs.IT math.IT
Erasure coding for distributed matrix multiplication for matrices with bounded entries
Iowa State University(爱荷华州立大学)
分布式矩阵乘法广泛应用于多个科学领域。众所周知,分布式集群上的计算时间通常由最慢的工人(称为掉队者)控制。最近的工作表明,可以被看作是一个问题的设计纠删码的掉队缓解。对于矩阵$\mathbf A$和$\mathbf B$,该技术实质上将$\mathbf A^T \mathbf B$的计算映射到较小(编码)子矩阵的乘法。在这个过程中,掉队者被视为擦除。只要有一定数量的工作者(称为恢复阈值)完成分配给他们的任务,计算就可以完成。我们提出了一种新的编码策略,这个问题时,矩阵项的绝对值是足够小的。我们证明了假设的绝对值边界的矩阵条目和恢复阈值之间的权衡。在一个极端,我们相对于恢复阈值是最优的,在另一个极端,我们匹配先前工作的阈值。基于云的集群上的实验结果验证了我们的方法的好处。
2018-11-07 cs.DC cs.IT cs.LG
Sparse Random Khatri-Rao Product Codes for Distributed Matrix Multiplication
我们介绍了两个推广的范例,使用随机Khatri-Rao产品(RKRP)代码的分布式矩阵乘法。本文首先介绍了一类具有稀疏生成矩阵的稀疏随机Khatri-Rao乘积码。当输入矩阵稀疏时,SRKRP码比RKRP码具有更低的编码、计算和通信成本,同时它们表现出与其他现有技术方案相似的数值稳定性。我们实证研究的概率之间的关系的生成矩阵(仅限于一组非离散)的随机选择的SRKRP码是秩亏和各种参数的编码方案,包括稀疏度的生成矩阵和非离散的数量。其次,我们表明,如果主节点可以执行一个非常小的数量的矩阵产品的计算,除了由工人进行的计算,故障概率可以大大提高。
2022-05-12 cs.DC cs.IT math.IT
A Flexible and Secure Deployment Framework for Distributed Applications
本文描述了一个实现的系统,该系统旨在支持部署提供分布式服务的应用程序,包括一些分布式组件。这是通过创建高级布局和拓扑描述来实现的,这些描述驱动部署由在多个主机上运行的组件组成的应用程序的工具。该系统通过提供对主机特定属性的抽象来解决异构性问题,从而产生可以部署组件的同构运行时环境。运行时环境提供安全绑定机制,允许部署的组件绑定到它们运行所在的主机上存储的数据和服务。
2010-06-23 cs.DC
PMV: Pre-partitioned Generalized Matrix-Vector Multiplication for Scalable Graph Mining
我们如何分析包括Web和社交网络在内的庞大网络,这些网络拥有数千亿个节点和边?网络分析已通过各种图挖掘方法进行,包括最短路径计算、PageRank、连通分量计算、带重启的随机游走等。这些图挖掘方法可以表示为广义矩阵向量乘法,它由受典型矩阵向量乘法启发的少量运算组成。最近,几个图形处理系统的基础上矩阵向量乘法或自己的原语已被提出来处理大型图形,但是,他们都失败了Web规模的图形,由于内存空间不足或缺乏考虑的I/O成本。本文提出了一种基于广义矩阵向量乘法的可扩展分布式图挖掘方法PMV(Pre-partitioned Generalized Matrix-Vector Multiplication)。PMV通过预先划分输入图并根据预划分子矩阵的密度明智地应用执行策略,显著降低了分布式系统的主要瓶颈通信开销。实验表明,PMV成功地处理高达16倍的图比现有的分布式基于内存的图挖掘方法,并需要9倍的时间比以前的基于磁盘的图挖掘方法,通过减少I/O成本显着。
2017-09-26 cs.DB cs.DC cs.DS
Locality-aware parallel block-sparse matrix-matrix multiplication using the Chunks and Tasks programming model
本文提出了一种在分布式内存集群上实现并行块稀疏矩阵矩阵乘法的方法。通过使用四叉树矩阵表示,利用数据局部性,而无需有关矩阵稀疏模式的先验信息。由于我们最近开发了块和任务编程模型[并行计算],分布式四叉树矩阵表示可以直接实现。40,328(2014)]。四叉树表示与块和任务模型相结合,导致有利的弱和强缩放的通信成本与进程的数量,在理论上和数值实验中所示。矩阵由块对象的稀疏四叉树表示。层次结构中的叶子是块稀疏子矩阵。稀疏性由矩阵库动态检测,并且可以发生在层次结构中的任何级别和/或子矩阵叶内。在图形处理单元(GPU)可用的情况下,CPU和GPU都用于叶级乘法工作,从而利用每个节点的全部计算能力。的性能进行评估,为矩阵具有不同的稀疏结构,包括电子结构计算的例子。与不利用数据局部性的方法相比,我们的局部感知方法显着减少了通信,在弱缩放测试中实现了每个节点基本上恒定的通信。
2016-06-27 cs.DC
Bivariate Polynomial Coding for Efficient Distributed Matrix Multiplication
编码计算是解决大规模分布式矩阵乘法中“掉队”问题的有效方法。特别是,单变量多项式代码已被证明是有效的,通过使计算时间只取决于最快的工人在掉队缓解。然而,这些方案完全忽略了离散工人所做的工作,导致计算资源的浪费。为了减少工作者未完成的工作量,可以进一步将矩阵乘法任务分解为更小的子任务,并可能异构地将多个子任务分配给每个工作者,以更好地适应其特定的存储和计算能力。在这项工作中,我们提出了一个新的家庭的二元多项式代码,有效地利用离散工人进行的工作。我们发现,二元多项式代码带来了显着的优势,上传通信成本和存储效率,衡量每个工人可以计算的子任务的数量。我们提出了两个二元多项式编码方案。第一个利用的事实,二元插值始终是可能的评估点的矩形网格。我们以增加一些冗余计算为代价获得这样的点。对于第二种方案,我们放松了解码约束,并要求几乎所有的评估点的选择可解码。我们提出的插值集满足一定的存储配置的工人这样的解码条件。我们的数值结果表明,二元多项式编码大大减少了分布式矩阵乘法的平均计算时间。我们相信这项工作开辟了一个新的类以前未探索的编码方案,有效的编码分布式计算。
2021-08-18 cs.DC cs.IT math.IT
HerA Scheme: Secure Distributed Matrix Multiplication via Hermitian Codes
提出HerA方案,利用Hermitian码及其对偶码编码矩阵,在更小有限域上实现安全分布式矩阵乘法,并提升安全性能。
2023-05-15 cs.CR cs.DC cs.IT
Wireless Distributed Matrix-Vector Multiplication using Over-the-Air Computation and Analog Coding
本文提出一种基于空中计算(OTA)的分布式矩阵-向量乘法方法,通过列划分实现负载均衡并提升系统可扩展性,同时引入模拟编码方案,在减少无线电资源需求下达到与传统编码乘法方案相当的性能。
2024-02-17 cs.DC cs.IT cs.SY
Flexible Paxos: Quorum intersection revisited
分布式共识是现代分布式系统的组成部分。广泛采用的Paxos算法使用两个阶段,每个阶段都需要多数同意,以可靠地达成共识。在本文中,我们证明了Paxos,这是许多生产系统的基础,是保守的。具体来说,我们观察到Paxos的每个阶段都可能使用不相交的法定人数。多数法定人数是不必要的,因为交叉只需要跨阶段。使用这种削弱的要求,在原来的配方,我们提出了灵活的Paxos,它概括了Paxos算法,提供灵活的法定人数。我们表明,灵活的Paxos是安全的,高效的,易于利用现有的分布式系统。最后,我们讨论了这一结果的广泛影响。例子包括当接受者的数量是偶数时,通过将第二阶段法定人数的大小减少一个来提高可用性,以及利用小的不相交的第二阶段法定人数来加速稳态。
2016-08-24 cs.DC
Straggler Mitigation through Unequal Error Protection for Distributed Matrix Multiplication
大规模机器学习和数据采掘方法通常将计算分布在多个代理上以并行处理。计算所需的时间在代理的影响,本地资源的可用性引起的“掉队者问题”,其中的计算结果是由无响应的代理举行。对于这个问题,可以使用矩阵子块的线性编码来引入对离散的弹性。参数服务器(PS)利用信道码并将矩阵分发给工作器以进行乘法。然后,它使用在给定的截止日期收到的计算结果来产生所需矩阵乘法的近似值。在本文中,我们建议采用不等错误保护(UEP)码,以减轻掉队的问题。每个子块的弹性水平根据其范数来选择,因为具有较大范数的块对矩阵乘法的结果具有较高的影响。我们验证了我们的计划的有效性,理论和数值计算。我们推导了使用随机线性码的UEP性能的理论表征,并将其与等错误保护的情况进行了比较。我们还将所提出的编码策略应用于深度神经网络(DNN)训练中的反向传播步骤的计算,为此我们研究了精度和计算所需时间之间的基本权衡。
2021-03-19 cs.DC cs.IT math.IT
Flexible Scheduling of Distributed Analytic Applications
这项工作解决了调度用户定义的分析应用程序,我们定义为高层次的组合框架,它们的组件,以及必要的逻辑进行工作的问题。我们应用程序定义中的关键思想是区分组件的类别,包括刚性和弹性类型:前者是应用程序取得进展所需的,后者有助于减少执行时间。我们发现,调度这样的应用程序的问题提出了新的挑战,现有的方法解决效率低下。因此,我们提出了一种新的,灵活的启发式调度分析应用程序的设计和评估,其目的是在高系统的响应能力,通过有效地分配资源。我们的算法使用跟踪驱动的模拟进行评估,大规模的真实系统跟踪:我们灵活的调度程序优于基线方法在各种指标,包括应用程序的周转时间,和资源分配效率。我们还提出了一个成熟的系统,我们称之为佐伊,它结合了本文提出的想法的设计和评估,并报告具体的改进,在效率和性能方面,相对于我们的系统的前几代。
2016-12-07 cs.DC
Edge-PRUNE: Flexible Distributed Deep Learning Inference
低资源端点设备和边缘服务器之间的协作深度学习推理在过去几年中受到了极大的研究兴趣。这种计算分区可以帮助减少端点设备能耗并改善延迟,但同样重要的是,还有助于保护敏感数据的隐私。本文描述了Edge-PRUNE,一个灵活但轻量级的计算框架,用于在边缘服务器和一个或多个客户端设备之间分发机器学习推理。与以前的方法相比,Edge-PRUNE基于正式的并行计算模型,并且对机器学习训练框架是不可知的,同时为利用深度学习加速器(如嵌入式GPU)提供广泛的支持。本文的实验部分通过两个异构端点设备和一个边缘服务器上的图像分类和对象跟踪应用程序,通过无线和物理连接演示了Edge-PRUNE的使用和性能。例如,通过协作推理,基于SSD-Mobilenet的对象跟踪的端点设备推理时间加快了5.8倍。
2022-04-27 cs.DC
Flexible Distributed Particle Filtering for the Internet of Things via Aggregate Computing
提出基于聚合计算的场分布式粒子滤波方法,通过解耦滤波逻辑与协调策略,实现融合中心、测量函数和信息传播等维度的灵活定制,在统一框架下权衡精度、通信开销与鲁棒性。
2026-06-18 cs.DC
Rateless Codes for Near-Perfect Load Balancing in Distributed Matrix-Vector Multiplication
大规模机器学习和数据采掘应用需要计算机系统执行需要跨多个节点并行化的大量矩阵-向量和矩阵-矩阵乘法运算。离散节点的存在--不可预测地减慢或失败的计算节点--是这种分布式计算中的主要瓶颈。理想的负载均衡策略是将更多任务动态分配给更快的节点,需要了解或监控节点速度以及快速移动数据的能力。最近提出的固定速率擦除编码策略可以处理不可预测的节点减速,但他们忽略了离散节点所做的部分工作,从而导致大量的冗余计算。我们提出了一个\emph{rateless fountain coding}策略,实现了两全其美-我们证明了它的延迟是渐近等于理想的负载均衡,它执行渐近零冗余计算。我们的想法是创建矩阵的$m$行的线性组合,并将这些编码的行分配给不同的工作节点。只要节点共同完成略多于$m$的行向量乘积,就可以解码原始矩阵向量乘积。我们在三个计算环境中进行实验:本地并行计算,Amazon EC2和Amazon Lambda,这表明无比率编码与未编码方案相比可以提供尽可能多的$3\times$速度。
2019-10-30 cs.DC cs.IT math.IT
CodedSketch: A Coding Scheme for Distributed Computation of Approximated Matrix Multiplication
在本文中,我们提出了CodedSketch,作为一个分布式的抗离散计划来计算两个大规模矩阵的乘法近似。目标是降低恢复阈值,恢复阈值定义为我们需要等待才能恢复最终结果的工作节点的总数。为了利用仅需要近似结果的事实,在降低恢复阈值时,需要某些种类的预压缩。然而,压缩固有地涉及一些随机性,这将丢失矩阵的结构。另一方面,考虑矩阵的结构是降低恢复阈值的关键。在CodedSketch中,我们在第一个矩阵的行和第二个矩阵的列上使用count--sketch作为基于哈希的压缩方案,并在第一个矩阵的列和第二个矩阵的行上使用结构化多项式代码。这种安排使我们能够利用两者的增益来降低恢复阈值。为了提高计算精度,需要多个独立的计算草图。这种独立性使我们能够从理论上表征结果的准确性,并建立所提出的方案实现的恢复阈值。为了保证输出中的结果计数-草图的独立性,同时保持其恢复阈值上的成本最小,我们使用另一层结构化代码。
2021-02-12 cs.DC cs.IT math.IT
Task-Based Algorithm for Matrix Multiplication: A Step Towards Block-Sparse Tensor Computing
分布式存储矩阵乘法(MM)是许多领域(机器学习、量子物理)中算法的关键元素。用于密集MM的常规算法依赖于规则/均匀数据分解来确保负载平衡。这些特性与量子物理中快速方法越来越相关的不规则结构(块稀疏或块内秩稀疏)相冲突。为了处理这种不规则数据,我们提出了一种新的MM算法的基础上可扩展的通用矩阵乘法算法(SUMMA)。新的特点是:(1)多问题调度的SUMMA迭代,(2)细粒度的基于任务的制定。后者消除了显式的节点间同步的需要,与多迭代调度,这允许由于非均匀矩阵结构的负载不平衡。对于具有均匀和不均匀块大小的平方MM(后者模拟具有一般不规则结构的矩阵),我们发现在商品和高端硬件上,在弱和强缩放制度中表现出色。
2015-04-20 cs.DC
Mapping Parallel Matrix Multiplication in GotoBLAS2 to the AMD Versal ACAP for Deep Learning
本文研究在配备多AIE的AMD Versal ACAP上移植GotoBLAS2的GEMM优化技术,提出混合精度微内核与多AIE并行设计,实验证明其具备高并行可扩展性,满足深度学习自适应精度推理需求。
2024-04-23 cs.DC
Sparse and Private Distributed Matrix Multiplication with Straggler Tolerance
本文研究将两个私有稀疏矩阵乘法外包给不可信工作节点的问题,构建了推广Shamir方案的稀疏秘密共享方案,在固定阈值下提供最强隐私保证并容忍掉队者。
2023-06-27 cs.DC cs.IT math.IT
Parallel Sparse Matrix-Matrix Multiplication and Indexing: Implementation and Experiments
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出一种基于二维块数据分布和串行超稀疏内核的并行SpGEMM方法,实现了分布式内存中通用稀疏矩阵索引的高效算法,并在数千处理器上展示可扩展性。
2012-04-26 cs.DC cs.MS cs.NA
Approximate multiplication of nearly sparse matrices with decay in a fully recursive distributed task-based parallel framework
在本文中,我们考虑并行实现的近似乘法的大型矩阵与指数衰减的元素。这种矩阵出现在与电子结构计算和计算科学的一些其他领域相关的计算中。通常,稀疏性通过丢弃输入矩阵的小条目(截断)来引入。另一种方法是稀疏近似乘法算法[M. Challacombe和N. Bock,arXiv preprint 1011.3534,2010]执行子矩阵乘积的截断。我们考虑这两种方法及其组合,即截断输入矩阵和子矩阵乘积。使用Chunks and Tasks编程模型和库完成的实现[E. H. Rubensson和E. Rudberg,并行计算,40:328-343,2014]被呈现和讨论。我们表明,在Frobenius范数的绝对误差表现为$O\left(n^{1/2} \right), n \longrightarrow \infty $和$O\left(τ^{p/2} \right), τ\longrightarrow 0,\,\, \forall p < 2$的所有三种方法,其中$n$是矩阵的大小和$τ$是截断阈值。我们比较了一个模型问题的方法,并表明,合并后的方法优于原来的两个。该方法也适用于矩阵来自大型化学系统与$\sim 10^6$原子。我们表明,这两种方法的结合,实现了更好的弱缩放,通过减少通信量的一个因素的$\approx 2$。
2021-02-20 cs.DC cs.NA math.NA
Array BP-XOR Codes for Hierarchically Distributed Matrix Multiplication
提出了一种基于阵列置信传播(BP)-可译码异或(BP-XOR)码的分布式矩阵-矩阵乘法容错计算方法。所提出的方案被证明是可配置的,并适合于现代分层计算架构,如图形处理单元(GPU)配备了多个节点,其中每个都有许多小的独立处理单元,增加了核心到核心的通信。研究表明,在存在缓慢节点的情况下,所提出的方案在端到端总执行时间方面优于一些众所周知的早期策略,称为$stragglers$。这种性能优势是由于阵列码的精心设计,它以增加主从通信为代价将编码操作分布在集群(从)节点上。端到端延迟和总通信成本之间的一个有趣的权衡精确地描述。此外,为了能够解决一个确定的问题,缩放落后者,一个渐进版本的阵列BP-XOR码的基础上投影几何提出了一些计算开销的代价。对所有方案进行了彻底的延迟分析,以证明所提出的方案从端到端延迟的角度来看,在计算产品的大小的次线性和线性制度中实现了顺序最优计算。
2021-12-10 cs.DC cs.IT math.IT
Communication-Avoiding and Memory-Constrained Sparse Matrix-Matrix Multiplication at Extreme Scale
稀疏矩阵-矩阵乘法(Sparse matrix-matrix multiplication,SpGEMM)是各种图、科学计算和机器学习算法中广泛使用的核心。在本文中,我们考虑在数十万个处理器上执行SpGEMM,在输出矩阵中生成数万亿个非零。这种极端规模的分布式SpGEMM面临两个关键挑战:(1)高通信成本和(2)生成输出的内存不足。我们通过集成的通信避免和内存受限的SpGEMM算法来解决这些挑战,该算法可扩展到262,144个核心(超过100万个硬件线程),并且只要输入和输出的一小部分适合聚合内存,就可以乘以任何大小的稀疏矩阵。当我们在Cray XC 40超级计算机上从16,384个核心增加到262,144个核心时,新的SpGEMM算法在乘以大规模蛋白质相似性矩阵时运行速度快了10倍。
2020-10-16 cs.DC
Straggler Mitigation through Unequal Error Protection for Distributed Approximate Matrix Multiplication
大规模机器学习和数据采掘方法通常将计算分布在多个代理上以并行处理。在代理处的计算所需的时间受到本地资源的可用性和/或引起“掉队者问题”的不良信道条件的影响。为了解决这个问题,我们采用不等错误保护(UEP)码来获得分布式计算设置中的矩阵乘积的近似,以提供对最终结果具有更高影响的块的更高保护。我们从理论上描述了所提出的方法的性能,通过约束具有不相关条目的矩阵的预期重建误差。我们还将所提出的编码策略应用于训练深度神经网络(DNN)中的反向传播步骤的计算,用于评估梯度中的图像分类任务。我们的数值实验表明,它确实是可能的,以获得显着改善所需的总时间,以实现DNN的训练收敛,通过产生近似矩阵产品使用UEP码在存在的掉队者。
2021-07-27 cs.DC cs.IT math.IT
Strong Scaling of Matrix Multiplication Algorithms and Memory-Independent Communication Lower Bounds
如果并行算法在P个处理机上的运行时间是1/P线性的,包括所有的通信开销,则该并行算法具有完美的强标度性。具有完美强标度的矩阵乘法的分布式内存并行算法最近才被发现。一种是基于经典矩阵乘法(Solomonik and Demmel,2011),另一种是基于Strassen的快速矩阵乘法(Ballard,Demmel,Holtz,Lipshitz,and Schwartz,2012)。这两种算法都可以完美地扩展,但只能扩展到处理器间通信不再扩展的处理器数量。我们得到了一个内存独立的通信成本的经典和基于Strassen的分布式存储矩阵乘法算法的下界。这些界限意味着,没有经典的或基于Strassen的并行矩阵乘法算法可以强大的规模完全超出上述两个并行算法已经达到的范围。记忆无关的边界和强缩放边界推广到其他算法。
2012-02-14 cs.CC cs.DC cs.DS
RDMA-Based Algorithms for Sparse Matrix Multiplication on GPUs
本文针对GPU分布式环境下的稀疏矩阵乘法,提出基于RDMA和NVSHMEM的异步SpMM与SpGEMM算法,实验表明其性能优于批量同步方案,并支持工作窃取等新算法。
2024-05-31 cs.DC
Straggler Mitigation in Distributed Matrix Multiplication: Fundamental Limits and Optimal Coding
我们考虑的问题,大量的矩阵乘法,这是许多数据分析应用程序的基础,在一个大规模的分布式系统,包括一组工作节点。我们针对掉队者的延迟性能瓶颈,这是由于等待最慢的节点(或掉队者)完成其任务的不可预测的延迟。我们提出了一种新的编码策略,命名为\emph{entangled polynomial code},用于设计工作节点处的中间计算,以最小化恢复阈值(即,我们需要等待的工人数量,以计算最终的输出)。我们证明了纠缠多项式码在几种情况下的最优性,并表明它提供了有序的改进,比传统的计划,减少掉队。此外,我们描述了最佳恢复阈值之间的所有线性编码策略的$2$的一个因素内使用\emph{bilinear complexity},通过开发一个改进版本的纠缠多项式码。特别是,虽然评估双线性复杂性是一个众所周知的具有挑战性的问题,我们表明,线性编码策略的最佳恢复阈值可以近似在这个基本量的$2$的一个因素。另一方面,改进版本的纠缠多项式码,使进一步和有序减少恢复阈值,相比其基本版本。最后,我们表明,本文中开发的技术也可以扩展到其他几个问题,如编码卷积和容错计算,导致紧的特征。
2020-04-09 cs.DC cs.IT math.IT
Coded Distributed (Batch) Matrix Multiplication over Galois Ring via RMFE
针对小型伽罗瓦域和整数剩余环上CDMM效率低的问题,本文在伽罗瓦环上构建高效CDMM,提出基于RMFE的批量框架(阈值降为1/n)、优化EP码的单CDMM(性能接近大伽罗瓦域方案)并完成实验分析。
2024-12-02 cs.DC cs.IT math.IT
Algebraic Geometry Codes for Distributed Matrix Multiplication Using Local Expansions
针对小有限域上基于RS码的分布式矩阵乘法受工作节点数限制的问题,本文利用函数局部展开构造Riemann-Roch空间新基,将Polynomial、MatDot和PolyDot三类方案推广到AG码,并首次给出基于AG的PolyDot码。
2024-08-03 cs.DC cs.IT math.IT
DeFT: Mitigating Data Dependencies for Flexible Communication Scheduling in Distributed Training
针对分布式数据并行训练中通信调度现有方案的三大缺陷,提出DeFT方案,将调度转化为多背包问题,通过延迟更新等技术发掘重叠机会并保障精度,实验验证其在多基准上实现显著加速。
2025-03-21 cs.DC
Fast multiplication by two's complement addition of numbers represented as a set of polynomial radix 2 indexes, stored as an integer list for massively parallel computation
本文提出了一种基于多项式基数2索引集合的快速乘法方法,通过二进制补码加法实现高效并行计算,克服了传统并行乘法的内存共享限制。
2025-11-27 cs.DC cs.DS cs.LG
Flexible Session Management in a Distributed Environment
分布式系统使用的许多安全通信库,如SSL、TLS和SSL,都无法明确区分身份验证层、会话层和通信层。本文介绍了Condor高吞吐量计算软件所使用的安全通信库CEDAR,并指出CEDAR将这些层分离后对分布式计算系统的好处。无论使用哪种身份验证方法,CEDAR都会建立一个安全的会话密钥,该密钥可以灵活地用于多种功能。我们演示了如何分层的安全会话方法可以避免往返和网络身份验证中固有的延迟。创建不同的会话管理层允许通过将会话委托给系统中的其他组件来优化以提高可伸缩性。此会话委派创建了一个信任链,可减少建立安全连接的开销,并支持集中实施系统范围的安全策略。此外,基于UDP数据报的安全信道经常被现有的库忽视,我们展示了CEDAR的结构如何适应这一点。作为这项工作的效用的一个例子,我们展示了如何使用委托的安全会话和其他技术固有的CEDAR的架构,使美国CMS,以满足其可扩展性的要求,在大规模的部署秃鹰,广域网系统。
2010-11-02 cs.DC