Straggler-Resilient and Communication-Efficient Distributed Iterative Linear Solver
提出了一种新的分布式迭代线性逆求解方法。我们的方法,PolyLin,具有显着降低的通信成本,无论是在轮数以及位数方面,与现有技术相比,在较高的计算复杂性和存储的成本。我们的算法也有一个内置的弹性离散和错误的计算节点。我们开发了一个自然的变种,我们的主要算法,权衡通信成本的计算复杂性。我们的方法的灵感来自于纠错码的思想。
2018-06-15 cs.IT math.IT
Distributed matrix multiplication with straggler tolerance using algebraic function fields
针对固定小有限域和大量工作节点的 DMM 掉队者问题,提出基于代数函数域与 Weierstrass 半群的编码构造,获得最优或近最优恢复阈值且不增加单节点计算复杂度。
2024-01-24 cs.IT math.IT
Near-Optimal Straggler Mitigation for Distributed Gradient Methods
现代学习算法使用梯度下降更新来训练最能解释数据的推理模型。将这些方法扩展到大规模数据大小需要适当的分布式梯度下降方案,其中分布式工作节点基于其部分和本地数据集计算部分梯度,并将结果发送到主节点,在主节点中所有计算被聚合成完整梯度并更新学习模型。然而,出现的主要性能瓶颈是一些工作节点可能运行缓慢。这些节点也就是由于最慢的节点可能决定总的计算时间,所以离散节点可能显著地减慢计算。我们提出了一个分布式计算方案,称为批处理优惠券收集器(BCC),以减轻梯度方法中的落伍者的影响。我们证明了我们的BCC计划是强大的随机离散的一个接近最佳的数量。我们还通过经验证明,与其他落后缓解策略相比,我们提出的BCC方案在Amazon EC2集群上减少了高达85.4%的运行时间。我们还推广建议BCC计划,以最大限度地减少完成时间时,实现基于梯度下降算法在异构工作节点。
2017-10-27 cs.DC cs.IT math.IT
Preserving Sparsity and Privacy in Straggler-Resilient Distributed Matrix Computations
本文研究在抗掉队者分布式矩阵计算中保持输入稀疏性的问题,给出编码权重下界并提出达到该下界的方案,同时实现计算时间与隐私约束的可控权衡,并通过AWS实验验证其有效性。
2023-08-08 cs.CR cs.IT math.IT
Data Replication for Reducing Computing Time in Distributed Systems with Stragglers
在具有离散节点的分布式计算系统中,各种形式的冗余可以提高系统的平均延迟性能。研究了作业执行时间为随机递减凸随机变量的系统中数据的最优复制问题。我们表明,在这样的系统中,最优分配策略是不相交的数据批次的平衡复制。此外,指数和移位指数的服务时间,我们得出的最佳冗余水平,最小化的期望值和方差的工作完成时间。我们的分析表明,最佳的冗余水平可能是不相同的两个指标,因此有一个折衷之间减少的期望值的完成时间和减少其方差。
2019-12-31 cs.DC cs.IT math.IT
Adaptive Worker Grouping For Communication-Efficient and Straggler-Tolerant Distributed SGD
Fudan University(复旦大学)
挂钟收敛时间和通信负载是随机梯度下降(SGD)在参数服务器设置中的分布式实现的关键性能指标。通信自适应分布式亚当(CADA)最近已被提出作为一种方法,以减少通信负载,通过自适应选择的工人。CADA是受到性能退化方面的挂钟收敛时间的存在下的掉队者。本文提出了一种新的方案命名为基于分组的CADA(G-CADA),保留了CADA的优点,在减少通信负载,同时增加了对落伍者的鲁棒性,在工人的额外存储的成本。G-CADA将工作者划分为被分配相同数据分片的工作者组。组在每次迭代中自适应地调度,服务器只等待每个选定组中最快的工作者。我们提供了分析和实验结果,阐述了显着的增益上的挂钟时间,以及通信负载和计算负载,G-CADA超过其他基准计划。
2022-01-12 cs.IT cs.LG math.IT
Coded convolution for parallel and distributed computing within a deadline
我们考虑的问题,计算卷积的两个长向量使用并行处理单位的存在下,“掉队者”。掉队者指的是在时间关键的分布式系统中延迟整个计算的一小部分故障或缓慢的处理器。我们首先表明,分裂成更小的块的向量,并使用线性代码来编码这些碎片提供了更好的弹性,对掉队者比基于复制的计划下一个简单的,最坏情况下的掉队者分析。然后,我们证明了在常用的计算时间模型下,编码可以显着提高在目标“截止日期”时间内完成计算的概率。相对于更常用的技术,预期的计算时间分析,我们量化的指数的失败的概率在大的最后期限的限制。我们的指数度量捕获在指定的截止时间之前未能完成的概率,即“尾部”的行为。此外,我们的技术还允许更一般的模型的计算时间,例如移位威布尔模型,而不是只有移位指数的简单封闭形式的表达式。因此,通过这个问题的编码卷积,我们建立了一个新的渐近失效指数分析分布式系统的效用。
2017-05-10 cs.IT math.IT
Straggler Mitigation through Unequal Error Protection for Distributed Approximate Matrix Multiplication
大规模机器学习和数据采掘方法通常将计算分布在多个代理上以并行处理。在代理处的计算所需的时间受到本地资源的可用性和/或引起“掉队者问题”的不良信道条件的影响。为了解决这个问题,我们采用不等错误保护(UEP)码来获得分布式计算设置中的矩阵乘积的近似,以提供对最终结果具有更高影响的块的更高保护。我们从理论上描述了所提出的方法的性能,通过约束具有不相关条目的矩阵的预期重建误差。我们还将所提出的编码策略应用于训练深度神经网络(DNN)中的反向传播步骤的计算,用于评估梯度中的图像分类任务。我们的数值实验表明,它确实是可能的,以获得显着改善所需的总时间,以实现DNN的训练收敛,通过产生近似矩阵产品使用UEP码在存在的掉队者。
2021-07-27 cs.DC cs.IT math.IT
Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning
Shanghai Jiao Tong University(上海交通大学)
针对分布式学习中部分掉队者导致不完整计算无法利用的问题,提出块坐标梯度编码及低复杂度优化算法,以最小化预期运行时间并最大化完成概率。
2023-02-04 cs.IT cs.LG math.IT
Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning
University of Maryland(马里兰大学);Imperial College London(伦敦帝国学院)
分布式实现对于加速大规模机器学习应用至关重要。分布式梯度下降(GD)通过将数据集分布在多个工作者之间来广泛地用于并行化学习任务。分布式同步GD中每次迭代完成时间的一个重要性能瓶颈是$straggling$工作者。编码分布式计算技术最近被引入,以减轻离散和加速GD迭代分配冗余计算的工人。在本文中,我们考虑梯度编码(GC),并提出了一种新的动态GC计划,它分配冗余数据的工人获得的灵活性,动态选择一组可能的代码取决于过去的离散行为。特别是,我们认为GC与聚类,并调节在每个集群中的掉队者的数量,在每次迭代时动态地形成集群,因此,该计划被称为$GC$ $with$ $dynamic$ $clustering$(GC-DC)。在时间相关的离散行为下,GC-DC随着时间的推移从适应离散行为中获益,使得在每次迭代时,GC-DC旨在基于过去的离散行为尽可能均匀地跨集群分布离散者。对于同构和异构的工人模型,我们数值表明,GC-DC提供了显着的改善,在平均每次迭代完成时间没有增加的通信负载相比,原来的GC计划。
2021-03-01 cs.DC cs.IT cs.LG
"Short-Dot": Computing Large Linear Transforms Distributedly Using Coded Short Dot Products
面对摩尔定律的饱和和数据维度的增加,系统设计人员越来越多地采用并行和分布式计算。然而,分布式计算经常被称为“掉队者”的一小部分慢处理器瓶颈,这降低了计算速度,因为融合节点必须等待所有处理器完成。为了对抗掉队者的影响,最近的文献在跨处理器的计算中引入冗余,例如,~使用基于重复的策略或擦除码。融合节点可以通过仅使用来自处理器的子集的输出来完成计算而忽略掉队者来利用这种冗余。在本文中,我们提出了一种新的技术-我们称之为“短点”-引入冗余计算的编码理论启发的方式,计算线性变换的长向量。而不是在原来的线性变换所需的计算长点积,我们构建了大量的冗余和短点积,可以更快,更有效地计算在各个处理器。参考引入冗余来解决掉队者的类似方案,Short-Dot降低了计算、存储和通信的成本,因为在每个处理器处存储和计算较短的部分,并且还将输入的较短部分传送到每个处理器。我们证明,通过概率分析以及实验,短点提供显着的速度相比,现有的技术。我们还得到权衡点产品的长度和应变能力的掉队者(处理器的数量等待),任何这样的策略,并将其与我们的策略实现。
2017-04-18 cs.IT math.IT
Straggler Robust Distributed Matrix Inverse Approximation
数值分析和线性代数、优化、机器学习和工程算法中的一种繁琐操作;是对出现在各种过程和应用中的大型满秩矩阵求逆。这具有数值稳定性和复杂性问题,以及高预期计算时间。我们解决后一个问题,提出了一种算法,它使用一个黑盒最小二乘优化求解器作为子程序,给一个估计的逆(和伪逆)的真实非奇异矩阵,通过估计其列。这也赋予了它以分布式方式执行的灵活性,因此可以更快地获得估计,并且可以使其对\textit{stragglers}具有鲁棒性。此外,我们假设一个集中式网络,在计算节点之间没有消息传递,并且不需要矩阵分解;例如LU,SVD或QR分解。
2022-06-22 cs.IT cs.NA math.IT
Adaptive Gradient Coding
本文主要研究分布式学习系统中分散学习者的影响。不同于现有的结果设计为一个固定数量的离散,我们开发了一个新的计划,称为自适应梯度编码(AGC)与灵活的宽容的各种数量的离散。我们的计划给出了一个最佳的权衡之间的计算负载,离散宽容和通信成本。特别地,它允许根据实际环境中的离散者的实时数量来最小化通信成本。使用Python和mpi4py包在Amazon EC2集群上实现验证了在几种情况下的灵活性。
2021-10-19 cs.IT math.IT
LAGC: Lazily Aggregated Gradient Coding for Straggler-Tolerant and Communication-Efficient Distributed Learning
参数服务器(PS)计算架构中基于代理的分布式学习会受到由于离散工作节点而导致的随机延迟以及PS和工作节点之间可能的通信瓶颈的影响。最近已经提出了基于梯度编码、工人分组和自适应工人选择的思想来单独解决这些损伤的解决方案。本文提供了一个统一的分析这些技术的挂钟时间,通信和计算复杂性的措施。此外,为了结合梯度编码和分组的好处,在鲁棒性的落伍者与通信和计算负载增益的自适应选择,新的战略,命名为懒惰聚合梯度编码(LAGC)和分组LAG(G-LAG),介绍。分析和结果表明,G-LAG提供了最好的挂钟时间和通信性能,同时保持了较低的计算成本,两个代表性分布的计算时间的工作节点。
2020-04-08 cs.IT cs.LG eess.SP
Straggler Mitigation in Distributed Matrix Multiplication: Fundamental Limits and Optimal Coding
我们考虑的问题,大量的矩阵乘法,这是许多数据分析应用程序的基础,在一个大规模的分布式系统,包括一组工作节点。我们针对掉队者的延迟性能瓶颈,这是由于等待最慢的节点(或掉队者)完成其任务的不可预测的延迟。我们提出了一种新的编码策略,命名为\emph{entangled polynomial code},用于设计工作节点处的中间计算,以最小化恢复阈值(即,我们需要等待的工人数量,以计算最终的输出)。我们证明了纠缠多项式码在几种情况下的最优性,并表明它提供了有序的改进,比传统的计划,减少掉队。此外,我们描述了最佳恢复阈值之间的所有线性编码策略的$2$的一个因素内使用\emph{bilinear complexity},通过开发一个改进版本的纠缠多项式码。特别是,虽然评估双线性复杂性是一个众所周知的具有挑战性的问题,我们表明,线性编码策略的最佳恢复阈值可以近似在这个基本量的$2$的一个因素。另一方面,改进版本的纠缠多项式码,使进一步和有序减少恢复阈值,相比其基本版本。最后,我们表明,本文中开发的技术也可以扩展到其他几个问题,如编码卷积和容错计算,导致紧的特征。
2020-04-09 cs.DC cs.IT math.IT
On the Effect of Task-to-Worker Assignment in Distributed Computing Systems with Stragglers
Rutgers University(罗格斯大学)
研究了最近提出的分布式计算算法的期望完成时间,这些算法将计算任务冗余地分配给多台机器,以容忍一定数量的机器故障。我们分析表明,不仅冗余量,而且任务到机器的分配影响在分布式系统中的延迟。我们研究的系统与一个固定数量的计算任务,可能重叠的批次分裂,独立的指数分布的机器服务时间。我们表明,对于这样的系统,非重叠(不相交)批次的计算任务的统一复制达到最小的预期计算时间。
2018-08-08 cs.AI cs.DC cs.IT
Sparse and Private Distributed Matrix Multiplication with Straggler Tolerance
本文研究将两个私有稀疏矩阵乘法外包给不可信工作节点的问题,构建了推广Shamir方案的稀疏秘密共享方案,在固定阈值下提供最强隐私保证并容忍掉队者。
2023-06-27 cs.DC cs.IT math.IT
Timely Distributed Computation with Stragglers
我们考虑一个状态更新系统,其中更新数据包需要被处理,以提取嵌入的有用信息。源节点将获取的信息发送给计算单元(CU),计算单元由主节点和$n$工作节点组成。主节点将接收到的计算任务分发给工作节点。在计算时,主节点聚集结果并将它们发送回源节点以保持其\emph{updated}。本文研究了在i.i.d.~指数传输延迟和I.I.D~移位指数计算时间。我们证明了渐进MM-MDS编码方案优于其他方案。此外,我们的最佳代码的特点,使平均年龄最小化。
2019-10-08 cs.IT cs.NI eess.SP
Flexible Coded Distributed Convolution Computing for Enhanced Straggler Resilience and Numerical Stability in Distributed CNNs
College of Computer Science, Chongqing University(重庆大学计算机学院);School of Electrical Engineering, Korea University(韩国大学电气工程学院);School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);City University of Hong Kong(香港城市大学)
本文提出FCDCC框架,通过CRME扩展和两种编码分区策略实现张量卷积的线性分解与编码冗余,增强分布式CNN的掉队者韧性和数值稳定性,并验证了其高效性与可扩展性。
2025-09-07 cs.AI cs.CV cs.DC
Straggler Mitigation in Distributed Optimization Through Data Encoding
UCLA(加州大学洛杉矶分校);Technicolor Research(泰利克色研究公司)
在分布式计算中,运行缓慢或落后的任务会显著降低计算速度。最近,受编码理论启发的方法已经被应用于通过在优化算法的某些线性计算步骤中嵌入冗余来减轻离散的影响,从而在不等待离散者的情况下完成计算。在本文中,我们提出了一种替代方法,我们将冗余直接嵌入数据本身,并允许计算完全不受编码的影响。我们提出了几种编码方案,并证明了流行的批处理算法,如梯度下降和L-BFGS,应用在一个编码不经意的方式,确定性地实现样本路径线性收敛到原问题的近似解,使用任意变化的子集的节点在每次迭代。此外,这种近似可以通过冗余量和每次迭代中使用的节点数量来控制。我们提供的实验结果表明,该方法的优势,在未编码和数据复制策略。
2018-01-22 cs.DC cs.IT cs.LG
Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning
University of California, Berkeley(加州大学伯克利分校)
基于梯度的方法的分布式实现,其中服务器将梯度计算分布在工作机器上,需要克服两个限制:由称为“掉队者”的缓慢运行的机器引起的延迟,以及通信开销。最近,Ye和Abbe [ICML 2018]提出了一种编码理论范式,以表征每个工作者的计算负载,每个工作者的通信开销和离散容忍之间的基本权衡。然而,他们提出的编码方案遭受沉重的解码复杂度和差的数值稳定性。在本文中,我们开发了一个通信高效的梯度编码框架,以克服这些缺点。我们提出的框架允许使用任何线性码来设计编码和解码功能。当在该框架中使用特定代码时,其块长度决定计算负载,维度决定通信开销,最小距离决定离散容限。选择代码的灵活性允许我们优雅地权衡离散阈值和通信开销,以获得更小的解码复杂度和更高的数值稳定性。此外,我们表明,使用一个随机高斯矩阵在我们的框架中产生的最大距离可分离(MDS)代码的梯度代码,是最佳的权衡,此外,满足更强的保证数值稳定性相比,以前提出的计划。最后,我们在Amazon EC2上评估了我们提出的框架,并证明与之前的梯度编码方案相比,它将平均迭代时间减少了16%。
2020-05-14 cs.DC cs.IT cs.LG
Coded sparse matrix computation schemes that leverage partial stragglers
大型集群上的分布式矩阵计算可能会遇到缓慢或失败的工作节点(称为掉队者)的问题,这可能会支配整个作业执行时间。编码计算利用擦除编码的概念,通过运行包含作业的任务的“编码”副本来减轻掉队者的影响;掉队者通常被视为擦除。虽然这是有用的,但应用存在问题,例如,MDS代码以简单的方式。几个实际的矩阵计算场景涉及稀疏矩阵。MDS码通常需要原始矩阵的子矩阵的密集线性组合,这破坏了它们固有的稀疏性。这是有问题的,因为它导致显著更高的工作者计算时间。此外,将慢节点视为擦除忽略了它们执行的潜在有用的部分计算。此外,一些MDS技术还遭受显著的数值稳定性问题。在这项工作中,我们提出的计划,使我们能够利用部分计算的掉队者,同时施加限制的水平上的编码,需要在生成的编码子矩阵。与先前的方法相比,这显著地减少了工作者计算时间,并且导致解码过程中改进的数值稳定性。亚马逊网络服务(AWS)集群详尽的数值实验支持我们的研究结果。
2021-09-24 cs.DC cs.IT math.IT
Universally Decodable Matrices for Distributed Matrix-Vector Multiplication
编码计算是一个新兴的研究领域,它利用擦除编码的概念来减轻分布式计算集群中的掉队者(慢节点)的影响,特别是对于矩阵计算问题。在这项工作中,我们提出了一类分布式矩阵向量乘法计划,是基于代码的Rosenbloom-Tsfasman度量和普遍可解码的矩阵。我们的计划考虑到固有的计算顺序内的工人节点。特别是,它们使我们能够有效地利用由掉队者执行的部分计算(这是许多以前的作品所缺乏的功能)。我们的工作的另一个主要贡献是这些代码的同伴矩阵为基础的嵌入,使我们能够获得稀疏和数值稳定的计划手头的问题。实验结果证实了我们的技术的有效性。
2019-01-30 cs.IT math.IT
Distributed Matrix Computations with Low-weight Encodings
针对稀疏矩阵分布式计算中稠密编码增加计算量的问题,提出基于少量子矩阵随机线性组合的低权重编码方法,兼具最优滞错能力与高效编码,实验验证可显著提升计算与编码效率。
2023-08-22 cs.IT math.IT
Straggler-aware Distributed Learning: Communication Computation Latency Trade-off
Imperial College London(帝国理工学院);University of Maryland(马里兰大学)
当梯度下降(GD)被扩展到多个并行工作者以用于大规模机器学习问题时,其每次迭代的计算时间受到离散工作者的限制。可以通过分配冗余计算和跨数据和计算进行编码来容忍离散工作者,但是在大多数现有方案中,每个非离散工作者在完成其所有计算之后每次迭代向参数服务器(PS)发送一条消息。施加这样的限制导致两个主要缺点:由于对离散行为的不准确预测而导致的过度计算,以及由于将工人视为离散者/非离散者并丢弃由离散者进行的部分计算而导致的利用不足。在本文中,为了克服这些缺点,我们考虑多消息通信(MMC),允许多个计算从每个工人每次迭代,并设计相应的掉队避免技术。然后,我们分析了如何有效地利用所提出的设计,以寻求计算和通信延迟之间的平衡,以最大限度地减少整体延迟。此外,通过大量的模拟,无论是基于模型的,还是在Amazon EC2服务器上的实际实现,我们确定了这些设计在不同设置中的优点和缺点,并证明了MMC可以帮助改进现有的掉队者避免方案。
2020-04-10 cs.DC cs.IT cs.LG
Straggler Mitigation through Unequal Error Protection for Distributed Matrix Multiplication
大规模机器学习和数据采掘方法通常将计算分布在多个代理上以并行处理。计算所需的时间在代理的影响,本地资源的可用性引起的“掉队者问题”,其中的计算结果是由无响应的代理举行。对于这个问题,可以使用矩阵子块的线性编码来引入对离散的弹性。参数服务器(PS)利用信道码并将矩阵分发给工作器以进行乘法。然后,它使用在给定的截止日期收到的计算结果来产生所需矩阵乘法的近似值。在本文中,我们建议采用不等错误保护(UEP)码,以减轻掉队的问题。每个子块的弹性水平根据其范数来选择,因为具有较大范数的块对矩阵乘法的结果具有较高的影响。我们验证了我们的计划的有效性,理论和数值计算。我们推导了使用随机线性码的UEP性能的理论表征,并将其与等错误保护的情况进行了比较。我们还将所提出的编码策略应用于深度神经网络(DNN)训练中的反向传播步骤的计算,为此我们研究了精度和计算所需时间之间的基本权衡。
2021-03-19 cs.DC cs.IT math.IT
$C^{3}LES$: Codes for Coded Computation that Leverage Stragglers
在分布式计算系统中,众所周知,速度慢的工作节点(称为掉队者)往往主导整个作业执行时间。编码计算利用擦除编码的概念,通过运行构成作业的任务的“编码”副本来减轻掉队者的影响。在此过程中,掉队者通常被视为擦除。虽然这是有用的,但应用存在问题,例如,MDS代码以简单的方式。具体来说,一些应用程序,如矩阵向量积处理稀疏矩阵。MDS码通常需要原始矩阵的子矩阵的密集线性组合,这破坏了它们固有的稀疏性。这是有问题的,因为它导致用于在编码计算中计算子矩阵-向量乘积的显著更高的处理时间。此外,它也忽略了部分计算在落伍者。在这项工作中,我们提出了一个细粒度的模型,量化的非平凡的编码水平需要获得编码矩阵向量计算的好处。同时,它允许我们利用离散节点执行的部分计算。对于这个模型,我们提出并评估了几个代码设计,并讨论了它们的属性。
2018-09-17 cs.IT math.IT
Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load
Technical University of Munich(慕尼黑工业大学);Aalto University(阿尔托大学)
本文针对分布式SGD中的滞后节点问题,提出一种在运行过程中同时自适应调整工作节点数量和计算负载的新方案,从而在略微增加通信负载的代价下显著降低计算负载并加快收敛。
2023-04-17 cs.DC cs.IT cs.LG
Efficient Replication for Straggler Mitigation in Distributed Computing
主-工分布式计算系统使用任务复制来减轻被称为掉队者的慢工人的影响。任务被分组到批中,并分配给一个或多个工作者执行。我们首先考虑的情况下,当批次不重叠,并使用从优化理论的结果,表明,对于一般类的工人的服务时间分布,一个平衡的分配批次工人的平均作业计算时间最小化。我们接下来表明,这种平衡分配的非重叠批次实现了较低的平均作业计算时间相比,文献中提出的重叠计划。此外,我们得出的最佳冗余水平作为一个功能的服务时间分布在工人。我们表明,最小化平均作业计算时间的冗余水平不一定与最大化作业计算时间可预测性的冗余水平相同,因此优化这两个指标之间存在权衡。最后,通过对Google集群轨迹的实验,我们观察到冗余可以将Google集群中任务的计算时间减少一个数量级,并且最佳冗余水平取决于任务的服务时间分布。
2020-12-27 cs.DC cs.IT cs.PF
Serverless Straggler Mitigation using Local Error-Correcting Codes
廉价的云服务,如无服务器计算,通常容易受到分散节点的影响,这会增加分布式计算的端到端延迟。我们提出并实现了简单而有原则的方法,用于在无服务器系统中进行矩阵乘法,并在机器学习和高性能计算的几个常见应用程序上对其进行评估。所提出的方案受到纠错码的启发,并使用无服务器工作人员对存储在云中的数据进行并行编码和解码。这创建了完全分布式计算框架,而不使用主节点进行编码或解码,这消除了主节点处的计算、通信和存储瓶颈。在理论方面,我们建立了我们提出的方案是渐近最优的解码时间,并提供了一个下界的掉队者,它可以容忍的概率很高。通过大量的实验,我们表明,我们的计划优于现有的计划,如投机执行和其他编码理论的方法至少25%。
2020-01-21 cs.DC cs.IT math.IT
Efficient and Robust Distributed Matrix Computations via Convolutional Coding
分布式矩阵计算-矩阵-矩阵或矩阵-向量乘法-被公认为遭受掉队者(缓慢或失败的工作节点)的问题。这一领域的许多先前工作是(i)就其离散弹性而言次优的,或者(ii)遭受数值问题,即,由于相应解码矩阵的高条件数,在解码结果中存在舍入误差的放大。我们的工作提出了卷积编码方法来解决这个问题,消除了这些限制。它是最佳的,在其掉队的弹性,并具有良好的数值鲁棒性,只要工人的存储容量略高于基本下限。此外,它可以使用只涉及加/减操作的快速剥离解码器来解码。我们的第二种方法的解码复杂度略高于第一种方法,但允许我们任意接近下限进行操作。它的数值鲁棒性可以从理论上量化的最坏情况下的条件数在所有可能的解码矩阵通过绘制连接与大型Toeplitz矩阵的属性推导出一个可计算的上限。所有上述说法都得到了AWS云平台上进行的大量实验的支持。
2020-06-01 cs.IT math.IT
Slack Squeeze Coded Computing for Adaptive Straggler Mitigation
在当今基于云的平台中执行分布式计算时,计算节点之间的执行速度差异会显着降低性能并产生瓶颈,如掉队者。编码计算技术利用编码理论来注入计算冗余并减轻分布式计算中的掉队者。在本文中,我们提出了一个动态的工作负载分配策略的编码计算称为松弛挤压编码计算($S^2C^2$)。$S^2C^2$挤压计算松弛(即,开销),其通过根据所有快节点和慢节点的速度有效地为它们分配工作并且不需要重新分发数据来构建到编码的计算框架中。我们实现了一个基于LSTM的速度预测算法来预测计算节点的速度。我们评估$S^2C^2$的线性代数算法,梯度下降,图排名,图过滤算法。我们证明了19%至39%的总计算延迟减少使用$S^2C^2$相比,作业复制和编码计算。我们进一步展示了如何$S^2C^2$可以应用到矩阵向量乘法之外。
2019-08-31 cs.DC cs.IT math.IT
Rate-Efficiency and Straggler-Robustness through Partition in Distributed Two-Sided Secure Matrix Computation
计算高效的矩阵乘法是各种领域的基本要求,包括并且特别是在数据分析中。为此,大规模矩阵乘法的计算任务通常外包给多个服务器。然而,由于服务器上的数据误用,安全性通常是令人担忧的。本文从信息论的角度研究了双边安全矩阵乘法问题,其中用户对两个有限域私有矩阵$\boldsymbol{A}$和$\boldsymbol{B}$的矩阵乘积$\boldsymbol{AB}$感兴趣.在这个问题中,用户利用$N$服务器的计算资源来计算矩阵乘积,但同时试图向服务器隐藏私有矩阵。我们的目标是双重的:(i)最大化通信速率,以及(ii)最小化确定$\boldsymbol{AB}$所需的服务器观测的有效数量,同时保持安全性,其中我们允许多达$\ell\leq N$服务器串通。为此,我们提出了一种通用的对齐秘密共享方案,针对该方案,我们优化了矩阵$\boldsymbol{A}$和$\boldsymbol{B}$的矩阵划分,以便根据系统参数(例如,$N$和$\ell$)。一个建议的归纳方法为我们提供了分析,接近最佳的解决方案(i)和(ii)。关于(i),我们的方案在(a)通信速率、(b)最大可容忍合谋服务器数目和(c)计算复杂性方面显著优于Chang和Tandon的现有方案。
2018-10-30 cs.IT math.IT
Gradient Coding with Dynamic Clustering for Straggler Mitigation
University of Maryland(马里兰大学);Imperial College London(帝国理工学院)
在分布式同步梯度下降(GD)中,每次迭代完成时间的主要性能瓶颈是最慢的\textit{straggling}工作者。为了加快GD迭代中存在的掉队者,编码分布式计算技术的实现分配冗余计算的工人。在本文中,我们提出了一种新的梯度编码(GC)计划,利用动态聚类,表示为GC-DC,以加快梯度计算。在时间相关的离散行为下,GC-DC的目标是根据前一次迭代中的离散行为来调节每个集群中离散工人的数量。我们数值计算表明,GC-DC提供了显着的改善,在平均完成时间(每次迭代)的通信负载没有增加相比,原来的GC计划。
2020-11-03 cs.DC cs.IT cs.LG
Distributed Matrix Multiplication with a Smaller Recovery Threshold through Modulo-based Approaches
本文提出基于模运算和局部可修复码的分布式矩阵乘法方案,在降低恢复阈值的同时增强对落后节点的鲁棒性,并推广到广义线性模型等矩阵计算问题。
2023-09-19 cs.IT math.IT
Fundamental Resource Trade-offs for Encoded Distributed Optimization
University of Southern California(南加利福尼亚大学)
处理当今海量数据集的剪切大小和复杂性需要能够以并行和分布式方式分析数据的计算平台。在这种现代分布式计算环境中出现的主要瓶颈是某些工作节点可能运行缓慢。这些节点又名~由于最慢的节点可能决定总的计算时间,所以离散节点可能显著地减慢计算。最近的计算框架,称为编码优化,在数据中创建冗余,以减轻掉队者的影响。在本文中,我们开发了新的数学理解这个框架,证明其有效性,在更广泛的设置比以前所理解的。我们还分析了迭代编码优化算法的收敛行为,使我们能够在这个框架中描述收敛速度,数据集大小,准确性,计算负载(或数据冗余)和落伍容忍之间的基本权衡。
2019-04-01 cs.IT cs.LG math.IT
Heterogeneity-aware Gradient Coding for Straggler Tolerance
梯度下降算法广泛应用于机器学习中。为了处理大量的数据,我们考虑在分布式计算中实现梯度下降算法,其中多个工作者计算部分数据上的梯度,主节点聚合他们的结果以获得整个数据上的梯度。然而,它的性能可能会受到掉队工人的严重影响。最近,一些基于编码的方法被引入来减轻掉队者问题,但是它们仅在工作者是同质的时有效,即,具有相同的计算能力。在本文中,我们认为工人是异构的,这是常见的现代分布式系统。我们提出了一种新的异质性感知的梯度编码方案,它不仅可以容忍预定数量的落伍者,但也充分利用异构工人的计算能力。我们表明,该计划是最佳的计算能力的工人准确估计。当计算能力的估计不那么准确时,进一步提出了该方案的变体以提高性能。我们在QingCloud集群上进行基于梯度下降的图像分类。评估结果表明,我们的计划可以减少整个计算时间高达$3\times$相比,一个国家的最先进的编码方案。
2019-01-27 cs.DC cs.IT math.IT
Exploitation of Stragglers in Coded Computation
在云计算系统中,通常被称为“落后者”的慢处理节点可以显著延长计算时间。最近的结果表明,纠错编码可以用于减少掉队者的影响。在这项工作中,我们介绍了一个计划,除了使用纠错分配混合作业跨节点,也能够利用所有节点完成的工作,包括掉队者。我们首先考虑向量矩阵乘法和应用最大距离可分离(MDS)码的子矩阵的小块。工作节点按顺序处理块,逐块工作,在完成时将部分逐块结果传输给主节点。子块允许更连续的完成过程,从而使我们能够利用更广泛的处理器的工作并减少计算时间。然后,我们将这种技术应用到矩阵矩阵乘法使用产品代码。在这种情况下,我们表明,计算子任务的顺序是一个新的设计自由度,可以利用进一步减少计算时间。我们提出了一种新的方法来分析完成时间,这是不同于典型的顺序统计量。仿真结果表明,与以前的方法相比,预期的计算时间减少了至少2倍。
2018-06-26 cs.IT math.IT
Improved Latency-Communication Trade-Off for Map-Shuffle-Reduce Systems with Stragglers
在根据映射-混洗-归约框架操作的分布式计算系统中,在存储之前对数据进行编码对于减少由分散的服务器引起的等待时间以及减少混洗阶段中的服务器间通信负载都是有用的。在先前的工作中,提出了一个级联编码方案的矩阵乘法任务。在该方案中,外层的最大距离可分离(MDS)码用于纠正由掉队者引起的擦除,而内层的重复码用于通过编码多播提高混洗阶段的通信效率。在这项工作中,它表明,它是可以利用重复编码,以增加外MDS码的速率,从而增加在洗牌阶段的多播机会所创建的冗余。因此,所提出的方法被示出为改善在最佳已知的延迟通信开销权衡。
2018-08-21 cs.IT math.IT
Erasure coding for distributed matrix multiplication for matrices with bounded entries
Iowa State University(爱荷华州立大学)
分布式矩阵乘法广泛应用于多个科学领域。众所周知,分布式集群上的计算时间通常由最慢的工人(称为掉队者)控制。最近的工作表明,可以被看作是一个问题的设计纠删码的掉队缓解。对于矩阵$\mathbf A$和$\mathbf B$,该技术实质上将$\mathbf A^T \mathbf B$的计算映射到较小(编码)子矩阵的乘法。在这个过程中,掉队者被视为擦除。只要有一定数量的工作者(称为恢复阈值)完成分配给他们的任务,计算就可以完成。我们提出了一种新的编码策略,这个问题时,矩阵项的绝对值是足够小的。我们证明了假设的绝对值边界的矩阵条目和恢复阈值之间的权衡。在一个极端,我们相对于恢复阈值是最优的,在另一个极端,我们匹配先前工作的阈值。基于云的集群上的实验结果验证了我们的方法的好处。
2018-11-07 cs.DC cs.IT cs.LG
Deterministic Distributed Linearly Separable Computation via Nested Cyclic Codes
IIT Palakkad(印度帕拉卡德理工学院)
针对分布式线性可分计算场景,提出基于嵌套循环码的框架,证明其渐近计算负载最优性,可降低掉队节点阈值,扩展后还能降低通信负载。
2026-10-14 cs.IT math.IT
A Sequential Approximation Framework for Coded Distributed Optimization
University of California, Berkeley(加州大学伯克利分校)
在Lee等人和Ferdinand等人先前关于编码计算的工作的基础上,我们提出了一个以分布式方式解决优化问题的顺序近似框架。在分布式计算系统中,由单个处理器(“掉队者”)引起的延迟通常会导致整个过程的显著延迟。所提出的方法是由一个顺序的计算方案,这是专为系统的离散。该方案具有令人满意的性能,保证用户收到有用的(近似)计算结果时,处理器完成其子任务,即使在存在不确定的延迟。本文给出了一个矩阵-向量乘法序贯计算的编码定理,并证明了这种编码方案的最优性。作为应用的结果,我们演示了使用顺序逼近方法,加速算法在分布式系统中的离散求解优化问题。
2017-10-24 cs.DC cs.IT cs.LG
Speeding Up Private Distributed Matrix Multiplication via Bivariate Polynomial Codes
研究了有限资源下的私有分布式矩阵乘法问题。编码计算已被证明是分布式矩阵乘法的有效解决方案,既提供了对工作人员的隐私,又通过有效地减少掉队者来提高计算速度。在这项工作中,我们提出了使用最近推出的二元多项式代码,以进一步加快私人分布式矩阵乘法利用部分工作所做的掉队者,而不是完全忽略它们。我们表明,所提出的方法减少了私有分布式矩阵乘法的平均计算时间相比,其竞争对手在文献中,同时提高上传通信成本和工人的存储效率。
2021-07-13 cs.CR cs.DC cs.IT
Speeding Up Distributed Gradient Descent by Utilizing Non-persistent Stragglers
Imperial College London(伦敦帝国学院);University of Maryland, College Park(马里兰大学帕克分校)
分布式梯度下降(DGD)是一种实现梯度下降(GD)的有效方法,特别是对于大型数据集,它通过将计算任务划分为较小的子任务并分配给不同的计算服务器(CS)并行执行。在标准并行执行中,每次迭代的等待时间受到离散服务器的执行时间的限制。编码DGD技术是近年来出现的一种新技术,它通过向CS分配冗余计算任务来容忍离散服务器。在大多数现有的DGD方案中,无论是编码计算还是编码通信,非离散CS在完成所有分配给它们的计算任务后,每次迭代发送一条消息。然而,尽管分散的服务器不能完成所有分配给它们的任务,但它们通常能够完成其中的某一部分。在本文中,我们允许多个传输从每个CS在每次迭代,以确保完成计算的最大数量可以报告给聚合服务器(AS),包括离散服务器。我们的数值计算表明,每次迭代的平均完成时间可以显着减少稍微增加每个服务器的通信负载。
2018-10-02 cs.DC cs.IT cs.LG
Numerically stable coded matrix computations via circulant and rotation matrix embeddings
多项式为基础的方法最近已被用于在分布式矩阵计算中的几个工程,以减轻掉队者(慢或失败的节点)的影响。对于具有其中$s$可以是离散者的$n$工作者节点的系统,这些方法允许最佳恢复阈值,由此只要任何$(n-s)$工作者节点完成其任务,就可以解码预期结果。然而,他们遭受严重的数值问题,由于相应的真实范德蒙结构的恢复矩阵的条件数,这个条件数在$n$中呈指数增长。我们提出了一种新的方法,利用循环置换矩阵和旋转矩阵的编码矩阵计算的属性。除了有一个最佳的恢复阈值,我们证明了我们的恢复矩阵的增长为$\approx O(n^{s+5.5})$的最坏情况下的条件数的上限;在$s$是一个常数的实际情况下,这在$n$多项式增长。我们的方案利用了复杂的范德蒙矩阵的良好条件与复杂的单位圆上的参数,同时仍然与计算在实数。详尽的实验结果表明,我们提出的方法具有条件数的数量级低于以前的工作。
2021-06-09 cs.IT math.IT
Variable Coded Batch Matrix Multiplication
大多数编码矩阵-矩阵计算文献广泛地集中在两个方向:用于计算单个计算任务的矩阵划分和多个不同计算任务的批处理。虽然这些工作提供了良好的离散弹性和快速解码的问题空间的代码,这些代码将无法利用跨批作业重用矩阵的自然冗余。在本文中,我们介绍了可变编码的分布式批处理矩阵乘法(VCDBMM)问题,任务的分布式系统执行批处理矩阵乘法矩阵不一定是不同的批处理作业。部分受交叉子空间对齐码的启发,我们开发了灵活的交叉子空间对齐(FCSA)代码,这些代码足够灵活,可以利用这种冗余。我们提供了一个完整的表征FCSA码,允许各种各样的系统复杂性,包括良好的离散弹性和快速解码。我们从理论上证明,在一定的实际条件下,FCSA代码是在一个因素的2的最佳解决方案,当谈到掉队的弹性。此外,我们的模拟表明,我们的代码在实践中可以实现更好的最优性差距,甚至低至1.7。
2022-01-01 cs.IT math.IT
Manifold-Aware General Coded Computing for Straggler-Resilient Distributed Computing
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文针对现有编码计算未利用数据内在结构的问题,提出流形感知通用编码策略,在神经网络推理和高维多项式评估实验中,该策略可显著降低抗掉队节点场景下的均方恢复误差。
2026-09-02 cs.IT cs.LG math.IT
Hierarchical Coded Computation
编码计算是一种通过使用纠错编码来减轻分布式计算系统中的“掉队者”的方法,该方法最近受到了极大的关注。最初用于向量矩阵乘法,后来的应用范围扩展到包括矩阵矩阵乘法,异构网络,卷积和近似计算。以前结果的一个缺点是它们完全忽略了掉队者完成的工作。虽然掉队者是较慢的计算节点,但在许多设置中,掉队者完成的工作量可能不可忽略。因此,在这项工作中,我们提出了一个分层编码的计算方法,利用所有计算节点完成的工作。我们将每个节点的计算划分为子计算层,使得每个层可以被视为(不同的)擦除通道。然后,我们为每一层设计不同的擦除码,使所有层具有相同的故障指数。我们提出了设计准则,以优化这些代码的参数。数值结果表明,该方案的预期完成时间比以前的工作有1.5倍的改善。
2018-06-26 cs.IT math.IT
Adaptive Verifiable Coded Computing: Towards Fast, Secure and Private Distributed Machine Learning
University of Southern California(南加州大学)
提出自适应可验证编码计算(AVCC)框架,通过解耦拜占庭节点检测与落后节点容忍,动态调整编码方案,在分布式逻辑回归中实现最高7.6倍加速和12.1%精度提升。
2022-03-22 cs.CR cs.DC cs.IT
Stream Distributed Coded Computing
新兴的大规模和数据饥饿的算法需要将计算从中央服务器委托给多个工作节点。分布式计算中的一个主要挑战是解决由掉队者引起的延迟和故障。为了解决这一挑战,通过分布式编码计算引入有效量的冗余计算已经受到了极大的关注。最近在这方面的方法主要集中在引入最小的计算冗余容忍一定数量的掉队者。据我们所知,目前的文献缺乏一个统一的端到端的设计,在异构环境中,工人可以在他们的计算和通信能力不同。本文的贡献是设计一个新的框架,在设置中的工人和流计算作业的到来是基于随机模型的联合编码。在我们最初的联合计划中,我们提出了一个系统的框架,说明了如何选择一组工人,以及如何根据他们的差异,以最小化平均顺序作业执行延迟之间的计算负载分配。通过模拟,我们证明了我们的框架的性能显着优于朴素的方法,均匀地分配计算负载的工人之间的性能,它是接近理想的性能。
2021-03-02 cs.IT math.IT
Bivariate Polynomial Codes for Secure Distributed Matrix Multiplication
研究了安全分布式矩阵乘法(SDMM)问题。编码计算已被证明是分布式矩阵乘法的有效解决方案,既提供了对工作人员的隐私,又通过有效地减少掉队者来提高计算速度。在这项工作中,我们提出了一个非直接安全的扩展最近推出的二元多项式码。二元多项式码已经被证明能够通过利用掉队者所做的部分工作而不是完全忽略它们来进一步加速分布式矩阵乘法,同时降低上传通信成本和/或工作者的存储容量需求。我们表明,特别是对于上传通信或存储受限的设置,所提出的方法减少了SDMM的平均计算时间相比,其竞争对手在文献中。
2022-02-06 cs.CR cs.DC cs.IT
Sparse Random Khatri-Rao Product Codes for Distributed Matrix Multiplication
我们介绍了两个推广的范例,使用随机Khatri-Rao产品(RKRP)代码的分布式矩阵乘法。本文首先介绍了一类具有稀疏生成矩阵的稀疏随机Khatri-Rao乘积码。当输入矩阵稀疏时,SRKRP码比RKRP码具有更低的编码、计算和通信成本,同时它们表现出与其他现有技术方案相似的数值稳定性。我们实证研究的概率之间的关系的生成矩阵(仅限于一组非离散)的随机选择的SRKRP码是秩亏和各种参数的编码方案,包括稀疏度的生成矩阵和非离散的数量。其次,我们表明,如果主节点可以执行一个非常小的数量的矩阵产品的计算,除了由工人进行的计算,故障概率可以大大提高。
2022-05-12 cs.DC cs.IT math.IT
Approximate Gradient Coding via Sparse Random Graphs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分布式算法经常受到落伍者效应的困扰,系统中最慢的计算节点决定了整体运行时间。最近提出了编码理论技术,通过算法冗余来减轻掉队者。编码计算和梯度编码中的先前工作主要集中在期望输出的精确恢复上。然而,在对噪声鲁棒的应用中,稍微不精确的解决方案是可以接受的,例如通过基于梯度的算法进行模型训练。在这项工作中,我们提出了计算简单的梯度代码的基础上稀疏图,保证快速和近似准确的分布式计算。我们证明,牺牲少量的准确性可以显着增加算法的鲁棒性,掉队。
2017-11-17 cs.DC cs.IT cs.LG
Distributed Matrix-Vector Multiplication: A Convolutional Coding Approach
针对分布式计算中的滞后节点问题,提出一种基于卷积编码的分布式矩阵-向量乘法策略,采用低复杂度剥离解码器,在数值稳定性和稀疏矩阵乘法场景下优于现有方案。
2019-01-25 cs.DC cs.IT cs.NA