Serverless Straggler Mitigation using Local Error-Correcting Codes
廉价的云服务,如无服务器计算,通常容易受到分散节点的影响,这会增加分布式计算的端到端延迟。我们提出并实现了简单而有原则的方法,用于在无服务器系统中进行矩阵乘法,并在机器学习和高性能计算的几个常见应用程序上对其进行评估。所提出的方案受到纠错码的启发,并使用无服务器工作人员对存储在云中的数据进行并行编码和解码。这创建了完全分布式计算框架,而不使用主节点进行编码或解码,这消除了主节点处的计算、通信和存储瓶颈。在理论方面,我们建立了我们提出的方案是渐近最优的解码时间,并提供了一个下界的掉队者,它可以容忍的概率很高。通过大量的实验,我们表明,我们的计划优于现有的计划,如投机执行和其他编码理论的方法至少25%。
2020-01-21 cs.DC cs.IT math.IT
Gradient Coding with Dynamic Clustering for Straggler Mitigation
University of Maryland(马里兰大学);Imperial College London(帝国理工学院)
在分布式同步梯度下降(GD)中,每次迭代完成时间的主要性能瓶颈是最慢的\textit{straggling}工作者。为了加快GD迭代中存在的掉队者,编码分布式计算技术的实现分配冗余计算的工人。在本文中,我们提出了一种新的梯度编码(GC)计划,利用动态聚类,表示为GC-DC,以加快梯度计算。在时间相关的离散行为下,GC-DC的目标是根据前一次迭代中的离散行为来调节每个集群中离散工人的数量。我们数值计算表明,GC-DC提供了显着的改善,在平均完成时间(每次迭代)的通信负载没有增加相比,原来的GC计划。
2020-11-03 cs.DC cs.IT cs.LG
Slack Squeeze Coded Computing for Adaptive Straggler Mitigation
在当今基于云的平台中执行分布式计算时,计算节点之间的执行速度差异会显着降低性能并产生瓶颈,如掉队者。编码计算技术利用编码理论来注入计算冗余并减轻分布式计算中的掉队者。在本文中,我们提出了一个动态的工作负载分配策略的编码计算称为松弛挤压编码计算($S^2C^2$)。$S^2C^2$挤压计算松弛(即,开销),其通过根据所有快节点和慢节点的速度有效地为它们分配工作并且不需要重新分发数据来构建到编码的计算框架中。我们实现了一个基于LSTM的速度预测算法来预测计算节点的速度。我们评估$S^2C^2$的线性代数算法,梯度下降,图排名,图过滤算法。我们证明了19%至39%的总计算延迟减少使用$S^2C^2$相比,作业复制和编码计算。我们进一步展示了如何$S^2C^2$可以应用到矩阵向量乘法之外。
2019-08-31 cs.DC cs.IT math.IT
Polynomially Coded Regression: Optimal Straggler Mitigation via Data Encoding
Department of Electrical Engineering, University of Southern California(南加州大学电气工程系(University of Southern California 为南加州大学))
我们考虑了使用梯度下降在大数据集上训练最小二乘回归模型的问题。计算是在由一个主节点和多个工作节点组成的分布式系统上进行的。由于存在运行缓慢的机器(掉队者)以及各种通信瓶颈,这种分布式系统的速度显着降低。我们提出了“多项式编码回归”(PCR),大大减少了掉队者的影响,减轻了在这样的系统中的通信负担。PCR的关键思想是对存储在每个工作者中的部分数据进行编码,这样工作者的计算可以被视为在不同点上评估多项式。这允许主设备通过插值该多项式来计算最终梯度。PCR显著降低了恢复阈值,恢复阈值定义为主节点在计算梯度之前必须等待的工作节点的数量。特别是,PCR需要一个恢复阈值,该阈值与每个工作者可用的计算/存储量成反比。相比之下,最先进的掉队者缓解方案需要高得多的恢复阈值,该恢复阈值仅在每个工作者计算/存储负载中线性降低。我们证明,PCR的恢复阈值是接近最小的,并在一个因素内的最佳方案。在Amazon EC2上进行的实验表明,与现有方案相比,PCR在自然离散情况下的运行时间提高了1.50倍~ 2.36倍,在人工离散情况下的运行时间提高了2.58倍~ 4.29倍。
2018-05-24 cs.DC cs.IT cs.LG
Straggler Mitigation through Unequal Error Protection for Distributed Approximate Matrix Multiplication
大规模机器学习和数据采掘方法通常将计算分布在多个代理上以并行处理。在代理处的计算所需的时间受到本地资源的可用性和/或引起“掉队者问题”的不良信道条件的影响。为了解决这个问题,我们采用不等错误保护(UEP)码来获得分布式计算设置中的矩阵乘积的近似,以提供对最终结果具有更高影响的块的更高保护。我们从理论上描述了所提出的方法的性能,通过约束具有不相关条目的矩阵的预期重建误差。我们还将所提出的编码策略应用于训练深度神经网络(DNN)中的反向传播步骤的计算,用于评估梯度中的图像分类任务。我们的数值实验表明,它确实是可能的,以获得显着改善所需的总时间,以实现DNN的训练收敛,通过产生近似矩阵产品使用UEP码在存在的掉队者。
2021-07-27 cs.DC cs.IT math.IT
Straggler Mitigation in Distributed Matrix Multiplication: Fundamental Limits and Optimal Coding
我们考虑的问题,大量的矩阵乘法,这是许多数据分析应用程序的基础,在一个大规模的分布式系统,包括一组工作节点。我们针对掉队者的延迟性能瓶颈,这是由于等待最慢的节点(或掉队者)完成其任务的不可预测的延迟。我们提出了一种新的编码策略,命名为\emph{entangled polynomial code},用于设计工作节点处的中间计算,以最小化恢复阈值(即,我们需要等待的工人数量,以计算最终的输出)。我们证明了纠缠多项式码在几种情况下的最优性,并表明它提供了有序的改进,比传统的计划,减少掉队。此外,我们描述了最佳恢复阈值之间的所有线性编码策略的$2$的一个因素内使用\emph{bilinear complexity},通过开发一个改进版本的纠缠多项式码。特别是,虽然评估双线性复杂性是一个众所周知的具有挑战性的问题,我们表明,线性编码策略的最佳恢复阈值可以近似在这个基本量的$2$的一个因素。另一方面,改进版本的纠缠多项式码,使进一步和有序减少恢复阈值,相比其基本版本。最后,我们表明,本文中开发的技术也可以扩展到其他几个问题,如编码卷积和容错计算,导致紧的特征。
2020-04-09 cs.DC cs.IT math.IT
Straggler Mitigation in Distributed Optimization Through Data Encoding
UCLA(加州大学洛杉矶分校);Technicolor Research(泰利克色研究公司)
在分布式计算中,运行缓慢或落后的任务会显著降低计算速度。最近,受编码理论启发的方法已经被应用于通过在优化算法的某些线性计算步骤中嵌入冗余来减轻离散的影响,从而在不等待离散者的情况下完成计算。在本文中,我们提出了一种替代方法,我们将冗余直接嵌入数据本身,并允许计算完全不受编码的影响。我们提出了几种编码方案,并证明了流行的批处理算法,如梯度下降和L-BFGS,应用在一个编码不经意的方式,确定性地实现样本路径线性收敛到原问题的近似解,使用任意变化的子集的节点在每次迭代。此外,这种近似可以通过冗余量和每次迭代中使用的节点数量来控制。我们提供的实验结果表明,该方法的优势,在未编码和数据复制策略。
2018-01-22 cs.DC cs.IT cs.LG
AntDT: A Self-Adaptive Distributed Training Framework for Leader and Straggler Nodes
Ant Group(蚂蚁集团)
针对分布式训练中因资源竞争、硬件异构导致的掉队节点拖慢效率的问题,本文提出自适应框架AntDT,通过多组件协同与可定制的缓解方案,在工业场景中实现训练效率3倍以上的提升。
2024-04-15 cs.DC cs.LG
Sequential Gradient Coding For Straggler Mitigation
Indian Institute of Technology Palakkad(帕拉卡德印度理工学院);University of Toronto(多伦多大学)
本文研究分布式计算中梯度序列的掉队者缓解问题,提出两种结合梯度编码与任务重复的自适应方案,在 AWS Lambda 集群上实验证明可将运行时间缩短 16%。
2023-06-28 cs.DC cs.LG
Optimizing Redundancy Levels in Master-Worker Compute Clusters for Straggler Mitigation
计算系统中的可变性导致一些任务延迟并且花费比预期更长的时间来完成。众所周知,这些落后的任务会显着减慢分布式计算。具有冗余任务的推测执行的作业执行已经是用于减轻掉队者的影响的最广泛部署的技术,并且最近的许多理论论文已经研究了在各种系统和服务模型下使用冗余的优点和缺点。然而,还没有明确的指导方针可以找到什么时候,哪些工作,以及多少冗余应该采用主-工人计算集群,这是最广泛采用的架构在现代计算系统。我们关心的是找到一个策略,调度工作与冗余,在实践中工作良好。这是一个复杂的优化问题,我们分阶段解决。我们首先使用强化学习(RL)技术从实际经验中学习良好的调度原则。基于这些原则,我们推导出一个简单的调度策略,并提出了其性能的近似分析。具体来说,我们推导表达式来决定何时以及哪些工作应该安排多少冗余。我们表明,我们以这种方式设计的政策表现得一样好,更复杂的政策是由RL。最后,我们扩展我们的近似分析的情况下,系统采用其他广泛部署的补救措施的掉队者,这是重新启动掉队者任务后,等待一段时间。我们发现,冗余调度显着优于掉队者重新启动政策时,系统上提供的负载是低或中等,并执行稍差时,提供的负载是非常高的。
2019-06-12 cs.DC cs.IT cs.PF
Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning
University of California, Berkeley(加州大学伯克利分校)
基于梯度的方法的分布式实现,其中服务器将梯度计算分布在工作机器上,需要克服两个限制:由称为“掉队者”的缓慢运行的机器引起的延迟,以及通信开销。最近,Ye和Abbe [ICML 2018]提出了一种编码理论范式,以表征每个工作者的计算负载,每个工作者的通信开销和离散容忍之间的基本权衡。然而,他们提出的编码方案遭受沉重的解码复杂度和差的数值稳定性。在本文中,我们开发了一个通信高效的梯度编码框架,以克服这些缺点。我们提出的框架允许使用任何线性码来设计编码和解码功能。当在该框架中使用特定代码时,其块长度决定计算负载,维度决定通信开销,最小距离决定离散容限。选择代码的灵活性允许我们优雅地权衡离散阈值和通信开销,以获得更小的解码复杂度和更高的数值稳定性。此外,我们表明,使用一个随机高斯矩阵在我们的框架中产生的最大距离可分离(MDS)代码的梯度代码,是最佳的权衡,此外,满足更强的保证数值稳定性相比,以前提出的计划。最后,我们在Amazon EC2上评估了我们提出的框架,并证明与之前的梯度编码方案相比,它将平均迭代时间减少了16%。
2020-05-14 cs.DC cs.IT cs.LG
Straggler Mitigation through Unequal Error Protection for Distributed Matrix Multiplication
大规模机器学习和数据采掘方法通常将计算分布在多个代理上以并行处理。计算所需的时间在代理的影响,本地资源的可用性引起的“掉队者问题”,其中的计算结果是由无响应的代理举行。对于这个问题,可以使用矩阵子块的线性编码来引入对离散的弹性。参数服务器(PS)利用信道码并将矩阵分发给工作器以进行乘法。然后,它使用在给定的截止日期收到的计算结果来产生所需矩阵乘法的近似值。在本文中,我们建议采用不等错误保护(UEP)码,以减轻掉队的问题。每个子块的弹性水平根据其范数来选择,因为具有较大范数的块对矩阵乘法的结果具有较高的影响。我们验证了我们的计划的有效性,理论和数值计算。我们推导了使用随机线性码的UEP性能的理论表征,并将其与等错误保护的情况进行了比较。我们还将所提出的编码策略应用于深度神经网络(DNN)训练中的反向传播步骤的计算,为此我们研究了精度和计算所需时间之间的基本权衡。
2021-03-19 cs.DC cs.IT math.IT
Redundancy Techniques for Straggler Mitigation in Distributed Optimization and Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of British Columbia(英属哥伦比亚大学)
分布式优化和学习系统的性能受到“掉队”节点和缓慢通信链路的影响,这会显著延迟计算。我们提出了一个分布式优化框架,其中数据集被“编码”为具有内置冗余的过完备表示,并且系统中的离散节点在每次迭代时都被动态地排除在计算之外,其损失由嵌入的冗余补偿。我们发现,不经意的应用程序的几个流行的优化算法编码的数据,包括梯度下降,L-BFGS,数据并行下的近端梯度,模型并行下的坐标下降,收敛到原问题的近似或精确的解决方案时,掉队者被视为擦除。这些收敛结果是确定性的,即,它们为节点上的延迟模式或分布的任意序列建立样本路径收敛,并且与延迟分布的尾部行为无关。我们证明了等角紧框架具有理想的属性作为编码矩阵,并提出了有效的机制,用于编码大规模数据。我们在Amazon EC2集群上实现了所提出的技术,并在几个学习问题上展示了其性能,包括矩阵分解,LASSO,岭回归和逻辑斯谛回归,并将所提出的方法与未编码,异步和数据复制策略进行了比较。
2018-03-14 cs.DC cs.LG math.OC
Efficient Replication for Straggler Mitigation in Distributed Computing
主-工分布式计算系统使用任务复制来减轻被称为掉队者的慢工人的影响。任务被分组到批中,并分配给一个或多个工作者执行。我们首先考虑的情况下,当批次不重叠,并使用从优化理论的结果,表明,对于一般类的工人的服务时间分布,一个平衡的分配批次工人的平均作业计算时间最小化。我们接下来表明,这种平衡分配的非重叠批次实现了较低的平均作业计算时间相比,文献中提出的重叠计划。此外,我们得出的最佳冗余水平作为一个功能的服务时间分布在工人。我们表明,最小化平均作业计算时间的冗余水平不一定与最大化作业计算时间可预测性的冗余水平相同,因此优化这两个指标之间存在权衡。最后,通过对Google集群轨迹的实验,我们观察到冗余可以将Google集群中任务的计算时间减少一个数量级,并且最佳冗余水平取决于任务的服务时间分布。
2020-12-27 cs.DC cs.IT cs.PF
Empirical Study of Straggler Problem in Parameter Server on Iterative Convergent Distributed Machine Learning
Chinese University of Hong Kong(香港中文大学)
本研究实证评估了参数服务器架构下多种落后者缓解技术,在矩阵分解、多项逻辑回归和潜在狄利克雷分配等迭代收敛机器学习算法中的有效性,为后续研究提供比较平台。
2023-07-28 cs.DC cs.LG
SocChain: Blockchain with Swift Proportional Governance for Bribery Mitigation
区块链治理对于安全地引导一大群用户实现同一目标至关重要,而不会对区块链实例的合法性产生争议。到目前为止,还没有有效的方法来保护这种治理不受寡头统治的影响。本文旨在通过定义Swift Proportional Governance问题为区块链的安全性提供一个新的维度。这个问题是快速选举治理用户,按比例代表选民,而没有独裁的风险。然后,我们设计并实现了一个开放许可的区块链,称为SocChain(社会选择区块链),它通过建立在社会选择理论的基础上来减少贿赂。我们部署了SocChain,并评估了在其上运行的新的多赢家选举DApp。我们的结果表明,使用我们的DApp,150名选民可以在5分钟内选出一个由150名成员组成的按比例代表的委员会。因此,我们证明了SocChain可以在各种全球组织中选出与成员一样多的代表。
2022-07-06 cs.CR cs.DC
Straggler Mitigation at Scale
服务器的性能可变性一直是一个主要问题,阻碍了现代分布式系统的可预测和可扩展性能。在多个服务器上冗余地执行请求或作业已被证明在理论和实践上都能有效地减轻可变性。采用冗余的系统引起了极大的关注,许多论文分析了在各种服务模型和运行时可变性假设下冗余的痛苦和收益。本文提出了一个成本(痛苦)与延迟(增益)的分析,执行多个任务的作业,采用复制或擦除编码冗余。尾部沉重的服务时间的变化是决定性的痛苦和冗余的收益,我们量化其影响的成本和延迟的表达式推导。具体来说,我们试图回答四个问题:1)复制和编码冗余在成本与延迟权衡方面如何比较?2)我们能否在等待一段时间后引入冗余并期望降低成本?3)重新启动在一段时间后似乎落后的任务是否有助于降低成本和/或延迟?4)同时使用冗余和重新启动是否有效?我们通过使用从Google聚类数据中提取的经验分布进行模拟来验证我们为每个问题找到的答案。
2019-10-09 cs.DC cs.IT cs.PF
Sparsity-Preserving Encodings for Straggler-Optimal Distributed Matrix Computations at the Edge
针对边缘分布式矩阵计算中编码破坏输入稀疏性的问题,本文推导最大掉队容忍度下编码权重下界,并提出达到该下界的保稀疏计算方案,AWS实验验证其性能。
2024-08-09 cs.DC
CLIP: Client-Side Invariant Pruning for Mitigating Stragglers in Secure Federated Learning
University of Toronto(多伦多大学)
针对安全联邦学习中异构掉队客户端造成的计算与网络瓶颈,提出 CLIP 客户端不变神经元剪枝及网络感知剪枝方法,在 CIFAR10、Shakespeare、FEMNIST 上实现 13%–34% 训练加速且精度损失很小。
2025-10-19 cs.CR cs.DC cs.LG
CoMMA Protocol: Towards Complete Mitigation of Maximal Extractable Value (MEV) Attacks
MEV攻击一直是区块链世界中无处不在的邪恶,这是不知情的用户为使用该服务而支付的隐性税收。这个问题源于矿工在他们挖掘的区块中重新排序和插入任意交易的能力。本文提出了一个两阶段的交易协议,以消除MEV攻击。用户向链上交易对手方请求交互令牌。该令牌作为交易对手的盲目抢占,并防止区块链框架中较低级别的交易重新排序。我们证明了CoMMA协议的正确性,并证明了它对MEV攻击的有效性。
2022-11-28 cs.CR cs.DC
Design and Optimization of Hierarchical Gradient Coding for Distributed Learning at Edge Devices
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
针对含边缘节点层的分层分布式学习系统,本文提出并优化分层梯度编码框架,刻画计算负载与掉队者容忍度折中,并最小化异构场景下的期望迭代时间。
2024-06-16 cs.AI cs.DC cs.NI
CHIRON: Accelerating Node Synchronization without Security Trade-offs in Distributed Ledgers
ISTA(维也纳科学与技术研究院);TU Wien(维也纳工业大学);Imperial College London(伦敦帝国理工学院);Mystenlabs
本文提出CHIRON系统,通过提取执行提示加速滞后节点和全节点,无需牺牲系统安全或增加共识关键路径的开销,实测提速达30%。
2026-05-17 cs.DC
Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP
Deakin University(迪肯大学);Amazon(亚马逊)
无线分布式边缘学习(DEL)的瓶颈已经从计算转移到通信,主要是DEL的聚合平均(Agg-Avg)过程。现有的基于传输控制协议(TCP)的DEL数据网络方案是应用不可知的,并且不能根据应用层要求进行调整。结果,他们引入了大量的多余时间和不受欢迎的问题,如不公平和掉队者。其他现有的缓解解决方案具有显著的局限性,因为它们跨路径平衡来自工作者的数据流速率,但是当路径表现出变化时经常招致不平衡的积压,从而导致掉队。为了促进更高效的DEL,我们通过将基于模型的MPTCP和基于深度强化学习(DRL)的MPTCP相结合来开发混合多路径TCP(MPTCP),以实现DEL的更快迭代和更好的公平性(通过改善落后者)。混合MPTCP基本上集成了两个根本的TCP发展:i)成功的现有的基于模型的MPTCP控制策略和ii)先进的新兴的基于DRL的技术,并引入了一种新颖的混合MPTCP数据传输,用于简化Agg-Avg过程的通信。大量的仿真结果表明,所提出的混合MPTCP可以克服多余的时间消耗和改善应用层的不公平性DEL有效,而不注入额外的不稳定性和掉队。
2022-11-03 cs.DC cs.LG cs.NI
Erasure coding for distributed matrix multiplication for matrices with bounded entries
Iowa State University(爱荷华州立大学)
分布式矩阵乘法广泛应用于多个科学领域。众所周知,分布式集群上的计算时间通常由最慢的工人(称为掉队者)控制。最近的工作表明,可以被看作是一个问题的设计纠删码的掉队缓解。对于矩阵$\mathbf A$和$\mathbf B$,该技术实质上将$\mathbf A^T \mathbf B$的计算映射到较小(编码)子矩阵的乘法。在这个过程中,掉队者被视为擦除。只要有一定数量的工作者(称为恢复阈值)完成分配给他们的任务,计算就可以完成。我们提出了一种新的编码策略,这个问题时,矩阵项的绝对值是足够小的。我们证明了假设的绝对值边界的矩阵条目和恢复阈值之间的权衡。在一个极端,我们相对于恢复阈值是最优的,在另一个极端,我们匹配先前工作的阈值。基于云的集群上的实验结果验证了我们的方法的好处。
2018-11-07 cs.DC cs.IT cs.LG
Dynamic Client Clustering, Bandwidth Allocation, and Workload Optimization for Semi-synchronous Federated Learning
针对同步、异步联邦学习的缺陷,提出半同步FL框架下的DecantFed算法,通过动态优化聚类、带宽、训练负载及分层学习率,在IID与非IID场景下实现更快收敛和精度提升。
2024-03-11 cs.DC
Distributed Matrix-Vector Multiplication: A Convolutional Coding Approach
针对分布式计算中的滞后节点问题,提出一种基于卷积编码的分布式矩阵-向量乘法策略,采用低复杂度剥离解码器,在数值稳定性和稀疏矩阵乘法场景下优于现有方案。
2019-01-25 cs.DC cs.IT cs.NA
Lagrange Coded Computing: Optimal Design for Resiliency, Security and Privacy
University of Southern California(南加利福尼亚大学);California Institute of Technology(加利福尼亚理工学院)
我们考虑一个场景,涉及计算分布存储在多个工人,这是分布式学习算法的核心的大规模数据集。我们提出了拉格朗日编码计算(LCC),这是一个新的框架,同时提供(1)对可能延长计算的落伍者的弹性;(2)对拜占庭(或恶意)工作人员故意修改计算以获得其利益的安全性;(3)(信息理论)在可能的工人勾结中数据集的隐私。LCC利用众所周知的拉格朗日多项式以新颖的编码形式跨工作者创建计算冗余,可以应用于其中感兴趣的函数是输入数据集的任意多元多项式的任何计算场景,因此覆盖了机器学习中感兴趣的许多计算。LCC显着推广以前的作品超越线性计算。它还可以在分布式环境中实现安全和私有计算,提高最先进的计算和通信效率。此外,我们通过证明LCC实现了弹性,安全性和隐私之间的最佳权衡来证明LCC的最优性,即,在容忍最大数量的掉队者和对手方面,以及针对最大数量的串通工人提供数据隐私方面。最后,我们通过在Amazon EC2上的实验表明,LCC将分布式最小二乘线性回归的传统未编码实现加速到$13.43\times$,并且还实现了$2.36\times$ - $12.65\times$加速,超过了最先进的落后者缓解策略。
2019-04-01 cs.DC cs.IT cs.LG