Straggler Mitigation by Delayed Relaunch of Tasks
最初在数据下载中以及最近在分布式计算上下文中，用于落伍者缓解的冗余已被证明在理论和实践中都是有效的。冗余系统的分析已经引起了人们的极大关注，许多论文研究了各种服务模型和落后者特性的假设下的冗余的痛苦和收益。在这里，我们提出了一个成本（痛苦）与延迟（增益）的分析，使用简单的复制或擦除编码的掉队缓解在执行许多任务的作业。我们量化了任务执行时间的尾部的影响，并讨论了尾部沉重度作为使用冗余的成本和延迟的决定性参数。具体来说，我们发现，编码冗余实现了更好的成本与延迟的权衡比简单的复制，可以产生减少成本和延迟下不太重尾执行时间。我们发现，延迟冗余是不能有效地降低成本，延迟重新启动的落伍者可以产生显着降低成本和延迟。我们通过与使用从Google聚类数据中提取的经验分布的模拟进行比较来验证这些观察结果。
2017-10-01 cs.DC cs.IT cs.PF
Adaptra: Straggler-Resilient Hybrid-Parallel Training with Pipeline Adaptation
针对大规模DNN训练中通信延迟引发的流水线气泡问题，提出ADAPTRA系统，通过动态适应流水线调度和将通信卸载至主机内存利用CPU端RDMA传输，消除队头阻塞，将训练迭代速度提升1.2-3.5倍。
2025-04-27 cs.DC
Optimistic Parallel State-Machine Replication
状态机复制是实现容错的一种基本方法，它要求副本确定性地执行命令，这通常会导致命令的顺序执行。顺序执行限制了性能，并且未充分利用服务器，这些服务器越来越并行（即，多核）。为了缩小状态机复制需求与现代服务器特性之间的差距，研究人员最近提出了替代执行模型。本文调查现有的方法，并行状态机复制，并提出了一种新的乐观协议，继承了以前的技术的可扩展性。使用复制的B+树服务，我们证明了我们的协议优于最有效的技术的2.4倍的因素。
2014-04-27 cs.DC
Warp-Level Parallelism: Enabling Multiple Replications In Parallel on GPU
随机模拟需要多次重复，以建立其结果的置信区间。即使我们不需要大量的复制，使用多个并行复制（MRIP）方法来加快整个模拟时间也是一个很好的做法。这种方法通常假设可以访问并行计算机，例如对称多处理机（具有许多核心），计算集群或计算网格。在本文中，我们提出了Warp-Level并行化（WLP），这是一种支持GP-GPU的解决方案，用于在GP-GPU（通用图形处理单元）上计算MRIP。这些设备以低成本显示出大量的并行计算能力，但经过调整，可以通过不同的线程有效地处理多个数据上的相同操作。实际上，这种范例被称为单指令多线程（SIMT）。我们的方法建议依赖于小线程组，称为线程束，执行独立的计算，如复制。我们用三种不同的模型对WLP进行了基准测试：它允许MRIP的计算速度比SIMT计算模式快六倍。
2015-01-07 cs.DC
DPA Load Balancer: Load balancing for Data Parallel Actor-based systems
本文提出DPA Load Balancer，通过持续监控actor输入队列长度并结合一致性哈希重分配输入与状态合并，有效缓解流式框架中数据倾斜导致的掉队者问题。
2023-08-02 cs.DC
Early Scheduling in Parallel State Machine Replication
状态机复制是实现容错的标准方法。状态机复制的一个关键假设是副本必须确定性地执行操作，因此是串行的。为了受益于多核服务器，一些技术允许状态机复制中的操作的并发执行。当然，这些技术利用了独立操作（不共享任何公共状态或不更新共享状态的操作）可以并发执行的事实。一个有前途的解决方案类别交易调度自由的简单性。本文推广了这一类的调度解决方案。在这样做时，它提出了一种自动化的机制来调度副本中工作线程上的操作。我们将我们的贡献，一个流行的状态机复制框架和实验比较得到的系统，更经典的方法。
2018-05-14 cs.DC
Mangrove: Fast and Parallelizable State Replication for Blockchains
Mangrove提出为每个智能合约使用独立共识实例的并行状态复制方案，通过并行乐观协议和拜占庭可靠广播，在乐观条件下实现2步通信延迟。
2025-09-08 cs.DC
Efficient Task Replication for Fast Response Times in Parallel Computation
数据中心大规模分布式计算的一个典型用例是将计算作业分解为许多独立的任务，并在不同的机器上并行运行它们，有时被称为“令人尴尬的并行”计算。对于这种类型的计算，一个挑战是每个机器执行任务的时间是固有的可变的，并且总的响应时间受到最慢机器的执行时间的约束。为了解决这个问题，系统设计者引入了任务复制，它将相同的任务发送到多台机器，并从第一台完成的机器获得结果。虽然任务复制减少了响应时间，但它通常会增加资源使用。在这项工作中，我们提出了一个理论框架来分析之间的权衡响应时间和资源使用。我们表明，虽然在一般情况下，有一个响应时间和资源使用之间的紧张局势，存在的情况下，复制任务明智地减少完成时间和资源使用量同时。给定机器的执行时间分布，我们调查的调度策略，以实现最佳的性能权衡的条件，并提出有效的算法来搜索最佳或接近最佳的调度策略。我们的分析提供了见解，何时以及为什么复制的帮助，这可以用来指导调度器设计在大规模分布式计算系统。
2014-04-04 cs.DC
Index-Based Scheduling for Parallel State Machine Replication
状态机复制（SMR）是设计具有容错的服务的基本方法。然而，其对事务的确定性执行的要求通常导致单线程副本，这不能充分利用当今处理器的多核能力。因此，并行SMR已成为近年来的研究热点。它背后的基本思想是独立事务可以并行执行，而相关事务必须按其相对顺序执行，以确保副本之间的一致性。现有的并行SMR方法的依赖性检测主要是基于两两事务比较或批比较。这些方法不能同时保证有效的检测和并发执行。此外，调度过程不能并发执行，这也引入了额外的调度开销。为了进一步降低调度开销，保证事务的并行执行，我们提出了一种基于特定索引结构的高效调度器。该索引由布隆过滤器和相关的事务队列组成，分别提供有效的依赖检测和保留必要的依赖信息。基于该索引结构，我们进一步设计了一个详细的并发调度过程。实验结果表明，该调度器具有更高的效率，可扩展性和鲁棒性的比较方法。
2019-11-26 cs.DC
Slack Squeeze Coded Computing for Adaptive Straggler Mitigation
在当今基于云的平台中执行分布式计算时，计算节点之间的执行速度差异会显着降低性能并产生瓶颈，如掉队者。编码计算技术利用编码理论来注入计算冗余并减轻分布式计算中的掉队者。在本文中，我们提出了一个动态的工作负载分配策略的编码计算称为松弛挤压编码计算（$S^2C^2$）。$S^2C^2$挤压计算松弛（即，开销），其通过根据所有快节点和慢节点的速度有效地为它们分配工作并且不需要重新分发数据来构建到编码的计算框架中。我们实现了一个基于LSTM的速度预测算法来预测计算节点的速度。我们评估$S^2C^2$的线性代数算法，梯度下降，图排名，图过滤算法。我们证明了19%至39%的总计算延迟减少使用$S^2C^2$相比，作业复制和编码计算。我们进一步展示了如何$S^2C^2$可以应用到矩阵向量乘法之外。
2019-08-31 cs.DC cs.IT math.IT
On the Effect of Task-to-Worker Assignment in Distributed Computing Systems with Stragglers
Rutgers University（罗格斯大学）
研究了最近提出的分布式计算算法的期望完成时间，这些算法将计算任务冗余地分配给多台机器，以容忍一定数量的机器故障。我们分析表明，不仅冗余量，而且任务到机器的分配影响在分布式系统中的延迟。我们研究的系统与一个固定数量的计算任务，可能重叠的批次分裂，独立的指数分布的机器服务时间。我们表明，对于这样的系统，非重叠（不相交）批次的计算任务的统一复制达到最小的预期计算时间。
2018-08-08 cs.AI cs.DC cs.IT
Parallel Deferred Update Replication
延迟更新复制（DUR）是实现高效可用存储的一种成熟方法。虽然只读事务的吞吐量与DUR中部署的副本数量呈线性关系，但随着副本的增加，更新事务的吞吐量的改善有限。本文介绍了并行延迟更新复制（P-DUR），经典DUR的一个变体，扩展只读和更新事务与副本中可用的核数。除了介绍新的方法，我们描述了它的完整实现，并将其性能与经典的DUR和Berkeley DB（一个著名的独立数据库）进行比较。
2013-12-03 cs.DB cs.DC
FALCON: Pinpointing and Mitigating Stragglers for Large-Scale Hybrid-Parallel Training
本文针对大规模混合并行训练中故障减速问题，提出FALCON框架，通过快速识别故障GPU和通信链路并采用多级缓解机制，在无需人工干预下实现超99%检测准确率并缓解60.1%训练减速。
2024-10-16 cs.DC cs.OS
Parallel Performance of Molecular Dynamics Trajectory Analysis
生物分子动力学模拟的性能在现代高性能计算资源上稳步提高，但输出轨迹分析的加速却滞后，使得分析模拟正成为瓶颈。为了缩小这一差距，我们研究了并行轨迹分析的性能与MPI和Python MDAnalysis库在三个不同的XSEDE超级计算机上的轨迹从光泽并行文件系统读取。强大的扩展性能受到落后者（比典型过程慢的MPI过程）的阻碍。掉队者在计算密集型工作负载中不太普遍，因此指出文件读取是扩展的瓶颈。然而，出现了一个更复杂的画面，其中计算和数据摄取都表现出接近理想的强缩放行为，而落伍者主要是由大的MPI通信成本或长时间打开单个共享轨迹文件造成的。我们通过子文件（将轨迹分割为单独的文件）或MPI-IO与并行HDF 5轨迹文件来提高整体强大的缩放性能。并行HDF 5方法在多达384个内核（16个节点）上实现了近乎理想的强大扩展，因此与串行方法相比，轨迹分析时间减少了两个数量级。
2020-03-27 cs.DC q-bio.QM
Optimal Server Selection for Straggler Mitigation
Indian Institute of Science（印度科学学院）
本研究提出了一种多分支任务调度方法，通过优化分支时刻和额外服务器数量来缓解延迟任务，实验显示在低完成时间条件下成本显著降低。
2019-11-14 cs.DC cs.NI
A Comparative Study of Replication Techniques in Grid Computing Systems
网格计算是一种并行和分布式系统，旨在为广域网中的数据和计算资源提供可靠的访问。这些资源分布在不同的地理位置，但组织起来提供综合服务。在当今的企业环境中，有效的数据管理是一个重要的问题。此外，性能也是使用这些环境的挑战之一。为了提高文件访问的性能和简化分布式系统之间的共享，使用复制技术。数据复制是分布式环境中使用的一种常见方法，其中基本数据存储在多个位置，以便用户可以从其所在区域的站点访问数据。在本文中，我们提出了一个调查的基本和新的复制技术，已提出的其他研究人员。在此基础上，我们对这些复制策略进行了全面的比较研究。最后，我们总结了这些复制技术的结果和要点。
2013-09-26 cs.DC
Parallel Sorted Neighborhood Blocking with MapReduce
云基础设施支持高效并行执行数据密集型任务，例如大型数据集上的实体解析。我们调查的挑战和可能的解决方案，使用MapReduce编程模型的并行实体解析。特别是，我们提出并评估了两个基于MapReduce的实现排序邻域阻塞，要么使用多个MapReduce作业或应用定制的数据复制。
2010-10-15 cs.DC
On Delay-Optimal Scheduling in Queueing Systems with Replications
在现代计算机系统中，作业被分成短任务并并行执行。在实际系统中的经验观察表明，任务服务时间是高度随机的，作业服务时间是由最慢的离散任务检查。一个常见的解决方案是在多个服务器上复制一个任务，并等待任务的一个副本提前完成。复制的延迟性能在很大程度上取决于何时复制、在哪个服务器上复制以及首先服务哪个作业的调度决策。到目前为止，很少有人了解如何优化这些调度决策，以最大限度地减少延迟完成的工作。在本文中，我们提出了一个全面的研究集中式和分布式多服务器系统中的延迟最优调度的副本。低复杂度的调度策略的设计，并被证明是延迟最优或接近延迟最优的随机排序之间的因果关系和非抢占式的政策。这些理论结果建立一般的系统设置和延迟度量，允许任意到达过程，任意的作业大小，任意的到期时间，和异构服务器与数据本地化的限制。新的样本路径工具的开发，以证明这些结果。
2017-02-06 cs.DC cs.IT cs.NI
Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches
New York University（纽约大学）；IBM Research（IBM研究院）
SOTA分散式SGD算法可以通过使用Ring All-Reduce等通信集体进行同步来克服参数服务器处的带宽瓶颈。虽然分布式SGD中的参数更新可能异步发生，但仍然存在同步障碍，以确保每个学习器的本地训练时期在学习器可以前进到下一个时期之前完成。等待最慢的学习者（掉队者）的延迟仍然是这些最先进的去中心化框架的同步步骤中的一个问题。在本文中，我们提出了（去）集中式非阻塞SGD（非阻塞SGD），它可以解决异构环境中的落伍问题。非阻塞SGD的主要思想是将原始批次分割成小批次，然后累积梯度并基于完成的小批次更新模型。非阻塞思想可以使用分散算法来实现，包括Ring All-reduce，D-PSGD和MATCHA来解决掉队者问题。此外，使用梯度累积来更新模型还保证了收敛性并避免了梯度失效。随机离散延迟和计算效率/设备吞吐量的运行时分析也显示了非阻塞SGD的优势。在一组数据集和深度学习网络上的实验验证了理论分析，并证明了非阻塞SGD加快了训练速度并改善了收敛性。与最先进的分散式异步算法（如D-PSGD和MACHA）相比，非阻塞SGD在异构环境中达到相同的训练损失所需的时间减少了2倍。
2022-11-09 cs.DC cs.LG
Detecting Straggler MapReduce Tasks in Big Data Processing Infrastructure by Neural Network
掉队任务检测是应用MapReduce并行化和分布式大规模数据处理的主要挑战之一。它被定义为检测弱节点上正在运行的任务。考虑Map阶段中的两个阶段copy、combine和Reduce shuffle、sort和reduce三个阶段，总执行时间就是这五个阶段执行时间的总和。本文的主要目的是估计每个阶段的正确执行时间，从而得出正确的总执行时间。所提出的方法是基于应用程序的反向传播神经网络神经网络在Hadoop上的落后任务的检测，估计剩余的执行时间的任务，这是非常重要的落后任务检测。所取得的结果已与该领域的流行算法（例如LATE、ESAMR以及WordCount和Sort基准的实际剩余时间）进行了比较，并表明能够检测落后任务并准确估计执行时间。此外，它还支持加速任务执行时间。
2020-04-13 cs.DC cs.SY eess.SY
New Clocks, Optimal Line Formation and Self-Replication Population Protocols
在本文中，我们考虑一种变体的人口协议，其中代理人被允许连接的边缘，被称为构造模型。在两个代理之间的相互作用期间，相关的连接边可以通过过渡函数形成、保持或消除。本文的贡献是多方面的。--我们提出并分析了一种新型的相位时钟，允许在构造器模型中计算并行时间$Θ(n\log n)$。这种新类型的时钟也可以在标准群体协议模型中实现，假设唯一的领导者可用。--新的时钟能够实现最佳的$O(n\log n)$并行时间跨越线路构造，该构造在先前已知的最佳的$O(n^2)$并行时间解决方案的基础上显著地改进。--我们定义了一个概率版本的冒泡排序，其中只允许在被排序的序列中的相邻数字之间进行随机比较。我们发现，令人惊讶的是，这种概率泡沫排序需要$O(n^2)$比较的期望，即，与其确定性对应物处于同一水平。--我们提出了第一个自复制协议，允许在并行时间$O(n(k+\log n)).$中复制长度为$k$的链（携带信息的线段）。该方案还允许同时复制，其中可以及时获得链的$l$拷贝$O(n(k+\log n)\log l).$本文中的所有方案都以高概率操作。
2022-10-30 cs.DC cs.DS
Serverless Straggler Mitigation using Local Error-Correcting Codes
廉价的云服务，如无服务器计算，通常容易受到分散节点的影响，这会增加分布式计算的端到端延迟。我们提出并实现了简单而有原则的方法，用于在无服务器系统中进行矩阵乘法，并在机器学习和高性能计算的几个常见应用程序上对其进行评估。所提出的方案受到纠错码的启发，并使用无服务器工作人员对存储在云中的数据进行并行编码和解码。这创建了完全分布式计算框架，而不使用主节点进行编码或解码，这消除了主节点处的计算、通信和存储瓶颈。在理论方面，我们建立了我们提出的方案是渐近最优的解码时间，并提供了一个下界的掉队者，它可以容忍的概率很高。通过大量的实验，我们表明，我们的计划优于现有的计划，如投机执行和其他编码理论的方法至少25%。
2020-01-21 cs.DC cs.IT math.IT
START: Straggler Prediction and Mitigation for Cloud Computing Environments using Encoder LSTM Networks
现代大规模计算系统将作业分配为多个较小的任务，这些任务并行执行，以加快作业完成率并降低能耗。然而，在这样的系统中，一个常见的性能问题是处理落后的任务，这些任务是增加总体响应时间的缓慢运行的实例。这样的任务可以显著地影响系统的服务质量（QoS）和服务水平协议（SLA）。为了解决这个问题，需要自动的掉队者检测和缓解机制，在不违反SLA的情况下执行作业。以前的工作通常建立反应模型，首先集中在检测，然后缓解落后的任务，这会导致延迟。其他作品使用基于预测的主动机制，但忽略了异构主机或易变任务的特点。在本文中，我们提出了一个掉队预测和缓解技术（START），能够预测哪些任务可能是掉队者，并动态调整调度，以实现较低的响应时间。我们的技术使用编码器长短期内存（LSTM）网络，基于计算和网络资源消耗分析所有任务和主机。然后，该网络的输出用于预测和减轻预期的掉队任务。这降低了SLA违规率和执行时间，而不会影响QoS。具体来说，我们使用CloudSim工具包在云环境中模拟START，并将其与最先进的技术（IGRU-SD，SGC，Dolly，GRASS，NearestFit和Wrangler）在QoS参数方面进行比较，如能耗，执行时间，资源争用，CPU利用率和SLA违规率。实验表明，START减少了执行时间，资源争用，能源和SLA违规的13%，11%，16%和19%，分别相比，国家的最先进的方法。
2021-11-19 cs.DC cs.PF
Replication in Graph Partitioning and Scheduling Problems
Huawei Zurich Research Center（华为苏黎世研究中心）
研究复制对图划分和调度问题的影响，通过理论分析和实验验证，发现复制能显著提高图划分的近似难度，但对调度复杂性影响较小，实验显示复制可降低成本17%-65%甚至消除通信需求。
2026-04-30 cs.DC
Fault Tolerant Adaptive Parallel and Distributed Simulation through Functional Replication
介绍了一种基于软件的容错并行分布仿真中间件FT-GAIA。FT-GAIA旨在可靠地处理并行和分布式仿真（PADS）模型，这些模型需要正确模拟和分析任何科学或工程领域中出现的复杂系统。PADS利用多核处理器、工作站集群或HPC系统中运行的多个执行单元。然而，大型计算系统（诸如包括数十万个计算节点的HPC系统）必须处理某些组件的频繁故障。为了解决这个问题，FT-GAIA透明地复制仿真实体，并将它们分布在多个执行节点上。这允许模拟容忍计算节点的崩溃故障。此外，FT-GAIA提供了一些针对拜占庭故障的保护，因为模拟实体之间的交互消息也被复制，因此接收实体可以识别并丢弃损坏的消息。从分析模型和实验评估的结果表明，FT-GAIA提供了高度的容错，在执行单元的计算负荷适度增加的成本。
2019-03-26 cs.DC cs.MA cs.PF
Exploring Fault-Tolerant Erasure Codes for Scalable All-Flash Array Clusters
具有全闪存阵列的大规模系统在许多计算领域变得越来越普遍。为了使这样的系统具有弹性，我们可以采用诸如Reed-Solomon（RS）码的擦除编码作为复制的替代方案，因为擦除编码引起的存储开销比复制低得多。为了了解使用擦除编码对系统性能和其他系统方面（如CPU利用率和网络流量）的影响，我们构建了一个存储集群，该集群由大约100个处理器内核和50多个高性能固态驱动器（SSD）组成，并使用流行的开源分布式并行文件系统（称为Ceph）对集群进行评估。具体来说，我们从以下五个角度分析采用擦除编码的系统的行为，并与另一个使用复制的系统进行比较：（1）存储系统I/O性能;（2）计算和软件开销;（3）I/O放大;（4）存储节点之间的网络流量;（5）物理数据布局对RS编码SSD阵列性能的影响。对于所有这些分析，我们研究了两个代表性的RS配置，使用谷歌文件系统，并将其与三重复制采用一个典型的并行文件系统作为默认的容错机制。最后，我们从集群中收集了96个块级跟踪，并将它们发布到公共领域供其他研究人员使用。
2019-06-12 cs.DC
Optimization for Speculative Execution of Multiple Jobs in a MapReduce-like Cluster
如今，典型数据中心的计算集群可以轻松地由数十万台商用服务器组成，使组件/机器故障成为常态而不是例外。一个并行处理作业，只要它的许多任务中的一个被分配给一台故障机器，就可以被大大地延迟。为了解决这个所谓的落伍者问题，大多数并行处理框架，如MapReduce，都采用了各种策略，在这些策略下，如果同一任务的进度异常缓慢，或者仅仅是因为有额外的空闲资源可用，系统可能会推测性地启动同一任务的额外副本。在本文中，我们专注于在不同的负载条件下的并行处理集群的推测执行方案的设计。对于轻负载的情况下，我们分析并提出了两个基于优化的计划，即智能克隆算法（SCA），这是基于最大限度地提高作业效用和掉队者检测算法（SDA），最大限度地减少了一个作业的整体资源消耗。我们还推导出SCA或SDA应该用于推测执行的工作负载阈值。我们的模拟结果表明，SCA和SDA可以减少近60%的预测执行策略的Microsoft Mantri相比，作业流时间。对于重负载的情况下，我们提出了增强的推测执行（ESE）算法，这是一个扩展的微软Mantri计划。我们发现，ESE算法可以击败曼特里基线计划的18%，在工作流时间，同时消耗相同数量的资源。
2015-01-05 cs.DC
Straggler-aware Distributed Learning: Communication Computation Latency Trade-off
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
当梯度下降（GD）被扩展到多个并行工作者以用于大规模机器学习问题时，其每次迭代的计算时间受到离散工作者的限制。可以通过分配冗余计算和跨数据和计算进行编码来容忍离散工作者，但是在大多数现有方案中，每个非离散工作者在完成其所有计算之后每次迭代向参数服务器（PS）发送一条消息。施加这样的限制导致两个主要缺点：由于对离散行为的不准确预测而导致的过度计算，以及由于将工人视为离散者/非离散者并丢弃由离散者进行的部分计算而导致的利用不足。在本文中，为了克服这些缺点，我们考虑多消息通信（MMC），允许多个计算从每个工人每次迭代，并设计相应的掉队避免技术。然后，我们分析了如何有效地利用所提出的设计，以寻求计算和通信延迟之间的平衡，以最大限度地减少整体延迟。此外，通过大量的模拟，无论是基于模型的，还是在Amazon EC2服务器上的实际实现，我们确定了这些设计在不同设置中的优点和缺点，并证明了MMC可以帮助改进现有的掉队者避免方案。
2020-04-10 cs.DC cs.IT cs.LG
Speeding Up Distributed Gradient Descent by Utilizing Non-persistent Stragglers
Imperial College London（伦敦帝国学院）；University of Maryland, College Park（马里兰大学帕克分校）
分布式梯度下降（DGD）是一种实现梯度下降（GD）的有效方法，特别是对于大型数据集，它通过将计算任务划分为较小的子任务并分配给不同的计算服务器（CS）并行执行。在标准并行执行中，每次迭代的等待时间受到离散服务器的执行时间的限制。编码DGD技术是近年来出现的一种新技术，它通过向CS分配冗余计算任务来容忍离散服务器。在大多数现有的DGD方案中，无论是编码计算还是编码通信，非离散CS在完成所有分配给它们的计算任务后，每次迭代发送一条消息。然而，尽管分散的服务器不能完成所有分配给它们的任务，但它们通常能够完成其中的某一部分。在本文中，我们允许多个传输从每个CS在每次迭代，以确保完成计算的最大数量可以报告给聚合服务器（AS），包括离散服务器。我们的数值计算表明，每次迭代的平均完成时间可以显着减少稍微增加每个服务器的通信负载。
2018-10-02 cs.DC cs.IT cs.LG
Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning
University of Maryland（马里兰大学）；Imperial College London（伦敦帝国学院）
分布式实现对于加速大规模机器学习应用至关重要。分布式梯度下降（GD）通过将数据集分布在多个工作者之间来广泛地用于并行化学习任务。分布式同步GD中每次迭代完成时间的一个重要性能瓶颈是$straggling$工作者。编码分布式计算技术最近被引入，以减轻离散和加速GD迭代分配冗余计算的工人。在本文中，我们考虑梯度编码（GC），并提出了一种新的动态GC计划，它分配冗余数据的工人获得的灵活性，动态选择一组可能的代码取决于过去的离散行为。特别是，我们认为GC与聚类，并调节在每个集群中的掉队者的数量，在每次迭代时动态地形成集群，因此，该计划被称为$GC$ $with$ $dynamic$ $clustering$（GC-DC）。在时间相关的离散行为下，GC-DC随着时间的推移从适应离散行为中获益，使得在每次迭代时，GC-DC旨在基于过去的离散行为尽可能均匀地跨集群分布离散者。对于同构和异构的工人模型，我们数值表明，GC-DC提供了显着的改善，在平均每次迭代完成时间没有增加的通信负载相比，原来的GC计划。
2021-03-01 cs.DC cs.IT cs.LG
Flexible Coded Distributed Convolution Computing for Enhanced Straggler Resilience and Numerical Stability in Distributed CNNs
College of Computer Science, Chongqing University（重庆大学计算机学院）；School of Electrical Engineering, Korea University（韩国大学电气工程学院）；School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；City University of Hong Kong（香港城市大学）
本文提出FCDCC框架，通过CRME扩展和两种编码分区策略实现张量卷积的线性分解与编码冗余，增强分布式CNN的掉队者韧性和数值稳定性，并验证了其高效性与可扩展性。
2025-09-07 cs.AI cs.CV cs.DC
CRAFT: Fine-Grained Cost-Aware Expert Replication For Efficient Mixture-of-Experts Serving
NVIDIA Corporation（英伟达公司）
提出CRAFT框架，通过基于估计收益的细粒度逐层复制，在给定内存预算下最大化负载均衡，无需额外训练即可提升大规模MoE服务吞吐量。
2026-05-29 cs.DC cs.LG
Resource-efficient Parallel Split Learning in Heterogeneous Edge Computing
提出EdgeSplit框架，通过自适应模型分割和任务调度优化异构边缘设备上的并行分割学习，有效缩短训练时间并超越现有基线。
2024-03-23 cs.DC
Diversity/Parallelism Trade-off in Distributed Systems with Redundancy
随着许多机器学习和其他算法的复杂性和数据需求的增加，分布式计算成为满足不断增长的计算和存储需求所必需的，因为它使得能够并行执行构成大型计算作业的较小任务。然而，任务服务时间的随机波动会导致执行时间较长的离散任务。以任务复制和擦除编码的形式，冗余提供了多样性，允许在仅执行冗余任务的子集时完成作业，从而消除对离散任务的依赖性。在资源受限的情况下（这里是固定数量的并行服务器），增加冗余会减少并行可用的资源。在本文中，我们的特点的多样性与并行性的权衡，并确定最佳的策略，复制，编码和分裂，最大限度地减少预期的作业完成时间。我们考虑了三种常见的服务时间分布，并建立了三个模型来描述这些分布与任务大小的缩放。我们发现，具有不同缩放模型的不同分布在不同的冗余水平下最佳地操作，因此可能需要非常不同的码率。
2021-12-18 cs.DC cs.IT cs.PF
Collage Inference: Achieving low tail latency during distributed image classification using coded redundancy models
University Of Southern California（南加州大学）；Microsoft Research（微软研究院）
减少机器学习推理中的延迟方差是许多应用中的关键要求。在存在掉队者的云部署中，差异更难控制。尽管存在这一挑战，但由于经济实惠的机器学习即服务（MLaaS）平台的出现，推理越来越多地在云中完成。现有的减少差异的方法依赖于复制，这是昂贵的，部分否定了MLaaS的可负担性。在这项工作中，我们认为MLaaS平台也提供了独特的机会来降低冗余成本。在MLaaS平台中，负载均衡器同时接收多个推理请求，然后可以在更大的图像集合中创建更具成本效益的冗余编码。我们提出了一种新的卷积神经网络模型Collage-CNN，以提供一个低成本的冗余框架。Collage-CNN模型采用通过组合多个图像形成的拼贴，并在一次拍摄中执行多图像分类，尽管精度略低。然后，我们使用单个Collage-CNN分类器来增强传统单个图像分类器的集合，该分类器作为低成本的冗余备份。然后，如果单个图像分类分散，Collage-CNN会提供备份分类结果。在云中部署Collage-CNN模型，我们证明与基于复制的方法相比，推断的第99百分位数尾部延迟可以减少1.47倍，同时提供高准确性。此外，推理延迟的变化可以减少9倍，平均推理延迟略有增加。
2019-06-05 cs.DC cs.LG stat.ML
Efficient Ranking and Selection in Parallel Computing Environments
排序和选择（R&S）过程的目标是从有限的竞争方案中识别出最佳的随机系统。这样的程序需要构建每个系统的性能的估计，这可以通过在并行计算平台上运行多个独立的复制同时获得。然而，非平凡的统计和实现问题时，出现设计的R&S程序的并行计算环境。因此，我们提出了几个设计原则，并行R&S程序，保持统计有效性和最大限度地提高核心利用率，特别是当涉及大量的替代品或核心。我们的并行良好选择程序（GSP）紧密遵循这些原则，在正态分布输出的假设下，（i）保证以高概率选择无差异区中的系统，（ii）在多达1，024个并行核心上高效运行，以及（iii）在一个示例中，与现有并行程序相比，使用更小的样本量，特别是对于大问题（超过$10^6$替代方案）。在我们的计算研究中，我们讨论了两种方法实现GSP并行计算机，即消息传递接口（MPI）和Hadoop MapReduce，并表明，后者提供了良好的保护，防止核心故障的代价是显着下降的利用率，由于周期性的不可避免的同步。
2015-06-16 cs.DC math.OC
BtrLog: Low-Latency Logging for Cloud Database Systems
Technische Universität München（慕尼黑工业大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；TigerBeetle
提出BtrLog，一种可复用的云日志服务，通过SSD日志节点仲裁复制和异步归档到对象存储，实现低延迟持久化日志记录，降低存储成本。
2026-06-29 cs.DB cs.DC
Random Alloy Codes and the Fundamental Limits of Coded Distributed Tensors
Virginia Tech（弗吉尼亚理工大学）
针对传统编码分布式张量以恢复阈值为优化目标无法直接降低故障概率的问题，本文提出基于解码概率的评估框架，构造了最优的局部随机合金码，并发现了编码分布式张量的不可能性定理。
2024-10-28 cs.DC cs.IT cs.LG
A Feasible Graph Partition Framework for Random Walks Implemented by Parallel Computing in Big Graph
图划分是大规模图数据并行计算的基本问题。在矩阵计算和PageRank等应用中，已经提出了许多图划分算法来解决这个问题，但没有人注意到随机游动。随机游动是研究图结构的一种广泛应用的方法。随机游动图划分的挑战包括大量的时间之间的通信，大量的顶点的复制，不平衡的分区等，在本文中，我们提出了一个可行的图划分框架的并行计算实现的大图的随机游动。该框架基于两个优化函数，在保证负载均衡的前提下，降低带宽、内存和存储开销。在此框架下，提出了几种贪婪图划分算法。我们还提出了五个指标，从不同的角度来评估这些算法的性能。通过在真实世界的大图数据集上运行算法，实验结果表明，该框架中的算法能够针对不同的需求解决随机游走的图划分问题，在减少通信次数方面最好的结果提高了70倍以上。
2014-12-31 cs.DC cs.SI physics.soc-ph
Gradient Coding with Clustering and Multi-message Communication
Imperial College London（帝国理工学院）；University of Maryland, College Park（马里兰大学帕克分校）
梯度下降（GD）方法通常用于机器学习问题中以迭代方式优化模型的参数。对于具有大量数据集的问题，计算被分布到许多并行计算服务器（即，以加快GD迭代。虽然分布式计算可以显著提高计算速度，但每次迭代的完成时间受到最慢的离散工人的限制。编码的分布式计算可以通过引入冗余计算来减轻离散工作者;然而，现有的编码计算方案主要是针对持久离散者而设计的，并且离散工作者处的部分计算被丢弃，导致计算容量的浪费。在本文中，我们提出了一种新的梯度编码（GC）计划，它允许多个编码计算，从每个工人传达到主每次迭代。我们数值计算表明，建议GC与多消息通信（MMC）与聚类提供了显着的改善，在平均完成时间（每次迭代），最小或没有增加的通信负载。
2019-03-05 cs.DC cs.IT cs.LG
