Straggler Mitigation in Distributed Optimization Through Data Encoding
UCLA（加州大学洛杉矶分校）；Technicolor Research（泰利克色研究公司）
在分布式计算中，运行缓慢或落后的任务会显著降低计算速度。最近，受编码理论启发的方法已经被应用于通过在优化算法的某些线性计算步骤中嵌入冗余来减轻离散的影响，从而在不等待离散者的情况下完成计算。在本文中，我们提出了一种替代方法，我们将冗余直接嵌入数据本身，并允许计算完全不受编码的影响。我们提出了几种编码方案，并证明了流行的批处理算法，如梯度下降和L-BFGS，应用在一个编码不经意的方式，确定性地实现样本路径线性收敛到原问题的近似解，使用任意变化的子集的节点在每次迭代。此外，这种近似可以通过冗余量和每次迭代中使用的节点数量来控制。我们提供的实验结果表明，该方法的优势，在未编码和数据复制策略。
2018-01-22 cs.DC cs.IT cs.LG
Exploiting Stragglers in Distributed Computing Systems with Task Grouping
本文提出一种利用掉队者已完成工作而非丢弃的方法，通过增加任务粒度和更新频率，在模拟集群和Amazon EC2上验证了该方法能减少任务完成时间。
2024-11-06 cs.DC
On Delay-Optimal Scheduling in Queueing Systems with Replications
在现代计算机系统中，作业被分成短任务并并行执行。在实际系统中的经验观察表明，任务服务时间是高度随机的，作业服务时间是由最慢的离散任务检查。一个常见的解决方案是在多个服务器上复制一个任务，并等待任务的一个副本提前完成。复制的延迟性能在很大程度上取决于何时复制、在哪个服务器上复制以及首先服务哪个作业的调度决策。到目前为止，很少有人了解如何优化这些调度决策，以最大限度地减少延迟完成的工作。在本文中，我们提出了一个全面的研究集中式和分布式多服务器系统中的延迟最优调度的副本。低复杂度的调度策略的设计，并被证明是延迟最优或接近延迟最优的随机排序之间的因果关系和非抢占式的政策。这些理论结果建立一般的系统设置和延迟度量，允许任意到达过程，任意的作业大小，任意的到期时间，和异构服务器与数据本地化的限制。新的样本路径工具的开发，以证明这些结果。
2017-02-06 cs.DC cs.IT cs.NI
Redundancy Techniques for Straggler Mitigation in Distributed Optimization and Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of British Columbia（英属哥伦比亚大学）
分布式优化和学习系统的性能受到“掉队”节点和缓慢通信链路的影响，这会显著延迟计算。我们提出了一个分布式优化框架，其中数据集被“编码”为具有内置冗余的过完备表示，并且系统中的离散节点在每次迭代时都被动态地排除在计算之外，其损失由嵌入的冗余补偿。我们发现，不经意的应用程序的几个流行的优化算法编码的数据，包括梯度下降，L-BFGS，数据并行下的近端梯度，模型并行下的坐标下降，收敛到原问题的近似或精确的解决方案时，掉队者被视为擦除。这些收敛结果是确定性的，即，它们为节点上的延迟模式或分布的任意序列建立样本路径收敛，并且与延迟分布的尾部行为无关。我们证明了等角紧框架具有理想的属性作为编码矩阵，并提出了有效的机制，用于编码大规模数据。我们在Amazon EC2集群上实现了所提出的技术，并在几个学习问题上展示了其性能，包括矩阵分解，LASSO，岭回归和逻辑斯谛回归，并将所提出的方法与未编码，异步和数据复制策略进行了比较。
2018-03-14 cs.DC cs.LG math.OC
Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load
Technical University of Munich（慕尼黑工业大学）；Aalto University（阿尔托大学）
本文针对分布式SGD中的滞后节点问题，提出一种在运行过程中同时自适应调整工作节点数量和计算负载的新方案，从而在略微增加通信负载的代价下显著降低计算负载并加快收敛。
2023-04-17 cs.DC cs.IT cs.LG
Reducing asynchrony to synchronized rounds
同步计算模型简化了容错分布式系统的设计和验证。出于效率原因，这样的系统使用异步语义来设计和实现。在本文中，我们弥合了这两个世界之间的差距。我们引入了一个（同步）轮为基础的计算模型，我们证明了减少一类异步协议，我们的新模型。减少是基于可以用顺序方法检查的代码属性。我们应用减少状态机复制系统，如Paxos，Zab和Viewstamped复制。
2019-01-21 cs.DC cs.PL
MegaFlux: Skew-Resilient MoE Megakernels via Pipelined Expert Replication
Princeton University（普林斯顿大学）；NVIDIA（英伟达）
MegaFlux通过运行时专家复制和流水线通信，在MoE超级内核中缓解路由偏斜，实现前向1.45倍、后向1.28倍的几何平均加速。
2026-10-02 cs.DC
Predicting Dynamic Replication based on Fuzzy System in Data Grid
数据网格复制是一种有效的方法，可以在网格环境中实现高效、容错的数据访问，同时减少访问延迟和带宽消耗。由于我们有存储限制，因此应在最佳站点中创建副本。通过评估以前提出的算法，我们了解到，通过盲目创建复制在不同的网站后，每个需求，我们可能能够改善算法的响应时间。然而，在实践中，大多数创建的副本将永远不会被使用，网格中现有的资源将通过创建未使用的副本而被浪费。在本文中，我们提出了一个新的动态复制算法称为预测模糊复制（PFR）。PFR不仅重新定义了用于网格作业调度的平衡蚁群优化（BACO）算法，而且将其用于数据网格中适当站点的复制。该算法综合考虑了文件的历史使用情况、文件大小、站点的级别和可用的复制空间，并尝试预测未来的需求，在更合适的资源中进行预复制，或者在没有足够的复制空间时决定删除哪个副本。该算法考虑复制文件的相关文件，并考虑它们自己的历史来复制它们。PFR算法是一种有效利用已有副本的算法，其效率高于Cascading算法。
2018-04-10 cs.DC
Workload Distribution with Rateless Encoding: A Low-Latency Computation Offloading Method within Edge Networks
本文提出REDC框架，通过自适应无速率编码和基于节点异构性的负载分配，解决边缘网络中分布式计算的落后节点延迟和故障问题，显著提高资源利用率并降低任务执行延迟。
2023-10-04 cs.DC
The Impact of Data Replicatino on Job Scheduling Performance in Hierarchical data Grid
在数据密集型应用程序中，数据传输是作业执行延迟的主要原因。数据访问时间取决于带宽。广域网和Internet的高带宽是网格环境下支持快速数据访问的主要瓶颈。有效的调度可以通过将作业分派到存在所需数据的位置来减少通过互联网传输的数据量。另一种解决方案是使用数据复制机制。动态副本策略的目标是减少文件访问时间，从而减少作业运行时间。在本文中，我们提出了一个作业调度策略和一个动态的数据复制策略，称为HRS（分层复制策略），以提高数据访问效率。我们研究我们的方法，并通过模拟评估。结果表明，我们的算法比现有的策略提高了12%。
2010-10-04 cs.DC
Leader Confirmation Replication for Millisecond Consensus in Private Chains
基于私有链的物联网（IoT）系统确保了跨组织数据共享的安全性。作为私有链中广泛使用的共识模型，基于领导者的状态机复制（SMR）模型在物联网区块链应用中遇到了性能瓶颈，其中大规模生成非事务性传感器数据。我们分析了物联网私有链系统，发现由于高延迟和客户端请求频率，领导者保持了太多的连接，这导致共识性能和效率较低。为了应对这一挑战，我们提出了一种新的解决方案，以保持低的请求延迟和高的每秒事务（TPS）：复制非事务性数据的追随者和确认的领导者，以实现非冲突SMR，而不是所有的领导者。我们的解决方案，命名为领导者确认复制（LCR），使用新提出的未来日志和确认信号，以实现非事务性数据复制的追随者，从而减少领导者的网络流量和请求延迟的事务性数据。此外，设计了生成复制策略，以保证LCR在满足成员变化时的可靠性和一致性。我们评估了LCR与不同的集群大小和网络延迟。实验结果表明，在ms网络延迟（2-30）的环境下，LCR的TPS比Raft高1.4 - 1.9倍，事务数据响应时间减少40%-60%，网络流量减少20%-30%，而从站的网络流量和CPU开销可以接受。此外，LCR显示了高可移植性和可用性，因为它不改变领导人的数量或选举过程。
2021-09-17 cs.DC cs.NI
Coded Computation over Heterogeneous Clusters
在大规模分布式计算集群（如Amazon EC2）中，有几种类型的“系统噪声”可能导致性能的严重下降：由于有限的通信带宽造成的瓶颈，由于落后节点造成的延迟等。另一方面，这些系统享有丰富的冗余-大量的计算节点和大存储容量。最近的研究结果表明，编码的影响，有效利用计算和存储冗余，以减轻在同质集群中的掉队者和通信瓶颈的影响。在本文中，我们专注于一般的异构分布式计算集群组成的各种不同的计算能力的机器。我们提出了一个编码框架，通过交换冗余来减少计算延迟，从而加快异构集群中的分布式计算。特别是，我们提出了异构编码矩阵乘法（HCMM）算法进行分布式矩阵乘法异构集群，可证明是渐近最佳的广泛的一类处理时间分布。此外，我们表明，HCMM是unboundedly快于任何未编码的计划。为了证明HCMM的实用性，我们在Amazon EC2集群上进行了实验，发现HCMM分别比三种基准负载分配方案（Uniform Uncoded、Load-balanced Uncoded和Uniform Coded）快$61\%$、$46\%$和$36\%$。此外，我们提供了一个泛化的异构环境中的最优负载分配问题，在那里我们考虑到与集群相关的货币成本。我们认为，HCMM是渐近最优的约束条件下的情况下，以及，我们开发了一个启发式算法（HCMM）的负载分配有限的计算任务。
2019-06-19 cs.DC cs.IT math.IT
Flexible Distributed Matrix Multiplication
考虑离散数未知的分布式矩阵乘法问题，目标是通过将计算分布在N台服务器上，高效灵活地获得两个大型矩阵的乘积.有多达N-R的掉队者，但确切的数量是不知道的先验。为了减少服务器的计算负载，提出了一种灵活的解决方案，以充分利用可用服务器的计算能力。每个服务器的计算任务被分成几个子任务，由Yu等人基于Entangled Polynomial码构造。最终结果可以从更多的服务器中获得，每个服务器完成的计算量较小，或者从更少的服务器中获得，每个服务器完成的计算量较大。所提出的解决方案所需的有限域大小小于2N。此外，最佳的设计参数，如输入矩阵的划分进行了讨论。我们的结构也可以推广到其他设置，如批分布式矩阵乘法和安全的分布式矩阵乘法。
2021-07-22 cs.DC
GRACE-MoE: Grouping and Replication with Locality-Aware Routing for Efficient Distributed MoE Inference
University of Science and Technology of China（中国科学技术大学）
GRACE-MoE通过局部感知路由和分组复制优化，有效减少分布式MoE推理中的通信开销和计算负载不平衡，实现显著的推理加速。
2026-01-24 cs.DC
Using RDMA for Efficient Index Replication in LSM Key-Value Stores
日志结构化合并树（LSM树）键值（KV）存储已成为数据中心和云服务存储堆栈中的基础层。用于实现可靠性和可用性的当前方法避免了在KV存储级别的复制，而是在更高层执行这些操作，例如，运行在KV存储之上的DB层。主要原因是，过去的设计复制KV存储有利于减少网络流量和增加I/O大小。因此，它们执行昂贵的压缩来重新组织主节点和备份节点中的数据，这会损害整体系统性能。在本文中，我们设计和实现Talos，一个有效的机架规模的基于LSM的KV存储，旨在显着减少备份节点中的I/O放大和CPU开销，并使复制KV存储实用。我们依赖于两个观察结果：（a）在数据中心中增加使用RDMA，这减少了用于通信的CPU开销，以及（b）使用在现代KV存储中变得普遍的KV分离。我们使用主备份复制方案，只在主节点上执行压缩，并将预先构建的索引发送到区域的备份节点，避免备份中的所有压缩。我们的方法包括一个有效的机制来处理区域索引中的节点之间的指针翻译。我们的研究结果表明，Talos减少了备份节点，I/O放大高达$3\times$，CPU开销高达$1.6\times$，和存储器大小所需的写入路径高达$2\times$，而不增加网络带宽过度，并高达$1.3\times$。总的来说，我们表明，即使小KV对在工作负载中占主导地位（80%-90%），我们的方法也有好处。最后，它使KV存储能够以更大的增长因子（从10到16）运行，以减少…
2021-10-19 cs.DB cs.DC
Collage Inference: Achieving low tail latency during distributed image classification using coded redundancy models
University Of Southern California（南加州大学）；Microsoft Research（微软研究院）
减少机器学习推理中的延迟方差是许多应用中的关键要求。在存在掉队者的云部署中，差异更难控制。尽管存在这一挑战，但由于经济实惠的机器学习即服务（MLaaS）平台的出现，推理越来越多地在云中完成。现有的减少差异的方法依赖于复制，这是昂贵的，部分否定了MLaaS的可负担性。在这项工作中，我们认为MLaaS平台也提供了独特的机会来降低冗余成本。在MLaaS平台中，负载均衡器同时接收多个推理请求，然后可以在更大的图像集合中创建更具成本效益的冗余编码。我们提出了一种新的卷积神经网络模型Collage-CNN，以提供一个低成本的冗余框架。Collage-CNN模型采用通过组合多个图像形成的拼贴，并在一次拍摄中执行多图像分类，尽管精度略低。然后，我们使用单个Collage-CNN分类器来增强传统单个图像分类器的集合，该分类器作为低成本的冗余备份。然后，如果单个图像分类分散，Collage-CNN会提供备份分类结果。在云中部署Collage-CNN模型，我们证明与基于复制的方法相比，推断的第99百分位数尾部延迟可以减少1.47倍，同时提供高准确性。此外，推理延迟的变化可以减少9倍，平均推理延迟略有增加。
2019-06-05 cs.DC cs.LG stat.ML
Verifying PRAM Consistency over Read/Write Traces of Data Replicas
数据复制技术能够实现高效、高可用的数据访问，因此越来越受到学术界和工业界的关注。然而，数据复制引入了数据一致性的问题。现代商业数据复制系统通常在某些故障场景下为高可用性提供弱一致性。一个重要的弱一致性是流水线RAM（PRAM）一致性。它允许不同的进程持有不同的数据视图。为了确定数据复制系统是否确实提供PRAM一致性，我们研究了在读/写跟踪（或简称VPC）上的PRAM一致性问题。我们首先根据a）是否存在多个共享变量（或一个单个变量）以及b）写入操作是否可以为每个共享变量分配重复值（或仅唯一值）来识别VPC的四种变体;这四种变体被标记为VPC-SU，VPC-MU，VPC-SD和VPC-MD。其次，我们提出了一个简单的VPC-MU算法，称为RW-CLOSURE。它根据三条规则迭代添加边来构造操作图$\mathcal{G}$。它的时间复杂度是$O(n^5)$，其中n是跟踪中的操作数。第三，我们提出了一种改进的VPC-MU算法，称为READ-CENTRIC，时间复杂度为$O(n^4)$。基本上，它试图以增量和有效的方式构造操作图$\mathcal{G}$。它的正确性是基于RW-CLOSURE。最后，通过将强$\sf{NP}$ -完全问题3-PARTITION约化为它，证明了VPC-SD（VPC-MD也是）是$\sf{NP}$ -完全的.
2013-11-29 cs.DC
When Less is More: Achieving Faster Convergence in Distributed Edge Machine Learning
BITS Pilani（毕拉尼理工学院）；BITS Pilani, K. K. Birla Goa Campus（毕拉尼理工学院K.K.比尔拉果阿校区）
本文提出 Hermes 概率框架，通过基于测试损失的动态阈值减少通信，并结合动态数据集分配应对异构边缘设备中的拖后腿问题，实现更快收敛，训练时间减少 13.22 倍，通信开销降低 62.1%。
2024-10-27 cs.DC cs.LG cs.PF
Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems
University of Warwick（华威大学）；South China University of Technology（华南理工大学）；Shenzhen University（深圳大学）
移动边缘计算（MEC）结合了云、边缘节点和终端设备，在使数据处理更接近数据源方面显示出巨大的潜力。与此同时，联邦学习（FL）已经成为促进AI应用的一种有前途的隐私保护方法。然而，它仍然是一个很大的挑战，以优化效率和有效性的FL时，它与MEC架构集成。此外，不可靠的性质（例如，离散和间歇性辍学）的终端设备显着放缓FL过程，并影响全球模型的质量辛这种情况下。在本文中，多层联邦学习协议称为HybridFL设计的MEC架构。HybridFL采用边缘层和云层两个层次的模型聚合，并制定了不同的聚合策略。此外，为了减轻掉队者和终端设备辍学，我们引入区域松弛因素的边缘节点使用概率的方法，而不识别或探测终端设备的状态（其可靠性是不可知的）的客户端选择的阶段。我们证明了我们的方法在调制的客户端选择的比例的有效性，并提出了我们的协议的收敛性分析。我们已经进行了广泛的实验，机器学习任务在不同规模的MEC系统。结果表明，HybridFL显著改善了FL训练过程，缩短了联邦轮长度，加快了全局模型的收敛速度（高达12倍），并降低了终端设备的能耗（高达58%）。
2021-04-23 cs.DC cs.LG eess.SP
NanoCP: Taming Load Imbalance in Data-Expert Parallel Decoding under Variable-Length Workloads
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Huazhong University of Science and Technology（华中科技大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peking University（北京大学）；SenseTime（商汤科技）
本文提出NanoCP，通过动态上下文并行技术解耦MoE通信与KV缓存放置，实现上下文并行度的动态平衡，从而在不增加额外负载的情况下提升请求速率和降低尾延迟。
2026-10-22 cs.DC
TicTac: Accelerating Distributed Deep Learning with Communication Scheduling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最先进的深度学习系统依赖于迭代分布式训练来解决模型和输入数据日益复杂的问题。在这些通信繁重的系统中，迭代时间取决于计算时间、通信时间以及计算和通信的重叠程度。在这项工作中，我们发现了使用图形表示进行计算的系统（如TensorFlow和PyTorch）中的一个缺点，这导致迭代时间的高方差-工人之间接收参数的随机顺序。我们开发了一个系统TicTac，通过使用参数服务器解决分布式深度学习中的这个问题来改善迭代时间，同时保证通信和计算的接近最佳重叠。TicTac识别并强制执行网络传输的顺序，从而使用优先级提高迭代时间。我们的系统是通过TensorFlow实现的，不需要对模型或开发人员输入进行更改。TicTac在推理中将吞吐量提高了$37.7\%$，在训练中提高了$19.2\%$，同时还将落伍者效应降低了$2.3\times$。我们的代码是公开的。
2018-10-04 cs.DC cs.LG cs.PF
Dispel: Byzantine SMR with Distributed Pipelining
拜占庭状态机复制（SMR）是一个长期研究的话题，最近随着区块链的出现而受到越来越多的关注，因为公司正试图将其扩展到数百个节点。拜占庭SMR试图通过减少它们顺序运行的共识实例的延迟或通过减少向其他人发送消息的副本数量来增加吞吐量，以减少网络使用。不幸的是，前一种方法使用突发资源，而后者需要CPU密集型认证机制。在本文中，我们提出了一个新的拜占庭SMR称为Dispel（分布式管道），允许任何节点分布式启动新的共识实例，只要他们在本地检测到足够的资源。我们通过将Dispel与其他四个SMR进行比较，评估了Dispel在单个数据中心和三大洲多达380台机器上的性能。在128个节点上，Dispel将HotStuff（集成在Facebook区块链中的拜占庭容错SMR）的速度提高了12倍以上。此外，我们还测试了隔离和相关故障下的Dispel，并表明Dispel分布式设计比HotStuff更强大。最后，我们在一个带有比特币交易的加密货币应用程序中评估了Dispel，并表明SMR不是瓶颈。
2020-06-12 cs.CR cs.DC cs.OS
Embarrassingly Parallel Time Series Analysis for Large Scale Weak Memory Systems
时间序列分析中的二阶平稳模型是基于基本统计量的分析，其计算遵循一个共同的模式。特别是，使用映射-归约命名法，这些操作中的大多数可以被建模为映射仅依赖于连续数据的短窗口的内核，并减少每次计算产生的结果。这种计算模式源于所考虑的模型的遍历性，当涉及到相对于时间索引的数据时，通常被称为弱或短记忆。在下文中，我们将展示如何以可扩展的方式研究弱内存系统，这要归功于一个依赖于专门设计的重叠分布式数据结构的框架，该框架允许跨多台机器进行数据的碎片化和复制，以及计算中的并行性。这个方案已经为Apache Spark实现，但肯定不是特定于系统的。事实上，我们证明它也适合利用GPU上的高带宽碎片内存块。
2015-11-20 cs.DC
Collage Inference: Using Coded Redundancy for Low Variance Distributed Image Classification
由云计算平台提供的MLaaS（ML-as-a-Service）产品正变得越来越流行。在云中托管预训练的机器学习模型，可随着需求的增长实现弹性可扩展性。但提供低延迟和减少延迟变化是一个关键要求。由于跨许多虚拟实例的资源分配的不确定性，云部署中的差异更难控制。我们提出拼贴推理技术，它使用一种新的卷积神经网络模型，拼贴cnn，提供低成本的冗余。拼贴cnn模型采用通过组合多个图像形成的拼贴图像，并且在一次拍摄中执行多图像分类，尽管精度略低。我们增加了一个传统的单一图像分类器模型的集合与一个单一的拼贴cnn分类器，作为其低成本的冗余备份。如果任何单个图像分类请求遇到减速，Collage-cnn将提供备份分类结果。在云中部署collage-cnn模型，我们证明了与基于复制的方法相比，推断的第99百分位尾部延迟可以减少1.2倍到2倍，同时提供高准确性。推理延迟的变化可以减少1.8倍到15倍。
2019-09-10 cs.CV cs.DC cs.IT
A Feasible Graph Partition Framework for Random Walks Implemented by Parallel Computing in Big Graph
图划分是大规模图数据并行计算的基本问题。在矩阵计算和PageRank等应用中，已经提出了许多图划分算法来解决这个问题，但没有人注意到随机游动。随机游动是研究图结构的一种广泛应用的方法。随机游动图划分的挑战包括大量的时间之间的通信，大量的顶点的复制，不平衡的分区等，在本文中，我们提出了一个可行的图划分框架的并行计算实现的大图的随机游动。该框架基于两个优化函数，在保证负载均衡的前提下，降低带宽、内存和存储开销。在此框架下，提出了几种贪婪图划分算法。我们还提出了五个指标，从不同的角度来评估这些算法的性能。通过在真实世界的大图数据集上运行算法，实验结果表明，该框架中的算法能够针对不同的需求解决随机游走的图划分问题，在减少通信次数方面最好的结果提高了70倍以上。
2014-12-31 cs.DC cs.SI physics.soc-ph
