Information Theoretic Limits of Data Shuffling for Distributed Learning
University of Arizona（亚利桑那大学）
数据混洗是分布式学习算法的基本构建块之一，它增加了学习过程中每一步的统计增益。在每次迭代中，不同的混洗数据点由中心节点分配给一组分布式工作者来执行本地计算，这导致了通信瓶颈。本文的重点是形式化和理解的基本信息理论之间的权衡存储（每个工人）和最坏情况下的数据洗牌问题的通信开销。我们完全描述了信息理论的权衡$K=2$，和$K=3$工人，为任何值的存储容量，并表明，增加跨工人的存储可以通过利用编码来减少通信开销。我们提出了一种新的和系统的数据传输和存储更新策略，为每个数据洗牌迭代，它保留了整个工人的存储的结构属性，并有助于在随后的数据洗牌迭代的通信开销最小化。
2016-09-16 cs.DC cs.IT cs.LG
On the Worst-case Communication Overhead for Distributed Data Shuffling
University of Arizona（亚利桑那大学）
用于处理大规模数据集的分布式学习平台正变得越来越普遍。在典型的分布式实现中，集中式主节点将数据集分成较小的批次，以便跨分布式工作者进行并行处理，以实现加速和效率。几个计算任务是连续的，并涉及多次通过数据。在数据的每次迭代中，通常的做法是在主节点上随机重新洗牌数据，为每个工作节点分配不同的批处理。这种随机的重新洗牌操作是以额外的通信开销为代价的，因为在每次洗牌时，新的数据点需要被传递到分布式工作器。在本文中，我们专注于表征信息理论上的最优通信开销的分布式数据洗牌问题。我们提出了一种新的编码数据传输方案的情况下，没有多余的存储，其中每个工人只能存储分配的数据批处理。我们的方案利用了一种新的编码机会，并适用于任何任意洗牌，并为任何数量的工人。我们还提出了一个信息理论上的最小通信开销的数据洗牌的下限，并表明，所提出的方案相匹配的最坏情况下的通信开销的下限。
2016-09-30 cs.DC cs.IT cs.LG
Rate-limited Shuffling for Distributed Computing
本文将速率受限分布式计算中的混洗阶段建模为分布式索引编码问题，利用分布式复合编码方案建立容量区域内边界，并通过两个例子证明内外边界一致，进而推广到任意节点数和计算负载。
2024-05-06 cs.DC cs.IT math.IT
On Heterogeneous Coded Distributed Computing
我们考虑最近提出的编码分布式计算（CDC）的框架，利用精心设计的冗余计算，使编码的机会，大大减少了通信负载的分布式计算。我们将此框架推广到异构系统，其中计算集群中的不同节点可以具有不同的存储（或处理）能力。我们提供了信息理论上的最佳数据集的位置和编码数据洗牌计划，最大限度地减少了3个节点的集群中的通信负载。对于具有$K>3$节点的集群，我们提供了一个算法描述，以将我们的编码思想推广到更大的网络。
2017-09-01 cs.DC cs.IT math.IT
Coded TeraSort
我们专注于排序，这是许多机器学习算法的构建块，并提出了一种新的分布式排序算法，命名为编码的TeraSort，它大大提高了Hadoop MapReduce中的TeraSort基准的执行时间。编码TeraSort的关键思想是在数据中施加结构化冗余，以实现克服TeraSort的数据重排瓶颈的网络内编码机会。我们在Amazon EC2集群上实证评估了CodedTeraSort算法的性能，并证明了与TeraSort相比，对于典型的感兴趣设置，它实现了1.97倍-3.39倍的加速比。
2017-02-16 cs.DC cs.IT math.IT
Speeding Up Distributed Machine Learning Using Codes
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加利福尼亚大学伯克利分校电气工程与计算机科学系）；Department of Electrical and Computer Engineering, University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校电气与计算机工程系）；Department of Electrical and Computer Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校电气与计算机工程系）；Fellow, IEEE（IEEE会士（注：此为职称，非机构，按要求不提取））
编码被广泛用于许多工程应用中，以提供对噪声的鲁棒性。在大规模系统中，有几种类型的噪声会影响分布式机器学习算法的性能--离散节点、系统故障或通信瓶颈--但在代码、机器学习和分布式系统之间几乎没有交互作用。在这项工作中，我们提供的理论见解如何编码的解决方案可以实现显着的收益相比，未编码的。我们专注于分布式学习算法的两个最基本的构建块：矩阵乘法和数据洗牌。对于矩阵乘法，我们使用代码来减轻落伍者的影响，并表明，如果同质工人的数量是$n$，每个子任务的运行时间有一个指数尾，编码计算可以加快分布式矩阵乘法的一个因素的$\log n$。对于数据洗牌，我们使用代码来减少通信瓶颈，利用多余的存储。我们表明，当一个恒定的分数$α$的数据矩阵可以被缓存在每个工人，和$n$是工人的数量，\emph{coded shuffling}减少了通信成本的一个因素$(α+ \frac{1}{n})γ(n)$相比，未编码的洗牌，其中$γ(n)$是单播$n$消息的$n$用户多播一个共同的消息（相同大小）的$n$用户的成本的比率。例如，如果向$n$用户多播消息与向一个用户单播消息一样便宜，则使用$γ(n) \simeq n$。我们也提供了实验结果，证实了我们的编码算法的理论收益。
2018-01-29 cs.DC cs.IT cs.LG
Coded Federated Computing in Wireless Networks with Straggling Devices and Imperfect CSI
分布式计算平台通常假定处理器之间的可靠和专用连接的可用性。这项工作考虑了一种替代方案，相关的无线数据中心和联邦学习，其中的分布式处理器，一般不同的编码数据上操作，通过共享的无线信道通过全双工传输访问连接。该研究考虑了无线和计算损伤，包括干扰，不完美的信道状态信息和离散的处理器，它假设了一个映射-洗牌-减少编码的计算范式。系统的总延迟，作为计算和通信延迟的总和，研究了不同的洗牌策略，揭示了分布式计算，编码和合作或协调传输之间的相互作用。
2019-01-16 cs.IT math.IT
A Scalable Framework for Wireless Distributed Computing
我们考虑一个无线分布式计算系统，其中多个移动用户，通过无线接入点连接，合作执行一个计算任务。特别地，用户经由接入点彼此通信以交换其本地计算的中间计算结果，这被称为数据混洗。我们提出了一个可扩展的框架，该系统中，所需的通信带宽数据洗牌不增加网络中的用户数量。关键思想是利用放置数据集的特定重复模式（因此中间计算的特定重复模式），以便在用户和接入点处提供编码机会，这将从用户到接入点的所需上行链路通信带宽和从接入点到用户的下行链路通信带宽减少了随着用户数量线性增长的因子。我们还证明了所提出的数据集放置和编码洗牌方案是最佳的（即，实现最小所需的混洗负载）。
2017-05-05 cs.DC cs.IT math.IT
Data Shuffling in Wireless Distributed Computing via Low-Rank Optimization
智能车辆和无人机等智能移动平台最近已成为关注的焦点，因为机器学习机制的车载部署可以实现低延迟决策，同时隐私泄露风险较低。然而，大多数这样的机器学习算法都是计算和存储密集型的，这使得在具有有限的计算、存储器和能量资源的单个设备上实现必要的计算非常困难。无线分布式计算通过在设备之间池化计算和存储资源而呈现新的机会。对于低延迟应用程序，关键瓶颈在于移动设备之间交换中间结果以进行数据混洗。为了提高通信效率，我们提出了一个同信道通信模型和设计收发器，利用本地计算的中间值作为边信息。提出了一种低秩优化模型，通过建立数据混洗的干扰对齐条件来最大化实现的自由度（DoF）。不幸的是，现有的方法来近似秩函数不能产生令人满意的性能，由于在制定低秩优化问题的结构差。在本文中，我们开发了一个有效的DC算法来解决所提出的低秩优化问题，提出了一种新的DC表示的秩函数。数值实验表明，所提出的DC方法可以显着提高通信效率，而可实现的自由度几乎保持不变，当移动设备的数量增加。
2018-09-20 cs.IT math.IT
Coded Distributed Computing: Performance Limits and Code Designs
我们考虑编码的分布式计算的问题，其中一个大的线性计算工作，如矩阵乘法，分为$k$较小的任务，使用$(n,k)$线性代码编码，并在$n$分布式节点上执行。目标是减少计算作业的平均执行时间。我们提供了一个连接之间的问题，表征编码的分布式计算系统的平均执行时间和分析的错误概率的代码长度$n$擦除通道使用的问题。因此，我们提出了使用二进制随机线性代码的执行时间和最佳执行时间的任何线性编码的分布式计算系统可以实现的封闭形式的表达式。它还表明，存在良好的二进制线性码，达到，渐近，最佳性能的任何线性码，不一定是二进制，可以实现。我们还研究了编码的分布式计算系统的性能，使用极性和Reed-Muller（RM）码，可以受益于低复杂度解码，和优越的性能，分别，以及明确的建设。在本文中提出的框架可以使有效的设计分布式计算系统的丰富的文献中的信道编码理论。
2019-06-24 cs.DC cs.IT math.IT
Coded Distributed Computing with Partial Recovery
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
编码计算技术提供了对分布式计算中分散的工作者的鲁棒性。然而，大多数现有的计划需要精确的离散行为的规定，并忽略离散工人进行的计算。此外，这些方案通常被设计为准确地恢复期望的计算结果，而在许多机器学习和迭代优化算法中，已知更快的近似解导致总体收敛时间的改善。在本文中，我们首先介绍了一种新的编码矩阵向量乘法方案，称为编码计算与部分恢复（CCPR），它受益于编码和未编码的计算方案的优点，并通过允许的准确性和计算速度之间的权衡，降低了计算时间和解码的复杂度。然后，我们提出了一个编码的通信方案与部分恢复，其中的工作人员计算的子任务的结果被编码之前进行通信，将这种方法扩展到更一般的计算任务的分布式实现。一个大型线性回归任务的数值模拟证实了所提出的分布式计算方案与部分恢复的计算精度和延迟之间的权衡方面的好处。
2021-12-06 cs.DC cs.IT cs.LG
Distributed Gradient Descent with Coded Partial Gradient Computations
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
编码计算技术在分布式计算中提供了对离散服务器的鲁棒性，但具有以下限制：首先，它们增加了解码复杂度。其次，它们忽略了由分散的服务器执行的计算;并且它们通常被设计为恢复完整的梯度，因此不能在梯度的准确性和每次迭代完成时间之间提供平衡。在这里，我们介绍了一种混合的方法，称为编码的部分梯度计算（CPGC），从编码和未编码的计算方案的优点，并减少了计算时间和解码的复杂性。
2018-11-22 cs.DC cs.IT cs.LG
Flexible Coded Distributed Convolution Computing for Enhanced Straggler Resilience and Numerical Stability in Distributed CNNs
College of Computer Science, Chongqing University（重庆大学计算机学院）；School of Electrical Engineering, Korea University（韩国大学电气工程学院）；School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；City University of Hong Kong（香港城市大学）
本文提出FCDCC框架，通过CRME扩展和两种编码分区策略实现张量卷积的线性分解与编码冗余，增强分布式CNN的掉队者韧性和数值稳定性，并验证了其高效性与可扩展性。
2025-09-07 cs.AI cs.CV cs.DC
NeRCC: Nested-Regression Coded Computing for Resilient Distributed Prediction Serving Systems
University of Minnesota（明尼苏达大学）
NeRCC提出一种三层嵌套回归编码计算框架，通过联合优化正则化项解决编码与解码回归的关联，在多种模型和数据集上抗掉队者性能优于现有方法达23%。
2024-02-08 cs.DC cs.IT cs.LG
A Pliable Index Coding Approach to Data Shuffling
在分布式计算系统中，如何利用索引编码来提高通信效率，特别是在迭代计算中的数据混洗，是近年来出现的一个很有前途的研究领域。在本文中，我们认为柔韧的索引编码可以提供一个更有效的数据洗牌框架，因为它可以更好地利用许多可能的洗牌选择，以减少传输的数量。我们从理论上分析了柔性索引编码下的数据洗牌约束，并设计了一个分层的数据洗牌方案，使用柔性编码作为一个组件。我们发现$O(ns/m)$比索引编码更有优势，其中$ns/m$是缓存消息的工作者的平均数量，$m$、$n$和$s$分别是消息、工作者和缓存大小的数量。
2018-05-03 cs.IT math.IT
Cache-Aided Communication Schemes via Combinatorial Designs and their $q$-analogs
我们考虑标准的广播设置，其中单个服务器将信息广播到多个客户端，每个客户端都包含一定大小的本地存储（称为缓存），可以存储服务器上可用文件的某些部分。集中式编码缓存框架由缓存阶段和交付阶段组成，这两个阶段都经过精心设计，以便最佳地一起使用缓存和通道。在现有文献中，已经使用各种组合结构来构造编码缓存方案。这些现有构造中的许多构造的主要缺点之一是大的子分组化水平，其表示对于提供编码增益的方案而言文件应当被分割的次数。在这项工作中，使用一个新的二进制矩阵模型，我们提出了几种新的构造编码缓存的基础上的各种类型的组合设计和它们的$q$类似物，这也被称为子空间设计。虽然在这项工作中构建的大多数方案（基于现有的设计）有很高的高速缓存要求，它们提供了一个速率，要么是恒定的或减少，而且需要竞争力小的水平的子分组化，这是一个非常重要的功能，在实际应用中的编码缓存。我们还将我们的构造应用到MapReduce的分布式计算框架中，该框架包括三个阶段，Map阶段，Shuffle阶段和Reduce阶段。使用我们的二进制矩阵框架，我们提出了一个新的简单的通用编码数据洗牌计划。采用我们的设计为基础的建设，结合这个新的洗牌计划，我们获得新的编码计算方案，具有低文件复杂度，与最佳方案相比，具有较高的通信负载等效参数。我们表明，我们的计划可以整齐地扩展到的情况下，全部和部分离散。
2023-02-07 cs.IT math.IT
CodedPrivateML: A Fast and Privacy-Preserving Framework for Distributed Machine Learning
University of Southern California（南加州大学）；University of California, Riverside（加州大学河滨分校）
如何训练机器学习模型，同时保持数据的私密性和安全性？我们提出CodedPrivateML，一个快速和可扩展的方法来解决这个关键问题。CodedPrivateML保持数据和模型信息的私密性，同时允许跨分布式工作者进行有效的并行训练。我们描述了CodedPrivateML的隐私阈值，并证明了它对逻辑（和线性）回归的收敛性。此外，通过在Amazon EC2上进行的大量实验，我们证明了CodedPrivateML比基于多方计算（MPC）的加密方法提供了显著的加速。
2021-02-20 cs.CR cs.IT cs.LG
Compressed Coded Distributed Computing
通信开销是大规模分布式计算系统中的主要性能瓶颈之一，特别是对于机器学习应用。传统上，压缩技术用于通过尽可能多地组合相同计算任务的中间结果来减少通信的负荷。最近，通过编码的分布式计算（CDC）的发展，已经表明，可以实现跨不同计算任务的中间结果的编码机会，以进一步减少通信负载。我们提出了一个新的方案，命名为压缩编码分布式计算（简称压缩CDC），它联合利用上述两种技术（即，组合相同计算的中间结果并对不同计算的中间结果进行编码）以显著地减少在机器学习中普遍存在的具有最终阶段中的中间结果的线性聚集（约简）的计算的通信负载（例如，分布式训练算法，其中部分梯度被分布式地计算，然后在最后阶段被平均）。具体地，压缩CDC首先压缩/组合用于单个计算的若干中间结果，然后利用多个这样的组合分组来创建同时对多个计算有用的编码多播分组。我们的特点，可实现的压缩CDC的通信负载，并表明，它大大优于合并方法和CDC计划。
2018-05-05 cs.DC cs.IT math.IT
A Sequential Approximation Framework for Coded Distributed Optimization
University of California, Berkeley（加州大学伯克利分校）
在Lee等人和Ferdinand等人先前关于编码计算的工作的基础上，我们提出了一个以分布式方式解决优化问题的顺序近似框架。在分布式计算系统中，由单个处理器（“掉队者”）引起的延迟通常会导致整个过程的显著延迟。所提出的方法是由一个顺序的计算方案，这是专为系统的离散。该方案具有令人满意的性能，保证用户收到有用的（近似）计算结果时，处理器完成其子任务，即使在存在不确定的延迟。本文给出了一个矩阵-向量乘法序贯计算的编码定理，并证明了这种编码方案的最优性。作为应用的结果，我们演示了使用顺序逼近方法，加速算法在分布式系统中的离散求解优化问题。
2017-10-24 cs.DC cs.IT cs.LG
Coded Distributed Computing with Pre-set Assignments of Data and Output Functions
针对数据与输出函数预设的分布式计算系统，提出OSCT和FSCT两种编码传输方案，通过分簇多轮编码最大化多播增益，并给出最优性充分条件，降低通信负载。
2025-01-08 cs.DC cs.IT math.IT
Distributed Coded Modulation Schemes for Multiple Access Relay Channels
在本文中，我们研究了多址中继信道的网络嵌套编码调制方案。研究了基于网络编码调制的分布式卷积码的分布式系统的性能。推导了最大似然序列检测（MLSD）分布式系统误码性能的解析上界。所研究的系统的构造界被证明是渐近紧的增加信道信噪比（SNR）值
2022-03-15 cs.IT eess.SP math.IT
A New Combinatorial Design of Coded Distributed Computing
Li等人在2015年提出的编码分布式计算是一种在MapReduce等一般分布式计算框架中交易计算能力以减少通信负载的有效方法。特别地，Li等人示出了将映射阶段中的计算负载增加$r$的因子可以创建编码的多播机会，以将缩减阶段中的通信负载减少相同的因子。然而，在实践中有两大局限性。首先，当计算节点的数量变大时，它需要指数级数量的输入文件（数据批）。其次，它迫使每个$s$计算节点计算一个Map函数，这导致需要大量的Map函数来实现所承诺的增益。在本文中，我们试图克服这两个限制，提出了一种新的编码分布式计算方法的基础上组合设计。我们证明，当计算节点的数量变得很大时，1）所提出的方法需要的输入文件的数量呈指数级减少; 2）所需的Map函数的数量也呈指数级减少。同时，所得到的计算-通信权衡保持乘法增益相比，传统的未编码的单播，并实现了信息理论的下界不对称的一些系统参数。
2018-02-12 cs.DC cs.IT math.IT
Fundamental Limits of Coded Linear Transform
在大规模分布式线性变换问题中，编码计算在有效处理“掉队者”（由于少数处理器速度慢或故障而可能延迟的分布式计算）方面起着重要作用。我们提出了一种编码的计算策略，称为对角码，实现了最佳的恢复阈值和最佳的计算负载。这是第一个在编码的分布式线性变换中同时实现双重最优性的代码。此外，利用随机建议图理论的思想，我们设计了两个随机码，可以保证最佳的恢复阈值与高概率，但计算量少得多。这些代码提供了有序的改进，在国家的最先进的。此外，实验结果表明显着的改善相比，未编码和现有的编码方案。
2018-04-25 cs.DC cs.IT math.IT
Train Where the Data is: A Case for Bandwidth Efficient Coded Training
训练机器学习模型是计算和数据密集型的。大多数模型训练在高性能计算节点上执行，并且训练数据存储在这些节点附近以进行更快的训练。但是，人们对在数据附近进行培训的兴趣越来越大。例如，移动设备是训练数据的丰富来源。由于带宽和数据隐私的原因，将移动设备的数据整合到云服务中可能不可行。然而，移动设备上的培训充满了挑战。第一，移动设备可以自愿地或由于环境不确定性（诸如缺乏电力）而加入或离开分布式设置。容忍不确定性对于分布式移动训练的成功至关重要。容忍计算不确定性的一种主动方法是以编码格式存储数据并对编码数据执行训练。对数据进行编码是一项具有挑战性的任务，因为纠删码需要多个设备交换它们的数据以创建编码数据分区，这带来了显著的带宽约束。此外，编码计算传统上依赖于中心节点来编码数据并将其分发到所有工作节点，这在分布式移动环境中是不实际的。在本文中，我们使用带宽有效的编码策略来解决分布式移动训练中的不确定性。我们使用随机线性网络编码（RLNC），减少了在所有参与的移动设备之间交换数据分区的需要，同时保留编码计算的属性以容忍不确定性。我们为逻辑回归和SVM实现了梯度下降，以评估我们的移动训练框架的有效性。我们证明了减少50%的总所需的通信带宽相比，MDS编码计算，流行的纠删码之一。
2019-10-22 cs.DC cs.IT cs.LG
Topological Coded Distributed Computing
本文考虑了最初由Li等人提出的类似MapReduce的编码分布式计算框架，其在分布式计算服务器交换其计算的中间值时使用编码技术，以便减少总业务负载。他们的原始模型服务器通过允许广播传输的无错误公共通信总线连接。然而，这种假设是实践中的主要限制之一，因为实际的云计算网络拓扑比简单的单个总线涉及更多。我们建立了一个拓扑编码的分布式计算问题，其中分布式服务器之间通过交换网络进行通信。通过使用一种特殊的胖树拓扑结构，称为t元胖树由Al-Fares等人提出的，它可以由一些廉价的交换机，我们提出了一种编码的分布式计算方案，以实现最小的最大链路通信负载定义为所有链路上的最大负载。
2020-04-09 cs.IT math.IT
Adaptive Verifiable Coded Computing: Towards Fast, Secure and Private Distributed Machine Learning
University of Southern California（南加州大学）
提出自适应可验证编码计算（AVCC）框架，通过解耦拜占庭节点检测与落后节点容忍，动态调整编码方案，在分布式逻辑回归中实现最高7.6倍加速和12.1%精度提升。
2022-03-22 cs.CR cs.DC cs.IT
Coded Data Rebalancing for Decentralized Distributed Databases
基于复制的分布式数据库的性能受到影响，这是由于跨存储节点的非均匀存储（也称为\textit{data skew}）以及操作期间复制因子的降低，特别是由于节点添加或移除。数据重新平衡是指在保持复制因子的同时，在纠正此数据倾斜时涉及的节点之间的通信。对于精心设计的分布式数据库，最近已经表明，在重新平衡阶段期间发送编码符号可以减少重新平衡的通信负载。在这项工作中，我们看看平衡的分布式数据库与\textit{random placement}，其中每个数据段存储在一个随机子集的$r$节点的系统中，其中$r$是指复制因子的分布式数据库。我们称之为分散式数据库。对于一个自然类的这种分散的数据库，我们提出了重新平衡方案，纠正数据倾斜和减少由于单个节点的添加或删除所产生的复制因子。我们给出相反的参数，这表明我们提出的再平衡方案是最佳的渐近文件的大小。
2020-11-12 cs.DC cs.IT math.IT
Fundamental Limits of Decentralized Data Shuffling
训练数据在不同计算节点（工作者）之间的数据混洗已被确定为提高现代大规模机器学习算法的统计性能的核心要素。数据混洗通常被认为是在这样的系统中，由于沉重的通信负载的最重要的瓶颈之一。在主-工架构下（主节点可以访问整个数据集，只允许主节点和工节点之间的通信），最近已经证明编码可以大大减少通信负载。这项工作考虑了一种不同的通信范式，称为分散的数据洗牌，其中工人被允许通过共享链路相互通信。分散式数据洗牌问题有两个阶段：工人在数据洗牌阶段相互通信，然后工人在存储阶段更新其存储的内容。主要挑战是通过考虑工人存储的不对称性（即，基于问题设置，工作者被限制在他们的存储器中存储不同的文件），以便表征该问题的基本限制。对于未编码存储的情况（即，每个工作者直接存储数据集的比特的子集），本文提出了相反的和可实现的边界（基于分布式干扰对准和分布式干扰覆盖策略），其在彼此的3/2的因子内。对于大存储容量或系统中最多四个工作者，在未编码存储的约束下，所提出的方案也是完全最优的。
2020-01-14 cs.IT math.IT
Novel Constructions for Computation and Communication Trade-offs in Private Coded Distributed Computing
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）；TU Dortmund（多特蒙德工业大学）；Linköping University（林雪平大学）
本文提出了一种新的隐私保护分布式计算模型，通过扩展PDA框架探讨计算与通信的权衡，利用优化策略缓解隐私带来的通信开销。
2026-01-12 cs.IT math.IT
Coded Caching with Distributed Storage
内容分发网络存储分布在多个服务器上的信息，以便在节点或磁盘故障的情况下平衡负载并避免不可恢复的损失。编码缓存已被证明是一种有用的技术，它可以通过在终端用户处预取流行内容并对传输进行编码来降低峰值流量速率，使得不同的用户可以从同一分组中提取不同的信息。一方面，分布式存储限制了将来自不同服务器的内容组合到单个消息中的能力，导致编码缓存方案的性能损失。但是，另一方面，存在于分布式存储系统中的固有冗余可以通过并行来提高这些方案的性能。本文设计了一个方案相结合的分布式存储的内容在多个服务器和一个有效的编码缓存算法交付给用户。该方案被证明是降低峰值传输速率低于国家的最先进的算法。
2016-11-20 cs.IT math.IT
A Unified Coding Framework for Distributed Computing with Straggling Servers
通过对一些线性计算任务在“计算延迟”和“通信负载”之间进行权衡，提出了一种适用于离散服务器的分布式计算的统一编码框架。我们表明，[1]-[3]的编码方案重复中间计算以创建编码多播机会以减少通信负载，[4]，[5]的编码方案生成冗余中间计算以对抗离散服务器可以被视为所提出的框架的特殊实例，通过考虑这种权衡的两个极端：从而分别最小化通信负载或计算等待时间。此外，通过所提出的编码框架实现的延迟-负载折衷允许在该折衷上的任何点处系统地操作以执行分布式计算任务。我们还证明了延迟负载的权衡，这是一个恒定的乘法差距内实现的权衡在两个端点的信息理论下限。
2016-09-06 cs.DC cs.IT math.IT
A New Combinatorial Coded Design for Heterogeneous Distributed Computing
Li等人在2015年提出的编码分布式计算（CDC）提供了一种有效的方法来交易计算能力，以减少MapReduce和Spark等一般分布式计算框架中的通信负载。特别地，将映射阶段中的计算负载增加因子r可以创建编码的多播机会，以将混洗阶段中的通信负载减少相同的因子。然而，CDC方案是为同构设置而设计的，其中计算节点上的存储、计算负载和通信负载是相同的。此外，它需要一个指数级的大量输入文件（数据批次），减少功能和多播组相对于节点的数量，以实现承诺的收益。我们提出了一种新的CDC方法的基础上的组合设计，它适应异构网络的节点具有不同的存储和计算能力，解决了CDC的局限性。此外，所提出的方法需要一个指数级更少的输入文件的数量相比，李等人提出的原始CDC计划。同时，由此产生的计算通信权衡保持乘法增益相比，传统的未编码单播和渐近实现李等人提出的最佳性能。
2020-07-21 cs.DC cs.IT math.IT
Age-Based Coded Computation for Bias Reduction in Distributed Learning
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
编码计算可以用来加速分散工作者的分布式学习。梯度向量的部分恢复可以进一步减少每次迭代的计算时间;然而，这可能导致有偏估计，这可能会减慢收敛速度，甚至导致发散。当离散行为随着时间的推移而相关时，估计偏差将特别普遍，这导致梯度估计器由少数快速服务器主导。为了减轻有偏见的估计，我们设计了一个$timely$动态编码框架的部分恢复，其中包括一个排序算子，随着时间的推移，改变工人的码字和计算顺序。为了调节恢复频率，我们在动态编码方案的设计中采用了$age$度量。我们通过数值结果表明，所提出的动态编码策略增加了恢复计算的及时性，从而减少了模型更新的偏差，并加速了收敛相比，传统的静态部分恢复计划。
2020-06-02 cs.DC cs.IT cs.LG
Coded Computing via Binary Linear Codes: Designs and Performance Limits
我们考虑编码分布式计算的问题，其中一个大的线性计算工作，如矩阵乘法，分为$k$较小的任务，使用$(n,k)$线性代码编码，并在$n$分布式节点上执行。目标是减少计算作业的平均执行时间。我们提供了一个连接之间的问题，表征编码的分布式计算系统的平均执行时间和分析的错误概率的代码长度$n$擦除通道使用的问题。因此，我们提出了使用二进制随机线性代码的执行时间和最佳执行时间的任何线性编码的分布式计算系统可以实现的封闭形式的表达式。它还表明，存在\textit{good}二进制线性码，不仅达到（渐近）的最佳性能，任何线性码（不一定是二进制）可以实现，但也是数值稳定的对不可避免的舍入误差在实践中。然后，我们开发了一个低复杂度的算法解码Reed-Muller（RM）码擦除信道。我们的解码器只涉及加法，减法，{和最多$\log n+1$的尺寸相对较小的矩阵的求逆}，并使编码计算实值数据。广泛的数值分析的基本结果，以及RM和极性编码的计算方案证明了卓越的RM编码的计算，在实现接近最佳的性能，同时具有低复杂度的解码和明确的建设。鉴于信道编码理论中丰富的文献，本文提出的框架能够有效地设计分布式计算系统。
2021-10-05 cs.DC cs.IT math.IT
Random Alloy Codes and the Fundamental Limits of Coded Distributed Tensors
Virginia Tech（弗吉尼亚理工大学）
针对传统编码分布式张量以恢复阈值为优化目标无法直接降低故障概率的问题，本文提出基于解码概率的评估框架，构造了最优的局部随机合金码，并发现了编码分布式张量的不可能性定理。
2024-10-28 cs.DC cs.IT cs.LG
Polar Coded Quantization for Distributed Source Coding
Technical University of Munich（慕尼黑工业大学）；Huawei Technologies Duesseldorf GmbH（华为技术有限公司杜塞尔多夫分公司）；Technion—Israel Institute of Technology（以色列理工学院）
本文提出极化编码量化用于高斯源分布式源编码，通过均方误差失真实现，设计短块长多级5G极化码以实现Wyner-Ziv极化编码量化，显著降低总失真。
2026-04-20 cs.IT math.IT
Coded Computing for Secure Boolean Computations
现代数据集的规模不断增长，需要将大规模计算拆分为较小的计算，并以分布式方式进行操作。分布式系统中的攻击者故意发送错误数据，以影响计算。布尔函数是许多应用的关键组件，例如，区块链系统中的验证功能和加密算法的设计。我们考虑在分布式计算系统中计算布尔函数的问题，特别关注\emph{security against Byzantine workers}。任何布尔函数一般都可以建模为一个高次的多元多项式。然而，安全阈值（即，可以容忍最大数量的对抗工作者，使得可以获得正确的结果），如果多项式的次数高，则由最近提出的拉格朗日编码计算（LCC）提供的计算可能非常低。我们提出了三种不同的方案，称为\emph{coded Algebraic normal form (ANF)}，\emph{coded Disjunctive normal form (DNF)}和\emph{coded polynomial threshold function (PTF)}。所提出的方案的核心思想是将其建模为一些低次多项式和阈值函数的级联。在安全阈值方面，我们表明，建议的编码ANF和编码DNF是最佳的，通过提供一个匹配的外边界。
2021-03-04 cs.DC cs.IT math.IT
A generic framework for coded caching and distributed computation schemes
一些网络通信问题是高度相关的，如编码缓存和分布式计算。集中式编码缓存主要研究在无线网络系统中减少高峰时段的网络负担，而编码分布式计算主要研究分布式系统中计算和通信之间的权衡。在本文中，唯一的彩虹$3$长期算术级数集的研究的动机，我们提出了一个统一的框架，用于构建编码缓存计划。该框架在编码缓存方案和大量的组合对象之间建立了桥梁，由于家庭和操作的选择自由。我们证明了任何基于放置交付阵列（PDA）的方案都可以在该框架下用彩虹方案来表示，并且许多其他已知方案也可以包含在该框架中。此外，我们还提出了一个新的编码缓存方案与线性子分组和近恒定速率使用唯一的彩虹$3$长期算术级数集。接下来，我们修改的框架适用于分布式计算的问题。我们提出了一种新的传输方案在洗牌阶段，并表明，在某些情况下，它可以有一个较低的通信负载比计划的基础上PDA或可解析的设计具有相同数量的文件。
2022-09-10 cs.IT math.CO math.IT
Wireless MapReduce Arrays for Coded Distributed Computing
针对现有编码无线MapReduce分布式计算方案需输入文件数随节点数指数增长的问题，提出基于无线MapReduce阵列的方案，在文件数与节点数同量级时实现同等最优性能。
2024-06-22 cs.DC cs.IT math.IT
Coded FFT and Its Communication Overhead
我们提出了一种编码计算策略，并检查编码计算算法的通信成本，使分布式快速傅立叶变换（FFT）在计算过程中的错误有弹性。本文将最大距离可分码（MDS）应用于一种广泛使用的并行FFT转置算法。在未编码的分布式FFT算法中，最昂贵的步骤是单个“全对全”通信。我们比较这与通信开销的编码在我们的编码FFT算法。我们表明，通过使用一个系统的MDS码，编码的通信开销是可以忽略不计的通信成本相比，在一个未编码的FFT实现，如果奇偶校验节点的数量是最多$o(\log K)$，其中$K$是系统节点的数量。
2018-05-24 cs.DC cs.IT math.IT
Coded Computing for Resilient Distributed Computing: A Learning-Theoretic Framework
University of Minnesota（明尼苏达大学）；MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
本文提出一种结合学习理论的编码计算框架，通过优化编码解码函数减少均方误差，提升机器学习任务的鲁棒性和收敛速度。
2026-03-24 cs.DC cs.IT cs.LG
Manifold-Aware General Coded Computing for Straggler-Resilient Distributed Computing
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文针对现有编码计算未利用数据内在结构的问题，提出流形感知通用编码策略，在神经网络推理和高维多项式评估实验中，该策略可显著降低抗掉队节点场景下的均方恢复误差。
2026-09-02 cs.IT cs.LG math.IT
How to Optimally Allocate Resources for Coded Distributed Computing?
今天的数据中心拥有丰富的计算资源，托管由多达数万或数十万台机器组成的服务器集群。为了在数据中心上执行复杂的计算任务，很自然地将计算分布在许多节点上以利用并行处理。然而，随着我们分配越来越多的计算资源到一个计算任务，并进一步分布计算，大量的（部分）计算数据必须在节点之间的计算任务的连续阶段之间移动，因此通信负载可能成为瓶颈。本文研究了分布式计算中计算资源的优化分配问题，目标是使分布式计算中计算和通信两个阶段的总执行时间最小。特别是，我们认为一个通用的MapReduce型分布式计算框架，其中的计算被分解成三个阶段：\emph{Map}，\emph{Shuffle}，和\emph{Reduce}。我们专注于最近提出的\emph{Coded Distributed Computing}方法MapReduce和研究在这个框架中的计算资源的最优分配。对于所有的问题参数值，我们的特点，应用于分布式处理的服务器的最佳数量，提供的地图和减少任务的最佳位置，并提出了一个最佳的编码数据洗牌计划，以尽量减少总的执行时间。为了证明所提出的方案的最优性，我们首先推导出一个匹配的信息论逆的执行时间，然后我们证明，在所有可能的资源分配计划，实现最小的执行时间，我们所提出的方案使用的服务器的数量正好是最少的。
2017-02-23 cs.DC cs.IT math.IT
Coded Distributed Diversity: A Novel Distributed Reception Technique for Wireless Communication Systems
在本文中，我们考虑一个分布式接收的情况下，一个发射机广播信号到多个地理上分离的接收节点在衰落信道，每个节点转发几个比特表示处理版本的接收信号的融合中心。然后，融合中心尝试基于来自接收节点的转发信息和可能的信道状态信息来解码所发送的信号。我们发现，有一个很强的连接之间的问题，最小化的符号错误概率在融合中心的分布式接收和信道编码的编码理论。这种连接使我们能够设计一个统一的框架编码分布式分集接收。我们专注于线性分组码，如单纯形码或一阶Reed-Muller码，实现Griesmer界与平等，以最大限度地提高分集增益。由于其结构简单，不需要复杂的离线优化过程来设计所提出的编码分集技术在接收节点处的编码结构。所提出的技术可以支持广泛的分布式接收场景，即，发射机处的任意$M$元符号传输以及接收节点处的多比特接收信号处理。数值研究表明，所提出的编码分集技术可以实现实用的符号出错率，即使在中等的信噪比和接收节点的数量。
2014-03-29 cs.IT math.IT
Lagrange Coded Computing: Optimal Design for Resiliency, Security and Privacy
University of Southern California（南加利福尼亚大学）；California Institute of Technology（加利福尼亚理工学院）
我们考虑一个场景，涉及计算分布存储在多个工人，这是分布式学习算法的核心的大规模数据集。我们提出了拉格朗日编码计算（LCC），这是一个新的框架，同时提供（1）对可能延长计算的落伍者的弹性;（2）对拜占庭（或恶意）工作人员故意修改计算以获得其利益的安全性;（3）（信息理论）在可能的工人勾结中数据集的隐私。LCC利用众所周知的拉格朗日多项式以新颖的编码形式跨工作者创建计算冗余，可以应用于其中感兴趣的函数是输入数据集的任意多元多项式的任何计算场景，因此覆盖了机器学习中感兴趣的许多计算。LCC显着推广以前的作品超越线性计算。它还可以在分布式环境中实现安全和私有计算，提高最先进的计算和通信效率。此外，我们通过证明LCC实现了弹性，安全性和隐私之间的最佳权衡来证明LCC的最优性，即，在容忍最大数量的掉队者和对手方面，以及针对最大数量的串通工人提供数据隐私方面。最后，我们通过在Amazon EC2上的实验表明，LCC将分布式最小二乘线性回归的传统未编码实现加速到$13.43\times$，并且还实现了$2.36\times$ - $12.65\times$加速，超过了最先进的落后者缓解策略。
2019-04-01 cs.DC cs.IT cs.LG
Coded Alternating Least Squares for Straggler Mitigation in Distributed Recommendations
矩阵分解是一种重要的表示学习算法，例如，推荐系统，其中大矩阵可以被分解为称为潜在表示的两个低维矩阵的乘积。本文研究了具有落后节点的分布式计算系统中的矩阵分解问题。一种计算程序，称为编码的替代最小二乘（ALS），提出了在这样的系统中，以减轻掉队的影响。编码ALS算法通过求解各种线性方程组来迭代计算两个低维潜在矩阵，其中纠缠多项式码（EPC）作为构建块。我们从理论上描述了算法可以容忍的最大掉队数（或恢复阈值）与编码冗余度（或码率）的关系。此外，我们从理论上证明了编码ALS算法的计算复杂度，并进行数值实验来验证我们的设计。
2021-05-08 cs.IT math.IT
MDS-Coded Distributed Storage for Low Delay Wireless Content Delivery
我们解决了使用最大距离可分离（MDS）码的分布式存储（DS），使高效的内容在无线网络中的交付。内容被存储在多个移动设备中，并且可以使用设备到设备通信从移动设备检索，或者可替换地，从基站（BS）检索。在网络可靠性状态周期性恢复的假设下，我们推导出了下载延迟的解析表达式。我们的分析表明，MDS编码的DS可以显着减少下载时间的参考方案，内容总是从BS下载。
2016-08-29 cs.IT math.IT
Latency Analysis of Coded Computation Schemes over Wireless Networks
大规模分布式计算系统面临着两个主要的瓶颈，限制其可扩展性：离散延迟所造成的计算时间在不同的工作节点和通信瓶颈所造成的数据在网络中的许多节点洗牌。最近，它已被证明，代码可以提供克服这些瓶颈的显着收益。特别是，最佳的编码方案，以最大限度地减少线性函数的分布式计算的延迟和减轻的影响，提出了一个有线网络，其中的工人可以同时发送消息到一个主节点没有干扰。在本文中，我们专注于编码计算的问题，在一个无线的主-工人设置与离散的工人，只有一个工人可以传输其本地计算的结果回到主的时间。我们考虑3个渐近制度（由通信和计算时间如何与工人的数量缩放确定），并精确地描述了分布式算法的总运行时间和最佳编码策略在每个政权。特别是，对于制度的实际利益的分布式计算算法的计算和通信时间是可比的，我们表明，总的运行时间接近一个简单的下限，计算和通信，并证明编码方案比未编码的计划快$Θ(\log(n))$倍。
2017-06-30 cs.IT math.IT
Privacy-aware Berrut Approximated Coded Computing applied to general distributed learning
Galician Research and Development Center in Advanced Telecommunications (GRADIANT)（加利西亚先进电信研究与发展中心（GRADIANT））；atlanTTic, Information & Computing Lab, Telecommunication Engineering School, Universidade de Vigo（atlanTTic信息与计算实验室，电信工程学院，维戈大学）
本文提出适配多种联邦学习范式的 PBACC 隐私保护近似编码计算算法，在多类模型上以极小精度损失实现每名参与者低于一比特的严格隐私泄露界。
2025-05-10 cs.CR cs.DC cs.IT
Taming Tail Latency for Erasure-coded, Distributed Storage Systems
分布式存储系统在响应时间上易受长尾效应的影响。在Bing、Facebook和Amazon等现代在线存储系统中，服务延迟的长尾特别值得关注。其中第99.9百分位响应时间是比平均值差的数量级。由于纠删码作为一种流行的技术出现，以实现分布式存储中的高数据可靠性，同时获得空间效率，驯服尾部延迟仍然是一个开放的问题，由于缺乏数学模型来分析这样的系统。为此，我们提出了一个框架，用于量化和优化尾部延迟擦除编码存储系统。特别是，我们推导出上界尾延迟在封闭的形式为任意服务时间分布和异构文件。基于该模型，我们制定了一个优化问题，以共同最大限度地减少加权延迟尾概率的所有文件在服务器上的文件的位置，并选择服务器访问所请求的文件。使用高效的交替优化算法来解决非凸问题。数值结果表明，擦除编码的存储系统与现实的工作负载的尾部延迟显着减少。
2017-03-24 cs.DC cs.IT cs.NI
Algebraic Geometric Rook Codes for Coded Distributed Computing
针对有限域上工作节点数受域大小限制的问题，本文提出代数几何Rook码，支持一般矩阵乘法的分布式容错计算，并给出与亏格相关的恢复阈值界。
2024-10-28 cs.DC cs.DM cs.IT
Cascaded Coded Distributed Computing Schemes Based on Placement Delivery Arrays
Li { \it et al}.在MapReduce等通用分布式计算框架中，引入了编码的分布式计算（CDC）方案来降低通信负载。他们还提出了级联CDC方案，其中每个输出函数被多次计算，并证明了这种方案实现了计算负载和通信负载之间的基本权衡。然而，当计算节点的数量变大时，这些方案需要指数数量的输入文件和输出函数。本文利用布局传递阵列（PDAs）的结构，构造了无限多类级联CDC方案。我们还证明了在所有新方案中输出函数的数目只是计算节点数目的一个因子，并且在我们的新方案中输入文件的数目远小于Li { \it et al}导出的CDC方案中的输入文件的数目.
2021-11-24 cs.IT math.IT
Distributed Raptor Coding for Erasure Channels: Partially and Fully Coded Cooperation
针对一般的多用户协作无线系统，提出了一种新的无码率编码协作方案。我们开发的合作方法的基础上猛禽码的假设，信道面临的擦除特定的擦除概率和发射机没有信道状态信息。提出了一种全编码协作（FCC）和部分编码协作（PCC）策略，以最大化系统的平均吞吐量。PCC和FCC计划已通过与或树分析和线性规划优化问题，然后制定找到最佳度分布为每个方案。仿真结果表明，优化的度分布可以带来相当大的吞吐量增益相比，现有的度分布是专为点对点的二进制擦除信道。它还表明，PCC计划优于FCC计划的平均系统吞吐量。
2013-07-21 cs.IT math.IT
Stream Iterative Distributed Coded Computing for Learning Applications in Heterogeneous Systems
为了提高学习应用的效用并使机器学习解决方案对于复杂应用可行，需要大量的繁重计算。因此，它是必不可少的委托计算之间的几个工人，这带来了重大的挑战，应付延迟和故障所造成的系统的异质性和不确定性。特别是，最小化从到达到交付的端到端作业顺序执行延迟，对于现实世界的延迟敏感的应用程序是非常重要的。在本文中，对于计算的每个工作迭代在一个随机异构的分布式系统中的工人在他们的计算和通信能力不同，我们提出了一种新的联合调度编码框架，最佳地分裂工人之间的编码计算负荷。这缩短了工作进程的响应时间之间的差距，并且对于最大化资源利用率至关重要。为了进一步减少有序执行延迟，我们还将冗余计算在分布式计算作业的每次迭代中。我们的仿真结果表明，使用所提出的解决方案获得的延迟是显着低于均匀分裂，这是无视系统的异质性，事实上，是非常接近一个理想的下限只是通过引入一小部分的冗余计算。
2022-04-27 cs.DC cs.IT math.IT
