Edge Computing in the Dark: Leveraging Contextual-Combinatorial Bandit and Coded Computing
随着边缘计算能力的最新发展，利用边缘云进行事件驱动和时间敏感计算的情况显著增加。然而，大规模边缘计算网络可能会受到不可预测和不可靠的计算资源的严重影响，这可能导致服务质量的高度可变性。因此，设计有效的任务调度策略以保证服务质量和计算查询的及时性是至关重要的。在本文中，我们研究了在未知的边缘云网络上的计算卸载的问题与一系列及时的计算作业。受MapReduce计算范式的启发，我们假设每个计算作业都可以划分为在边缘处理的较小Map函数，并且在从边缘节点收集Map结果之后在用户处计算Reduce函数。我们将每个边缘设备的服务质量（在截止日期内将结果返回给用户的成功概率）建模为上下文（影响边缘设备的因素的集合）的函数。用户决定要卸载到每个设备的计算，目标是在给定的最后期限内接收一组可恢复的计算结果。我们的目标是在黑暗中设计一个高效的边缘计算策略，而不需要了解每个设备的上下文或计算能力。通过利用\emph{coded computing}框架，以解决计算中的故障或掉队者，我们制定了这个问题，使用上下文组合多武装土匪（CC-MAB），并旨在最大化的累积预期奖励。我们提出了一个在线学习策略称为\emph{online coded edge computing policy}，可证明达到渐进最优性能的遗憾损失相比，建议CC-MAB问题的最佳离线政策。
2021-03-04 cs.DC
On Heterogeneous Coded Distributed Computing
我们考虑最近提出的编码分布式计算（CDC）的框架，利用精心设计的冗余计算，使编码的机会，大大减少了通信负载的分布式计算。我们将此框架推广到异构系统，其中计算集群中的不同节点可以具有不同的存储（或处理）能力。我们提供了信息理论上的最佳数据集的位置和编码数据洗牌计划，最大限度地减少了3个节点的集群中的通信负载。对于具有$K>3$节点的集群，我们提供了一个算法描述，以将我们的编码思想推广到更大的网络。
2017-09-01 cs.DC cs.IT math.IT
Secure Coded Cooperative Computation at the Heterogeneous Edge against Byzantine Attacks
边缘计算正在成为一种新的范例，允许在网络边缘处理数据，其中通常通过在边缘共同利用多个设备来生成和收集数据。然而，将任务卸载到其他设备会使边缘计算应用程序完全受到攻击者的摆布。其中一种攻击，也是这项工作的重点，是拜占庭攻击，其中一个或多个设备可以破坏卸载的任务。此外，利用边缘计算的潜力是具有挑战性的，主要是由于边缘设备的异构性和时变性。在本文中，我们开发了一个安全的编码合作计算机制（SC 3），提供了安全性和计算效率的保证，优雅地结合同态哈希函数和编码合作计算。在边缘资源异构和时变的情况下，采用同态哈希函数来抵抗拜占庭攻击，并采用编码协作计算来提高计算效率。仿真结果表明，SC3算法显著改善了任务完成延迟。
2019-08-15 cs.DC
Coded Distributed Image Classification
本文提出一种结合深度学习与拉格朗日插值的编码计算方案，用于图像分类分布式推理，通过任意 R 个工作者输出恢复近似结果，并支持可调恢复阈值与灵活系统设计，实验表明其优于现有方案。
2023-07-10 cs.DC
Generalized Adaptive Network Coded Cooperation (GANCC): A Unified Framework for Network Coding and Channel Coding
本文研究了多源单汇数据汇集无线网络中的分布式编码。提出了一种统一的网络编码和信道编码框架，称为“广义自适应网络编码协作”（GANCC）。GANCC的关键组成部分包括：代码图与动态网络图的动态匹配，以及通过循环低密度奇偶校验码将信道编码与网络编码相结合。提出了几种码的构造方法和几类稀疏图码，并进行了信息论分析。结果表明，GANCC是操作简单，实时的自适应，分布的性质，并能够提供显着的编码增益，即使与合作用户的数量非常有限。
2010-02-18 cs.DC
Creating Robust Deep Neural Networks With Coded Distributed Computing for IoT Systems
对无服务器计算和无处不在的无线网络的兴趣日益增加，导致我们周围的许多连接设备。在这些设备中，物联网设备可以访问大量的原始数据，但它们在计算方面的资源不足限制了它们的能力。具体而言，随着深度神经网络（DNN）的出现，不仅对物联网设备计算能力的需求不断增加，而且隐私问题也将计算推向边缘。为了克服资源不足的问题，一些研究提出了在物联网设备之间分配工作。这些有前途的方法收获了环境中空闲物联网设备的聚合计算能力。然而，由于这种分布式系统强烈依赖于每个设备、不稳定的延迟和间歇性故障，物联网设备和无线网络的共同特征导致高恢复开销。为了减少这种开销，我们提出了一种新的鲁棒性方法，其恢复延迟接近于零。我们的解决方案永远不会丢失请求或花费时间从故障中恢复。为此，首先，我们分析了受分布影响的底层矩阵-矩阵计算。然后，我们介绍了一种新的编码的分布式计算（CDC）的方法，具有恒定的成本与设备的数量增加，不同于模块冗余的线性成本。此外，我们的方法适用于库级别，不需要对程序进行大量更改，同时仍然确保在分发过程中平衡的工作分配。为了说明我们的方法，我们进行实验，分布式系统，包括多达12乌藨子PI。
2021-04-09 cs.DC
Coded Distributed Computing: Performance Limits and Code Designs
我们考虑编码的分布式计算的问题，其中一个大的线性计算工作，如矩阵乘法，分为$k$较小的任务，使用$(n,k)$线性代码编码，并在$n$分布式节点上执行。目标是减少计算作业的平均执行时间。我们提供了一个连接之间的问题，表征编码的分布式计算系统的平均执行时间和分析的错误概率的代码长度$n$擦除通道使用的问题。因此，我们提出了使用二进制随机线性代码的执行时间和最佳执行时间的任何线性编码的分布式计算系统可以实现的封闭形式的表达式。它还表明，存在良好的二进制线性码，达到，渐近，最佳性能的任何线性码，不一定是二进制，可以实现。我们还研究了编码的分布式计算系统的性能，使用极性和Reed-Muller（RM）码，可以受益于低复杂度解码，和优越的性能，分别，以及明确的建设。在本文中提出的框架可以使有效的设计分布式计算系统的丰富的文献中的信道编码理论。
2019-06-24 cs.DC cs.IT math.IT
Coded Task Offloading for Fluid Computing: A Privacy-Aware Approach under D2D Networks
atlanTTic – ICLAB, Universidade de Vigo（阿特兰蒂克研究中心-互联网计算实验室，维戈大学）；Escuela de Ingeniería de Telecomunicación（电信工程学院）
针对 D2D 网络随机任务到达和队列动态，提出结合任务卸载与线性秘密共享的编码任务卸载方案，通过分支定界求解器和启发式调度器解决隐私感知卸载问题，改善延迟 - 能量权衡，揭示延迟 - 能量 - 隐私权衡。
2026-07-10 cs.DC
Erasure-Coded Byzantine Storage with Separate Metadata
虽然已经引入了许多分布式存储协议，但在可用性、一致性、容错性、存储复杂性和所支持的并发级别方面结合最强属性的解决方案一直难以实现。结合这些特性是困难的，特别是如果所得到的解决方案需要是有效的，并招致低成本。我们提出了AWE，这是多写器多读器读/写存储对象的第一个擦除编码分布式实现，同时：（1）异步，（2）无等待，（3）原子，（4）健忘，（即，其中数据节点存储有界数目的值）和（5）使用最优数目的节点的拜占庭容错（BFT）。此外，AWE是高效的，因为它不使用公钥密码学，并且需要仅支持读和写的数据节点，从而进一步降低了分布式存储解决方案的部署和所有权成本。值得注意的是，AWE将元数据与$k$-外-$n$擦除编码片段分开存储。这使得AWE成为第一个BFT协议，它使用尽可能少的$2t+k$数据节点来容忍任何$k \ge 1$的$t$拜占庭节点。
2014-02-20 cs.DC
General Coded Computing in a Probabilistic Straggler Regime
University of Minnesota, Twin Cities（明尼苏达大学，双城分校）
本文研究了在服务器独立成为straggler的概率情况下，通用编码计算的近似误差收敛性，分析了BACC和LeTCC两种方案的误差收敛速率。
2026-03-24 cs.DC cs.LG
Timely-Throughput Optimal Coded Computing over Cloud Networks
在现代分布式计算系统中，不可预测和不可靠的基础设施导致计算资源的高度可变性。与此同时，对有时限限制的及时和事件驱动的服务的需求大大增加。受Amazon EC2集群测量的启发，我们考虑了云网络中计算速度变化的两状态马尔可夫模型。在这个模型中，每个工人可以在一个良好的状态或一个坏的状态在计算速度方面，和这些状态之间的转换被建模为一个马尔可夫链，这是未知的调度器。然后，我们考虑编码计算框架，其中数据可能被编码并存储在工作节点处，以便提供对可能处于不良状态的节点的鲁棒性。我们的目标是设计最优的计算负载分配方案和最优的数据编码方案，使系统的实时计算吞吐量（即在截止日期之前完成的计算任务的平均数量）最大化。我们的主要成果是开发一个动态的计算策略，称为拉格朗日估计和分配（LEA）的战略，它实现了最佳的及时的计算吞吐量。仿真结果表明，与静态分配策略相比，LEA在各种场景下的实时计算吞吐量提高了1.4 - 17.5倍，在Amazon EC2集群上的实验结果表明，LEA的实时计算吞吐量提高了1.27 - 6.5倍
2019-04-11 cs.DC
Hierarchical coded elastic computing
弹性是由云服务提供商提供的，以利用未充分利用的计算资源。低成本的弹性节点可以在计算周期中的任何时间离开和加入。弹性事件发生的可能性与慢节点的问题一起，称为离散，增加了系统的不确定性，导致计算延迟。最近的研究结果表明，编码计算可以用来减少弹性和离散的负面影响。在本文中，我们提出了两个分层编码的弹性计算方案，可以进一步加快系统利用离散和有效地分配可用节点之间的任务。在我们的模拟中，我们的计划实现了45%的平均完成时间相比，最先进的编码弹性计算方案的改善。
2022-06-23 cs.DC cs.IT math.IT
CoCoI: Distributed Coded Inference System for Straggler Mitigation
针对分布式CNN推理中的掉队节点与设备故障问题，提出考虑数据依赖的编码推理系统CoCoI，通过最优拆分平衡冗余与负载，实验显示其在故障场景下最多可降低34.2%的推理延迟。
2025-01-12 cs.DC
Efficient Data Availability Sampling via Coded Distributed Arrays
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
针对区块链数据可用性瓶颈，提出基于编码分布式数组的CDA方案，利用网络编码提升鲁棒性和效率，相比以太坊最新DAS方案RDA性能提升数倍。
2026-06-16 cs.DC
Approximate Distributed Coded Computing: Polynomial Codes and Randomized Sketching
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文探讨了分布式编码计算与随机化数值线性代数的结合，提出了一种在慢速或非响应服务器环境下加速优化和机器学习算法的方案。
2026-05-16 cs.DC cs.IR eess.SP
Distributed Gradient Descent with Coded Partial Gradient Computations
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
编码计算技术在分布式计算中提供了对离散服务器的鲁棒性，但具有以下限制：首先，它们增加了解码复杂度。其次，它们忽略了由分散的服务器执行的计算;并且它们通常被设计为恢复完整的梯度，因此不能在梯度的准确性和每次迭代完成时间之间提供平衡。在这里，我们介绍了一种混合的方法，称为编码的部分梯度计算（CPGC），从编码和未编码的计算方案的优点，并减少了计算时间和解码的复杂性。
2018-11-22 cs.DC cs.IT cs.LG
Barycentric Coded Distributed Computing with Flexible Recovery Threshold for Collaborative Mobile Edge Computing
本文提出基于重心有理插值的近似编码分布式计算方案，解决现有方案恢复阈值固定和编码极点问题，实现任意结果解码、数值稳定及无极点编解码，并集成BRI梯度编码算法加速训练，实验证明其在等待时间和精度上优于现有方案。
2025-09-11 cs.DC
Flexible Coded Distributed Convolution Computing for Enhanced Straggler Resilience and Numerical Stability in Distributed CNNs
College of Computer Science, Chongqing University（重庆大学计算机学院）；School of Electrical Engineering, Korea University（韩国大学电气工程学院）；School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；City University of Hong Kong（香港城市大学）
本文提出FCDCC框架，通过CRME扩展和两种编码分区策略实现张量卷积的线性分解与编码冗余，增强分布式CNN的掉队者韧性和数值稳定性，并验证了其高效性与可扩展性。
2025-09-07 cs.AI cs.CV cs.DC
List-Decodable Coded Computing: Breaking the Adversarial Toleration Barrier
University of Michigan（密歇根大学）；University of Southern California（南加州大学）
我们考虑编码计算的问题，其中计算任务在对抗性工人存在的情况下以分布式方式执行。我们提出了一些技术来打破以前在编码计算中已知的对抗性容忍阈值障碍。更具体地说，我们利用列表解码技术折叠里德-所罗门码，并提出了新的算法来恢复正确的码字使用边信息。在编码计算设置中，我们展示了主节点如何执行某些精心设计的额外计算以获得边信息。与每个工作人员完成的计算相比，计算这些辅助信息的工作量可以忽略不计。然后利用该边信息来修剪列表解码器的输出，并唯一地恢复真实结果。我们进一步提出了折叠拉格朗日编码计算（FLCC），将开发的技术到一个特定的编码计算设置。我们的研究结果表明，FLCC优于LCC，打破了可以容忍的对手数量的障碍。特别地，FLCC中的相应阈值与LCC相比渐进地提高了两倍。
2021-08-19 cs.DC cs.IT cs.LG
General Coded Computing: Adversarial Settings
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文为通用编码计算奠定基础，扩展其适用性至广泛计算类别并解决对抗性服务器问题，证明方案在N台服务器含O(Nᵃ)对抗服务器时误差上确界以N^(6/5(a-1))衰减，实现最优对抗鲁棒性，且在深度神经网络推理等任务中验证有效。
2025-02-12 cs.DC cs.LG
Communication-Efficient Network-Distributed Optimization with Differential-Coded Compressors
近年来，网络分布式优化因其应用日益广泛而受到广泛关注。然而，经典的分散式梯度下降（DGD）算法对于大规模和高维网络分布优化问题是通信效率低下的。为了解决这一挑战，已经提出了许多基于压缩DGD的算法。然而，大多数现有的工作有很高的复杂性，并假设压缩机与有限的噪声功率。为了克服这些限制，在本文中，我们提出了一种新的差分编码压缩DGD（DC-DGD）算法。DC-DGD的关键特征包括：i）DC-DGD与一般SNR约束的压缩器一起工作，放松了有界噪声功率假设; ii）差分编码设计需要与原始DGD算法相同的收敛速率;以及iii）由于{ \em自降噪效应}，DC-DGD具有与原始DGD相同的低复杂度结构。此外，上述功能启发我们开发一种混合压缩方案，提供一个系统的机制，以尽量减少通信成本。最后，我们进行了广泛的实验，以验证所提出的DC-DGD和混合压缩机的功效。
2019-12-06 cs.DC math.OC
Hierarchical Coded Matrix Multiplication
在分布式计算系统中，工作速度慢的节点（称为落后节点）会极大地延长完成时间。编码计算是一种能够实现抗离散计算的技术。迄今为止，大多数编码计算技术通过确保完成时间仅取决于一组最快的节点来提供鲁棒性。然而，虽然落后者确实比非落后者计算更少的工作，但是在现实世界的商业云计算系统（例如，亚马逊的弹性计算云（EC2））的区别往往是软的。在本文中，我们开发了分层编码计算，利用所有节点完成的工作，快速和缓慢，自动集成每个潜在的贡献。首先，我们提出了一个概念框架来表示编码矩阵乘法作为一个长方体分区问题的节点之间的分工。这个框架使我们能够统一现有的方法和激励新的技术。然后，我们开发了三种分层编码计算的方法，我们称之为比特交织编码计算（BICC），多级编码计算（MLCC），和混合分层编码计算（HHCC）。在这个范例中，每个工作者的任务是完成有序子任务的序列（层次结构）。子任务的顺序和每个子任务的复杂性都被设计成可以使用而不是忽略落后者完成的部分工作。我们注意到，我们的方法可以与任何编码的计算方法结合使用。我们通过展示如何使用我们的方法来加速所有以前开发的编码计算技术来说明这一点，使他们能够利用落伍者。在一个广泛研究的统计模型的完成时间，我们的方法实现了$66\%$的预期完成时间的改善。在Amazon EC2上，模拟离散者时，增益为$27\%$。
2021-01-30 cs.DC cs.IT math.IT
Coded Computing for Secure Boolean Computations
现代数据集的规模不断增长，需要将大规模计算拆分为较小的计算，并以分布式方式进行操作。分布式系统中的攻击者故意发送错误数据，以影响计算。布尔函数是许多应用的关键组件，例如，区块链系统中的验证功能和加密算法的设计。我们考虑在分布式计算系统中计算布尔函数的问题，特别关注\emph{security against Byzantine workers}。任何布尔函数一般都可以建模为一个高次的多元多项式。然而，安全阈值（即，可以容忍最大数量的对抗工作者，使得可以获得正确的结果），如果多项式的次数高，则由最近提出的拉格朗日编码计算（LCC）提供的计算可能非常低。我们提出了三种不同的方案，称为\emph{coded Algebraic normal form (ANF)}，\emph{coded Disjunctive normal form (DNF)}和\emph{coded polynomial threshold function (PTF)}。所提出的方案的核心思想是将其建模为一些低次多项式和阈值函数的级联。在安全阈值方面，我们表明，建议的编码ANF和编码DNF是最佳的，通过提供一个匹配的外边界。
2021-03-04 cs.DC cs.IT math.IT
Uncoded Download in Lagrange-Coded Elastic Computing with Straggler Tolerance
针对弹性计算中存储规模和上传开销大的问题，提出基于未编码下载的 Lagrange 编码弹性计算方案（LCSUD），在容忍滞后节点的同时有效降低了存储规模、编码复杂度和上传开销。
2025-01-31 cs.DC cs.IT math.IT
Compressed Coded Distributed Computing
通信开销是大规模分布式计算系统中的主要性能瓶颈之一，特别是对于机器学习应用。传统上，压缩技术用于通过尽可能多地组合相同计算任务的中间结果来减少通信的负荷。最近，通过编码的分布式计算（CDC）的发展，已经表明，可以实现跨不同计算任务的中间结果的编码机会，以进一步减少通信负载。我们提出了一个新的方案，命名为压缩编码分布式计算（简称压缩CDC），它联合利用上述两种技术（即，组合相同计算的中间结果并对不同计算的中间结果进行编码）以显著地减少在机器学习中普遍存在的具有最终阶段中的中间结果的线性聚集（约简）的计算的通信负载（例如，分布式训练算法，其中部分梯度被分布式地计算，然后在最后阶段被平均）。具体地，压缩CDC首先压缩/组合用于单个计算的若干中间结果，然后利用多个这样的组合分组来创建同时对多个计算有用的编码多播分组。我们的特点，可实现的压缩CDC的通信负载，并表明，它大大优于合并方法和CDC计划。
2018-05-05 cs.DC cs.IT math.IT
Coded Distributed Computing with Partial Recovery
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
编码计算技术提供了对分布式计算中分散的工作者的鲁棒性。然而，大多数现有的计划需要精确的离散行为的规定，并忽略离散工人进行的计算。此外，这些方案通常被设计为准确地恢复期望的计算结果，而在许多机器学习和迭代优化算法中，已知更快的近似解导致总体收敛时间的改善。在本文中，我们首先介绍了一种新的编码矩阵向量乘法方案，称为编码计算与部分恢复（CCPR），它受益于编码和未编码的计算方案的优点，并通过允许的准确性和计算速度之间的权衡，降低了计算时间和解码的复杂度。然后，我们提出了一个编码的通信方案与部分恢复，其中的工作人员计算的子任务的结果被编码之前进行通信，将这种方法扩展到更一般的计算任务的分布式实现。一个大型线性回归任务的数值模拟证实了所提出的分布式计算方案与部分恢复的计算精度和延迟之间的权衡方面的好处。
2021-12-06 cs.DC cs.IT cs.LG
Slack Squeeze Coded Computing for Adaptive Straggler Mitigation
在当今基于云的平台中执行分布式计算时，计算节点之间的执行速度差异会显着降低性能并产生瓶颈，如掉队者。编码计算技术利用编码理论来注入计算冗余并减轻分布式计算中的掉队者。在本文中，我们提出了一个动态的工作负载分配策略的编码计算称为松弛挤压编码计算（$S^2C^2$）。$S^2C^2$挤压计算松弛（即，开销），其通过根据所有快节点和慢节点的速度有效地为它们分配工作并且不需要重新分发数据来构建到编码的计算框架中。我们实现了一个基于LSTM的速度预测算法来预测计算节点的速度。我们评估$S^2C^2$的线性代数算法，梯度下降，图排名，图过滤算法。我们证明了19%至39%的总计算延迟减少使用$S^2C^2$相比，作业复制和编码计算。我们进一步展示了如何$S^2C^2$可以应用到矩阵向量乘法之外。
2019-08-31 cs.DC cs.IT math.IT
Coded Distributed Computing with Pre-set Assignments of Data and Output Functions
针对数据与输出函数预设的分布式计算系统，提出OSCT和FSCT两种编码传输方案，通过分簇多轮编码最大化多播增益，并给出最优性充分条件，降低通信负载。
2025-01-08 cs.DC cs.IT math.IT
A New Combinatorial Design of Coded Distributed Computing
Li等人在2015年提出的编码分布式计算是一种在MapReduce等一般分布式计算框架中交易计算能力以减少通信负载的有效方法。特别地，Li等人示出了将映射阶段中的计算负载增加$r$的因子可以创建编码的多播机会，以将缩减阶段中的通信负载减少相同的因子。然而，在实践中有两大局限性。首先，当计算节点的数量变大时，它需要指数级数量的输入文件（数据批）。其次，它迫使每个$s$计算节点计算一个Map函数，这导致需要大量的Map函数来实现所承诺的增益。在本文中，我们试图克服这两个限制，提出了一种新的编码分布式计算方法的基础上组合设计。我们证明，当计算节点的数量变得很大时，1）所提出的方法需要的输入文件的数量呈指数级减少; 2）所需的Map函数的数量也呈指数级减少。同时，所得到的计算-通信权衡保持乘法增益相比，传统的未编码的单播，并实现了信息理论的下界不对称的一些系统参数。
2018-02-12 cs.DC cs.IT math.IT
Fundamental Limits of Coded Linear Transform
在大规模分布式线性变换问题中，编码计算在有效处理“掉队者”（由于少数处理器速度慢或故障而可能延迟的分布式计算）方面起着重要作用。我们提出了一种编码的计算策略，称为对角码，实现了最佳的恢复阈值和最佳的计算负载。这是第一个在编码的分布式线性变换中同时实现双重最优性的代码。此外，利用随机建议图理论的思想，我们设计了两个随机码，可以保证最佳的恢复阈值与高概率，但计算量少得多。这些代码提供了有序的改进，在国家的最先进的。此外，实验结果表明显着的改善相比，未编码和现有的编码方案。
2018-04-25 cs.DC cs.IT math.IT
Coded Computing via Binary Linear Codes: Designs and Performance Limits
我们考虑编码分布式计算的问题，其中一个大的线性计算工作，如矩阵乘法，分为$k$较小的任务，使用$(n,k)$线性代码编码，并在$n$分布式节点上执行。目标是减少计算作业的平均执行时间。我们提供了一个连接之间的问题，表征编码的分布式计算系统的平均执行时间和分析的错误概率的代码长度$n$擦除通道使用的问题。因此，我们提出了使用二进制随机线性代码的执行时间和最佳执行时间的任何线性编码的分布式计算系统可以实现的封闭形式的表达式。它还表明，存在\textit{good}二进制线性码，不仅达到（渐近）的最佳性能，任何线性码（不一定是二进制）可以实现，但也是数值稳定的对不可避免的舍入误差在实践中。然后，我们开发了一个低复杂度的算法解码Reed-Muller（RM）码擦除信道。我们的解码器只涉及加法，减法，{和最多$\log n+1$的尺寸相对较小的矩阵的求逆}，并使编码计算实值数据。广泛的数值分析的基本结果，以及RM和极性编码的计算方案证明了卓越的RM编码的计算，在实现接近最佳的性能，同时具有低复杂度的解码和明确的建设。鉴于信道编码理论中丰富的文献，本文提出的框架能够有效地设计分布式计算系统。
2021-10-05 cs.DC cs.IT math.IT
Coded Data Rebalancing for Decentralized Distributed Databases
基于复制的分布式数据库的性能受到影响，这是由于跨存储节点的非均匀存储（也称为\textit{data skew}）以及操作期间复制因子的降低，特别是由于节点添加或移除。数据重新平衡是指在保持复制因子的同时，在纠正此数据倾斜时涉及的节点之间的通信。对于精心设计的分布式数据库，最近已经表明，在重新平衡阶段期间发送编码符号可以减少重新平衡的通信负载。在这项工作中，我们看看平衡的分布式数据库与\textit{random placement}，其中每个数据段存储在一个随机子集的$r$节点的系统中，其中$r$是指复制因子的分布式数据库。我们称之为分散式数据库。对于一个自然类的这种分散的数据库，我们提出了重新平衡方案，纠正数据倾斜和减少由于单个节点的添加或删除所产生的复制因子。我们给出相反的参数，这表明我们提出的再平衡方案是最佳的渐近文件的大小。
2020-11-12 cs.DC cs.IT math.IT
Dynamics in Coded Edge Computing for IoT: A Fractional Evolutionary Game Approach
最近，编码分布式计算（CDC）以其密集计算和减少延迟的优势，吸引了边缘计算的大量研究兴趣，特别是物联网应用，包括物联网数据预处理和数据分析。然而，对于边缘资源有限的边缘基础设施提供商（EIP）来说，考虑到CDC所需的额外计算资源，在边缘网络中支持以CDC方法执行的物联网应用可能具有挑战性。在本文中，我们提出了编码边缘联邦，其中不同的EIP协作提供边缘资源的CDC任务。为了研究纳什均衡，当没有EIP有动机单方面改变其决定的边缘资源分配，我们模型的编码边缘联邦的基础上进化博弈论。由于经典的进化博弈的复制动力学是无法模拟经济意识的EIP记住过去的决定和效用，我们提出了分数复制动力学与幂律衰落记忆通过Caputo分数导数。所提出的动力学使我们能够研究广泛的EIP动态行为，如EIP的敏感性和侵略性的战略适应，经典的复制动力学不能捕捉。理论分析和大量的数值结果证明了分数演化博弈均衡的存在性、唯一性和稳定性。研究了存储器的容量和长度对收敛速度的影响。
2021-09-28 cs.DC cs.GT
A Unified Coding Framework for Distributed Computing with Straggling Servers
通过对一些线性计算任务在“计算延迟”和“通信负载”之间进行权衡，提出了一种适用于离散服务器的分布式计算的统一编码框架。我们表明，[1]-[3]的编码方案重复中间计算以创建编码多播机会以减少通信负载，[4]，[5]的编码方案生成冗余中间计算以对抗离散服务器可以被视为所提出的框架的特殊实例，通过考虑这种权衡的两个极端：从而分别最小化通信负载或计算等待时间。此外，通过所提出的编码框架实现的延迟-负载折衷允许在该折衷上的任何点处系统地操作以执行分布式计算任务。我们还证明了延迟负载的权衡，这是一个恒定的乘法差距内实现的权衡在两个端点的信息理论下限。
2016-09-06 cs.DC cs.IT math.IT
A New Combinatorial Coded Design for Heterogeneous Distributed Computing
Li等人在2015年提出的编码分布式计算（CDC）提供了一种有效的方法来交易计算能力，以减少MapReduce和Spark等一般分布式计算框架中的通信负载。特别地，将映射阶段中的计算负载增加因子r可以创建编码的多播机会，以将混洗阶段中的通信负载减少相同的因子。然而，CDC方案是为同构设置而设计的，其中计算节点上的存储、计算负载和通信负载是相同的。此外，它需要一个指数级的大量输入文件（数据批次），减少功能和多播组相对于节点的数量，以实现承诺的收益。我们提出了一种新的CDC方法的基础上的组合设计，它适应异构网络的节点具有不同的存储和计算能力，解决了CDC的局限性。此外，所提出的方法需要一个指数级更少的输入文件的数量相比，李等人提出的原始CDC计划。同时，由此产生的计算通信权衡保持乘法增益相比，传统的未编码单播和渐近实现李等人提出的最佳性能。
2020-07-21 cs.DC cs.IT math.IT
Random Alloy Codes and the Fundamental Limits of Coded Distributed Tensors
Virginia Tech（弗吉尼亚理工大学）
针对传统编码分布式张量以恢复阈值为优化目标无法直接降低故障概率的问题，本文提出基于解码概率的评估框架，构造了最优的局部随机合金码，并发现了编码分布式张量的不可能性定理。
2024-10-28 cs.DC cs.IT cs.LG
Algebraic Geometric Rook Codes for Coded Distributed Computing
针对有限域上工作节点数受域大小限制的问题，本文提出代数几何Rook码，支持一般矩阵乘法的分布式容错计算，并给出与亏格相关的恢复阈值界。
2024-10-28 cs.DC cs.DM cs.IT
Coded Computing for Low-Latency Federated Learning over Wireless Edge Networks
University of Southern California（南加州大学）；Intel Corporation（英特尔公司）；Broadcom Corporation（博通公司）；Intel Labs（英特尔实验室）；Qualcomm（高通公司）
联邦学习能够从位于客户端节点的数据训练全局模型，而无需数据共享和将客户端数据移动到集中式服务器。多访问边缘计算（MEC）网络中的联邦学习的性能由于客户端之间的计算能力和通信链路质量的异构性和随机波动而遭受缓慢收敛。我们提出了一种新的编码计算框架CodedFedL，它将结构化编码冗余注入到联邦学习中，以减少落伍者并加快训练过程。CodedFedL通过将训练任务转换为计算上有利的分布式线性回归的随机傅立叶特征，有效地利用分布式内核嵌入，实现非线性联邦学习的编码计算。此外，客户端通过对本地数据集进行编码来生成本地奇偶校验数据集，而服务器将它们组合以获得全局奇偶校验数据集。来自全局奇偶校验数据集的梯度补偿训练期间的离散梯度，从而加快收敛。为了最大限度地减少MEC服务器上的历元截止时间，我们提供了一种易于处理的方法，通过利用计算的统计特性以及通信延迟来找到客户端在训练期间处理的编码冗余量和本地数据点的数量。我们还描述了当客户端与服务器共享本地奇偶校验数据集时数据隐私的泄漏。通过将CodedFedL看作一个随机梯度下降算法，在简化假设下分析了CodedFedL的收敛速度和迭代复杂度.此外，我们使用实际的网络参数和基准数据集进行数值实验，其中CodedFedL与基准方案相比，将整体训练时间加快了$15\times$。
2021-05-09 cs.DC cs.LG stat.ML
Polar Coded Computing: The Role of the Scaling Exponent
我们考虑使用极化码的编码分布式计算的问题。编码计算系统的平均执行时间与Soleymani，Jamali和Mahdavifar最近的工作中通过二进制擦除信道传输的错误概率有关，其中研究了二进制线性码的性能。在本文中，我们专注于极化码，并揭示了平均执行时间和代码族的标度指数$μ$之间的联系。标度指数已经成为极化码的有限长度表征中的中心对象，并且它捕获了容量的收敛速度。特别地，我们表明（i）极化码的归一化平均执行时间与最优MDS码的归一化平均执行时间之间的差距是$O(n^{-1/μ})$，以及（ii）通过考虑具有大内核的极化码，该上限可以被改进为大致$O(n^{-1/2})$。我们推测，这些界限可以提高到$O(n^{-2/μ})$和$O(n^{-1})$，分别，并提供了一个启发式的参数，以及支持这一观点的数值证据。
2022-02-01 cs.DC cs.IT math.IT
Heterogeneous Computation Assignments in Coded Elastic Computing
我们研究了异构编码弹性计算（CEC）网络的最优设计，其中机器具有不同的相对计算速度。Yang介绍的CEC { \it et al.}是一个框架，它减轻了弹性事件的影响，其中机器加入和离开网络。使用最大距离可分离（MDS）代码将一组数据分布在存储受限的机器之间，使得特定大小的机器的任何子集都可以执行所需的计算。这种设计消除了在每个弹性事件之后重新分发数据的需要。在这项工作中，我们开发了一个过程中的任意异构计算网络，通过定义一个最佳的计算负载，或分配给每台机器的计算数量，以尽量减少整体计算时间。然后，我们提出了一个算法来定义一个特定的计算分配之间的机器，利用MDS代码，并满足最佳的计算负载。
2020-01-12 cs.DC cs.IT math.IT
A Sequential Approximation Framework for Coded Distributed Optimization
University of California, Berkeley（加州大学伯克利分校）
在Lee等人和Ferdinand等人先前关于编码计算的工作的基础上，我们提出了一个以分布式方式解决优化问题的顺序近似框架。在分布式计算系统中，由单个处理器（“掉队者”）引起的延迟通常会导致整个过程的显著延迟。所提出的方法是由一个顺序的计算方案，这是专为系统的离散。该方案具有令人满意的性能，保证用户收到有用的（近似）计算结果时，处理器完成其子任务，即使在存在不确定的延迟。本文给出了一个矩阵-向量乘法序贯计算的编码定理，并证明了这种编码方案的最优性。作为应用的结果，我们演示了使用顺序逼近方法，加速算法在分布式系统中的离散求解优化问题。
2017-10-24 cs.DC cs.IT cs.LG
Taming Tail Latency for Erasure-coded, Distributed Storage Systems
分布式存储系统在响应时间上易受长尾效应的影响。在Bing、Facebook和Amazon等现代在线存储系统中，服务延迟的长尾特别值得关注。其中第99.9百分位响应时间是比平均值差的数量级。由于纠删码作为一种流行的技术出现，以实现分布式存储中的高数据可靠性，同时获得空间效率，驯服尾部延迟仍然是一个开放的问题，由于缺乏数学模型来分析这样的系统。为此，我们提出了一个框架，用于量化和优化尾部延迟擦除编码存储系统。特别是，我们推导出上界尾延迟在封闭的形式为任意服务时间分布和异构文件。基于该模型，我们制定了一个优化问题，以共同最大限度地减少加权延迟尾概率的所有文件在服务器上的文件的位置，并选择服务器访问所请求的文件。使用高效的交替优化算法来解决非凸问题。数值结果表明，擦除编码的存储系统与现实的工作负载的尾部延迟显着减少。
2017-03-24 cs.DC cs.IT cs.NI
Wireless MapReduce Arrays for Coded Distributed Computing
针对现有编码无线MapReduce分布式计算方案需输入文件数随节点数指数增长的问题，提出基于无线MapReduce阵列的方案，在文件数与节点数同量级时实现同等最优性能。
2024-06-22 cs.DC cs.IT math.IT
Coded FFT and Its Communication Overhead
我们提出了一种编码计算策略，并检查编码计算算法的通信成本，使分布式快速傅立叶变换（FFT）在计算过程中的错误有弹性。本文将最大距离可分码（MDS）应用于一种广泛使用的并行FFT转置算法。在未编码的分布式FFT算法中，最昂贵的步骤是单个“全对全”通信。我们比较这与通信开销的编码在我们的编码FFT算法。我们表明，通过使用一个系统的MDS码，编码的通信开销是可以忽略不计的通信成本相比，在一个未编码的FFT实现，如果奇偶校验节点的数量是最多$o(\log K)$，其中$K$是系统节点的数量。
2018-05-24 cs.DC cs.IT math.IT
Uncoded Storage Coded Transmission Elastic Computing with Straggler Tolerance in Heterogeneous Systems
针对异构速度、存储约束及掉队者问题，提出USCTEC组合优化框架及启发式算法，以降低矩阵-矩阵乘法的期望计算时间并减少存储开销。
2024-01-22 cs.DC cs.IT math.IT
NeRCC: Nested-Regression Coded Computing for Resilient Distributed Prediction Serving Systems
University of Minnesota（明尼苏达大学）
NeRCC提出一种三层嵌套回归编码计算框架，通过联合优化正则化项解决编码与解码回归的关联，在多种模型和数据集上抗掉队者性能优于现有方法达23%。
2024-02-08 cs.DC cs.IT cs.LG
Adaptive Verifiable Coded Computing: Towards Fast, Secure and Private Distributed Machine Learning
University of Southern California（南加州大学）
提出自适应可验证编码计算（AVCC）框架，通过解耦拜占庭节点检测与落后节点容忍，动态调整编码方案，在分布式逻辑回归中实现最高7.6倍加速和12.1%精度提升。
2022-03-22 cs.CR cs.DC cs.IT
How to Optimally Allocate Resources for Coded Distributed Computing?
今天的数据中心拥有丰富的计算资源，托管由多达数万或数十万台机器组成的服务器集群。为了在数据中心上执行复杂的计算任务，很自然地将计算分布在许多节点上以利用并行处理。然而，随着我们分配越来越多的计算资源到一个计算任务，并进一步分布计算，大量的（部分）计算数据必须在节点之间的计算任务的连续阶段之间移动，因此通信负载可能成为瓶颈。本文研究了分布式计算中计算资源的优化分配问题，目标是使分布式计算中计算和通信两个阶段的总执行时间最小。特别是，我们认为一个通用的MapReduce型分布式计算框架，其中的计算被分解成三个阶段：\emph{Map}，\emph{Shuffle}，和\emph{Reduce}。我们专注于最近提出的\emph{Coded Distributed Computing}方法MapReduce和研究在这个框架中的计算资源的最优分配。对于所有的问题参数值，我们的特点，应用于分布式处理的服务器的最佳数量，提供的地图和减少任务的最佳位置，并提出了一个最佳的编码数据洗牌计划，以尽量减少总的执行时间。为了证明所提出的方案的最优性，我们首先推导出一个匹配的信息论逆的执行时间，然后我们证明，在所有可能的资源分配计划，实现最小的执行时间，我们所提出的方案使用的服务器的数量正好是最少的。
2017-02-23 cs.DC cs.IT math.IT
Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing
Sharif University of Technology（谢里夫理工大学）
利用分布式学习训练具有大数据集的复杂模型的主要挑战之一是如何处理离散效应。作为一种解决方案，最近已经提出了编码计算，以有效地增加冗余的计算任务。在这种技术中，编码是跨数据集使用的，并且计算是在编码数据上完成的，使得具有一定大小的工作节点的任意子集的结果足以恢复最终结果。这些方法的主要挑战是（1）它们仅限于多项式函数计算，（2）我们需要等待的服务器子集的大小随着数据集大小和模型复杂性（多项式的次数）的乘法而增长，这可能非常大，（3）它们在实数上的计算在数值上不稳定。在本文中，我们提出了Berrut近似编码计算（BACC），作为一种替代方法，这是不限于多项式函数计算。此外，主节点可以使用可用工作节点的任意子集的结果来近似计算最终结果。该近似方法被证明是数值稳定的低计算复杂性。此外，近似的准确性建立在理论上，并验证了在不同的设置，如分布式学习问题的仿真结果。特别地，BACC用于在服务器集群上训练深度神经网络，其在收敛速率方面优于重复计算（重复编码）。
2021-11-01 cs.DC cs.IT cs.LG
Coded Distributed Tracking
Department of Electrical Engineering, Chalmers University of Technology（电气工程系，查尔姆斯理工大学）
本文提出了一种云辅助的分布式追踪方案，利用编码分布式计算方法提高追踪的及时性和准确性，并通过MDS码进一步提升大规模更新间隔下的估计精度，同时揭示了信息年龄与估计精度之间的权衡。
2019-09-02 cs.DC cs.IT cs.PF
Coded Computing for Fault-Tolerant Parallel QR Decomposition
本文提出一种容错并行QR分解算法，将编码计算融入并行Gram-Schmidt方法，构建满足后正交化条件的校验和生成矩阵，并提出达到最小校验和下界的节点内系统MDS编码策略，以极低开销实现容错。
2023-11-20 cs.DC cs.IT cs.SY
Coded Fourier Transform
University of Southern California（南加州大学）；Nokia Bell Labs（诺基亚贝尔实验室）
我们考虑计算高维向量的傅立叶变换的问题，分布在一个由主节点和多个工作节点组成的机器集群上，其中工作节点只能存储和处理一小部分输入。我们表明，通过利用傅里叶变换运算的代数结构和利用编码理论的概念，可以有效地处理离散效应。特别是，我们提出了一种计算策略，命名为编码FFT，它实现了最佳的恢复阈值，定义为主节点需要等待的工人的最小数量，以计算输出。这是第一个代码，实现了最佳的鲁棒性方面的容忍离散或故障计算傅立叶变换。此外，编码FFT的重建过程可以映射到MDS解码，这可以有效地解决。此外，我们扩展编码FFT的设置，包括计算一般的$n$维傅立叶变换，并提供这些设置的最佳计算策略。
2017-10-17 cs.DC cs.IT cs.LG
CodedSketch: A Coding Scheme for Distributed Computation of Approximated Matrix Multiplication
在本文中，我们提出了CodedSketch，作为一个分布式的抗离散计划来计算两个大规模矩阵的乘法近似。目标是降低恢复阈值，恢复阈值定义为我们需要等待才能恢复最终结果的工作节点的总数。为了利用仅需要近似结果的事实，在降低恢复阈值时，需要某些种类的预压缩。然而，压缩固有地涉及一些随机性，这将丢失矩阵的结构。另一方面，考虑矩阵的结构是降低恢复阈值的关键。在CodedSketch中，我们在第一个矩阵的行和第二个矩阵的列上使用count--sketch作为基于哈希的压缩方案，并在第一个矩阵的列和第二个矩阵的行上使用结构化多项式代码。这种安排使我们能够利用两者的增益来降低恢复阈值。为了提高计算精度，需要多个独立的计算草图。这种独立性使我们能够从理论上表征结果的准确性，并建立所提出的方案实现的恢复阈值。为了保证输出中的结果计数-草图的独立性，同时保持其恢复阈值上的成本最小，我们使用另一层结构化代码。
2021-02-12 cs.DC cs.IT math.IT
Coded Computing for Federated Learning at the Edge
University of Southern California（南加州大学）；Intel Labs（英特尔实验室）
联邦学习（FL）是一种令人兴奋的新范式，它能够从客户端节点本地生成的数据中训练全局模型，而无需将客户端数据移动到集中式服务器。FL在多访问边缘计算（MEC）网络中的性能由于计算能力和跨客户端的通信链路质量的异构性和随机波动而遭受缓慢收敛。最近的一项工作，编码联邦学习（CFL），提出通过在MEC服务器上分配冗余计算来减少落伍者并加快线性回归任务的训练。利用计算和通信延迟的统计特性计算CFL中的编码冗余。我们开发CodedFedL，解决了将CFL扩展到具有多输出标签的分布式非线性回归和分类问题的艰巨任务。我们工作的关键创新是利用分布式内核嵌入，使用随机傅立叶特征将训练任务转换为分布式线性回归。我们提供了一个负载分配的分析解决方案，并通过使用实际网络参数的基准数据集的实验证明CodedFedL的显着性能增益。
2021-05-09 cs.DC cs.LG stat.ML
