Applied Erasure Coding in Networks and Distributed Storage
数字数据量正在迅速增长。从移动设备到大规模数据中心，越来越多地使用各种各样的计算机系统，并且对于所有计算机系统的可靠操作来说重要的是减轻数字数据中的错误的发生和影响。对静止数据和传输数据的新的超快速和高度可靠的编码技术的需求是一个主要的研究挑战。可靠性是最重要的设计要求之一。提供一定程度可靠性的最简单方法是使用数据复制技术。但是，复制在容量利用率方面效率极低。因此，擦除编码已成为复制的可行替代方案，因为它提供与复制相同级别的可靠性，但存储开销显着减少。本论文研究了不同应用场合下纠删码的有效构造。编码和信息论的方法已经应用于网络编码、光分组交换（OPS）网络和分布式存储系统。提出了以下四个问题：-二进制和非二进制纠删码的构造; -由于网络编码中的编码系数而导致的报头开销的减少; -用于大规模分布式存储系统的新纠删码的构造和实现，与现有技术相比，该纠删码提供了存储和网络资源的节省;以及-当使用纠删码时，提供关于OPS网络中的服务质量（QoS）的统一视图，重点是分组丢失率（PLR）、生存性和保密性。
2018-03-04 cs.DC cs.IT math.IT
Maximum Lifetime for Data Regeneration in Wireless Sensor Networks
专用于无线传感器网络的鲁棒分布式存储系统利用多个节点冗余地存储传感数据，使得当一些存储节点失效时，传感数据仍然可以被重构。对于相同级别的冗余，已知基于纠删编码的方法比复制方法需要更少的数据存储空间。为了在一个存储节点发生故障时保持相同的冗余水平，可以通过使该节点从其他活动存储节点下载相应的片段来将擦除编码的数据恢复到某个其他存储节点上。以前的工作表明，使用擦除编码的好处，强大的存储复制是没有吸引力的复杂性，在重新生成丢失的数据。然而，最近的工作表明，通过提出再生编码，可以进一步减少纠删编码数据的带宽，从而使纠删码再次适合于鲁棒的数据存储。但是，这些工作的再生编码考虑这些代码将如何执行无线传感器网络中的数据再生。因此，我们提出了一个分析模型来量化再生编码在经典方案的网络寿命增益。我们还提出了一个分布式算法，TROY，确定哪些节点和路由用于数据再生。我们的分析研究表明，对于某些拓扑结构，TROY实现了最大的网络寿命。我们在真实传感器网络跟踪的评估研究表明，TROY实现了接近最佳的寿命和性能优于基线算法。
2011-06-15 cs.DC
CausalEC: A Causally Consistent Data Storage Algorithm based on Cross-Object Erasure Coding
首次提出基于跨对象纠删码的因果一致性数据存储算法CausalEC，在异步系统中通过任意线性纠删码实现本地写操作与非阻塞读操作，兼顾活性、容错性与存储效率。
2023-05-20 cs.DC cs.IT math.IT
Sparsity Exploiting Erasure Coding for Resilient Storage and Efficient I/O Access in Delta based Versioning Systems
在本文中，我们研究的问题，可靠地存储版本化数据的存档。具体来说，我们专注于存储后续版本之间的差异（增量）而不是整个对象的系统-存储版本化数据的典型模型。对于可靠性，我们提出了擦除编码技术，利用稀疏的信息的增量，同时将它们可靠地存储在一个分布式后端存储系统，从而提高I/O读取性能，检索整个版本化的档案。随着基本技术，我们提出了一些优化算法，并评估技术的有效性分析和数值模拟。
2014-11-18 cs.DC cs.IT math.IT
ECRM: Efficient Fault Tolerance for Recommendation Model Training via Erasure Coding
Facebook；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习的推荐模型（DLRM）被广泛部署，以向用户提供个性化内容。DLRM由于使用大型嵌入表而尺寸很大，并且通过将模型分布在数十或数百台服务器的内存中进行训练。服务器故障在这样的大型分布式系统中是常见的，并且必须减轻以使培训能够进行。检查点设置是这些系统中用于容错的主要方法，但是在正常操作期间和从故障恢复时都引起显著的训练时间开销。随着这些开销随着DLRM大小的增加而增加，检查点将成为未来DLRM的更大开销，预计DLRM的大小将增加。这就需要重新思考DLRM培训中的容错。我们提出了ECRM，DLRM训练系统，实现高效的容错使用纠删编码。ECRM选择要编码的DLRM参数，正确有效地更新奇偶校验，并使训练能够在没有任何暂停的情况下进行，同时保持恢复参数的一致性。我们在XDL上实现ECRM，XDL是一个开源的工业规模DLRM培训系统。与检查点相比，ECRM将大型DLRM的训练时间开销减少了88%，从故障中恢复的速度快了10.3 $\times$，并允许在恢复期间继续进行训练。这些结果表明，擦除编码的承诺，赋予有效的容错训练当前和未来的DLRM。
2021-04-05 cs.DC cs.LG
Accelerating XOR-based Erasure Coding using Program Optimization Techniques
纠删编码（EC）为大规模系统提供数据冗余。基于XOR的电子商务是一种易于实现的电子商务优化方法。本文讨论了最先进的基于XOR的EC方法（编码吞吐量为4.9 GB/s）与基于另一种方法（编码吞吐量为6.7 GB/s）的英特尔高性能EC库之间的显著性能差距。我们提出了一种新的方法，根据我们的观察，XOR为基础的EC虚拟生成程序的域特定语言XOR字节数组。我们正式这样的程序作为编译器构造的直线程序（SLP），并使用各种优化技术优化SLP。我们的优化流程有三个方面：1）使用语法压缩算法减少操作; 2）使用函数式程序优化方法森林砍伐减少内存访问; 3）使用程序分析的（红蓝）卵石游戏减少缓存未命中。我们提供了一个实验库，它的性能优于英特尔的库8.92 GB/s的吞吐量。
2021-08-05 cs.DC cs.PF cs.PL
LEGOStore: A Linearizable Geo-Distributed Store Combining Replication and Erasure Coding
我们设计并实现了LEGOStore，一个基于擦除编码（EC）的线性化数据存储在地理分布的公共云数据中心（DC）。对于这样的数据存储，以下因素的汇合为EC提供了与复制竞争延迟的机会：（a）与远程DC通信以容忍整个DC故障并实现线性化的必要性;以及（b）在大多数大型人口中心附近出现DC。LEGOStore采用了一个优化框架，对于给定的对象，仔细选择复制和EC，以及各种DC放置，以最大限度地降低整体成本。为了处理工作负载的动态性，LEGOStore采用了一种新的敏捷重新配置协议。我们使用跨越9个Google Cloud Platform DC的LEGOStore原型进行的评估证明了我们的想法的有效性。我们观察到成本节省范围从中等（5-20\%）到显著（60\%），超过代表最先进水平的基线，同时满足尾部延迟SLO。我们的重新配置协议能够在3到4个DC间RTT（在我们的实验中为$<$ 1）中转换关键位置，从而允许灵活适应动态条件。
2022-07-04 cs.DC cs.PF
Erasure coding for distributed matrix multiplication for matrices with bounded entries
Iowa State University（爱荷华州立大学）
分布式矩阵乘法广泛应用于多个科学领域。众所周知，分布式集群上的计算时间通常由最慢的工人（称为掉队者）控制。最近的工作表明，可以被看作是一个问题的设计纠删码的掉队缓解。对于矩阵$\mathbf A$和$\mathbf B$，该技术实质上将$\mathbf A^T \mathbf B$的计算映射到较小（编码）子矩阵的乘法。在这个过程中，掉队者被视为擦除。只要有一定数量的工作者（称为恢复阈值）完成分配给他们的任务，计算就可以完成。我们提出了一种新的编码策略，这个问题时，矩阵项的绝对值是足够小的。我们证明了假设的绝对值边界的矩阵条目和恢复阈值之间的权衡。在一个极端，我们相对于恢复阈值是最优的，在另一个极端，我们匹配先前工作的阈值。基于云的集群上的实验结果验证了我们的方法的好处。
2018-11-07 cs.DC cs.IT cs.LG
A Micro-Service based Approach for Constructing Distributed Storage System
提出了一种基于微服务架构的分布式存储系统的构建方法。通过使用微服务构建存储功能，我们可以以灵活的方式为分布式存储系统提供新的功能。我们以纠删编码和压缩为例，展示了如何构建一个基于微服务的分布式存储系统。我们还表明，通过将擦除编码和压缩构建为微服务，与单片存储系统相比，分布式存储系统仍然可以实现合理的性能。
2021-07-02 cs.DC
Clustered Network Coding for Maintenance in Practical Storage Systems
经典的擦除码，如里德-所罗门码，已被公认为是一种有效的替代纯复制，以减少可靠的分布式存储系统中的存储开销。然而，这样的代码在维护过程中经历高开销。在本文中，我们提出了一种新的擦除编码框架，特别是为网络存储系统量身定制。我们的方法依赖于使用随机代码加上一个集群的布局策略，使维护一个失败的机器在多个文件的粒度。我们的修复协议利用网络编码技术，以减少一半的数据量在维护过程中传输，因为几个文件可以同时修复。这种方法，正式证明，并证明了我们的公共实验测试平台上的评估，能够显着降低维护过程中的带宽开销，以及修复故障的时间。此外，实现尽可能简单，旨在部署到实际系统中。
2012-06-19 cs.DC
On the Latency and Energy Efficiency of Erasure-Coded Cloud Storage Systems
数据中心数据存储和功耗的增加使得设计节能的分布式存储系统（DSS）势在必行。DSS的能源效率不仅受到数据量，数据访问频率和数据存储冗余的强烈影响，而且还受到DSS在这些方面表现出的异质性的影响。为此，我们提出并分析了异构分布式存储系统的能源效率，其中$n$存储服务器（磁盘）存储的数据$R$不同的类。使用$(n,k_{i})$擦除码对$i$类的数据进行编码，并且（随机）数据检索请求也可以在类之间变化。我们发现，这种系统的能源效率是密切相关的平均延迟，因此激励我们通过平均延迟的镜头来研究能源效率。通过这种连接，我们表明纠删编码具有减少延迟和提高能效的双重目的。我们提出了一个排队理论分析所提出的模型，并建立各种调度策略下的每个数据类的平均延迟的上限和下限。通过大量的模拟，我们提出了定性的见解，揭示了编码速率，服务器数量，服务分布和冗余请求数量对DSS的平均延迟和能源效率的影响。
2015-05-22 cs.DC
An Empirical Study of the Repair Performance of Novel Coding Schemes for Networked Distributed Storage Systems
擦除编码技术正被集成到网络分布式存储系统中，作为一种以比传统复制更少的存储开销为代价提供容错的方式。Reddit是通过修复机制随时间推移而维护的，这可能需要大量的网络资源开销。近年来，一些为分布式存储量身定制的新代码已经被提出来优化存储开销和修复，例如最小化每次修复流量的再生码，或最小化每次修复所接触的节点数量的自修复码。然而，这些编码技术的现有研究主要是理论上的，在简化的假设下，只有一个对象被存储。它们忽略了实际系统必须解决的许多实际问题，例如数据放置，多个存储对象的去相关，或者当多个对象同时修复时对有限网络资源的竞争。本文实证研究了这些新的存储为中心的代码相对于经典的纠删码的修复性能，通过模拟现实的情况下，探索的相互作用的代码参数，故障特征和数据的放置方面的权衡带宽的使用和速度的修复。
2012-06-11 cs.DC
Erasure-Coded Byzantine Storage with Separate Metadata
虽然已经引入了许多分布式存储协议，但在可用性、一致性、容错性、存储复杂性和所支持的并发级别方面结合最强属性的解决方案一直难以实现。结合这些特性是困难的，特别是如果所得到的解决方案需要是有效的，并招致低成本。我们提出了AWE，这是多写器多读器读/写存储对象的第一个擦除编码分布式实现，同时：（1）异步，（2）无等待，（3）原子，（4）健忘，（即，其中数据节点存储有界数目的值）和（5）使用最优数目的节点的拜占庭容错（BFT）。此外，AWE是高效的，因为它不使用公钥密码学，并且需要仅支持读和写的数据节点，从而进一步降低了分布式存储解决方案的部署和所有权成本。值得注意的是，AWE将元数据与$k$-外-$n$擦除编码片段分开存储。这使得AWE成为第一个BFT协议，它使用尽可能少的$2t+k$数据节点来容忍任何$k \ge 1$的$t$拜占庭节点。
2014-02-20 cs.DC
DSPE: Profit Maximization in Edge-Cloud Storage System using Dynamic Space Partitioning with Erasure Code
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
针对边缘服务器存储容量有限、难应对动态高并发低延迟请求的问题，提出融合纠删码、协作缓存与动态公私分区的利润导向框架，经真实轨迹验证较现有方案提升系统利润5%-8%。
2025-07-30 cs.DC
Extending DIRAC File Management with Erasure-Coding for efficient storage
网格式数据管理的最新技术水平是通过跨多个存储端点的数据文件的多个完整副本来实现数据的增强弹性。虽然这是有效的，但它并不是最节省空间的恢复方法，特别是当单个存储端点的可靠性足够高时，只有少数端点在任何时间点都处于非活动状态。我们报告的工作进行的一部分，GridPP \cite{GridPP}，扩展狄拉克文件目录和文件管理接口，允许放置擦除编码的文件：每个文件分布为N个相同大小的数据块条纹在一个向量的存储端点，编码，使任何M块可以丢失，原始文件可以重建。开发的工具对用户是透明的，并且，以及允许数据上传和下载到网格存储，还提供了一次并行访问所有分布式块的可能性，提高数据传输和IO性能。我们预计这种方法对较小的VO最感兴趣，因为它们对可用存储的限制更严格，但较大的（WLCG）VO可能会感兴趣，因为它们的总数据在运行2期间增加。我们提供了该方法的成本和效益分析，以及该领域的未来发展和实施计划。一般来说，多个文件传输的开销是目前这种方法竞争力的最大问题。
2015-10-30 cs.DC hep-ex
Erasure coding for fault oblivious linear system solvers
Purdue University（普渡大学）
本文提出基于输入增强的容错方法，通过算法类比擦除编码存储，实现对系统故障的完全无关处理，实验表明该方法在低计算开销下可高效恢复大量故障。
2014-12-23 cs.DC cs.NA math.NA
Alpha Entanglement Codes: Practical Erasure Codes to Archive Data in Unreliable Environments
使用消费级磁盘驱动器和分布式对等系统的数据中心是不可靠的环境，无法在没有足够冗余的情况下归档数据。大多数冗余方案对于长期提供高可用性、持久性和完整性并不完全有效。我们提出了阿尔法纠缠码，一种机制，创建一个虚拟层的高度互连的存储设备，在大规模存储系统中传播冗余信息。我们的动机是设计具有高容错能力的灵活实用的擦除码，以提高数据的持久性和可用性，即使在灾难性的情况下也是如此。通过灵活和实用，我们的意思是代码设置可以适应未来的需求和实际实现，并在安全性，资源使用和性能之间进行合理的权衡。代码有三个参数。Alpha会线性增加存储开销，但会以指数方式增加恢复数据的可能路径。另外两个参数甚至在不需要额外存储的情况下进一步提高了容错性。因此，纠缠存储系统可以提供高可用性，持久性和额外的完整性：更难以不可检测地修改数据。我们评估了几种冗余方案在不可靠环境中的性能，并表明α纠缠码是灵活和实用的代码。值得注意的是，它们在代码局部性方面表现出色，因此，它们降低了修复成本，并减少了对可用性差的存储位置的依赖。我们的解决方案在许多灾难恢复场景中优于Reed-Solomon码。
2018-10-06 cs.CR cs.DC cs.IT
Compressed Differential Erasure Codes for Efficient Archival of Versioned Data
在本文中，我们研究了在分布式存储系统中以可靠和有效的方式存储版本化数据存档的问题。我们提出了一种新的存储技术，称为差分擦除编码（DEC），其中存储的是后续版本之间的差异（增量），而不是整个对象，类似于一个典型的增量编码技术。然而，与增量编码技术不同，DEC机会主义地利用稀疏性（即，当两个连续版本之间的差异具有很少的非零条目时）在更新中使用与擦除编码一起应用的压缩感测技术来存储增量。我们首先表明，DEC提供了显着的节省版本化数据的存储大小时，更新模式的特点是就地更改。随后，我们提出了一个实用的DEC框架，以获得存储大小的好处，不仅对就地更改，而且对现实世界的更新模式，如插入和删除，改变整体数据大小。我们进行实验与几个合成的工作负载，以证明DEC的实际变体提供了显着减少存储开销（高达60\%，取决于工作负载）相比，基线存储系统，它采用了从Rsync，增量编码技术的概念，存储和同步数据在网络上。
2015-03-17 cs.DC cs.IT math.IT
A Survey on Network Codes for Distributed Storage
分布式存储系统通常引入冗余以提高可靠性。当使用编码时，修复问题出现了：如果存储编码信息的节点发生故障，为了保持相同的可靠性水平，我们需要在新节点上创建编码信息。这相当于代码的部分恢复，而传统的擦除编码集中于从编码分组的子集中完全恢复信息。修复网络流量的考虑引起了新的设计挑战。最近，网络编码技术已经在解决这些挑战，建立维护带宽可以减少数量级相比，标准的纠删码。本文综述了这方面的研究成果。
2010-04-26 cs.DC cs.IT cs.NI
Coding Schemes for Line Networks
我们考虑一个简单的网络，其中的源节点和目的地节点连接一行擦除通道。众所周知，为了实现最小割容量，需要中间结点处理信息。我们提出了这种设置的编码方案，并讨论每个方案的复杂性，延迟，可实现的速率，内存要求，和适应性未知的信道参数。我们还简要讨论了如何将这些计划扩展到更一般的网络。
2005-08-29 cs.DC cs.IT cs.NI
