XORing Elephants: Novel Erasure Codes for Big Data
大型集群的分布式存储系统通常使用复制来提供可靠性。最近，纠删码被用来减少三复制系统的巨大存储开销。Reed-Solomon码是标准的设计选择，其高维修成本通常被认为是为高存储效率和高可靠性付出的不可避免的代价。本文介绍了如何克服这一局限性。我们提出了一种新的家庭擦除码，有效地修复，并提供更高的可靠性相比，里德-所罗门码。我们分析表明，我们的代码是最佳的最近确定的局部性和最小距离之间的权衡。我们在Hadoop HDFS中实现了我们的新代码，并与当前部署的使用Reed-Solomon代码的HDFS模块进行了比较。我们修改后的HDFS实现在修复磁盘I/O和修复网络流量上减少了大约2倍。新的编码方案的缺点是，它需要14%以上的存储相比，里德-所罗门码，一个开销被证明是信息理论上最优的获得局部性。由于新代码修复故障更快，因此提供了更高的可靠性，与复制相比，可靠性高出几个数量级。
2013-01-16 cs.DC cs.IT cs.NI
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题，其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输（数据包）的数量趋于无穷大时，可以渐近地实现最优折衷界。对于有限数量的传输，我们研究了成功再生的概率。然后，我们研究了两种方法来增加成功再生的概率，即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟，并且在某些情况下可能无法连接到更多的节点。我们发现，除了减少修复带宽，增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
Exact-Repair Regenerating Codes Via Layered Erasure Correction and Block Designs
通过组合两层擦除校正码和组合块设计构造了一类新的精确修复再生码，平衡不完全区组设计与t-设计。所提出的代码具有“未编码修复”属性，其中参与修复的节点仅直接传输部分存储的数据，而不执行任何计算。分层纠错结构使得解码过程相当简单，并且一般来说复杂度较低。我们表明，这种结构是能够实现性能优于最小存储再生码和最小修复带宽再生码之间的时间共享。
2013-02-19 cs.IT math.IT
Erasures repair for decreasing monomial-Cartesian and augmented Reed-Muller codes of high rate
本文为递减单项式-笛卡尔码及增广Reed-Muller和增广笛卡尔码设计了一或两个擦除的精确修复方案，后者无位置限制，并在固定维数或长度下展示了带宽优势及渐近性能。
2021-07-04 cs.IT math.IT
Repairing Reed-Solomon codes: Universally achieving the cut-set bound for any number of erasures
代码的修复带宽是修复一个或多个故障节点（擦除）所需的最小数据量。对于MDS码，修复带宽由所谓的割集界限限制，并且满足该界限的码被称为支持一个或多个故障节点的最佳修复。研究了RS码的多失效节点修复问题。在最近的一次工作中，我。Tamo（Proc. IEEE FOCS 2017），我们给出了RS码的第一个显式构造，其中任何单个故障节点都可以从任何辅助节点子集中进行最佳修复。在本文中，我们构造了显式RS码，普遍实现割集界修复任何数量的失败的节点从任何一组帮助节点。此外，我们的代码的节点大小是接近最佳的（最小可能的）节点大小的代码与这种属性。
2017-10-18 cs.IT math.IT
Binary Locally Repairable Codes ---Sequential Repair for Multiple Erasures
分布式存储中的局部可修复码（LRC）允许两种方法对多个失效节点进行局部修复：1）并行方法，每个新节点访问一组$r$活节点$(r$作为修复位置$)$，下载数据并恢复丢失的数据包;以及2）顺序方法，通过该方法，新来者被适当地排序并且每个新来者访问一组$r$其它节点，一个具有局部性$r$的$[n,k]$线性码被称为$(n,k,r,t)$ -精确局部可修复码（ELRC），它允许通过顺序方法对多达$t$的失效节点进行局部修复.本文提出了一类等价于$[r+1,r]$单奇偶校验码的$m$拷贝的直积的二进制码。我们证明了这样的代码是$(n,k,r,t)$与$n=(r+1)^m,k=r^m$和$t=2^m-1$，这意味着他们允许本地修复高达$2^m-1$擦除顺序的方法。结果表明，顺序方法比并行方法具有更大的优势。
2015-11-19 cs.IT math.IT
Modeling and Optimization of Latency in Erasure-coded Storage Systems
随着消费者越来越多地参与社交网络和电子商务活动，企业越来越依赖大数据分析来获取智能，传统IT基础设施继续迁移到云和边缘，这些趋势导致分布式数据存储需求以前所未有的速度增长。擦除编码已经迅速成为一种有前途的技术，可以降低存储成本，同时提供与复制系统类似的可靠性，被Facebook、微软和谷歌等公司广泛采用。然而，它也带来了新的挑战，在表征和优化访问延迟时，纠删码用于分布式存储。这本专著的目的是提供一个审查的最新进展（理论和实践）的系统，采用纠删码的分布式存储。在本专题中，我们将首先确定研究问题的关键挑战和分类，然后概述已开发的不同方法来量化和建模擦除编码存储的延迟。这包括最近利用MDS保留、Fork-Join、Probably和延迟重新启动调度策略的工作，以及它们用于表征访问延迟的应用（例如，平均值、尾部、渐近延迟）。我们还将把这个问题扩展到用户从擦除编码的分布式存储系统中流式传输视频的情况。接下来，我们将弥合理论和实践之间的差距，并讨论从原型实现中吸取的经验教训。特别地，我们将讨论擦除编码存储的示例性实现，阐明关键设计的自由度自由度和权衡，并总结现实世界的存储系统中剩余的挑战，如内容交付和缓存。在每一章的最后讨论了未来研究的开放问题。
2020-05-21 cs.DC cs.IT cs.NI
Regenerating Codes for Errors and Erasures in Distributed Storage
再生码是为保证分布式存储系统中数据的可靠性和故障节点的有效修复而提出的一类编码。在本文中，我们解决的基本问题，处理错误和擦除过程中的数据重建和节点修复操作。我们提供了明确的再生代码，是弹性的错误和擦除，并表明这些代码是最佳的存储和带宽要求。作为一个特殊的情况下，我们还建立了一类分布式存储系统的恶意对手的存在下的能力。虽然我们的代码结构是基于以前构建的产品矩阵码，我们也提供了必要和充分的条件引入弹性在任何再生代码。
2012-05-23 cs.DC cs.IT cs.NI
On the Achievability Region of Regenerating Codes for Multiple Erasures
研究了分布式存储中多故障的集中精确修复问题。我们描述的结构，实现了一组新的内部点下精确修复。这些构造建立在Tian等人的分层代码构造之上，专为精确修复单一故障而设计。我们首先改进了一般系统参数的分层结构。然后，我们扩展了改进的建设，以支持修复多个故障，不同数量的助手。特别是，我们证明了一个点的最优性的功能修复权衡的多个故障的一些参数。最后，考虑最小带宽合作修复（MBCR）码集中修复码，我们明确确定的最佳可达区域之间的所有已知点，包括MBCR点的空间共享。
2018-01-31 cs.IT math.IT
Locally Repairable Codes with Unequal Local Erasure Correction
当分布式存储系统中的节点发生故障时，需要及时修复以保持系统的完整性。虽然典型的纠删码可以提供优于复制的显著存储优势，但是它们遭受较差的修复效率。局部可修复码（LRC）通过减少参与修复过程（局部性）的节点数量来解决这个问题，代价是减少最小距离。在本文中，我们研究了局部码具有任意距离要求的LRC的局部性和最小距离之间的权衡。与现有的方法，其中每个节点上施加的本地和本地距离的要求是相同的，我们允许的要求从节点到节点任意变化。这样的属性对于具有非均匀特性的分布式存储系统可以是有利的。我们提出了Singleton型距离上界，并提供了一个最佳的代码建设这些界限。此外，可行速率区域的特征在于不依赖于距离的维数上界。
2018-07-07 cs.IT math.IT
Locally Repairable Convolutional Codes with Sliding Window Repair
介绍了用于分布式存储系统的局部可修复卷积码。它们实现了针对单个节点擦除（或更一般地，每个本地组的$ \partial - 1 $擦除）的本地修复，以及滑动窗口全局修复，其可以在$ n $节点的$ j+1 $连续块的每个窗口中校正具有多达$ {\rm d}^c_j - 1 $擦除的擦除模式，其中$ {\rm d}^c_j $是代码的第$ j $列距离。对于固定的LRCC，可以根据不同的灾难性擦除模式来调整参数$ j $，仅需要接触存储系统中的$ n(j+1) - {\rm d}^c_j + 1 $节点，加上少于$ μn $的其他节点，其中$ μ$是代码的存储器。为$ {\rm d}^c_j $提供了Singleton类型的界限。如果它达到这样的界限，LRCC可以在长度为$ n(j+1) $的窗口中校正与具有相同速率和位置并且具有块长度$ n(j+1) $的最佳局部可修复块码相同数量的灾难性擦除。此外，LRCC还可以通过调节$ j $进行灵活的局部滑动窗口修复。此外，通过调整和/或滑动窗口，LRCC可以潜在地校正$ n(j+1) $节点的原始窗口中比相同速率和位置以及长度$ n(j+1) $的最佳局部可修复分组码更多的擦除。最后介绍了部分最大距离轮廓码的概念。部分MDP码可以纠正所有的信息理论上可纠正的擦除模式，对于一个给定的位置，本地距离和信息速率。基于已知的最大秩和距离卷积码，得到…
2020-12-05 cs.IT math.IT
Repair Locality with Multiple Erasure Tolerance
在分布式存储系统中，具有局部性$r$的擦除码是优选的，因为可以通过访问至多$r$其它坐标来恢复坐标，这又大大降低了小$r$的盘I/O复杂性。然而，当为了恢复而访问的某些$r$坐标也被擦除时，局部修复可能是无效的。为了克服这个问题，我们提出了$(r,δ)_c$ -局部提供$δ-1$本地修复选项的坐标。因此，修复位置$r$可以容忍$δ-1$擦除。我们推导出一个上界的最小距离$d$的任何线性$[n,k]$码的信息$(r,δ)_c$ -局部性。对于一般的参数，我们证明了存在的代码，达到这个界限时，$n\geq k(r(δ-1)+1)$，这意味着紧这个界限。虽然Prakash等人定义的局部性$(r,δ)$提供了与我们定义的相同的局部性和局部修复容限，但具有$(r,δ)_c$ -局部性的代码被证明在最小距离方面具有更大的优势。特别地，我们构造了一类具有全符号$(r,δ)_c$ -局部性的码，其中最小距离增益为$Ω(\sqrt{r})$，信息率接近1。
2013-06-20 cs.IT math.IT
Taming Tail Latency for Erasure-coded, Distributed Storage Systems
分布式存储系统在响应时间上易受长尾效应的影响。在Bing、Facebook和Amazon等现代在线存储系统中，服务延迟的长尾特别值得关注。其中第99.9百分位响应时间是比平均值差的数量级。由于纠删码作为一种流行的技术出现，以实现分布式存储中的高数据可靠性，同时获得空间效率，驯服尾部延迟仍然是一个开放的问题，由于缺乏数学模型来分析这样的系统。为此，我们提出了一个框架，用于量化和优化尾部延迟擦除编码存储系统。特别是，我们推导出上界尾延迟在封闭的形式为任意服务时间分布和异构文件。基于该模型，我们制定了一个优化问题，以共同最大限度地减少加权延迟尾概率的所有文件在服务器上的文件的位置，并选择服务器访问所请求的文件。使用高效的交替优化算法来解决非凸问题。数值结果表明，擦除编码的存储系统与现实的工作负载的尾部延迟显着减少。
2017-03-24 cs.DC cs.IT cs.NI
Founsure 1.0: An Erasure Code Library with Efficient Repair and Update Features
Foundure是一个开源的软件库，它实现了完全基于快速异或（XOR）逻辑的多维基于图的擦除编码。它的实现利用编译器优化和多线程来为给定的具有向量处理能力的多核CPU架构生成正确的汇编代码。Foundure具有重要的功能，这些功能将在现代数据存储、通信和联网计算机系统中找到各种应用，其中数据需要保护以防止设备、硬件和节点故障。随着数据规模达到前所未有的水平，这些系统对网络带宽、计算资源和平均功耗的需求越来越大。为了解决这一问题，所提出的库提供了一个三维设计空间，该空间权衡了计算复杂性、编码开销和数据/节点修复带宽，以满足现代分布式数据存储和处理系统的不同要求。Foundure库支持高效的编码、解码、修复/重建和更新，同时所有所需的数据存储和计算都分布在网络节点上。
2021-01-13 cs.IT math.IT
Bounds on Binary Locally Repairable Codes Tolerating Multiple Erasures
近年来，局部可修码在分布式存储系统中的潜在应用引起了人们极大的兴趣。然而，现有的大多数构造都是在大小随服务器数量而增长的字段上进行的，这使得系统在计算上昂贵且难以维护。在这里，我们研究线性局部可修复码的二进制字段，容忍多个本地擦除。我们推导出这些代码的最小距离的界限，并给出LRC实现这些界限的例子。我们的主要技术工具来自拟阵理论，作为我们的证明的副产品，我们表明，一个简单的二元拟阵的循环单位格是原子。
2018-02-19 cs.IT math.CO math.IT
Private Repair of a Single Erasure in Reed-Solomon Codes
针对Reed-Solomon码的单删失恢复，论文提出可抵抗t个合谋辅助节点的低带宽私密修复方案，证明其在特定条件下最优，并可转化为私密检索方案。
2024-05-10 cs.IT math.IT
Decentralized Erasure Codes for Distributed Networked Storage
我们考虑的问题，构建一个擦除码存储在网络上的数据源是分布式的。具体来说，我们假设有n个存储节点，内存有限，k<n个源生成数据。我们需要一个数据收集器，它可以出现在网络中的任何地方，可以查询任何k个存储节点，并能够检索数据。我们介绍分散擦除码，这是一个特定的随机结构的启发网络编码随机二分图的线性代码。我们发现，分散擦除码是最佳稀疏，并导致降低通信，存储和计算成本的随机线性编码。
2006-06-12 cs.IT cs.NI math.IT
Sprout: A functional caching approach to minimize service latency in erasure-coded storage
现代分布式存储系统通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时试图满足应用程序和客户端的延迟要求。存储系统可以在代理或客户端处具有高速缓存，以便减少延迟。在本文中，我们考虑一种新的缓存框架与擦除代码称为功能缓存。功能缓存涉及在缓存中使用擦除编码的块，使得由存储节点和缓存中的块组合形成的代码是最大距离可分离（MDS）擦除码。基于不同文件的到达率、文件块在服务器上的放置以及存储服务器的服务时间分布，考虑了最优的功能缓存放置和不同磁盘的文件请求的访问概率.所提出的算法在开源云存储部署中的模拟和原型解决方案中都显着改善了延迟。
2017-07-21 cs.DC cs.IT math.IT
Repairing Reed-Solomon Codes via Subspace Polynomials
我们提出了新的Reed-Solomon码的修复方案，使用子空间多项式，从而推广了以前的作品在文献中，采用跟踪多项式。Reed-Solomon码在$\mathbb{F}_{q^\ell}$上，并且具有冗余$r = n-k \geq q^m$、$1\leq m\leq \ell$，其中$n$和$k$分别是码长和维数。特别是，对于一个擦除，我们表明，我们的计划可以实现最佳的修复带宽时，$n=q^\ell$和$r = q^m,$的所有$1 \leq m \leq \ell$。对于两个擦除，我们的方案使用相同的带宽，每次擦除的单擦除方案，$\ell/m$是$q$的幂，和$\ell=q^a$，$m=q^b-1>1$（$a \geq b \geq 1$），和$m\geq \ell/2$时，$\ell$是偶数和$q$是2的幂。
2020-07-30 cs.IT math.IT
On Epsilon-MSCR Codes for Two Erasures
协作再生码是设计用于在多个节点故障的情况下权衡存储和修复带宽的再生码。最小存储协作再生码是一类实现折衷最小存储点的协作再生码。最近，已经为所有可能的参数$(n,k,d,h)$构造了这些代码，其中通过联系任何$d$幸存节点来修复$h$擦除。然而，这些构造具有非常大的子分组化。$ε$ -MSR码是为了在单节点故障的情况下稍微增加修复带宽而引入的折衷子分组化级别的一类码。我们介绍了框架的$ε$ -MSCR代码，允许一个类似的权衡的情况下，多个节点故障。通过级联一类MSCR码和标量线性码，构造了一种能够从两个节点故障中恢复的$ε$ -MSCR码。我们给出了一个修复过程中修复的$ε$ -MSCR码在两个节点的故障，并计算相同的修复带宽。我们的特点是增加修复带宽所引起的方法相比，最佳的修复带宽给出的割集界。最后，我们展示了$ε$ -MSCR码的子分组化水平在节点数量上的几何尺度。
2019-01-28 cs.IT math.IT
Erasure codes with simplex locality
我们专注于分布式存储的纠删码。分布式存储设置由于对解码器的容易修复要求而强加局部性要求。我们首先建立的代码的生成矩阵方面的各种局部性的特性。这些导致了局部性的界限和最优性的概念。然后，我们研究了一个家庭的非二进制码的单形结构的局部性。我们研究了它们的最优性，并设计了几种易于修复的解码方法。特别是，我们表明，任何可纠正的擦除模式可以解决容易修复。
2014-03-12 cs.IT math.IT
On Optimal Locally Repairable Codes and Generalized Sector-Disk Codes
考虑了具有信息局部性的最优局部可修码。最佳码的构造，其长度也是顺序最佳的关于本文推导出的码长的一个新的界。所构造的码的长度在字母表大小上是超线性的，这改进了公知的金字塔码，其长度仅在字母表大小上是线性的。可恢复的擦除模式也分析了新的代码。基于可恢复的擦除模式，我们构造了广义扇区磁盘（GSD）码，它可以从磁盘擦除与扇区擦除混合在一个更一般的设置比已知的扇区磁盘（SD）码。此外，在所构造的GSD码中的扇区数是超线性的字母大小，与已知的SD码，其扇区数仅是线性的字母大小相比。
2020-02-05 cs.IT math.IT
Erasure Coding for Distributed Storage: An Overview
在分布式存储系统中，代码符号分散在节点或存储单元中的空间中，而不是时间。在诸如大型数据中心的设置中，重要的考虑因素是故障节点的有效修复。有效的修复需要擦除码，在面对节点故障时，擦除码在最小化通过网络传输的修复数据量、在帮助节点处访问的数据量以及所接触的帮助节点的数量方面是有效的。编码理论已经发展到通过引入两种新的擦除码来应对这些挑战，即再生码和局部可恢复码，以及提出修复无处不在的里德-所罗门码的新方法。本调查概述了过去十年在这方面所作的努力。
2018-06-12 cs.IT math.IT
Comments on CausalEC: A Causally Consistent Data Storage Algorithm Based on Cross-Object Erasure Coding
本文指出Cadambe和Lyu 2021提出的基于跨对象纠删码的因果一致性算法CausalEC，与Lyu等人2018年开发的算法本质上是相同的。
2023-05-22 cs.DC cs.IT math.IT
HashTag Erasure Codes: From Theory to Practice
最小存储再生（MSR）码已经成为Reed-Solomon（RS）码的可行替代方案，因为它们最小化了修复带宽，同时它们在可靠性和存储开销方面仍然是最佳的。虽然存在几种MSR结构，但到目前为止，它们还没有实际实现，主要是由于大量的I/O操作。在本文中，我们分析了高速率MDS码，同时优化的存储，可靠性，I/O操作，和修复带宽的单个和多个故障的系统节点。这些代码最近在\cite{7463553}中引入，没有任何特定名称。由于hashtag符号\#与代码构造过程的相似性，本文将其称为\emph{HashTag Erasure Codes (HTECs)}。HTEC提供最低的数据读取和数据传送，并且因此提供用于任意子分组化级别$α$的最低修复时间，其中在用于包括MSR代码的分布式存储的所有现有MDS代码中，$α\leq r^{\lceil \sfrac{k}{r} \rceil}$。修复过程是线性和高度平行的。此外，我们表明，HTEC是第一个高速率MDS码，减少修复带宽超过一个故障。HTEC在Hadoop 3.0.0-alpha 2中的实际实现展示了其巨大的潜力。
2017-07-03 cs.DC cs.IT math.IT
Distributed Storage Codes with Repair-by-Transfer and Non-achievability of Interior Points on the Storage-Bandwidth Tradeoff
再生码是最近开发的一类用于分布式存储的码，其像里德-所罗门码一样，允许从n节点网络内的k个节点的任何子集恢复数据。然而，再生代码拥有另外，通过连接到任意子集的d节点来修复故障节点的能力。已经表明，对于功能修复的情况，每个节点存储的数据量和修复故障节点所需的带宽之间存在权衡。功能修复的一种特殊情况是精确修复，其中要求替换节点存储与故障节点中相同的数据。精确修复是令人感兴趣的，因为它大大简化了系统实现。本文的第一个结果是一个明确的，精确的修复代码的存储带宽的折衷对应的最小可能的修复带宽的情况下，当d=n-1的点。这个代码有一个特别简单的图形描述，最有趣的是，它能够通过数据传输进行精确修复，而不需要执行任何算术运算。因此才有了“转让修复”一词。本文的第二个结果表明，存储带宽权衡的内部点不能实现下精确修复，从而指出存在一个单独的权衡下精确修复。具体来说，我们确定了一组方案，称为“帮助节点池”，并表明，它是必要的，以满足这种情况下，过度约束系统。
2010-11-16 cs.DC cs.IT cs.NI
Locally Repairable Codes
用于大规模应用的分布式存储系统通常使用复制来提高可靠性。近年来，纠删码被用来减少大量的存储开销，同时提高数据的可靠性。现成的纠删码的主要限制是它们在单节点故障事件期间的高修复成本。在这个领域中的一个主要的公开问题是设计代码，使得{ \it i）}是修复有效的，并且{ \it ii）}实现任意高的数据率。在本文中，我们探讨修复度量{ \it局部性}，它对应于在一个{ \color{black}单}节点修复所需的磁盘访问的数量。根据这个指标，我们描述了一个信息理论的权衡，绑定在一起的地方，代码的距离，和每个节点的存储容量。我们证明了最优{ \it局部可修码}（LRC）的存在，实现了这种权衡。可扩展性证明使用了一个局部感知的流图小工具，这导致了一个随机的代码构造。最后，我们提出了一个最佳的和明确的LRC，实现任意高的数据速率。我们的局部最优构造是基于里德-所罗门块的简单组合。
2014-05-03 cs.DC cs.IT cs.NI
HyRES: A Hybrid Replication and Erasure Coding Approach to Data Storage
Aarhus University（奥胡斯大学）；Chocolate Cloud ApS（巧克力云有限公司）
针对分布式存储中复制与擦除编码孤立设计的局限，提出混合方案HyRES，理论分析与仿真表明其能同时实现更低存储成本、更低文件丢失概率及更低有效修复流量。
2025-11-02 cs.IT cs.NI math.IT
Reliability of Erasure Coded Storage Systems: A Geometric Approach
我们考虑的数据丢失的概率，或等效的，可靠性函数的纠删编码分布式数据存储系统在最坏的情况下的条件。纠删编码系统中的数据丢失取决于磁盘修复持续时间和磁盘故障持续时间的概率分布。在以前的工作中，这种系统的数据丢失概率已经研究了指数分布的磁盘故障和磁盘修复持续时间的假设下，使用著名的分析方法从马尔可夫过程的理论。这些方法导致的可靠性函数的积分的估计。在这里，我们解决的问题，直接计算数据丢失概率一般维修和故障持续时间分布。一个封闭的限制形式开发的数据丢失的概率，它示出的事件，修复持续时间超过故障持续时间的概率是足以表征的数据丢失概率。对于恒定的修复持续时间的情况下，我们开发了一个表达式的条件数据丢失概率给定的故障的数量由每个节点在给定的时间窗口。我们这样做，通过开发一个几何方法，依赖于计算的一个家庭的多面体的体积是相关的代码。一个精确的计算提供了一个上界的数据丢失概率是通过将问题作为一个集避免问题。理论计算与模拟结果进行了比较。
2015-08-20 cs.DC cs.IT math.IT
An Improved Cooperative Repair Scheme for Reed-Solomon Codes
Dau等人最近扩展了Guruswami和Wootters的方案（STOC'2016），以合作修复Reed-Solomon（RS）码中的两个或三个擦除。然而，他们的方案限制于$F$的特性划分扩展度$[F\!:\!B]$的情况或一些特殊的故障模式，其中$F$是RS码的基字段，而$B$是修复符号的子字段。在本文中，我们得到了一个改进的合作修复计划，消除了所有这些限制。也就是说，我们的计划适用于任何特性的$F$，可以修复所有的故障模式的两个或三个擦除。
2019-01-10 cs.IT math.IT
Explicit MDS Codes for Optimal Repair Bandwidth
MDS码是擦除校正码，其可以针对给定数目的冗余或奇偶校验符号校正最大数目的擦除。如果MDS码具有$r$奇偶校验，并且发生的擦除不超过$r$，则通过发送码中的所有剩余数据，可以恢复原始信息。然而，已经表明，为了恢复单个符号擦除，仅需要发送信息的$1/r$的一部分。这个分数被称为修复带宽（分数）。在以前的作品中给出了显式的代码构造。如果我们将代码中的每个符号视为某个字段上的向量或列，则代码形成2D数组，并且此类代码在存储系统中特别广泛使用。在本文中，我们解决以下问题：给定的列的长度$l$，奇偶校验数$r$，我们可以构造高速率的MDS阵列码的最佳修复带宽为$1/r$，其代码长度是尽可能长的？本文给出了码长为$(r+1)\log_r l$的码结构。
2014-11-24 cs.IT math.IT
Locally Repairable Codes with Functional Repair and Multiple Erasure Tolerance
考虑了分布式存储系统（DSS）中满足（r，t）-局部修复性质的[n; k]线性码的设计问题，其中任意t '（<=t）个同时失效的节点都可以局部修复，每个节点都具有局部性r.参数n、k、r、t是正整数，使得r<k<n并且t <= n-k。我们认为功能修复模型和顺序修复多个失败的节点的方法。通过功能修复，我们的意思是存储在每个新来者中的数据包不一定是丢失数据的精确副本，而是保持（r，t）-本地修复属性的符号。序贯方法是指t'个新节点按适当的顺序排列，使得每个新节点都可以从活节点和在它之前排序的新节点中修复。这种码称为（n，k，r，t）-泛函局部可修码（FLRC），是最一般的一类LRC，包含文献中报道的几个LRC子类。在本文中，我们的目标是优化FLRC的存储开销（相当于码率）。我们推导出一个下界的代码长度n给定t属于{2，3}和任何可能的k，r。当t=2时，我们的界推广了[14]中证明的速率界。当t=3时，我们的界改进了[10]中证明的速率界。当t属于{2，3}且长度n达到（n，k，r，t）-FLRC的上界时，给出了精确LRC的构造，证明了上界的紧性，同时也暗示了函数LRC的最优码长与精确LRC的最优码长在一定参数下没有差距.此外，我们的构造是在二元域上的，因此在实践中是有意义的。
2015-07-29 cs.IT math.IT
Applied Erasure Coding in Networks and Distributed Storage
数字数据量正在迅速增长。从移动设备到大规模数据中心，越来越多地使用各种各样的计算机系统，并且对于所有计算机系统的可靠操作来说重要的是减轻数字数据中的错误的发生和影响。对静止数据和传输数据的新的超快速和高度可靠的编码技术的需求是一个主要的研究挑战。可靠性是最重要的设计要求之一。提供一定程度可靠性的最简单方法是使用数据复制技术。但是，复制在容量利用率方面效率极低。因此，擦除编码已成为复制的可行替代方案，因为它提供与复制相同级别的可靠性，但存储开销显着减少。本论文研究了不同应用场合下纠删码的有效构造。编码和信息论的方法已经应用于网络编码、光分组交换（OPS）网络和分布式存储系统。提出了以下四个问题：-二进制和非二进制纠删码的构造; -由于网络编码中的编码系数而导致的报头开销的减少; -用于大规模分布式存储系统的新纠删码的构造和实现，与现有技术相比，该纠删码提供了存储和网络资源的节省;以及-当使用纠删码时，提供关于OPS网络中的服务质量（QoS）的统一视图，重点是分组丢失率（PLR）、生存性和保密性。
2018-03-04 cs.DC cs.IT math.IT
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中，出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐（IA）的概念将不需要的数据在尽可能小的空间中对齐。这里，给出了Cadambe { \it et al.}提供了线索，完善IA的情况下，我们结合阿达玛矩阵的基本性质，构建一个新的存储代码具有良好的修复性能。具体来说，我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$，其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外，单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
The repair problem for Reed-Solomon codes: Optimal repair of single and multiple erasures, asymptotically optimal node size
分布式存储中的修复问题解决了使用擦除码（例如，Reed-Solomon（RS）码）编码的数据的恢复。我们认为，在RS编码的存储系统中，使用尽可能少的节点间通信的单个节点或多个节点的修复问题。根据割集界限，使用$d$助手节点为$(n,k=n-r)$ MDS码修复$h\ge 1$故障节点的通信成本至少为$dhl/(d+h-k),$，其中$l$是节点的大小。Guruswami和Wootters（2016）发起了RS码有效修复的研究，表明它们可以使用比普通方法更小的带宽进行修复。与此同时，他们的工作以及后续论文都没有构造出满足割集上界的RS码（或任何标量MDS码）。在本文中，我们构建家庭的RS码，实现了一个或多个节点的维修割集界。在单节点的情况下，我们提出了RS码的长度$n$的字段$\mathbb{F}_{q^l},l=\exp((1+o(1))n\log n)$，满足割集界。我们还证明了一个几乎匹配的下界$l$，超指数缩放是必要的和充分的标量MDS码，以实现使用线性修复计划的割集界。对于多个节点的情况下，我们构建了一个家庭的RS码，实现切割集界普遍修复任何$h=2,3,\dots$失败的节点从任何子集的$d$助手节点，$k\le d\le n-h.$对于一个固定数量的奇偶校验$r$的节点大小构造的代码是接近最小可能的节点大小的代码具有这样的属性。
2018-05-04 cs.IT math.IT
On minimum distance of locally repairable codes
分布式和云存储系统用于可靠地存储大规模数据。擦除码最近被提出并用于现实世界的分布式和云存储系统，如Google文件系统、Microsoft Azure存储和Facebook HDFS-RAID，以提高可靠性。为了减少修复带宽和磁盘I/O，一类称为局部可修复码（LRC）的纠删码被提出，与其他纠删码相比，它具有较小的局部性。虽然LRC具有小的局部性，但与Singleton界相比，它们具有更低的最小距离。因此，寻求最大可能的最小距离LRC一直是许多最近的研究课题。在本文中，我们研究了一类LRC的最大可能的最小距离，并评估他们的可扩展性。此外，我们比较了我们的结果与文献中的存在界。
2017-02-17 cs.IT math.IT
Sparsity Exploiting Erasure Coding for Resilient Storage and Efficient I/O Access in Delta based Versioning Systems
在本文中，我们研究的问题，可靠地存储版本化数据的存档。具体来说，我们专注于存储后续版本之间的差异（增量）而不是整个对象的系统-存储版本化数据的典型模型。对于可靠性，我们提出了擦除编码技术，利用稀疏的信息的增量，同时将它们可靠地存储在一个分布式后端存储系统，从而提高I/O读取性能，检索整个版本化的档案。随着基本技术，我们提出了一些优化算法，并评估技术的有效性分析和数值模拟。
2014-11-18 cs.DC cs.IT math.IT
Rack-Aware Regenerating Codes with Multiple Erasure Tolerance
在现代分布式存储系统中，存储节点被组织在机架中，并且跨机架通信支配系统带宽。在我们研究的机架感知存储系统中，所有的存储节点都组织在机架中，每个机架内的节点可以自由地通信，而不会占用系统带宽。为了最大限度地减少单次擦除的修复带宽，提出了机架感知再生码（RRC）。在RRC的初始设置中，单个节点的修复需要包含故障节点的机架中的所有剩余节点以及不包含故障的大量辅助机架的参与。因此，在多个节点故障之前，修复可能是不可行的。在这项工作中，一个宽松的修复模型，可以容忍多个节点的故障，同时减少机架内连接和跨机架连接的建议。推导了松弛修复模型下存储带宽和修复带宽之间的权衡关系，并分别表征了最小存储和最小带宽下权衡曲线上两个端点的参数。此外，两个代码对应的极端点明确地构建在字段的大小可比的代码长度和最低的子分组。最后，为了便于实际应用，还建立了两种码的系统编码过程。
2022-05-18 cs.IT math.IT
A Solution to the Network Challenges of Data Recovery in Erasure-coded Distributed Storage Systems: A Study on the Facebook Warehouse Cluster
诸如Reed-Solomon（RS）码之类的擦除码正越来越多地用于数据中心，以对抗可靠地存储大量数据的成本。虽然这些代码提供了最佳的存储效率，但在恢复丢失数据期间，它们需要非常高的网络和磁盘使用率。在本文中，我们首先提出了一个研究的恢复操作的擦除编码的数据对数据中心网络的影响，从Facebook的生产中的仓库集群的测量为基础。据我们所知，这是文献中首次进行此类研究。我们的研究表明，恢复RS编码的数据会导致网络流量的显着增加，每天超过100 TB，在一个集群存储多个PB的RS编码的数据。为了解决这个问题，我们提出了一个新的存储代码，使用我们最近提出的“捎带”框架，理论上减少了30%的恢复过程中的网络和磁盘使用，同时也是存储最佳和支持任意的设计参数。在Hadoop分布式文件系统（HDFS）中实现拟议的代码正在进行中。我们使用仓库集群的测量结果表明，建议的代码将导致每天减少近50 TB的跨机架流量。
2013-09-01 cs.DC cs.IT cs.NI
Joint Latency and Cost Optimization for Erasure-coded Data Center Storage
现代分布式存储系统提供大容量以满足呈指数级增长的存储空间需求。他们通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时尝试满足应用程序和客户端的延迟要求。本文提供了一个有见地的上界的平均服务延迟，这样的擦除编码存储任意的服务时间分布和多个异构文件组成。结果不仅取代了已知的延迟界限，只适用于一个单一的文件或同类文件，它也使一个新的问题，联合延迟和存储成本最小化在三个维度：选择擦除码，放置编码块，优化调度策略。通过计算一系列具有可证明收敛性的凸逼近，有效地解决了这个问题。我们进一步在三个地理分布的数据中心上的开源云存储部署中原型化我们的解决方案。实验结果验证了我们的理论延迟分析，并显示显着的延迟减少，擦除编码存储的延迟成本权衡建议提供了宝贵的见解。
2014-08-05 cs.DC cs.IT math.IT
Storage and Repair Bandwidth Tradeoff for Distributed Storage Systems with Clusters and Separate Nodes
节点存储和修复带宽之间的最佳折衷是分布式存储系统（DSS）的一个重要问题。对于具有集群的现实DSS，在修复故障节点时，从集群内节点下载更多数据比从跨集群节点下载更多数据更有效。因此，区分簇内和跨簇的修复带宽是有意义的。对于集群DSS的权衡已被认为是与特殊的修复假设，其中所有的活节点被用来修复故障节点。在本文中，我们研究了更一般的存储/修复参数下的集群DSS的最佳权衡。此外，再生代码的建设策略，实现点的最佳折衷曲线提出了集群DSS与特定参数作为一个数值例子。此外，分散节点的影响的权衡也被认为是具有集群和分散的节点的DSS。
2018-03-13 cs.DC cs.IT math.IT
RADON: Repairable Atomic Data Object in Networks
擦除码为异步分布式存储系统中实现原子存储服务时降低存储和通信开销提供了一种有效的方法。在本文中，我们提供了擦除代码为基础的算法，具有额外的能力来执行后台修复崩溃的节点。处于崩溃状态的节点的修复操作在外部触发，并且由相关节点经由与系统中的其他活动节点的消息交换来执行。修复完成后，节点重新进入活动状态，并恢复参与正在进行的和未来的读取、写入和修复操作。为了同时保证活跃性和原子性，现有的作品假设存在具有稳定存储的节点，或者存在在执行期间从不崩溃的节点。这两样我们都不要求;相反，我们考虑一种自然但实际的网络稳定性条件$N1$，其仅限制在任何消息的广播期间处于崩溃/修复状态的节点的数量。我们提出了一个基于擦除码的算法$RADON_C$，它总是活的，并保证原子性，只要条件$N1$持有。在并发写入数量有限的情况下，与基于复制的算法$RADON_R$相比，$RADON_C$显著改善了存储和通信成本，基于复制的算法也在$N1$下工作。我们进一步展示了如何一个稍强的网络稳定性条件$N2$可以用来构建算法，从来没有违反原子性。原子性的保证是以在读写操作期间具有额外的阶段为代价的。
2016-11-21 cs.DC cs.IT math.IT
Minimizing the Age of Information Over an Erasure Channel for Random Packet Arrivals With a Storage Option at the Transmitter
我们考虑一个时隙通信系统由一个基站（BS）和一个用户。在每个时隙，更新分组以概率$p$到达BS，并且BS在擦除信道上以概率$q$成功地发送更新分组。我们假设BS具有单位大小的缓冲器，其中BS可以在支付存储成本$c$时存储更新分组。在信息的年龄和存储成本之间存在权衡。我们制定这种权衡作为一个马尔可夫决策过程，并找到一个最佳的开关型存储策略。
2023-01-10 cs.IT cs.NI eess.SP
Limitations on the Achievable Repair Bandwidth of Piggybacking Codes with Low Substriping
用于设计用于分布式存储的擦除码的捎带框架已被经验证明是非常有用的，并且已被用于设计具有期望属性（诸如低修复带宽和复杂度）的代码。然而，这一框架的理论属性仍然在很大程度上未被探索。我们解决这一问题，通过调整一般表征修复方案（以前用于里德所罗门码）分析背负代码低substriping。有了这个特征，我们建立了一个分离的背驮和一般擦除码，和几个不可能的结果的子类别的背驮码，对于某些参数，我们还提出了明确的，最佳的结构的背驮码。
2017-07-07 cs.IT math.IT
CausalEC: A Causally Consistent Data Storage Algorithm based on Cross-Object Erasure Coding
首次提出基于跨对象纠删码的因果一致性数据存储算法CausalEC，在异步系统中通过任意线性纠删码实现本地写操作与非阻塞读操作，兼顾活性、容错性与存储效率。
2023-05-20 cs.DC cs.IT math.IT
A Layered Architecture for Erasure-Coded Consistent Distributed Storage
受边缘计算范式的新兴应用的启发，我们引入了一个两层擦除编码的容错分布式存储系统，为读写操作提供原子访问。在边缘计算中，客户端与地理上靠近的边缘层服务器交互;边缘层又与后端服务器层交互。边缘层为客户端操作提供低延迟访问和临时存储，并使用后端层进行持久存储。我们的算法，被称为分层数据存储（LDS）算法，提供了几个功能适合边缘计算系统，工作在异步消息传递环境下，支持多个读取器和写入器，并可以容忍$f_1 < n_1/2$和$f_2 < n_2/3$崩溃故障的两个层有$n_1$和$n_2$服务器，分别。我们使用一类称为再生码的擦除码来存储后端层中的数据。选择重新生成代码，而不是像Reed-Solomon代码这样的流行选择，不仅优化了后端存储的成本，而且还有助于优化读取操作的通信成本，当值需要从后端重新创建时。两层架构允许原子性和擦除代码协议的模块化实现;擦除代码的实现主要限于两层之间的交互。我们证明了LDS的活性和原子性，并计算与读写操作相关的性能成本。此外，在运行LDS的$N$独立实例的多对象系统中，其中在执行期间的任何点处只有一小部分对象经历并发访问，总体存储成本由后端层中的持久性存储的成本主导，并且由$Θ(N)$给出。
2017-05-30 cs.DC cs.IT math.IT
On Sequential Locally Repairable Codes
本文研究了局部可修码（LRC），其目标是顺序恢复多个擦除。我们将（n，k，r，t）-SLRC（Sequential Locally Repairable Codes）定义为一个[n，k]线性码，其中任意t ′（>= t）个擦除都可以顺序地恢复，每个擦除由r（2<=r<k）个其它码符号恢复。顺序恢复意味着被擦除的符号被逐个恢复，并且已经恢复的符号可以用于恢复剩余的被擦除的符号。这种重要的恢复方法，与广泛研究的并行恢复相比，目前还远远没有理解，例如，缺乏为任意t>=3的擦除构造的代码和界来评估这样的代码的性能。我们首先推导出（n，k，r，t）-SLRC的码率的严格上界，其中t=3且r>=2。然后，我们提出了两个构造的二进制（n，k，r，t）-SLRC一般r，t>=2（现有的结构是处理t<=7擦除。第一种构造方法推广了直积构造方法。第二个构造是基于可分解的配置，并产生任何r>=2和奇数t>=3的SLRC。对于这两种构造，对于{2，3}中的t，速率是最优的，并且对于任意t>=4，速率高于大多数现有的LRC族。
2016-10-31 cs.IT math.IT
On the I/O Costs of Some Repair Schemes for Full-Length Reed-Solomon Codes
在基于擦除码的分布式存储系统中，网络传输和磁盘读取是节点故障修复过程中最耗时的操作。里德-所罗门码是实际存储系统中使用最广泛的擦除码，其最新发展表明，专门针对这些码的高效修复方案可以显着减少用于恢复单个故障的网络带宽。然而，I/O成本，即在这些修复方案中执行的磁盘读取的数量在很大程度上仍然是未知的。我们采取的第一步，以解决这个差距在文献中调查的I/O成本的一些现有的修复方案全长里德-所罗门码。
2018-05-09 cs.IT math.IT
Performance evaluation of the Mojette erasure code for fault-tolerant distributed hot data storage
数据包擦除码是当今容错分布式存储系统中复制的真正替代方案。在本文中，我们提出了基于Mojette变换（以前的层析工具）的Mojette擦除码。编码和解码的性能进行了比较，里德-所罗门代码实现的两个开源的参考库，即ISA-L和Jerasure 2.0。结果清楚地表明，我们的离散几何代码相比，经典的代数方法有更好的性能。与ISA-L Intel相比，测量的增益系数高达$2$。这些非常好的性能允许部署Mojette擦除码用于热数据分布式存储和I/O密集型应用。
2015-04-27 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性，分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码，它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上，但在大型存储网络中，同时发生两个或多个节点故障的情况并不少见。为了利用机会，同时修复多个故障节点，合作修复机制，在这个意义上，要修复的节点之间可以交换数据，进行了研究。导出了合作修复的修复带宽的一个下界，并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Minimization of Storage Cost in Distributed Storage Systems with Repair Consideration
在分布式存储系统中，不同存储节点的存储成本通常可以不同。研究了如何在给定的存储节点集合中存储文件，以使总存储开销最小。通过分析信息流图的最小割约束，确定节点存储容量的可行域。然后，存储成本最小化可以简化为线性规划问题，该问题可以容易地求解。此外，存储成本和修复带宽之间的权衡建立。
2011-07-28 cs.DC cs.IT math.IT
Codes with Unequal Disjoint Local Erasure Correction Constraints
最近，局部可修复码（LRC）的局部擦除校正约束是不平等的和不相交的已经提出。在这项工作中，我们研究了相同的主题，并提供了一些改进和额外的结果。
2017-04-07 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储，以实现高容错和低存储冗余。由于跨机架通信成本通常很高，因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中，我们分析了存储冗余和跨机架修复带宽之间的最佳权衡，专门为数据中心，受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线，并提出了一个称为机架感知再生码（RRC）的擦除码族，它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽，分别。我们证明了（i）最小存储冗余构造支持广泛的参数范围，并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽，以及（ii）最小跨架修复带宽构造支持所有参数，并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
Rack-Aware MSR Codes with Multiple Erasure Tolerance
最小存储机架感知再生（MSRR）代码是再生代码的一种变体，其实现了机架感知模型中单个节点故障的最佳修复带宽。在~ \cite{Chen-Barg2019}和~ \cite{Zhou-Zhang2021}中，作者为修复单个故障节点的所有参数提供了MSRR码的显式构造。本文将\cite{Chen-Barg2019}的结果推广到多节点失效的情况。我们提出了一类MDS阵列码和标量Reed-Solomon（RS）码，并表明这些代码具有最佳的修复带宽和容错能力的多个节点故障的机架感知存储模型。此外，我们的代码保持相同的访问级别的低访问结构在~ \cite{Chen-Barg2019}和~ \cite{Zhou-Zhang2021}。
2021-09-17 cs.IT math.IT
