Comments on CausalEC: A Causally Consistent Data Storage Algorithm Based on Cross-Object Erasure Coding
本文指出Cadambe和Lyu 2021提出的基于跨对象纠删码的因果一致性算法CausalEC，与Lyu等人2018年开发的算法本质上是相同的。
2023-05-22 cs.DC cs.IT math.IT
Tail-Erasure-Correcting Codes
针对分子数据存储等二维阵列存储范式的尾部擦除与跨行任意删除错误，本研究提出近乎最优的编码方案及编解码器，可有效缓解错误，推动新兴存储平台应用。
2024-08-31 cs.IT math.IT
HyRES: A Hybrid Replication and Erasure Coding Approach to Data Storage
针对分布式存储中复制与擦除编码孤立设计的局限，提出混合方案HyRES，理论分析与仿真表明其能同时实现更低存储成本、更低文件丢失概率及更低有效修复流量。
2025-11-02 cs.IT cs.NI math.IT
Erasure codes with symbol locality and group decodability for distributed storage
本文提出了一种新的用于分布式存储系统的纠删码，称为组可解码码（GDC）。给定一组设计参数{α; β; k; t}，其中k是信息符号的数量，（α; β; k; t）组可解码码的每个码字是称为桶的串的t元组，使得每个桶是β符号的串，其是[β; α] MDS码（其从α信息符号编码）的码字。这类代码有以下两个性质：（P1）局部可修复：每个代码符号都有局部性（α; β-α+ 1）。(P2)组可解码：从每个桶中，我们可以解码α信息符号。对任意给定的{α; β; k; t}集，建立了（α; β; k; t）-群可译码码的最小距离的上界，并证明了当编码域F的大小为|F| > n-1 \choose k-1时，该上界是可达到的.
2015-07-29 cs.IT math.IT
Comparing cost and performance of replication and erasure coding
数据存储系统比其单个组件更可靠。为了用不太可靠的部件构建高度可靠的系统，系统引入了冗余。在复制系统中，对象只是复制几次，每次复制都驻留在不同的物理设备上。虽然这样的方法简单且直接，但是诸如擦除编码之类的更精细的方法可以在使用较少冗余的同时实现等同级别的数据保护。本报告探讨了复制存储系统和擦除编码存储系统之间的成本和性能权衡。
2013-08-12 cs.IT math.IT
Service Rate Region of Content Access from Erasure Coded Storage
我们考虑其中$K$文件存储在$N$节点上的存储系统。节点对于特定文件可以是系统性的，在某种意义上，对节点的访问给予对文件的访问。可替代地，节点可以被编码，这意味着它仅在与其他节点（其可以被编码或系统化）组合时才给予对特定文件的访问。对文件$f_k$的请求以速率$λ_k$到达，我们对特定系统可以提供的速率感兴趣。在本文中，我们确定了一个$3$文件编码存储系统的请求到达率的集合。我们还提供了一个算法，以最大限度地提高速度的请求服务的文件$K$给定$λ_1,\dots, λ_{K-1}$在一般的$K$文件的情况下。
2019-01-08 cs.IT math.IT
Modeling and Optimization of Latency in Erasure-coded Storage Systems
随着消费者越来越多地参与社交网络和电子商务活动，企业越来越依赖大数据分析来获取智能，传统IT基础设施继续迁移到云和边缘，这些趋势导致分布式数据存储需求以前所未有的速度增长。擦除编码已经迅速成为一种有前途的技术，可以降低存储成本，同时提供与复制系统类似的可靠性，被Facebook、微软和谷歌等公司广泛采用。然而，它也带来了新的挑战，在表征和优化访问延迟时，纠删码用于分布式存储。这本专著的目的是提供一个审查的最新进展（理论和实践）的系统，采用纠删码的分布式存储。在本专题中，我们将首先确定研究问题的关键挑战和分类，然后概述已开发的不同方法来量化和建模擦除编码存储的延迟。这包括最近利用MDS保留、Fork-Join、Probably和延迟重新启动调度策略的工作，以及它们用于表征访问延迟的应用（例如，平均值、尾部、渐近延迟）。我们还将把这个问题扩展到用户从擦除编码的分布式存储系统中流式传输视频的情况。接下来，我们将弥合理论和实践之间的差距，并讨论从原型实现中吸取的经验教训。特别地，我们将讨论擦除编码存储的示例性实现，阐明关键设计的自由度自由度和权衡，并总结现实世界的存储系统中剩余的挑战，如内容交付和缓存。在每一章的最后讨论了未来研究的开放问题。
2020-05-21 cs.DC cs.IT cs.NI
Applied Erasure Coding in Networks and Distributed Storage
数字数据量正在迅速增长。从移动设备到大规模数据中心，越来越多地使用各种各样的计算机系统，并且对于所有计算机系统的可靠操作来说重要的是减轻数字数据中的错误的发生和影响。对静止数据和传输数据的新的超快速和高度可靠的编码技术的需求是一个主要的研究挑战。可靠性是最重要的设计要求之一。提供一定程度可靠性的最简单方法是使用数据复制技术。但是，复制在容量利用率方面效率极低。因此，擦除编码已成为复制的可行替代方案，因为它提供与复制相同级别的可靠性，但存储开销显着减少。本论文研究了不同应用场合下纠删码的有效构造。编码和信息论的方法已经应用于网络编码、光分组交换（OPS）网络和分布式存储系统。提出了以下四个问题：-二进制和非二进制纠删码的构造; -由于网络编码中的编码系数而导致的报头开销的减少; -用于大规模分布式存储系统的新纠删码的构造和实现，与现有技术相比，该纠删码提供了存储和网络资源的节省;以及-当使用纠删码时，提供关于OPS网络中的服务质量（QoS）的统一视图，重点是分组丢失率（PLR）、生存性和保密性。
2018-03-04 cs.DC cs.IT math.IT
Regenerating Codes for Errors and Erasures in Distributed Storage
再生码是为保证分布式存储系统中数据的可靠性和故障节点的有效修复而提出的一类编码。在本文中，我们解决的基本问题，处理错误和擦除过程中的数据重建和节点修复操作。我们提供了明确的再生代码，是弹性的错误和擦除，并表明这些代码是最佳的存储和带宽要求。作为一个特殊的情况下，我们还建立了一类分布式存储系统的恶意对手的存在下的能力。虽然我们的代码结构是基于以前构建的产品矩阵码，我们也提供了必要和充分的条件引入弹性在任何再生代码。
2012-05-23 cs.DC cs.IT cs.NI
Sparsity Exploiting Erasure Coding for Resilient Storage and Efficient I/O Access in Delta based Versioning Systems
在本文中，我们研究的问题，可靠地存储版本化数据的存档。具体来说，我们专注于存储后续版本之间的差异（增量）而不是整个对象的系统-存储版本化数据的典型模型。对于可靠性，我们提出了擦除编码技术，利用稀疏的信息的增量，同时将它们可靠地存储在一个分布式后端存储系统，从而提高I/O读取性能，检索整个版本化的档案。随着基本技术，我们提出了一些优化算法，并评估技术的有效性分析和数值模拟。
2014-11-18 cs.DC cs.IT math.IT
Joint Latency and Cost Optimization for Erasure-coded Data Center Storage
现代分布式存储系统提供大容量以满足呈指数级增长的存储空间需求。他们通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时尝试满足应用程序和客户端的延迟要求。本文提供了一个有见地的上界的平均服务延迟，这样的擦除编码存储任意的服务时间分布和多个异构文件组成。结果不仅取代了已知的延迟界限，只适用于一个单一的文件或同类文件，它也使一个新的问题，联合延迟和存储成本最小化在三个维度：选择擦除码，放置编码块，优化调度策略。通过计算一系列具有可证明收敛性的凸逼近，有效地解决了这个问题。我们进一步在三个地理分布的数据中心上的开源云存储部署中原型化我们的解决方案。实验结果验证了我们的理论延迟分析，并显示显着的延迟减少，擦除编码存储的延迟成本权衡建议提供了宝贵的见解。
2014-08-05 cs.DC cs.IT math.IT
Minimizing the Age of Information Over an Erasure Channel for Random Packet Arrivals With a Storage Option at the Transmitter
我们考虑一个时隙通信系统由一个基站（BS）和一个用户。在每个时隙，更新分组以概率$p$到达BS，并且BS在擦除信道上以概率$q$成功地发送更新分组。我们假设BS具有单位大小的缓冲器，其中BS可以在支付存储成本$c$时存储更新分组。在信息的年龄和存储成本之间存在权衡。我们制定这种权衡作为一个马尔可夫决策过程，并找到一个最佳的开关型存储策略。
2023-01-10 cs.IT cs.NI eess.SP
CausalEC: A Causally Consistent Data Storage Algorithm based on Cross-Object Erasure Coding
首次提出基于跨对象纠删码的因果一致性数据存储算法CausalEC，在异步系统中通过任意线性纠删码实现本地写操作与非阻塞读操作，兼顾活性、容错性与存储效率。
2023-05-20 cs.DC cs.IT math.IT
A Layered Architecture for Erasure-Coded Consistent Distributed Storage
受边缘计算范式的新兴应用的启发，我们引入了一个两层擦除编码的容错分布式存储系统，为读写操作提供原子访问。在边缘计算中，客户端与地理上靠近的边缘层服务器交互;边缘层又与后端服务器层交互。边缘层为客户端操作提供低延迟访问和临时存储，并使用后端层进行持久存储。我们的算法，被称为分层数据存储（LDS）算法，提供了几个功能适合边缘计算系统，工作在异步消息传递环境下，支持多个读取器和写入器，并可以容忍$f_1 < n_1/2$和$f_2 < n_2/3$崩溃故障的两个层有$n_1$和$n_2$服务器，分别。我们使用一类称为再生码的擦除码来存储后端层中的数据。选择重新生成代码，而不是像Reed-Solomon代码这样的流行选择，不仅优化了后端存储的成本，而且还有助于优化读取操作的通信成本，当值需要从后端重新创建时。两层架构允许原子性和擦除代码协议的模块化实现;擦除代码的实现主要限于两层之间的交互。我们证明了LDS的活性和原子性，并计算与读写操作相关的性能成本。此外，在运行LDS的$N$独立实例的多对象系统中，其中在执行期间的任何点处只有一小部分对象经历并发访问，总体存储成本由后端层中的持久性存储的成本主导，并且由$Θ(N)$给出。
2017-05-30 cs.DC cs.IT math.IT
A Non-MDS Erasure Code Scheme For Storage Applications
本文研究了在分布式存储系统中使用冗余和自修复对节点故障，使用各种策略。在复制方法中，访问一个复制节点是足够的，以重建一个丢失的节点，而在MDS纠删编码系统，这是最佳的冗余可靠性权衡方面，一个单一的节点故障后，恢复整个存储的数据进行修复。此外，再生代码产生的存储容量和修复带宽之间的权衡曲线。本文旨在研究一种新的存储码。具体来说，我们提出了一个非MDS（2k，k）代码，容忍任何三个节点的故障，更重要的是，它是使用我们的代码，一个单一的节点故障可以通过访问只有三个节点进行修复。
2011-09-21 cs.DC cs.IT cs.NI
On the Capacity of Erasure-prone Quantum Storage with Erasure-prone Entanglement Assistance
University of North Texas（北德克萨斯大学）；University of California Irvine（加州大学尔湾分校）
研究了有擦除倾向量子存储容量，考虑擦除倾向的存储节点和纠缠辅助节点，提出容量表征方法并分析了不同擦除情况下的容量限制。
2025-12-08 cs.IT math.IT quant-ph
Taming Tail Latency for Erasure-coded, Distributed Storage Systems
分布式存储系统在响应时间上易受长尾效应的影响。在Bing、Facebook和Amazon等现代在线存储系统中，服务延迟的长尾特别值得关注。其中第99.9百分位响应时间是比平均值差的数量级。由于纠删码作为一种流行的技术出现，以实现分布式存储中的高数据可靠性，同时获得空间效率，驯服尾部延迟仍然是一个开放的问题，由于缺乏数学模型来分析这样的系统。为此，我们提出了一个框架，用于量化和优化尾部延迟擦除编码存储系统。特别是，我们推导出上界尾延迟在封闭的形式为任意服务时间分布和异构文件。基于该模型，我们制定了一个优化问题，以共同最大限度地减少加权延迟尾概率的所有文件在服务器上的文件的位置，并选择服务器访问所请求的文件。使用高效的交替优化算法来解决非凸问题。数值结果表明，擦除编码的存储系统与现实的工作负载的尾部延迟显着减少。
2017-03-24 cs.DC cs.IT cs.NI
Erasure codes with simplex locality
我们专注于分布式存储的纠删码。分布式存储设置由于对解码器的容易修复要求而强加局部性要求。我们首先建立的代码的生成矩阵方面的各种局部性的特性。这些导致了局部性的界限和最优性的概念。然后，我们研究了一个家庭的非二进制码的单形结构的局部性。我们研究了它们的最优性，并设计了几种易于修复的解码方法。特别是，我们表明，任何可纠正的擦除模式可以解决容易修复。
2014-03-12 cs.IT math.IT
Multi-Erasure Locally Recoverable Codes Over Small Fields
擦除码在存储系统中起着防止数据丢失的重要作用。在这项工作中，我们研究了一类擦除码称为多擦除本地可恢复码（ME-LRC）的存储阵列。与以前的相关工作相比，我们专注于小领域的ME-LRC的建设。我们首先开发的最小距离的ME-LRC的上限和下限。我们的主要贡献是提出了一种基于广义张量积码的ME-LRC的一般构造，并研究了其纠删性质。给出了一种适合于擦除恢复的解码算法，并确定了可校正的擦除模式。然后，我们证明了我们的建设产生最佳的ME-LRC与广泛的代码参数，并提出了一些明确的ME-LRC在小领域。最后，我们证明了广义综合交织（GII）码可以被视为广义张量积码的一个子类，从而定义了这些码之间的确切关系。
2017-09-28 cs.IT math.IT
Rack-Aware Regenerating Codes with Multiple Erasure Tolerance
在现代分布式存储系统中，存储节点被组织在机架中，并且跨机架通信支配系统带宽。在我们研究的机架感知存储系统中，所有的存储节点都组织在机架中，每个机架内的节点可以自由地通信，而不会占用系统带宽。为了最大限度地减少单次擦除的修复带宽，提出了机架感知再生码（RRC）。在RRC的初始设置中，单个节点的修复需要包含故障节点的机架中的所有剩余节点以及不包含故障的大量辅助机架的参与。因此，在多个节点故障之前，修复可能是不可行的。在这项工作中，一个宽松的修复模型，可以容忍多个节点的故障，同时减少机架内连接和跨机架连接的建议。推导了松弛修复模型下存储带宽和修复带宽之间的权衡关系，并分别表征了最小存储和最小带宽下权衡曲线上两个端点的参数。此外，两个代码对应的极端点明确地构建在字段的大小可比的代码长度和最低的子分组。最后，为了便于实际应用，还建立了两种码的系统编码过程。
2022-05-18 cs.IT math.IT
A Tight Rate Bound and a Matching Construction for Locally Recoverable Codes with Sequential Recovery From Any Number of Multiple Erasures
如果$\mathcal{C}$的每个$n$代码符号可以通过访问至多$r$其它代码符号来恢复，则在存在单个擦除并且具有局部参数$r$的情况下，$[n,k]$代码$\mathcal{C}$被称为是局部可恢复的。如果对于任何一组$s \leq t$擦除，存在$s$步骤顺序恢复过程，其中在每一步，通过访问至多$r$其它代码符号来恢复单个擦除符号，则$[n,k]$代码被称为具有从$t$擦除的顺序恢复的本地可恢复代码。这等同于对于任何一组$s \leq t$擦除，双码包含一个码字，该码字的支持包含恰好一个$s$擦除符号的坐标。本文对任意的擦除次数$t$和任意的局部性参数$r \geq 3$，导出了这种码的速率的一个严格上界。这一界限证明了宋、蔡和袁的一个早期猜想。尽管该界限是有效的，而与在其上定义代码的字段无关，但是也提供了速率最优的{ \em binary}代码的匹配构造，同样对于任何$t$值和任何$r\geq3$值。
2017-02-17 cs.IT math.IT
Information-theoretically Secure Erasure Codes for Distributed Storage
分布式存储系统中的修复操作可能会将数据暴露给被动窃听者或主动攻击者的恶意行为，这可能对系统的安全性有害。本文提出了擦除码和修复算法，以确保在存在被动窃听者和主动对手的数据的安全性，同时保持系统的高可用性，可靠性和效率。我们的代码是最佳的，因为它们满足以前提出的下限的存储，网络带宽和可靠性的要求范围广泛的系统参数。因此，我们的研究结果建立这样的系统的能力。我们的代码，从积极的对手的安全提供了一个额外的吸引人的功能“按需安全”，所需的安全级别可以单独选择每个实例的修复，我们的算法保持最佳同时为所有可能的水平。本文还提供了必要和充分条件，管理任何（不安全）的代码转换成一个提供按需安全。
2015-08-16 cs.CR cs.IT math.IT
Storage Coding for Wear Leveling in Flash Memories
闪存是由单元块组成的非易失性计算机存储器，其中每个单元被实现为NAND或NOR浮栅。NAND闪存是目前使用最广泛的闪存类型。在NAND闪存中，每个单元块都由许多页组成;即使重写单个页也需要擦除和重新编程整个块。块擦除决定了闪存的寿命和效率。因此，当NAND闪存中的数据被重组时，最小化实现期望的数据移动所需的块擦除的总数是重要的目标。这就引出了本文研究的闪存数据移动问题。我们表明，编码可以显着减少数据移动所需的块擦除的数量，并提出了几个最佳或接近最佳的数据移动算法的基础上，从编码理论和组合学的想法。特别是，我们表明，排序为基础的（非编码）计划至少需要O（nlogn）擦除n块之间移动数据，而编码为基础的计划只需要O（n）擦除。此外，基于编码的方案仅使用一个辅助块，这是最好的可能，并且在n+1个块中的每个块中的擦除的数量之间实现良好的平衡。
2009-11-20 cs.IT math.IT
Storage-Optimized Data-Atomic Algorithms for Handling Erasures and Errors in Distributed Storage Systems
在大规模异步分布式存储系统中实现原子存储对象的背景下，擦除码越来越多地被研究。与传统的基于复制的方案相比，纠删码具有显著降低存储和通信成本的潜力，同时保证所需的弹性水平。在这项工作中，我们提出了一种用于在多作者多读者环境中实现原子内存对象的优化数据原子（SODA）算法。SODA使用最大距离可分离（MDS）码，专门设计用于优化给定容错要求的总存储成本。为了容忍$n$ -服务器系统中的$f$服务器崩溃，SODA使用具有$k=n-f$的$[n, k]$ MDS代码，并且招致$\frac{n}{n-f}$的总存储成本。SODA是在可靠的点对点通信信道的假设下设计的。写操作和读操作的通信成本分别由$O(f^2)$和$\frac{n}{n-f}(δ_w+1)$给出，其中$δ_w$表示与特定读操作并发的写操作的数量。与同样使用MDS码的CASGC算法相比，SODA算法具有更低的存储开销和更高的通信开销。我们还提出了SODA的修改，称为SODA $_{\text{err}}$，处理的情况下，一些服务器可以返回错误的编码元素在读取操作。具体地，为了容忍$f$服务器故障和$e$易于出错的编码元素，SODA $_{\text{err}}$算法使用$[n, k]$ MDS码，使得$k=n-2e-f$。SODA $_{\text{err}}$还保证了活性和原子性，同时保持了$\frac{n}{n-f-2e}…
2016-05-05 cs.DC cs.IT math.IT
Founsure 1.0: An Erasure Code Library with Efficient Repair and Update Features
Foundure是一个开源的软件库，它实现了完全基于快速异或（XOR）逻辑的多维基于图的擦除编码。它的实现利用编译器优化和多线程来为给定的具有向量处理能力的多核CPU架构生成正确的汇编代码。Foundure具有重要的功能，这些功能将在现代数据存储、通信和联网计算机系统中找到各种应用，其中数据需要保护以防止设备、硬件和节点故障。随着数据规模达到前所未有的水平，这些系统对网络带宽、计算资源和平均功耗的需求越来越大。为了解决这一问题，所提出的库提供了一个三维设计空间，该空间权衡了计算复杂性、编码开销和数据/节点修复带宽，以满足现代分布式数据存储和处理系统的不同要求。Foundure库支持高效的编码、解码、修复/重建和更新，同时所有所需的数据存储和计算都分布在网络节点上。
2021-01-13 cs.IT math.IT
Locally Repairable Codes with Unequal Local Erasure Correction
当分布式存储系统中的节点发生故障时，需要及时修复以保持系统的完整性。虽然典型的纠删码可以提供优于复制的显著存储优势，但是它们遭受较差的修复效率。局部可修复码（LRC）通过减少参与修复过程（局部性）的节点数量来解决这个问题，代价是减少最小距离。在本文中，我们研究了局部码具有任意距离要求的LRC的局部性和最小距离之间的权衡。与现有的方法，其中每个节点上施加的本地和本地距离的要求是相同的，我们允许的要求从节点到节点任意变化。这样的属性对于具有非均匀特性的分布式存储系统可以是有利的。我们提出了Singleton型距离上界，并提供了一个最佳的代码建设这些界限。此外，可行速率区域的特征在于不依赖于距离的维数上界。
2018-07-07 cs.IT math.IT
Compressed Differential Erasure Codes for Efficient Archival of Versioned Data
在本文中，我们研究了在分布式存储系统中以可靠和有效的方式存储版本化数据存档的问题。我们提出了一种新的存储技术，称为差分擦除编码（DEC），其中存储的是后续版本之间的差异（增量），而不是整个对象，类似于一个典型的增量编码技术。然而，与增量编码技术不同，DEC机会主义地利用稀疏性（即，当两个连续版本之间的差异具有很少的非零条目时）在更新中使用与擦除编码一起应用的压缩感测技术来存储增量。我们首先表明，DEC提供了显着的节省版本化数据的存储大小时，更新模式的特点是就地更改。随后，我们提出了一个实用的DEC框架，以获得存储大小的好处，不仅对就地更改，而且对现实世界的更新模式，如插入和删除，改变整体数据大小。我们进行实验与几个合成的工作负载，以证明DEC的实际变体提供了显着减少存储开销（高达60\%，取决于工作负载）相比，基线存储系统，它采用了从Rsync，增量编码技术的概念，存储和同步数据在网络上。
2015-03-17 cs.DC cs.IT math.IT
Harnessing Correlations in Distributed Erasure-Coded Key-Value Stores
受分布式存储系统应用于键值存储的启发，多版本编码问题被公式化以有效地在异步分散存储系统中存储频繁更新的数据。受分布式系统中一致性要求的启发，多版本编码问题的主要目标是确保数据的最新版本是可解码的，即使数据更新尚未到达系统中的某些服务器。在本文中，我们研究的存储成本，确保一致性的情况下，数据版本是相关的，在以前的工作中，数据版本被视为独立的。我们提供了多版本的代码结构，表明存储成本可以显着小于以前的结构，这取决于相关程度，尽管是分布式和分散的性质。我们的可实现性结果基于里德-所罗门码和随机分组。通过信息理论的逆，我们表明，我们的多版本代码是接近最优的，在$2$的一个因素，在某些有趣的制度。
2019-03-09 cs.IT math.IT
Hierarchical Erasure Correction of Linear Codes
有限扩域上的线性码在理论和实际中有着广泛的应用。在某些情况下，解码器具有对码字符号的顺序存取，从而产生分层擦除结构。在本文中，我们开发了一个数学框架的层次擦除扩展字段，提供了几个界限和建设，并讨论了潜在的应用在分布式存储和闪存。我们的研究结果表明，密切的联系，普遍可解码矩阵，以及Reed-Solomon和Gabidulin码。
2019-10-22 cs.IT math.IT
Harnessing Correlations in Distributed Erasure Coded Key-Value Stores
受分布式存储系统应用于基于云的键值存储的启发，多版本编码问题最近已经被制定为在异步分散存储系统中有效地存储频繁更新的数据。受分布式系统中一致性要求的启发，多版本编码的主要目标是确保数据的最新版本是可解码的，即使数据更新尚未到达系统中的某些服务器。在本文中，我们研究的存储成本，确保一致性的情况下，数据版本是相关的，在以前的工作中，数据版本被视为独立的。我们提供了多版本的代码结构，表明存储成本可以显着小于以前的结构，这取决于不同版本的数据之间的相关程度。我们的可实现性结果基于里德-所罗门码和随机分组。通过信息论的逆，我们表明，我们的多版本码在某些制度是接近最优的。
2019-03-09 cs.IT math.IT
Enabling Node Repair in Any Erasure Code for Distributed Storage
与数据复制相比，擦除码是跨网络存储数据的有效手段，因为它们倾向于减少存储在网络中的数据量，并在存在节点故障的情况下提供增加的弹性。但是，当需要修复故障节点时，这些代码的性能很差，因为它们通常需要下载整个文件来修复故障节点。最近引入了一类新的擦除码，称为再生码，在这方面做得更好。然而，考虑到文献中可用的各种高效纠删码，人们对构建编码方案非常感兴趣，该编码方案将使传统纠删码能够被使用，同时保留仅需要下载一小部分数据用于节点修复的特征。在本文中，我们提出了一个简单而强大的框架，正是这样做的。在此框架下，节点被划分为两个“类型”，并使用两个代码的方式，减少了节点修复的问题，组成代码的擦除解码的编码。根据两个代码的选择，该框架可以用于利用以下优点中的一个或多个：同时最小化存储空间和修复带宽，操作的低复杂性，在修复期间在助手节点处的较少的磁盘读取，以及错误检测和校正。
2011-06-30 cs.DC cs.IT cs.NI
An Upper Bound to the Undetected Error Exponent with Erasure Decoding at Positive Rates
University of Cambridge（剑桥大学）；University of Brescia（布雷西亚大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
该研究针对离散无记忆信道带删除译码的未检测错误指数问题，采用Somekh-Baruch的带助手辅助论证推导正码率下的上界，可恢复Telatar的紧码率零 converse，数值示例显示其对直线界的改进严格。
2026-10-14 cs.IT math.IT
Secure Erasure Codes With Partial Decodability
MDS属性（也称为$k$外的$k$属性）要求，如果文件被分割成几个符号并随后编码成$n$编码符号，每个符号存储在分布式存储系统（DSS）的一个存储节点中，则用户可以通过访问任何$k$节点来恢复文件。我们研究了所谓的$p$ -可解码$μ$ -安全纠删编码方案$(1 \leq p \leq k - μ, 0 \leq μ< k, p | (k-μ))$，它满足MDS性质和以下附加性质：（P1）强安全达到一个阈值：窃听大多数$μ$存储节点的攻击者不会获得任何信息（P2）部分可解码：合法用户可以通过访问某些$μ+ p$存储节点来恢复$p$文件符号的子集。该方案是完全$p$ -可解码$μ$ -安全的，如果它满足以下附加性质：（P3）弱安全到阈值：窃听多于$μ$但少于$μ+p$存储节点的攻击者不能重建文件的任何部分.文献中的大多数相关工作仅集中于病例$p = k - μ$。换句话说，不提供部分可解码性：用户不能通过访问少于$k$的节点来检索文件的任何部分。我们为所有$μ$和$p$在小域上提供了一个明确的$p$ -可解码$μ$ -安全编码方案的构造.当$p = 1$（对于每个$μ$）和当$μ= 0, 1$（对于每个$p$）时，该构造还在小字段上产生完全$p$可解码的$μ$安全方案.我们建立了几乎所有的$μ$和$p$在\emph{sufficiently large}域上都存在完美方案。
2014-10-13 cs.IT math.IT
Optimizing QoS for Erasure-Coded Wireless Data Centers
云计算便于分布式存储系统从任何位置访问应用程序和数据。擦除码提供了更好的数据复制技术，降低了存储成本，提高了可靠性。本文研究了无线网络中具有多个服务器的擦除编码数据中心，其中每个服务器都配有一个基站。文件检索过程中延迟的原因主要是由于每个服务器的排队延迟。本文提出了一个随机优化框架，用于获得最优的调度策略，最大限度地提高用户的服务质量（QoS），同时坚持的延迟要求。我们进一步表明，该问题的目标和约束的期望值的非线性函数，是不可能解决的传统SGD类算法。我们提出了一个新的算法，解决组成结构的问题。此外，我们表明，该算法实现了更快的收敛速度比最知名的结果。最后，我们在模拟环境中测试所提出的方法的有效性。
2021-02-03 cs.IT math.IT
Optimal Rebuilding of Multiple Erasures in MDS Codes
MDS阵列码由于其计算高效的编码和解码过程而广泛用于存储系统中。具有$r$冗余节点的MDS代码可以通过访问幸存节点中的所有剩余信息来纠正任何$r$节点擦除。然而，在实践中，对于$1\le e<r$，$e$擦除是更可能的失败事件。因此，一个自然的问题是，我们需要访问多少信息才能重建$e$存储节点？我们将重建率定义为在重建$e$擦除期间访问的剩余信息的分数。在我们以前的工作中，我们构造了MDS码，称为之字形码，实现了最佳的重建率的$1/r$的任何系统节点的重建时，$e=1$，然而，所有的信息需要访问重建的奇偶校验节点擦除。（归一化）修复带宽被定义为在重建过程中从剩余节点传输的信息的分数。对于不一定是MDS的代码，Dimakis等人提出了再生代码框架，其中任何$r$擦除都可以通过访问一些剩余信息来纠正，并且任何$e=1$擦除都可以从具有最佳修复带宽的幸存节点的一些子集重建。在这项工作中，我们研究了3个问题的重建代码：（i）我们显示了一个基本的权衡之间的存储大小的节点和修复带宽类似的再生代码框架，并显示锯齿形码实现最佳的重建率的$e/r$的MDS码，对于任何$1\le e\le r$。(ii)我们构造系统的代码，实现最佳重建率的$1/r$，任何系统或奇偶校验节点擦除。(iii)我们提出了锯齿形码的纠错算法，特别是演示了如何这些代码可以纠正超出其最小汉明距离。
2016-03-03 cs.IT math.IT
When Do WOM Codes Improve the Erasure Factor in Flash Memories?
闪存是一种只写一次的介质，其中对单元进行重新编程需要首先擦除包含它们的块。闪存的寿命是块擦除次数的函数，可以小到几千次。为了减少块擦除的数量，作为最小写入单元的页在存储器中被重写。一次写入存储器（WOM）代码是一种编码方案，其使得能够在擦除之前多次写入块。然而，这些代码具有显著的速率损失。例如，写入两次的速率（具有相同的速率）最多为0.77。在本文中，我们研究WOM码和他们之间的权衡率损失和减少块擦除的数量，当页面均匀随机写入。首先，我们引入了一个新的措施，称为擦除因子，它反映了块擦除的数量和每个块上可以写入的数据量。在我们的分析中的一个关键点是，这种权衡取决于内存中的WOM代码的具体实现。我们考虑两个系统，使用WOM代码，一个传统的计划，通常使用，和一个新的最近的设计，保留了整体的存储容量。虽然第一个系统可以提高擦除因子，只有当存储速率是最多0.6442，我们表明，第二个方案总是提高这个品质因数。
2015-04-22 cs.IT math.IT
On the Service Capacity Region of Accessing Erasure Coded Content
云存储系统通常在存储内容文件时添加冗余，使得$K$文件被复制或擦除编码并存储在$N > K$节点上。除了提供针对故障的可靠性之外，冗余副本还可以用于服务更大量的内容访问请求。可以将对其中一个文件的请求发送到系统节点或其中一个修复组。在本文中，我们寻求最大限度地提高服务能力的区域，也就是说，一组的请求到达率的$K$文件，可以支持的编码存储系统。我们探讨这个问题的两个方面：1）对于一个给定的擦除码，如何最佳地分割系统节点和修复组之间的传入请求，以及2）选择一个底层的擦除码，最大限度地提高可实现的服务容量区域。特别是，我们考虑MDS和单纯形码。我们的分析表明，纠删编码使系统更强大的倾斜文件的普及比简单地复制一个文件在多个服务器上，编码和复制一起可以使容量区域大于单独。
2017-10-10 cs.IT math.IT
Error characterization and error correction approaches in combinatorial DNA-based storage
Reichman University（雷希曼大学）；Technion - Israel Institute of Technology（以色列理工学院）；University of California San Diego（加州大学圣迭戈分校）
本研究针对组合DNA存储的不对称删除错误，开发了结合张量积码的新型纠错码，其在低测序深度场景下的解码准确率优于二维RS码。
2026-08-11 cs.IT math.IT
A Solution to the Network Challenges of Data Recovery in Erasure-coded Distributed Storage Systems: A Study on the Facebook Warehouse Cluster
诸如Reed-Solomon（RS）码之类的擦除码正越来越多地用于数据中心，以对抗可靠地存储大量数据的成本。虽然这些代码提供了最佳的存储效率，但在恢复丢失数据期间，它们需要非常高的网络和磁盘使用率。在本文中，我们首先提出了一个研究的恢复操作的擦除编码的数据对数据中心网络的影响，从Facebook的生产中的仓库集群的测量为基础。据我们所知，这是文献中首次进行此类研究。我们的研究表明，恢复RS编码的数据会导致网络流量的显着增加，每天超过100 TB，在一个集群存储多个PB的RS编码的数据。为了解决这个问题，我们提出了一个新的存储代码，使用我们最近提出的“捎带”框架，理论上减少了30%的恢复过程中的网络和磁盘使用，同时也是存储最佳和支持任意的设计参数。在Hadoop分布式文件系统（HDFS）中实现拟议的代码正在进行中。我们使用仓库集群的测量结果表明，建议的代码将导致每天减少近50 TB的跨机架流量。
2013-09-01 cs.DC cs.IT cs.NI
Rack-Aware MSR Codes with Multiple Erasure Tolerance
最小存储机架感知再生（MSRR）代码是再生代码的一种变体，其实现了机架感知模型中单个节点故障的最佳修复带宽。在~ \cite{Chen-Barg2019}和~ \cite{Zhou-Zhang2021}中，作者为修复单个故障节点的所有参数提供了MSRR码的显式构造。本文将\cite{Chen-Barg2019}的结果推广到多节点失效的情况。我们提出了一类MDS阵列码和标量Reed-Solomon（RS）码，并表明这些代码具有最佳的修复带宽和容错能力的多个节点故障的机架感知存储模型。此外，我们的代码保持相同的访问级别的低访问结构在~ \cite{Chen-Barg2019}和~ \cite{Zhou-Zhang2021}。
2021-09-17 cs.IT math.IT
On Epsilon-MSCR Codes for Two Erasures
协作再生码是设计用于在多个节点故障的情况下权衡存储和修复带宽的再生码。最小存储协作再生码是一类实现折衷最小存储点的协作再生码。最近，已经为所有可能的参数$(n,k,d,h)$构造了这些代码，其中通过联系任何$d$幸存节点来修复$h$擦除。然而，这些构造具有非常大的子分组化。$ε$ -MSR码是为了在单节点故障的情况下稍微增加修复带宽而引入的折衷子分组化级别的一类码。我们介绍了框架的$ε$ -MSCR代码，允许一个类似的权衡的情况下，多个节点故障。通过级联一类MSCR码和标量线性码，构造了一种能够从两个节点故障中恢复的$ε$ -MSCR码。我们给出了一个修复过程中修复的$ε$ -MSCR码在两个节点的故障，并计算相同的修复带宽。我们的特点是增加修复带宽所引起的方法相比，最佳的修复带宽给出的割集界。最后，我们展示了$ε$ -MSCR码的子分组化水平在节点数量上的几何尺度。
2019-01-28 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储，以实现高容错和低存储冗余。由于跨机架通信成本通常很高，因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中，我们分析了存储冗余和跨机架修复带宽之间的最佳权衡，专门为数据中心，受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线，并提出了一个称为机架感知再生码（RRC）的擦除码族，它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽，分别。我们证明了（i）最小存储冗余构造支持广泛的参数范围，并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽，以及（ii）最小跨架修复带宽构造支持所有参数，并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
The MDS Queue: Analysing the Latency Performance of Erasure Codes
为了经济地扩展，数据中心越来越多地将其数据存储方法从使用简单的数据复制发展到使用更强大的擦除码，擦除码提供与复制相同的可靠性水平，但存储成本显著降低。特别地，众所周知，最大距离可分离（MDS）码，例如里德-所罗门码，提供最大存储效率。虽然在档案存储系统中使用代码来提供改进的可靠性是很好理解的，在档案存储系统中，数据被不太频繁地访问（或所谓的“冷数据”），但是代码在更频繁地访问和活动的“热数据”的存储中的作用不太清楚，在档案存储系统中，延迟是关键度量。本文从排队论的角度对基于MDS码的数据存储系统进行了研究，称之为“MDS排队”。“我们分析了MDS队列的（平均）延迟性能，为此我们提出了有见地的调度策略，这些策略形成了性能的上限和下限，并且被观察到非常严格。还提供了大量的模拟，并用于验证我们的理论分析。我们还采用MDS队列的框架来分析在分布式数据存储中执行所谓的降级读取（部分数据的读取）的不同方法。
2013-11-11 cs.IT cs.NI math.IT
A Family of Erasure Correcting Codes with Low Repair Bandwidth and Low Repair Complexity
我们提出了一个新的家庭的纠删码的分布式存储，产生低修复带宽和低修复复杂度的建设。该构造基于两类奇偶校验符号。第一类符号的主要目标是提供良好的擦除校正能力，而第二类便于节点修复，降低修复带宽和修复复杂度。我们比较建议的代码与其他代码在文献中提出的。
2015-08-27 cs.IT math.IT
Erasure Correcting Codes by Using Shift Operation and Exclusive OR
本文提出了一种适用于分布式存储系统的纠删码及其系统形式。提出的编码是通过异或和比特级移位操作。通过移位操作，编码的分组比源分组稍长。本文评估的额外长度的编码数据包，称为开销，并表明，建议的代码有较小的开销比之字形可解码的代码，这是一个现有的代码使用异或和位级移位操作。
2018-04-13 cs.IT math.IT
Non-binary LDPC codes for Data Storage
University of Tartu（塔尔图大学）
本文研究q元域上非二进制LDPC码在q元擦除信道中的性能，引入终极距离概念，推导随机编码界，并提出寻找终极距离和最小距离的算法，构造达到终极距离的码例。
2026-05-27 cs.IT math.IT
Repairing Reed-Solomon Codes With Two Erasures
尽管RS码具有出色的纠错性能，但在分布式存储应用中却被忽视了，因为人们普遍认为RS码的修复带宽很差：简单的修复方法需要重建整个文件才能恢复单个被擦除的码字符号。在最近的工作中，Guruswami和Wootters（STOC'16）提出了一种用于RS码的单擦除修复方法，该方法在所有线性编码方案中实现了最佳修复带宽。我们扩展他们的跟踪收集技术，以应付两个擦除。
2017-05-14 cs.IT math.IT
On minimum distance of locally repairable codes
分布式和云存储系统用于可靠地存储大规模数据。擦除码最近被提出并用于现实世界的分布式和云存储系统，如Google文件系统、Microsoft Azure存储和Facebook HDFS-RAID，以提高可靠性。为了减少修复带宽和磁盘I/O，一类称为局部可修复码（LRC）的纠删码被提出，与其他纠删码相比，它具有较小的局部性。虽然LRC具有小的局部性，但与Singleton界相比，它们具有更低的最小距离。因此，寻求最大可能的最小距离LRC一直是许多最近的研究课题。在本文中，我们研究了一类LRC的最大可能的最小距离，并评估他们的可扩展性。此外，我们比较了我们的结果与文献中的存在界。
2017-02-17 cs.IT math.IT
Primer and Recent Developments on Fountain Codes
在本文中，我们调查的各种擦除码已提出和专利最近，并沿着调查，我们提供了许多基本概念和阅读的擦除和喷泉码的入门教程。数据包擦除是数据存储和数据传输系统的一个基本特性。传统上，基于复制/重传的技术已经被用来处理这样的系统中的分组擦除。虽然RS纠删码可以提高系统可靠性和减少数据冗余，但RS码的高解码计算成本已经抵消了RS码的更广泛实现。然而，最近数据流量的指数增长和对更大数据存储容量的需求已经酝酿了对纠删码的兴趣。最近的研究结果表明，有希望的结果，以解决纠删码固有的解码计算复杂度和冗余权衡。
2013-05-04 cs.IT cs.NI math.IT
STAIR Codes: A General Family of Erasure Codes for Tolerating Device and Sector Failures
实际的存储系统通常采用擦除码来容忍设备故障和扇区故障，这两者在该领域都是普遍存在的。然而，传统的纠删码采用设备级冗余来防止扇区故障，因此会产生显著的空间开销。最新的扇区磁盘（SD）代码仅适用于有限的配置。通过一个宽松的，但实际的假设，我们构造了一个一般家庭的擦除码称为\emph{STAIR codes}，有效地和可证明的容忍设备和扇区故障没有任何限制的存储阵列的大小和容忍的设备故障和扇区故障的数量。我们提出了\emph{upstairs encoding}和\emph{downstairs encoding}方法，为不同的配置提供互补的性能优势。我们进行了广泛的实验STAIR代码在节省空间，编码/解码速度，和更新成本。我们证明，STAIR码不仅提高了空间效率比传统的纠删码，但也提供了更好的计算效率比SD码的基础上，我们特殊的代码结构。最后，我们提出了分析模型，表征STAIR码的可靠性，并表明，支持更广泛的配置由STAIR码是至关重要的容忍领域中发现的扇区故障突发。
2014-06-23 cs.IT math.IT
Optimal Caching for Low Latency in Distributed Coded Storage Systems
纠删码被广泛认为是一种以低存储成本提高数据可靠性的有前途的解决方案。然而，在现代地理分布式存储系统中，纠删码可能导致高数据访问延迟，因为它们需要从多个远程存储节点检索数据。这阻碍了纠删码在数据密集型应用中的广泛应用。本文提出了新的缓存方案，以实现低延迟的分布式编码存储系统。基于Amazon Simple Storage Service的实验证实了延迟与数据检索的物理距离之间的正相关性。使用平均数据访问延迟作为性能指标来量化缓存的好处。假设未来的数据流行度和网络延迟信息是可用的，离线缓存方案，提出了找到最佳的缓存解决方案。在最优方案的指导下，根据实时的测量数据流行度和网络延迟信息，提出了一种在线缓存方案。实验结果表明，在线方案可以很好地逼近最优方案，大大降低了计算复杂度。
2020-12-05 cs.IT cs.NI math.IT
Multi-Erasure Locally Recoverable Codes Over Small Fields For Flash Memory Array
擦除码在存储系统中起着防止数据丢失的重要作用。本文研究了一类用于闪存阵列的擦除码--多擦除局部可恢复码（ME-LRC）。与以前的相关工作相比，我们专注于小领域的ME-LRC的建设。我们首先开发的最小距离的ME-LRC的上限和下限。这些界限明确考虑了字段大小。我们的主要贡献是提出了一种基于广义张量积码的ME-LRC的一般构造，并研究了其纠删性质。给出了一种适合于擦除恢复的译码算法。然后，我们证明，我们的建设产生最佳的ME-LRC与广泛的代码参数。最后，我们提出了几个家庭的ME-LRC在不同的领域。
2017-01-22 cs.IT math.IT
Monotone Erasure Codes
University of Bern（伯尔尼大学）；Common Prefix；Stellar Development Foundation（恒星开发基金会）
本文提出了一种新的单调擦除码，能够适应任意节点的信任假设，通过单调布尔公式构造擦除码，并展示了如何高效构建线性单调擦除码，以实现更通用的异步可验证信息分散（AVID）原语，从而提高通信效率。
2026-05-21 cs.DC cs.IT math.IT
Performance Analysis of Algebraic Soft Decoding of Reed-Solomon Codes over Binary Symmetric and Erasure Channels
本文研究了RS码在擦除信道和二进制对称信道下的代数软译码的译码域。最佳多重数分配策略（MAS）的调查和紧界推导出ASD可以显着优于传统的Berlekamp Massey（BM）解码在这些信道的一个很宽的码率范围。该分析技术还可以扩展到其他信道模型，例如，擦除信道上的RS编码调制。
2005-06-17 cs.IT math.IT
