Progressive Decoding for Data Availability and Reliability in Distributed Networked Storage
为了利用不断增长的容量和不断降低的存储成本,必须在出现崩溃停止和拜占庭故障时提供可靠存储的抽象。我们提出了一个分散的里德所罗门编码机制,具有最小的通信开销。使用渐进式数据检索方案,数据收集器仅联系保证数据完整性所需的必要数量的存储节点。该方案优雅地适应成功的数据检索的成本存储节点故障的数量。此外,通过利用Welch-Berlekamp算法,它避免了不必要的计算。最先进的解码方案相比,实施和评估结果表明,我们的渐进式数据检索方案具有高达35倍的计算性能低拜占庭节点速率。此外,数据检索的通信成本推导出解析和蒙特卡洛模拟结果证实。我们的实现是灵活的,因为它提供的冗余级别与数据生成节点的数量无关,这是分布式存储系统的要求
2010-11-18 cs.DC
Simple Regenerating Codes: Network Coding for Cloud Storage
专门为分布式存储系统设计的网络代码有可能在相同的可用性下提供更高的存储效率。设计这种代码的一个主要挑战是精确修复问题:如果存储编码信息的节点失败,为了保持相同的可靠性水平,我们需要在新节点上创建编码信息。在这个新兴领域中的主要开放问题之一是设计简单的编码方案,该编码方案允许故障节点的精确和低成本修复,并且具有高数据率。特别地,所有先前已知的显式构造都具有以1/2为界的数据率。在本文中,我们介绍了第一个家庭的分布式存储代码,有简单的查找修复,可以实现任意高的速率。我们的结构是非常简单的实现和执行精确的修复,通过简单的异或数据包。我们实验评估所提出的代码在一个现实的云存储模拟器,并显示显着的好处,在性能和可靠性相比,复制和标准里德-所罗门代码。
2011-09-01 cs.DC cs.IT cs.NI
IAPRepair: In-Network Aggregation Enhanced Proactive Repair for Erasure-Coded Storage System
Guilin University of Electronic Technology(桂林电子科技大学);Guilin University of Aerospace Technology(桂林航天工业学院);Jiaxing University(嘉兴大学)
IAPRepair是面向纠删码存储的网络内聚合增强型主动修复框架,通过联合构建修复批次等设计,在多场景下较现有方法至少缩短47.83%的修复时间,提升了带宽异构下的修复效率。
2026-10-09 cs.DC
A Survey on Network Codes for Distributed Storage
分布式存储系统通常引入冗余以提高可靠性。当使用编码时,修复问题出现了:如果存储编码信息的节点发生故障,为了保持相同的可靠性水平,我们需要在新节点上创建编码信息。这相当于代码的部分恢复,而传统的擦除编码集中于从编码分组的子集中完全恢复信息。修复网络流量的考虑引起了新的设计挑战。最近,网络编码技术已经在解决这些挑战,建立维护带宽可以减少数量级相比,标准的纠删码。本文综述了这方面的研究成果。
2010-04-26 cs.DC cs.IT cs.NI
Repair Optimal Erasure Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中,出现了使在故障之后精确地重建存储节点所需的总{ \it通信}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。设计高速率的最大距离可分离(MDS)码,实现最佳的修复通信一直是一个众所周知的开放问题。在这项工作中,我们使用阿达玛矩阵构造第一个显式的2-奇偶MDS存储代码的最佳修复性能的所有单节点故障,包括奇偶校验。我们的建设依赖于一种新的方法,实现完美的干扰对齐在有限的领域与有限的文件大小,或扩展的数量。我们将这种构造推广到设计$m$ -奇偶MDS码,实现了单系统节点故障的最佳修复通信,并表明我们的$m$ -奇偶码和Tamo { \it et al.}的基于系统修复最佳置换矩阵的码之间存在有趣的联系。\cite{Tamo}和Cadambe { \it等} \cite{PermCodes_ISIT, PermCodes}。
2011-06-08 cs.DC cs.IT cs.NI
Byzantine Fault Tolerance of Regenerating Codes
近年来,出现了大量为网络存储系统定制的编码技术。在这些新时代的以存储为中心的编码中,网络编码启发的再生码是最多产的研究。已经投入了大量的努力来理解存储和带宽使用的基本可实现的权衡,以在存在不同故障模型的情况下保持冗余,展示了相对于传统纠删编码技术的重新生成代码的功效。然而,为了在开放和对抗性环境中的实际可用性,正如在对等系统中的典型情况一样,我们不仅需要对擦除的弹性,而且还需要对(对抗性)错误的弹性。在本文中,我们研究了广义再生码(支持多修复,使用新人之间的合作)在两类拜占庭节点,相对良性的自私(非合作)的节点,以及更积极的,恶意的污染节点的存在下的弹性。我们给出了再生代码的弹性能力的上限,并表明协作修复的优势,可以变成有害的拜占庭节点的存在。我们进一步展示了系统机制可以与再生代码相结合,以减轻流氓节点的影响。
2011-06-12 cs.CR cs.DC
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中,出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐(IA)的概念将不需要的数据在尽可能小的空间中对齐。这里,给出了Cadambe { \it et al.}提供了线索,完善IA的情况下,我们结合阿达玛矩阵的基本性质,构建一个新的存储代码具有良好的修复性能。具体来说,我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$,其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外,单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
Auditing for Distributed Storage Systems
分布式存储代码最近在社区中受到了很多关注。独立地,另一组工作已经提出了云存储的完整性检查方案,但是,没有一个是针对基于编码的存储定制的,或者可以有效地支持修复。在这项工作中,我们弥合了这两个目前脱节的工作机构之间的差距。我们提出了NC-Audit,一种新的基于密码学的远程数据完整性检查方案,专门为基于网络编码的分布式存储系统设计。NC-Audit第一次结合了以下所需的属性:(i)有效检查数据完整性,(ii)有效支持修复故障节点,以及(iii)在由第三方执行检查时防止信息泄漏。NC-Audit的设计的关键成分是一个新的组合SpaceMac,同态消息认证码(MAC)的网络编码方案,和NCrypt,一种新的选择明文攻击(CPA)安全加密方案,是兼容SpaceMac。我们的评估的Java实现NC审计表明,审计成本的存储节点和审计员的计算时间和较低的带宽比以前的工作。
2014-05-12 cs.CR cs.DC cs.NI
Enabling Node Repair in Any Erasure Code for Distributed Storage
与数据复制相比,擦除码是跨网络存储数据的有效手段,因为它们倾向于减少存储在网络中的数据量,并在存在节点故障的情况下提供增加的弹性。但是,当需要修复故障节点时,这些代码的性能很差,因为它们通常需要下载整个文件来修复故障节点。最近引入了一类新的擦除码,称为再生码,在这方面做得更好。然而,考虑到文献中可用的各种高效纠删码,人们对构建编码方案非常感兴趣,该编码方案将使传统纠删码能够被使用,同时保留仅需要下载一小部分数据用于节点修复的特征。在本文中,我们提出了一个简单而强大的框架,正是这样做的。在此框架下,节点被划分为两个“类型”,并使用两个代码的方式,减少了节点修复的问题,组成代码的擦除解码的编码。根据两个代码的选择,该框架可以用于利用以下优点中的一个或多个:同时最小化存储空间和修复带宽,操作的低复杂性,在修复期间在助手节点处的较少的磁盘读取,以及错误检测和校正。
2011-06-30 cs.DC cs.IT cs.NI
Quasi-cyclic Flexible Regenerating Codes
在分布式存储环境中,数据被放置在通过网络连接的节点中,这些节点中的一个很可能发生故障。已知的是,纠删编码的使用提高了容错并且最小化了在分布式存储环境中添加的冗余。再生码的使用不仅充分利用了纠删编码的改进,而且还最大限度地减少了再生故障节点所需的数据量。本文提出了一类新的基于准循环码的再生码。构造了准循环柔性最小存储再生码(QCFMSR),并证明了其存在性。还提供了从基QCFMSR码构造的具有最小带宽的准循环灵活再生码。这些代码不仅在存储数据和修复带宽方面实现了最佳MBR参数,而且对于所涉及的参数的特定选择,它们可以在最佳MBR点下降低。准循环柔性再生码由于其简单性和低复杂度而备受关注。它们允许在最小带宽的情况下精确的修复通过传输和在MSR的情况下精确的伪修复通过传输,其中仅当新节点进入系统以替换丢失的节点时才需要操作。
2013-05-16 cs.DC cs.IT math.IT
Capacity of Distributed Storage Systems with Clusters and Separate Nodes
在分布式存储系统中,节点存储和修复带宽之间的最优折衷是设计分布式编码策略以保证大规模数据可靠性的重要问题。DSS的能力作为一个功能的节点存储和修复带宽参数,特征的权衡。有很多工作在DSS与集群(机架),其中修复带宽从集群内和跨集群是有区别的。然而,在现实的DSS中,分离节点也是普遍存在的,但对具有集群和分离节点的DSS(CSN-DSS)的研究还不够。在本文中,我们制定了一个单独的节点的CSN-DSS的容量首次修复一个单独的节点的带宽是跨集群。因此,节点存储和修复带宽之间的最佳权衡推导出并与集群DSS相比。基于该折衷构造了重新生成的代码实例。此外,增加一个单独的节点的影响进行了理论分析和制定。我们证明了当每个集群包含R个节点,并且任意k个节点都足以恢复原始文件(MDS属性)时,如果R| k,否则减小容量。
2019-01-10 cs.DC cs.IT math.IT
XORing Elephants: Novel Erasure Codes for Big Data
大型集群的分布式存储系统通常使用复制来提供可靠性。最近,纠删码被用来减少三复制系统的巨大存储开销。Reed-Solomon码是标准的设计选择,其高维修成本通常被认为是为高存储效率和高可靠性付出的不可避免的代价。本文介绍了如何克服这一局限性。我们提出了一种新的家庭擦除码,有效地修复,并提供更高的可靠性相比,里德-所罗门码。我们分析表明,我们的代码是最佳的最近确定的局部性和最小距离之间的权衡。我们在Hadoop HDFS中实现了我们的新代码,并与当前部署的使用Reed-Solomon代码的HDFS模块进行了比较。我们修改后的HDFS实现在修复磁盘I/O和修复网络流量上减少了大约2倍。新的编码方案的缺点是,它需要14%以上的存储相比,里德-所罗门码,一个开销被证明是信息理论上最优的获得局部性。由于新代码修复故障更快,因此提供了更高的可靠性,与复制相比,可靠性高出几个数量级。
2013-01-16 cs.DC cs.IT cs.NI
Secure Regenerating Codes for Reducing Storage and Bootstrap Costs in Sharded Blockchains
区块链是一种应用广泛的分布式账本。由于区块链的存储需求不断增加,计算只能由少数矿工承担。已经提出了分片来扩展区块链,以便以安全保证为代价提高区块链的存储和交易效率。本文旨在考虑一种新的协议,安全修复区块链(SRB),旨在降低矿工的存储成本。此外,SRB还降低了自举成本,这使得新矿工可以轻松加入分片区块链。为了减少存储量,SRB采用了编码理论技术。为了减少传输到加入分片的新节点的数据量,使用了精确修复安全再生码的概念。所提出的区块链协议比不使用编码的协议实现了更低的存储,并且与不同的基线相比实现了更低的自举成本。
2020-11-11 cs.CR cs.DC cs.IT
DDBench: A Benchmark for Agentic Debugging on Distributed Systems
University of Southern California(南加州大学)
该研究推出分布式系统代码修复基准DDBench,评估10个LLM的代码修复能力,发现调试上下文可提升准确率且对强弱模型影响不同,分布式调试能凸显单进程基准未体现的推理能力。
2026-11-10 cs.AI cs.DC cs.SE
Quorum Sensing for Regenerating Codes in Distributed Storage
具有复制的分布式存储系统以存储大量数据而闻名。为了提供可靠性,进行了大量的复制。这使得系统昂贵。随着时间的推移,已经提出了各种方法来降低复制程度,但提供相同的可靠性水平。最近提出的一个方案是再生代码,其中文件被分成多个部分,然后通过编码机制和网络编码来处理这些部分,以提供大量的部分。这些存储在各个节点上,每个节点上有多个部分。这些代码可以生成整个文件,并可以通过联系一些现有的节点来修复故障节点。此属性可确保节点故障时的可靠性,并使用智能复制。这也优化了带宽使用。在实际场景中,原始文件将被多次读取和更新。每次更新,我们都必须更新存储在许多节点上的数据。同时处理多个请求会带来很大的复杂性。还应防止同时对同一数据进行读写或多次写入。在本文中,我们提出了一个算法,管理和执行所有的用户的请求,降低了更新的复杂性。同时,我们也在努力保持足够的可用性。我们使用基于投票的机制,并形成读,写和修复法定人数。我们还对再生码进行了概率分析。
2013-09-28 cs.DC cs.IT math.IT