Cooperative Regenerating Codes
分布式存储系统的设计目标之一是使故障存储节点修复过程中的数据流量最小化。通过同时和协作地修复多个故障,可以进一步减少修复流量。给出了协作修复中修复流量与各节点存储量之间的最优折衷的封闭表达式。我们表明,在权衡曲线上的点可以通过线性合作再生码,所需的有限域大小上的明确的界限。证明依赖于一个最大流最小割型定理的子模流从组合优化。给出了两类显式构造。
2013-07-19 cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
Concurrent Regenerating Codes and Scalable Application in Network Storage
为了解决纠删码存储系统中同时发生的多个故障,Patrick Lee等人提出了基于并发修复的最小存储再生码来减少修复流量。该方法的体系结构比非完全分布式环境下的协作机制更简单实用,因此本文将这类再生码统一为并发再生码,并通过分析多节点恢复模型中基于割的信息流图,进一步研究了并发再生码的特性。我们提出了一个一般的存储带宽的折衷方案,并给出了封闭形式的表达曲线上的点,包括并发修复机制的基础上,最小带宽再生码。通过对现有的单节点再生码或多节点协作再生码进行改造,可以构造出一般的并发再生码。此外,还分析了与强MDS的连接。另一方面,研资局的应用并不局限于“维修”。这对于“伸缩”(scaling),即我们需要增加(减少)节点来升级(降低)冗余和可靠性的场景具有重要意义。因此,通过澄清异同,我们将它们整合到一个统一的模型,以适应动态存储网络。
2016-04-22 cs.IT math.IT
Cooperative Repair of Multiple Node Failures in Distributed Storage Systems
针对分布式存储系统中的多节点故障修复问题,设计了协作再生码。相对于原始的修复模型,再生代码,这是用于修复的单节点故障,新的节点之间的数据交换是可以实现的。已知的是,利用协作修复可以进一步减小修复带宽。目前,在文献中,我们有一个明确的建设精确修复合作码实现所有参数对应的最小带宽点。本文给出了这种合作再生码的一个稍微广义和更灵活的版本。对于最小的存储再生与合作,我们提出了一个明确的代码结构,可以联合修复任何数量的系统存储节点。
2016-07-28 cs.DC cs.IT math.IT
Generalized Simple Regenerating Codes: Trading Sub-packetization and Fault Tolerance
本文提出广义简单再生码(GSRCs),支持更多参数,揭示子分组化与容错能力的权衡,实现局部修复任意单符号和单节点擦除,且修复带宽更小。
2023-09-05 cs.IT math.IT
Centralized Multi-Node Repair Regenerating Codes
在分布式存储系统中,从多个故障中恢复是一项重要而频繁的任务,对于保持系统的可靠性和容错性至关重要。在这项工作中,我们专注于集中修复多个故障的问题,这可能是可取的,在许多数据存储配置,我们表明,一个显着的修复流量减少是可能的。首先,建立了修复带宽和功能修复的存储大小之间的基本权衡。使用图论公式,最佳的权衡被确定为整数优化问题的解决方案,推导出一个封闭形式的表达式。给出了最小存储多节点修复点和最小带宽多节点修复点的表达式。其次,我们描述了一个通用的框架,用于将单擦除最小存储再生码MSMR码。针对$e$故障的修复策略与针对单个故障的修复策略相似,但是针对单个故障的修复功能需要满足某些额外的要求。为了说明,该框架被应用于乘积矩阵码和干扰对齐码。此外,我们证明了功能MBMR点是不可实现的线性精确修复码。我们还表明,精确修复最小带宽合作修复(MBCR)代码实现的内部点,即位于附近的MBMR点,当$k \equiv 1 \mod e$,$k$是重建整个数据所需的最小数量的节点。最后,对于$k> 2e, e\mid k$和$e \mid d$,其中$d$是在修复过程中的帮助节点的数量,我们表明,功能修复的折衷是无法实现的精确修复,除了可能是一小部分附近的MSMR点,这平行的结果由Shah等人的单擦除修复。
2018-05-08 cs.IT math.IT
Rack-aware minimum-storage regenerating codes with optimal access
本文推导了机架感知存储模型中修复单机架内失效节点的访问信息量下界,并构造了达到该下界的机架感知最优访问 MSR 码及低访问复杂度的 RS 码。
2023-04-18 cs.IT math.IT
Explicit Constructions for Rack-Aware Minimum Storage Partially Cooperative Regenerating Codes
针对多节点故障修复,本文推导机架感知 MSPCR 码带宽下界,并显式构造两类渐近最优方案,显著降低子分组化级别。
2025-09-28 cs.IT math.IT
Repairing Reed-Solomon Codes
本文研究了RS码在分布式存储环境下解决\em精确修复问题\em的性能。我们的主要结果是,在某些参数制度,Reed-Solomon码是最佳再生码,MDS码与线性修复计划。此外,我们给出了MDS码的线性修复计划,在任何参数制度,并可以用来给非平凡的修复计划在其他设置的RS码的一个特征。更确切地说,我们表明,$k$维RS码的评估点是一个有限的字段大小$n$,有确切的修复计划的带宽$(n-1)\log((n-1)/(n-k))$位,这是最佳的任何MDS码的线性修复计划。相比之下,用于该RS码的原始(通常实现的)修复算法具有带宽$k\log(n)$位。当整个字段用作评估点时,节点数$n$远大于每个节点的比特数(即$O(\log(n))$),因此该结果仅在子分组化程度小时成立。然而,我们的方法适用于任何参数机制,为了说明高级别的子分组化,我们为Facebook Hadoop Analytics集群中使用的特定(14,10)-RS代码提供了改进的修复方案。
2016-08-09 cs.CC cs.IT math.IT
Novel Repair-by-Transfer Codes and Systematic Exact-MBR Codes with Lower Complexities and Smaller Field Sizes
$(n,k,d)$再生码是一类具有从其它$d$现有码片段恢复丢失码片段的能力的$(n,k)$纠删码。本文主要研究在最小带宽再生点上的精确再生码的设计。对于$d=n-1$,在先前的工作中已经开发了一类$(n,k,d=n-1)$ Exact-MBR码,称为通过传输修复码,以避免节点修复过程中的算术运算。本文的第一个结果利用同余变换给出了一类新的转移修复码。与已有的工作相比,本文所提出的码的优点包括:(1)有限域的最小值从$n \choose 2$减小到$n$ . ii)编码复杂度从$n^4$降低到$n^3$。仿真结果表明,当$n$大于某一常数时,所提出的转移修复码具有较低的计算开销.本文的第二个结果给出了乘积矩阵Exact-MBR码的一种新的编码矩阵形式。所提出的编码矩阵包括多个优点:有限域大小的最小值从$n-k+d$减小到$n$。(ii)。快速Reed-Solomon纠删编码算法可以应用于Exact-MBR码,以降低时间复杂度。
2013-09-15 cs.IT math.IT
A Non-MDS Erasure Code Scheme For Storage Applications
本文研究了在分布式存储系统中使用冗余和自修复对节点故障,使用各种策略。在复制方法中,访问一个复制节点是足够的,以重建一个丢失的节点,而在MDS纠删编码系统,这是最佳的冗余可靠性权衡方面,一个单一的节点故障后,恢复整个存储的数据进行修复。此外,再生代码产生的存储容量和修复带宽之间的权衡曲线。本文旨在研究一种新的存储码。具体来说,我们提出了一个非MDS(2k,k)代码,容忍任何三个节点的故障,更重要的是,它是使用我们的代码,一个单一的节点故障可以通过访问只有三个节点进行修复。
2011-09-21 cs.DC cs.IT cs.NI
An Alternate Construction of an Access-Optimal Regenerating Code with Optimal Sub-Packetization Level
考虑到当今分布式存储系统的规模,单个节点的故障是常见的现象。已经提出了各种度量来测量故障节点的修复的功效,例如修复所需的数据下载量(也称为修复带宽)、在助手节点处访问的数据量以及联系的助手节点的数量。显然,访问的数据量永远不会小于修复带宽。在传输帮助代码的情况下,访问的数据量等于修复带宽。因此,具有最佳修复带宽的传输帮助码是访问最优的。本论文的重点是帮助转移码,采用尽可能小的带宽来修复系统节点,从而访问最佳的修复系统节点。Tamo等人提出的系统节点和奇偶校验节点都被修复的Z字形结构是访问最优的。但是所需的子分组化级别是$r^k$,其中$r$是奇偶校验的数目,而$k$是系统节点的数目。到目前为止,用于接入最优码的最佳已知可实现的子分组化级别是Cadambe等人的基于MISER码的构造中的$r^{k/r}$,其中仅修复系统节点,并且其中由帮助节点发送的符号的位置仅取决于故障节点,并且对于所有帮助节点都是相同的。在这种设置下,事实证明,这种子分组化水平不能被改进。在本文中,我们提出了一种替代的建设在相同的设置下,一个访问最佳的代码修复系统节点,这是由曲折码建设的启发,也实现了子分组化水平的$r^{k/r}$。
2015-01-20 cs.IT math.IT
An Overview of Codes Tailor-made for Better Repairability in Networked Distributed Storage Systems
当今社会产生的数字数据量不断增加,需要更好的存储解决方案。本调查着眼于专门为分布式网络存储系统的需求而设计的新一代编码技术,试图在存储空间效率、容错和维护开销之间达到最佳折衷。四个家庭的代码量身定制的分布式设置,即-金字塔,层次,再生和自修复代码-在高层次上,强调这些代码背后的主要思想,并讨论其利弊,最后与它们之间的定量比较。这项调查故意排除了代码的技术细节,也没有提供众多作品的详尽摘要。相反,它通过展示分布式存储解决方案编码技术进步的全貌,以广泛受众易于访问的方式概述了主要代码家族。
2013-01-30 cs.DC cs.IT math.IT
Storage and Repair Bandwidth Tradeoff for Distributed Storage Systems with Clusters and Separate Nodes
节点存储和修复带宽之间的最佳折衷是分布式存储系统(DSS)的一个重要问题。对于具有集群的现实DSS,在修复故障节点时,从集群内节点下载更多数据比从跨集群节点下载更多数据更有效。因此,区分簇内和跨簇的修复带宽是有意义的。对于集群DSS的权衡已被认为是与特殊的修复假设,其中所有的活节点被用来修复故障节点。在本文中,我们研究了更一般的存储/修复参数下的集群DSS的最佳权衡。此外,再生代码的建设策略,实现点的最佳折衷曲线提出了集群DSS与特定参数作为一个数值例子。此外,分散节点的影响的权衡也被认为是具有集群和分散的节点的DSS。
2018-03-13 cs.DC cs.IT math.IT
Determinant Codes with Helper-Independent Repair for Single and Multiple Failures
行列式码是一类适用于参数为(n,k = d,d)的分布式存储系统的精确修复再生码。这些代码涵盖了每节点存储和修复带宽之间的整个权衡。在作者的早期工作中,由帮助节点发送以修复故障节点的决定性代码的修复数据取决于参与该过程的其他帮助节点的身份,这实际上是不期望的。在这项工作中,提出了一种新的修复机制的行列式代码,放松这种依赖性,同时保持所有其他属性的代码。此外,它示出的行列式代码是能够修复多个故障,与每个节点的修复带宽的规模与故障的数量呈次线性。
2019-03-07 cs.IT math.IT
A New Cooperative Repair Scheme with Small Finite Field for Distributed Storage Systems
Bilkent University(比尔肯特大学);Southwest Jiaotong University(西南交通大学)
针对分布式存储系统多节点故障问题,提出一种适用于Ye和Barg的(n,k,d,N) MSR码的新型协作修复方案,将所需有限域规模从q≥(d−k+1)n降至q≥n+1。
2026-08-26 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
Generic Secure Repair for Distributed Storage
本文研究了秘密共享方案的修复问题,将消息编码到分配给$n$节点的$n$份额中的方案,使得任何$n-r$节点可以解码消息,但是任何串通的$z$节点不能推断关于消息的任何信息。在节点故障使得故障节点所持有的份额丢失的情况下,系统需要通过重建并将丢失的份额重新分配给故障(或替换)节点来修复。这可以通过一个值得信赖的第三方来实现,该第三方接收可用节点的份额,重新计算并重新分配丢失的份额。论文中研究的一个有趣的问题是,如何在没有值得信赖的第三方的情况下进行修复。出现的主要问题是修复安全性:如何保持任何串通$z$节点,包括失败的节点,不能学习任何信息的消息,在修复过程中和之后的要求?我们从安全多方计算的角度解决了这个安全修复问题。具体来说,我们设计了通用的修复方案,可以安全地修复任何(标量或矢量)线性秘密共享方案。我们证明了安全修复方案的修复带宽的一个下界,并证明了当$n$优于$z$,或者当被修复的秘密共享方案具有最优速率时,所提出的安全修复方案达到最优修复带宽直到一个小的常数因子.我们采用了正式的信息理论的方法在我们的分析和界限。在我们的计划的一个主要思想是允许一个更灵活的修复模型比简单的一轮修复模型隐含地假设现有的安全再生代码。特别地,所提出的安全修复方案是简单有效的两轮协议。
2017-06-01 cs.CR cs.IT math.IT
Reed-Solomon Codes with Optimal Repair Bandwidth: A Basis-Transformation Approach
Tsinghua University(清华大学);Shandong University(山东大学);Nankai University(南开大学)
本文提出一种基变换方法构造修复使能子空间,直接由修复域的标准单项基通过欧几里得平方划分、转置和列聚合三个确定性操作得到,从而构造出具有更小子包化度的RS-MSR码。
2026-10-20 cs.IT math.IT
A New Centralized Multi-Node Repair Scheme of MSR codes with Error-Correcting Capability
针对含错误辅助节点的集中式多节点修复问题,提出新型MSR码修复方案及两个显式构造,实现UER最优修复/访问,并显著降低子分组化与域大小。
2023-09-27 cs.IT cs.NI math.IT