On Error Decoding of Locally Repairable and Partial MDS Codes
本文研究了局部可修码(LRC)和部分MDS码(PMDS)的交织译码问题。对于一类特定的LRC,我们研究了交织解码的成功概率。对于PMDS码,我们表明,有一个广泛的参数,交织解码可以增加他们的解码半径超过最小的距离,成功解码的概率接近$1$,当代码长度趋于无穷大。
2019-07-08 cs.IT math.IT
Multi-Layer Transformed MDS Codes with Optimal Repair Access and Low Sub-Packetization
$(n,k)$最大距离可分离(MDS)码具有最优修复访问,如果实现从$d$存活节点访问的符号的最小数目,其中$k+1\le d\le n-1$。现有的结果表明,$(n,k,d)$高码率的子分组化$α$(即,$k/n>0.5$)具有最佳修复访问的MDS代码至少是$(d-k+1)^{\lceil\frac{n}{d-k+1}\rceil}$。在本文中,我们提出了一类多层变换MDS码,使得子分组是$(d-k+1)^{\lceil\frac{n}{(d-k+1)η}\rceil}$,其中$η=\lfloor\frac{n-k-1}{d-k}\rfloor$,和修复访问是最佳的任何单个节点。我们表明,所提出的多层变换MDS码的子分组严格小于现有的已知下限时,$η=\lfloor\frac{n-k-1}{d-k}\rfloor>1$,实现通过限制选择的$d$特定的助手节点在修复故障节点。我们进一步提出了多层变换的EVENODD码,具有最佳的修复访问的任何单个节点和较低的子分组比现有的二进制MDS阵列码具有最佳的修复访问的任何单个节点。与我们的多层变换,我们可以设计新的MDS码,具有低计算复杂度的属性,最佳的修复访问任何单个节点,和相对较小的子分组,所有这些都是至关重要的分布式存储系统的可靠性。
2019-07-23 cs.IT math.IT
A Generic Transformation for Optimal Node Repair in MDS Array Codes over $\mathbf{F}_2$
对于高速率线性系统最大距离可分离(MDS)码,大多数早期的构造最初可以最优地修复所有的系统节点,但不是所有的奇偶校验节点。幸运的是,这个问题首先由Li等人在(IEEE Trans.Inform. Theory,64(9),6257 - 6267,2018),其中提出了一种可以将任何非二进制MDS阵列代码转换为具有所需属性的另一种代码的变换。但是,转换不适用于二进制MDS阵列代码。在本文中,我们解决这个问题,提出了另一个通用的转换,可以转换任何$[n, k]$二进制MDS阵列码到一个新的,这赋予任何$r=n-k\ge2$选择的节点具有最佳的修复带宽和最佳的重建访问属性,并在同一时间,在一定条件下,保留了归一化的修复带宽/重建访问剩余的$k$节点。作为两个直接的应用,我们证明了:1)通过多次应用该变换,任何二进制MDS阵列码都可以转换为对所有节点具有最优重建访问的二进制MDS阵列码; 2)任何对系统节点具有最优修复带宽或最优重建访问的二进制MDS阵列码都可以转换为对所有节点具有相应最优性质的二进制MDS阵列码。
2021-11-08 cs.IT math.IT
A Systematic Construction of MDS Codes With Small Sub-packetization Level and Near-Optimal Repair Bandwidth
在文献中,所有已知的具有最佳修复带宽的高速率MDS码都具有显著大的子分组化水平,这可能会妨碍码在实际系统中的实现。要建立MDS码与小的子分组化水平,现有的建设和理论界意味着,可能会牺牲最优的修复带宽。部分由Tamo等人的工作激励。Theory,59(3),1597-1616,2013),在本文中,我们提出了一种变换,其可以相对于相同的码长n极大地降低具有最佳修复带宽的MDS码的子分组化级别。作为该变换的应用,可以得到四种具有较小的子分组化水平和接近最优的修复带宽的高速率MDS码,其中三种是显式的,所需的字段大小在码长n左右甚至更小。此外,我们提出了另一种显式MDS码,它具有类似的结构,作为第一个结果代码得到的通用变换,但可以建立在一个较小的有限域。
2020-11-21 cs.IT math.IT
A Novel Construction of Low-Complexity MDS Codes with Optimal Repair Capability for Distributed Storage Systems
最大距离可分码是一类广泛用于提高分布式存储系统可靠性的纠删码。在(n,k)MDS编码的DSS中,原始数据以有效的方式存储到n个分布式节点中,使得每个存储节点仅包含少量(即,1/k),并且连接到任意k个节点的数据收集器可以检索整个数据。另一方面,节点故障可以被修复(即,可以成功地恢复故障节点处存储的数据)。本文提出了一种构造简单(5,3)MDS码的新方法.通过合理的块设计生成矩阵,我们证明了所提出的MDS码具有最小条带长度α = 2,并且可以在一个只有4个元素的小(Galois)有限域F4上构造,这两种方法都有利于低复杂度的计算和数据存储、检索和修复的实现.此外,利用所提出的MDS码,任何单个节点故障都可以通过干扰对准技术以从幸存节点下载的最小数据量来修复;即,所提出的码确保使用最小带宽对任何单个节点故障进行最佳精确修复。MDS码的低复杂度和全节点最优修复特性使其易于应用于实际DSS。
2017-06-15 cs.IT math.IT
Efficient Repair of (k+2, k) Degraded Read Friendly MDS Array Codes With Sub-packetization 2
City University of Hong Kong(香港城市大学)
本文提出两种降级读友好MDS阵列码构造,分别实现最小修复带宽和双修复机制,适用于任意码长。
2026-11-04 cs.IT math.IT
Repair-Optimal MDS Array Codes over GF(2)
最大距离可分阵列码(MDS)是近年来提出的一种具有高码率和最优修复性能的阵列码。这些代码可以应用在分布式存储系统中,在那里它们最大限度地减少了恢复故障节点所需的通信和磁盘访问。然而,所提出的代码的编码和解码算法使用阶数大于2的有限域上的算术,这可能导致复杂的实现。在这项工作中,我们提出了一个2-奇偶MDS阵列码的建设,允许最佳的修复失败的信息节点只使用XOR操作。当用户改变单个信息位时,通过允许更新更多的奇偶校验位来实现字段顺序的减少。
2013-02-17 cs.IT math.IT
Improved Schemes for Asymptotically Optimal Repair of MDS Codes
我们认为$(n,k,l)$ MDS码的长度$n$,尺寸$k$,和子分组$l$在有限域$\mathbb{F}$。这种代码的码字由长度为$\mathbb{F}$上的$l$的$n$列向量组成,具有其中的任何$k$都足以恢复整个码字的特性。这些$n$向量中的每一个可以存储在网络中的单独节点上。如果其中一个$n$节点发生故障,我们可以通过从幸存的节点下载符号来恢复其内容,最坏情况下下载的符号总数称为代码的修复带宽。根据割集界限,$(n,k,l)$ MDS码的修复带宽至少为$l(n{-}1)/(n{-}k)$。有几种MDS码的结构,其修复带宽满足或渐近满足割集界。例如,Ye和Barg构造了$(n,k,r^{n})$ Reed-Solomon码,该码渐近满足割集界,其中$r = n-k$。Ye和Barg还构造了最优带宽和最优更新$(n,k,r^{n})$ MDS码。Wang、Tamo和Bruck构造了最优带宽$(n, k, r^{n/(r+1)})$ MDS码,并且这些码具有最优带宽MDS码的最小已知子分组化。所有这些构造中的一个关键思想是在基$r$中表示某些整数。我们展示了如何改进这种技术,以提高亚包化的两个MDS码的结构叶和巴格,同时实现渐近最优的修复带宽。具体地说,当$r=s^{m}$为整数$s$时,我们得到了一个$(n,k,s^{m+n-1})$里德-所罗门码和一个最优更新$(n,k,s…
2021-04-05 cs.IT math.IT
Optimal Repair of $(k+2, k, 2)$ MDS Array Codes
Key Laboratory of Cryptologic Technology and Information Security, Ministry of Education(教育部密码技术与信息安全重点实验室);School of Cyber Science and Technology, Shandong University(山东大学网络空间安全学院);Quan Cheng Laboratory(泉城实验室)
本文研究了在固定子分包级别下,(k+2, k, 2) MDS数组码单节点故障的最小修复带宽问题,通过点集与射影线的对应关系,推导出下界并构造了两类达到该下界的MDS数组码,提供了具有证明修复效率的实用编码设计。
2026-03-23 cs.IT math.IT
A New Design of Binary MDS Array Codes with Asymptotically Weak-Optimal Repair
二进制最大距离可分(MDS)阵列码是一类特殊的用于分布式存储的纠删码,它不仅能以最小的存储冗余提供容错,而且还能实现低计算复杂性。它们是通过将$k$信息列编码成$r$奇偶校验列来构造的,其中列中的每个元素是比特,使得$k+r$列中的任何$k$足以恢复所有信息比特。除了提供容错能力外,在实际应用中提高修复性能也至关重要。具体来说,如果单个列失败,我们的目标是通过从$d$健康列下载最少的位来最小化修复带宽,其中$k\leq d\leq k+r-1$。如果MDS代码的一列出现故障,则已知我们需要下载存储在每个$d$健康列中的数据的至少$1/(d-k+1)$部分。如果通过访问任意$d$健康列修复故障列达到了这个下限,我们就说MDS代码具有最佳修复。然而,如果这样的下限仅由$d$特定的健康列实现,则我们说MDS代码具有弱最优修复。在本文中,我们提出了两个显式构造的二进制MDS阵列码具有更多的奇偶校验列(即,$r\geq 3$),其中$k+1\leq d\leq k+\lfloor(r-1)/2\rfloor$,并且“渐近”意味着修复带宽在$d$中渐近地达到最小值。第一种构造中的码具有奇数个奇偶校验列,并且对任何一个信息失效都是渐近弱最优修复;而第二种构造中的码具有偶数个奇偶校验列,并且对任何一个列失效都是渐近弱最优修复。
2019-06-21 cs.IT math.IT
A Repair Framework for Scalar MDS Codes
几项工作已经开发了向量线性最大距离可分离(MDS)存储码,其最小化了在擦除之后修复单个编码符号所需的总通信成本,称为修复带宽(BW)。矢量码允许每个节点传送更少的子符号,而不是整个内容。这允许在修复BW中的非微不足道的节省。与此形成鲜明对比的是,在当前存储系统中使用的经典代码(如Reed-Solomon(RS))被认为遭受幼稚修复,即下载整个存储的消息以修复一个故障节点。这主要是因为它们是标量线性的。在这项工作中,我们提出了一个简单的框架,将标量代码作为向量线性。在某些情况下,这可以显著节省维修BW。我们表明,矢量化标量码表现出的属性,简化了修复方案的设计。我们的框架可以被看作是一个有限域模拟真正的干涉对齐。使用我们的简化框架,我们设计了一个计划,我们称之为cnc修复,可证明确定任何标量2-奇偶MDS码的最佳线性修复策略,在一定条件下,选择矢量化的子字段。我们为特定的(5,3)-和(6,4)-Reed-Solomon(RS)码指定了最优修复方案.此外,我们为目前部署在Facebook Analytics Hadoop集群中的RS代码提出了一种修复策略,该策略与目前用于此代码的修复方案相比,可以节省20%的修复BW。
2013-12-07 cs.IT math.IT
Explicit constructions of high-rate MDS array codes with optimal repair bandwidth
最大距离可分离码(MDS)是一种最优纠错码,在这个意义上,它们为给定数量的奇偶校验节点提供最大的容错能力。假设具有$k$信息节点和$r=n-k$奇偶校验节点的MDS码用于在分布式存储系统中编码数据。已知的是,如果$n$节点中的$h$不可访问并且$d$幸存(助手)节点用于恢复丢失的数据,则我们需要下载存储在每个助手节点中的数据的至少$h/(d+h-k)$部分(Dimakis et.例如,2010和Cadambe等人,2013年)。如果从任何$d$助手节点修复任何$h$擦除节点都达到了这个下限,我们就说MDS代码具有$(h,d)$最优修复属性。研究了具有最优修复特性的高速MDS阵列码。在文献中,这种代码的显式构造仅适用于最多有3个奇偶校验节点的情况,并且这些现有的构造只能通过访问所有幸存节点来最佳地修复单个节点故障。本文给出了两种同时对所有$h\le r$和$k\le d\le n-h$具有$(h,d)$ -最优修复性质的MDS阵列码的显式构造.第一族中的码可以在任何基域$F$上构造,只要$|F|\ge sn,$,其中$s=\text{lcm}(1,2,\dots,r).$这些码的编码、解码、故障节点的修复和更新过程都具有低复杂度。第二类码具有最优的访问特性,可以在任意基域$F$上构造,只要$|F|\ge n+1.$。此外,两类码在修复失效节点时都具有最优的容错能力。我们还构造了其他几…
2016-04-08 cs.IT math.IT
A Generic Transformation to Generate MDS Storage Codes with $δ$-Optimal Access Property
对于高速率的最大距离可分离(MDS)码,它们中的大多数被设计为通过连接所有幸存的节点来最优地修复单个故障节点。然而,在实际系统中,有时并非所有幸存的节点都可用。为了便于实际的存储系统,已经提出了几种$(n,k)$ MDS码的构造,其具有通过访问任何$d$存活节点来最优地修复任何单个失效节点的性质,其中$d\in [k+1:n-1)$。然而,所有这些都具有较大的子分组化级别,或者对于所有参数都不是明确的。为了解决这些问题,我们提出了一个通用的转换,可以将任何$(n',k')$ MDS代码转换为另一个$(n,k)$ MDS代码的最佳修复属性和最佳访问属性的任意两个节点,而其余的$n-2$节点的修复效率可以保持。通过递归地将通用变换应用于标量MDS码多次,我们得到了一个MDS码的最佳修复属性和最佳访问属性的所有节点,这优于以前已知的MDS码的子分组化水平或参数的灵活性。
2021-07-21 cs.IT math.IT
MDS Code Constructions with Small Sub-packetization and Near-optimal Repair Bandwidth
本文提出了一种构造MDS码的方法,该方法能够以较小的修复带宽对每个码块进行精确修复,修复带宽指的是修复过程中剩余码块的信息流总量。这个问题在分布式存储系统的上下文中自然出现为节点修复问题[7]。具有最优修复带宽的精确可修复MDS码的构造需要在较大的子包级下工作,这限制了其在实际中的应用。本文提出了MDS码的结构,同时提供小的修复带宽和小的子分组化水平。特别是,本文提出了两种一般的方法来构建精确的可修复MDS码,其目的是显着降低所需的子打包水平的代价稍微次优的修复带宽。第一种方法给出了具有至多两倍于最优修复带宽的修复带宽的MDS码。另外,这些码还具有最小可能的子分组化级别$\ell = O(r)$,其中$r$表示奇偶校验块的数量。然后将这种方法推广到设计代码,使其修复带宽接近最佳修复带宽,但代价是所需子分组级别的适度增加。第二种方法将具有最佳修复带宽和大子分组化水平的MDS码转换成具有较小子分组化水平和接近最佳修复带宽的较长MDS码。对于给定的$r$,所获得的码具有它们的子分组化级别,该子分组化级别随码长度而按比例缩放。此外,所获得的代码需要字段大小在代码长度上仅是线性的,并且根据在代码块的精确重构期间从这些块下载的信息来确保完整代码块之间的负载均衡。
2017-09-24 cs.CC cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
Explicit MDS Codes for Optimal Repair Bandwidth
MDS码是擦除校正码,其可以针对给定数目的冗余或奇偶校验符号校正最大数目的擦除。如果MDS码具有$r$奇偶校验,并且发生的擦除不超过$r$,则通过发送码中的所有剩余数据,可以恢复原始信息。然而,已经表明,为了恢复单个符号擦除,仅需要发送信息的$1/r$的一部分。这个分数被称为修复带宽(分数)。在以前的作品中给出了显式的代码构造。如果我们将代码中的每个符号视为某个字段上的向量或列,则代码形成2D数组,并且此类代码在存储系统中特别广泛使用。在本文中,我们解决以下问题:给定的列的长度$l$,奇偶校验数$r$,我们可以构造高速率的MDS阵列码的最佳修复带宽为$1/r$,其代码长度是尽可能长的?本文给出了码长为$(r+1)\log_r l$的码结构。
2014-11-24 cs.IT math.IT
Optimal Repair of MDS Codes in Distributed Storage via Subspace Interference Alignment
众所周知,(n,k)码可用于在分布式数据存储系统的“n”个单位容量的磁盘中存储“k”个信息单元。如果使用的代码是最大距离可分离的(MDS),那么系统可以容忍任何(n-k)磁盘故障,因为原始信息可以从任何k个幸存的磁盘恢复。本文的重点是设计一个系统的MDS码的附加属性,一个单一的磁盘故障可以修复最小的修复带宽,即,其中要下载的数据量最小,以便恢复故障磁盘。在此之前,Dimakis等人已经建立了(n-1)/(n-k)单位的下界。al,关于(n,k)MDS码中单个磁盘故障的修复带宽。最近,渐近代码实现这一下限任意(n,k)的存在已经建立了通过绘制连接到干扰对齐。虽然存在的渐近结构实现这一下限已被证明,有限的代码结构实现这一下限只存在于以前的文献中的特殊(高冗余)的情况下,$k \leq \max(n/2,3)$。对于(n,k)的任意值,是否存在有限码以达到修复带宽的下限的问题仍然没有解决。本文利用置换编码子矩阵,给出了第一个已知的有限MDS码,它对任意(n,k)的最佳修复带宽为(n-1)/(n-k),用于修复失效的系统磁盘.我们还推广了我们的置换矩阵为基础的建设,开发一种新的框架修复带宽最优MDS码的基础上的子空间干扰对齐的想法-一个概念,以前介绍了苏和谢的背景下,无线蜂窝网络。
2011-06-07 cs.IT math.IT
An Explicit Construction of Systematic MDS Codes with Small Sub-packetization for All-Node Repair
提出了一种显式构造的系统MDS码,称为哈希标签+码,具有任意的子分组化水平的所有节点修复。它示出,即使对于小的子分组化水平,哈希标签+代码实现最佳的MSR点的任何奇偶校验节点的修复,而单个系统节点的修复带宽取决于子分组化水平。与文献中的其他代码相比,HashTag+代码在维修期间访问和传输的平均数据量方面节省了20%至40%。
2018-06-25 cs.DC cs.IT math.IT
MDS Array Codes With Small Sub-packetization Levels and Small Repair Degrees
Central Research Institute, 2012 Labs, Huawei Technologies Co., Ltd.(华为技术有限公司2012实验室中央研究院)
针对高码率MSR码子分组化级别过大的问题,提出通用变换方法,将现有MSR码转换为具有小子分组化级别、小修复度且修复带宽达(1+ε)最优的MDS阵列码,适用于各类码参数场景。
2026-11-11 cs.IT math.IT
Two New Piggybacking Designs with Lower Repair Bandwidth
捎带码是一类特殊的MDS阵列码,其可以通过首先创建$(n,k)$ MDS码(例如Reed-Solomon(RS)码)的一些实例,然后设计捎带函数来实现具有小子分组化的小修复带宽。本文提出了一种新的捎带编码设计方案,该方案在$(n,k)$ MDS码和$(n,k')$ MDS码的某些实例上设计捎带函数,当$k\geq k'$ .我们表明,我们的新的捎带设计可以显着降低单节点故障的修复带宽。在$k=k'$时,我们设计了MDS码作为捎带码,并证明了当奇偶校验节点数为$r=n-k\geq8$和子分组数为$α<r$时,所设计的捎带码比现有的捎带码具有更低的单节点故障修复带宽。此外,我们还设计了另一种piggybacking码,它是通过对$(n,k)$ MDS码的一些实例设计$n$ piggyback函数,并将$n$ piggyback函数添加到新创建的没有数据符号的$n$空条目中。我们表明,我们的代码可以显着减少修复带宽的单节点故障的成本略多的存储开销。此外,我们表明,我们的代码可以恢复任何$r+1$节点故障的一些参数。我们还表明,我们的代码有较低的修复带宽比本地可修码(LRC)相同的容错和冗余的一些参数。
2022-05-29 cs.IT math.IT
A Partial-Exclusion Repair Scheme for MDS Codes
Foshan University(佛山大学);Chern Institute of Mathematics and LPMC, Nankai University(南开大学陈省身数学研究所和理论物理研究中心);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳计算机科学与技术学院)
本文提出一种部分排除修复方案,通过调整节点排除集的大小来降低子分包化程度,从而在满足切割集界条件下实现更高效的MDS码构造。
2026-03-13 cs.DB cs.IT math.IT
MDS Array Codes With (Near) Optimal Repair Bandwidth for All Admissible Repair Degrees
本文提出一种适用于任意修复度d>k的(n, k) MSR码构造,具有更小的子分包级别或有限域,并结合通用变换得到修复度d=n-1时具有(1+ε)-最优修复带宽的MDS阵列码,在子分包级别或域大小上优于现有构造。
2023-05-27 cs.IT math.IT
Partial MDS Codes with Regeneration
部分MDS(PMDS)和扇区磁盘(SD)码是将局部性与强擦除校正能力相结合的擦除校正码的类别。我们构造PMDS和SD码与本地再生每个本地代码是一个带宽最优再生MDS码。在节点故障的情况下,这些代码减少了必须联系的服务器数量以及修复过程所需的网络流量。该结构需要比文献中已知的唯一其他结构显著更小的场尺寸。此外,我们提出了一个建设的PMDS代码与全球再生,允许有效地修复模式的节点故障,超过本地擦除校正能力的代码,从而调用修复不同的本地组。
2021-06-11 cs.IT math.IT
Set Transformation: Trade-off Between Repair Bandwidth and Sub-packetization
本文提出集合变换方法,可将任意MDS码转换为子分组化级别灵活、修复带宽更低且域大小更小的MDS码,并在典型参数下比弹性变换码降低2%-6.6%的修复带宽。
2024-05-04 cs.IT math.IT
The Incidence-Multiplicity Bound for Linear Exact Repair in MDS Array Codes
Shanghai Fintelli Box Technology Co., Ltd.(上海芬特利盒科技有限公司)
本文研究了在代码长度n变化时,MDS数组码的线性精确修复问题,提出更严格的下界,揭示了几何原理在MDS数组码中的作用。
2026-04-20 cs.IT math.IT
MDS Codes with Progressive Engagement Property for Cloud Storage Systems
快速高效的故障恢复是具有大量存储节点的云存储系统面临的新挑战。存储节点故障时的关键恢复度量是修复带宽成本,其指的是为了重新生成丢失的数据而必须下载的数据量。由于所有幸存的节点并不总是可访问的,我们打算引入一类的最大距离可分离(MDS)码,可以重复使用时,所选节点的数量变化,但收益率接近最优修复带宽。这样的代码提供了参与更多幸存节点的灵活性,有利于减少修复带宽,而无需重新设计代码结构和改变现有节点的内容。我们称MDS码的这种性质为渐进参与。这个名字来自于这样一个事实,即如果发生故障,它表明,最好的策略是根据其访问成本(延迟,跳数,流量负载或可用性一般),直到修复带宽或访问成本约束得到满足,以逐步从事幸存的节点。我们认为,现有的MDS码不能满足渐进参与性质。随后,我们提出了一个搜索算法,以找到一组新的代码命名为旋转码,既渐进的参与和MDS属性。此外,我们说明了如何现有的置换码可以通过修改原始的恢复方案提供渐进的参与。仿真结果比较了不同参与节点数时,这类编码的修复带宽性能以及它们的单次故障恢复速度。
2016-05-23 cs.IT math.IT
New MDS codes with small sub-packetization and near-optimal repair bandwidth
$(n, M)$矢量码$\mathcal{C} \subseteq \mathbb{F}^n$是$M$码字的集合,其中每个码字中的$n$元素(来自字段$\mathbb{F}$)被称为码块。假设为$\mathbb{F} \cong \mathbb{B}^{\ell}$,则码块被视为基本字段$\mathbb{B}$上的$\ell$长度向量。等价地,该代码被称为具有子分组化级别$\ell$。本文讨论了构造MDS向量码的问题,该码通过从剩余码块下载少量信息来精确重构每个码块。代码的修复带宽测量在单个代码块的重构期间来自剩余代码块的信息流。这个问题在分布式存储系统的上下文中自然出现为节点修复问题[4]。假设$M = |\mathbb{B}|^{k\ell}$,MDS向量码的修复带宽由$\big(\frac{n - 1}{n - k}\big)\cdot \ell$符号(在基本字段$\mathbb{B}$上)下界,其也被称为割集界[4]。对于$n$和$k$的所有值,在文献[23,35]中已知达到与子分组化级别$\ell = (n-k)^{\lceil{{n}/{(n-k)}}\rceil}$的割集界限的MDS向量码。本文提出了一种MDS矢量码的结构,它同时保证了较小的修复带宽和较小的子分组级。所获得的代码具有MDS矢量码的最小可能的子分组化级别$\ell = O(n - k)$和至多是割集界限…
2016-07-31 cs.DS cs.IT math.IT
Code Constructions for Distributed Storage With Low Repair Bandwidth and Low Repair Complexity
我们提出了一个家庭的纠删码的分布式存储,实现低修复带宽和复杂性的代价较低的容错。该构造基于两类码,其中第一类码的主要目标是提供容错,而第二类码的主要目标是降低修复带宽和修复复杂度。修复过程是两步过程,其中在第一步中使用第一代码修复故障节点的部分。在第一步骤期间下载的符号被高速缓存在存储器中,并且在第二步骤期间用于以最小的附加读取成本修复剩余的被擦除的数据符号。第一类码基于使用捎带修改的MDS码,而第二类码被设计为减少需要下载以修复剩余的擦除符号的附加符号的数量。我们数值计算表明,建议的代码实现更好的修复带宽相比,MDS码,使用背负式构造的代码,和本地重建/金字塔码,而更好的修复复杂度相比,MDS,锯齿形,金字塔码,和使用背负式构造的代码。
2018-08-31 cs.IT math.IT
Towards Practical Private Information Retrieval from MDS Array Codes
私有信息检索(PIR)是从$N$服务器中私有地检索出$M$原始文件中的一个的问题,即,每个单独的服务器对用户正在请求的文件一无所知。通常,$M$文件由最大距离可分离(MDS)代码复制或编码,然后跨$N$服务器存储。与单纯的复制相比,MDS编码服务器可以显著降低存储开销。特别地,来自最小存储再生(MSR)编码服务器的PIR可以同时减少修复故障服务器时的修复带宽。来自MSR编码服务器的现有PIR方案要么需要大子分组化水平,要么不能实现容量。本文提出了一种基于MDS阵列码的PIR协议,其中将MSR编码服务器的PIR作为特殊情况。特别是,非串通,诚实,但好奇的服务器的情况下被认为是。新的PIR协议的检索率达到了MDS/MSR编码服务器的PIR容量。通过选择不同的MDS阵列码,新的PIR协议与现有的协议相比可以具有一些优点,例如,1)小的子分组化,2)(接近)最佳修复带宽,3)可在二进制字段$\mathbf{F}_2$上实现。
2020-03-12 cs.IT math.IT
Error Decoding of Locally Repairable and Partial MDS Codes
在这项工作中,它表明,本地可修复码(LRC)可以有效地列表解码超出约翰逊半径的大范围的参数,通过利用本地纠错能力。推导了相应的译码半径,并分析了其渐近行为。提出了实现该半径的LRC的一般列表解码算法,以及作为Reed-Solomon码的子码(例如,Tamo-Barg LRC)。在此基础上,给出了一种低复杂度的概率LRC唯一译码算法,并分析了其成功概率。本文的第二部分研究了LRC码和部分最大距离可分(PMDS)码的交织译码。针对一类特定的LRC,研究了交织译码的成功概率。对于PMDS码,它表明,有一个广泛的参数,交织解码可以增加其解码半径超过最小距离,使成功解码的概率接近$1$时,代码长度趋于无穷大。
2020-09-15 cs.IT math.IT
Linear exact repair schemes for free MDS and Reed-Solomon codes over Galois rings
针对Galois环上分布式存储的节点故障恢复问题,本文提出自由MDS码的线性精确修复方案,并专门构造了全长Reed-Solomon码的线性修复方案。
2025-06-10 cs.IT math.IT math.RA
Optimal Repair Bandwidth and Repair I/O of $(n,n-2,2)$ MDS Array Codes
Shanghai Fintelli Box Technology Co., Ltd.(上海芬特利盒科技有限公司)
本文研究了(n,n-2,2) MDS数组码在任意有限域上的最优修复带宽和修复I/O,推导出精确公式并解决首个非平凡冗余和子分包化 regime (2,2) 的问题。
2026-05-11 cs.DM cs.IT math.CO
A Non-MDS Erasure Code Scheme For Storage Applications
本文研究了在分布式存储系统中使用冗余和自修复对节点故障,使用各种策略。在复制方法中,访问一个复制节点是足够的,以重建一个丢失的节点,而在MDS纠删编码系统,这是最佳的冗余可靠性权衡方面,一个单一的节点故障后,恢复整个存储的数据进行修复。此外,再生代码产生的存储容量和修复带宽之间的权衡曲线。本文旨在研究一种新的存储码。具体来说,我们提出了一个非MDS(2k,k)代码,容忍任何三个节点的故障,更重要的是,它是使用我们的代码,一个单一的节点故障可以通过访问只有三个节点进行修复。
2011-09-21 cs.DC cs.IT cs.NI
New constructions of cooperative MSR codes: Reducing node size to $\exp(O(n))$
研究了分布式存储系统中多节点协作修复问题,其中修复带宽包括任意两个不同存储节点之间的数据交换量.最近,Ye和Barg给出了对于所有可能参数具有最佳协作修复带宽的MDS码的显式构造(IEEE Transactions on信息论,2019)。该构造中的节点大小(或子分组化)按比例缩放为$\exp(Θ(n^h))$,其中$h$是故障节点的数量,而$n$是代码长度。在本文中,我们给出了新的显式结构的最佳MDS码的所有可能的参数下的合作模式,我们的新结构的节点大小仅为$\exp(O(n))$的任何数量的失败的节点。此外,它是已知的,任何最佳的MDS代码下的合作模式(包括,特别是,我们的新的代码构造)也实现了最佳的修复带宽下的集中式模型,其中的数据量之间交换的故障节点不包括在修复带宽。我们进一步表明,我们的新结构的节点大小也远远小于最知名的MDS码结构的集中式模型。
2019-11-28 cs.IT math.IT
Linear Exact Repair in MDS Array Codes: A General Lower Bound and Its Attainability
Shanghai Fintelli Box Technology Co., Ltd.(上海芬提利盒科技有限公司);School of Software Engineering, East China Normal University(华东师范大学软件学院)
研究MDS数组码在固定字段大小、冗余度和子包级别下线性精确修复的最小修复带宽和I/O,提出一般下界并证明其在冗余度≥3时可达,针对冗余度2的情况构造达到下界的码。
2026-04-19 cs.DM cs.IT math.IT
Optimal repair of Reed-Solomon codes: Achieving the cut-set bound
分布式存储的编码在编码理论中引起了一系列新的问题,这些问题与减少系统中节点间通信的需要有关。大量最近的论文解决了通过访问$d$ { \em助手节点}上的信息来优化为修复单个故障节点而下载的信息总量(修复带宽)的问题,其中$k\le d\le n-1.$通过所谓的割集界限(Dimakis等人,2010),使用$d$助手节点的$(n,k=n-r)$ MDS码的修复带宽至少是$dl/(d+1-k),$,其中$l$是节点的大小。此外,MDS阵列码的许多已知构造满足这个等式的界限。在相关但独立的工作中,Guruswami和Wootters(2016)研究了Reed-Solomon(RS)码的修复,表明这些码可以使用比普通方法更小的带宽进行修复。与此同时,他们的工作以及后续的论文停止了建设RS码(或任何标量MDS码),满足割集界的平等,这一直是一个开放的问题,在编码理论。在这项工作中,我们提出了一个解决这个问题,构造RS码的长度$n$的字段$q^l, l=\exp((1+o(1))n\log n)$,满足割集界。我们还证明了一个几乎匹配的下限$l$,超指数缩放是必要的,充分的,实现使用线性修复计划的割集界。更准确地说,我们证明了对于标量MDS码(包括RS码),要满足这个界限,子分组$l$必须满足$l \ge \exp((1+o(1)) k\log k).$
2017-05-31 cs.IT math.IT
Generic Construction of Optimal-Access Binary MDS Array Codes with Smaller Sub-packetization
University of Science and Technology Beijing(北京科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
针对二进制MDS阵列码单节点故障修复问题,提出两种通用构造方法,基于基础码构建出具有最优访问带宽的码C₁和C₂,其中C₂的子分组化程度为现有同类码中最小。
2025-11-12 cs.IT math.IT
Two-layer Locally Repairable Codes for Distributed Storage Systems
本文提出了一种适用于分布式存储系统的具有最优最小距离的局部可修码。采用两层编码结构保证数据重构和指定的修复局部性。数据首先在第一层中通过任何现有的最大距离可分离(MDS)码进行编码,然后在第二层中将编码的符号分成不重叠的组并通过MDS阵列码进行编码。第二层中的编码为局部修复提供了足够的冗余,而整个代码基于来自两层的冗余执行数据恢复。我们的代码可以构建在一个有限的字段中的DSS中的节点总数的大小线性增长,并促进有效的降级读取。
2014-08-14 cs.IT math.IT
Exact Optimized-cost Repair in Multi-hop Distributed Storage Networks
研究了多跳网络分布式存储系统中失效节点的精确修复问题。与目前大多数通过从幸存节点到新节点的直接链路来建模修复过程的研究相反,修复是通过考虑多跳网络结构来建模的,并且考虑到可能不存在从所有幸存节点到新节点的直接链路。在这些系统的修复问题中,幸存的节点可以合作将修复业务传输到新节点。在此设置中,我们定义节点之间传输的数据包的总数作为修复成本。因此,维修费用的下限可以找到割集界分析。在本文中,我们证明了MDS码在串联网络和网格网络中的精确修复的修复成本的下界是可达到的,从而导致最小成本的精确MDS码。此外,提出了两个次优(可实现)的大规模网格网络的界限。
2014-01-13 cs.IT math.IT
Reed-Solomon Codes with Optimal Repair Bandwidth: A Basis-Transformation Approach
Tsinghua University(清华大学);Shandong University(山东大学);Nankai University(南开大学)
本文提出一种基变换方法构造修复使能子空间,直接由修复域的标准单项基通过欧几里得平方划分、转置和列聚合三个确定性操作得到,从而构造出具有更小子包化度的RS-MSR码。
2026-10-20 cs.IT math.IT
Generalized Simple Regenerating Codes: Trading Sub-packetization and Fault Tolerance
本文提出广义简单再生码(GSRCs),支持更多参数,揭示子分组化与容错能力的权衡,实现局部修复任意单符号和单节点擦除,且修复带宽更小。
2023-09-05 cs.IT math.IT
An Explicit, Coupled-Layer Construction of a High-Rate MSR Code with Low Sub-Packetization Level, Small Field Size and All-Node Repair
本文给出了一个在域$\mathbb{F}_Q$上运行于最小存储再生(MSR)点的$((n,k,d=n-1), (α,β))$再生码的显式构造. MSR码可以被构造成具有如所期望的那样接近于$1$的速率$k/n$,由$r^{\frac{n}{r}}$给出的子分组化,对于$r=(n-k)$,字段大小不大于$n$,并且其中所有码符号可以用相同的最小数据下载来修复。该结构修改了先前的结构由撒哈拉等。这需要更大的规模。在构造中出现的构建块是块长度为$n$的标量MDS码。代码具有简单的分层结构,具有跨层耦合,其允许通过对标量MDS代码的解码器进行多次调用来执行节点修复和数据恢复。虽然这项工作是独立进行的,但与Ye和Barg先前的建筑有相当大的重叠。它示出在这里,基本上相同的体系结构可以用来构造MSR码使用矢量二进制MDS码作为构建块,而不是标量MDS码。这里的优点是,计算现在可以在一个较小的字段上进行,甚至可能在二进制字段上进行,正如我们在一个例子中所展示的那样。此外,我们展示了如何建设可以扩展到处理的情况下,$d<(n-1)$的帮助节点的选择一个温和的限制。
2016-09-17 cs.IT math.IT
Explicit constructions of optimal-access MDS codes with nearly optimal sub-packetization
具有长度$n,$维度$k=n-r$和子分组化$l$的$(n,k,l)$ MDS阵列码由有限域$F,$上的$l\times n$矩阵形成,其中矩阵的每一列存储在分布式存储系统中的单独节点上并被视为码字的坐标。故障节点的修复可以通过访问一组$d\le n-1$助手节点来执行。如果在每个助手节点上访问的数据量满足此数量的下限,则该代码被称为具有最佳访问属性。在我们以前的工作中,对于任何$n$和$r,$,我们提出了一个显式的结构的最优接入MDS码与子分组$l=r^{n-1}.$的最优接入MDS码的子分组$l$满足界$l\ge r^{(k-1)/r}.$在本文中,我们采取的问题,减少子分组值$l$,使其接近下界。本文构造了一类具有$l=r^{\lceil n/r\rceil},$的显式最优存取码,它与最优值相差至多1倍$r^2.$。这些码可以在任意长为$|F|\ge r\lceil n/r\rceil,$的有限域$F$上构造,并提供低复杂度的编译码过程。我们还定义了一个版本的修复问题,桥梁的上下文再生代码和代码的局部约束(LRC代码),称之为最佳访问组修复。在该变型中,我们假设$n=sm$节点的集合被划分为大小为$s,$的$m$修复组,并且只要$d$助手节点包括来自与故障节点相同的组的所有其他$s-1$节点,就要求用于修复的访问数据量尽可能最小。对于这个问题,我们构造了一族具有群最优存取性质…
2017-07-28 cs.IT math.IT
Repairing Reed-Solomon Codes
本文研究了RS码在分布式存储环境下解决\em精确修复问题\em的性能。我们的主要结果是,在某些参数制度,Reed-Solomon码是最佳再生码,MDS码与线性修复计划。此外,我们给出了MDS码的线性修复计划,在任何参数制度,并可以用来给非平凡的修复计划在其他设置的RS码的一个特征。更确切地说,我们表明,$k$维RS码的评估点是一个有限的字段大小$n$,有确切的修复计划的带宽$(n-1)\log((n-1)/(n-k))$位,这是最佳的任何MDS码的线性修复计划。相比之下,用于该RS码的原始(通常实现的)修复算法具有带宽$k\log(n)$位。当整个字段用作评估点时,节点数$n$远大于每个节点的比特数(即$O(\log(n))$),因此该结果仅在子分组化程度小时成立。然而,我们的方法适用于任何参数机制,为了说明高级别的子分组化,我们为Facebook Hadoop Analytics集群中使用的特定(14,10)-RS代码提供了改进的修复方案。
2016-08-09 cs.CC cs.IT math.IT
Exact Regeneration Codes for Distributed Storage Repair Using Interference Alignment
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在再生码频谱的一端是最小存储再生(MSR)码,其可以匹配MDS码的最小存储成本,同时还显著降低修复带宽。在本文中,我们描述了精确MSR码,它允许任何失败的节点(无论是系统或奇偶校验节点)被重新生成,而不仅仅是功能或信息等价。我们表明,精确MSR码来没有损失的最优性相对于随机网络编码的MSR码(匹配基于割集的修复带宽的下限)的情况下:(a)k/n <= 1/2;和(b)k <= 3。我们的建设性的方法是基于干扰对齐技术,并且,与前一类的随机网络编码为基础的方法,我们提供明确的和确定性的编码方案,需要一个有限的字段大小最多为2(n-k)。
2010-04-15 cs.IT math.IT
A Piggybacking Design Framework for Read-and Download-efficient Distributed Storage Codes
我们提出了一个新的“捎带”框架设计分布式存储代码,是有效的数据读取和下载过程中需要节点修复。我们通过构建显式代码的类来说明这个框架的强大功能,这些代码需要在三个重要设置的所有现有解决方案中读取和下载最小的数据进行修复:(a)满足最大距离可分离(MDS)、高速率和具有少量子条带的约束的代码,这是出于在数据中心中实现的实际考虑而产生的,(b)对于存在二进制MDS码的所有参数的二进制MDS码,(c)具有最小修复局部性的MDS码。此外,我们采用这个框架,使有效的修复奇偶校验节点在现有的代码,最初构建的解决只有系统节点的修复。我们框架背后的基本思想是采用现有代码的多个实例,并将一个实例的数据精心设计的函数添加到另一个实例中。根据代码参数的选择,修复期间数据读取的典型节省为25%至50%。
2013-02-24 cs.DC cs.IT cs.NI
Repair Optimal Erasure Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中,出现了使在故障之后精确地重建存储节点所需的总{ \it通信}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。设计高速率的最大距离可分离(MDS)码,实现最佳的修复通信一直是一个众所周知的开放问题。在这项工作中,我们使用阿达玛矩阵构造第一个显式的2-奇偶MDS存储代码的最佳修复性能的所有单节点故障,包括奇偶校验。我们的建设依赖于一种新的方法,实现完美的干扰对齐在有限的领域与有限的文件大小,或扩展的数量。我们将这种构造推广到设计$m$ -奇偶MDS码,实现了单系统节点故障的最佳修复通信,并表明我们的$m$ -奇偶码和Tamo { \it et al.}的基于系统修复最佳置换矩阵的码之间存在有趣的联系。\cite{Tamo}和Cadambe { \it等} \cite{PermCodes_ISIT, PermCodes}。
2011-06-08 cs.DC cs.IT cs.NI
Optimal Rebuilding of Multiple Erasures in MDS Codes
MDS阵列码由于其计算高效的编码和解码过程而广泛用于存储系统中。具有$r$冗余节点的MDS代码可以通过访问幸存节点中的所有剩余信息来纠正任何$r$节点擦除。然而,在实践中,对于$1\le e<r$,$e$擦除是更可能的失败事件。因此,一个自然的问题是,我们需要访问多少信息才能重建$e$存储节点?我们将重建率定义为在重建$e$擦除期间访问的剩余信息的分数。在我们以前的工作中,我们构造了MDS码,称为之字形码,实现了最佳的重建率的$1/r$的任何系统节点的重建时,$e=1$,然而,所有的信息需要访问重建的奇偶校验节点擦除。(归一化)修复带宽被定义为在重建过程中从剩余节点传输的信息的分数。对于不一定是MDS的代码,Dimakis等人提出了再生代码框架,其中任何$r$擦除都可以通过访问一些剩余信息来纠正,并且任何$e=1$擦除都可以从具有最佳修复带宽的幸存节点的一些子集重建。在这项工作中,我们研究了3个问题的重建代码:(i)我们显示了一个基本的权衡之间的存储大小的节点和修复带宽类似的再生代码框架,并显示锯齿形码实现最佳的重建率的$e/r$的MDS码,对于任何$1\le e\le r$。(ii)我们构造系统的代码,实现最佳重建率的$1/r$,任何系统或奇偶校验节点擦除。(iii)我们提出了锯齿形码的纠错算法,特别是演示了如何这些代码可以纠正超出其最小汉明距离。
2016-03-03 cs.IT math.IT
The repair problem for Reed-Solomon codes: Optimal repair of single and multiple erasures, asymptotically optimal node size
分布式存储中的修复问题解决了使用擦除码(例如,Reed-Solomon(RS)码)编码的数据的恢复。我们认为,在RS编码的存储系统中,使用尽可能少的节点间通信的单个节点或多个节点的修复问题。根据割集界限,使用$d$助手节点为$(n,k=n-r)$ MDS码修复$h\ge 1$故障节点的通信成本至少为$dhl/(d+h-k),$,其中$l$是节点的大小。Guruswami和Wootters(2016)发起了RS码有效修复的研究,表明它们可以使用比普通方法更小的带宽进行修复。与此同时,他们的工作以及后续论文都没有构造出满足割集上界的RS码(或任何标量MDS码)。在本文中,我们构建家庭的RS码,实现了一个或多个节点的维修割集界。在单节点的情况下,我们提出了RS码的长度$n$的字段$\mathbb{F}_{q^l},l=\exp((1+o(1))n\log n)$,满足割集界。我们还证明了一个几乎匹配的下界$l$,超指数缩放是必要的和充分的标量MDS码,以实现使用线性修复计划的割集界。对于多个节点的情况下,我们构建了一个家庭的RS码,实现切割集界普遍修复任何$h=2,3,\dots$失败的节点从任何子集的$d$助手节点,$k\le d\le n-h.$对于一个固定数量的奇偶校验$r$的节点大小构造的代码是接近最小可能的节点大小的代码具有这样的属性。
2018-05-04 cs.IT math.IT
A Class of Minimum Storage Cooperative Regenerating Codes with Low Access Property
本文研究了一种改进的MDS码的修复方案。在协作修复模型下,所得到的修复方案对多个失效节点具有最优带宽。此外,修复方案具有相对较低的访问性能,其中访问的数据的数量小于最佳值的两倍。
2022-01-17 cs.IT math.IT
Local Reconstruction Codes: A Class of MDS-PIR Capacity-Achieving Codes
我们证明了一类距离最优的局部重构码(LRC),一个重要的家庭的分布式存储系统的修复有效的代码,实现了最大的距离可分离的私人信息检索能力的情况下,非共谋节点。这类特殊的码包括金字塔码和文献中提出的其他LRC。
2018-09-18 cs.IT math.IT
A Complete Classification of Partial-MDS (Maximally Recoverable) Codes with One Global Parity
部分MDS(Partial-MDS,PMDS)码是一类局部可修码,主要用于分布式存储。它们被定义为能够在每个位置组发生给定数量的擦除之后纠正任何$s$附加擦除模式。这使得它们也是最大可恢复(MR)码,另一类局部可修复码。已知的是,如果字段大小足够大,则对于任何参数集,通常存在MR码,特别是PMDS码。此外,已知PMDS码的一些显式构造,大多数(但不总是)对每个局部组可以校正的擦除的数量具有强限制。在本文中,我们推广的概念PMDS码,允许不同大小的局部组。我们给出了这种具有$s=1$全局奇偶校验的PMDS码的一般构造,即,可校正一个额外擦除。此外,我们证明了所有给定参数的PMDS码都是这种形式,即,我们给出了这些码的分类。这意味着这些码存在的基本域大小的一个充分必要条件(假设MDS猜想成立)。对于某些参数集,我们的广义建设产生的PMDS码具有较小的字段大小比任何其他已知的建设。
2017-07-04 cs.IT math.IT
Random Construction of Partial MDS Codes
本文研究了用于分布式存储系统的部分MDS(PMDS)码,这是一类特殊的局部可修码。我们首先表明,这些代码的一个已知的建设,使用Gabidulin码,可以扩展到使用任何最大秩距离码。然后定义了PMDS码生成矩阵的标准形式,并利用该标准形式给出了PMDS码生成矩阵的代数描述。这意味着在一个足够大的有限域上,随机选择的PMDS标准形式的生成矩阵以高概率生成PMDS码。这也为PMDS码的存在提供了关于字段大小的充分条件。
2018-01-17 cs.IT math.IT
Efficient distribution and improved security for reliable cloud storage system
分布式数据存储系统是由大量的节点通过网络互连而构成的。这种对等网络中的每个节点都是脆弱的,并且存在潜在的攻击风险。攻击者可以窃听节点并可能修改其数据。因此,分布式存储系统应该是安全的,除了满足重建和修复的要求。我们构造了一个比基于再生码的存储系统效率更高的分布式存储系统--Twin MDS码框架。我们证明了这种Twin MDS码框架在分发过程中的性能优于MBR码,与MSR码相当,并与MBR和MSR码的安全性能进行了比较。这种双MDS代码框架在窃听者模型中进行检查,其中被动攻击者可以在修复过程中访问存储的数据或/和下载的数据。我们证明了双MDS代码框架管理更好的结果比MBR和MSR代码在系统中的安全性。
2016-02-05 cs.IT math.IT