On the Existence of Optimal Exact-Repair MDS Codes for Distributed Storage
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在本文中,我们解决了带宽最优的(n,k,d)精确修复MDS码,它允许任何失败的节点被修复,并访问任意d个幸存节点,其中k<=d<=n-1。我们证明了对于任意可容许的(n,k,d),都存在能达到最小修复带宽(匹配割集下界)的精确修复MDS码,即,k<n且k<=d<=n-1。我们的方法是基于干扰对齐技术,并使用矢量线性码,允许分裂成任意小的子符号的符号。
2010-04-26 cs.IT math.IT
New Codes and Inner Bounds for Exact Repair in Distributed Storage Systems
本文研究了分布式存储系统中存储和修复带宽之间的精确修复折衷问题。我们给出了新的内部界限的权衡区域,并提供代码的建设,实现这些界限。
2014-02-11 cs.IT math.IT
Exact Optimized-cost Repair in Multi-hop Distributed Storage Networks
研究了多跳网络分布式存储系统中失效节点的精确修复问题。与目前大多数通过从幸存节点到新节点的直接链路来建模修复过程的研究相反,修复是通过考虑多跳网络结构来建模的,并且考虑到可能不存在从所有幸存节点到新节点的直接链路。在这些系统的修复问题中,幸存的节点可以合作将修复业务传输到新节点。在此设置中,我们定义节点之间传输的数据包的总数作为修复成本。因此,维修费用的下限可以找到割集界分析。在本文中,我们证明了MDS码在串联网络和网格网络中的精确修复的修复成本的下界是可达到的,从而导致最小成本的精确MDS码。此外,提出了两个次优(可实现)的大规模网格网络的界限。
2014-01-13 cs.IT math.IT
A Connection Between Locally Repairable Codes and Exact Regenerating Codes
通常情况下,局部可修复代码(LRC)和再生代码已经相互独立的研究,它一直不清楚如何一个参数与其他的。本文建立了局部可修码与精确再生码之间的一种新的联系。通过这种连接,局部可修复的代码被解释为精确的再生代码。此外,这些代码中的一些被示出为比最小带宽再生和最小存储再生代码之间的分时代码执行得更好。
2016-03-18 cs.IT math.IT
Rate Region of the (4,3,3) Exact-Repair Regenerating Codes
对于(n,k,d)=(4,3,3)的情形考虑了精确修复再生码,并给出了其速率区域的完整特征.该表征肯定地回答了开放问题,即在功能修复再生代码的最佳带宽-存储折衷之间是否存在非零间隙(即,割集界)和正修再生码的割集界。逆证明依赖于对称最优解的存在性。对于可扩展性,只需要解决速率区域的一个非平凡角点,给出了一个显式的二进制码构造。
2013-05-10 cs.IT math.IT
On Secure Exact-repair Regenerating Codes with a Single Pareto Optimal Point
研究了防窃听攻击的精确修复再生码问题。我们考虑的窃听模型是窃听者有能力观察$\ell$节点的子集的修复中涉及的数据。$(n,k,d,\ell)$安全精确修复再生码是在该窃听模型下安全的$(n,k,d)$精确修复再生码。已经表明,对于某些参数$(n,k,d,\ell)$,可以确定具有一个角点的相关联的最佳存储带宽折衷曲线。本文的重点是表征这些参数。我们建立了一个下界$\hat{\ell}$窃听节点的数量,并表明,这个界是紧的情况下$k = d = n-1$。
2018-05-08 cs.IT math.IT
A Probabilistic Approach Towards Exact-Repair Regeneration Codes
研究了分布式存储系统中具有精确修复特性的再生码。对于精确修复问题,(α,β)折衷的可达点仅在最小存储再生(MSR)、最小带宽再生(MBR)以及n、k和d的某些特定值下才与外界相匹配。这种折衷在这项工作中被表征为一般(n,k,k),(即,k = d),对于每节点存储(α)和修复带宽(β)的某个范围。而不是明确的代码建设,这些权衡点的可扩展性证明存在的精确修复再生码的任何(n,k,k)。更准确地说,它表明,(n,k,k)系统可以通过添加一个新的节点,这是随机挑选的一些合奏,它被证明,以高概率,现有的节点和新添加的一个保持精确修复再生码的属性。新的可实现区域改进了现有的代码结构。特别地,该结果提供了对于任何n值的(n,3,3)分布式存储系统的完整折衷表征。
2015-10-07 cs.IT math.IT
Exact-Repair Regenerating Codes Via Layered Erasure Correction and Block Designs
通过组合两层擦除校正码和组合块设计构造了一类新的精确修复再生码,平衡不完全区组设计与t-设计。所提出的代码具有“未编码修复”属性,其中参与修复的节点仅直接传输部分存储的数据,而不执行任何计算。分层纠错结构使得解码过程相当简单,并且一般来说复杂度较低。我们表明,这种结构是能够实现性能优于最小存储再生码和最小修复带宽再生码之间的时间共享。
2013-02-19 cs.IT math.IT
Exact-MSR Codes for Distributed Storage with Low Repair Complexity
本文提出了两种新的精确修复最小存储再生码。对于这两种构造,通过将GF(q)上的消息向量处理为线性化多项式并在扩展域GF(q^m)上对其求值来获得编码符号。对于我们的精确MSR码,数据修复不需要矩阵求逆,并且可以通过GF $(q)$上的加法和乘法以及使用正常基时的循环移位来实现。这两种构造分别假设基域为GF(q)(q>2)和GF(2)。与现有的精确MSR码的构造相比,只要$q$足够大,前一构造对任意码参数都有效。据我们所知,这是第一次构造具有任意码参数的精确MSR码。与现有的精确MSR码相比,虽然我们的精确MSR码的数据构造具有更高的复杂度,但数据修复的复杂度较低。因此,它们对于需要少量数据重建以及大量数据修复的应用程序很有吸引力。
2013-01-21 cs.IT math.IT
Exact-Repair Minimum Bandwidth Regenerating Codes Based on Evaluation of Linearized Polynomials
本文提出了两种新的精确修复最小存储再生(exact-MBR)码。这两种构造都通过首先将GF(q)上的消息向量视为线性化多项式,然后在扩展域GF(q^m)上对其进行求值来获得编码符号。选择评估点,使得在任何节点处的编码符号彼此共轭,而不同节点的对应符号相对于GF(q)线性相关。这些性质确保了数据修复可以在基域GF(q)上进行,而不是某些现有的精确MBR码所需的扩展域上的矩阵求逆。据我们所知,这种方法是新颖的建设确切的MBR码。我们的一个结构导致精确的MBR代码与任意参数。这些exact-MBR代码具有更高的数据重建的复杂性,但较低的数据修复的复杂性比他们的同行的基础上的产品矩阵的方法,因此,他们可能是适合的应用程序,需要少量的数据重建,但大量的数据修复。
2013-01-21 cs.IT math.IT
Exact Regeneration Codes for Distributed Storage Repair Using Interference Alignment
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在再生码频谱的一端是最小存储再生(MSR)码,其可以匹配MDS码的最小存储成本,同时还显著降低修复带宽。在本文中,我们描述了精确MSR码,它允许任何失败的节点(无论是系统或奇偶校验节点)被重新生成,而不仅仅是功能或信息等价。我们表明,精确MSR码来没有损失的最优性相对于随机网络编码的MSR码(匹配基于割集的修复带宽的下限)的情况下:(a)k/n <= 1/2;和(b)k <= 3。我们的建设性的方法是基于干扰对齐技术,并且,与前一类的随机网络编码为基础的方法,我们提供明确的和确定性的编码方案,需要一个有限的字段大小最多为2(n-k)。
2010-04-15 cs.IT math.IT
Exact Cooperative Regenerating Codes with Minimum-Repair-Bandwidth for Distributed Storage
在最小带宽协作再生点上给出了精确协作再生码的一个显式构造。在本文之前,唯一已知的显式MBCR码给出参数$n=d+r$和$d=k$,而我们的构造适用于所有可能的值的$n,k,d,r$。该程序具有简洁的多项式形式的表达式,数据重构采用二元多项式插值实现。它是一种标量码,在大小为$q\geq n$的有限域上操作。此外,我们建立了线性精确MBCR码的几个子空间性质。基于这些性质,我们证明了线性精确MBCR码不能实现转移修复。
2012-07-04 cs.IT math.IT
Codes between MBR and MSR Points with Exact Repair Property
本文研究了具有精确修复的分布式存储系统。给出了在最小存储再生点(MSR)和最小带宽再生点(MBR)之间再生码的一种构造。据作者所知,除Tian等人的工作外,以前没有人构造过MBR点和MSR点之间的精确再生码。与他们的工作相比,这里所用的方法是初级的。在本文中,它示出的情况下,参数$n$,$k$,和$d$是彼此接近,给定的结构是接近最佳的,当比较已知的功能修复能力。当参数$n$、$k$和$d$的距离固定但实际值接近无穷大时,具有精确修复的构造代码的性能和具有功能修复的代码的已知容量的分数接近1。同时给出了所构造码的一个简单变形,其性能几乎相同。
2013-12-18 cs.IT math.IT
Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient
我们考虑一种设置,其中使用(n,k)最小存储再生(MSR)码,将大小为M的文件存储在n个分布式存储节点中,即,最大距离可分离(MDS)码,其还允许任何故障节点的有效精确修复。本文中感兴趣的问题是最小化修复带宽B以精确再生单个故障节点,即,新节点要下载的最小数据,以用其精确副本替换故障节点。以前的工作已经表明,带宽B =[M(n-1)]/[k(n-k)]是必要的和足够的功能(不精确)再生。也已经表明,如果k <= max(n/2,3),则精确再生比功能再生没有额外的成本。低冗余的实际相关设置,即,对于k> 3,k/n> 1/2保持开放,并且已经表明,在这种情况下,精确修复比功能修复有额外的带宽成本。在这项工作中,我们采用到分布式存储上下文中的渐近最优的干扰对齐方案以前提出的Cadambe和Jafar大型无线干扰网络。利用该方案,我们解决了(n,k)个正态MSR码的修复带宽最小化问题,其中包括k> \max(n/2,3)的开放情形。我们的主要结果是,对于任何(n,k),和足够大的文件大小,有没有额外的成本,确切的再生功能再生的修复带宽再生数据的每一位。更精确地说,我们证明了当M趋于无穷大时,B/M =(n-1)/(k(n-k))。
2010-04-24 cs.IT math.IT
Data Secrecy in Distributed Storage Systems under Exact Repair
研究了分布式存储系统中的数据防窃听问题。重点是使用线性代码并实现精确修复以从节点故障中恢复的系统。可以安全存储的最大文件大小是针对所有可用节点都有助于修复的系统确定的(即,修复程度$d=n-1$,其中$n$是节点的总数)和任意数量的受损节点。文献中的类似结果仅限于最多两个受损节点的情况。此外,新的显式上界给出的最大安全文件大小的系统与$d<n-1$。本文的贡献的关键成分是新的结果子空间相交的数据在修复过程中下载。新的界限意味着有趣的事实,即可以安全存储的最大数据随着受损节点的数量呈指数下降。
2013-04-12 cs.IT math.IT
Towards Optimal Secure Distributed Storage Systems with Exact Repair
分布式存储系统中存在的窃听器被认为是。分布式存储系统(DSS)由三个参数(n,k,d)参数化,其中存储在n个分布式节点上的文件可以从n个节点中的任意k个节点恢复。如果一个节点发生故障,则(n-1)个节点中的任何d个节点都可以帮助修复故障节点。对于这样的(n,k,d)-DSS,研究了两种类型的窃听场景:(a)类型I(节点)对手,其可以窃听存储在任何1 <k个节点上的数据;以及更严重的(b)类型II(修复数据)对手,其可以窃听用于随时间修复一组1个故障节点的修复数据的内容。这项工作的重点是在实际相关的设置,确切的修复再生修复过程中,必须更换一个失败的节点,其确切的副本。我们取得了新的进展,在此之前,这项工作已经开放的几个非平凡的情况下,这个问题。本文的主要贡献是一个(n,k,d)-DSS的安全存储与精确修复带宽权衡区的最佳特征,其中n<=4和任何l<k的存在下,类型I和类型II的对手。虽然问题仍然开放的一般(n,k,d)-DSS与n>4,我们提出了这些结果的扩展(n,n-1,n-1)-DSS,在存在的II型对手,可以观察到任何l=(n-2)节点的修复数据。这项工作的关键技术贡献是为II型对抗场景开发新的信息论逆证明。从我们的研究结果,我们表明,在存在类型II的攻击,在存储与精确修复带宽权衡的唯一有效点是MBR(最小带宽再生)点。这与I型攻击的情况形成鲜明对比,在I型攻击中,存储与精确修…
2014-02-19 cs.IT math.IT
Trace Repair Never Loses to Classical Repair: Exact and Explicit Helper Nodes Selection
本文提出了一种优化的痕迹修复方案,通过精确计算子空间维度并显式选择辅助节点,确保带宽不劣于经典方法,提供理论上的带宽保证。
2026-01-13 cs.IT math.IT
Bandwidth Adaptive & Error Resilient MBR Exact Repair Regenerating Codes
在存储网络中,节点失效是一种常见的分布式存储问题,再生码是解决这种问题的有效方法。它们通过仅访问网络中任意选择的预定义数量的存储节点来保证低成本的数据重建和修复。在这项工作中,我们考虑了对[1]中引入的原始再生代码框架的两个同时扩展; i)数据重建和修复都对网络中存在一定数量的错误节点具有弹性,ii)每次修复中的帮助节点的数量不是固定的,而是可以在运行时选择的灵活参数。我们研究所需的总修复带宽的基本限制,并提供这些代码的存储容量的上限在这些假设下。然后,我们专注于最小修复带宽(MBR)的情况下,并得出确切的存储容量,提出明确的编码方案与确切的修复,实现了在考虑设置的存储容量的上限。为此,我们首先提供了一个更自然的扩展著名的产品矩阵(PM)MBR代码[2],修改,以提供灵活的选择在每次修复的帮助者的数量,并同时在网络中的错误节点的鲁棒性。这是通过证明在足够大的有限域上的矩阵族的非奇异性来实现的。接下来,我们提供了另一个扩展的PM代码,基于新的修复方案,使灵活的帮助者的数量和鲁棒性对错误的节点,而没有任何额外的成本字段大小相比,原来的PM代码。
2017-11-07 cs.IT math.IT
Novel Repair-by-Transfer Codes and Systematic Exact-MBR Codes with Lower Complexities and Smaller Field Sizes
$(n,k,d)$再生码是一类具有从其它$d$现有码片段恢复丢失码片段的能力的$(n,k)$纠删码。本文主要研究在最小带宽再生点上的精确再生码的设计。对于$d=n-1$,在先前的工作中已经开发了一类$(n,k,d=n-1)$ Exact-MBR码,称为通过传输修复码,以避免节点修复过程中的算术运算。本文的第一个结果利用同余变换给出了一类新的转移修复码。与已有的工作相比,本文所提出的码的优点包括:(1)有限域的最小值从$n \choose 2$减小到$n$ . ii)编码复杂度从$n^4$降低到$n^3$。仿真结果表明,当$n$大于某一常数时,所提出的转移修复码具有较低的计算开销.本文的第二个结果给出了乘积矩阵Exact-MBR码的一种新的编码矩阵形式。所提出的编码矩阵包括多个优点:有限域大小的最小值从$n-k+d$减小到$n$。(ii)。快速Reed-Solomon纠删编码算法可以应用于Exact-MBR码,以降低时间复杂度。
2013-09-15 cs.IT math.IT
Symmetry in Distributed Storage Systems
最大流外边界是通过重新生成代码来实现的,用于功能修复分布式存储系统。然而,分布式存储系统的精确修复能力是一个悬而未决的问题。本文给出了精确修理分布式存储系统的线性规划界。给出了随机变量集的对称集的概念,建立了对称集上随机变量子集的联合熵的等式。提出了一种适用于精确修复分布式存储系统的级联编码方案,并证明了对于任何精确修复分布式存储系统,级联编码方案都足以达到任意的容许速率。给出了由级联方案引起的随机变量的某些联合熵的等价性。这些联合熵等式是简化线性规划界和获得精确修复分布式存储系统更强逆解的新工具。
2013-05-15 cs.IT math.IT
On the Tradeoff Region of Secure Exact-Repair Regenerating Codes
我们认为$(n,k,d,\ell)$安全的精确修复再生代码问题,它概括了$(n,k,d)$精确修复再生代码问题的附加约束,存储的文件需要保持信息理论上的安全,对窃听者,谁可以访问传输的数据,以再生一个总的$\ell$不同的失败节点。对于这个问题的所有已知结果,归一化存储容量和修复带宽之间的可实现的折衷区域具有单个角点,由Shah,Rashmi和Kumar提出的方案(SRK点)实现。由于没有任何保密约束的精确修复再生代码问题的可实现折衷区域通常具有多个角点,因此这些现有结果表明类似相变的行为,即,强制保密约束($\ell\geq 1$)立即将折衷区域减少到具有单个角点的区域。在这项工作中,我们首先表明,当保密参数$\ell$是足够大的,SRK点确实是唯一的角点的权衡区域。然而,当$\ell$是小的,我们表明,权衡区实际上可以有多个角点。特别是,我们建立了一个精确的表征的权衡区域的$(7,6,6,1)$问题,它正好有两个角点。因此,随着保密约束的逐渐加强,应该期望平滑的过渡,而不是相变类型的过渡。
2017-01-11 cs.IT math.IT
Characterizing the Rate Region of the (4,3,3) Exact-Repair Regenerating Codes
对于(n,k,d)=(4,3,3)的情形考虑了精确修复再生码,并给出了其速率区域的完整特征.该表征肯定地回答了开放问题,即在功能修复再生代码的最佳带宽-存储折衷之间是否存在非零间隙(即,割集界)和正修再生码的割集界。为了得到一个显式的信息论逆,提出了一种基于原始关系和对偶关系的计算机辅助证明方法。这种CAP方法扩展了杨的线性规划(LP)的方法,这是以前只用于信息理论的问题,由于在相应的LP问题的变量的数量的指数增长的几个随机变量。精确修复再生码问题中的对称性允许有效地减少变量的数量,并且与其他几个特定问题的减少一起,LP问题减少到可管理的规模。对于可重构性,在这种情况下,仅需要解决速率区域的一个非平凡角点,为此给出了显式二进制码构造。
2013-12-03 cs.IT math.IT
On the Achievability Region of Regenerating Codes for Multiple Erasures
研究了分布式存储中多故障的集中精确修复问题。我们描述的结构,实现了一组新的内部点下精确修复。这些构造建立在Tian等人的分层代码构造之上,专为精确修复单一故障而设计。我们首先改进了一般系统参数的分层结构。然后,我们扩展了改进的建设,以支持修复多个故障,不同数量的助手。特别是,我们证明了一个点的最优性的功能修复权衡的多个故障的一些参数。最后,考虑最小带宽合作修复(MBCR)码集中修复码,我们明确确定的最佳可达区域之间的所有已知点,包括MBCR点的空间共享。
2018-01-31 cs.IT math.IT
CROSS-MBCR: Exact Minimum Bandwith Coordinated Regenerating Codes
我们研究的精确和最佳的修复多个故障的代码分布存储。更具体地说,我们提供了一个明确的最小带宽协调再生码(MBCR)的结构n=d+t,k,d >= k,t >= 1。我们的构造与现有构造的不同之处在于允许t>1(即,多个故障的修复)和d>k(即,在维修期间接触多于K个设备)。
2012-07-03 cs.IT math.IT
$ε$-MSR Codes: Contacting Fewer Code Blocks for Exact Repair
$ε$ -最小存储再生($ε$ -MSR)码形成一类特殊的最大距离可分离(MDS)码,通过从剩余码块下载稍微次优的信息量,提供用于在其码字中精确再生单个码块的机制。这些代码的主要优点是一个显着较低的子分组,只增长与代码的长度几何,同时提供最佳的存储和纠错能力。然而,从实现的角度来看,这些代码要求每个剩余的代码块可用于修复任何单个代码块。在本文中,我们解决这个问题,通过构建$ε$ -MSR代码,可以修复一个失败的代码块,通过接触较少的可用代码块。当一个代码块失败时,我们的修复过程需要联系几个强制代码块,并且可以自由地选择可用代码块的任何子集来进行剩余的选择。此外,我们的建设requirea字段大小线性的代码长度,并确保负载均衡之间的联系的代码块的信息下载从他们一个单一的修复。
2018-07-03 cs.IT math.IT
Replication based storage systems with local repair
我们考虑分布式存储系统的再生码的设计,该系统具有本地,精确和未编码修复的特性,即,(a)在故障时,可以通过简单地从幸存节点下载分组来重新生成节点,以及(b)所联系的幸存节点的数量严格小于为了重建所存储的文件而需要联系的节点的数量。我们的代码包括一个外部MDS代码和一个内部分数重复代码,指定的存储节点上的编码符号的位置。对于我们的代码类,我们确定本地修复属性和最小距离之间的权衡。我们目前的代码的基础上,图形的高围长,仿射可解析设计和投影平面,满足最小距离范围的文件大小的特定选择。
2013-05-24 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Layered, Exact-Repair Regenerating Codes Via Embedded Error Correction and Block Designs
通过将较短的擦除纠错码拼接在一起,构造了一类新的精确修复再生码,其中拼接模式可以看作是块设计。所提出的代码具有“帮助传输”属性,其中帮助节点仅直接传输部分存储数据,而不执行任何计算。这种嵌入式纠错结构使得解码过程简单明了,并且在某些情况下复杂度非常低。我们表明,这种结构是能够实现性能优于最小存储再生码和最小修复带宽再生码之间的空间共享,它是第一类代码,以实现这种性能。事实上,它表明,所提出的结构可以实现一个非平凡点上的最佳功能修复权衡,它是渐近最优的高速率,即,它同时渐近地接近最小存储和最小修复带宽。
2014-08-02 cs.IT math.IT
Centralized Multi-Node Repair Regenerating Codes
在分布式存储系统中,从多个故障中恢复是一项重要而频繁的任务,对于保持系统的可靠性和容错性至关重要。在这项工作中,我们专注于集中修复多个故障的问题,这可能是可取的,在许多数据存储配置,我们表明,一个显着的修复流量减少是可能的。首先,建立了修复带宽和功能修复的存储大小之间的基本权衡。使用图论公式,最佳的权衡被确定为整数优化问题的解决方案,推导出一个封闭形式的表达式。给出了最小存储多节点修复点和最小带宽多节点修复点的表达式。其次,我们描述了一个通用的框架,用于将单擦除最小存储再生码MSMR码。针对$e$故障的修复策略与针对单个故障的修复策略相似,但是针对单个故障的修复功能需要满足某些额外的要求。为了说明,该框架被应用于乘积矩阵码和干扰对齐码。此外,我们证明了功能MBMR点是不可实现的线性精确修复码。我们还表明,精确修复最小带宽合作修复(MBCR)代码实现的内部点,即位于附近的MBMR点,当$k \equiv 1 \mod e$,$k$是重建整个数据所需的最小数量的节点。最后,对于$k> 2e, e\mid k$和$e \mid d$,其中$d$是在修复过程中的帮助节点的数量,我们表明,功能修复的折衷是无法实现的精确修复,除了可能是一小部分附近的MSMR点,这平行的结果由Shah等人的单擦除修复。
2018-05-08 cs.IT math.IT
Centralized Repair of Multiple Node Failures with Applications to Communication Efficient Secret Sharing
本文考虑了一个分布式存储系统,其中多个存储节点可以在一个集中的位置同时重建。这种集中式多节点修复(CMR)模型是再生代码的推广,允许对单个故障节点进行带宽有效的修复。这项工作的重点是在此CMR模型中存储的数据量和修复带宽之间的权衡。特别是,修复带宽的界限推导出的最小存储多节点修复(MSMR)和最小带宽多节点修复(MBMR)的工作点。这些界限的紧密性通过代码结构进行分析。MSMR点的特征在于,通过代码实现这一点的功能修复的通用CMR参数集,以及与代码,使精确修复某些CMR参数。MBMR点,另一方面,其特征在于与精确的修复代码的所有CMR参数的系统,满足一定的熵累积属性。最后,将该模型应用于秘密共享问题,利用多节点修复问题的编码构造了具有带宽有效共享修复性质的通信有效秘密共享方案.
2016-03-15 cs.IT math.IT
Product Matrix MSR Codes with Bandwidth Adaptive Exact Repair
在具有$k$系统节点的分布式存储系统(DSS)中,通常通过在多个其他节点中存储冗余并执行修复机制以再现故障节点的内容来提供对节点故障的鲁棒性。然后,通过最小化存储开销和数据重建和修复所需的数据传输量来实现效率,这些数据传输量由编码解决方案(如重新生成代码[1])提供。常见的显式再生代码构造通过访问预定义数量$d$的任意选择的可用节点(即帮助器)来实现有效的修复。然而,在实践中,系统的状态基于请求负载、链路流量等动态地改变,并且优化系统性能的参数相应地变化。因此,期望具有能够同时在不同参数范围下最佳地操作的编码方案。具体而言,自适应的帮助节点的数量进行修复的兴趣。虽然鲁棒性要求能够用少量的助手来执行修复,但是希望使用尽可能多的助手来减少传输延迟和总的修复流量。在这项工作中,我们专注于最小存储再生(MSR)代码,其中每个节点都应该存储$α$信息单元,和大小为$kα$的源数据可以从任意一组$k$节点恢复。我们引入了一类MSR码,它可以同时实现最佳修复带宽,并对帮助器的数量进行一组不同的选择,即$D=\{d_{1}, \cdots, d_δ\}$。我们的编码方案遵循[2]中介绍的乘积矩阵(PM)框架,并且可以被认为是[2]中提出的PM MSR代码的推广,使得任何$d_{i} = (i+1)(k-1)$助手都可以执行最佳修复。...
2017-12-28 cs.IT math.IT
Fractional Repetition Codes for Repair in Distributed Storage Systems
我们介绍了一类新的精确的最小带宽再生(MBR)代码的分布式存储系统,其特征在于一个低复杂度的未编码的修复过程,可以容忍多个节点的故障。这些代码由两个组件的级联组成:外部MDS代码后面跟着内部重复代码。我们将内部代码称为分数重复代码,因为它包括将每个节点的数据分成几个数据包,并将每个数据包的多个副本存储在系统中的不同节点上。我们的修复模型是基于表的,因此,不同于文献中采用的随机访问模型。我们提出了分数重复码的结构的基础上定期图和施泰纳系统的一个大的系统参数。所得到的代码保证达到随机访问修复的存储容量。所考虑的模型激发了一个新的定义的分布式存储系统的容量,我们称之为分数重复容量。我们提供的上限,而精确的表达仍然是一个悬而未决的问题。
2010-10-13 cs.IT math.IT
A repair scheme for a distributed storage system based on multivariate polynomials
Department of Mathematics, Virginia Tech(弗吉尼亚理工大学数学系)
本文提出基于多元多项式的分布式存储系统修复方案,扩展了Reed-Muller码的修复能力,可处理单节点和多节点故障。
2025-12-31 cs.IT math.IT
Locally Repairable Codes with Functional Repair and Multiple Erasure Tolerance
考虑了分布式存储系统(DSS)中满足(r,t)-局部修复性质的[n; k]线性码的设计问题,其中任意t '(<=t)个同时失效的节点都可以局部修复,每个节点都具有局部性r.参数n、k、r、t是正整数,使得r<k<n并且t <= n-k。我们认为功能修复模型和顺序修复多个失败的节点的方法。通过功能修复,我们的意思是存储在每个新来者中的数据包不一定是丢失数据的精确副本,而是保持(r,t)-本地修复属性的符号。序贯方法是指t'个新节点按适当的顺序排列,使得每个新节点都可以从活节点和在它之前排序的新节点中修复。这种码称为(n,k,r,t)-泛函局部可修码(FLRC),是最一般的一类LRC,包含文献中报道的几个LRC子类。在本文中,我们的目标是优化FLRC的存储开销(相当于码率)。我们推导出一个下界的代码长度n给定t属于{2,3}和任何可能的k,r。当t=2时,我们的界推广了[14]中证明的速率界。当t=3时,我们的界改进了[10]中证明的速率界。当t属于{2,3}且长度n达到(n,k,r,t)-FLRC的上界时,给出了精确LRC的构造,证明了上界的紧性,同时也暗示了函数LRC的最优码长与精确LRC的最优码长在一定参数下没有差距.此外,我们的构造是在二元域上的,因此在实践中是有意义的。
2015-07-29 cs.IT math.IT
Increasing Availability in Distributed Storage Systems via Clustering
本文提出了一种新的分布式存储系统架构--固定集群修复系统(FCRS),它在保证高可用性的同时,实现了较小的修复带宽。具体来说,我们将DSS中的服务器集划分为$s$群集,并允许故障服务器选择除其自身群集之外的任何群集作为其修复组。因此,我们保证了$s-1$的可用性。我们的特征在于修复带宽与存储权衡功能修复下的FCRS,并表明,最小的修复带宽可以提高一个渐近乘法因子的$2/3$相比,最先进的编码技术,保证相同的可用性。我们进一步介绍了三次码设计,以最小化修复带宽的FCRS下的确切修复模型。我们证明了一个渐进乘法改善$0.79$在最小修复带宽相比,现有的精确修复编码技术,实现相同的可用性。我们表明,立方码是信息理论上最优的FCRS与$2$和$3$完整的集群。此外,在转移修复模型下,立方码是最优的,而与簇的数量无关。
2019-03-05 cs.IT math.IT
Linear exact repair schemes for free MDS and Reed-Solomon codes over Galois rings
针对Galois环上分布式存储的节点故障恢复问题,本文提出自由MDS码的线性精确修复方案,并专门构造了全长Reed-Solomon码的线性修复方案。
2025-06-10 cs.IT math.IT math.RA
The Incidence-Multiplicity Bound for Linear Exact Repair in MDS Array Codes
Shanghai Fintelli Box Technology Co., Ltd.(上海芬特利盒科技有限公司)
本文研究了在代码长度n变化时,MDS数组码的线性精确修复问题,提出更严格的下界,揭示了几何原理在MDS数组码中的作用。
2026-04-20 cs.IT math.IT
Storage codes -- coding rate and repair locality
分布式存储代码的{ \em修复位置}是在修复故障节点期间需要联系的节点的最大数量。具有小的修复局部性是期望的,因为它与修复期间的磁盘访问的数量成比例。然而,最近的出版物表明,小的修复局部性带来了惩罚的代码距离或存储开销,如果需要精确的修复。在这里,我们首先回顾了一些主要的结果存储代码在各种修复制度和讨论最近的工作可能的(信息理论)之间的权衡修复局部性和其他代码参数,如存储开销和代码距离,在确切的修复制度。然后,我们提出了一些新的信息理论的存储开销作为修复局部性的函数,适用于所有常见的编码和修复模型的下限。特别地,我们表明,如果分布式存储系统中的每个$n$节点具有存储容量$\ga$,并且如果在任何时候,故障节点可以通过联系$r$节点的{\em some}集合来{ \em functionally}修复(这可能取决于系统的实际状态)并从每一个下载一定量的$\gb$数据,那么在$\ga=\gb$或$\ga = r\gb$,最大编码速率分别至多为$r/(r+1)$或1/2(即,额外存储开销分别至少为$1/r$或1)。
2013-01-18 cs.IT math.IT
Error-Correcting Regenerating and Locally Repairable Codes via Rank-Metric Codes
本文提出并分析了一种新的级联编码方案,使错误恢复在两个分布式存储设置:一个是存储使用现有的再生码,第二个是存储使用本地可修复的代码。级联编码方案将最大秩距离(MRD)码作为外码,将全局再生码或局部可修复码作为内码。此外,考虑了局部可修复码与再生码组合的抗误码能力。这种级联编码系统旨在处理两种不同类型的对抗性错误:第一种类型包括只能替换受影响节点内容一次的对手;而第二种类型研究能够污染数据无限次数的对手。建立了局部可修复码的恢复能力上界,证明了该级联编码方案对第一类攻击者的恢复能力达到了上界。此外,本文提出的机制,结合子空间签名的级联编码方案,以实现第二类错误的错误恢复。
2013-12-11 cs.IT math.IT
MDS Code Constructions with Small Sub-packetization and Near-optimal Repair Bandwidth
本文提出了一种构造MDS码的方法,该方法能够以较小的修复带宽对每个码块进行精确修复,修复带宽指的是修复过程中剩余码块的信息流总量。这个问题在分布式存储系统的上下文中自然出现为节点修复问题[7]。具有最优修复带宽的精确可修复MDS码的构造需要在较大的子包级下工作,这限制了其在实际中的应用。本文提出了MDS码的结构,同时提供小的修复带宽和小的子分组化水平。特别是,本文提出了两种一般的方法来构建精确的可修复MDS码,其目的是显着降低所需的子打包水平的代价稍微次优的修复带宽。第一种方法给出了具有至多两倍于最优修复带宽的修复带宽的MDS码。另外,这些码还具有最小可能的子分组化级别$\ell = O(r)$,其中$r$表示奇偶校验块的数量。然后将这种方法推广到设计代码,使其修复带宽接近最佳修复带宽,但代价是所需子分组级别的适度增加。第二种方法将具有最佳修复带宽和大子分组化水平的MDS码转换成具有较小子分组化水平和接近最佳修复带宽的较长MDS码。对于给定的$r$,所获得的码具有它们的子分组化级别,该子分组化级别随码长度而按比例缩放。此外,所获得的代码需要字段大小在代码长度上仅是线性的,并且根据在代码块的精确重构期间从这些块下载的信息来确保完整代码块之间的负载均衡。
2017-09-24 cs.CC cs.IT math.IT
Explicit Codes Minimizing Repair Bandwidth for Distributed Storage
我们考虑以分布式方式跨n个节点设置数据存储。数据收集器(DC)应该能够通过连接到n个节点中的任何k个节点并下载存储在其中的所有数据来重建整个数据。当一个节点出现故障时,必须使用现有节点重新生成它。在最近的一篇论文中,Wu等人得到了修复带宽的信息论下界。此外,还对以系统形式存储数据产生了额外的兴趣,因为当DC连接到k个系统节点时不需要后处理。由于它们的首选状态,需要快速准确地重新生成任何系统节点。用精确的副本替换失效节点称为精确再生,本文考虑了系统节点精确再生时的修复带宽最小化问题。要存储的文件大小为B,每个节点可以存储alpha = B/k个数据单元。通过从d个现有节点下载beta单元的数据来重新生成故障系统节点。我们给出了一个下界的修复带宽的系统节点的确切再生,它与吴等人给出的界限相匹配。对于d >= 2k-1,我们给出了一个显式的代码建设,最大限度地减少修复带宽时,现有的k-1系统节点参与再生。我们展示了实现d >= 2k-3的界的代码的存在性和构造。在这里,我们还建立了干涉对齐的必要性。我们证明了当beta=1时,d <= 2k-4的上界是不可达到的。我们还给出了一个编码方案,可用于任何d和k,这是最佳的d >= 2k-1。
2009-09-05 cs.IT math.IT
Distributed Storage Codes with Repair-by-Transfer and Non-achievability of Interior Points on the Storage-Bandwidth Tradeoff
再生码是最近开发的一类用于分布式存储的码,其像里德-所罗门码一样,允许从n节点网络内的k个节点的任何子集恢复数据。然而,再生代码拥有另外,通过连接到任意子集的d节点来修复故障节点的能力。已经表明,对于功能修复的情况,每个节点存储的数据量和修复故障节点所需的带宽之间存在权衡。功能修复的一种特殊情况是精确修复,其中要求替换节点存储与故障节点中相同的数据。精确修复是令人感兴趣的,因为它大大简化了系统实现。本文的第一个结果是一个明确的,精确的修复代码的存储带宽的折衷对应的最小可能的修复带宽的情况下,当d=n-1的点。这个代码有一个特别简单的图形描述,最有趣的是,它能够通过数据传输进行精确修复,而不需要执行任何算术运算。因此才有了“转让修复”一词。本文的第二个结果表明,存储带宽权衡的内部点不能实现下精确修复,从而指出存在一个单独的权衡下精确修复。具体来说,我们确定了一组方案,称为“帮助节点池”,并表明,它是必要的,以满足这种情况下,过度约束系统。
2010-11-16 cs.DC cs.IT cs.NI
Determinant Codes with Helper-Independent Repair for Single and Multiple Failures
行列式码是一类适用于参数为(n,k = d,d)的分布式存储系统的精确修复再生码。这些代码涵盖了每节点存储和修复带宽之间的整个权衡。在作者的早期工作中,由帮助节点发送以修复故障节点的决定性代码的修复数据取决于参与该过程的其他帮助节点的身份,这实际上是不期望的。在这项工作中,提出了一种新的修复机制的行列式代码,放松这种依赖性,同时保持所有其他属性的代码。此外,它示出的行列式代码是能够修复多个故障,与每个节点的修复带宽的规模与故障的数量呈次线性。
2019-03-07 cs.IT math.IT
Linear Exact Repair in MDS Array Codes: A General Lower Bound and Its Attainability
Shanghai Fintelli Box Technology Co., Ltd.(上海芬提利盒科技有限公司);School of Software Engineering, East China Normal University(华东师范大学软件学院)
研究MDS数组码在固定字段大小、冗余度和子包级别下线性精确修复的最小修复带宽和I/O,提出一般下界并证明其在冗余度≥3时可达,针对冗余度2的情况构造达到下界的码。
2026-04-19 cs.DM cs.IT math.IT
Exact-Regenerating Codes between MBR and MSR Points
本文研究了具有精确修复的分布式存储系统。我们给出了一个构造再生码之间的最小存储再生(MSR)和最小带宽再生(MBR)点,并表明,在参数n,k,和d是彼此接近的情况下,我们的结构是接近最优的,当比较已知的容量时,只需要功能修复。我们这样做,当参数n,k和d的距离是固定的,但实际值接近无穷大,我们的代码的性能与精确的修复和已知的功能修复的代码的能力的分数接近一。
2013-04-19 cs.DC cs.IT math.IT
Optimal Repair Bandwidth and Repair I/O of $(n,n-2,2)$ MDS Array Codes
Shanghai Fintelli Box Technology Co., Ltd.(上海芬特利盒科技有限公司)
本文研究了(n,n-2,2) MDS数组码在任意有限域上的最优修复带宽和修复I/O,推导出精确公式并解决首个非平凡冗余和子分包化 regime (2,2) 的问题。
2026-05-11 cs.DM cs.IT math.CO
Cascade Codes For Distributed Storage Systems
本文提出了一种新的精确修复再生码的编码方案。在这项工作中提出的代码可以在节点的修复带宽(在修复过程中从每个幸存节点下载的符号的数量)和系统所需的存储开销之间进行交易。这些代码适用于一般系统参数$(n,k,d)$,这些参数分别是节点总数、足以进行数据恢复的节点数和修复过程中的帮助节点数。拟议的建设提供了一个统一的计划,制定准确的修复再生代码的整个权衡,包括MBR和MSR点。我们推测,新的存储-vs.-由所提出的码实现的带宽折衷是最优的。该码的一些其它关键特征包括:构造是线性的;所需的字段大小仅为$Θ(n)$ ;以及码参数,特别是子分组化级别至多为$(d-k+1)^k$ ;这与奇偶校验节点的数量无关。此外,所提出的修复机制是\emph{helper-independent},即从每个帮助者发送的数据仅取决于帮助者和故障节点的身份,但独立于参与修复过程的其他帮助者节点的身份。
2020-10-20 cs.IT math.IT
HFR Code: A Flexible Replication Scheme for Cloud Storage Systems
分数重复(FR)码是一类具有修复效率的存储码,其在最小带宽再生点处提供精确的和未编码的节点修复。有利的修复性能是通过一个量身定制的两层编码方案,它级联的外部最大距离可分离(MDS)码和内部重复码。本文对FR码的应用进行了推广,提出了异构分数重复(HFR)码,该码适用于编码分组重复度不同的情况。我们提供了明确的代码建设,利用组可分设计,允许设计的HFR代码在很大的参数范围内。所构造的代码实现了随机访问修复下的系统存储容量,并具有多个节点故障的修复方案。此外,我们利用MDS码的系统特性,并提出了一种新的设计框架的HFR码,其中存储节点可以明智地划分成集群,使数据重建时间可以减少接触节点在同一个集群。
2015-09-13 cs.IT math.IT
Binary Locally Repairable Codes ---Sequential Repair for Multiple Erasures
分布式存储中的局部可修复码(LRC)允许两种方法对多个失效节点进行局部修复:1)并行方法,每个新节点访问一组$r$活节点$(r$作为修复位置$)$,下载数据并恢复丢失的数据包;以及2)顺序方法,通过该方法,新来者被适当地排序并且每个新来者访问一组$r$其它节点,一个具有局部性$r$的$[n,k]$线性码被称为$(n,k,r,t)$ -精确局部可修复码(ELRC),它允许通过顺序方法对多达$t$的失效节点进行局部修复.本文提出了一类等价于$[r+1,r]$单奇偶校验码的$m$拷贝的直积的二进制码。我们证明了这样的代码是$(n,k,r,t)$与$n=(r+1)^m,k=r^m$和$t=2^m-1$,这意味着他们允许本地修复高达$2^m-1$擦除顺序的方法。结果表明,顺序方法比并行方法具有更大的优势。
2015-11-19 cs.IT math.IT
Binary MDS Array Codes with Optimal Repair
考虑由具有$k$信息列和$r$奇偶校验列的位的$m\times (k+r)$阵列组成的二进制最大距离可分离(MDS)阵列码,使得$k+r$列中的任何$k$足以重构$k$信息列。我们的目标是为二进制MDS阵列代码提供{ \em最佳修复访问},这意味着修复任何单个故障信息或奇偶校验列所触发的带宽最小化。在本文中,我们提出了一个通用的二进制MDS阵列代码的转换框架,使用EVENODD代码作为一个激励的例子,以支持最佳的修复访问$k+1\le d \le k+r-1$,其中$d$表示的非故障列连接修复的数量;请注意,当$d<k+r-1$,一些选定的$d$列在修复一个失败的列是特定的。此外,我们展示了我们的转换框架如何适用于一个例子的二进制MDS阵列码的渐近最佳修复访问的任何单一的信息列,并使渐近或完全最佳的修复访问的任何列。此外,我们提出了一个新的变换的EVENODD码与两个奇偶校验列,使现有的有效修复性能的任何信息列保持和奇偶校验列的修复访问是最佳的。
2019-08-28 cs.IT math.IT
Repairing Reed-Solomon Codes
本文研究了RS码在分布式存储环境下解决\em精确修复问题\em的性能。我们的主要结果是,在某些参数制度,Reed-Solomon码是最佳再生码,MDS码与线性修复计划。此外,我们给出了MDS码的线性修复计划,在任何参数制度,并可以用来给非平凡的修复计划在其他设置的RS码的一个特征。更确切地说,我们表明,$k$维RS码的评估点是一个有限的字段大小$n$,有确切的修复计划的带宽$(n-1)\log((n-1)/(n-k))$位,这是最佳的任何MDS码的线性修复计划。相比之下,用于该RS码的原始(通常实现的)修复算法具有带宽$k\log(n)$位。当整个字段用作评估点时,节点数$n$远大于每个节点的比特数(即$O(\log(n))$),因此该结果仅在子分组化程度小时成立。然而,我们的方法适用于任何参数机制,为了说明高级别的子分组化,我们为Facebook Hadoop Analytics集群中使用的特定(14,10)-RS代码提供了改进的修复方案。
2016-08-09 cs.CC cs.IT math.IT
Product Matrix Minimum Storage Regenerating Codes with Flexible Number of Helpers
在分布式存储系统的编码中,通过访问预定义数量的任意选择的存储节点来保证有效的数据重建和修复,通过重新生成代码。传统上,代码参数,特别是参与修复过程的帮助节点的数量是预定的。然而,取决于系统和网络业务的状态,期望相应地调整这样的参数,以便最小化修复成本。在这项工作中,一类再生代码的最小存储量的介绍,可以同时操作在最佳的修复带宽,广泛的确切的修复机制,根据不同数量的帮助节点。
2017-12-28 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Locally Repairable Regenerating Codes: Node Unavailability and the Insufficiency of Stationary Local Repair
局部可修复码(LRC)是一种巧妙设计的分布式存储码,具有一组(通常很小)固定的帮助节点参与修复。由于大多数现有的LRC假设精确修复,并允许存储的数据($β=α$)从帮助节点的完全交换,它们可以被看作是一个推广的传统的擦除码(EC)与一个非常期望的本地可修复性通过预定集的帮助。然而,这也意味着它们缺乏(i)功能修复和(ii)原始再生代码(RC)中的部分信息交换($β<α$)的特征,这可能进一步降低修复带宽。受RC相对于EC的显著带宽减少的启发,Ahmad等人和Hollmann的现有工作研究了“局部可修复再生码(LRRCs)”的概念,该概念成功地将再生码的功能修复和部分信息交换与LRC的非常期望的局部可修复性特征相结合。由此产生的LRRCs表现出显着的带宽减少。任何本地修复方案(包括LRC和LRRCs)都需要解决的一个重要问题是,有时指定的助手节点可能暂时不可用,这是多次故障、降级读取或其他网络动态的结果。在节点临时不可用的LRRCs的设置下,这项工作研究了不同的助手选择方法的影响。它证明,与节点不可用,所有现有的方法的助手选择,包括在RC和LRC中使用的,可以是不够的,在实现最佳的修复带宽。对于某些情况下,有必要将LRRCs与新的助手选择方法(称为动态助手选择)相结合,以实现最佳修复带宽。这项工作还比较了不同的助手选择方法和答案的性能。
2016-05-04 cs.IT math.IT