Rate Region of the (4,3,3) Exact-Repair Regenerating Codes
对于(n,k,d)=(4,3,3)的情形考虑了精确修复再生码,并给出了其速率区域的完整特征.该表征肯定地回答了开放问题,即在功能修复再生代码的最佳带宽-存储折衷之间是否存在非零间隙(即,割集界)和正修再生码的割集界。逆证明依赖于对称最优解的存在性。对于可扩展性,只需要解决速率区域的一个非平凡角点,给出了一个显式的二进制码构造。
2013-05-10 cs.IT math.IT
A Note on the Rate Region of Exact-Repair Regenerating Codes
提供了$(5,4,4)$精确修复再生码的速率区域。通过扩展的计算方法在早期的工作中开发的外部边界,这个区域确实是可以实现的使用规范的分层码。这个结果是“计算信息理论极限的解决方案(SCITL)”在线收集的一部分。
2015-02-27 cs.IT math.IT
Exact-Repair Regenerating Codes Via Layered Erasure Correction and Block Designs
通过组合两层擦除校正码和组合块设计构造了一类新的精确修复再生码,平衡不完全区组设计与t-设计。所提出的代码具有“未编码修复”属性,其中参与修复的节点仅直接传输部分存储的数据,而不执行任何计算。分层纠错结构使得解码过程相当简单,并且一般来说复杂度较低。我们表明,这种结构是能够实现性能优于最小存储再生码和最小修复带宽再生码之间的时间共享。
2013-02-19 cs.IT math.IT
Shortened regenerating codes
对于一般的精确修复再生码,存储容量和修复带宽之间的最佳权衡仍然是不确定的。已经提出了各种外边界和部分结果。使用一个简单的链式规则参数,我们确定非负的功能修复和确切的修复外边界之间的差异。然后,通过缩短的子码的修复数据从下面限定差异之一。我们的主要结果是一个新的外界的确切修复再生码的缩短的子码。一般来说,新的外边界是隐式的,并取决于缩短子码的选择。对于线性的情况下,我们得到明确的界限。
2015-05-01 cs.IT math.IT
On Secure Exact-repair Regenerating Codes with a Single Pareto Optimal Point
研究了防窃听攻击的精确修复再生码问题。我们考虑的窃听模型是窃听者有能力观察$\ell$节点的子集的修复中涉及的数据。$(n,k,d,\ell)$安全精确修复再生码是在该窃听模型下安全的$(n,k,d)$精确修复再生码。已经表明,对于某些参数$(n,k,d,\ell)$,可以确定具有一个角点的相关联的最佳存储带宽折衷曲线。本文的重点是表征这些参数。我们建立了一个下界$\hat{\ell}$窃听节点的数量,并表明,这个界是紧的情况下$k = d = n-1$。
2018-05-08 cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
Practical Functional Regenerating Codes for Broadcast Repair of Multiple Nodes
提出了一种多节点故障的最优功能再生的代码构造和修复方案,该方案基于在线性化多项式上仔细选择的点集上拼接短MDS代码。节点被无线地连接,因此在修复回合期间由帮助节点进行的所有传输可用于所有被修复的节点。该方案具有较低的子包化率、较低的I/O开销和较低的计算开销,因而简单实用。最小带宽再生(MBR)点,以及一个内部的点,在最佳的存储-修复带宽权衡曲线的可扩展性。子空间性质的文件提供洞察功能再生码的一般性质。
2019-04-15 cs.IT math.IT
Rack-Aware Cooperative Regenerating Codes
在分布式存储系统中,协作再生码在多个节点故障的情况下权衡存储和修复带宽。在机架感知分布式存储系统中,不存在与在机架内传送符号相关联的成本。因此,修复带宽将仅考虑跨机架传输。机架感知再生码的情况下,单节点故障进行了研究,其修复带宽权衡的特点。在本文中,我们认为框架的机架感知合作再生码的情况下,多个节点故障的节点故障均匀分布在一定数量的机架。我们的特点的存储修复带宽的权衡,以及推导出的最小存储和最小修复带宽点的权衡。我们还提供了所有参数的最小带宽机架感知合作再生码的建设。
2021-02-24 cs.IT math.IT
Product Matrix Minimum Storage Regenerating Codes with Flexible Number of Helpers
在分布式存储系统的编码中,通过访问预定义数量的任意选择的存储节点来保证有效的数据重建和修复,通过重新生成代码。传统上,代码参数,特别是参与修复过程的帮助节点的数量是预定的。然而,取决于系统和网络业务的状态,期望相应地调整这样的参数,以便最小化修复成本。在这项工作中,一类再生代码的最小存储量的介绍,可以同时操作在最佳的修复带宽,广泛的确切的修复机制,根据不同数量的帮助节点。
2017-12-28 cs.IT math.IT
A Class of Minimum Storage Cooperative Regenerating Codes with Low Access Property
本文研究了一种改进的MDS码的修复方案。在协作修复模型下,所得到的修复方案对多个失效节点具有最优带宽。此外,修复方案具有相对较低的访问性能,其中访问的数据的数量小于最佳值的两倍。
2022-01-17 cs.IT math.IT
Generalized regenerating codes and node repair on graphs
研究图约束分布式存储中的广义再生码,刻画非均匀下载与中间处理下的修复通信复杂度下界,构造达界码及抗敌手纠错修复码。
2024-05-20 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储,以实现高容错和低存储冗余。由于跨机架通信成本通常很高,因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中,我们分析了存储冗余和跨机架修复带宽之间的最佳权衡,专门为数据中心,受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线,并提出了一个称为机架感知再生码(RRC)的擦除码族,它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽,分别。我们证明了(i)最小存储冗余构造支持广泛的参数范围,并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽,以及(ii)最小跨架修复带宽构造支持所有参数,并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
Locally Repairable Regenerating Codes: Node Unavailability and the Insufficiency of Stationary Local Repair
局部可修复码(LRC)是一种巧妙设计的分布式存储码,具有一组(通常很小)固定的帮助节点参与修复。由于大多数现有的LRC假设精确修复,并允许存储的数据($β=α$)从帮助节点的完全交换,它们可以被看作是一个推广的传统的擦除码(EC)与一个非常期望的本地可修复性通过预定集的帮助。然而,这也意味着它们缺乏(i)功能修复和(ii)原始再生代码(RC)中的部分信息交换($β<α$)的特征,这可能进一步降低修复带宽。受RC相对于EC的显著带宽减少的启发,Ahmad等人和Hollmann的现有工作研究了“局部可修复再生码(LRRCs)”的概念,该概念成功地将再生码的功能修复和部分信息交换与LRC的非常期望的局部可修复性特征相结合。由此产生的LRRCs表现出显着的带宽减少。任何本地修复方案(包括LRC和LRRCs)都需要解决的一个重要问题是,有时指定的助手节点可能暂时不可用,这是多次故障、降级读取或其他网络动态的结果。在节点临时不可用的LRRCs的设置下,这项工作研究了不同的助手选择方法的影响。它证明,与节点不可用,所有现有的方法的助手选择,包括在RC和LRC中使用的,可以是不够的,在实现最佳的修复带宽。对于某些情况下,有必要将LRRCs与新的助手选择方法(称为动态助手选择)相结合,以实现最佳修复带宽。这项工作还比较了不同的助手选择方法和答案的性能。
2016-05-04 cs.IT math.IT
Repairing Multiple Failures with Coordinated and Adaptive Regenerating Codes
纠删码被广泛用于分布式存储系统中数据的持久性。本文讨论了在这种代码中的多个故障的同时修复。我们超越现有的工作(即,由Dimakis等人重新生成代码)通过描述(i)支持多个设备的同时修复的协调再生代码(也称为协作再生代码),以及(ii)允许在每次修复时调整参数的自适应再生代码。类似于Dimakis等人的重新生成代码,这些代码实现了存储和修复带宽之间的最佳折衷。基于这些扩展的再生代码,我们研究的影响,懒惰的修复适用于再生代码,并得出结论,懒惰的修复不能降低成本的网络带宽,但允许减少磁盘相关的成本(磁盘带宽和磁盘I/O)。
2013-09-17 cs.DC cs.IT math.IT
CROSS-MBCR: Exact Minimum Bandwith Coordinated Regenerating Codes
我们研究的精确和最佳的修复多个故障的代码分布存储。更具体地说,我们提供了一个明确的最小带宽协调再生码(MBCR)的结构n=d+t,k,d >= k,t >= 1。我们的构造与现有构造的不同之处在于允许t>1(即,多个故障的修复)和d>k(即,在维修期间接触多于K个设备)。
2012-07-03 cs.IT math.IT
A Sytematic Piggybacking Design for Minimum Storage Regenerating Codes
捎带是降低最大距离可分离码(MDS)或最小存储再生码(MSR)修复带宽的有效方法。为了最小化已知的高码率MSR码的奇偶校验节点的修复带宽,通常是原始数据的全部大小,即,通过对背负式设计的深入分析,提出了一种新的系统背负式设计。结果,新的MSR码得到几乎最佳的修复带宽的奇偶节点,而保持最佳的修复带宽的系统节点。在此基础上,提出了在节点修复过程中均衡下载的MSR码。
2014-08-23 cs.IT math.IT
Exact Cooperative Regenerating Codes with Minimum-Repair-Bandwidth for Distributed Storage
在最小带宽协作再生点上给出了精确协作再生码的一个显式构造。在本文之前,唯一已知的显式MBCR码给出参数$n=d+r$和$d=k$,而我们的构造适用于所有可能的值的$n,k,d,r$。该程序具有简洁的多项式形式的表达式,数据重构采用二元多项式插值实现。它是一种标量码,在大小为$q\geq n$的有限域上操作。此外,我们建立了线性精确MBCR码的几个子空间性质。基于这些性质,我们证明了线性精确MBCR码不能实现转移修复。
2012-07-04 cs.IT math.IT
Error-Correcting Regenerating and Locally Repairable Codes via Rank-Metric Codes
本文提出并分析了一种新的级联编码方案,使错误恢复在两个分布式存储设置:一个是存储使用现有的再生码,第二个是存储使用本地可修复的代码。级联编码方案将最大秩距离(MRD)码作为外码,将全局再生码或局部可修复码作为内码。此外,考虑了局部可修复码与再生码组合的抗误码能力。这种级联编码系统旨在处理两种不同类型的对抗性错误:第一种类型包括只能替换受影响节点内容一次的对手;而第二种类型研究能够污染数据无限次数的对手。建立了局部可修复码的恢复能力上界,证明了该级联编码方案对第一类攻击者的恢复能力达到了上界。此外,本文提出的机制,结合子空间签名的级联编码方案,以实现第二类错误的错误恢复。
2013-12-11 cs.IT math.IT
Characterizing the Rate Region of the (4,3,3) Exact-Repair Regenerating Codes
对于(n,k,d)=(4,3,3)的情形考虑了精确修复再生码,并给出了其速率区域的完整特征.该表征肯定地回答了开放问题,即在功能修复再生代码的最佳带宽-存储折衷之间是否存在非零间隙(即,割集界)和正修再生码的割集界。为了得到一个显式的信息论逆,提出了一种基于原始关系和对偶关系的计算机辅助证明方法。这种CAP方法扩展了杨的线性规划(LP)的方法,这是以前只用于信息理论的问题,由于在相应的LP问题的变量的数量的指数增长的几个随机变量。精确修复再生码问题中的对称性允许有效地减少变量的数量,并且与其他几个特定问题的减少一起,LP问题减少到可管理的规模。对于可重构性,在这种情况下,仅需要解决速率区域的一个非平凡角点,为此给出了显式二进制码构造。
2013-12-03 cs.IT math.IT
Cooperative Regenerating Codes
分布式存储系统的设计目标之一是使故障存储节点修复过程中的数据流量最小化。通过同时和协作地修复多个故障,可以进一步减少修复流量。给出了协作修复中修复流量与各节点存储量之间的最优折衷的封闭表达式。我们表明,在权衡曲线上的点可以通过线性合作再生码,所需的有限域大小上的明确的界限。证明依赖于一个最大流最小割型定理的子模流从组合优化。给出了两类显式构造。
2013-07-19 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Decoding and Repair Schemes for Shift-XOR Regenerating Codes
提出了移位异或(shift-exclusive-or,shift-XOR)乘积矩阵(PM)再生码的解码和修复方案,该方案在通信和计算开销方面均优于现有方案.特别是,对于移位XOR最小带宽再生(MBR)码,我们的解码和修复方案具有最佳的传输带宽,可以实现在没有额外的存储空间的中间XOR结果。从技术上讲,我们的方案涉及一个就地算法求解系统的移位异或方程,称为\emph{shift-XOR elimination},它不具有带宽开销所产生的移位运算在以前的锯齿算法,并具有较低的计算复杂度相比,锯齿算法。移位异或MBR/MSR码的解码和修复被分解为移位异或方程组的序列,因此可以通过对移位异或消除的序列调用来解决。由于解码和修复的分解只依赖于PM结构,而不依赖于特定的移位和XOR操作,因此我们的解码和修复方案可以扩展到使用PM结构的其他MBR/MSR码。由于其基本作用,移位异或消除是独立的利益。
2020-05-04 cs.IT math.IT
Repair Duality with Locally Repairable and Locally Regenerating Codes
我们构造了一个显式的局部可修复和局部再生码族,其存在性在Kamath等人最近的工作中得到了证明。关于局部再生码,但没有给出显式的构造。这个显式的代码族是基于HashTag代码的。哈希标签码是最近定义的具有不同向量长度$α$(也称为子分组化级别)的向量码,其根据子分组化级别实现MSR码的最优修复带宽或接近最优修复带宽。我们应用了奇偶分裂码构造技术。我们表明,所提出的显式代码结构的有限域的大小的下限可以低于Kamath等人的工作中给出的一个。最后,我们讨论了有两种方法的节点修复与本地再生HashTag码的重要性:修复只与本地奇偶校验节点或修复与本地和全局奇偶校验节点。据作者所知,这是第一个工作,在修复过程中的这种二元性进行了讨论。我们给出了一个实际的例子和实验结果,在Hadoop中,我们展示了这种修复二元性的好处。
2017-08-30 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
On the Achievability Region of Regenerating Codes for Multiple Erasures
研究了分布式存储中多故障的集中精确修复问题。我们描述的结构,实现了一组新的内部点下精确修复。这些构造建立在Tian等人的分层代码构造之上,专为精确修复单一故障而设计。我们首先改进了一般系统参数的分层结构。然后,我们扩展了改进的建设,以支持修复多个故障,不同数量的助手。特别是,我们证明了一个点的最优性的功能修复权衡的多个故障的一些参数。最后,考虑最小带宽合作修复(MBCR)码集中修复码,我们明确确定的最佳可达区域之间的所有已知点,包括MBCR点的空间共享。
2018-01-31 cs.IT math.IT
Layered, Exact-Repair Regenerating Codes Via Embedded Error Correction and Block Designs
通过将较短的擦除纠错码拼接在一起,构造了一类新的精确修复再生码,其中拼接模式可以看作是块设计。所提出的代码具有“帮助传输”属性,其中帮助节点仅直接传输部分存储数据,而不执行任何计算。这种嵌入式纠错结构使得解码过程简单明了,并且在某些情况下复杂度非常低。我们表明,这种结构是能够实现性能优于最小存储再生码和最小修复带宽再生码之间的空间共享,它是第一类代码,以实现这种性能。事实上,它表明,所提出的结构可以实现一个非平凡点上的最佳功能修复权衡,它是渐近最优的高速率,即,它同时渐近地接近最小存储和最小修复带宽。
2014-08-02 cs.IT math.IT
Concurrent Regenerating Codes and Scalable Application in Network Storage
为了解决纠删码存储系统中同时发生的多个故障,Patrick Lee等人提出了基于并发修复的最小存储再生码来减少修复流量。该方法的体系结构比非完全分布式环境下的协作机制更简单实用,因此本文将这类再生码统一为并发再生码,并通过分析多节点恢复模型中基于割的信息流图,进一步研究了并发再生码的特性。我们提出了一个一般的存储带宽的折衷方案,并给出了封闭形式的表达曲线上的点,包括并发修复机制的基础上,最小带宽再生码。通过对现有的单节点再生码或多节点协作再生码进行改造,可以构造出一般的并发再生码。此外,还分析了与强MDS的连接。另一方面,研资局的应用并不局限于“维修”。这对于“伸缩”(scaling),即我们需要增加(减少)节点来升级(降低)冗余和可靠性的场景具有重要意义。因此,通过澄清异同,我们将它们整合到一个统一的模型,以适应动态存储网络。
2016-04-22 cs.IT math.IT
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
On Optimal Heterogeneous Regenerating Codes
异构分布式存储系统(DSSs)接近于现实世界中的数据存储应用。所考虑的DSS的每个节点可以存储不同数量的分组,并且每个分组具有不同的修复带宽和统一的修复业务。对于这样的异构DSS,一个故障节点可以在一些特定节点的帮助下进行修复。在这项工作中,一个家庭的代码的基础上图论,构建了实现特定的异构DSS的文件大小的基本约束。
2016-07-21 cs.IT math.IT
Security Concerns in Minimum Storage Cooperative Regenerating Codes
在这里,我们重新审视的问题,探索的保密能力的最小存储合作再生(MSCR)代码下的$\{l_1,l_2\}$窃听模型,窃听者可以观察到的数据存储在$l_1$节点和修复下载的一个额外的$l_2$节点。与仅支持单个节点修复的最小存储再生(MSR)码相比,MSCR码允许多个故障节点的高效同时修复,称为\emph{repair group}。然而,从一个辅助节点发送到另一个故障节点的修复数据可能会随着不同的修复组或辅助节点的集合而变化,这将不可避免地泄漏更多的数据信息给窃听者,甚至使存储系统无法保持任何数据保密性。在本文中,我们介绍和研究一类特殊的MSCR码,称为“\emph{stable}“MSCR码,从任何一个帮助节点到任何一个故障节点的修复数据被要求是独立的修复组或帮助节点的集合。我们的主要贡献包括:1.证明了现有的两种MSCR码本质上是不稳定的,因此具有较差的保密能力,2。将一个现有的MSCR码转换为一个稳定的MSCR码,与原始MSCR码相比,该MSCR码提供了更好的保密能力。利用信息论分析方法研究了稳定MSCR码在特定情况下的保密能力。
2016-08-17 cs.IT math.IT
Bandwidth Adaptive & Error Resilient MBR Exact Repair Regenerating Codes
在存储网络中,节点失效是一种常见的分布式存储问题,再生码是解决这种问题的有效方法。它们通过仅访问网络中任意选择的预定义数量的存储节点来保证低成本的数据重建和修复。在这项工作中,我们考虑了对[1]中引入的原始再生代码框架的两个同时扩展; i)数据重建和修复都对网络中存在一定数量的错误节点具有弹性,ii)每次修复中的帮助节点的数量不是固定的,而是可以在运行时选择的灵活参数。我们研究所需的总修复带宽的基本限制,并提供这些代码的存储容量的上限在这些假设下。然后,我们专注于最小修复带宽(MBR)的情况下,并得出确切的存储容量,提出明确的编码方案与确切的修复,实现了在考虑设置的存储容量的上限。为此,我们首先提供了一个更自然的扩展著名的产品矩阵(PM)MBR代码[2],修改,以提供灵活的选择在每次修复的帮助者的数量,并同时在网络中的错误节点的鲁棒性。这是通过证明在足够大的有限域上的矩阵族的非奇异性来实现的。接下来,我们提供了另一个扩展的PM代码,基于新的修复方案,使灵活的帮助者的数量和鲁棒性对错误的节点,而没有任何额外的成本字段大小相比,原来的PM代码。
2017-11-07 cs.IT math.IT
Exact-Repair Minimum Bandwidth Regenerating Codes Based on Evaluation of Linearized Polynomials
本文提出了两种新的精确修复最小存储再生(exact-MBR)码。这两种构造都通过首先将GF(q)上的消息向量视为线性化多项式,然后在扩展域GF(q^m)上对其进行求值来获得编码符号。选择评估点,使得在任何节点处的编码符号彼此共轭,而不同节点的对应符号相对于GF(q)线性相关。这些性质确保了数据修复可以在基域GF(q)上进行,而不是某些现有的精确MBR码所需的扩展域上的矩阵求逆。据我们所知,这种方法是新颖的建设确切的MBR码。我们的一个结构导致精确的MBR代码与任意参数。这些exact-MBR代码具有更高的数据重建的复杂性,但较低的数据修复的复杂性比他们的同行的基础上的产品矩阵的方法,因此,他们可能是适合的应用程序,需要少量的数据重建,但大量的数据修复。
2013-01-21 cs.IT math.IT
On Heterogeneous Regenerating Codes and Capacity of Distributed Storage Systems
异构分布式存储系统(DSS)接近于现实世界中的数据存储应用。互联网缓存系统和对等存储云就是这样的DSS的例子。在这项工作中,我们计算这样的系统,每个节点存储不同数量的数据包,每个具有不同的修复带宽(节点可以通过接触一组特定的节点修复)的容量公式。研究了这种异构DSS的存储和修复带宽之间的权衡曲线。通过对容量公式的分析,在曲线上得到了新的最小带宽再生点和最小存储再生点。结果表明,在某些情况下,这些都优于同质DSS。
2014-02-16 cs.IT math.IT
Secure Cooperative Regenerating Codes for Distributed Storage Systems
再生代码使得能够在分布式存储系统(DSS)中权衡存储的修复带宽。由于它们的分布式性质,这些系统本质上容易受到攻击,并且它们也可能受到多个同时节点故障的影响。合作再生码允许带宽有效的修复多个同时发生的节点故障。本文分析了存储系统,采用合作再生码是强大的(被动)窃听。分析分为两个部分,研究最小带宽和最小存储的合作再生的情况。首先,最小带宽合作再生码的保密容量的特点。其次,对于最小存储空间的协作再生码,给出了一个安全的文件大小上界和可扩展性结果。这些结果建立了某些特殊情况下的最小存储方案的保密能力。在所有的情况下,可扩展性的结果对应于确切的修复,并获得安全的文件大小上限使用最小割分析在一个合适的保密图表示的DSS。主要的可窃听性参数是基于适当的数据预编码,以消除信息泄漏给窃听者。
2014-07-09 cs.IT math.IT
Generalized Simple Regenerating Codes: Trading Sub-packetization and Fault Tolerance
本文提出广义简单再生码(GSRCs),支持更多参数,揭示子分组化与容错能力的权衡,实现局部修复任意单符号和单节点擦除,且修复带宽更小。
2023-09-05 cs.IT math.IT
High-Rate Regenerating Codes Through Layering
本文给出了一类具有分层结构的精确修复再生码的显式构造。这些再生码对应于存储-修复-带宽权衡上的内部点,并且与采用MSR和MBR码之间的空间共享的方案相比非常好。对于具有$n < 2k-1$的参数集$(n,k,d=k)$,我们构造了一类具有辅助参数$w$的码,称为规范码。当$w$在$n-k < w < k$范围内时,这些代码在MSR点和MBR点之间的区域中运行,并且性能明显优于空间共享线。它们只需要字段大小大于$w+n-k$。对于$(n,n-1,n-1)$的情况,规范码也可以被示出为在连接MSR点的线段上实现内部点,并且在存储-修复-带宽折衷上实现下一个斜率不连续点。因此,我们建立了一个点上的MSR和MBR点上的存储修复带宽的权衡上的精确修复代码的存在。我们还构造了一般参数集$(n,k<d,k)$的分层再生码,我们称之为非规范码。这些代码的性能也明显优于空间共享线,尽管它们需要更大的字段大小。本文所构造的编码具有修复率高、可修复多个节点故障、不需要辅助节点进行任何计算等优点。我们还构造了具有局部性的最优码,其中局部码是分层再生码。
2013-03-11 cs.IT math.IT
Centralized Multi-Node Repair Regenerating Codes
在分布式存储系统中,从多个故障中恢复是一项重要而频繁的任务,对于保持系统的可靠性和容错性至关重要。在这项工作中,我们专注于集中修复多个故障的问题,这可能是可取的,在许多数据存储配置,我们表明,一个显着的修复流量减少是可能的。首先,建立了修复带宽和功能修复的存储大小之间的基本权衡。使用图论公式,最佳的权衡被确定为整数优化问题的解决方案,推导出一个封闭形式的表达式。给出了最小存储多节点修复点和最小带宽多节点修复点的表达式。其次,我们描述了一个通用的框架,用于将单擦除最小存储再生码MSMR码。针对$e$故障的修复策略与针对单个故障的修复策略相似,但是针对单个故障的修复功能需要满足某些额外的要求。为了说明,该框架被应用于乘积矩阵码和干扰对齐码。此外,我们证明了功能MBMR点是不可实现的线性精确修复码。我们还表明,精确修复最小带宽合作修复(MBCR)代码实现的内部点,即位于附近的MBMR点,当$k \equiv 1 \mod e$,$k$是重建整个数据所需的最小数量的节点。最后,对于$k> 2e, e\mid k$和$e \mid d$,其中$d$是在修复过程中的帮助节点的数量,我们表明,功能修复的折衷是无法实现的精确修复,除了可能是一小部分附近的MSMR点,这平行的结果由Shah等人的单擦除修复。
2018-05-08 cs.IT math.IT
Private Information Retrieval using Product-Matrix Minimum Storage Regenerating Codes
私有信息检索(PIR)方案允许用户从服务器检索记录,而不泄露关于正在下载的记录的任何信息。在本文中,我们认为PIR计划的数据库存储使用最小存储再生(MSR)代码,这是一类最佳的再生代码提供有效的修复时,系统中发生的节点故障。我们分析了隐私、存储和修复成本之间的关系,并构造了一个显式PIR方案,该方案使用[3]中的MSR码来实现权衡的最优曲线。
2018-05-18 cs.IT math.IT
Minimum Storage Regenerating Codes For All Parameters
在过去的十年中,再生代码的分布式存储吸引了很多研究兴趣。这种代码用修复故障节点所需的带宽与存储在网络中的总数据量进行交易。最小存储再生码(MSR)是一类重要的最优再生码,它首先最小化每个节点存储的数据量,然后最小化修复带宽。具体地,如下定义在$\mathbb{F}_q$上的$[n,k,d]$ MSR码$\mathbb{C}$。使用这样的代码$\mathbb{C}$,由$\mathbb{F}_q$上的$αk$符号组成的文件$\cal{F}$可以在$n$节点之间以这样的方式分布,每个节点存储$α$符号:文件$\cal{F}$可以通过下载$n$节点的任何$k$的内容来恢复;并且可以通过访问剩余$n-1$节点中的任何$d$并下载$α/(d-k+1)$符号来重建任何故障节点的内容从这些节点中的每一个。不幸的是,$[n,k,d]$ MSR码的显式构造仅在某些特殊情况下是已知的:低速率,即$k/n<0.5$,或高修复连通性,即$d = n-1$。虽然设置$d = n-1$可最大限度地减少修复带宽,但为了修复单个故障节点而连接到所有剩余节点可能不切实际。本文的主要结果是对参数$n,k,d$的所有可能值,构造了系统修复$[n,k,d]$ MSR码.特别地,我们构造了高速率$k/n>0.5$和低修复连接度$k< d<n-1$的系统修复MSR码。以前不知道有这样的代码存在。为了构建这些代码,我们同时解决…
2016-02-14 cs.IT math.IT
Exact-Regenerating Codes between MBR and MSR Points
本文研究了具有精确修复的分布式存储系统。我们给出了一个构造再生码之间的最小存储再生(MSR)和最小带宽再生(MBR)点,并表明,在参数n,k,和d是彼此接近的情况下,我们的结构是接近最优的,当比较已知的容量时,只需要功能修复。我们这样做,当参数n,k和d的距离是固定的,但实际值接近无穷大,我们的代码的性能与精确的修复和已知的功能修复的代码的能力的分数接近一。
2013-04-19 cs.DC cs.IT math.IT
Codes between MBR and MSR Points with Exact Repair Property
本文研究了具有精确修复的分布式存储系统。给出了在最小存储再生点(MSR)和最小带宽再生点(MBR)之间再生码的一种构造。据作者所知,除Tian等人的工作外,以前没有人构造过MBR点和MSR点之间的精确再生码。与他们的工作相比,这里所用的方法是初级的。在本文中,它示出的情况下,参数$n$,$k$,和$d$是彼此接近,给定的结构是接近最佳的,当比较已知的功能修复能力。当参数$n$、$k$和$d$的距离固定但实际值接近无穷大时,具有精确修复的构造代码的性能和具有功能修复的代码的已知容量的分数接近1。同时给出了所构造码的一个简单变形,其性能几乎相同。
2013-12-18 cs.IT math.IT
Repair Locality From a Combinatorial Perspective
修复局部性是分布式存储系统中纠删码的一个理想特性。最近,在修复局部性的定义中,提出了不同结构的局部修复群。本文引入再生集的概念来刻画局部修复群。位置$r^{(δ-1)}$的定义(即,在最一般的再生集结构下,给出了具有修复容限$δ-1$的局部性$r$.所有以前研究过的局部性都是这个定义的特例。在再生集的框架下,重新研究了以往提出的三个有代表性的局部性概念,并以统一简洁的形式重新证明了它们各自的最小距离上界.此外,对于一类具有局部性$r^{(2)}$和高信息率的线性码&平方码,给出了更精确的距离界,并得到了达到最佳距离界的显式码构造.
2014-01-12 cs.IT math.IT
Explicit Construction of Minimum Bandwidth Rack-Aware Regenerating Codes
在大型数据中心中,存储节点被组织在机架中,并且跨机架传输主导带宽成本。对于单节点故障的修复,实现存储冗余和跨机架修复带宽之间的折衷的代码被称为机架感知再生代码(RRC)。在这项工作中,我们给出了具有最小修复带宽的RRCs的第一个显式构造(即,跨机架带宽等于每个节点的存储大小)。我们的建设适用于所有允许的参数,并具有最低的子打包水平。此外,底层有限域的大小与存储节点的数量相当,这使得我们的代码在实践中更容易实现。最后,为了便于实际应用,我们还建立了一个转换,将我们的代码转换成系统代码。
2021-04-20 cs.IT math.IT
A Note on Secure Minimum Storage Regenerating Codes
这篇短文重新讨论了为分布式存储系统设计安全最小存储再生(MSR)码的问题。安全的MSR代码确保分布式存储系统不会将存储的信息泄露给被动窃听者。假设窃听者可以访问存储在系统中的$\ell_1$数量的存储节点上的内容以及在额外的$\ell_2$数量的存储节点的带宽有效修复期间下载的数据。本文结合了基于Gabidulin码的预编码[18]和Ye和Barg [27]的MSR码的新构造(没有安全要求),以获得安全的MSR码。这样的最佳安全MSR码先前在窃听者仅被允许观察$k$节点的特定子集中的$\ell_2$节点的修复的设置中是已知的[7,18]。本文提出的安全编码方案允许窃听者观察到系统中$n$节点中任意$\ell_2$的修复,并刻画了线性可修复MSR码的保密能力。
2016-08-05 cs.IT math.IT
When and By How Much Can Helper Node Selection Improve Regenerating Codes?
再生码可以显著降低分布式存储网络的修复带宽。最初,RC的分析是基于这样的假设,即在修复过程中,新来者不区分(在所有幸存的节点中)要访问哪些节点,即,新来者不知道正在使用的助手集。这种方案被称为盲修复(BR)方案。尽管如此,在实践中,新来者应该选择只访问那些“好”的助手。在本文中,一个新的表征选择的帮助节点的存储带宽权衡的影响。具体来说,回答以下基本问题:在什么条件下主动选择的助手节点,提高存储带宽的权衡?这种改善可以通过分析量化吗?本文回答了前一个问题,提供了一个充分必要条件下,最佳选择良好的助手严格提高了存储带宽的权衡。为了回答后一个问题,一个低复杂度的助手选择解决方案,被称为家庭修复(FR)计划,提出了相应的存储/修复带宽曲线的特点。例如,考虑具有60个节点总数的分布式存储网络,并且该网络对于50个节点故障具有弹性。如果辅助节点的数量是10,那么FR方案及其变体与BR解决方案相比,修复带宽减少了27%。本文还证明了在一定的设计参数下,FR方案确实是所有辅助选择方案中的最优方案。还提出了一个明确的建设的确切修复码,可以实现最小带宽再生点的FR计划。新的精确修复码可以看作是现有分数重复码的推广。
2014-09-05 cs.IT math.IT
On Epsilon-MSCR Codes for Two Erasures
协作再生码是设计用于在多个节点故障的情况下权衡存储和修复带宽的再生码。最小存储协作再生码是一类实现折衷最小存储点的协作再生码。最近,已经为所有可能的参数$(n,k,d,h)$构造了这些代码,其中通过联系任何$d$幸存节点来修复$h$擦除。然而,这些构造具有非常大的子分组化。$ε$ -MSR码是为了在单节点故障的情况下稍微增加修复带宽而引入的折衷子分组化级别的一类码。我们介绍了框架的$ε$ -MSCR代码,允许一个类似的权衡的情况下,多个节点故障。通过级联一类MSCR码和标量线性码,构造了一种能够从两个节点故障中恢复的$ε$ -MSCR码。我们给出了一个修复过程中修复的$ε$ -MSCR码在两个节点的故障,并计算相同的修复带宽。我们的特点是增加修复带宽所引起的方法相比,最佳的修复带宽给出的割集界。最后,我们展示了$ε$ -MSCR码的子分组化水平在节点数量上的几何尺度。
2019-01-28 cs.IT math.IT
Rack-Aware Regenerating Codes with Fewer Helper Racks
我们考虑机架感知存储系统,其中\(n\)节点被组织在\(\bar{n}\)机架中,每个机架包含\(u\)节点,并且任何\(k\)节点都可以检索存储的文件。此外,通过从\(\bar{d}\)辅助机架以及同一机架中的其余\(u\!-\!1\)节点下载数据,可以恢复任何单个节点擦除。以前的工作主要集中在最小化跨机架修复带宽的条件下\(\bar{d}\geq \bar{k}\),其中\(\bar{k}=\lfloor\frac{k}{u}\rfloor\)。但是,\(\bar{d}\geq \bar{k}\)不是机架感知存储模型的固有条件。在本文中,我们建立了一个折衷的存储开销和跨机架修复带宽的特别有趣的情况下\(\bar{d}\!<\!\bar{k}\)。此外,我们提出了明确的结构的代码的参数躺在权衡曲线分别在最小存储点和最小带宽点。代码是标量的或具有子分组化\(\bar{d}\),并且在大小与\(n\)相当的有限域上操作。以\(\bar{d}\)为修复度,结合了再生码在最小化修复带宽方面的优势和局部可修复码在降低修复度方面的优势.此外,它们还放弃了MBR码具有不小于\(2\times\)的存储开销的限制和具有指数子分组化水平的高速率MSR码的限制。
2021-01-21 cs.IT math.IT
Rack-Aware Regenerating Codes with Multiple Erasure Tolerance
在现代分布式存储系统中,存储节点被组织在机架中,并且跨机架通信支配系统带宽。在我们研究的机架感知存储系统中,所有的存储节点都组织在机架中,每个机架内的节点可以自由地通信,而不会占用系统带宽。为了最大限度地减少单次擦除的修复带宽,提出了机架感知再生码(RRC)。在RRC的初始设置中,单个节点的修复需要包含故障节点的机架中的所有剩余节点以及不包含故障的大量辅助机架的参与。因此,在多个节点故障之前,修复可能是不可行的。在这项工作中,一个宽松的修复模型,可以容忍多个节点的故障,同时减少机架内连接和跨机架连接的建议。推导了松弛修复模型下存储带宽和修复带宽之间的权衡关系,并分别表征了最小存储和最小带宽下权衡曲线上两个端点的参数。此外,两个代码对应的极端点明确地构建在字段的大小可比的代码长度和最低的子分组。最后,为了便于实际应用,还建立了两种码的系统编码过程。
2022-05-18 cs.IT math.IT
Cooperative Regenerating Codes for Distributed Storage Systems
当分布式存储系统中存在多个节点故障时,就修复带宽最小化而言,以逐个方式单独地重新生成故障存储节点是次优的。如果启用新节点之间的数据交换,我们可以在修复带宽和每个节点的存储之间获得更好的权衡。给出了一种显式的、优化的协作再生码的构造方法。
2011-02-08 cs.DC cs.IT math.IT
Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient
我们考虑一种设置,其中使用(n,k)最小存储再生(MSR)码,将大小为M的文件存储在n个分布式存储节点中,即,最大距离可分离(MDS)码,其还允许任何故障节点的有效精确修复。本文中感兴趣的问题是最小化修复带宽B以精确再生单个故障节点,即,新节点要下载的最小数据,以用其精确副本替换故障节点。以前的工作已经表明,带宽B =[M(n-1)]/[k(n-k)]是必要的和足够的功能(不精确)再生。也已经表明,如果k <= max(n/2,3),则精确再生比功能再生没有额外的成本。低冗余的实际相关设置,即,对于k> 3,k/n> 1/2保持开放,并且已经表明,在这种情况下,精确修复比功能修复有额外的带宽成本。在这项工作中,我们采用到分布式存储上下文中的渐近最优的干扰对齐方案以前提出的Cadambe和Jafar大型无线干扰网络。利用该方案,我们解决了(n,k)个正态MSR码的修复带宽最小化问题,其中包括k> \max(n/2,3)的开放情形。我们的主要结果是,对于任何(n,k),和足够大的文件大小,有没有额外的成本,确切的再生功能再生的修复带宽再生数据的每一位。更精确地说,我们证明了当M趋于无穷大时,B/M =(n-1)/(k(n-k))。
2010-04-24 cs.IT math.IT
New Minimum Storage Regenerating Codes With Small Sub-packetization Levels for All Admissible Repair Degrees
City University of Hong Kong(香港城市大学);Southwest Jiaotong University(西南交通大学)
针对分布式存储系统,提出一类支持任意修复度、子分组级更小的新MSR码,通过放宽Ye-Barg码的交换性条件实现,提升了编解码效率,丰富了MSR码家族。
2026-10-14 cs.IT math.IT
Explicit Constructions for Rack-Aware Minimum Storage Partially Cooperative Regenerating Codes
针对多节点故障修复,本文推导机架感知 MSPCR 码带宽下界,并显式构造两类渐近最优方案,显著降低子分组化级别。
2025-09-28 cs.IT math.IT
Efficiently repairing algebraic geometry codes
最小存储再生码在每个节点中具有最小的数据存储量,因此是最大距离可分离(简称MDS)码。因此,节点的数量由$2^{\fb}$限定上限,其中$\fb$是存储在每个节点中的数据位。从理论和实践的角度来看(详见第1节),考虑重新生成几乎具有最小数据存储的代码是很自然的,同时节点数量是无限的。这种再生码的候选者之一是代数几何码。本文将\cite [STOC 2016]{GW 16}中给出的Reed-Solomon码的修复算法推广到代数几何码,并给出了任意单点代数几何码的有效修复算法。将我们的修复算法应用于基于Garcia-Stichtenoth塔的一点代数几何码,可以对任何具有实$τ\in(0,1/2)$的$\Ge=2^{(\Gt-1/2)\log q}$,在具有带宽$(n-1)(1-\Gt)\log q$的$\F_{q}$上修复速率为$1-\Ge$、长度为$n$的码.此外,每个节点中用于代数几何代码的存储接近于最小存储。由于厄米特曲线的良好结构,厄米特码的修复也进行了研究。结果表明,代数几何码是具有良好参数的再生码。一个例子表明,埃尔米特码优于里德-所罗门码的某些参数。
2017-10-05 cs.IT math.IT
Outer bounds for exact repair codes
我们解决的开放性问题,建立率区域的精确修复再生码给定的参数(n,k,d)。Tian确定了(4,3,3)代码的速率区域,发现它严格位于功能修复速率区域内。使用不同的方法,Sathoor和Kumar证明了对于k>=3的码,函数修复外界和精确修复外界之间的非零间隙。我们的主要结果是两个改进的外界的确切修复再生码。他们捕捉,然后扩展的证明田和撒哈拉,森托尔和库马尔的重要部分。我们表明,边界可以结合进一步的改进。
2014-06-18 cs.IT math.IT