Product Matrix Minimum Storage Regenerating Codes with Flexible Number of Helpers
在分布式存储系统的编码中,通过访问预定义数量的任意选择的存储节点来保证有效的数据重建和修复,通过重新生成代码。传统上,代码参数,特别是参与修复过程的帮助节点的数量是预定的。然而,取决于系统和网络业务的状态,期望相应地调整这样的参数,以便最小化修复成本。在这项工作中,一类再生代码的最小存储量的介绍,可以同时操作在最佳的修复带宽,广泛的确切的修复机制,根据不同数量的帮助节点。
2017-12-28 cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
An Improved Outer Bound on the Storage-Repair-Bandwidth Tradeoff of Exact-Repair Regenerating Codes
在本文中,我们建立了一个改进的外界的存储-修复-带宽权衡再生码下的精确修复。结果表明,特别是,它是不可能构建精确修复再生码,渐近实现的折衷,持有功能修复。虽然这已经表明田早些时候为特殊情况下的$[n,k,d]=[4,3,3]$,目前的结果持有一般$[n,k,d]$。新的外边界是通过建立在Shah等人早些时候建立的框架上获得的。
2013-12-20 cs.IT math.IT
Rack-Aware Cooperative Regenerating Codes
在分布式存储系统中,协作再生码在多个节点故障的情况下权衡存储和修复带宽。在机架感知分布式存储系统中,不存在与在机架内传送符号相关联的成本。因此,修复带宽将仅考虑跨机架传输。机架感知再生码的情况下,单节点故障进行了研究,其修复带宽权衡的特点。在本文中,我们认为框架的机架感知合作再生码的情况下,多个节点故障的节点故障均匀分布在一定数量的机架。我们的特点的存储修复带宽的权衡,以及推导出的最小存储和最小修复带宽点的权衡。我们还提供了所有参数的最小带宽机架感知合作再生码的建设。
2021-02-24 cs.IT math.IT
A Class of Minimum Storage Cooperative Regenerating Codes with Low Access Property
本文研究了一种改进的MDS码的修复方案。在协作修复模型下,所得到的修复方案对多个失效节点具有最优带宽。此外,修复方案具有相对较低的访问性能,其中访问的数据的数量小于最佳值的两倍。
2022-01-17 cs.IT math.IT
Explicit Construction of Optimal Exact Regenerating Codes for Distributed Storage
擦除编码技术用于提高分布式存储系统的可靠性,同时最小化存储开销。同样令人感兴趣的是最小化节点故障后修复系统所需的带宽。在最近的一篇论文中,Wu等人描述了修复带宽和每个节点存储的数据量之间的权衡。他们还证明了再生代码的存在,实现了这种权衡。在本文中,我们介绍了精确再生码,这是再生码具有额外的属性,能够复制存储在一个失败的节点的数据。这种代码需要低的处理和通信开销,使系统实用且易于维护。明确建设的确切再生代码提供的最小带宽点的存储修复带宽的权衡,相关的分布式邮件服务器的应用程序。一个子空间为基础的方法,并示出产生的必要条件和充分条件的线性代码具有确切的再生性能,以及证明我们的建设的唯一性。还包括在该文件中,是一个明确的建设再生代码的最小存储点的参数相关的存储在对等系统。这种结构支持可变数量的节点,并且可以处理多个同时发生的节点故障。文中给出的所有结构都是低复杂度的,特别是需要低的域大小。
2009-10-06 cs.IT math.IT
Cooperative Regenerating Codes for Distributed Storage Systems
当分布式存储系统中存在多个节点故障时,就修复带宽最小化而言,以逐个方式单独地重新生成故障存储节点是次优的。如果启用新节点之间的数据交换,我们可以在修复带宽和每个节点的存储之间获得更好的权衡。给出了一种显式的、优化的协作再生码的构造方法。
2011-02-08 cs.DC cs.IT math.IT
A Framework of Constructions of Minimal Storage Regenerating Codes with the Optimal Access/Update Property
本文提出了一种基于不变子空间技术构造具有两个奇偶节点的系统最小存储再生码的通用框架。在我们的框架中构造的代码不仅包含一些最著名的代码作为特殊情况,但也包括一些新的代码的关键属性,如最佳访问属性和最佳更新属性。特别地,对于单个节点的给定存储容量,新代码中的一个具有最大数量的系统节点,并且新代码中的两个具有最大数量的具有最优更新属性的系统节点。
2015-03-06 cs.IT math.IT
Weakly Secure Regenerating Codes for Distributed Storage
我们考虑\emph{weak security}范式下的安全分布式数据存储问题,其中没有\emph{meaningful information}被泄露给窃听者。更具体地说,窃听者无法获得关于任何单个消息文件或一小组文件的任何信息。弱安全模式的主要好处是它不会损失存储容量,这使得它具有实际吸引力。在本文中,我们提出了一种编码方案,使用陪集编码的外码和乘积矩阵最小带宽再生码(由Rashmi等人提出)。作为内码,当窃听者可以观察任何单个存储节点时,实现弱安全性。我们表明,建议的建设具有良好的安全性能,并需要小的有限域大小。
2014-05-12 cs.IT math.IT
A Sytematic Piggybacking Design for Minimum Storage Regenerating Codes
捎带是降低最大距离可分离码(MDS)或最小存储再生码(MSR)修复带宽的有效方法。为了最小化已知的高码率MSR码的奇偶校验节点的修复带宽,通常是原始数据的全部大小,即,通过对背负式设计的深入分析,提出了一种新的系统背负式设计。结果,新的MSR码得到几乎最佳的修复带宽的奇偶节点,而保持最佳的修复带宽的系统节点。在此基础上,提出了在节点修复过程中均衡下载的MSR码。
2014-08-23 cs.IT math.IT
Exact Scalar Minimum Storage Coordinated Regenerating Codes
我们研究的精确和最佳的修复多个故障的代码分布存储。更具体地说,我们研究使用干扰对齐建立精确的标量最小存储协调再生码(MSCR)。我们表明,它是可能的,以建立代码的情况下,k = 2和d > k通过独立地对齐干扰,但这种技术不能应用,只要k > 2和d > k。我们的结果也适用于自适应再生码。
2012-02-02 cs.DC cs.IT math.IT
Exact Regenerating Codes for Byzantine Fault Tolerance in Distributed Storage
由于使用商用软件和硬件,崩溃停止和拜占庭故障可能在当今的大规模分布式存储系统中更加普遍。再生代码已被证明是一种更有效的方式来分散信息在多个节点和恢复崩溃停止故障的文献。在本文中,我们提出了再生代码的设计与完整性检查,允许准确再生失败的节点和数据重建拜占庭故障的存在。一个渐进的解码机制被纳入到这两个过程中,以利用迄今为止执行的计算。分析了方案的容错性和安全性。
2011-08-19 cs.IT math.IT
Private Information Retrieval Schemes with Regenerating Codes
私有信息检索(PIR)方案允许用户从数据库中检索文件,而不泄露关于所请求的文件的任何信息。到目前为止,PIR方案已经提出了几种类型的存储系统,包括复制和MDS编码的数据。本文研究了再生码的PIR格式的构造问题。再生码是其码字分布在$n$节点之间的存储码,从而实现文件的高效存储以及文件的低带宽检索和节点的修复。在这项工作中,再生码的PIR计划的构造,使用的产品矩阵(PM)的框架Rashmi,沙阿和Kumar。同时考虑了最小带宽(MBR)和最小存储(MSR)设置,并使用PM框架给出的结构,以降低我们方案的下载通信复杂性。
2018-12-06 cs.IT math.IT
Improved Upper Bounds on Systematic-Length for Linear Minimum Storage Regenerating Codes
在本文中,我们重新寻找最长的系统长度$k$的线性最小存储再生(MSR)码的最佳修复只有系统的一部分,对于一个给定的每个节点的存储容量$l$和任意数量的奇偶校验节点$r$。我们研究问题的线性子空间和运营商的几何分析。首先,给出了一个简单的二次界,这意味着$k=r+2$是\emph{scalar}场景中系统节点数量最多的。其次,推导了基于$r$的对数上界,该上界优于基于$2$的对数上界。最后,给出了一个依赖于$\frac{r^2}{l}$值的显式上界,进一步推广了文献中的相应结果.
2018-07-05 cs.IT math.IT
Optimal Construction of Regenerating Code through Rate-matching in Hostile Networks
再生码是一类非常适合分布式存储系统的代码,它可以保持最优的带宽和存储空间。构造了两种重要的再生码:最小存储再生(MSR)码和最小带宽再生(MBR)码。然而,在敌对网络中,对手可以危害存储节点,网络的存储容量可能会受到显着影响。本文提出了两种能在敌对网络中对抗此类攻击的速率匹配再生码的优化构造:2层速率匹配再生码和$m$层速率匹配再生码。对于2层代码,我们可以实现给定系统要求的最佳存储效率。我们的综合分析表明,我们的代码可以检测和纠正恶意节点具有更高的存储效率相比,普遍弹性再生代码,这是一个简单的扩展,再生代码的错误检测和纠正能力。在此基础上,通过对二层码的扩展,提出了$m$层码,并通过匹配各层再生码的码率来达到最佳的纠错效率。我们还证明了优化后的参数可以达到最大的存储容量在相同的约束条件下。与通用的弹性再生码相比,我们的代码可以实现更高的纠错效率。
2015-11-07 cs.CR cs.IT math.IT
Double Circulant Minimum Storage Regenerating Codes
更新的版本将很快出现
2010-11-29 cs.DC cs.IT cs.NI
On Optimal Heterogeneous Regenerating Codes
异构分布式存储系统(DSSs)接近于现实世界中的数据存储应用。所考虑的DSS的每个节点可以存储不同数量的分组,并且每个分组具有不同的修复带宽和统一的修复业务。对于这样的异构DSS,一个故障节点可以在一些特定节点的帮助下进行修复。在这项工作中,一个家庭的代码的基础上图论,构建了实现特定的异构DSS的文件大小的基本约束。
2016-07-21 cs.IT math.IT
A Note on Secure Minimum Storage Regenerating Codes
这篇短文重新讨论了为分布式存储系统设计安全最小存储再生(MSR)码的问题。安全的MSR代码确保分布式存储系统不会将存储的信息泄露给被动窃听者。假设窃听者可以访问存储在系统中的$\ell_1$数量的存储节点上的内容以及在额外的$\ell_2$数量的存储节点的带宽有效修复期间下载的数据。本文结合了基于Gabidulin码的预编码[18]和Ye和Barg [27]的MSR码的新构造(没有安全要求),以获得安全的MSR码。这样的最佳安全MSR码先前在窃听者仅被允许观察$k$节点的特定子集中的$\ell_2$节点的修复的设置中是已知的[7,18]。本文提出的安全编码方案允许窃听者观察到系统中$n$节点中任意$\ell_2$的修复,并刻画了线性可修复MSR码的保密能力。
2016-08-05 cs.IT math.IT
Exact Cooperative Regenerating Codes with Minimum-Repair-Bandwidth for Distributed Storage
在最小带宽协作再生点上给出了精确协作再生码的一个显式构造。在本文之前,唯一已知的显式MBCR码给出参数$n=d+r$和$d=k$,而我们的构造适用于所有可能的值的$n,k,d,r$。该程序具有简洁的多项式形式的表达式,数据重构采用二元多项式插值实现。它是一种标量码,在大小为$q\geq n$的有限域上操作。此外,我们建立了线性精确MBCR码的几个子空间性质。基于这些性质,我们证明了线性精确MBCR码不能实现转移修复。
2012-07-04 cs.IT math.IT
On Secrecy Capacity of Minimum Storage Regenerating Codes
在本文中,我们重新审视的问题,表征的最小存储再生(MSR)码的保密能力下的被动$(l_1,l_2)$窃听模型,窃听者可以访问存储在$l_1$节点和修复数据的额外的$l_2$节点。我们从信息论的角度来研究它。首先,给出了MSR码的一些一般性质以及一个简单且普遍适用的保密容量上界。其次,引入了\emph{stable} MSR码的概念,证明了其稳定性与保密容量密切相关。最后,给出了线性MSR码的保密容量的一个全面而明确的结果,推广了文献中的所有相关工作,并对一些未知的线性MSR码给出了一定的结果.
2016-08-08 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储,以实现高容错和低存储冗余。由于跨机架通信成本通常很高,因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中,我们分析了存储冗余和跨机架修复带宽之间的最佳权衡,专门为数据中心,受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线,并提出了一个称为机架感知再生码(RRC)的擦除码族,它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽,分别。我们证明了(i)最小存储冗余构造支持广泛的参数范围,并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽,以及(ii)最小跨架修复带宽构造支持所有参数,并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
Information-theoretically Secure Regenerating Codes for Distributed Storage
再生码是用于分布式存储网络的一类码,其提供数据的可靠性和可用性,并且还执行有效的节点修复。分布式存储网络的另一个重要方面是其安全性。在本文中,我们考虑一个威胁模型,窃听者可以访问存储在存储节点的一个子集中的数据,也可能,在修复某些节点的数据下载。我们提供了明确的再生码,实现信息理论的保密能力,在这种情况下的建设。
2011-07-26 cs.DC cs.IT cs.NI
Explicit Construction of Minimum Bandwidth Rack-Aware Regenerating Codes
在大型数据中心中,存储节点被组织在机架中,并且跨机架传输主导带宽成本。对于单节点故障的修复,实现存储冗余和跨机架修复带宽之间的折衷的代码被称为机架感知再生代码(RRC)。在这项工作中,我们给出了具有最小修复带宽的RRCs的第一个显式构造(即,跨机架带宽等于每个节点的存储大小)。我们的建设适用于所有允许的参数,并具有最低的子打包水平。此外,底层有限域的大小与存储节点的数量相当,这使得我们的代码在实践中更容易实现。最后,为了便于实际应用,我们还建立了一个转换,将我们的代码转换成系统代码。
2021-04-20 cs.IT math.IT
Rack-aware minimum-storage regenerating codes with optimal access
本文推导了机架感知存储模型中修复单机架内失效节点的访问信息量下界,并构造了达到该下界的机架感知最优访问 MSR 码及低访问复杂度的 RS 码。
2023-04-18 cs.IT math.IT
Cooperative Regenerating Codes
分布式存储系统的设计目标之一是使故障存储节点修复过程中的数据流量最小化。通过同时和协作地修复多个故障,可以进一步减少修复流量。给出了协作修复中修复流量与各节点存储量之间的最优折衷的封闭表达式。我们表明,在权衡曲线上的点可以通过线性合作再生码,所需的有限域大小上的明确的界限。证明依赖于一个最大流最小割型定理的子模流从组合优化。给出了两类显式构造。
2013-07-19 cs.IT math.IT
Achieving Secrecy Capacity of Minimum Storage Regenerating Codes for all Feasible $(n, k, d)$ Parameter Values
本文讨论了对所有可行参数值在MSR点构造安全的正修再生码的问题。该设置涉及被动窃听者,该被动窃听者被允许观察分布式存储系统(DSS)的$n$节点的子集$l$的存储内容和下载到该子集中。目标是实现窃听符号和DSS上存储的文件之间的完美保密。以前的安全代码构造(最值得注意的是Rawat等人)仅针对其中帮助恢复故障节点的助手节点的数量$d$等于$n-1$的受限情况来解决该问题。本文在Rawat的工作基础上,通过结合Gabidulin预编码和Ye和Barg的MSR构造,证明了对于$d$的所有允许值,MSR点处的保密容量的可扩展性.
2019-02-26 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Security Concerns in Minimum Storage Cooperative Regenerating Codes
在这里,我们重新审视的问题,探索的保密能力的最小存储合作再生(MSCR)代码下的$\{l_1,l_2\}$窃听模型,窃听者可以观察到的数据存储在$l_1$节点和修复下载的一个额外的$l_2$节点。与仅支持单个节点修复的最小存储再生(MSR)码相比,MSCR码允许多个故障节点的高效同时修复,称为\emph{repair group}。然而,从一个辅助节点发送到另一个故障节点的修复数据可能会随着不同的修复组或辅助节点的集合而变化,这将不可避免地泄漏更多的数据信息给窃听者,甚至使存储系统无法保持任何数据保密性。在本文中,我们介绍和研究一类特殊的MSCR码,称为“\emph{stable}“MSCR码,从任何一个帮助节点到任何一个故障节点的修复数据被要求是独立的修复组或帮助节点的集合。我们的主要贡献包括:1.证明了现有的两种MSCR码本质上是不稳定的,因此具有较差的保密能力,2。将一个现有的MSCR码转换为一个稳定的MSCR码,与原始MSCR码相比,该MSCR码提供了更好的保密能力。利用信息论分析方法研究了稳定MSCR码在特定情况下的保密能力。
2016-08-17 cs.IT math.IT
Update-Efficient Regenerating Codes with Minimum Per-Node Storage
代码再生技术为分布式存储系统中故障节点的数据恢复提供了一种有效的方法。已经表明,再生代码可以被设计为最小化每个节点的存储(称为MSR)或最小化再生的通信开销(称为MBR)。在这项工作中,我们提出了一个新的编码方案的[n,d]纠错MSR码,推广了我们的早期工作的纠错再生码。证明了通过选择合适的对角矩阵,任意的RS码的生成矩阵都可以被合并到RS码的编码矩阵中.本文还提出了一种利用[n,α] RS码进行数据重构的高效译码方案。所提出的解码方案具有更好的纠错能力,并招致最少的节点访问时,错误的存在。
2013-01-11 cs.DM cs.IT math.IT
Regenerating Codes for Errors and Erasures in Distributed Storage
再生码是为保证分布式存储系统中数据的可靠性和故障节点的有效修复而提出的一类编码。在本文中,我们解决的基本问题,处理错误和擦除过程中的数据重建和节点修复操作。我们提供了明确的再生代码,是弹性的错误和擦除,并表明这些代码是最佳的存储和带宽要求。作为一个特殊的情况下,我们还建立了一类分布式存储系统的恶意对手的存在下的能力。虽然我们的代码结构是基于以前构建的产品矩阵码,我们也提供了必要和充分的条件引入弹性在任何再生代码。
2012-05-23 cs.DC cs.IT cs.NI
Generalization of Rashmi-Shah-Kumar Minimum-Storage-Regenerating Codes
在本文中,我们提出了一个广义版本的Rashmi-Shah-Kumar最小存储再生(RSK-MSR)码的基础上的产品矩阵框架。对于任何$(n,k,d)$使得$d \geq 2k-2$和$d \leq n-1$,我们可以直接构造$(n,k,d)$ MSR码,而不构造更大的MSR码和缩短更大的MSR码。结果,在其上定义所提出的码的有限域的大小小于或等于在其上定义RSK-MSR码的有限域的大小。此外,应用Shah,Rashmi和Kumar提出的$\{\ell,\ell'\}$安全码的构造方法,可以得到基于广义RSK-MSR码的$\{\ell,\ell'\}$安全码.利用$\{\ell=k,\ell'=0\}$安全码的构造方法,从RSK-MSR码的消息矩阵推导出$(n,k,d)$广义RSK-MSR码的消息矩阵。
2013-09-26 cs.IT math.IT
Explicit Construction of Minimum Storage Rack-Aware Regenerating Codes for All Parameters
我们考虑机架感知存储系统,其中$n=\bar{n}u$节点被组织在$\bar{n}$机架中,每个机架包含$u$节点,并且任何$k=\bar{k}u+u_0~(0\leq u_0<u)$节点都可以检索原始数据文件。更重要的是,跨机架通信成本比机架内通信成本昂贵得多,以至于后者在系统带宽中通常被忽略。MSRR(minimum storage rack-aware regenerating)码是再生码的一个重要变体,它在rack-aware模型中实现了单节点故障的最优修复带宽。然而,直到Chen\&Barg的工作,才开发出针对所有参数的MSRR代码的显式构造。在本文中,我们提出了另一种显式构造的MSRR码的所有参数,改善陈和巴格的建设在两个方面:(1)的子分组从$(\bar{d}-\bar{k}+1)^{\bar{n}}$减少到$(\bar{d}-\bar{k}+1)^{\lceil\frac{\bar{n}}{u-u_{0}}\rceil}$,其中$\bar{d}$是帮助机架参与修复过程的数量;(2)字段大小减少到$|F|>n$,这几乎是一半的字段中使用的陈和巴格的建设。此外,我们的代码保持了与Chen\&Barg的低访问构造相同的访问级别。
2021-03-29 cs.IT math.IT
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
Explicit Constructions for Rack-Aware Minimum Storage Partially Cooperative Regenerating Codes
针对多节点故障修复,本文推导机架感知 MSPCR 码带宽下界,并显式构造两类渐近最优方案,显著降低子分组化级别。
2025-09-28 cs.IT math.IT
New Minimum Storage Regenerating Codes With Small Sub-packetization Levels for All Admissible Repair Degrees
City University of Hong Kong(香港城市大学);Southwest Jiaotong University(西南交通大学)
针对分布式存储系统,提出一类支持任意修复度、子分组级更小的新MSR码,通过放宽Ye-Barg码的交换性条件实现,提升了编解码效率,丰富了MSR码家族。
2026-10-14 cs.IT math.IT
Error-Correcting Regenerating and Locally Repairable Codes via Rank-Metric Codes
本文提出并分析了一种新的级联编码方案,使错误恢复在两个分布式存储设置:一个是存储使用现有的再生码,第二个是存储使用本地可修复的代码。级联编码方案将最大秩距离(MRD)码作为外码,将全局再生码或局部可修复码作为内码。此外,考虑了局部可修复码与再生码组合的抗误码能力。这种级联编码系统旨在处理两种不同类型的对抗性错误:第一种类型包括只能替换受影响节点内容一次的对手;而第二种类型研究能够污染数据无限次数的对手。建立了局部可修复码的恢复能力上界,证明了该级联编码方案对第一类攻击者的恢复能力达到了上界。此外,本文提出的机制,结合子空间签名的级联编码方案,以实现第二类错误的错误恢复。
2013-12-11 cs.IT math.IT
A Connection Between Locally Repairable Codes and Exact Regenerating Codes
通常情况下,局部可修复代码(LRC)和再生代码已经相互独立的研究,它一直不清楚如何一个参数与其他的。本文建立了局部可修码与精确再生码之间的一种新的联系。通过这种连接,局部可修复的代码被解释为精确的再生代码。此外,这些代码中的一些被示出为比最小带宽再生和最小存储再生代码之间的分时代码执行得更好。
2016-03-18 cs.IT math.IT
Bandwidth Adaptive & Error Resilient MBR Exact Repair Regenerating Codes
在存储网络中,节点失效是一种常见的分布式存储问题,再生码是解决这种问题的有效方法。它们通过仅访问网络中任意选择的预定义数量的存储节点来保证低成本的数据重建和修复。在这项工作中,我们考虑了对[1]中引入的原始再生代码框架的两个同时扩展; i)数据重建和修复都对网络中存在一定数量的错误节点具有弹性,ii)每次修复中的帮助节点的数量不是固定的,而是可以在运行时选择的灵活参数。我们研究所需的总修复带宽的基本限制,并提供这些代码的存储容量的上限在这些假设下。然后,我们专注于最小修复带宽(MBR)的情况下,并得出确切的存储容量,提出明确的编码方案与确切的修复,实现了在考虑设置的存储容量的上限。为此,我们首先提供了一个更自然的扩展著名的产品矩阵(PM)MBR代码[2],修改,以提供灵活的选择在每次修复的帮助者的数量,并同时在网络中的错误节点的鲁棒性。这是通过证明在足够大的有限域上的矩阵族的非奇异性来实现的。接下来,我们提供了另一个扩展的PM代码,基于新的修复方案,使灵活的帮助者的数量和鲁棒性对错误的节点,而没有任何额外的成本字段大小相比,原来的PM代码。
2017-11-07 cs.IT math.IT
Rack-Aware Regenerating Codes with Multiple Erasure Tolerance
在现代分布式存储系统中,存储节点被组织在机架中,并且跨机架通信支配系统带宽。在我们研究的机架感知存储系统中,所有的存储节点都组织在机架中,每个机架内的节点可以自由地通信,而不会占用系统带宽。为了最大限度地减少单次擦除的修复带宽,提出了机架感知再生码(RRC)。在RRC的初始设置中,单个节点的修复需要包含故障节点的机架中的所有剩余节点以及不包含故障的大量辅助机架的参与。因此,在多个节点故障之前,修复可能是不可行的。在这项工作中,一个宽松的修复模型,可以容忍多个节点的故障,同时减少机架内连接和跨机架连接的建议。推导了松弛修复模型下存储带宽和修复带宽之间的权衡关系,并分别表征了最小存储和最小带宽下权衡曲线上两个端点的参数。此外,两个代码对应的极端点明确地构建在字段的大小可比的代码长度和最低的子分组。最后,为了便于实际应用,还建立了两种码的系统编码过程。
2022-05-18 cs.IT math.IT
Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient
我们考虑一种设置,其中使用(n,k)最小存储再生(MSR)码,将大小为M的文件存储在n个分布式存储节点中,即,最大距离可分离(MDS)码,其还允许任何故障节点的有效精确修复。本文中感兴趣的问题是最小化修复带宽B以精确再生单个故障节点,即,新节点要下载的最小数据,以用其精确副本替换故障节点。以前的工作已经表明,带宽B =[M(n-1)]/[k(n-k)]是必要的和足够的功能(不精确)再生。也已经表明,如果k <= max(n/2,3),则精确再生比功能再生没有额外的成本。低冗余的实际相关设置,即,对于k> 3,k/n> 1/2保持开放,并且已经表明,在这种情况下,精确修复比功能修复有额外的带宽成本。在这项工作中,我们采用到分布式存储上下文中的渐近最优的干扰对齐方案以前提出的Cadambe和Jafar大型无线干扰网络。利用该方案,我们解决了(n,k)个正态MSR码的修复带宽最小化问题,其中包括k> \max(n/2,3)的开放情形。我们的主要结果是,对于任何(n,k),和足够大的文件大小,有没有额外的成本,确切的再生功能再生的修复带宽再生数据的每一位。更精确地说,我们证明了当M趋于无穷大时,B/M =(n-1)/(k(n-k))。
2010-04-24 cs.IT math.IT
On Block Security of Regenerating Codes at the MBR Point for Distributed Storage Systems
被动攻击者可以窃听某些存储节点的存储内容或下载内容,以非法了解分布式存储系统(DSS)中存储的文件。文献中以前的工作集中在代码结构,贸易存储容量完美的安全性。换句话说,通过减少它可以存储的原始数据量,系统可以保证窃听到一定数量的存储节点的对手不会获得关于原始数据的任何信息(在香农的意义上)。在这项工作中,我们介绍了DSS块安全的概念,并调查最小带宽再生(MBR)码,是块安全的不同窃听强度的对手。这样的MBR代码保证了在不牺牲系统的存储容量的情况下,没有关于达到一定大小的任何原始数据单元组的信息被泄露。这种安全组的大小根据对手可以窃听的节点的数量而变化。我们证明了基于柯西矩阵的代码构造提供了块安全性。对于基于Vandermonde矩阵的码,得出了相反的结论。
2014-02-18 cs.IT math.CO math.IT
Universally Weakly Secure Coset Coding Schemes for Minimum Storage Regenerating (MSR) Codes
我们考虑的问题,设计代码的分布式存储,保护用户数据对窃听者,可以访问网络链路以及个人节点。我们的目标是实现弱安全性(也称为块安全性),要求窃听者无法解码单个文件或少量文件的组合。实现块安全性的标准方法是使用由(内部)存储代码和(外部)陪集代码组成的联合设计方案。然而,联合设计的代码要求用户,谁预处理和存储的文件,应该知道底层的存储代码,以设计(外)线性变换实现弱安全性。在许多实际场景中,例如将文件存储在第三方云存储系统上,用户可能无法知道底层存储代码。在这项工作中,我们提出了通用的计划,分离的外码设计的最小存储再生码(MSR)的存储代码设计。我们的方案允许独立设计的存储代码和外部代码。我们的方案使用小的字段大小,可以在广泛的实际设置中使用。
2017-10-18 cs.CR cs.IT math.IT
Minimum Storage Regenerating Codes For All Parameters
在过去的十年中,再生代码的分布式存储吸引了很多研究兴趣。这种代码用修复故障节点所需的带宽与存储在网络中的总数据量进行交易。最小存储再生码(MSR)是一类重要的最优再生码,它首先最小化每个节点存储的数据量,然后最小化修复带宽。具体地,如下定义在$\mathbb{F}_q$上的$[n,k,d]$ MSR码$\mathbb{C}$。使用这样的代码$\mathbb{C}$,由$\mathbb{F}_q$上的$αk$符号组成的文件$\cal{F}$可以在$n$节点之间以这样的方式分布,每个节点存储$α$符号:文件$\cal{F}$可以通过下载$n$节点的任何$k$的内容来恢复;并且可以通过访问剩余$n-1$节点中的任何$d$并下载$α/(d-k+1)$符号来重建任何故障节点的内容从这些节点中的每一个。不幸的是,$[n,k,d]$ MSR码的显式构造仅在某些特殊情况下是已知的:低速率,即$k/n<0.5$,或高修复连通性,即$d = n-1$。虽然设置$d = n-1$可最大限度地减少修复带宽,但为了修复单个故障节点而连接到所有剩余节点可能不切实际。本文的主要结果是对参数$n,k,d$的所有可能值,构造了系统修复$[n,k,d]$ MSR码.特别地,我们构造了高速率$k/n>0.5$和低修复连接度$k< d<n-1$的系统修复MSR码。以前不知道有这样的代码存在。为了构建这些代码,我们同时解决…
2016-02-14 cs.IT math.IT
Rack-Aware Regenerating Codes with Fewer Helper Racks
我们考虑机架感知存储系统,其中\(n\)节点被组织在\(\bar{n}\)机架中,每个机架包含\(u\)节点,并且任何\(k\)节点都可以检索存储的文件。此外,通过从\(\bar{d}\)辅助机架以及同一机架中的其余\(u\!-\!1\)节点下载数据,可以恢复任何单个节点擦除。以前的工作主要集中在最小化跨机架修复带宽的条件下\(\bar{d}\geq \bar{k}\),其中\(\bar{k}=\lfloor\frac{k}{u}\rfloor\)。但是,\(\bar{d}\geq \bar{k}\)不是机架感知存储模型的固有条件。在本文中,我们建立了一个折衷的存储开销和跨机架修复带宽的特别有趣的情况下\(\bar{d}\!<\!\bar{k}\)。此外,我们提出了明确的结构的代码的参数躺在权衡曲线分别在最小存储点和最小带宽点。代码是标量的或具有子分组化\(\bar{d}\),并且在大小与\(n\)相当的有限域上操作。以\(\bar{d}\)为修复度,结合了再生码在最小化修复带宽方面的优势和局部可修复码在降低修复度方面的优势.此外,它们还放弃了MBR码具有不小于\(2\times\)的存储开销的限制和具有指数子分组化水平的高速率MSR码的限制。
2021-01-21 cs.IT math.IT
CROSS-MBCR: Exact Minimum Bandwith Coordinated Regenerating Codes
我们研究的精确和最佳的修复多个故障的代码分布存储。更具体地说,我们提供了一个明确的最小带宽协调再生码(MBCR)的结构n=d+t,k,d >= k,t >= 1。我们的构造与现有构造的不同之处在于允许t>1(即,多个故障的修复)和d>k(即,在维修期间接触多于K个设备)。
2012-07-03 cs.IT math.IT
Optimal Exact-Regenerating Codes for Distributed Storage at the MSR and MBR Points via a Product-Matrix Construction
再生码是一类分布式存储码,其最优地将修复故障节点所需的带宽与网络中每个节点存储的数据量进行交换。最小存储再生(MSR)码首先最小化每个节点存储的数据量,然后最小化修复带宽,而最小带宽再生(MBR)码以相反的顺序执行最小化。[n,k,d]再生码允许通过连接到网络中的n个节点中的任何k个节点来恢复数据,同时要求通过连接(使用较小容量的链路)到任何d个节点来修复故障节点。以前,显式和一般的结构的确切再生码已被限制的情况下n=d+1。在本文中,我们提出了最佳的,明确的结构MBR码的所有可行的值[n,k,d]和MSR码的所有[n,k,d >= 2k-2],使用产品矩阵的框架。特定的产品矩阵性质的建设显着简化系统操作。据我们所知,这些是精确再生码的第一个构造,允许分布式存储网络中的节点数n独立于其他参数进行选择。本文还包含了一个更简单的描述,在产品矩阵的框架下,以前构造的MSR码,其中参数d满足[n=d+1,k,d >= 2k-1]。
2011-01-20 cs.DC cs.IT cs.NI
When Can Helper Node Selection Improve Regenerating Codes? Part I: Graph-Based Analysis
再生码可以显著降低分布式存储网络的修复带宽。最初,RC的分析是基于这样的假设,即在修复过程中,新来者不区分(在所有幸存的节点中)要访问哪些节点,即,新来者不知道正在使用的助手集。这种方案被称为盲辅助选择(BHS)方案。尽管如此,在实践中,新来者应该选择只访问那些“好”的助手。在这两部分的论文中,给出了一个新的表征选择的帮助节点的存储带宽权衡的效果。具体而言,以下基本问题的答案是:在什么条件下主动选择的助手节点提高存储带宽的权衡?通过基于图形的分析,这第一部分回答了这个问题,提供了一个充分必要条件下,最佳选择良好的助手严格提高了存储带宽的权衡。一个低复杂度的助手选择解决方案,称为家庭助手选择(FHS)计划,提出了相应的存储/修复带宽曲线的特点。本文还证明了在一定的设计参数下,FHS方案确实是所有辅助选择方案中的最优方案。在第二部分的论文中,提出了一个明确的建设一个确切的修复代码,实现最小带宽再生(MBR)点的FHS计划。新的精确修复码可以看作是现有分数重复码的推广。
2016-04-27 cs.IT math.IT
Repairing Multiple Failures in the Suh-Ramchandran Regenerating Codes
利用干扰对齐的思想,Suh和Ramchandran构造了一类最小存储再生码,该再生码能够以最优修复带宽修复一个系统节点或一个校验节点。在相同的代码结构下,我们证明了除了单节点故障,双节点故障也可以协同修复,并具有最优修复带宽。给出了六结点Suh-Ramchandran再生码的双重失效修复的一个例子,并给出了一般情况下的证明.
2013-05-14 cs.IT math.IT
When and By How Much Can Helper Node Selection Improve Regenerating Codes?
再生码可以显著降低分布式存储网络的修复带宽。最初,RC的分析是基于这样的假设,即在修复过程中,新来者不区分(在所有幸存的节点中)要访问哪些节点,即,新来者不知道正在使用的助手集。这种方案被称为盲修复(BR)方案。尽管如此,在实践中,新来者应该选择只访问那些“好”的助手。在本文中,一个新的表征选择的帮助节点的存储带宽权衡的影响。具体来说,回答以下基本问题:在什么条件下主动选择的助手节点,提高存储带宽的权衡?这种改善可以通过分析量化吗?本文回答了前一个问题,提供了一个充分必要条件下,最佳选择良好的助手严格提高了存储带宽的权衡。为了回答后一个问题,一个低复杂度的助手选择解决方案,被称为家庭修复(FR)计划,提出了相应的存储/修复带宽曲线的特点。例如,考虑具有60个节点总数的分布式存储网络,并且该网络对于50个节点故障具有弹性。如果辅助节点的数量是10,那么FR方案及其变体与BR解决方案相比,修复带宽减少了27%。本文还证明了在一定的设计参数下,FR方案确实是所有辅助选择方案中的最优方案。还提出了一个明确的建设的确切修复码,可以实现最小带宽再生点的FR计划。新的精确修复码可以看作是现有分数重复码的推广。
2014-09-05 cs.IT math.IT
High-Rate Regenerating Codes Through Layering
本文给出了一类具有分层结构的精确修复再生码的显式构造。这些再生码对应于存储-修复-带宽权衡上的内部点,并且与采用MSR和MBR码之间的空间共享的方案相比非常好。对于具有$n < 2k-1$的参数集$(n,k,d=k)$,我们构造了一类具有辅助参数$w$的码,称为规范码。当$w$在$n-k < w < k$范围内时,这些代码在MSR点和MBR点之间的区域中运行,并且性能明显优于空间共享线。它们只需要字段大小大于$w+n-k$。对于$(n,n-1,n-1)$的情况,规范码也可以被示出为在连接MSR点的线段上实现内部点,并且在存储-修复-带宽折衷上实现下一个斜率不连续点。因此,我们建立了一个点上的MSR和MBR点上的存储修复带宽的权衡上的精确修复代码的存在。我们还构造了一般参数集$(n,k<d,k)$的分层再生码,我们称之为非规范码。这些代码的性能也明显优于空间共享线,尽管它们需要更大的字段大小。本文所构造的编码具有修复率高、可修复多个节点故障、不需要辅助节点进行任何计算等优点。我们还构造了具有局部性的最优码,其中局部码是分层再生码。
2013-03-11 cs.IT math.IT
Secure Regenerating Codes for Reducing Storage and Bootstrap Costs in Sharded Blockchains
区块链是一种应用广泛的分布式账本。由于区块链的存储需求不断增加,计算只能由少数矿工承担。已经提出了分片来扩展区块链,以便以安全保证为代价提高区块链的存储和交易效率。本文旨在考虑一种新的协议,安全修复区块链(SRB),旨在降低矿工的存储成本。此外,SRB还降低了自举成本,这使得新矿工可以轻松加入分片区块链。为了减少存储量,SRB采用了编码理论技术。为了减少传输到加入分片的新节点的数据量,使用了精确修复安全再生码的概念。所提出的区块链协议比不使用编码的协议实现了更低的存储,并且与不同的基线相比实现了更低的自举成本。
2020-11-11 cs.CR cs.DC cs.IT
Rate Region of the (4,3,3) Exact-Repair Regenerating Codes
对于(n,k,d)=(4,3,3)的情形考虑了精确修复再生码,并给出了其速率区域的完整特征.该表征肯定地回答了开放问题,即在功能修复再生代码的最佳带宽-存储折衷之间是否存在非零间隙(即,割集界)和正修再生码的割集界。逆证明依赖于对称最优解的存在性。对于可扩展性,只需要解决速率区域的一个非平凡角点,给出了一个显式的二进制码构造。
2013-05-10 cs.IT math.IT
Exact-Regenerating Codes between MBR and MSR Points
本文研究了具有精确修复的分布式存储系统。我们给出了一个构造再生码之间的最小存储再生(MSR)和最小带宽再生(MBR)点,并表明,在参数n,k,和d是彼此接近的情况下,我们的结构是接近最优的,当比较已知的容量时,只需要功能修复。我们这样做,当参数n,k和d的距离是固定的,但实际值接近无穷大,我们的代码的性能与精确的修复和已知的功能修复的代码的能力的分数接近一。
2013-04-19 cs.DC cs.IT math.IT