Storage codes -- coding rate and repair locality
分布式存储代码的{ \em修复位置}是在修复故障节点期间需要联系的节点的最大数量。具有小的修复局部性是期望的,因为它与修复期间的磁盘访问的数量成比例。然而,最近的出版物表明,小的修复局部性带来了惩罚的代码距离或存储开销,如果需要精确的修复。在这里,我们首先回顾了一些主要的结果存储代码在各种修复制度和讨论最近的工作可能的(信息理论)之间的权衡修复局部性和其他代码参数,如存储开销和代码距离,在确切的修复制度。然后,我们提出了一些新的信息理论的存储开销作为修复局部性的函数,适用于所有常见的编码和修复模型的下限。特别地,我们表明,如果分布式存储系统中的每个$n$节点具有存储容量$\ga$,并且如果在任何时候,故障节点可以通过联系$r$节点的{\em some}集合来{ \em functionally}修复(这可能取决于系统的实际状态)并从每一个下载一定量的$\gb$数据,那么在$\ga=\gb$或$\ga = r\gb$,最大编码速率分别至多为$r/(r+1)$或1/2(即,额外存储开销分别至少为$1/r$或1)。
2013-01-18 cs.IT math.IT
Tradeoff for Heterogeneous Distributed Storage Systems between Storage and Repair Cost
本文研究了具有灵活重构度的异构分布式存储系统,系统中的每个节点具有动态的修复带宽和动态的存储容量。具体地,数据收集器可以使用系统中的一些任意节点在时间$t$重构文件,并且对于节点故障,系统可以由一些任意节点集合修复。使用$min$ - $cut$界限,我们研究了存储和修复成本之间的基本权衡我们的模型的异构DSS。特别地,该问题被表述为双目标优化线性规划问题。对于任意的DSS,计算得到的$min$ - $cut$界是紧的.
2015-03-08 cs.IT math.IT
An Improved Outer Bound on the Storage-Repair-Bandwidth Tradeoff of Exact-Repair Regenerating Codes
在本文中,我们建立了一个改进的外界的存储-修复-带宽权衡再生码下的精确修复。结果表明,特别是,它是不可能构建精确修复再生码,渐近实现的折衷,持有功能修复。虽然这已经表明田早些时候为特殊情况下的$[n,k,d]=[4,3,3]$,目前的结果持有一般$[n,k,d]$。新的外边界是通过建立在Shah等人早些时候建立的框架上获得的。
2013-12-20 cs.IT math.IT
The Storage vs Repair Bandwidth Trade-off for Multiple Failures in Clustered Storage Networks
我们研究了集群存储系统中的存储开销和集群间修复带宽之间的权衡,同时从集群内的多个节点故障中恢复。群集是$m$节点的集合,并且存在$n$群集。对于数据收集,我们从任何$k$集群下载整个内容。为了修复集群中的$t \geq 2$节点,我们从$\ell$本地节点以及$d$辅助集群获得帮助。我们的特点下功能修复的最佳权衡,并根据确切的修复最小的存储和最小集群间带宽(MBR)的工作点。我们的边界显示了以下有趣的事实:$1)$当$t|(m-\ell)$的权衡是相同的$t=1$下,因此没有优势,在联合修复多个节点,$2)$当$t \nmid (m-\ell)$,最佳的文件大小在MBR点下精确修复可以严格小于功能修复。$3)$与$t=1$的情况不同,增加本地助手节点的数量并不一定会增加功能修复下的系统容量。
2017-08-18 cs.IT math.IT
A Transformation of Repairing Reed-Solomon Codes from Rack-Aware Storage Model to Homogeneous Storage Model
本文针对机架感知存储模型下 RS 码多节点故障修复难题,利用好多项式指导码字放置并提出修复框架,将修复变换至同构存储模型,从而为现有构造提供多节点修复方案并推导出支持机架内及跨机架多节点故障修复的新构造。
2024-05-26 cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
The Storage-Repair-Bandwidth Trade-off of Exact Repair Linear Regenerating Codes for the Case $d = k = n-1$
本文研究了精确修复线性再生码的设定问题。在这种设置下,我们推导出一个新的存储-修复-带宽权衡的情况下,当$d = k = n -1$,其中$(n, k, d)$是参数的再生代码,其通常的含义。结合Tian et. [1],我们证明了当$d = k = n -1$ .通过分析线性再生码的对偶码,导出了新的外界。
2015-01-26 cs.IT math.IT
Node Repair for Distributed Storage Systems over Fading Channels
分布式存储系统和相关的存储代码可以有效地存储大量数据,同时确保在节点故障的情况下可检索数据。这种系统的研究,特别是有限域上存储码的设计,假设节点通信的物理信道是无差错的。例如,在无线存储系统中,情况并非总是如此。我们研究了分布式存储系统中节点修复期间子数据包被错误修复的概率,其中节点通过AWGN或Rayleigh衰落信道进行通信。渐近概率(SNR的增加),一个节点被错误地修复示出完全由DSS的修复局部性和无线信道的符号出错率确定。最后,我们提出了一些设计标准的物理层编码在这种情况下,并使用它来计算最佳旋转QAM星座用于无线分布式存储系统。
2014-09-25 cs.IT math.IT
Optimal Locally Repairable and Secure Codes for Distributed Storage Systems
本文的目的是超越弹性到分布式存储系统(DSS)的安全性和本地可修复性的研究。安全性和本地可修复性都是重要的一个有效的存储系统的功能,本文的目的是了解这些系统的弹性,安全性和本地可修复性之间的权衡。特别是,本文首先调查的安全性存在的合谋窃听者,窃听者被假定为一起工作,在解码存储的信息。其次,本文重点介绍的编码方案,使最佳的局部修复。它进一步将这两个概念结合在一起,开发本地可修复的编码方案的DSS是安全的,对窃听者。本文的主要结果包括:a.最小存储再生码保密容量的一个改进界。安全的编码方案,实现了一些特殊情况下的界限,c.局部可修码最小距离的一个新界,d.实现最小距离界限的局部可修复码的码构造,以及e.修复带宽有效的局部可修复码的安全约束和不安全约束。
2013-08-06 cs.IT math.IT
Linear Programming Bounds for Distributed Storage Codes
局部可修码的一个主要问题是其鲁棒性。如果本地维修组无法执行维修过程,这将导致维修成本增加。因此,一个局部可修复的代码有多个修复组是至关重要的。在本文中,我们考虑强大的本地可修复的编码方案,保证存在多个不同的(不一定不相交)替代本地修复组的任何单一的故障,使故障节点仍然可以修复本地,即使一些修复组不可用。我们使用线性规划技术来建立这些代码的代码大小的上限。我们还提供了两个例子,强大的本地可修复的代码是最佳的关于我们的线性规划界。此外,我们解决了分布式数据存储网络的更新效率问题。对存储数据的任何修改都将导致更新存储节点的内容。因此,必须最小化需要通过存储数据中的任何变化来更新的节点的数量。研究了更新有效存储码的性质,建立了更新有效局部可修存储码存在的必要条件。
2019-04-06 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数,即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量,存储节点的数量增加没有限制。基于容量表达式,在一个封闭的形式的解决方案,使可靠的存储所需的资源的可行的集合。具体地,示出了跨集群流量可以被最小化为零(即,集群内本地修复成为可能)。将具有零跨簇通信量的网络编码方案定义为簇内可修码,它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model
针对机架感知分布式存储,本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码,实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。
2024-01-27 cs.IT math.IT
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题,其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输(数据包)的数量趋于无穷大时,可以渐近地实现最优折衷界。对于有限数量的传输,我们研究了成功再生的概率。然后,我们研究了两种方法来增加成功再生的概率,即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟,并且在某些情况下可能无法连接到更多的节点。我们发现,除了减少修复带宽,增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
A repair scheme for a distributed storage system based on multivariate polynomials
Department of Mathematics, Virginia Tech(弗吉尼亚理工大学数学系)
本文提出基于多元多项式的分布式存储系统修复方案,扩展了Reed-Muller码的修复能力,可处理单节点和多节点故障。
2025-12-31 cs.IT math.IT
On the Existence of Optimal Exact-Repair MDS Codes for Distributed Storage
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在本文中,我们解决了带宽最优的(n,k,d)精确修复MDS码,它允许任何失败的节点被修复,并访问任意d个幸存节点,其中k<=d<=n-1。我们证明了对于任意可容许的(n,k,d),都存在能达到最小修复带宽(匹配割集下界)的精确修复MDS码,即,k<n且k<=d<=n-1。我们的方法是基于干扰对齐技术,并使用矢量线性码,允许分裂成任意小的子符号的符号。
2010-04-26 cs.IT math.IT
Symmetry in Distributed Storage Systems
最大流外边界是通过重新生成代码来实现的,用于功能修复分布式存储系统。然而,分布式存储系统的精确修复能力是一个悬而未决的问题。本文给出了精确修理分布式存储系统的线性规划界。给出了随机变量集的对称集的概念,建立了对称集上随机变量子集的联合熵的等式。提出了一种适用于精确修复分布式存储系统的级联编码方案,并证明了对于任何精确修复分布式存储系统,级联编码方案都足以达到任意的容许速率。给出了由级联方案引起的随机变量的某些联合熵的等价性。这些联合熵等式是简化线性规划界和获得精确修复分布式存储系统更强逆解的新工具。
2013-05-15 cs.IT math.IT
Characterizations and construction methods for linear functional-repair storage codes
我们提出了一个精确的线性函数修复存储代码的特征{ \em容许状态/},每个状态由一个集合的向量空间在一些固定的有限域。为了说明我们的特性的有用性,我们提供了几个应用程序。我们首先描述了一个简单的建设功能修复存储代码的一个家庭的代码参数满足割集界以外的MBR和MSR点,这些代码被证明有最佳的速度相对于他们的修复局部性。然后,我们利用我们的表征开发一种构造方法,以获得功能的修复代码为给定的参数,使用对称群,它可以用来找到新的代码,并改善已知的。作为后者使用的一个例子,我们描述了一个美丽的功能修复存储代码,发现了这种方法,与属于家庭的参数之前调查,这可以指定在只有八个不同的向量空间。
2013-07-22 cs.IT math.IT
Cooperative Local Repair in Distributed Storage
支持码字符号局部修复的纠删码在分布式存储系统中的应用引起了广泛的关注。本文研究了通常的局部可修码的一个推广。特别地,本文研究了一类具有以下性质的码:任意小的码字符号集都可以从少量的其他符号中重构(修复)。这被称为合作本地修复。本文的主要贡献是界的权衡的最小距离和尺寸的代码,以及明确的建设家庭的代码,使合作的本地修复。其他一些结果合作的本地修复,包括著名的Hadamard/单纯形码的分析。
2016-01-27 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
The Storage vs Repair-Bandwidth Trade-off for Clustered Storage Systems
我们研究的再生代码的设置,动机的应用程序组成的集群的存储节点的存储系统的泛化。总共有$n$群集,每个群集有$m$节点。数据文件被编码并存储在$mn$节点上,每个节点存储$α$符号。对于数据的可用性,我们要求通过从$k$集群的任何子集下载整个内容来检索文件。节点表示可能失败的实体。我们区分集群内和集群间带宽(BW)的成本在节点修复。集群中的节点修复是通过下载$β$符号来完成的,每个符号来自其他集群中的任何一组$d$,称为远程助手集群,并且还可以从主机集群中的任何一组$\ell$幸存节点,称为本地助手节点,下载多达$α$符号。我们首先确定功能修复下的存储开销和集群间修复带宽之间的最佳权衡,并提出了最佳的精确修复代码的构造一类参数。新的折衷严格优于经由空间共享现有编码解决方案可实现的,无论何时$\ell > 0$。然后,我们得到尖锐的下限必要的集群内修复BW,以实现最佳的权衡。我们的界限揭示了一个有趣的事实,即虽然增加本地帮助节点的数量$\ell$有利于改善存储与集群间修复BW的权衡,但增加$\ell$不仅增加了主机集群中的集群内BW,而且还增加了远程帮助集群中的集群内BW。我们还分析了弹性的集群存储系统对被动窃听提供文件大小的界限和最佳的代码结构。
2018-02-02 cs.IT math.IT
Exact Optimized-cost Repair in Multi-hop Distributed Storage Networks
研究了多跳网络分布式存储系统中失效节点的精确修复问题。与目前大多数通过从幸存节点到新节点的直接链路来建模修复过程的研究相反,修复是通过考虑多跳网络结构来建模的,并且考虑到可能不存在从所有幸存节点到新节点的直接链路。在这些系统的修复问题中,幸存的节点可以合作将修复业务传输到新节点。在此设置中,我们定义节点之间传输的数据包的总数作为修复成本。因此,维修费用的下限可以找到割集界分析。在本文中,我们证明了MDS码在串联网络和网格网络中的精确修复的修复成本的下界是可达到的,从而导致最小成本的精确MDS码。此外,提出了两个次优(可实现)的大规模网格网络的界限。
2014-01-13 cs.IT math.IT
Optimized-Cost Repair in Multi-hop Distributed Storage Systems with Network Coding
在分布式存储系统中,可靠性是通过存储在网络中不同节点的冗余来实现的。然后,即使某些节点发生故障,数据收集器也可以重建源信息。为了保持可靠性,一个自治的和有效的协议应该被用来修复故障的节点。修复过程导致网络中的流量和因此的传输成本。最近的研究结果发现了最佳的trafficstorage权衡,并提出了再生码,以实现最优。我们的目标是最大限度地减少维修过程中的传输成本。我们在修复中考虑了网络拓扑结构,并相应地修改了信息流图。然后,我们分析了削减的要求,并根据结果,我们制定的最小成本作为一个线性规划问题的线性成本。我们表明,线性问题的解决方案建立了一个基本的下限的维修成本。我们还表明,这个界限是可以实现的最小存储再生,它使用的最优成本最小存储再生(OCMSR)代码。我们提出幸存节点合作,可以有效地降低修复成本。进一步讨论了构造OCMSR码的字段大小。我们展示了串联,星形,网格和完全连接的网络中的最优成本修复的增益。
2013-03-25 cs.IT math.IT
Increasing Availability in Distributed Storage Systems via Clustering
本文提出了一种新的分布式存储系统架构--固定集群修复系统(FCRS),它在保证高可用性的同时,实现了较小的修复带宽。具体来说,我们将DSS中的服务器集划分为$s$群集,并允许故障服务器选择除其自身群集之外的任何群集作为其修复组。因此,我们保证了$s-1$的可用性。我们的特征在于修复带宽与存储权衡功能修复下的FCRS,并表明,最小的修复带宽可以提高一个渐近乘法因子的$2/3$相比,最先进的编码技术,保证相同的可用性。我们进一步介绍了三次码设计,以最小化修复带宽的FCRS下的确切修复模型。我们证明了一个渐进乘法改善$0.79$在最小修复带宽相比,现有的精确修复编码技术,实现相同的可用性。我们表明,立方码是信息理论上最优的FCRS与$2$和$3$完整的集群。此外,在转移修复模型下,立方码是最优的,而与簇的数量无关。
2019-03-05 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Optimal Control of Storage Regeneration with Repair Codes
容器化应用的高可用性要求对应用的状态进行健壮的存储。由于基本的复制技术在规模上非常昂贵,因此可以通过擦除或修复代码来减少存储空间需求。在本文中,我们解决存储再生使用修复码,一个强大的分布式存储技术,不需要完全恢复整个状态的情况下发生故障。事实上,只有丢失的服务器的内容被替换。为此,以激活新存储服务器的成本和传送修复数据的成本使新的干净状态存储单元可操作。我们的目标是在给定的截止日期前保证容器状态文件的最大可用性。激活服务器和通信成本。当存储服务器的子集发生故障时,我们的目标是确保它们在给定的截止日期前得到修复。我们引入了一个受控流体模型,并推导出最优的激活策略,以取代服务器在这种相关的故障。解决方案的概念是再生的最优控制通过庞特里亚金最小值原则。给出了可行性条件,证明了最优策略是阈值型的。数值结果描述了如何应用该模型的系统尺寸和显示之间的权衡
2017-11-08 cs.IT math.IT
Product Matrix Minimum Storage Regenerating Codes with Flexible Number of Helpers
在分布式存储系统的编码中,通过访问预定义数量的任意选择的存储节点来保证有效的数据重建和修复,通过重新生成代码。传统上,代码参数,特别是参与修复过程的帮助节点的数量是预定的。然而,取决于系统和网络业务的状态,期望相应地调整这样的参数,以便最小化修复成本。在这项工作中,一类再生代码的最小存储量的介绍,可以同时操作在最佳的修复带宽,广泛的确切的修复机制,根据不同数量的帮助节点。
2017-12-28 cs.IT math.IT
Code Constructions for Distributed Storage With Low Repair Bandwidth and Low Repair Complexity
我们提出了一个家庭的纠删码的分布式存储,实现低修复带宽和复杂性的代价较低的容错。该构造基于两类码,其中第一类码的主要目标是提供容错,而第二类码的主要目标是降低修复带宽和修复复杂度。修复过程是两步过程,其中在第一步中使用第一代码修复故障节点的部分。在第一步骤期间下载的符号被高速缓存在存储器中,并且在第二步骤期间用于以最小的附加读取成本修复剩余的被擦除的数据符号。第一类码基于使用捎带修改的MDS码,而第二类码被设计为减少需要下载以修复剩余的擦除符号的附加符号的数量。我们数值计算表明,建议的代码实现更好的修复带宽相比,MDS码,使用背负式构造的代码,和本地重建/金字塔码,而更好的修复复杂度相比,MDS,锯齿形,金字塔码,和使用背负式构造的代码。
2018-08-31 cs.IT math.IT
Secure Repairable Fountain Codes
在这封信中,我们提供了可修复的喷泉码(RFC)的分布式存储系统的信息理论上是安全的,对窃听者,可以访问存储在一个子集的存储节点和下载的数据来修复一个额外的存储节点子集的数据。安全性是通过向消息中添加随机符号来实现的,然后通过Gabidulin码和RFC的级联来编码。我们比较了安全的最小存储再生码和安全的局部可修复码的可实现的码率。
2016-05-26 cs.IT math.IT
Distributed Data Storage Systems with Opportunistic Repair
以平均数据丢失时间(MTTDL)度量的擦除编码分布式存储系统的可靠性依赖于代码的修复带宽。修复有效的代码提供的可靠性值比传统的纠删码好几个数量级。现有技术的代码先验地固定辅助节点(参与修复的节点)的数量。然而,在实践中,期望允许辅助节点的数量由网络业务条件自适应地确定。在这项工作中,我们提出了一个机会主义的修复框架来解决这个问题。它示出,存在一个阈值的存储开销,低于该阈值,这样的机会主义的方法不会失去任何效率,从最佳的存储-修复-带宽的权衡,即它是可能的,以构建一个代码,同时为不同数量的助手节点的最佳。我们进一步研究这种机会主义代码的好处,并得出两个修复模型的MTTDL改进:一个有限的总修复带宽和其他有限的单个节点修复带宽。在这两种情况下,我们都显示了MTTDL的数量级改善。最后,所提出的框架进行检查,在网络设置中观察到MTTDL的显着改善。
2014-11-06 cs.IT math.IT
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
A New Cooperative Repair Scheme with Small Finite Field for Distributed Storage Systems
Bilkent University(比尔肯特大学);Southwest Jiaotong University(西南交通大学)
针对分布式存储系统多节点故障问题,提出一种适用于Ye和Barg的(n,k,d,N) MSR码的新型协作修复方案,将所需有限域规模从q≥(d−k+1)n降至q≥n+1。
2026-08-26 cs.IT math.IT
A Class of Minimum Storage Cooperative Regenerating Codes with Low Access Property
本文研究了一种改进的MDS码的修复方案。在协作修复模型下,所得到的修复方案对多个失效节点具有最优带宽。此外,修复方案具有相对较低的访问性能,其中访问的数据的数量小于最佳值的两倍。
2022-01-17 cs.IT math.IT
Exact Regeneration Codes for Distributed Storage Repair Using Interference Alignment
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在再生码频谱的一端是最小存储再生(MSR)码,其可以匹配MDS码的最小存储成本,同时还显著降低修复带宽。在本文中,我们描述了精确MSR码,它允许任何失败的节点(无论是系统或奇偶校验节点)被重新生成,而不仅仅是功能或信息等价。我们表明,精确MSR码来没有损失的最优性相对于随机网络编码的MSR码(匹配基于割集的修复带宽的下限)的情况下:(a)k/n <= 1/2;和(b)k <= 3。我们的建设性的方法是基于干扰对齐技术,并且,与前一类的随机网络编码为基础的方法,我们提供明确的和确定性的编码方案,需要一个有限的字段大小最多为2(n-k)。
2010-04-15 cs.IT math.IT
Replication based storage systems with local repair
我们考虑分布式存储系统的再生码的设计,该系统具有本地,精确和未编码修复的特性,即,(a)在故障时,可以通过简单地从幸存节点下载分组来重新生成节点,以及(b)所联系的幸存节点的数量严格小于为了重建所存储的文件而需要联系的节点的数量。我们的代码包括一个外部MDS代码和一个内部分数重复代码,指定的存储节点上的编码符号的位置。对于我们的代码类,我们确定本地修复属性和最小距离之间的权衡。我们目前的代码的基础上,图形的高围长,仿射可解析设计和投影平面,满足最小距离范围的文件大小的特定选择。
2013-05-24 cs.IT math.IT
Storage and Repair Bandwidth Tradeoff for Distributed Storage Systems with Clusters and Separate Nodes
节点存储和修复带宽之间的最佳折衷是分布式存储系统(DSS)的一个重要问题。对于具有集群的现实DSS,在修复故障节点时,从集群内节点下载更多数据比从跨集群节点下载更多数据更有效。因此,区分簇内和跨簇的修复带宽是有意义的。对于集群DSS的权衡已被认为是与特殊的修复假设,其中所有的活节点被用来修复故障节点。在本文中,我们研究了更一般的存储/修复参数下的集群DSS的最佳权衡。此外,再生代码的建设策略,实现点的最佳折衷曲线提出了集群DSS与特定参数作为一个数值例子。此外,分散节点的影响的权衡也被认为是具有集群和分散的节点的DSS。
2018-03-13 cs.DC cs.IT math.IT
Fractional Repetition Codes for Repair in Distributed Storage Systems
我们介绍了一类新的精确的最小带宽再生(MBR)代码的分布式存储系统,其特征在于一个低复杂度的未编码的修复过程,可以容忍多个节点的故障。这些代码由两个组件的级联组成:外部MDS代码后面跟着内部重复代码。我们将内部代码称为分数重复代码,因为它包括将每个节点的数据分成几个数据包,并将每个数据包的多个副本存储在系统中的不同节点上。我们的修复模型是基于表的,因此,不同于文献中采用的随机访问模型。我们提出了分数重复码的结构的基础上定期图和施泰纳系统的一个大的系统参数。所得到的代码保证达到随机访问修复的存储容量。所考虑的模型激发了一个新的定义的分布式存储系统的容量,我们称之为分数重复容量。我们提供的上限,而精确的表达仍然是一个悬而未决的问题。
2010-10-13 cs.IT math.IT
Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient
我们考虑一种设置,其中使用(n,k)最小存储再生(MSR)码,将大小为M的文件存储在n个分布式存储节点中,即,最大距离可分离(MDS)码,其还允许任何故障节点的有效精确修复。本文中感兴趣的问题是最小化修复带宽B以精确再生单个故障节点,即,新节点要下载的最小数据,以用其精确副本替换故障节点。以前的工作已经表明,带宽B =[M(n-1)]/[k(n-k)]是必要的和足够的功能(不精确)再生。也已经表明,如果k <= max(n/2,3),则精确再生比功能再生没有额外的成本。低冗余的实际相关设置,即,对于k> 3,k/n> 1/2保持开放,并且已经表明,在这种情况下,精确修复比功能修复有额外的带宽成本。在这项工作中,我们采用到分布式存储上下文中的渐近最优的干扰对齐方案以前提出的Cadambe和Jafar大型无线干扰网络。利用该方案,我们解决了(n,k)个正态MSR码的修复带宽最小化问题,其中包括k> \max(n/2,3)的开放情形。我们的主要结果是,对于任何(n,k),和足够大的文件大小,有没有额外的成本,确切的再生功能再生的修复带宽再生数据的每一位。更精确地说,我们证明了当M趋于无穷大时,B/M =(n-1)/(k(n-k))。
2010-04-24 cs.IT math.IT
Two-layer Locally Repairable Codes for Distributed Storage Systems
本文提出了一种适用于分布式存储系统的具有最优最小距离的局部可修码。采用两层编码结构保证数据重构和指定的修复局部性。数据首先在第一层中通过任何现有的最大距离可分离(MDS)码进行编码,然后在第二层中将编码的符号分成不重叠的组并通过MDS阵列码进行编码。第二层中的编码为局部修复提供了足够的冗余,而整个代码基于来自两层的冗余执行数据恢复。我们的代码可以构建在一个有限的字段中的DSS中的节点总数的大小线性增长,并促进有效的降级读取。
2014-08-14 cs.IT math.IT
Secure Storage using Maximally Recoverable Locally Repairable Codes
针对 MR-LRC 在全局修复中易被窃听的问题,提出基于 CPU 与局部多项式的安全修复框架,分析直接修复和转发修复并实现非零保密维度。
2024-05-09 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Repair of Multiple Descriptions on Distributed Storage
在分布式存储的多个描述中,源以共享的方式存储在多个服务器上。当服务器的子集被联系时,源应该根据服务器的数量以一定的最大失真来估计。本文考虑的问题是当其中一台服务器出现故障,由新的服务器替代时,如何恢复系统运行,即修复。要求是,恢复系统中的失真不应超过原始系统中的失真。问题是需要多少额外的比特来修复。我们发现在高斯的情况下,两个服务器的问题的最佳解决方案,和一般$n$节点的可实现的速率。一个结论是,它是必要的,设计的多描述码与修复的头脑,只是使用现有的多描述码的结果是不必要的高修复率。
2018-01-09 cs.IT math.IT
Data Secrecy in Distributed Storage Systems under Exact Repair
研究了分布式存储系统中的数据防窃听问题。重点是使用线性代码并实现精确修复以从节点故障中恢复的系统。可以安全存储的最大文件大小是针对所有可用节点都有助于修复的系统确定的(即,修复程度$d=n-1$,其中$n$是节点的总数)和任意数量的受损节点。文献中的类似结果仅限于最多两个受损节点的情况。此外,新的显式上界给出的最大安全文件大小的系统与$d<n-1$。本文的贡献的关键成分是新的结果子空间相交的数据在修复过程中下载。新的界限意味着有趣的事实,即可以安全存储的最大数据随着受损节点的数量呈指数下降。
2013-04-12 cs.IT math.IT
Minimization of Storage Cost in Distributed Storage Systems with Repair Consideration
在分布式存储系统中,不同存储节点的存储成本通常可以不同。研究了如何在给定的存储节点集合中存储文件,以使总存储开销最小。通过分析信息流图的最小割约束,确定节点存储容量的可行域。然后,存储成本最小化可以简化为线性规划问题,该问题可以容易地求解。此外,存储成本和修复带宽之间的权衡建立。
2011-07-28 cs.DC cs.IT math.IT
Towards Optimal Secure Distributed Storage Systems with Exact Repair
分布式存储系统中存在的窃听器被认为是。分布式存储系统(DSS)由三个参数(n,k,d)参数化,其中存储在n个分布式节点上的文件可以从n个节点中的任意k个节点恢复。如果一个节点发生故障,则(n-1)个节点中的任何d个节点都可以帮助修复故障节点。对于这样的(n,k,d)-DSS,研究了两种类型的窃听场景:(a)类型I(节点)对手,其可以窃听存储在任何1 <k个节点上的数据;以及更严重的(b)类型II(修复数据)对手,其可以窃听用于随时间修复一组1个故障节点的修复数据的内容。这项工作的重点是在实际相关的设置,确切的修复再生修复过程中,必须更换一个失败的节点,其确切的副本。我们取得了新的进展,在此之前,这项工作已经开放的几个非平凡的情况下,这个问题。本文的主要贡献是一个(n,k,d)-DSS的安全存储与精确修复带宽权衡区的最佳特征,其中n<=4和任何l<k的存在下,类型I和类型II的对手。虽然问题仍然开放的一般(n,k,d)-DSS与n>4,我们提出了这些结果的扩展(n,n-1,n-1)-DSS,在存在的II型对手,可以观察到任何l=(n-2)节点的修复数据。这项工作的关键技术贡献是为II型对抗场景开发新的信息论逆证明。从我们的研究结果,我们表明,在存在类型II的攻击,在存储与精确修复带宽权衡的唯一有效点是MBR(最小带宽再生)点。这与I型攻击的情况形成鲜明对比,在I型攻击中,存储与精确修…
2014-02-19 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储,以实现高容错和低存储冗余。由于跨机架通信成本通常很高,因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中,我们分析了存储冗余和跨机架修复带宽之间的最佳权衡,专门为数据中心,受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线,并提出了一个称为机架感知再生码(RRC)的擦除码族,它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽,分别。我们证明了(i)最小存储冗余构造支持广泛的参数范围,并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽,以及(ii)最小跨架修复带宽构造支持所有参数,并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
A Sytematic Piggybacking Design for Minimum Storage Regenerating Codes
捎带是降低最大距离可分离码(MDS)或最小存储再生码(MSR)修复带宽的有效方法。为了最小化已知的高码率MSR码的奇偶校验节点的修复带宽,通常是原始数据的全部大小,即,通过对背负式设计的深入分析,提出了一种新的系统背负式设计。结果,新的MSR码得到几乎最佳的修复带宽的奇偶节点,而保持最佳的修复带宽的系统节点。在此基础上,提出了在节点修复过程中均衡下载的MSR码。
2014-08-23 cs.IT math.IT
A Novel Construction of Low-Complexity MDS Codes with Optimal Repair Capability for Distributed Storage Systems
最大距离可分码是一类广泛用于提高分布式存储系统可靠性的纠删码。在(n,k)MDS编码的DSS中,原始数据以有效的方式存储到n个分布式节点中,使得每个存储节点仅包含少量(即,1/k),并且连接到任意k个节点的数据收集器可以检索整个数据。另一方面,节点故障可以被修复(即,可以成功地恢复故障节点处存储的数据)。本文提出了一种构造简单(5,3)MDS码的新方法.通过合理的块设计生成矩阵,我们证明了所提出的MDS码具有最小条带长度α = 2,并且可以在一个只有4个元素的小(Galois)有限域F4上构造,这两种方法都有利于低复杂度的计算和数据存储、检索和修复的实现.此外,利用所提出的MDS码,任何单个节点故障都可以通过干扰对准技术以从幸存节点下载的最小数据量来修复;即,所提出的码确保使用最小带宽对任何单个节点故障进行最佳精确修复。MDS码的低复杂度和全节点最优修复特性使其易于应用于实际DSS。
2017-06-15 cs.IT math.IT
Cooperative Repair of Multiple Node Failures in Distributed Storage Systems
针对分布式存储系统中的多节点故障修复问题,设计了协作再生码。相对于原始的修复模型,再生代码,这是用于修复的单节点故障,新的节点之间的数据交换是可以实现的。已知的是,利用协作修复可以进一步减小修复带宽。目前,在文献中,我们有一个明确的建设精确修复合作码实现所有参数对应的最小带宽点。本文给出了这种合作再生码的一个稍微广义和更灵活的版本。对于最小的存储再生与合作,我们提出了一个明确的代码结构,可以联合修复任何数量的系统存储节点。
2016-07-28 cs.DC cs.IT math.IT
Self-Repairing Codes for Distributed Storage - A Projective Geometric Construction
自修复代码(SRC)是为满足分布式网络存储的编码需求而设计的代码:它们不仅允许即使在存在节点故障的情况下也能恢复存储的数据,而且还提供了一种修复机制,可以联系两个活动节点来重新生成故障节点的数据。在本文中,我们提出了一个新的自修复码的例子,基于来自射影几何的蔓延的建设。我们研究他们的一些属性,以证明这些代码的分布式网络存储的适用性。
2011-05-02 cs.DC cs.IT math.IT
Security Concerns in Minimum Storage Cooperative Regenerating Codes
在这里,我们重新审视的问题,探索的保密能力的最小存储合作再生(MSCR)代码下的$\{l_1,l_2\}$窃听模型,窃听者可以观察到的数据存储在$l_1$节点和修复下载的一个额外的$l_2$节点。与仅支持单个节点修复的最小存储再生(MSR)码相比,MSCR码允许多个故障节点的高效同时修复,称为\emph{repair group}。然而,从一个辅助节点发送到另一个故障节点的修复数据可能会随着不同的修复组或辅助节点的集合而变化,这将不可避免地泄漏更多的数据信息给窃听者,甚至使存储系统无法保持任何数据保密性。在本文中,我们介绍和研究一类特殊的MSCR码,称为“\emph{stable}“MSCR码,从任何一个帮助节点到任何一个故障节点的修复数据被要求是独立的修复组或帮助节点的集合。我们的主要贡献包括:1.证明了现有的两种MSCR码本质上是不稳定的,因此具有较差的保密能力,2。将一个现有的MSCR码转换为一个稳定的MSCR码,与原始MSCR码相比,该MSCR码提供了更好的保密能力。利用信息论分析方法研究了稳定MSCR码在特定情况下的保密能力。
2016-08-17 cs.IT math.IT
Centralized Multi-Node Repair Regenerating Codes
在分布式存储系统中,从多个故障中恢复是一项重要而频繁的任务,对于保持系统的可靠性和容错性至关重要。在这项工作中,我们专注于集中修复多个故障的问题,这可能是可取的,在许多数据存储配置,我们表明,一个显着的修复流量减少是可能的。首先,建立了修复带宽和功能修复的存储大小之间的基本权衡。使用图论公式,最佳的权衡被确定为整数优化问题的解决方案,推导出一个封闭形式的表达式。给出了最小存储多节点修复点和最小带宽多节点修复点的表达式。其次,我们描述了一个通用的框架,用于将单擦除最小存储再生码MSMR码。针对$e$故障的修复策略与针对单个故障的修复策略相似,但是针对单个故障的修复功能需要满足某些额外的要求。为了说明,该框架被应用于乘积矩阵码和干扰对齐码。此外,我们证明了功能MBMR点是不可实现的线性精确修复码。我们还表明,精确修复最小带宽合作修复(MBCR)代码实现的内部点,即位于附近的MBMR点,当$k \equiv 1 \mod e$,$k$是重建整个数据所需的最小数量的节点。最后,对于$k> 2e, e\mid k$和$e \mid d$,其中$d$是在修复过程中的帮助节点的数量,我们表明,功能修复的折衷是无法实现的精确修复,除了可能是一小部分附近的MSMR点,这平行的结果由Shah等人的单擦除修复。
2018-05-08 cs.IT math.IT
Optimal Quaternary (r,delta)-Locally Repairable Codes Achieving the Singleton-type Bound
局部可修复代码可以实现分布式存储系统中节点故障的快速修复。码字中的代码符号存储在不同的存储节点中,使得可以通过访问存储节点的一小部分来恢复盘故障。在修复故障节点期间联系的存储节点的数量是一个称为局部性的参数。我们认为本地可修复的代码,可以在本地恢复存在多个节点故障。通过去除修复组的补码中的码符号而获得的删余码被称为本地码。我们的目标是设计一个代码,使所有的本地代码有一个规定的最小距离,使任何节点故障可以在本地修复,只要节点故障的总数小于公差参数。我们考虑定义在有限域上的线性局部可修码。该字母表具有特征2,因此易于实际实现。我们分类所有的四元局部可修码,达到最小距离的Singleton型上界。对于可实现的代码参数的每个组合,给出了显式代码构造。
2021-12-10 cs.IT math.IT
Bandwidth Adaptive & Error Resilient MBR Exact Repair Regenerating Codes
在存储网络中,节点失效是一种常见的分布式存储问题,再生码是解决这种问题的有效方法。它们通过仅访问网络中任意选择的预定义数量的存储节点来保证低成本的数据重建和修复。在这项工作中,我们考虑了对[1]中引入的原始再生代码框架的两个同时扩展; i)数据重建和修复都对网络中存在一定数量的错误节点具有弹性,ii)每次修复中的帮助节点的数量不是固定的,而是可以在运行时选择的灵活参数。我们研究所需的总修复带宽的基本限制,并提供这些代码的存储容量的上限在这些假设下。然后,我们专注于最小修复带宽(MBR)的情况下,并得出确切的存储容量,提出明确的编码方案与确切的修复,实现了在考虑设置的存储容量的上限。为此,我们首先提供了一个更自然的扩展著名的产品矩阵(PM)MBR代码[2],修改,以提供灵活的选择在每次修复的帮助者的数量,并同时在网络中的错误节点的鲁棒性。这是通过证明在足够大的有限域上的矩阵族的非奇异性来实现的。接下来,我们提供了另一个扩展的PM代码,基于新的修复方案,使灵活的帮助者的数量和鲁棒性对错误的节点,而没有任何额外的成本字段大小相比,原来的PM代码。
2017-11-07 cs.IT math.IT