Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model
针对机架感知分布式存储,本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码,实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。
2024-01-27 cs.IT math.IT
Explicit Construction of Minimum Bandwidth Rack-Aware Regenerating Codes
在大型数据中心中,存储节点被组织在机架中,并且跨机架传输主导带宽成本。对于单节点故障的修复,实现存储冗余和跨机架修复带宽之间的折衷的代码被称为机架感知再生代码(RRC)。在这项工作中,我们给出了具有最小修复带宽的RRCs的第一个显式构造(即,跨机架带宽等于每个节点的存储大小)。我们的建设适用于所有允许的参数,并具有最低的子打包水平。此外,底层有限域的大小与存储节点的数量相当,这使得我们的代码在实践中更容易实现。最后,为了便于实际应用,我们还建立了一个转换,将我们的代码转换成系统代码。
2021-04-20 cs.IT math.IT
A realistic distributed storage system that minimizes data storage and repair bandwidth
在实际的分布式存储环境中,存储节点通常放置在机架中,机架是一种用于容纳电子设备的金属支架。已知机架内的节点之间的通信(带宽)成本远低于不同机架内的节点之间的通信(带宽)成本。本文提出了一种新的模型,其中存储节点被放置在两个机架上,并进行了分析。在此模型中,存储节点具有不同的修复成本来修复节点,这取决于它们放置的机架。示出了阈值函数,其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。该阈值函数概括了来自先前分布式存储模型的阈值函数。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较,结果表明,该新模型在维修成本方面优于以前的模型。
2013-01-08 cs.DC cs.IT math.IT
The Storage-Repair-Bandwidth Trade-off of Exact Repair Linear Regenerating Codes for the Case $d = k = n-1$
本文研究了精确修复线性再生码的设定问题。在这种设置下,我们推导出一个新的存储-修复-带宽权衡的情况下,当$d = k = n -1$,其中$(n, k, d)$是参数的再生代码,其通常的含义。结合Tian et. [1],我们证明了当$d = k = n -1$ .通过分析线性再生码的对偶码,导出了新的外界。
2015-01-26 cs.IT math.IT
Rack-Aware Cooperative Regenerating Codes
在分布式存储系统中,协作再生码在多个节点故障的情况下权衡存储和修复带宽。在机架感知分布式存储系统中,不存在与在机架内传送符号相关联的成本。因此,修复带宽将仅考虑跨机架传输。机架感知再生码的情况下,单节点故障进行了研究,其修复带宽权衡的特点。在本文中,我们认为框架的机架感知合作再生码的情况下,多个节点故障的节点故障均匀分布在一定数量的机架。我们的特点的存储修复带宽的权衡,以及推导出的最小存储和最小修复带宽点的权衡。我们还提供了所有参数的最小带宽机架感知合作再生码的建设。
2021-02-24 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
Storage and Repair Bandwidth Tradeoff for Distributed Storage Systems with Clusters and Separate Nodes
节点存储和修复带宽之间的最佳折衷是分布式存储系统(DSS)的一个重要问题。对于具有集群的现实DSS,在修复故障节点时,从集群内节点下载更多数据比从跨集群节点下载更多数据更有效。因此,区分簇内和跨簇的修复带宽是有意义的。对于集群DSS的权衡已被认为是与特殊的修复假设,其中所有的活节点被用来修复故障节点。在本文中,我们研究了更一般的存储/修复参数下的集群DSS的最佳权衡。此外,再生代码的建设策略,实现点的最佳折衷曲线提出了集群DSS与特定参数作为一个数值例子。此外,分散节点的影响的权衡也被认为是具有集群和分散的节点的DSS。
2018-03-13 cs.DC cs.IT math.IT
Exact Cooperative Regenerating Codes with Minimum-Repair-Bandwidth for Distributed Storage
在最小带宽协作再生点上给出了精确协作再生码的一个显式构造。在本文之前,唯一已知的显式MBCR码给出参数$n=d+r$和$d=k$,而我们的构造适用于所有可能的值的$n,k,d,r$。该程序具有简洁的多项式形式的表达式,数据重构采用二元多项式插值实现。它是一种标量码,在大小为$q\geq n$的有限域上操作。此外,我们建立了线性精确MBCR码的几个子空间性质。基于这些性质,我们证明了线性精确MBCR码不能实现转移修复。
2012-07-04 cs.IT math.IT
A Sytematic Piggybacking Design for Minimum Storage Regenerating Codes
捎带是降低最大距离可分离码(MDS)或最小存储再生码(MSR)修复带宽的有效方法。为了最小化已知的高码率MSR码的奇偶校验节点的修复带宽,通常是原始数据的全部大小,即,通过对背负式设计的深入分析,提出了一种新的系统背负式设计。结果,新的MSR码得到几乎最佳的修复带宽的奇偶节点,而保持最佳的修复带宽的系统节点。在此基础上,提出了在节点修复过程中均衡下载的MSR码。
2014-08-23 cs.IT math.IT
On Heterogeneous Regenerating Codes and Capacity of Distributed Storage Systems
异构分布式存储系统(DSS)接近于现实世界中的数据存储应用。互联网缓存系统和对等存储云就是这样的DSS的例子。在这项工作中,我们计算这样的系统,每个节点存储不同数量的数据包,每个具有不同的修复带宽(节点可以通过接触一组特定的节点修复)的容量公式。研究了这种异构DSS的存储和修复带宽之间的权衡曲线。通过对容量公式的分析,在曲线上得到了新的最小带宽再生点和最小存储再生点。结果表明,在某些情况下,这些都优于同质DSS。
2014-02-16 cs.IT math.IT
Secure Cooperative Regenerating Codes for Distributed Storage Systems
再生代码使得能够在分布式存储系统(DSS)中权衡存储的修复带宽。由于它们的分布式性质,这些系统本质上容易受到攻击,并且它们也可能受到多个同时节点故障的影响。合作再生码允许带宽有效的修复多个同时发生的节点故障。本文分析了存储系统,采用合作再生码是强大的(被动)窃听。分析分为两个部分,研究最小带宽和最小存储的合作再生的情况。首先,最小带宽合作再生码的保密容量的特点。其次,对于最小存储空间的协作再生码,给出了一个安全的文件大小上界和可扩展性结果。这些结果建立了某些特殊情况下的最小存储方案的保密能力。在所有的情况下,可扩展性的结果对应于确切的修复,并获得安全的文件大小上限使用最小割分析在一个合适的保密图表示的DSS。主要的可窃听性参数是基于适当的数据预编码,以消除信息泄漏给窃听者。
2014-07-09 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储,以实现高容错和低存储冗余。由于跨机架通信成本通常很高,因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中,我们分析了存储冗余和跨机架修复带宽之间的最佳权衡,专门为数据中心,受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线,并提出了一个称为机架感知再生码(RRC)的擦除码族,它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽,分别。我们证明了(i)最小存储冗余构造支持广泛的参数范围,并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽,以及(ii)最小跨架修复带宽构造支持所有参数,并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
Caching in Wireless Small Cell Networks: A Storage-Bandwidth Tradeoff
在网络边缘缓存内容是卸载流量、减少延迟和提高用户体验质量的有效手段。在这封信中,我们专注于存储带宽的权衡方面,其中小小区基站分布根据一个均匀的泊松点过程和缓存内容根据一个给定的内容流行度分布,受存储约束。我们提供了一个封闭形式的表达的缓存未命中概率,定义为不满足用户的请求在一个给定的覆盖区域的概率,作为信号干扰比,缓存大小,基站密度和内容流行度的函数。特别是,它示出,对于一个给定的最小缓存大小,基于流行度的缓存策略实现较低的中断概率为一个给定的基站密度相比,均匀的缓存。此外,我们表明,流行度为基础的缓存达到更好的性能在缓存未命中概率相同的频谱。
2016-03-17 cs.IT math.IT
The Storage vs Repair-Bandwidth Trade-off for Clustered Storage Systems
我们研究的再生代码的设置,动机的应用程序组成的集群的存储节点的存储系统的泛化。总共有$n$群集,每个群集有$m$节点。数据文件被编码并存储在$mn$节点上,每个节点存储$α$符号。对于数据的可用性,我们要求通过从$k$集群的任何子集下载整个内容来检索文件。节点表示可能失败的实体。我们区分集群内和集群间带宽(BW)的成本在节点修复。集群中的节点修复是通过下载$β$符号来完成的,每个符号来自其他集群中的任何一组$d$,称为远程助手集群,并且还可以从主机集群中的任何一组$\ell$幸存节点,称为本地助手节点,下载多达$α$符号。我们首先确定功能修复下的存储开销和集群间修复带宽之间的最佳权衡,并提出了最佳的精确修复代码的构造一类参数。新的折衷严格优于经由空间共享现有编码解决方案可实现的,无论何时$\ell > 0$。然后,我们得到尖锐的下限必要的集群内修复BW,以实现最佳的权衡。我们的界限揭示了一个有趣的事实,即虽然增加本地帮助节点的数量$\ell$有利于改善存储与集群间修复BW的权衡,但增加$\ell$不仅增加了主机集群中的集群内BW,而且还增加了远程帮助集群中的集群内BW。我们还分析了弹性的集群存储系统对被动窃听提供文件大小的界限和最佳的代码结构。
2018-02-02 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Distributed Storage Schemes over Unidirectional Ring Networks
本文研究了单向环形网络上的分布式存储问题。提出了一个重构带宽的下限,以恢复所有原始数据为每个用户,它是可实现的任意参数。如果一个分布式存储方案能够达到这个下限,并且每个用户都是平等的,我们称之为最优重构分布式存储方案(ORDSS)。此外,一个失败的存储节点在ORDSSes的修复问题正在考虑中,并为每个存储节点的修复带宽上的一个严格的下界。特别是,我们指出的事实,对于任何ORDSS,每个存储节点可以修复修复带宽达到下限与平等。此外,我们提出了一个有效的方法来构建任意参数的欧氏分割的概念。最后,我们用一个例子来描述上述方法。
2014-01-21 cs.IT math.IT
Non-homogeneous Two-Rack Model for Distributed Storage Systems
在传统的两机架分布式存储系统(DSS)模型中,由于假设每个节点的存储容量相同,因此最小带宽再生(MBR)点变得不可行。在本文中,我们设计了一个新的非齐次两机架模型,提出了一个推广的阈值函数用于计算的权衡曲线。我们证明,通过具有更高的再生带宽的机架中的节点存储更多的信息,所有的点上的权衡曲线,包括MBR点,成为可行的。最后,我们展示了非均匀的两个机架模型优于传统的模型,在每个节点的存储和修复带宽之间的权衡曲线。
2013-07-31 cs.IT math.IT
Increasing Availability in Distributed Storage Systems via Clustering
本文提出了一种新的分布式存储系统架构--固定集群修复系统(FCRS),它在保证高可用性的同时,实现了较小的修复带宽。具体来说,我们将DSS中的服务器集划分为$s$群集,并允许故障服务器选择除其自身群集之外的任何群集作为其修复组。因此,我们保证了$s-1$的可用性。我们的特征在于修复带宽与存储权衡功能修复下的FCRS,并表明,最小的修复带宽可以提高一个渐近乘法因子的$2/3$相比,最先进的编码技术,保证相同的可用性。我们进一步介绍了三次码设计,以最小化修复带宽的FCRS下的确切修复模型。我们证明了一个渐进乘法改善$0.79$在最小修复带宽相比,现有的精确修复编码技术,实现相同的可用性。我们表明,立方码是信息理论上最优的FCRS与$2$和$3$完整的集群。此外,在转移修复模型下,立方码是最优的,而与簇的数量无关。
2019-03-05 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Code Constructions for Distributed Storage With Low Repair Bandwidth and Low Repair Complexity
我们提出了一个家庭的纠删码的分布式存储,实现低修复带宽和复杂性的代价较低的容错。该构造基于两类码,其中第一类码的主要目标是提供容错,而第二类码的主要目标是降低修复带宽和修复复杂度。修复过程是两步过程,其中在第一步中使用第一代码修复故障节点的部分。在第一步骤期间下载的符号被高速缓存在存储器中,并且在第二步骤期间用于以最小的附加读取成本修复剩余的被擦除的数据符号。第一类码基于使用捎带修改的MDS码,而第二类码被设计为减少需要下载以修复剩余的擦除符号的附加符号的数量。我们数值计算表明,建议的代码实现更好的修复带宽相比,MDS码,使用背负式构造的代码,和本地重建/金字塔码,而更好的修复复杂度相比,MDS,锯齿形,金字塔码,和使用背负式构造的代码。
2018-08-31 cs.IT math.IT
Cost-Bandwidth Tradeoff In Distributed Storage Systems
分布式存储系统主要是由于存储容量有限,并通过将数据分布在多个存储节点上来提高可靠性。另一方面,可能发生数据存储在不可靠的节点中,而期望最终用户具有对存储的数据的可靠访问。因此,在节点被损坏的情况下,为了防止系统可靠性退化,需要重新生成具有与损坏的节点相同的存储数据量的新节点,以保持存储节点的数量,从而具有先前的可靠性。这需要新节点连接到一些现有节点并下载所需信息,从而占用一些带宽,称为修复带宽。另一方面,下载的成本很可能在不同的节点上有所不同。本文旨在研究理论上的代价-带宽权衡,更重要的是,证明了通过使用所谓的广义再生码可以实现该曲线上的任何点,广义再生码是Dimakis等人在[1]中引入的再生码的增强。
2010-04-14 cs.IT cs.NI math.IT
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
LDPC Code Design for Distributed Storage: Balancing Repair Bandwidth, Reliability and Storage Overhead
分布式存储系统遭受由于频繁的存储节点故障而产生的显著的修复流量。本文表明,适当设计的低密度奇偶校验(LDPC)码可以大大减少修复所需的块下载量由于其因子图表示的稀疏性。特别地,通过仔细构造因子图,对于给定的码率,可以实现低修复带宽和高可靠性。首先,推导了LDPC码的平均修复带宽公式。这个公式然后被用来建立,最小修复带宽可以通过强制因子图中的定期检查节点度来实现。此外,它表明,给定一个固定的码率,可变节点度也应该是定期的,以产生最小的修复带宽,在一些合理的最小可变节点度的约束。它还表明,对于一个给定的修复带宽的要求,LDPC码可以产生更高的可靠性比目前使用的里德-所罗门(RS)码。我们的可靠性分析的基础上制定的一般方程的平均时间数据丢失(MTTDL)与LDPC码。该公式揭示了停止数与MTTDL密切相关。它进一步表明,LDPC码可以被设计成使得一个小的损失的修复带宽的最优性可以被交易的擦除校正能力,从而MTTDL的大的改善。
2017-10-16 cs.DC cs.IT cs.PF
Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient
我们考虑一种设置,其中使用(n,k)最小存储再生(MSR)码,将大小为M的文件存储在n个分布式存储节点中,即,最大距离可分离(MDS)码,其还允许任何故障节点的有效精确修复。本文中感兴趣的问题是最小化修复带宽B以精确再生单个故障节点,即,新节点要下载的最小数据,以用其精确副本替换故障节点。以前的工作已经表明,带宽B =[M(n-1)]/[k(n-k)]是必要的和足够的功能(不精确)再生。也已经表明,如果k <= max(n/2,3),则精确再生比功能再生没有额外的成本。低冗余的实际相关设置,即,对于k> 3,k/n> 1/2保持开放,并且已经表明,在这种情况下,精确修复比功能修复有额外的带宽成本。在这项工作中,我们采用到分布式存储上下文中的渐近最优的干扰对齐方案以前提出的Cadambe和Jafar大型无线干扰网络。利用该方案,我们解决了(n,k)个正态MSR码的修复带宽最小化问题,其中包括k> \max(n/2,3)的开放情形。我们的主要结果是,对于任何(n,k),和足够大的文件大小,有没有额外的成本,确切的再生功能再生的修复带宽再生数据的每一位。更精确地说,我们证明了当M趋于无穷大时,B/M =(n-1)/(k(n-k))。
2010-04-24 cs.IT math.IT
A Class of MSR Codes for Clustered Distributed Storage
集群分布式存储对集群内和跨集群修复带宽不同的真实数据中心进行建模。本文设计了一种可实现分簇分布式存储容量的精确修复最小存储再生(MSR)码。重点是两种情况下:$ε=0$和$ε=1/(n-k)$,其中$ε$是可用的跨集群和集群内修复带宽的比率,$n$是分布式节点的总数和$k$是数据检索中接触节点的数量。前者表示不允许跨集群通信的情况,而后者对应于在最小存储开销约束下可能的最小跨集群带宽的情况。对于$ε=0$情形,证明了两种局部可修码能达到MSR点。对于$ε=1/(n-k)$,在$n = 2k$的特定条件下,针对两簇的情况,提出了一种显式的MSR编码方案。
2018-01-06 cs.IT math.IT
Storage-Repair Bandwidth Trade-off for Wireless Caching with Partial Failure and Broadcast Repair
在分布式无线内容缓存系统中研究了多个部分失效的缓存节点的修复,其中总共$n$缓存节点中的$r$丢失其缓存数据的一部分。广播修复失败的缓存内容在网络边缘的研究,即幸存的缓存节点发送广播消息失败的,然后使用,连同幸存的数据在其本地缓存存储器,恢复丢失的内容。导出了存储容量和修复带宽之间的折衷关系。它示出,利用广播性质的无线介质和幸存的缓存内容在部分失败的节点显着降低了每个节点所需的修复带宽。
2018-06-30 cs.DC cs.IT math.IT
On the Existence of Optimal Exact-Repair MDS Codes for Distributed Storage
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在本文中,我们解决了带宽最优的(n,k,d)精确修复MDS码,它允许任何失败的节点被修复,并访问任意d个幸存节点,其中k<=d<=n-1。我们证明了对于任意可容许的(n,k,d),都存在能达到最小修复带宽(匹配割集下界)的精确修复MDS码,即,k<n且k<=d<=n-1。我们的方法是基于干扰对齐技术,并使用矢量线性码,允许分裂成任意小的子符号的符号。
2010-04-26 cs.IT math.IT
Access vs. Bandwidth in Codes for Storage
最大距离可分离码(MDS)广泛应用于存储系统中,以防止磁盘(节点)故障。如果节点能够存储某个字段的符号量,则该节点被称为在该字段$\mathbb{F}$上具有容量$l$。$(n,k,l)$ MDS码使用容量为$l$的$n$节点来存储$k$信息节点。MDS属性保证对任何$n-k$节点故障的恢复能力。\emph{optimal bandwidth}(分别\emph{optimal access})MDS代码通信(分别访问)在单个故障节点的修复过程期间的最小数据量。结果表明,该数量等于存储在每个节点中的数据的$1/(n-k)$的一部分。在以前的最佳带宽构造中,$l$在具有渐近速率$<1$的码中与$k$多项式缩放。此外,在具有恒定数目的奇偶校验的构造中,即速率接近1,$l$相对于r.t. $k$。在本文中,我们集中在后一种情况下的恒定数目的奇偶校验$n-k=r$,并提出以下问题:给定一个节点的容量$l$是什么最大数量的信息盘$k$在一个最佳的带宽(分别)。访问)$(k+r,k,l)$ MDS代码。我们给出了一般情况下的上界,并在特殊情况下的两个重要的家庭的代码的两个紧界。此外,界限表明,在某些情况下,最佳带宽代码有更大的$k$比最佳访问代码,因此这两个措施是不等价的。
2013-03-15 cs.IT math.IT
Distributed Storage over Unidirectional Ring Networks
本文研究了单向环形网络上的分布式存储问题,其存储节点构成一个有向环,数据沿同一方向传输。原始数据被分布存储在这些节点上。每个用户只能连接一个存储节点来下载全部数据。给出了每个用户恢复原始数据所需的重构带宽的一个下界,该下界对于任意参数都是可实现的。如果一个分布式存储方案能够达到这个下限,并且每个用户都是平等的,我们称之为最优重构分布式存储方案(ORDSS)。此外,一个失败的存储节点在ORDSSes的修复问题正在考虑和修复带宽上的一个紧的下界。特别是,我们指出的事实,对于任何的ORDSS,每个存储节点可以修复修复带宽达到下限与平等。此外,我们提出了两种结构的任意参数的ordss,称为MDS建设和ED建设,分别。特别是,ED构造,通过使用欧几里德划分的概念,是更有效的,通过我们的详细分析。
2014-04-14 cs.IT math.IT
Rack-Aware Regenerating Codes with Multiple Erasure Tolerance
在现代分布式存储系统中,存储节点被组织在机架中,并且跨机架通信支配系统带宽。在我们研究的机架感知存储系统中,所有的存储节点都组织在机架中,每个机架内的节点可以自由地通信,而不会占用系统带宽。为了最大限度地减少单次擦除的修复带宽,提出了机架感知再生码(RRC)。在RRC的初始设置中,单个节点的修复需要包含故障节点的机架中的所有剩余节点以及不包含故障的大量辅助机架的参与。因此,在多个节点故障之前,修复可能是不可行的。在这项工作中,一个宽松的修复模型,可以容忍多个节点的故障,同时减少机架内连接和跨机架连接的建议。推导了松弛修复模型下存储带宽和修复带宽之间的权衡关系,并分别表征了最小存储和最小带宽下权衡曲线上两个端点的参数。此外,两个代码对应的极端点明确地构建在字段的大小可比的代码长度和最低的子分组。最后,为了便于实际应用,还建立了两种码的系统编码过程。
2022-05-18 cs.IT math.IT
Explicit Construction of Optimal Exact Regenerating Codes for Distributed Storage
擦除编码技术用于提高分布式存储系统的可靠性,同时最小化存储开销。同样令人感兴趣的是最小化节点故障后修复系统所需的带宽。在最近的一篇论文中,Wu等人描述了修复带宽和每个节点存储的数据量之间的权衡。他们还证明了再生代码的存在,实现了这种权衡。在本文中,我们介绍了精确再生码,这是再生码具有额外的属性,能够复制存储在一个失败的节点的数据。这种代码需要低的处理和通信开销,使系统实用且易于维护。明确建设的确切再生代码提供的最小带宽点的存储修复带宽的权衡,相关的分布式邮件服务器的应用程序。一个子空间为基础的方法,并示出产生的必要条件和充分条件的线性代码具有确切的再生性能,以及证明我们的建设的唯一性。还包括在该文件中,是一个明确的建设再生代码的最小存储点的参数相关的存储在对等系统。这种结构支持可变数量的节点,并且可以处理多个同时发生的节点故障。文中给出的所有结构都是低复杂度的,特别是需要低的域大小。
2009-10-06 cs.IT math.IT
MDS Codes with Progressive Engagement Property for Cloud Storage Systems
快速高效的故障恢复是具有大量存储节点的云存储系统面临的新挑战。存储节点故障时的关键恢复度量是修复带宽成本,其指的是为了重新生成丢失的数据而必须下载的数据量。由于所有幸存的节点并不总是可访问的,我们打算引入一类的最大距离可分离(MDS)码,可以重复使用时,所选节点的数量变化,但收益率接近最优修复带宽。这样的代码提供了参与更多幸存节点的灵活性,有利于减少修复带宽,而无需重新设计代码结构和改变现有节点的内容。我们称MDS码的这种性质为渐进参与。这个名字来自于这样一个事实,即如果发生故障,它表明,最好的策略是根据其访问成本(延迟,跳数,流量负载或可用性一般),直到修复带宽或访问成本约束得到满足,以逐步从事幸存的节点。我们认为,现有的MDS码不能满足渐进参与性质。随后,我们提出了一个搜索算法,以找到一组新的代码命名为旋转码,既渐进的参与和MDS属性。此外,我们说明了如何现有的置换码可以通过修改原始的恢复方案提供渐进的参与。仿真结果比较了不同参与节点数时,这类编码的修复带宽性能以及它们的单次故障恢复速度。
2016-05-23 cs.IT math.IT
Bandwidth Adaptive & Error Resilient MBR Exact Repair Regenerating Codes
在存储网络中,节点失效是一种常见的分布式存储问题,再生码是解决这种问题的有效方法。它们通过仅访问网络中任意选择的预定义数量的存储节点来保证低成本的数据重建和修复。在这项工作中,我们考虑了对[1]中引入的原始再生代码框架的两个同时扩展; i)数据重建和修复都对网络中存在一定数量的错误节点具有弹性,ii)每次修复中的帮助节点的数量不是固定的,而是可以在运行时选择的灵活参数。我们研究所需的总修复带宽的基本限制,并提供这些代码的存储容量的上限在这些假设下。然后,我们专注于最小修复带宽(MBR)的情况下,并得出确切的存储容量,提出明确的编码方案与确切的修复,实现了在考虑设置的存储容量的上限。为此,我们首先提供了一个更自然的扩展著名的产品矩阵(PM)MBR代码[2],修改,以提供灵活的选择在每次修复的帮助者的数量,并同时在网络中的错误节点的鲁棒性。这是通过证明在足够大的有限域上的矩阵族的非奇异性来实现的。接下来,我们提供了另一个扩展的PM代码,基于新的修复方案,使灵活的帮助者的数量和鲁棒性对错误的节点,而没有任何额外的成本字段大小相比,原来的PM代码。
2017-11-07 cs.IT math.IT
Breaking the Storage-Bandwidth Tradeoff in Distributed Storage with Quantum Entanglement
University of Maryland, College Park(马里兰大学帕克分校)
本文利用量子纠缠在分布式存储中实现存储和带宽的同步最小化,突破经典存储-带宽权衡限制。
2026-01-15 cs.DC cs.IT cs.NI
Distributed Storage Codes with Repair-by-Transfer and Non-achievability of Interior Points on the Storage-Bandwidth Tradeoff
再生码是最近开发的一类用于分布式存储的码,其像里德-所罗门码一样,允许从n节点网络内的k个节点的任何子集恢复数据。然而,再生代码拥有另外,通过连接到任意子集的d节点来修复故障节点的能力。已经表明,对于功能修复的情况,每个节点存储的数据量和修复故障节点所需的带宽之间存在权衡。功能修复的一种特殊情况是精确修复,其中要求替换节点存储与故障节点中相同的数据。精确修复是令人感兴趣的,因为它大大简化了系统实现。本文的第一个结果是一个明确的,精确的修复代码的存储带宽的折衷对应的最小可能的修复带宽的情况下,当d=n-1的点。这个代码有一个特别简单的图形描述,最有趣的是,它能够通过数据传输进行精确修复,而不需要执行任何算术运算。因此才有了“转让修复”一词。本文的第二个结果表明,存储带宽权衡的内部点不能实现下精确修复,从而指出存在一个单独的权衡下精确修复。具体来说,我们确定了一组方案,称为“帮助节点池”,并表明,它是必要的,以满足这种情况下,过度约束系统。
2010-11-16 cs.DC cs.IT cs.NI
A Framework of Constructions of Minimal Storage Regenerating Codes with the Optimal Access/Update Property
本文提出了一种基于不变子空间技术构造具有两个奇偶节点的系统最小存储再生码的通用框架。在我们的框架中构造的代码不仅包含一些最著名的代码作为特殊情况,但也包括一些新的代码的关键属性,如最佳访问属性和最佳更新属性。特别地,对于单个节点的给定存储容量,新代码中的一个具有最大数量的系统节点,并且新代码中的两个具有最大数量的具有最优更新属性的系统节点。
2015-03-06 cs.IT math.IT
Cache Placement in Two-Tier HetNets with Limited Storage Capacity: Cache or Buffer?
在本文中,我们的目标是通过带宽分配和缓存放置在有限的存储容量,其中包括缓存容量和缓冲区容量的两层异构网络中的平均文件传输延迟最小化。对于固定带宽分配的平均时延最小化问题,虽然该问题是非凸的,但通过比较由求解Karush-Kuhn-Tucker条件得到的所有局部最优解,得到了封闭形式的最优解.为了联合优化带宽分配和缓存放置,最优带宽分配首先推导出,然后代入到原来的问题。给出了最优缓存策略的结构,表明缓存流行度高的文件比缓存大小大的文件更优。基于此最优结构,我们提出了一种低复杂度的迭代算法来获得次优解,其中每一步都得到闭型表达式。数值结果表明,我们的解决方案相比,传统的缓存策略,不考虑缓存和缓冲区的延迟权衡的优越性。
2019-07-17 cs.IT math.IT
When and By How Much Can Helper Node Selection Improve Regenerating Codes?
再生码可以显著降低分布式存储网络的修复带宽。最初,RC的分析是基于这样的假设,即在修复过程中,新来者不区分(在所有幸存的节点中)要访问哪些节点,即,新来者不知道正在使用的助手集。这种方案被称为盲修复(BR)方案。尽管如此,在实践中,新来者应该选择只访问那些“好”的助手。在本文中,一个新的表征选择的帮助节点的存储带宽权衡的影响。具体来说,回答以下基本问题:在什么条件下主动选择的助手节点,提高存储带宽的权衡?这种改善可以通过分析量化吗?本文回答了前一个问题,提供了一个充分必要条件下,最佳选择良好的助手严格提高了存储带宽的权衡。为了回答后一个问题,一个低复杂度的助手选择解决方案,被称为家庭修复(FR)计划,提出了相应的存储/修复带宽曲线的特点。例如,考虑具有60个节点总数的分布式存储网络,并且该网络对于50个节点故障具有弹性。如果辅助节点的数量是10,那么FR方案及其变体与BR解决方案相比,修复带宽减少了27%。本文还证明了在一定的设计参数下,FR方案确实是所有辅助选择方案中的最优方案。还提出了一个明确的建设的确切修复码,可以实现最小带宽再生点的FR计划。新的精确修复码可以看作是现有分数重复码的推广。
2014-09-05 cs.IT math.IT
Capacity of Distributed Storage Systems with Clusters and Separate Nodes
在分布式存储系统中,节点存储和修复带宽之间的最优折衷是设计分布式编码策略以保证大规模数据可靠性的重要问题。DSS的能力作为一个功能的节点存储和修复带宽参数,特征的权衡。有很多工作在DSS与集群(机架),其中修复带宽从集群内和跨集群是有区别的。然而,在现实的DSS中,分离节点也是普遍存在的,但对具有集群和分离节点的DSS(CSN-DSS)的研究还不够。在本文中,我们制定了一个单独的节点的CSN-DSS的容量首次修复一个单独的节点的带宽是跨集群。因此,节点存储和修复带宽之间的最佳权衡推导出并与集群DSS相比。基于该折衷构造了重新生成的代码实例。此外,增加一个单独的节点的影响进行了理论分析和制定。我们证明了当每个集群包含R个节点,并且任意k个节点都足以恢复原始文件(MDS属性)时,如果R| k,否则减小容量。
2019-01-10 cs.DC cs.IT math.IT
Exact Regeneration Codes for Distributed Storage Repair Using Interference Alignment
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在再生码频谱的一端是最小存储再生(MSR)码,其可以匹配MDS码的最小存储成本,同时还显著降低修复带宽。在本文中,我们描述了精确MSR码,它允许任何失败的节点(无论是系统或奇偶校验节点)被重新生成,而不仅仅是功能或信息等价。我们表明,精确MSR码来没有损失的最优性相对于随机网络编码的MSR码(匹配基于割集的修复带宽的下限)的情况下:(a)k/n <= 1/2;和(b)k <= 3。我们的建设性的方法是基于干扰对齐技术,并且,与前一类的随机网络编码为基础的方法,我们提供明确的和确定性的编码方案,需要一个有限的字段大小最多为2(n-k)。
2010-04-15 cs.IT math.IT
Distributed Data Storage Systems with Opportunistic Repair
以平均数据丢失时间(MTTDL)度量的擦除编码分布式存储系统的可靠性依赖于代码的修复带宽。修复有效的代码提供的可靠性值比传统的纠删码好几个数量级。现有技术的代码先验地固定辅助节点(参与修复的节点)的数量。然而,在实践中,期望允许辅助节点的数量由网络业务条件自适应地确定。在这项工作中,我们提出了一个机会主义的修复框架来解决这个问题。它示出,存在一个阈值的存储开销,低于该阈值,这样的机会主义的方法不会失去任何效率,从最佳的存储-修复-带宽的权衡,即它是可能的,以构建一个代码,同时为不同数量的助手节点的最佳。我们进一步研究这种机会主义代码的好处,并得出两个修复模型的MTTDL改进:一个有限的总修复带宽和其他有限的单个节点修复带宽。在这两种情况下,我们都显示了MTTDL的数量级改善。最后,所提出的框架进行检查,在网络设置中观察到MTTDL的显着改善。
2014-11-06 cs.IT math.IT
Cooperative Regenerating Codes for Distributed Storage Systems
当分布式存储系统中存在多个节点故障时,就修复带宽最小化而言,以逐个方式单独地重新生成故障存储节点是次优的。如果启用新节点之间的数据交换,我们可以在修复带宽和每个节点的存储之间获得更好的权衡。给出了一种显式的、优化的协作再生码的构造方法。
2011-02-08 cs.DC cs.IT math.IT
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题,其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输(数据包)的数量趋于无穷大时,可以渐近地实现最优折衷界。对于有限数量的传输,我们研究了成功再生的概率。然后,我们研究了两种方法来增加成功再生的概率,即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟,并且在某些情况下可能无法连接到更多的节点。我们发现,除了减少修复带宽,增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
Explicit Codes Minimizing Repair Bandwidth for Distributed Storage
我们考虑以分布式方式跨n个节点设置数据存储。数据收集器(DC)应该能够通过连接到n个节点中的任何k个节点并下载存储在其中的所有数据来重建整个数据。当一个节点出现故障时,必须使用现有节点重新生成它。在最近的一篇论文中,Wu等人得到了修复带宽的信息论下界。此外,还对以系统形式存储数据产生了额外的兴趣,因为当DC连接到k个系统节点时不需要后处理。由于它们的首选状态,需要快速准确地重新生成任何系统节点。用精确的副本替换失效节点称为精确再生,本文考虑了系统节点精确再生时的修复带宽最小化问题。要存储的文件大小为B,每个节点可以存储alpha = B/k个数据单元。通过从d个现有节点下载beta单元的数据来重新生成故障系统节点。我们给出了一个下界的修复带宽的系统节点的确切再生,它与吴等人给出的界限相匹配。对于d >= 2k-1,我们给出了一个显式的代码建设,最大限度地减少修复带宽时,现有的k-1系统节点参与再生。我们展示了实现d >= 2k-3的界的代码的存在性和构造。在这里,我们还建立了干涉对齐的必要性。我们证明了当beta=1时,d <= 2k-4的上界是不可达到的。我们还给出了一个编码方案,可用于任何d和k,这是最佳的d >= 2k-1。
2009-09-05 cs.IT math.IT
New Results on Multilevel Diversity Coding with Secure Regeneration
重新讨论了具有安全再生的多级分集编码问题。假设窃听者可以访问所有受损存储节点的修复数据,Shao等人提供了可实现的归一化存储容量修复带宽权衡区域的最小带宽再生(MBR)点的精确表征。本文证明了即使假设窃听者可以访问某些受损存储节点的修复数据,可实现的归一化存储容量修复带宽折衷区域的MBR点保持不变(类型2受损节点)的数据内容,而仅是剩余受损节点的数据内容(类型1受损节点),只要类型1受损节点的数量不大于类型2受损节点的数量。
2018-01-11 cs.IT math.IT
Non-homogeneous distributed storage systems
本文描述了一种非同构分布式存储系统,其中存在一个超级节点,该超级节点具有比其他存储节点更大的存储容量和更高的可靠性和可用性。我们提出了三个分布式存储方案的基础上(k+2; k)的最大距离可分离(MDS)码和非MDS码的效率,这样的非同质DSS的修复效率和数据可用性。我们的计划达到最佳带宽(k+1/2)(M/k)时,修复1节点故障,但只需要四分之一的最小所需的文件大小,并可以与一个较小的字段大小,导致显着降低复杂性比传统的同构DSS。此外,与非MDS码,我们的计划可以实现更小的修复带宽的M/2k。最后,我们表明,我们的计划可以增加10%的数据可用性比传统的同质DSS计划。
2012-08-10 cs.IT math.IT
On the Sub-Packetization Size and the Repair Bandwidth of Reed-Solomon Codes
RS(Reed-Solomon)码在分布式存储系统中有着广泛的应用。在本文中,我们研究了RS码的修复带宽和子分组大小。修复带宽被定义为从幸存节点到故障节点的传输信息量。RS码可以被视为在一组点处评估的有限域$GF(q^\ell)$上的多项式,其中$\ell$被称为子分组化大小。较小的带宽减少了分布式存储中的网络流量,并且较小的$\ell$有利于以较低的复杂度实现RS码。最近,Guruswami和Wootters提出了一种RS码的修复方法,当评估点是整个有限域时。虽然子包大小可以任意小,但修复带宽高于最小存储再生(MSR)界限。Tamo、Ye和Barg实现了MSR界,但是子分组化大小的增长速度比评估点数量的指数函数更快。在这项工作中,我们提出了代码的建设和修复方案,扩展这些结果,以适应不同大小的评估点。换句话说,我们设计的方案提供了中间点。这些方案在子分组化大小和修复带宽之间提供灵活的折衷。此外,我们推广我们的计划,以管理多个故障。
2019-03-07 cs.IT math.IT
When Can Helper Node Selection Improve Regenerating Codes? Part I: Graph-Based Analysis
再生码可以显著降低分布式存储网络的修复带宽。最初,RC的分析是基于这样的假设,即在修复过程中,新来者不区分(在所有幸存的节点中)要访问哪些节点,即,新来者不知道正在使用的助手集。这种方案被称为盲辅助选择(BHS)方案。尽管如此,在实践中,新来者应该选择只访问那些“好”的助手。在这两部分的论文中,给出了一个新的表征选择的帮助节点的存储带宽权衡的效果。具体而言,以下基本问题的答案是:在什么条件下主动选择的助手节点提高存储带宽的权衡?通过基于图形的分析,这第一部分回答了这个问题,提供了一个充分必要条件下,最佳选择良好的助手严格提高了存储带宽的权衡。一个低复杂度的助手选择解决方案,称为家庭助手选择(FHS)计划,提出了相应的存储/修复带宽曲线的特点。本文还证明了在一定的设计参数下,FHS方案确实是所有辅助选择方案中的最优方案。在第二部分的论文中,提出了一个明确的建设一个确切的修复代码,实现最小带宽再生(MBR)点的FHS计划。新的精确修复码可以看作是现有分数重复码的推广。
2016-04-27 cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
Distributed Storage Systems based on Equidistant Subspace Codes
提出了基于等距等维码的分布式存储系统。这些等距码基于Plücker嵌入,这在修复和重建算法中至关重要。这些系统具有一些有用的特性,如高故障恢复能力,最小带宽,低存储,简单的代数修复和重建算法,良好的局部性,以及与小字段的兼容性。
2014-06-24 cs.IT math.IT
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中,出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐(IA)的概念将不需要的数据在尽可能小的空间中对齐。这里,给出了Cadambe { \it et al.}提供了线索,完善IA的情况下,我们结合阿达玛矩阵的基本性质,构建一个新的存储代码具有良好的修复性能。具体来说,我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$,其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外,单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
Explicit Constructions of MBR and MSR Codes for Clustered Distributed Storage
本文考虑容量实现编码的集群形式的分布式存储,反映了实际的存储网络。为了反映具有有限的跨集群通信带宽的集群结构,相同集群中的节点被设置为传送$β_I$符号,而其他集群中的节点可以彼此传送$β_c \leq β_I$符号。我们提出了两种实现集群分布式存储容量的精确再生码:最小带宽再生(MBR)码和最小存储再生(MSR)码。首先,我们构造MBR代码用于集群分布式存储的一般参数设置。建议的MBR代码是Rashmi等人提出的现有代码的概括,对于存储节点分散到L> 1个集群中的情况。与现有的本地MBR代码相比,用于$β_c = 0$情况的建议的MBR代码需要小得多的字段大小。其次,我们设计了MSR码的集群分布式存储。重点是两个重要的情况下:$ε=0$和$ε\in [1/(n-k), 1]$,其中$ε=β_c/β_I$是可用的跨集群内修复带宽的比率,n是分布式节点的总数和k是在数据检索中的接触节点的数量。前者表示不允许跨集群通信的情况,而后者对应于最小节点存储开销的情况。对于$ε=0$,证明了两个现有的局部可修码是聚类模型的MSR码。对于$ε\in [1/(n-k), 1]$,非集群模型的现有MSR代码通过简单修改可适用于集群场景。
2019-08-02 cs.IT math.IT
New Codes and Inner Bounds for Exact Repair in Distributed Storage Systems
本文研究了分布式存储系统中存储和修复带宽之间的精确修复折衷问题。我们给出了新的内部界限的权衡区域,并提供代码的建设,实现这些界限。
2014-02-11 cs.IT math.IT