Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
Broadcast Repair for Wireless Distributed Storage Systems
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统的多节点故障。由于无线信道通常是带宽有限的,我们提倡一种新的措施修复性能称为修复传输带宽,它衡量的平均数量的数据包传输的帮助节点每个失败的节点。得到了存储量和修复传输带宽之间的基本折衷。结果表明,广播修复在存储效率和修复传输带宽方面优于多节点故障有线分布式存储系统的基本修复方法--合作修复,从而得到更好的折衷曲线.
2016-03-01 cs.IT math.IT
New Codes and Inner Bounds for Exact Repair in Distributed Storage Systems
本文研究了分布式存储系统中存储和修复带宽之间的精确修复折衷问题。我们给出了新的内部界限的权衡区域,并提供代码的建设,实现这些界限。
2014-02-11 cs.IT math.IT
Repair for Distributed Storage Systems in Packet Erasure Networks
在分布式存储系统的许多应用中,可靠性对于存储文件至关重要。为了保持可靠性,当存储节点发生故障时,应通过修复过程重新生成新节点。大多数以前的结果修复问题假设完美(无错误)的网络中的链接。然而,在实践中,特别是在无线网络中,所发送的分组(用于修复)可能由于例如以下原因而丢失,链路故障或缓冲区溢出。我们研究了数据包擦除网络中分布式存储系统的修复问题,其中数据包丢失被建模为擦除。最小修复带宽,即从幸存节点发送到新节点的信息量,建立在无限数量的分组传输的理想假设下。我们还研究了擦除网络中的带宽存储权衡。然后,使用修复存储节点(具有较小的存储空间的节点),提出了减少修复带宽。研究了修复存储节点的最小存储量问题。对于有限数目的数据包传输的情况下,成功修复的概率进行了研究。我们表明,修复与有限数量的数据包传输可能会使用更大的带宽比最小修复带宽。最后,我们提出了一个组合优化问题,它的结果在给定的数据包删除概率和有限的数据包传输的最佳修复带宽。
2014-05-14 cs.IT math.IT
Reliability of k-out-of-n Data Storage System with Deterministic Parallel and Serial Repair
在本文中,我们发现的Laplace Stieltjes变换的数据丢失的概率的k-out-of-n的分布式存储系统具有确定的修复时间。我们考虑两种修复模型,即串行和并行修复。我们发现,故障率远低于修复率,平均时间的数据丢失的两个模型是相同的,不像指数修复模型的情况。
2016-11-25 cs.IT math.IT
Storage codes -- coding rate and repair locality
分布式存储代码的{ \em修复位置}是在修复故障节点期间需要联系的节点的最大数量。具有小的修复局部性是期望的,因为它与修复期间的磁盘访问的数量成比例。然而,最近的出版物表明,小的修复局部性带来了惩罚的代码距离或存储开销,如果需要精确的修复。在这里,我们首先回顾了一些主要的结果存储代码在各种修复制度和讨论最近的工作可能的(信息理论)之间的权衡修复局部性和其他代码参数,如存储开销和代码距离,在确切的修复制度。然后,我们提出了一些新的信息理论的存储开销作为修复局部性的函数,适用于所有常见的编码和修复模型的下限。特别地,我们表明,如果分布式存储系统中的每个$n$节点具有存储容量$\ga$,并且如果在任何时候,故障节点可以通过联系$r$节点的{\em some}集合来{ \em functionally}修复(这可能取决于系统的实际状态)并从每一个下载一定量的$\gb$数据,那么在$\ga=\gb$或$\ga = r\gb$,最大编码速率分别至多为$r/(r+1)$或1/2(即,额外存储开销分别至少为$1/r$或1)。
2013-01-18 cs.IT math.IT
A Probabilistic Approach Towards Exact-Repair Regeneration Codes
研究了分布式存储系统中具有精确修复特性的再生码。对于精确修复问题,(α,β)折衷的可达点仅在最小存储再生(MSR)、最小带宽再生(MBR)以及n、k和d的某些特定值下才与外界相匹配。这种折衷在这项工作中被表征为一般(n,k,k),(即,k = d),对于每节点存储(α)和修复带宽(β)的某个范围。而不是明确的代码建设,这些权衡点的可扩展性证明存在的精确修复再生码的任何(n,k,k)。更准确地说,它表明,(n,k,k)系统可以通过添加一个新的节点,这是随机挑选的一些合奏,它被证明,以高概率,现有的节点和新添加的一个保持精确修复再生码的属性。新的可实现区域改进了现有的代码结构。特别地,该结果提供了对于任何n值的(n,3,3)分布式存储系统的完整折衷表征。
2015-10-07 cs.IT math.IT
The Storage vs Repair Bandwidth Trade-off for Multiple Failures in Clustered Storage Networks
我们研究了集群存储系统中的存储开销和集群间修复带宽之间的权衡,同时从集群内的多个节点故障中恢复。群集是$m$节点的集合,并且存在$n$群集。对于数据收集,我们从任何$k$集群下载整个内容。为了修复集群中的$t \geq 2$节点,我们从$\ell$本地节点以及$d$辅助集群获得帮助。我们的特点下功能修复的最佳权衡,并根据确切的修复最小的存储和最小集群间带宽(MBR)的工作点。我们的边界显示了以下有趣的事实:$1)$当$t|(m-\ell)$的权衡是相同的$t=1$下,因此没有优势,在联合修复多个节点,$2)$当$t \nmid (m-\ell)$,最佳的文件大小在MBR点下精确修复可以严格小于功能修复。$3)$与$t=1$的情况不同,增加本地助手节点的数量并不一定会增加功能修复下的系统容量。
2017-08-18 cs.IT math.IT
A Transformation of Repairing Reed-Solomon Codes from Rack-Aware Storage Model to Homogeneous Storage Model
本文针对机架感知存储模型下 RS 码多节点故障修复难题,利用好多项式指导码字放置并提出修复框架,将修复变换至同构存储模型,从而为现有构造提供多节点修复方案并推导出支持机架内及跨机架多节点故障修复的新构造。
2024-05-26 cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
The Storage-Repair-Bandwidth Trade-off of Exact Repair Linear Regenerating Codes for the Case $d = k = n-1$
本文研究了精确修复线性再生码的设定问题。在这种设置下,我们推导出一个新的存储-修复-带宽权衡的情况下,当$d = k = n -1$,其中$(n, k, d)$是参数的再生代码,其通常的含义。结合Tian et. [1],我们证明了当$d = k = n -1$ .通过分析线性再生码的对偶码,导出了新的外界。
2015-01-26 cs.IT math.IT
In distributed storage systems, cooperative regenerating codes tradeoff storage for repair bandwidth in the case of multiple node failures. In rack-aware distributed storage systems, there is no cost associated with transferring symbols within a rack. Hence, the repair bandwidth will only take into account cross-rack transfer. Rack-aware regenerating codes for the case of single node failures have been studied and their repair bandwidth tradeoff characterized. In this paper, we consider the framework of rack-aware cooperative regenerating codes for the case of multiple node failures where the …
2021-02-24 cs.IT math.IT
Node Repair for Distributed Storage Systems over Fading Channels
分布式存储系统和相关的存储代码可以有效地存储大量数据,同时确保在节点故障的情况下可检索数据。这种系统的研究,特别是有限域上存储码的设计,假设节点通信的物理信道是无差错的。例如,在无线存储系统中,情况并非总是如此。我们研究了分布式存储系统中节点修复期间子数据包被错误修复的概率,其中节点通过AWGN或Rayleigh衰落信道进行通信。渐近概率(SNR的增加),一个节点被错误地修复示出完全由DSS的修复局部性和无线信道的符号出错率确定。最后,我们提出了一些设计标准的物理层编码在这种情况下,并使用它来计算最佳旋转QAM星座用于无线分布式存储系统。
2014-09-25 cs.IT math.IT
Optimal Locally Repairable and Secure Codes for Distributed Storage Systems
本文的目的是超越弹性到分布式存储系统(DSS)的安全性和本地可修复性的研究。安全性和本地可修复性都是重要的一个有效的存储系统的功能,本文的目的是了解这些系统的弹性,安全性和本地可修复性之间的权衡。特别是,本文首先调查的安全性存在的合谋窃听者,窃听者被假定为一起工作,在解码存储的信息。其次,本文重点介绍的编码方案,使最佳的局部修复。它进一步将这两个概念结合在一起,开发本地可修复的编码方案的DSS是安全的,对窃听者。本文的主要结果包括:a.最小存储再生码保密容量的一个改进界。安全的编码方案,实现了一些特殊情况下的界限,c.局部可修码最小距离的一个新界,d.实现最小距离界限的局部可修复码的码构造,以及e.修复带宽有效的局部可修复码的安全约束和不安全约束。
2013-08-06 cs.IT math.IT
Linear Programming Bounds for Distributed Storage Codes
局部可修码的一个主要问题是其鲁棒性。如果本地维修组无法执行维修过程,这将导致维修成本增加。因此,一个局部可修复的代码有多个修复组是至关重要的。在本文中,我们考虑强大的本地可修复的编码方案,保证存在多个不同的(不一定不相交)替代本地修复组的任何单一的故障,使故障节点仍然可以修复本地,即使一些修复组不可用。我们使用线性规划技术来建立这些代码的代码大小的上限。我们还提供了两个例子,强大的本地可修复的代码是最佳的关于我们的线性规划界。此外,我们解决了分布式数据存储网络的更新效率问题。对存储数据的任何修改都将导致更新存储节点的内容。因此,必须最小化需要通过存储数据中的任何变化来更新的节点的数量。研究了更新有效存储码的性质,建立了更新有效局部可修存储码存在的必要条件。
2019-04-06 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数,即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量,存储节点的数量增加没有限制。基于容量表达式,在一个封闭的形式的解决方案,使可靠的存储所需的资源的可行的集合。具体地,示出了跨集群流量可以被最小化为零(即,集群内本地修复成为可能)。将具有零跨簇通信量的网络编码方案定义为簇内可修码,它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model
针对机架感知分布式存储,本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码,实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。
2024-01-27 cs.IT math.IT
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题,其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输(数据包)的数量趋于无穷大时,可以渐近地实现最优折衷界。对于有限数量的传输,我们研究了成功再生的概率。然后,我们研究了两种方法来增加成功再生的概率,即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟,并且在某些情况下可能无法连接到更多的节点。我们发现,除了减少修复带宽,增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
A repair scheme for a distributed storage system based on multivariate polynomials
Department of Mathematics, Virginia Tech(弗吉尼亚理工大学数学系)
本文提出基于多元多项式的分布式存储系统修复方案,扩展了Reed-Muller码的修复能力,可处理单节点和多节点故障。
2025-12-31 cs.IT math.IT
On the Existence of Optimal Exact-Repair MDS Codes for Distributed Storage
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在本文中,我们解决了带宽最优的(n,k,d)精确修复MDS码,它允许任何失败的节点被修复,并访问任意d个幸存节点,其中k<=d<=n-1。我们证明了对于任意可容许的(n,k,d),都存在能达到最小修复带宽(匹配割集下界)的精确修复MDS码,即,k<n且k<=d<=n-1。我们的方法是基于干扰对齐技术,并使用矢量线性码,允许分裂成任意小的子符号的符号。
2010-04-26 cs.IT math.IT
Distributed Storage Codes with Repair-by-Transfer and Non-achievability of Interior Points on the Storage-Bandwidth Tradeoff
再生码是最近开发的一类用于分布式存储的码,其像里德-所罗门码一样,允许从n节点网络内的k个节点的任何子集恢复数据。然而,再生代码拥有另外,通过连接到任意子集的d节点来修复故障节点的能力。已经表明,对于功能修复的情况,每个节点存储的数据量和修复故障节点所需的带宽之间存在权衡。功能修复的一种特殊情况是精确修复,其中要求替换节点存储与故障节点中相同的数据。精确修复是令人感兴趣的,因为它大大简化了系统实现。本文的第一个结果是一个明确的,精确的修复代码的存储带宽的折衷对应的最小可能的修复带宽的情况下,当d=n-1的点。这个代码有一个特别简单的图形描述,最有趣的是,它能够通过数据传输进行精确修复,而不需要执行任何算术运算。因此才有了“转让修复”一词。本文的第二个结果表明,存储带宽权衡的内部点不能实现下精确修复,从而指出存在一个单独的权衡下精确修复。具体来说,我们确定了一组方案,称为“帮助节点池”,并表明,它是必要的,以满足这种情况下,过度约束系统。
2010-11-16 cs.DC cs.IT cs.NI
Symmetry in Distributed Storage Systems
最大流外边界是通过重新生成代码来实现的,用于功能修复分布式存储系统。然而,分布式存储系统的精确修复能力是一个悬而未决的问题。本文给出了精确修理分布式存储系统的线性规划界。给出了随机变量集的对称集的概念,建立了对称集上随机变量子集的联合熵的等式。提出了一种适用于精确修复分布式存储系统的级联编码方案,并证明了对于任何精确修复分布式存储系统,级联编码方案都足以达到任意的容许速率。给出了由级联方案引起的随机变量的某些联合熵的等价性。这些联合熵等式是简化线性规划界和获得精确修复分布式存储系统更强逆解的新工具。
2013-05-15 cs.IT math.IT
Characterizations and construction methods for linear functional-repair storage codes
我们提出了一个精确的线性函数修复存储代码的特征{ \em容许状态/},每个状态由一个集合的向量空间在一些固定的有限域。为了说明我们的特性的有用性,我们提供了几个应用程序。我们首先描述了一个简单的建设功能修复存储代码的一个家庭的代码参数满足割集界以外的MBR和MSR点,这些代码被证明有最佳的速度相对于他们的修复局部性。然后,我们利用我们的表征开发一种构造方法,以获得功能的修复代码为给定的参数,使用对称群,它可以用来找到新的代码,并改善已知的。作为后者使用的一个例子,我们描述了一个美丽的功能修复存储代码,发现了这种方法,与属于家庭的参数之前调查,这可以指定在只有八个不同的向量空间。
2013-07-22 cs.IT math.IT
Cooperative Local Repair in Distributed Storage
支持码字符号局部修复的纠删码在分布式存储系统中的应用引起了广泛的关注。本文研究了通常的局部可修码的一个推广。特别地,本文研究了一类具有以下性质的码:任意小的码字符号集都可以从少量的其他符号中重构(修复)。这被称为合作本地修复。本文的主要贡献是界的权衡的最小距离和尺寸的代码,以及明确的建设家庭的代码,使合作的本地修复。其他一些结果合作的本地修复,包括著名的Hadamard/单纯形码的分析。
2016-01-27 cs.IT math.IT
On Epsilon-MSCR Codes for Two Erasures
协作再生码是设计用于在多个节点故障的情况下权衡存储和修复带宽的再生码。最小存储协作再生码是一类实现折衷最小存储点的协作再生码。最近,已经为所有可能的参数$(n,k,d,h)$构造了这些代码,其中通过联系任何$d$幸存节点来修复$h$擦除。然而,这些构造具有非常大的子分组化。$ε$ -MSR码是为了在单节点故障的情况下稍微增加修复带宽而引入的折衷子分组化级别的一类码。我们介绍了框架的$ε$ -MSCR代码,允许一个类似的权衡的情况下,多个节点故障。通过级联一类MSCR码和标量线性码,构造了一种能够从两个节点故障中恢复的$ε$ -MSCR码。我们给出了一个修复过程中修复的$ε$ -MSCR码在两个节点的故障,并计算相同的修复带宽。我们的特点是增加修复带宽所引起的方法相比,最佳的修复带宽给出的割集界。最后,我们展示了$ε$ -MSCR码的子分组化水平在节点数量上的几何尺度。
2019-01-28 cs.IT math.IT
Repair Scheduling in Wireless Distributed Storage with D2D Communication
我们认为分布式存储(DS)的无线网络中,移动设备到达和离开根据泊松随机过程。内容使用擦除校正码存储在许多移动设备中。当请求一条内容时,用户使用设备到设备通信从移动设备检索内容,或者如果不可能,则以较高的通信成本为代价从基站(BS)检索内容。我们考虑当存储数据的设备离开网络时的修复问题。特别是,我们介绍了一个修复调度定期执行(从存储设备或BS)。我们推导出的维修和下载作为修复间隔的函数的整体通信成本的解析表达式。我们通过给出最大距离可分码和再生码的结果来说明分析。我们的研究结果表明,DS可以降低整体通信成本的情况下,内容只从BS下载,只要维修进行得足够频繁。所需的修复频率取决于用于存储的代码和网络参数。特别地,最小带宽再生码需要非常频繁的修复,而最大距离可分离码如果修复不太频繁地执行则给出更好的性能。我们还表明,瞬时修复并不总是最佳的。
2015-08-07 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
The Storage vs Repair-Bandwidth Trade-off for Clustered Storage Systems
我们研究的再生代码的设置,动机的应用程序组成的集群的存储节点的存储系统的泛化。总共有$n$群集,每个群集有$m$节点。数据文件被编码并存储在$mn$节点上,每个节点存储$α$符号。对于数据的可用性,我们要求通过从$k$集群的任何子集下载整个内容来检索文件。节点表示可能失败的实体。我们区分集群内和集群间带宽(BW)的成本在节点修复。集群中的节点修复是通过下载$β$符号来完成的,每个符号来自其他集群中的任何一组$d$,称为远程助手集群,并且还可以从主机集群中的任何一组$\ell$幸存节点,称为本地助手节点,下载多达$α$符号。我们首先确定功能修复下的存储开销和集群间修复带宽之间的最佳权衡,并提出了最佳的精确修复代码的构造一类参数。新的折衷严格优于经由空间共享现有编码解决方案可实现的,无论何时$\ell > 0$。然后,我们得到尖锐的下限必要的集群内修复BW,以实现最佳的权衡。我们的界限揭示了一个有趣的事实,即虽然增加本地帮助节点的数量$\ell$有利于改善存储与集群间修复BW的权衡,但增加$\ell$不仅增加了主机集群中的集群内BW,而且还增加了远程帮助集群中的集群内BW。我们还分析了弹性的集群存储系统对被动窃听提供文件大小的界限和最佳的代码结构。
2018-02-02 cs.IT math.IT
Exact Optimized-cost Repair in Multi-hop Distributed Storage Networks
研究了多跳网络分布式存储系统中失效节点的精确修复问题。与目前大多数通过从幸存节点到新节点的直接链路来建模修复过程的研究相反,修复是通过考虑多跳网络结构来建模的,并且考虑到可能不存在从所有幸存节点到新节点的直接链路。在这些系统的修复问题中,幸存的节点可以合作将修复业务传输到新节点。在此设置中,我们定义节点之间传输的数据包的总数作为修复成本。因此,维修费用的下限可以找到割集界分析。在本文中,我们证明了MDS码在串联网络和网格网络中的精确修复的修复成本的下界是可达到的,从而导致最小成本的精确MDS码。此外,提出了两个次优(可实现)的大规模网格网络的界限。
2014-01-13 cs.IT math.IT
Optimized-Cost Repair in Multi-hop Distributed Storage Systems with Network Coding
在分布式存储系统中,可靠性是通过存储在网络中不同节点的冗余来实现的。然后,即使某些节点发生故障,数据收集器也可以重建源信息。为了保持可靠性,一个自治的和有效的协议应该被用来修复故障的节点。修复过程导致网络中的流量和因此的传输成本。最近的研究结果发现了最佳的trafficstorage权衡,并提出了再生码,以实现最优。我们的目标是最大限度地减少维修过程中的传输成本。我们在修复中考虑了网络拓扑结构,并相应地修改了信息流图。然后,我们分析了削减的要求,并根据结果,我们制定的最小成本作为一个线性规划问题的线性成本。我们表明,线性问题的解决方案建立了一个基本的下限的维修成本。我们还表明,这个界限是可以实现的最小存储再生,它使用的最优成本最小存储再生(OCMSR)代码。我们提出幸存节点合作,可以有效地降低修复成本。进一步讨论了构造OCMSR码的字段大小。我们展示了串联,星形,网格和完全连接的网络中的最优成本修复的增益。
2013-03-25 cs.IT math.IT
Increasing Availability in Distributed Storage Systems via Clustering
本文提出了一种新的分布式存储系统架构--固定集群修复系统(FCRS),它在保证高可用性的同时,实现了较小的修复带宽。具体来说,我们将DSS中的服务器集划分为$s$群集,并允许故障服务器选择除其自身群集之外的任何群集作为其修复组。因此,我们保证了$s-1$的可用性。我们的特征在于修复带宽与存储权衡功能修复下的FCRS,并表明,最小的修复带宽可以提高一个渐近乘法因子的$2/3$相比,最先进的编码技术,保证相同的可用性。我们进一步介绍了三次码设计,以最小化修复带宽的FCRS下的确切修复模型。我们证明了一个渐进乘法改善$0.79$在最小修复带宽相比,现有的精确修复编码技术,实现相同的可用性。我们表明,立方码是信息理论上最优的FCRS与$2$和$3$完整的集群。此外,在转移修复模型下,立方码是最优的,而与簇的数量无关。
2019-03-05 cs.IT math.IT
Optimal Control of Storage Regeneration with Repair Codes
容器化应用的高可用性要求对应用的状态进行健壮的存储。由于基本的复制技术在规模上非常昂贵,因此可以通过擦除或修复代码来减少存储空间需求。在本文中,我们解决存储再生使用修复码,一个强大的分布式存储技术,不需要完全恢复整个状态的情况下发生故障。事实上,只有丢失的服务器的内容被替换。为此,以激活新存储服务器的成本和传送修复数据的成本使新的干净状态存储单元可操作。我们的目标是在给定的截止日期前保证容器状态文件的最大可用性。激活服务器和通信成本。当存储服务器的子集发生故障时,我们的目标是确保它们在给定的截止日期前得到修复。我们引入了一个受控流体模型,并推导出最优的激活策略,以取代服务器在这种相关的故障。解决方案的概念是再生的最优控制通过庞特里亚金最小值原则。给出了可行性条件,证明了最优策略是阈值型的。数值结果描述了如何应用该模型的系统尺寸和显示之间的权衡
2017-11-08 cs.IT math.IT
Product Matrix Minimum Storage Regenerating Codes with Flexible Number of Helpers
在分布式存储系统的编码中,通过访问预定义数量的任意选择的存储节点来保证有效的数据重建和修复,通过重新生成代码。传统上,代码参数,特别是参与修复过程的帮助节点的数量是预定的。然而,取决于系统和网络业务的状态,期望相应地调整这样的参数,以便最小化修复成本。在这项工作中,一类再生代码的最小存储量的介绍,可以同时操作在最佳的修复带宽,广泛的确切的修复机制,根据不同数量的帮助节点。
2017-12-28 cs.IT math.IT
Code Constructions for Distributed Storage With Low Repair Bandwidth and Low Repair Complexity
我们提出了一个家庭的纠删码的分布式存储,实现低修复带宽和复杂性的代价较低的容错。该构造基于两类码,其中第一类码的主要目标是提供容错,而第二类码的主要目标是降低修复带宽和修复复杂度。修复过程是两步过程,其中在第一步中使用第一代码修复故障节点的部分。在第一步骤期间下载的符号被高速缓存在存储器中,并且在第二步骤期间用于以最小的附加读取成本修复剩余的被擦除的数据符号。第一类码基于使用捎带修改的MDS码,而第二类码被设计为减少需要下载以修复剩余的擦除符号的附加符号的数量。我们数值计算表明,建议的代码实现更好的修复带宽相比,MDS码,使用背负式构造的代码,和本地重建/金字塔码,而更好的修复复杂度相比,MDS,锯齿形,金字塔码,和使用背负式构造的代码。
2018-08-31 cs.IT math.IT
Secure Repairable Fountain Codes
在这封信中,我们提供了可修复的喷泉码(RFC)的分布式存储系统的信息理论上是安全的,对窃听者,可以访问存储在一个子集的存储节点和下载的数据来修复一个额外的存储节点子集的数据。安全性是通过向消息中添加随机符号来实现的,然后通过Gabidulin码和RFC的级联来编码。我们比较了安全的最小存储再生码和安全的局部可修复码的可实现的码率。
2016-05-26 cs.IT math.IT
Distributed Data Storage Systems with Opportunistic Repair
以平均数据丢失时间(MTTDL)度量的擦除编码分布式存储系统的可靠性依赖于代码的修复带宽。修复有效的代码提供的可靠性值比传统的纠删码好几个数量级。现有技术的代码先验地固定辅助节点(参与修复的节点)的数量。然而,在实践中,期望允许辅助节点的数量由网络业务条件自适应地确定。在这项工作中,我们提出了一个机会主义的修复框架来解决这个问题。它示出,存在一个阈值的存储开销,低于该阈值,这样的机会主义的方法不会失去任何效率,从最佳的存储-修复-带宽的权衡,即它是可能的,以构建一个代码,同时为不同数量的助手节点的最佳。我们进一步研究这种机会主义代码的好处,并得出两个修复模型的MTTDL改进:一个有限的总修复带宽和其他有限的单个节点修复带宽。在这两种情况下,我们都显示了MTTDL的数量级改善。最后,所提出的框架进行检查,在网络设置中观察到MTTDL的显着改善。
2014-11-06 cs.IT math.IT
A New Cooperative Repair Scheme with Small Finite Field for Distributed Storage Systems
Bilkent University(比尔肯特大学);Southwest Jiaotong University(西南交通大学)
针对分布式存储系统多节点故障问题,提出一种适用于Ye和Barg的(n,k,d,N) MSR码的新型协作修复方案,将所需有限域规模从q≥(d−k+1)n降至q≥n+1。
2026-08-26 cs.IT math.IT
In this paper, a new repair scheme for a modified construction of MDS codes is studied. The obtained repair scheme has optimal bandwidth for multiple failed nodes under the cooperative repair model. In addition, the repair scheme has relatively low access property, where the number of data accessed is less than two times the optimal value.
2022-01-17 cs.IT math.IT
Exact Regeneration Codes for Distributed Storage Repair Using Interference Alignment
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在再生码频谱的一端是最小存储再生(MSR)码,其可以匹配MDS码的最小存储成本,同时还显著降低修复带宽。在本文中,我们描述了精确MSR码,它允许任何失败的节点(无论是系统或奇偶校验节点)被重新生成,而不仅仅是功能或信息等价。我们表明,精确MSR码来没有损失的最优性相对于随机网络编码的MSR码(匹配基于割集的修复带宽的下限)的情况下:(a)k/n <= 1/2;和(b)k <= 3。我们的建设性的方法是基于干扰对齐技术,并且,与前一类的随机网络编码为基础的方法,我们提供明确的和确定性的编码方案,需要一个有限的字段大小最多为2(n-k)。
2010-04-15 cs.IT math.IT
Replication based storage systems with local repair
我们考虑分布式存储系统的再生码的设计,该系统具有本地,精确和未编码修复的特性,即,(a)在故障时,可以通过简单地从幸存节点下载分组来重新生成节点,以及(b)所联系的幸存节点的数量严格小于为了重建所存储的文件而需要联系的节点的数量。我们的代码包括一个外部MDS代码和一个内部分数重复代码,指定的存储节点上的编码符号的位置。对于我们的代码类,我们确定本地修复属性和最小距离之间的权衡。我们目前的代码的基础上,图形的高围长,仿射可解析设计和投影平面,满足最小距离范围的文件大小的特定选择。
2013-05-24 cs.IT math.IT
Fractional Repetition Codes for Repair in Distributed Storage Systems
我们介绍了一类新的精确的最小带宽再生(MBR)代码的分布式存储系统,其特征在于一个低复杂度的未编码的修复过程,可以容忍多个节点的故障。这些代码由两个组件的级联组成:外部MDS代码后面跟着内部重复代码。我们将内部代码称为分数重复代码,因为它包括将每个节点的数据分成几个数据包,并将每个数据包的多个副本存储在系统中的不同节点上。我们的修复模型是基于表的,因此,不同于文献中采用的随机访问模型。我们提出了分数重复码的结构的基础上定期图和施泰纳系统的一个大的系统参数。所得到的代码保证达到随机访问修复的存储容量。所考虑的模型激发了一个新的定义的分布式存储系统的容量,我们称之为分数重复容量。我们提供的上限,而精确的表达仍然是一个悬而未决的问题。
2010-10-13 cs.IT math.IT
Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient
我们考虑一种设置,其中使用(n,k)最小存储再生(MSR)码,将大小为M的文件存储在n个分布式存储节点中,即,最大距离可分离(MDS)码,其还允许任何故障节点的有效精确修复。本文中感兴趣的问题是最小化修复带宽B以精确再生单个故障节点,即,新节点要下载的最小数据,以用其精确副本替换故障节点。以前的工作已经表明,带宽B =[M(n-1)]/[k(n-k)]是必要的和足够的功能(不精确)再生。也已经表明,如果k <= max(n/2,3),则精确再生比功能再生没有额外的成本。低冗余的实际相关设置,即,对于k> 3,k/n> 1/2保持开放,并且已经表明,在这种情况下,精确修复比功能修复有额外的带宽成本。在这项工作中,我们采用到分布式存储上下文中的渐近最优的干扰对齐方案以前提出的Cadambe和Jafar大型无线干扰网络。利用该方案,我们解决了(n,k)个正态MSR码的修复带宽最小化问题,其中包括k> \max(n/2,3)的开放情形。我们的主要结果是,对于任何(n,k),和足够大的文件大小,有没有额外的成本,确切的再生功能再生的修复带宽再生数据的每一位。更精确地说,我们证明了当M趋于无穷大时,B/M =(n-1)/(k(n-k))。
2010-04-24 cs.IT math.IT
Two-layer Locally Repairable Codes for Distributed Storage Systems
本文提出了一种适用于分布式存储系统的具有最优最小距离的局部可修码。采用两层编码结构保证数据重构和指定的修复局部性。数据首先在第一层中通过任何现有的最大距离可分离(MDS)码进行编码,然后在第二层中将编码的符号分成不重叠的组并通过MDS阵列码进行编码。第二层中的编码为局部修复提供了足够的冗余,而整个代码基于来自两层的冗余执行数据恢复。我们的代码可以构建在一个有限的字段中的DSS中的节点总数的大小线性增长,并促进有效的降级读取。
2014-08-14 cs.IT math.IT
Secure Storage using Maximally Recoverable Locally Repairable Codes
针对 MR-LRC 在全局修复中易被窃听的问题,提出基于 CPU 与局部多项式的安全修复框架,分析直接修复和转发修复并实现非零保密维度。
2024-05-09 cs.IT math.IT
Repair of Multiple Descriptions on Distributed Storage
在分布式存储的多个描述中,源以共享的方式存储在多个服务器上。当服务器的子集被联系时,源应该根据服务器的数量以一定的最大失真来估计。本文考虑的问题是当其中一台服务器出现故障,由新的服务器替代时,如何恢复系统运行,即修复。要求是,恢复系统中的失真不应超过原始系统中的失真。问题是需要多少额外的比特来修复。我们发现在高斯的情况下,两个服务器的问题的最佳解决方案,和一般$n$节点的可实现的速率。一个结论是,它是必要的,设计的多描述码与修复的头脑,只是使用现有的多描述码的结果是不必要的高修复率。
2018-01-09 cs.IT math.IT
Data Secrecy in Distributed Storage Systems under Exact Repair
研究了分布式存储系统中的数据防窃听问题。重点是使用线性代码并实现精确修复以从节点故障中恢复的系统。可以安全存储的最大文件大小是针对所有可用节点都有助于修复的系统确定的(即,修复程度$d=n-1$,其中$n$是节点的总数)和任意数量的受损节点。文献中的类似结果仅限于最多两个受损节点的情况。此外,新的显式上界给出的最大安全文件大小的系统与$d<n-1$。本文的贡献的关键成分是新的结果子空间相交的数据在修复过程中下载。新的界限意味着有趣的事实,即可以安全存储的最大数据随着受损节点的数量呈指数下降。
2013-04-12 cs.IT math.IT
Centralized Multi-Node Repair Regenerating Codes
在分布式存储系统中,从多个故障中恢复是一项重要而频繁的任务,对于保持系统的可靠性和容错性至关重要。在这项工作中,我们专注于集中修复多个故障的问题,这可能是可取的,在许多数据存储配置,我们表明,一个显着的修复流量减少是可能的。首先,建立了修复带宽和功能修复的存储大小之间的基本权衡。使用图论公式,最佳的权衡被确定为整数优化问题的解决方案,推导出一个封闭形式的表达式。给出了最小存储多节点修复点和最小带宽多节点修复点的表达式。其次,我们描述了一个通用的框架,用于将单擦除最小存储再生码MSMR码。针对$e$故障的修复策略与针对单个故障的修复策略相似,但是针对单个故障的修复功能需要满足某些额外的要求。为了说明,该框架被应用于乘积矩阵码和干扰对齐码。此外,我们证明了功能MBMR点是不可实现的线性精确修复码。我们还表明,精确修复最小带宽合作修复(MBCR)代码实现的内部点,即位于附近的MBMR点,当$k \equiv 1 \mod e$,$k$是重建整个数据所需的最小数量的节点。最后,对于$k> 2e, e\mid k$和$e \mid d$,其中$d$是在修复过程中的帮助节点的数量,我们表明,功能修复的折衷是无法实现的精确修复,除了可能是一小部分附近的MSMR点,这平行的结果由Shah等人的单擦除修复。
2018-05-08 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Towards Optimal Secure Distributed Storage Systems with Exact Repair
分布式存储系统中存在的窃听器被认为是。分布式存储系统(DSS)由三个参数(n,k,d)参数化,其中存储在n个分布式节点上的文件可以从n个节点中的任意k个节点恢复。如果一个节点发生故障,则(n-1)个节点中的任何d个节点都可以帮助修复故障节点。对于这样的(n,k,d)-DSS,研究了两种类型的窃听场景:(a)类型I(节点)对手,其可以窃听存储在任何1 <k个节点上的数据;以及更严重的(b)类型II(修复数据)对手,其可以窃听用于随时间修复一组1个故障节点的修复数据的内容。这项工作的重点是在实际相关的设置,确切的修复再生修复过程中,必须更换一个失败的节点,其确切的副本。我们取得了新的进展,在此之前,这项工作已经开放的几个非平凡的情况下,这个问题。本文的主要贡献是一个(n,k,d)-DSS的安全存储与精确修复带宽权衡区的最佳特征,其中n<=4和任何l<k的存在下,类型I和类型II的对手。虽然问题仍然开放的一般(n,k,d)-DSS与n>4,我们提出了这些结果的扩展(n,n-1,n-1)-DSS,在存在的II型对手,可以观察到任何l=(n-2)节点的修复数据。这项工作的关键技术贡献是为II型对抗场景开发新的信息论逆证明。从我们的研究结果,我们表明,在存在类型II的攻击,在存储与精确修复带宽权衡的唯一有效点是MBR(最小带宽再生)点。这与I型攻击的情况形成鲜明对比,在I型攻击中,存储与精确修…
2014-02-19 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储,以实现高容错和低存储冗余。由于跨机架通信成本通常很高,因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中,我们分析了存储冗余和跨机架修复带宽之间的最佳权衡,专门为数据中心,受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线,并提出了一个称为机架感知再生码(RRC)的擦除码族,它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽,分别。我们证明了(i)最小存储冗余构造支持广泛的参数范围,并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽,以及(ii)最小跨架修复带宽构造支持所有参数,并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
A Sytematic Piggybacking Design for Minimum Storage Regenerating Codes
捎带是降低最大距离可分离码(MDS)或最小存储再生码(MSR)修复带宽的有效方法。为了最小化已知的高码率MSR码的奇偶校验节点的修复带宽,通常是原始数据的全部大小,即,通过对背负式设计的深入分析,提出了一种新的系统背负式设计。结果,新的MSR码得到几乎最佳的修复带宽的奇偶节点,而保持最佳的修复带宽的系统节点。在此基础上,提出了在节点修复过程中均衡下载的MSR码。
2014-08-23 cs.IT math.IT
Minimization of Storage Cost in Distributed Storage Systems with Repair Consideration
在分布式存储系统中,不同存储节点的存储成本通常可以不同。研究了如何在给定的存储节点集合中存储文件,以使总存储开销最小。通过分析信息流图的最小割约束,确定节点存储容量的可行域。然后,存储成本最小化可以简化为线性规划问题,该问题可以容易地求解。此外,存储成本和修复带宽之间的权衡建立。
2011-07-28 cs.DC cs.IT math.IT
A Novel Construction of Low-Complexity MDS Codes with Optimal Repair Capability for Distributed Storage Systems
最大距离可分码是一类广泛用于提高分布式存储系统可靠性的纠删码。在(n,k)MDS编码的DSS中,原始数据以有效的方式存储到n个分布式节点中,使得每个存储节点仅包含少量(即,1/k),并且连接到任意k个节点的数据收集器可以检索整个数据。另一方面,节点故障可以被修复(即,可以成功地恢复故障节点处存储的数据)。本文提出了一种构造简单(5,3)MDS码的新方法.通过合理的块设计生成矩阵,我们证明了所提出的MDS码具有最小条带长度α = 2,并且可以在一个只有4个元素的小(Galois)有限域F4上构造,这两种方法都有利于低复杂度的计算和数据存储、检索和修复的实现.此外,利用所提出的MDS码,任何单个节点故障都可以通过干扰对准技术以从幸存节点下载的最小数据量来修复;即,所提出的码确保使用最小带宽对任何单个节点故障进行最佳精确修复。MDS码的低复杂度和全节点最优修复特性使其易于应用于实际DSS。
2017-06-15 cs.IT math.IT