New Repair strategy of Hadamard Minimum Storage Regenerating Code for Distributed Storage System
新提出的$(k+2,k)$ Hadamard最小存储再生(MSR)码是第一类对所有单节点故障具有最佳修复性能的高速存储码。在本文中,我们提出了一种新的简单的修复策略,它可以大大减少计算量的节点修复相比,原来的。
2013-12-18 cs.IT math.IT
Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
Broadcast Repair for Wireless Distributed Storage Systems
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统的多节点故障。由于无线信道通常是带宽有限的,我们提倡一种新的措施修复性能称为修复传输带宽,它衡量的平均数量的数据包传输的帮助节点每个失败的节点。得到了存储量和修复传输带宽之间的基本折衷。结果表明,广播修复在存储效率和修复传输带宽方面优于多节点故障有线分布式存储系统的基本修复方法--合作修复,从而得到更好的折衷曲线.
2016-03-01 cs.IT math.IT
Decentralized Minimum-Cost Repair for Distributed Storage Systems
已经出现了许多用于分布式存储系统的应用,无线传感器网络或云存储。由于无线传感器网络中的存储节点具有有限的电池,因此找到具有最优传输成本的修复方案(例如,能源)。最优费用修理最近已被集中研究。然而,集中式控制机制可能不可用或者非常昂贵。对于这些场景,研究分散设置中的最优成本修复是很有趣的。我们制定的最佳成本修复凸优化问题的网络凸传输成本。然后,我们使用原始和对偶分解的方法来解耦的子问题进行局部求解。因此,每个幸存的节点,与其他节点合作,可以使其传输成本最小化,从而使全局成本最小化。我们进一步研究了算法的最优性和收敛性。最后,我们讨论了码的构造和确定域的大小,以找到可行的网络码在我们的方法。
2013-01-30 cs.DC cs.IT math.IT
Local Codes with Cooperative Repair in Distributed Storage System
目前,对局部修复码的研究主要局限于对每个修复组内失效节点的修复。但如果出现整个修复组都失败的极端情况,则需要将存储在失败组中的本地代码作为一个整体进行恢复。本文提出了一种基于最小存储再生(MSR)码构造局部码的协作修复局部码,以实现故障群的修复。具体地说,提出的具有协同修复的局部码在奇偶校验符号之间构造了一种相互交织的结构,即每个局部码的奇偶校验符号(称为分布式局部奇偶校验)可以由其相邻两个局部码中的MSR码的奇偶校验符号生成。利用该结构,失效的局部群可以由其相邻的局部群中修复局部性较低的局部群进行协作修复,同时推导出了具有协作修复的局部码的最小距离.理论分析和仿真实验表明,与局部再生码(如MSR-局部码和MBR-局部码)相比,所提出的协作修复局部码在带宽开销和局部组失效情况下的修复局部性方面具有优势.
2016-02-09 cs.DC cs.IT math.IT
Repair for Distributed Storage Systems in Packet Erasure Networks
在分布式存储系统的许多应用中,可靠性对于存储文件至关重要。为了保持可靠性,当存储节点发生故障时,应通过修复过程重新生成新节点。大多数以前的结果修复问题假设完美(无错误)的网络中的链接。然而,在实践中,特别是在无线网络中,所发送的分组(用于修复)可能由于例如以下原因而丢失,链路故障或缓冲区溢出。我们研究了数据包擦除网络中分布式存储系统的修复问题,其中数据包丢失被建模为擦除。最小修复带宽,即从幸存节点发送到新节点的信息量,建立在无限数量的分组传输的理想假设下。我们还研究了擦除网络中的带宽存储权衡。然后,使用修复存储节点(具有较小的存储空间的节点),提出了减少修复带宽。研究了修复存储节点的最小存储量问题。对于有限数目的数据包传输的情况下,成功修复的概率进行了研究。我们表明,修复与有限数量的数据包传输可能会使用更大的带宽比最小修复带宽。最后,我们提出了一个组合优化问题,它的结果在给定的数据包删除概率和有限的数据包传输的最佳修复带宽。
2014-05-14 cs.IT math.IT
Functional Broadcast Repair of Multiple Partial Failures in Wireless Distributed Storage Systems
考虑一个具有$n$节点的分布式存储系统,用户可以从任意$k$节点恢复存储的文件,并研究了部分失效的$r$节点的修复问题.我们考虑\textit{broadcast repair},即$d$幸存节点在无差错的无线信道上向正在修复的$r$节点发送广播消息,然后使用这些消息以及故障节点的本地存储器中的幸存数据来恢复丢失的内容。首先,我们推导出的存储容量和修复带宽的部分修复多个故障节点之间的权衡,基于信息流图的割集界。它示出,利用广播性质的无线介质和幸存的内容在部分故障节点的修复带宽显着降低每个节点。然后,我们列出了一组不变的条件是足够的功能修复代码是可行的。我们进一步提出了一个计划的功能修复多个失败的节点,满足不变条件的概率很高,其扩展到部分故障的修复。当$k$可被$r$整除时,该方案的性能满足折衷曲线上所有点的割集界,同时采用线性子分组,这是分布式存储码设计中的一个重要实际考虑因素。与通常用于故障节点功能修复的随机线性码不同,该修复方案具有较低的开销、较低的输入输出代价和修复过程中较低的计算复杂性.
2021-11-10 cs.DC cs.IT math.IT
Network Traffic Driven Storage Repair
最近,我们构造了一个显式的局部可修局部再生码族。它们的存在由Kamath等人证明,但没有给出明确的构造。我们的设计是基于哈希标签代码,可以有不同的子分组化水平。在这项工作中,我们强调有两种方法来修复一个节点的重要性:修复只与本地奇偶校验节点或修复与本地和全局奇偶校验节点。我们说修复策略是网络流量驱动的,因为它与具体的系统和代码参数有关:代码的修复带宽,I/O操作的数量,接触部分的访问时间和存储文件的大小。我们在Hadoop中实现的一个实际例子中展示了修复二元性的好处。我们还给出了算法的全局奇偶校验节点的有效修复。
2018-06-25 cs.DC cs.IT math.IT
Reliability of k-out-of-n Data Storage System with Deterministic Parallel and Serial Repair
在本文中,我们发现的Laplace Stieltjes变换的数据丢失的概率的k-out-of-n的分布式存储系统具有确定的修复时间。我们考虑两种修复模型,即串行和并行修复。我们发现,故障率远低于修复率,平均时间的数据丢失的两个模型是相同的,不像指数修复模型的情况。
2016-11-25 cs.IT math.IT
New Codes and Inner Bounds for Exact Repair in Distributed Storage Systems
本文研究了分布式存储系统中存储和修复带宽之间的精确修复折衷问题。我们给出了新的内部界限的权衡区域,并提供代码的建设,实现这些界限。
2014-02-11 cs.IT math.IT
Storage codes -- coding rate and repair locality
分布式存储代码的{ \em修复位置}是在修复故障节点期间需要联系的节点的最大数量。具有小的修复局部性是期望的,因为它与修复期间的磁盘访问的数量成比例。然而,最近的出版物表明,小的修复局部性带来了惩罚的代码距离或存储开销,如果需要精确的修复。在这里,我们首先回顾了一些主要的结果存储代码在各种修复制度和讨论最近的工作可能的(信息理论)之间的权衡修复局部性和其他代码参数,如存储开销和代码距离,在确切的修复制度。然后,我们提出了一些新的信息理论的存储开销作为修复局部性的函数,适用于所有常见的编码和修复模型的下限。特别地,我们表明,如果分布式存储系统中的每个$n$节点具有存储容量$\ga$,并且如果在任何时候,故障节点可以通过联系$r$节点的{\em some}集合来{ \em functionally}修复(这可能取决于系统的实际状态)并从每一个下载一定量的$\gb$数据,那么在$\ga=\gb$或$\ga = r\gb$,最大编码速率分别至多为$r/(r+1)$或1/2(即,额外存储开销分别至少为$1/r$或1)。
2013-01-18 cs.IT math.IT
Distributed Storage Codes with Repair-by-Transfer and Non-achievability of Interior Points on the Storage-Bandwidth Tradeoff
再生码是最近开发的一类用于分布式存储的码,其像里德-所罗门码一样,允许从n节点网络内的k个节点的任何子集恢复数据。然而,再生代码拥有另外,通过连接到任意子集的d节点来修复故障节点的能力。已经表明,对于功能修复的情况,每个节点存储的数据量和修复故障节点所需的带宽之间存在权衡。功能修复的一种特殊情况是精确修复,其中要求替换节点存储与故障节点中相同的数据。精确修复是令人感兴趣的,因为它大大简化了系统实现。本文的第一个结果是一个明确的,精确的修复代码的存储带宽的折衷对应的最小可能的修复带宽的情况下,当d=n-1的点。这个代码有一个特别简单的图形描述,最有趣的是,它能够通过数据传输进行精确修复,而不需要执行任何算术运算。因此才有了“转让修复”一词。本文的第二个结果表明,存储带宽权衡的内部点不能实现下精确修复,从而指出存在一个单独的权衡下精确修复。具体来说,我们确定了一组方案,称为“帮助节点池”,并表明,它是必要的,以满足这种情况下,过度约束系统。
2010-11-16 cs.DC cs.IT cs.NI
Tradeoff for Heterogeneous Distributed Storage Systems between Storage and Repair Cost
本文研究了具有灵活重构度的异构分布式存储系统,系统中的每个节点具有动态的修复带宽和动态的存储容量。具体地,数据收集器可以使用系统中的一些任意节点在时间$t$重构文件,并且对于节点故障,系统可以由一些任意节点集合修复。使用$min$ - $cut$界限,我们研究了存储和修复成本之间的基本权衡我们的模型的异构DSS。特别地,该问题被表述为双目标优化线性规划问题。对于任意的DSS,计算得到的$min$ - $cut$界是紧的.
2015-03-08 cs.IT math.IT
An Improved Outer Bound on the Storage-Repair-Bandwidth Tradeoff of Exact-Repair Regenerating Codes
在本文中,我们建立了一个改进的外界的存储-修复-带宽权衡再生码下的精确修复。结果表明,特别是,它是不可能构建精确修复再生码,渐近实现的折衷,持有功能修复。虽然这已经表明田早些时候为特殊情况下的$[n,k,d]=[4,3,3]$,目前的结果持有一般$[n,k,d]$。新的外边界是通过建立在Shah等人早些时候建立的框架上获得的。
2013-12-20 cs.IT math.IT
The Storage vs Repair Bandwidth Trade-off for Multiple Failures in Clustered Storage Networks
我们研究了集群存储系统中的存储开销和集群间修复带宽之间的权衡,同时从集群内的多个节点故障中恢复。群集是$m$节点的集合,并且存在$n$群集。对于数据收集,我们从任何$k$集群下载整个内容。为了修复集群中的$t \geq 2$节点,我们从$\ell$本地节点以及$d$辅助集群获得帮助。我们的特点下功能修复的最佳权衡,并根据确切的修复最小的存储和最小集群间带宽(MBR)的工作点。我们的边界显示了以下有趣的事实:$1)$当$t|(m-\ell)$的权衡是相同的$t=1$下,因此没有优势,在联合修复多个节点,$2)$当$t \nmid (m-\ell)$,最佳的文件大小在MBR点下精确修复可以严格小于功能修复。$3)$与$t=1$的情况不同,增加本地助手节点的数量并不一定会增加功能修复下的系统容量。
2017-08-18 cs.IT math.IT
A Transformation of Repairing Reed-Solomon Codes from Rack-Aware Storage Model to Homogeneous Storage Model
本文针对机架感知存储模型下 RS 码多节点故障修复难题,利用好多项式指导码字放置并提出修复框架,将修复变换至同构存储模型,从而为现有构造提供多节点修复方案并推导出支持机架内及跨机架多节点故障修复的新构造。
2024-05-26 cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
An Overview of Codes Tailor-made for Better Repairability in Networked Distributed Storage Systems
当今社会产生的数字数据量不断增加,需要更好的存储解决方案。本调查着眼于专门为分布式网络存储系统的需求而设计的新一代编码技术,试图在存储空间效率、容错和维护开销之间达到最佳折衷。四个家庭的代码量身定制的分布式设置,即-金字塔,层次,再生和自修复代码-在高层次上,强调这些代码背后的主要思想,并讨论其利弊,最后与它们之间的定量比较。这项调查故意排除了代码的技术细节,也没有提供众多作品的详尽摘要。相反,它通过展示分布式存储解决方案编码技术进步的全貌,以广泛受众易于访问的方式概述了主要代码家族。
2013-01-30 cs.DC cs.IT math.IT
LDPC Code Design for Distributed Storage: Balancing Repair Bandwidth, Reliability and Storage Overhead
分布式存储系统遭受由于频繁的存储节点故障而产生的显著的修复流量。本文表明,适当设计的低密度奇偶校验(LDPC)码可以大大减少修复所需的块下载量由于其因子图表示的稀疏性。特别地,通过仔细构造因子图,对于给定的码率,可以实现低修复带宽和高可靠性。首先,推导了LDPC码的平均修复带宽公式。这个公式然后被用来建立,最小修复带宽可以通过强制因子图中的定期检查节点度来实现。此外,它表明,给定一个固定的码率,可变节点度也应该是定期的,以产生最小的修复带宽,在一些合理的最小可变节点度的约束。它还表明,对于一个给定的修复带宽的要求,LDPC码可以产生更高的可靠性比目前使用的里德-所罗门(RS)码。我们的可靠性分析的基础上制定的一般方程的平均时间数据丢失(MTTDL)与LDPC码。该公式揭示了停止数与MTTDL密切相关。它进一步表明,LDPC码可以被设计成使得一个小的损失的修复带宽的最优性可以被交易的擦除校正能力,从而MTTDL的大的改善。
2017-10-16 cs.DC cs.IT cs.PF
Repair rate lower bounds for distributed storage
分布式存储系统的主要目标之一是使用大量不可靠存储节点的$N$(每个具有容量$nsize$)在长持续时间内可靠地存储大量$dsize$源数据。存储开销$β$是超过$dsize$的可用系统容量的部分,即,$β= 1- \frac{dsize}{N \cdot nsize}$。存储节点随时间随机失效,并被初始空节点替换,因此以平均速率$erate = λ\cdot N \cdot nsize$从系统擦除数据,其中$1/λ$是失效前节点的平均寿命。为了保持源数据的可恢复性,修复器以某个平均速率$rrate$通过网络从节点连续地读取数据,并且基于所读取的数据来生成数据并将数据写入节点。主要结果是,对于任何修复器,如果源数据在每个时间点都是可恢复的,那么它必须是$rrate \ge \frac{erate}{2 \cdot β}$渐近地随着$N$走向无穷大而β走向零的情况。这个不等式提供了一个基本的下限的平均速率,任何维修需要从系统读取数据,以保持源数据的可恢复性。
2020-02-18 cs.DC cs.IT math.IT
The Storage-Repair-Bandwidth Trade-off of Exact Repair Linear Regenerating Codes for the Case $d = k = n-1$
本文研究了精确修复线性再生码的设定问题。在这种设置下,我们推导出一个新的存储-修复-带宽权衡的情况下,当$d = k = n -1$,其中$(n, k, d)$是参数的再生代码,其通常的含义。结合Tian et. [1],我们证明了当$d = k = n -1$ .通过分析线性再生码的对偶码,导出了新的外界。
2015-01-26 cs.IT math.IT
Node Repair for Distributed Storage Systems over Fading Channels
分布式存储系统和相关的存储代码可以有效地存储大量数据,同时确保在节点故障的情况下可检索数据。这种系统的研究,特别是有限域上存储码的设计,假设节点通信的物理信道是无差错的。例如,在无线存储系统中,情况并非总是如此。我们研究了分布式存储系统中节点修复期间子数据包被错误修复的概率,其中节点通过AWGN或Rayleigh衰落信道进行通信。渐近概率(SNR的增加),一个节点被错误地修复示出完全由DSS的修复局部性和无线信道的符号出错率确定。最后,我们提出了一些设计标准的物理层编码在这种情况下,并使用它来计算最佳旋转QAM星座用于无线分布式存储系统。
2014-09-25 cs.IT math.IT
Optimal Locally Repairable and Secure Codes for Distributed Storage Systems
本文的目的是超越弹性到分布式存储系统(DSS)的安全性和本地可修复性的研究。安全性和本地可修复性都是重要的一个有效的存储系统的功能,本文的目的是了解这些系统的弹性,安全性和本地可修复性之间的权衡。特别是,本文首先调查的安全性存在的合谋窃听者,窃听者被假定为一起工作,在解码存储的信息。其次,本文重点介绍的编码方案,使最佳的局部修复。它进一步将这两个概念结合在一起,开发本地可修复的编码方案的DSS是安全的,对窃听者。本文的主要结果包括:a.最小存储再生码保密容量的一个改进界。安全的编码方案,实现了一些特殊情况下的界限,c.局部可修码最小距离的一个新界,d.实现最小距离界限的局部可修复码的码构造,以及e.修复带宽有效的局部可修复码的安全约束和不安全约束。
2013-08-06 cs.IT math.IT
Linear Programming Bounds for Distributed Storage Codes
局部可修码的一个主要问题是其鲁棒性。如果本地维修组无法执行维修过程,这将导致维修成本增加。因此,一个局部可修复的代码有多个修复组是至关重要的。在本文中,我们考虑强大的本地可修复的编码方案,保证存在多个不同的(不一定不相交)替代本地修复组的任何单一的故障,使故障节点仍然可以修复本地,即使一些修复组不可用。我们使用线性规划技术来建立这些代码的代码大小的上限。我们还提供了两个例子,强大的本地可修复的代码是最佳的关于我们的线性规划界。此外,我们解决了分布式数据存储网络的更新效率问题。对存储数据的任何修改都将导致更新存储节点的内容。因此,必须最小化需要通过存储数据中的任何变化来更新的节点的数量。研究了更新有效存储码的性质,建立了更新有效局部可修存储码存在的必要条件。
2019-04-06 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数,即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量,存储节点的数量增加没有限制。基于容量表达式,在一个封闭的形式的解决方案,使可靠的存储所需的资源的可行的集合。具体地,示出了跨集群流量可以被最小化为零(即,集群内本地修复成为可能)。将具有零跨簇通信量的网络编码方案定义为簇内可修码,它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model
针对机架感知分布式存储,本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码,实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。
2024-01-27 cs.IT math.IT
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题,其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输(数据包)的数量趋于无穷大时,可以渐近地实现最优折衷界。对于有限数量的传输,我们研究了成功再生的概率。然后,我们研究了两种方法来增加成功再生的概率,即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟,并且在某些情况下可能无法连接到更多的节点。我们发现,除了减少修复带宽,增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中,出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐(IA)的概念将不需要的数据在尽可能小的空间中对齐。这里,给出了Cadambe { \it et al.}提供了线索,完善IA的情况下,我们结合阿达玛矩阵的基本性质,构建一个新的存储代码具有良好的修复性能。具体来说,我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$,其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外,单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
A repair scheme for a distributed storage system based on multivariate polynomials
Department of Mathematics, Virginia Tech(弗吉尼亚理工大学数学系)
本文提出基于多元多项式的分布式存储系统修复方案,扩展了Reed-Muller码的修复能力,可处理单节点和多节点故障。
2025-12-31 cs.IT math.IT
On the Existence of Optimal Exact-Repair MDS Codes for Distributed Storage
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在本文中,我们解决了带宽最优的(n,k,d)精确修复MDS码,它允许任何失败的节点被修复,并访问任意d个幸存节点,其中k<=d<=n-1。我们证明了对于任意可容许的(n,k,d),都存在能达到最小修复带宽(匹配割集下界)的精确修复MDS码,即,k<n且k<=d<=n-1。我们的方法是基于干扰对齐技术,并使用矢量线性码,允许分裂成任意小的子符号的符号。
2010-04-26 cs.IT math.IT
Symmetry in Distributed Storage Systems
最大流外边界是通过重新生成代码来实现的,用于功能修复分布式存储系统。然而,分布式存储系统的精确修复能力是一个悬而未决的问题。本文给出了精确修理分布式存储系统的线性规划界。给出了随机变量集的对称集的概念,建立了对称集上随机变量子集的联合熵的等式。提出了一种适用于精确修复分布式存储系统的级联编码方案,并证明了对于任何精确修复分布式存储系统,级联编码方案都足以达到任意的容许速率。给出了由级联方案引起的随机变量的某些联合熵的等价性。这些联合熵等式是简化线性规划界和获得精确修复分布式存储系统更强逆解的新工具。
2013-05-15 cs.IT math.IT
Characterizations and construction methods for linear functional-repair storage codes
我们提出了一个精确的线性函数修复存储代码的特征{ \em容许状态/},每个状态由一个集合的向量空间在一些固定的有限域。为了说明我们的特性的有用性,我们提供了几个应用程序。我们首先描述了一个简单的建设功能修复存储代码的一个家庭的代码参数满足割集界以外的MBR和MSR点,这些代码被证明有最佳的速度相对于他们的修复局部性。然后,我们利用我们的表征开发一种构造方法,以获得功能的修复代码为给定的参数,使用对称群,它可以用来找到新的代码,并改善已知的。作为后者使用的一个例子,我们描述了一个美丽的功能修复存储代码,发现了这种方法,与属于家庭的参数之前调查,这可以指定在只有八个不同的向量空间。
2013-07-22 cs.IT math.IT
Cooperative Local Repair in Distributed Storage
支持码字符号局部修复的纠删码在分布式存储系统中的应用引起了广泛的关注。本文研究了通常的局部可修码的一个推广。特别地,本文研究了一类具有以下性质的码:任意小的码字符号集都可以从少量的其他符号中重构(修复)。这被称为合作本地修复。本文的主要贡献是界的权衡的最小距离和尺寸的代码,以及明确的建设家庭的代码,使合作的本地修复。其他一些结果合作的本地修复,包括著名的Hadamard/单纯形码的分析。
2016-01-27 cs.IT math.IT
Repair Scheduling in Wireless Distributed Storage with D2D Communication
我们认为分布式存储(DS)的无线网络中,移动设备到达和离开根据泊松随机过程。内容使用擦除校正码存储在许多移动设备中。当请求一条内容时,用户使用设备到设备通信从移动设备检索内容,或者如果不可能,则以较高的通信成本为代价从基站(BS)检索内容。我们考虑当存储数据的设备离开网络时的修复问题。特别是,我们介绍了一个修复调度定期执行(从存储设备或BS)。我们推导出的维修和下载作为修复间隔的函数的整体通信成本的解析表达式。我们通过给出最大距离可分码和再生码的结果来说明分析。我们的研究结果表明,DS可以降低整体通信成本的情况下,内容只从BS下载,只要维修进行得足够频繁。所需的修复频率取决于用于存储的代码和网络参数。特别地,最小带宽再生码需要非常频繁的修复,而最大距离可分离码如果修复不太频繁地执行则给出更好的性能。我们还表明,瞬时修复并不总是最佳的。
2015-08-07 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
The Storage vs Repair-Bandwidth Trade-off for Clustered Storage Systems
我们研究的再生代码的设置,动机的应用程序组成的集群的存储节点的存储系统的泛化。总共有$n$群集,每个群集有$m$节点。数据文件被编码并存储在$mn$节点上,每个节点存储$α$符号。对于数据的可用性,我们要求通过从$k$集群的任何子集下载整个内容来检索文件。节点表示可能失败的实体。我们区分集群内和集群间带宽(BW)的成本在节点修复。集群中的节点修复是通过下载$β$符号来完成的,每个符号来自其他集群中的任何一组$d$,称为远程助手集群,并且还可以从主机集群中的任何一组$\ell$幸存节点,称为本地助手节点,下载多达$α$符号。我们首先确定功能修复下的存储开销和集群间修复带宽之间的最佳权衡,并提出了最佳的精确修复代码的构造一类参数。新的折衷严格优于经由空间共享现有编码解决方案可实现的,无论何时$\ell > 0$。然后,我们得到尖锐的下限必要的集群内修复BW,以实现最佳的权衡。我们的界限揭示了一个有趣的事实,即虽然增加本地帮助节点的数量$\ell$有利于改善存储与集群间修复BW的权衡,但增加$\ell$不仅增加了主机集群中的集群内BW,而且还增加了远程帮助集群中的集群内BW。我们还分析了弹性的集群存储系统对被动窃听提供文件大小的界限和最佳的代码结构。
2018-02-02 cs.IT math.IT
Exact Optimized-cost Repair in Multi-hop Distributed Storage Networks
研究了多跳网络分布式存储系统中失效节点的精确修复问题。与目前大多数通过从幸存节点到新节点的直接链路来建模修复过程的研究相反,修复是通过考虑多跳网络结构来建模的,并且考虑到可能不存在从所有幸存节点到新节点的直接链路。在这些系统的修复问题中,幸存的节点可以合作将修复业务传输到新节点。在此设置中,我们定义节点之间传输的数据包的总数作为修复成本。因此,维修费用的下限可以找到割集界分析。在本文中,我们证明了MDS码在串联网络和网格网络中的精确修复的修复成本的下界是可达到的,从而导致最小成本的精确MDS码。此外,提出了两个次优(可实现)的大规模网格网络的界限。
2014-01-13 cs.IT math.IT
Optimized-Cost Repair in Multi-hop Distributed Storage Systems with Network Coding
在分布式存储系统中,可靠性是通过存储在网络中不同节点的冗余来实现的。然后,即使某些节点发生故障,数据收集器也可以重建源信息。为了保持可靠性,一个自治的和有效的协议应该被用来修复故障的节点。修复过程导致网络中的流量和因此的传输成本。最近的研究结果发现了最佳的trafficstorage权衡,并提出了再生码,以实现最优。我们的目标是最大限度地减少维修过程中的传输成本。我们在修复中考虑了网络拓扑结构,并相应地修改了信息流图。然后,我们分析了削减的要求,并根据结果,我们制定的最小成本作为一个线性规划问题的线性成本。我们表明,线性问题的解决方案建立了一个基本的下限的维修成本。我们还表明,这个界限是可以实现的最小存储再生,它使用的最优成本最小存储再生(OCMSR)代码。我们提出幸存节点合作,可以有效地降低修复成本。进一步讨论了构造OCMSR码的字段大小。我们展示了串联,星形,网格和完全连接的网络中的最优成本修复的增益。
2013-03-25 cs.IT math.IT
Increasing Availability in Distributed Storage Systems via Clustering
本文提出了一种新的分布式存储系统架构--固定集群修复系统(FCRS),它在保证高可用性的同时,实现了较小的修复带宽。具体来说,我们将DSS中的服务器集划分为$s$群集,并允许故障服务器选择除其自身群集之外的任何群集作为其修复组。因此,我们保证了$s-1$的可用性。我们的特征在于修复带宽与存储权衡功能修复下的FCRS,并表明,最小的修复带宽可以提高一个渐近乘法因子的$2/3$相比,最先进的编码技术,保证相同的可用性。我们进一步介绍了三次码设计,以最小化修复带宽的FCRS下的确切修复模型。我们证明了一个渐进乘法改善$0.79$在最小修复带宽相比,现有的精确修复编码技术,实现相同的可用性。我们表明,立方码是信息理论上最优的FCRS与$2$和$3$完整的集群。此外,在转移修复模型下,立方码是最优的,而与簇的数量无关。
2019-03-05 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Optimal Control of Storage Regeneration with Repair Codes
容器化应用的高可用性要求对应用的状态进行健壮的存储。由于基本的复制技术在规模上非常昂贵,因此可以通过擦除或修复代码来减少存储空间需求。在本文中,我们解决存储再生使用修复码,一个强大的分布式存储技术,不需要完全恢复整个状态的情况下发生故障。事实上,只有丢失的服务器的内容被替换。为此,以激活新存储服务器的成本和传送修复数据的成本使新的干净状态存储单元可操作。我们的目标是在给定的截止日期前保证容器状态文件的最大可用性。激活服务器和通信成本。当存储服务器的子集发生故障时,我们的目标是确保它们在给定的截止日期前得到修复。我们引入了一个受控流体模型,并推导出最优的激活策略,以取代服务器在这种相关的故障。解决方案的概念是再生的最优控制通过庞特里亚金最小值原则。给出了可行性条件,证明了最优策略是阈值型的。数值结果描述了如何应用该模型的系统尺寸和显示之间的权衡
2017-11-08 cs.IT math.IT
Capacity of Distributed Storage Systems with Clusters and Separate Nodes
在分布式存储系统中,节点存储和修复带宽之间的最优折衷是设计分布式编码策略以保证大规模数据可靠性的重要问题。DSS的能力作为一个功能的节点存储和修复带宽参数,特征的权衡。有很多工作在DSS与集群(机架),其中修复带宽从集群内和跨集群是有区别的。然而,在现实的DSS中,分离节点也是普遍存在的,但对具有集群和分离节点的DSS(CSN-DSS)的研究还不够。在本文中,我们制定了一个单独的节点的CSN-DSS的容量首次修复一个单独的节点的带宽是跨集群。因此,节点存储和修复带宽之间的最佳权衡推导出并与集群DSS相比。基于该折衷构造了重新生成的代码实例。此外,增加一个单独的节点的影响进行了理论分析和制定。我们证明了当每个集群包含R个节点,并且任意k个节点都足以恢复原始文件(MDS属性)时,如果R| k,否则减小容量。
2019-01-10 cs.DC cs.IT math.IT
Product Matrix Minimum Storage Regenerating Codes with Flexible Number of Helpers
在分布式存储系统的编码中,通过访问预定义数量的任意选择的存储节点来保证有效的数据重建和修复,通过重新生成代码。传统上,代码参数,特别是参与修复过程的帮助节点的数量是预定的。然而,取决于系统和网络业务的状态,期望相应地调整这样的参数,以便最小化修复成本。在这项工作中,一类再生代码的最小存储量的介绍,可以同时操作在最佳的修复带宽,广泛的确切的修复机制,根据不同数量的帮助节点。
2017-12-28 cs.IT math.IT
Code Constructions for Distributed Storage With Low Repair Bandwidth and Low Repair Complexity
我们提出了一个家庭的纠删码的分布式存储,实现低修复带宽和复杂性的代价较低的容错。该构造基于两类码,其中第一类码的主要目标是提供容错,而第二类码的主要目标是降低修复带宽和修复复杂度。修复过程是两步过程,其中在第一步中使用第一代码修复故障节点的部分。在第一步骤期间下载的符号被高速缓存在存储器中,并且在第二步骤期间用于以最小的附加读取成本修复剩余的被擦除的数据符号。第一类码基于使用捎带修改的MDS码,而第二类码被设计为减少需要下载以修复剩余的擦除符号的附加符号的数量。我们数值计算表明,建议的代码实现更好的修复带宽相比,MDS码,使用背负式构造的代码,和本地重建/金字塔码,而更好的修复复杂度相比,MDS,锯齿形,金字塔码,和使用背负式构造的代码。
2018-08-31 cs.IT math.IT
Secure Repairable Fountain Codes
在这封信中,我们提供了可修复的喷泉码(RFC)的分布式存储系统的信息理论上是安全的,对窃听者,可以访问存储在一个子集的存储节点和下载的数据来修复一个额外的存储节点子集的数据。安全性是通过向消息中添加随机符号来实现的,然后通过Gabidulin码和RFC的级联来编码。我们比较了安全的最小存储再生码和安全的局部可修复码的可实现的码率。
2016-05-26 cs.IT math.IT
Distributed Data Storage Systems with Opportunistic Repair
以平均数据丢失时间(MTTDL)度量的擦除编码分布式存储系统的可靠性依赖于代码的修复带宽。修复有效的代码提供的可靠性值比传统的纠删码好几个数量级。现有技术的代码先验地固定辅助节点(参与修复的节点)的数量。然而,在实践中,期望允许辅助节点的数量由网络业务条件自适应地确定。在这项工作中,我们提出了一个机会主义的修复框架来解决这个问题。它示出,存在一个阈值的存储开销,低于该阈值,这样的机会主义的方法不会失去任何效率,从最佳的存储-修复-带宽的权衡,即它是可能的,以构建一个代码,同时为不同数量的助手节点的最佳。我们进一步研究这种机会主义代码的好处,并得出两个修复模型的MTTDL改进:一个有限的总修复带宽和其他有限的单个节点修复带宽。在这两种情况下,我们都显示了MTTDL的数量级改善。最后,所提出的框架进行检查,在网络设置中观察到MTTDL的显着改善。
2014-11-06 cs.IT math.IT
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
A New Cooperative Repair Scheme with Small Finite Field for Distributed Storage Systems
Bilkent University(比尔肯特大学);Southwest Jiaotong University(西南交通大学)
针对分布式存储系统多节点故障问题,提出一种适用于Ye和Barg的(n,k,d,N) MSR码的新型协作修复方案,将所需有限域规模从q≥(d−k+1)n降至q≥n+1。
2026-08-26 cs.IT math.IT
A Class of Minimum Storage Cooperative Regenerating Codes with Low Access Property
本文研究了一种改进的MDS码的修复方案。在协作修复模型下,所得到的修复方案对多个失效节点具有最优带宽。此外,修复方案具有相对较低的访问性能,其中访问的数据的数量小于最佳值的两倍。
2022-01-17 cs.IT math.IT
Exact Regeneration Codes for Distributed Storage Repair Using Interference Alignment
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在再生码频谱的一端是最小存储再生(MSR)码,其可以匹配MDS码的最小存储成本,同时还显著降低修复带宽。在本文中,我们描述了精确MSR码,它允许任何失败的节点(无论是系统或奇偶校验节点)被重新生成,而不仅仅是功能或信息等价。我们表明,精确MSR码来没有损失的最优性相对于随机网络编码的MSR码(匹配基于割集的修复带宽的下限)的情况下:(a)k/n <= 1/2;和(b)k <= 3。我们的建设性的方法是基于干扰对齐技术,并且,与前一类的随机网络编码为基础的方法,我们提供明确的和确定性的编码方案,需要一个有限的字段大小最多为2(n-k)。
2010-04-15 cs.IT math.IT
Replication based storage systems with local repair
我们考虑分布式存储系统的再生码的设计,该系统具有本地,精确和未编码修复的特性,即,(a)在故障时,可以通过简单地从幸存节点下载分组来重新生成节点,以及(b)所联系的幸存节点的数量严格小于为了重建所存储的文件而需要联系的节点的数量。我们的代码包括一个外部MDS代码和一个内部分数重复代码,指定的存储节点上的编码符号的位置。对于我们的代码类,我们确定本地修复属性和最小距离之间的权衡。我们目前的代码的基础上,图形的高围长,仿射可解析设计和投影平面,满足最小距离范围的文件大小的特定选择。
2013-05-24 cs.IT math.IT
Cooperative Regenerating Codes for Distributed Storage Systems
当分布式存储系统中存在多个节点故障时,就修复带宽最小化而言,以逐个方式单独地重新生成故障存储节点是次优的。如果启用新节点之间的数据交换,我们可以在修复带宽和每个节点的存储之间获得更好的权衡。给出了一种显式的、优化的协作再生码的构造方法。
2011-02-08 cs.DC cs.IT math.IT
Fractional Repetition Codes for Repair in Distributed Storage Systems
我们介绍了一类新的精确的最小带宽再生(MBR)代码的分布式存储系统,其特征在于一个低复杂度的未编码的修复过程,可以容忍多个节点的故障。这些代码由两个组件的级联组成:外部MDS代码后面跟着内部重复代码。我们将内部代码称为分数重复代码,因为它包括将每个节点的数据分成几个数据包,并将每个数据包的多个副本存储在系统中的不同节点上。我们的修复模型是基于表的,因此,不同于文献中采用的随机访问模型。我们提出了分数重复码的结构的基础上定期图和施泰纳系统的一个大的系统参数。所得到的代码保证达到随机访问修复的存储容量。所考虑的模型激发了一个新的定义的分布式存储系统的容量,我们称之为分数重复容量。我们提供的上限,而精确的表达仍然是一个悬而未决的问题。
2010-10-13 cs.IT math.IT