Explicit Codes Minimizing Repair Bandwidth for Distributed Storage
我们考虑以分布式方式跨n个节点设置数据存储。数据收集器(DC)应该能够通过连接到n个节点中的任何k个节点并下载存储在其中的所有数据来重建整个数据。当一个节点出现故障时,必须使用现有节点重新生成它。在最近的一篇论文中,Wu等人得到了修复带宽的信息论下界。此外,还对以系统形式存储数据产生了额外的兴趣,因为当DC连接到k个系统节点时不需要后处理。由于它们的首选状态,需要快速准确地重新生成任何系统节点。用精确的副本替换失效节点称为精确再生,本文考虑了系统节点精确再生时的修复带宽最小化问题。要存储的文件大小为B,每个节点可以存储alpha = B/k个数据单元。通过从d个现有节点下载beta单元的数据来重新生成故障系统节点。我们给出了一个下界的修复带宽的系统节点的确切再生,它与吴等人给出的界限相匹配。对于d >= 2k-1,我们给出了一个显式的代码建设,最大限度地减少修复带宽时,现有的k-1系统节点参与再生。我们展示了实现d >= 2k-3的界的代码的存在性和构造。在这里,我们还建立了干涉对齐的必要性。我们证明了当beta=1时,d <= 2k-4的上界是不可达到的。我们还给出了一个编码方案,可用于任何d和k,这是最佳的d >= 2k-1。
2009-09-05 cs.IT math.IT
Multilevel Diversity Coding with Secure Regeneration: Separate Coding Achieves the MBR Point
研究了具有安全再生的多级分集编码(MDC-SR)问题,其中包括具有再生的多级分集编码(MDC-R)和作为特殊情况的安全再生码(SRC)问题。两个外边界的建立,表明不同的消息使用各自的SRC单独编码可以实现最小带宽再生(MBR)点的可实现的归一化存储容量修复带宽权衡区域的一般MDC-SR问题。新的逆结果的核心是一个交换引理,它可以利用Han的子集不等式建立。
2017-12-09 cs.IT math.IT
Multilevel Diversity Coding with Regeneration
大规模分布式存储系统中的数字内容可能具有不同的可靠性和访问延迟要求,因此,需要利用具有不同强度的擦除码来实现最佳存储效率。同时,在这样的大规模分布式存储系统中,节点会定期发生故障,其上存储的内容需要重新生成并存储在其他健康的节点上,其效率是影响整体服务质量的重要因素。在这项工作中,我们制定了再生的多级分集编码的问题,以解决这些问题,其中的存储与修复带宽的权衡进行了研究。我们表明,这种权衡对应的最小可能的存储的极值点可以通过一个简单的编码方案,其中具有不同可靠性要求的内容单独编码与单独的再生代码没有任何混合。另一方面,我们建立了完整的存储-修复-带宽权衡的情况下,四个存储节点,这表明,代码混合不同的内容可以严格改善这种权衡的单独的编码解决方案。
2016-04-28 cs.IT math.IT
New Repair strategy of Hadamard Minimum Storage Regenerating Code for Distributed Storage System
新提出的$(k+2,k)$ Hadamard最小存储再生(MSR)码是第一类对所有单节点故障具有最佳修复性能的高速存储码。在本文中,我们提出了一种新的简单的修复策略,它可以大大减少计算量的节点修复相比,原来的。
2013-12-18 cs.IT math.IT
Codes with Local Regeneration
再生码和局部码是最近提出的两种方案,以确保分布式存储网络中的数据汇集和可靠性。在试图修复故障节点的情况下,重新生成代码试图最小化为节点修复下载的数据量,而具有局部性的代码试图最小化访问的帮助节点的数量。本文给出了一类局部码是再生码的具有局部性的向量码的几种构造方法,它们具有这两种优点。我们推导出这类代码的最小距离上界,并表明,建议的建设实现这一界限。该构造包括本地再生码对应于MSR的情况以及再生码的存储-修复-带宽折衷曲线上的MBR点。还包括固定块长度和最小距离的各种代码结构的性能比较。
2013-02-04 cs.IT math.IT
Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
Broadcast Repair for Wireless Distributed Storage Systems
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统的多节点故障。由于无线信道通常是带宽有限的,我们提倡一种新的措施修复性能称为修复传输带宽,它衡量的平均数量的数据包传输的帮助节点每个失败的节点。得到了存储量和修复传输带宽之间的基本折衷。结果表明,广播修复在存储效率和修复传输带宽方面优于多节点故障有线分布式存储系统的基本修复方法--合作修复,从而得到更好的折衷曲线.
2016-03-01 cs.IT math.IT
Repair for Distributed Storage Systems in Packet Erasure Networks
在分布式存储系统的许多应用中,可靠性对于存储文件至关重要。为了保持可靠性,当存储节点发生故障时,应通过修复过程重新生成新节点。大多数以前的结果修复问题假设完美(无错误)的网络中的链接。然而,在实践中,特别是在无线网络中,所发送的分组(用于修复)可能由于例如以下原因而丢失,链路故障或缓冲区溢出。我们研究了数据包擦除网络中分布式存储系统的修复问题,其中数据包丢失被建模为擦除。最小修复带宽,即从幸存节点发送到新节点的信息量,建立在无限数量的分组传输的理想假设下。我们还研究了擦除网络中的带宽存储权衡。然后,使用修复存储节点(具有较小的存储空间的节点),提出了减少修复带宽。研究了修复存储节点的最小存储量问题。对于有限数目的数据包传输的情况下,成功修复的概率进行了研究。我们表明,修复与有限数量的数据包传输可能会使用更大的带宽比最小修复带宽。最后,我们提出了一个组合优化问题,它的结果在给定的数据包删除概率和有限的数据包传输的最佳修复带宽。
2014-05-14 cs.IT math.IT
Reliability of k-out-of-n Data Storage System with Deterministic Parallel and Serial Repair
在本文中,我们发现的Laplace Stieltjes变换的数据丢失的概率的k-out-of-n的分布式存储系统具有确定的修复时间。我们考虑两种修复模型,即串行和并行修复。我们发现,故障率远低于修复率,平均时间的数据丢失的两个模型是相同的,不像指数修复模型的情况。
2016-11-25 cs.IT math.IT
New Codes and Inner Bounds for Exact Repair in Distributed Storage Systems
本文研究了分布式存储系统中存储和修复带宽之间的精确修复折衷问题。我们给出了新的内部界限的权衡区域,并提供代码的建设,实现这些界限。
2014-02-11 cs.IT math.IT
Storage codes -- coding rate and repair locality
分布式存储代码的{ \em修复位置}是在修复故障节点期间需要联系的节点的最大数量。具有小的修复局部性是期望的,因为它与修复期间的磁盘访问的数量成比例。然而,最近的出版物表明,小的修复局部性带来了惩罚的代码距离或存储开销,如果需要精确的修复。在这里,我们首先回顾了一些主要的结果存储代码在各种修复制度和讨论最近的工作可能的(信息理论)之间的权衡修复局部性和其他代码参数,如存储开销和代码距离,在确切的修复制度。然后,我们提出了一些新的信息理论的存储开销作为修复局部性的函数,适用于所有常见的编码和修复模型的下限。特别地,我们表明,如果分布式存储系统中的每个$n$节点具有存储容量$\ga$,并且如果在任何时候,故障节点可以通过联系$r$节点的{\em some}集合来{ \em functionally}修复(这可能取决于系统的实际状态)并从每一个下载一定量的$\gb$数据,那么在$\ga=\gb$或$\ga = r\gb$,最大编码速率分别至多为$r/(r+1)$或1/2(即,额外存储开销分别至少为$1/r$或1)。
2013-01-18 cs.IT math.IT
Tradeoff for Heterogeneous Distributed Storage Systems between Storage and Repair Cost
本文研究了具有灵活重构度的异构分布式存储系统,系统中的每个节点具有动态的修复带宽和动态的存储容量。具体地,数据收集器可以使用系统中的一些任意节点在时间$t$重构文件,并且对于节点故障,系统可以由一些任意节点集合修复。使用$min$ - $cut$界限,我们研究了存储和修复成本之间的基本权衡我们的模型的异构DSS。特别地,该问题被表述为双目标优化线性规划问题。对于任意的DSS,计算得到的$min$ - $cut$界是紧的.
2015-03-08 cs.IT math.IT
An Improved Outer Bound on the Storage-Repair-Bandwidth Tradeoff of Exact-Repair Regenerating Codes
在本文中,我们建立了一个改进的外界的存储-修复-带宽权衡再生码下的精确修复。结果表明,特别是,它是不可能构建精确修复再生码,渐近实现的折衷,持有功能修复。虽然这已经表明田早些时候为特殊情况下的$[n,k,d]=[4,3,3]$,目前的结果持有一般$[n,k,d]$。新的外边界是通过建立在Shah等人早些时候建立的框架上获得的。
2013-12-20 cs.IT math.IT
The Storage vs Repair Bandwidth Trade-off for Multiple Failures in Clustered Storage Networks
我们研究了集群存储系统中的存储开销和集群间修复带宽之间的权衡,同时从集群内的多个节点故障中恢复。群集是$m$节点的集合,并且存在$n$群集。对于数据收集,我们从任何$k$集群下载整个内容。为了修复集群中的$t \geq 2$节点,我们从$\ell$本地节点以及$d$辅助集群获得帮助。我们的特点下功能修复的最佳权衡,并根据确切的修复最小的存储和最小集群间带宽(MBR)的工作点。我们的边界显示了以下有趣的事实:$1)$当$t|(m-\ell)$的权衡是相同的$t=1$下,因此没有优势,在联合修复多个节点,$2)$当$t \nmid (m-\ell)$,最佳的文件大小在MBR点下精确修复可以严格小于功能修复。$3)$与$t=1$的情况不同,增加本地助手节点的数量并不一定会增加功能修复下的系统容量。
2017-08-18 cs.IT math.IT
A Transformation of Repairing Reed-Solomon Codes from Rack-Aware Storage Model to Homogeneous Storage Model
本文针对机架感知存储模型下 RS 码多节点故障修复难题,利用好多项式指导码字放置并提出修复框架,将修复变换至同构存储模型,从而为现有构造提供多节点修复方案并推导出支持机架内及跨机架多节点故障修复的新构造。
2024-05-26 cs.IT math.IT
Local Codes with Cooperative Repair in Distributed Storage System
目前,对局部修复码的研究主要局限于对每个修复组内失效节点的修复。但如果出现整个修复组都失败的极端情况,则需要将存储在失败组中的本地代码作为一个整体进行恢复。本文提出了一种基于最小存储再生(MSR)码构造局部码的协作修复局部码,以实现故障群的修复。具体地说,提出的具有协同修复的局部码在奇偶校验符号之间构造了一种相互交织的结构,即每个局部码的奇偶校验符号(称为分布式局部奇偶校验)可以由其相邻两个局部码中的MSR码的奇偶校验符号生成。利用该结构,失效的局部群可以由其相邻的局部群中修复局部性较低的局部群进行协作修复,同时推导出了具有协作修复的局部码的最小距离.理论分析和仿真实验表明,与局部再生码(如MSR-局部码和MBR-局部码)相比,所提出的协作修复局部码在带宽开销和局部组失效情况下的修复局部性方面具有优势.
2016-02-09 cs.DC cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
The Storage-Repair-Bandwidth Trade-off of Exact Repair Linear Regenerating Codes for the Case $d = k = n-1$
本文研究了精确修复线性再生码的设定问题。在这种设置下,我们推导出一个新的存储-修复-带宽权衡的情况下,当$d = k = n -1$,其中$(n, k, d)$是参数的再生代码,其通常的含义。结合Tian et. [1],我们证明了当$d = k = n -1$ .通过分析线性再生码的对偶码,导出了新的外界。
2015-01-26 cs.IT math.IT
Node Repair for Distributed Storage Systems over Fading Channels
分布式存储系统和相关的存储代码可以有效地存储大量数据,同时确保在节点故障的情况下可检索数据。这种系统的研究,特别是有限域上存储码的设计,假设节点通信的物理信道是无差错的。例如,在无线存储系统中,情况并非总是如此。我们研究了分布式存储系统中节点修复期间子数据包被错误修复的概率,其中节点通过AWGN或Rayleigh衰落信道进行通信。渐近概率(SNR的增加),一个节点被错误地修复示出完全由DSS的修复局部性和无线信道的符号出错率确定。最后,我们提出了一些设计标准的物理层编码在这种情况下,并使用它来计算最佳旋转QAM星座用于无线分布式存储系统。
2014-09-25 cs.IT math.IT
Optimal Locally Repairable and Secure Codes for Distributed Storage Systems
本文的目的是超越弹性到分布式存储系统(DSS)的安全性和本地可修复性的研究。安全性和本地可修复性都是重要的一个有效的存储系统的功能,本文的目的是了解这些系统的弹性,安全性和本地可修复性之间的权衡。特别是,本文首先调查的安全性存在的合谋窃听者,窃听者被假定为一起工作,在解码存储的信息。其次,本文重点介绍的编码方案,使最佳的局部修复。它进一步将这两个概念结合在一起,开发本地可修复的编码方案的DSS是安全的,对窃听者。本文的主要结果包括:a.最小存储再生码保密容量的一个改进界。安全的编码方案,实现了一些特殊情况下的界限,c.局部可修码最小距离的一个新界,d.实现最小距离界限的局部可修复码的码构造,以及e.修复带宽有效的局部可修复码的安全约束和不安全约束。
2013-08-06 cs.IT math.IT
Linear Programming Bounds for Distributed Storage Codes
局部可修码的一个主要问题是其鲁棒性。如果本地维修组无法执行维修过程,这将导致维修成本增加。因此,一个局部可修复的代码有多个修复组是至关重要的。在本文中,我们考虑强大的本地可修复的编码方案,保证存在多个不同的(不一定不相交)替代本地修复组的任何单一的故障,使故障节点仍然可以修复本地,即使一些修复组不可用。我们使用线性规划技术来建立这些代码的代码大小的上限。我们还提供了两个例子,强大的本地可修复的代码是最佳的关于我们的线性规划界。此外,我们解决了分布式数据存储网络的更新效率问题。对存储数据的任何修改都将导致更新存储节点的内容。因此,必须最小化需要通过存储数据中的任何变化来更新的节点的数量。研究了更新有效存储码的性质,建立了更新有效局部可修存储码存在的必要条件。
2019-04-06 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数,即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量,存储节点的数量增加没有限制。基于容量表达式,在一个封闭的形式的解决方案,使可靠的存储所需的资源的可行的集合。具体地,示出了跨集群流量可以被最小化为零(即,集群内本地修复成为可能)。将具有零跨簇通信量的网络编码方案定义为簇内可修码,它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model
针对机架感知分布式存储,本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码,实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。
2024-01-27 cs.IT math.IT
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题,其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输(数据包)的数量趋于无穷大时,可以渐近地实现最优折衷界。对于有限数量的传输,我们研究了成功再生的概率。然后,我们研究了两种方法来增加成功再生的概率,即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟,并且在某些情况下可能无法连接到更多的节点。我们发现,除了减少修复带宽,增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
A repair scheme for a distributed storage system based on multivariate polynomials
Department of Mathematics, Virginia Tech(弗吉尼亚理工大学数学系)
本文提出基于多元多项式的分布式存储系统修复方案,扩展了Reed-Muller码的修复能力,可处理单节点和多节点故障。
2025-12-31 cs.IT math.IT
On the Existence of Optimal Exact-Repair MDS Codes for Distributed Storage
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在本文中,我们解决了带宽最优的(n,k,d)精确修复MDS码,它允许任何失败的节点被修复,并访问任意d个幸存节点,其中k<=d<=n-1。我们证明了对于任意可容许的(n,k,d),都存在能达到最小修复带宽(匹配割集下界)的精确修复MDS码,即,k<n且k<=d<=n-1。我们的方法是基于干扰对齐技术,并使用矢量线性码,允许分裂成任意小的子符号的符号。
2010-04-26 cs.IT math.IT
Symmetry in Distributed Storage Systems
最大流外边界是通过重新生成代码来实现的,用于功能修复分布式存储系统。然而,分布式存储系统的精确修复能力是一个悬而未决的问题。本文给出了精确修理分布式存储系统的线性规划界。给出了随机变量集的对称集的概念,建立了对称集上随机变量子集的联合熵的等式。提出了一种适用于精确修复分布式存储系统的级联编码方案,并证明了对于任何精确修复分布式存储系统,级联编码方案都足以达到任意的容许速率。给出了由级联方案引起的随机变量的某些联合熵的等价性。这些联合熵等式是简化线性规划界和获得精确修复分布式存储系统更强逆解的新工具。
2013-05-15 cs.IT math.IT
Characterizations and construction methods for linear functional-repair storage codes
我们提出了一个精确的线性函数修复存储代码的特征{ \em容许状态/},每个状态由一个集合的向量空间在一些固定的有限域。为了说明我们的特性的有用性,我们提供了几个应用程序。我们首先描述了一个简单的建设功能修复存储代码的一个家庭的代码参数满足割集界以外的MBR和MSR点,这些代码被证明有最佳的速度相对于他们的修复局部性。然后,我们利用我们的表征开发一种构造方法,以获得功能的修复代码为给定的参数,使用对称群,它可以用来找到新的代码,并改善已知的。作为后者使用的一个例子,我们描述了一个美丽的功能修复存储代码,发现了这种方法,与属于家庭的参数之前调查,这可以指定在只有八个不同的向量空间。
2013-07-22 cs.IT math.IT
Cooperative Local Repair in Distributed Storage
支持码字符号局部修复的纠删码在分布式存储系统中的应用引起了广泛的关注。本文研究了通常的局部可修码的一个推广。特别地,本文研究了一类具有以下性质的码:任意小的码字符号集都可以从少量的其他符号中重构(修复)。这被称为合作本地修复。本文的主要贡献是界的权衡的最小距离和尺寸的代码,以及明确的建设家庭的代码,使合作的本地修复。其他一些结果合作的本地修复,包括著名的Hadamard/单纯形码的分析。
2016-01-27 cs.IT math.IT
Repair Scheduling in Wireless Distributed Storage with D2D Communication
我们认为分布式存储(DS)的无线网络中,移动设备到达和离开根据泊松随机过程。内容使用擦除校正码存储在许多移动设备中。当请求一条内容时,用户使用设备到设备通信从移动设备检索内容,或者如果不可能,则以较高的通信成本为代价从基站(BS)检索内容。我们考虑当存储数据的设备离开网络时的修复问题。特别是,我们介绍了一个修复调度定期执行(从存储设备或BS)。我们推导出的维修和下载作为修复间隔的函数的整体通信成本的解析表达式。我们通过给出最大距离可分码和再生码的结果来说明分析。我们的研究结果表明,DS可以降低整体通信成本的情况下,内容只从BS下载,只要维修进行得足够频繁。所需的修复频率取决于用于存储的代码和网络参数。特别地,最小带宽再生码需要非常频繁的修复,而最大距离可分离码如果修复不太频繁地执行则给出更好的性能。我们还表明,瞬时修复并不总是最佳的。
2015-08-07 cs.IT math.IT
Practical Functional Regenerating Codes for Broadcast Repair of Multiple Nodes
提出了一种多节点故障的最优功能再生的代码构造和修复方案,该方案基于在线性化多项式上仔细选择的点集上拼接短MDS代码。节点被无线地连接,因此在修复回合期间由帮助节点进行的所有传输可用于所有被修复的节点。该方案具有较低的子包化率、较低的I/O开销和较低的计算开销,因而简单实用。最小带宽再生(MBR)点,以及一个内部的点,在最佳的存储-修复带宽权衡曲线的可扩展性。子空间性质的文件提供洞察功能再生码的一般性质。
2019-04-15 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
The Storage vs Repair-Bandwidth Trade-off for Clustered Storage Systems
我们研究的再生代码的设置,动机的应用程序组成的集群的存储节点的存储系统的泛化。总共有$n$群集,每个群集有$m$节点。数据文件被编码并存储在$mn$节点上,每个节点存储$α$符号。对于数据的可用性,我们要求通过从$k$集群的任何子集下载整个内容来检索文件。节点表示可能失败的实体。我们区分集群内和集群间带宽(BW)的成本在节点修复。集群中的节点修复是通过下载$β$符号来完成的,每个符号来自其他集群中的任何一组$d$,称为远程助手集群,并且还可以从主机集群中的任何一组$\ell$幸存节点,称为本地助手节点,下载多达$α$符号。我们首先确定功能修复下的存储开销和集群间修复带宽之间的最佳权衡,并提出了最佳的精确修复代码的构造一类参数。新的折衷严格优于经由空间共享现有编码解决方案可实现的,无论何时$\ell > 0$。然后,我们得到尖锐的下限必要的集群内修复BW,以实现最佳的权衡。我们的界限揭示了一个有趣的事实,即虽然增加本地帮助节点的数量$\ell$有利于改善存储与集群间修复BW的权衡,但增加$\ell$不仅增加了主机集群中的集群内BW,而且还增加了远程帮助集群中的集群内BW。我们还分析了弹性的集群存储系统对被动窃听提供文件大小的界限和最佳的代码结构。
2018-02-02 cs.IT math.IT
Exact Optimized-cost Repair in Multi-hop Distributed Storage Networks
研究了多跳网络分布式存储系统中失效节点的精确修复问题。与目前大多数通过从幸存节点到新节点的直接链路来建模修复过程的研究相反,修复是通过考虑多跳网络结构来建模的,并且考虑到可能不存在从所有幸存节点到新节点的直接链路。在这些系统的修复问题中,幸存的节点可以合作将修复业务传输到新节点。在此设置中,我们定义节点之间传输的数据包的总数作为修复成本。因此,维修费用的下限可以找到割集界分析。在本文中,我们证明了MDS码在串联网络和网格网络中的精确修复的修复成本的下界是可达到的,从而导致最小成本的精确MDS码。此外,提出了两个次优(可实现)的大规模网格网络的界限。
2014-01-13 cs.IT math.IT
Optimized-Cost Repair in Multi-hop Distributed Storage Systems with Network Coding
在分布式存储系统中,可靠性是通过存储在网络中不同节点的冗余来实现的。然后,即使某些节点发生故障,数据收集器也可以重建源信息。为了保持可靠性,一个自治的和有效的协议应该被用来修复故障的节点。修复过程导致网络中的流量和因此的传输成本。最近的研究结果发现了最佳的trafficstorage权衡,并提出了再生码,以实现最优。我们的目标是最大限度地减少维修过程中的传输成本。我们在修复中考虑了网络拓扑结构,并相应地修改了信息流图。然后,我们分析了削减的要求,并根据结果,我们制定的最小成本作为一个线性规划问题的线性成本。我们表明,线性问题的解决方案建立了一个基本的下限的维修成本。我们还表明,这个界限是可以实现的最小存储再生,它使用的最优成本最小存储再生(OCMSR)代码。我们提出幸存节点合作,可以有效地降低修复成本。进一步讨论了构造OCMSR码的字段大小。我们展示了串联,星形,网格和完全连接的网络中的最优成本修复的增益。
2013-03-25 cs.IT math.IT
Beyond the MDS Bound in Distributed Cloud Storage
分布式存储在当前的云计算框架中起着至关重要的作用。在再生码的开创性工作导出了分布式存储的理论界之后,又发展了基于Reed-Solomon码的再生码。基于RS码的最小存储再生码(RS-MSR)和基于最小带宽再生码(RS-MBR)在码再生时分别能达到MSR点和MBR点的理论界。它们还可以在代码重构中维护MDS属性。然而,在恶意网络中,存储节点可能会受到损害,数据包可能会被篡改,网络的存储容量可能会受到显着影响。本文提出了一种基于厄米特码的最小存储再生(H-MSR)码和一种最小带宽再生(H-MBR)码。我们首先证明了我们提出的基于厄米特码的再生码可以分别达到MSR点和MBR点的理论界。然后,我们提出了数据再生和重建算法的H-MSR码和H-MBR码在无错网络和敌对网络。理论分析表明,与相同码率的RS-MSR码和RS-MBR码相比,该方案在恶意网络环境下能够检测出错误的译码,纠正更多的错误。我们的分析还表明,建议的H-MSR和H-MBR码具有较低的计算复杂性比RS-MSR/RS-MBR码在代码再生和代码重构。
2015-10-05 cs.CR cs.IT math.IT
Increasing Availability in Distributed Storage Systems via Clustering
本文提出了一种新的分布式存储系统架构--固定集群修复系统(FCRS),它在保证高可用性的同时,实现了较小的修复带宽。具体来说,我们将DSS中的服务器集划分为$s$群集,并允许故障服务器选择除其自身群集之外的任何群集作为其修复组。因此,我们保证了$s-1$的可用性。我们的特征在于修复带宽与存储权衡功能修复下的FCRS,并表明,最小的修复带宽可以提高一个渐近乘法因子的$2/3$相比,最先进的编码技术,保证相同的可用性。我们进一步介绍了三次码设计,以最小化修复带宽的FCRS下的确切修复模型。我们证明了一个渐进乘法改善$0.79$在最小修复带宽相比,现有的精确修复编码技术,实现相同的可用性。我们表明,立方码是信息理论上最优的FCRS与$2$和$3$完整的集群。此外,在转移修复模型下,立方码是最优的,而与簇的数量无关。
2019-03-05 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Product Matrix Minimum Storage Regenerating Codes with Flexible Number of Helpers
在分布式存储系统的编码中,通过访问预定义数量的任意选择的存储节点来保证有效的数据重建和修复,通过重新生成代码。传统上,代码参数,特别是参与修复过程的帮助节点的数量是预定的。然而,取决于系统和网络业务的状态,期望相应地调整这样的参数,以便最小化修复成本。在这项工作中,一类再生代码的最小存储量的介绍,可以同时操作在最佳的修复带宽,广泛的确切的修复机制,根据不同数量的帮助节点。
2017-12-28 cs.IT math.IT
Code Constructions for Distributed Storage With Low Repair Bandwidth and Low Repair Complexity
我们提出了一个家庭的纠删码的分布式存储,实现低修复带宽和复杂性的代价较低的容错。该构造基于两类码,其中第一类码的主要目标是提供容错,而第二类码的主要目标是降低修复带宽和修复复杂度。修复过程是两步过程,其中在第一步中使用第一代码修复故障节点的部分。在第一步骤期间下载的符号被高速缓存在存储器中,并且在第二步骤期间用于以最小的附加读取成本修复剩余的被擦除的数据符号。第一类码基于使用捎带修改的MDS码,而第二类码被设计为减少需要下载以修复剩余的擦除符号的附加符号的数量。我们数值计算表明,建议的代码实现更好的修复带宽相比,MDS码,使用背负式构造的代码,和本地重建/金字塔码,而更好的修复复杂度相比,MDS,锯齿形,金字塔码,和使用背负式构造的代码。
2018-08-31 cs.IT math.IT
Secure Repairable Fountain Codes
在这封信中,我们提供了可修复的喷泉码(RFC)的分布式存储系统的信息理论上是安全的,对窃听者,可以访问存储在一个子集的存储节点和下载的数据来修复一个额外的存储节点子集的数据。安全性是通过向消息中添加随机符号来实现的,然后通过Gabidulin码和RFC的级联来编码。我们比较了安全的最小存储再生码和安全的局部可修复码的可实现的码率。
2016-05-26 cs.IT math.IT
Distributed Data Storage Systems with Opportunistic Repair
以平均数据丢失时间(MTTDL)度量的擦除编码分布式存储系统的可靠性依赖于代码的修复带宽。修复有效的代码提供的可靠性值比传统的纠删码好几个数量级。现有技术的代码先验地固定辅助节点(参与修复的节点)的数量。然而,在实践中,期望允许辅助节点的数量由网络业务条件自适应地确定。在这项工作中,我们提出了一个机会主义的修复框架来解决这个问题。它示出,存在一个阈值的存储开销,低于该阈值,这样的机会主义的方法不会失去任何效率,从最佳的存储-修复-带宽的权衡,即它是可能的,以构建一个代码,同时为不同数量的助手节点的最佳。我们进一步研究这种机会主义代码的好处,并得出两个修复模型的MTTDL改进:一个有限的总修复带宽和其他有限的单个节点修复带宽。在这两种情况下,我们都显示了MTTDL的数量级改善。最后,所提出的框架进行检查,在网络设置中观察到MTTDL的显着改善。
2014-11-06 cs.IT math.IT
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
A New Cooperative Repair Scheme with Small Finite Field for Distributed Storage Systems
Bilkent University(比尔肯特大学);Southwest Jiaotong University(西南交通大学)
针对分布式存储系统多节点故障问题,提出一种适用于Ye和Barg的(n,k,d,N) MSR码的新型协作修复方案,将所需有限域规模从q≥(d−k+1)n降至q≥n+1。
2026-08-26 cs.IT math.IT
A Class of Minimum Storage Cooperative Regenerating Codes with Low Access Property
本文研究了一种改进的MDS码的修复方案。在协作修复模型下,所得到的修复方案对多个失效节点具有最优带宽。此外,修复方案具有相对较低的访问性能,其中访问的数据的数量小于最佳值的两倍。
2022-01-17 cs.IT math.IT
Replication based storage systems with local repair
我们考虑分布式存储系统的再生码的设计,该系统具有本地,精确和未编码修复的特性,即,(a)在故障时,可以通过简单地从幸存节点下载分组来重新生成节点,以及(b)所联系的幸存节点的数量严格小于为了重建所存储的文件而需要联系的节点的数量。我们的代码包括一个外部MDS代码和一个内部分数重复代码,指定的存储节点上的编码符号的位置。对于我们的代码类,我们确定本地修复属性和最小距离之间的权衡。我们目前的代码的基础上,图形的高围长,仿射可解析设计和投影平面,满足最小距离范围的文件大小的特定选择。
2013-05-24 cs.IT math.IT
Fractional Repetition Codes for Repair in Distributed Storage Systems
我们介绍了一类新的精确的最小带宽再生(MBR)代码的分布式存储系统,其特征在于一个低复杂度的未编码的修复过程,可以容忍多个节点的故障。这些代码由两个组件的级联组成:外部MDS代码后面跟着内部重复代码。我们将内部代码称为分数重复代码,因为它包括将每个节点的数据分成几个数据包,并将每个数据包的多个副本存储在系统中的不同节点上。我们的修复模型是基于表的,因此,不同于文献中采用的随机访问模型。我们提出了分数重复码的结构的基础上定期图和施泰纳系统的一个大的系统参数。所得到的代码保证达到随机访问修复的存储容量。所考虑的模型激发了一个新的定义的分布式存储系统的容量,我们称之为分数重复容量。我们提供的上限,而精确的表达仍然是一个悬而未决的问题。
2010-10-13 cs.IT math.IT
Two-layer Locally Repairable Codes for Distributed Storage Systems
本文提出了一种适用于分布式存储系统的具有最优最小距离的局部可修码。采用两层编码结构保证数据重构和指定的修复局部性。数据首先在第一层中通过任何现有的最大距离可分离(MDS)码进行编码,然后在第二层中将编码的符号分成不重叠的组并通过MDS阵列码进行编码。第二层中的编码为局部修复提供了足够的冗余,而整个代码基于来自两层的冗余执行数据恢复。我们的代码可以构建在一个有限的字段中的DSS中的节点总数的大小线性增长,并促进有效的降级读取。
2014-08-14 cs.IT math.IT
Secure Storage using Maximally Recoverable Locally Repairable Codes
针对 MR-LRC 在全局修复中易被窃听的问题,提出基于 CPU 与局部多项式的安全修复框架,分析直接修复和转发修复并实现非零保密维度。
2024-05-09 cs.IT math.IT
Exact Regenerating Codes for Byzantine Fault Tolerance in Distributed Storage
由于使用商用软件和硬件,崩溃停止和拜占庭故障可能在当今的大规模分布式存储系统中更加普遍。再生代码已被证明是一种更有效的方式来分散信息在多个节点和恢复崩溃停止故障的文献。在本文中,我们提出了再生代码的设计与完整性检查,允许准确再生失败的节点和数据重建拜占庭故障的存在。一个渐进的解码机制被纳入到这两个过程中,以利用迄今为止执行的计算。分析了方案的容错性和安全性。
2011-08-19 cs.IT math.IT
Exact Cooperative Regenerating Codes with Minimum-Repair-Bandwidth for Distributed Storage
在最小带宽协作再生点上给出了精确协作再生码的一个显式构造。在本文之前,唯一已知的显式MBCR码给出参数$n=d+r$和$d=k$,而我们的构造适用于所有可能的值的$n,k,d,r$。该程序具有简洁的多项式形式的表达式,数据重构采用二元多项式插值实现。它是一种标量码,在大小为$q\geq n$的有限域上操作。此外,我们建立了线性精确MBCR码的几个子空间性质。基于这些性质,我们证明了线性精确MBCR码不能实现转移修复。
2012-07-04 cs.IT math.IT
Repair of Multiple Descriptions on Distributed Storage
在分布式存储的多个描述中,源以共享的方式存储在多个服务器上。当服务器的子集被联系时,源应该根据服务器的数量以一定的最大失真来估计。本文考虑的问题是当其中一台服务器出现故障,由新的服务器替代时,如何恢复系统运行,即修复。要求是,恢复系统中的失真不应超过原始系统中的失真。问题是需要多少额外的比特来修复。我们发现在高斯的情况下,两个服务器的问题的最佳解决方案,和一般$n$节点的可实现的速率。一个结论是,它是必要的,设计的多描述码与修复的头脑,只是使用现有的多描述码的结果是不必要的高修复率。
2018-01-09 cs.IT math.IT
Data Secrecy in Distributed Storage Systems under Exact Repair
研究了分布式存储系统中的数据防窃听问题。重点是使用线性代码并实现精确修复以从节点故障中恢复的系统。可以安全存储的最大文件大小是针对所有可用节点都有助于修复的系统确定的(即,修复程度$d=n-1$,其中$n$是节点的总数)和任意数量的受损节点。文献中的类似结果仅限于最多两个受损节点的情况。此外,新的显式上界给出的最大安全文件大小的系统与$d<n-1$。本文的贡献的关键成分是新的结果子空间相交的数据在修复过程中下载。新的界限意味着有趣的事实,即可以安全存储的最大数据随着受损节点的数量呈指数下降。
2013-04-12 cs.IT math.IT