Two Piggybacking Codes with Flexible Sub-Packetization to Achieve Lower Repair Bandwidth
作为一类特殊的阵列码,$(n,k,m)$捎带码是MDS码(即,$n$节点中的任何$k$都可以检索所有数据符号),其可以利用低子分组化$m$实现用于单节点故障的低修复带宽。在本文中,我们提出了两个新的捎带码,具有较低的修复带宽比现有的捎带码给定相同的参数。我们的第一个捎带代码可以支持灵活的子分组$m$与$2\leq m\leq n-k$,其中$n - k > 3$。我们发现,我们的第一个捎带代码有较低的修复带宽为任何单节点故障时,$n - k = 8,9$,$m = 6$和$30\leq k \leq 100$比现有的捎带代码。此外,我们提出了第二捎带码,使得子分组化是奇偶校验节点的数量的倍数(即,$(n-k)|m$),通过联合设计用于数据节点修复的捎带函数和用于奇偶校验节点修复的变换函数。我们发现,建议的第二个捎带代码具有最低的修复带宽的任何单节点故障之间的所有现有的捎带代码的评估参数$k/n = 0.75, 0.8, 0.9$和$n-k\geq 4$。
2022-09-20 cs.IT math.IT
Repair for Distributed Storage Systems in Packet Erasure Networks
在分布式存储系统的许多应用中,可靠性对于存储文件至关重要。为了保持可靠性,当存储节点发生故障时,应通过修复过程重新生成新节点。大多数以前的结果修复问题假设完美(无错误)的网络中的链接。然而,在实践中,特别是在无线网络中,所发送的分组(用于修复)可能由于例如以下原因而丢失,链路故障或缓冲区溢出。我们研究了数据包擦除网络中分布式存储系统的修复问题,其中数据包丢失被建模为擦除。最小修复带宽,即从幸存节点发送到新节点的信息量,建立在无限数量的分组传输的理想假设下。我们还研究了擦除网络中的带宽存储权衡。然后,使用修复存储节点(具有较小的存储空间的节点),提出了减少修复带宽。研究了修复存储节点的最小存储量问题。对于有限数目的数据包传输的情况下,成功修复的概率进行了研究。我们表明,修复与有限数量的数据包传输可能会使用更大的带宽比最小修复带宽。最后,我们提出了一个组合优化问题,它的结果在给定的数据包删除概率和有限的数据包传输的最佳修复带宽。
2014-05-14 cs.IT math.IT
The Storage vs Repair Bandwidth Trade-off for Multiple Failures in Clustered Storage Networks
我们研究了集群存储系统中的存储开销和集群间修复带宽之间的权衡,同时从集群内的多个节点故障中恢复。群集是$m$节点的集合,并且存在$n$群集。对于数据收集,我们从任何$k$集群下载整个内容。为了修复集群中的$t \geq 2$节点,我们从$\ell$本地节点以及$d$辅助集群获得帮助。我们的特点下功能修复的最佳权衡,并根据确切的修复最小的存储和最小集群间带宽(MBR)的工作点。我们的边界显示了以下有趣的事实:$1)$当$t|(m-\ell)$的权衡是相同的$t=1$下,因此没有优势,在联合修复多个节点,$2)$当$t \nmid (m-\ell)$,最佳的文件大小在MBR点下精确修复可以严格小于功能修复。$3)$与$t=1$的情况不同,增加本地助手节点的数量并不一定会增加功能修复下的系统容量。
2017-08-18 cs.IT math.IT
Broadcast Repair for Wireless Distributed Storage Systems
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统的多节点故障。由于无线信道通常是带宽有限的,我们提倡一种新的措施修复性能称为修复传输带宽,它衡量的平均数量的数据包传输的帮助节点每个失败的节点。得到了存储量和修复传输带宽之间的基本折衷。结果表明,广播修复在存储效率和修复传输带宽方面优于多节点故障有线分布式存储系统的基本修复方法--合作修复,从而得到更好的折衷曲线.
2016-03-01 cs.IT math.IT
On the Sub-Packetization Size and the Repair Bandwidth of Reed-Solomon Codes
RS(Reed-Solomon)码在分布式存储系统中有着广泛的应用。在本文中,我们研究了RS码的修复带宽和子分组大小。修复带宽被定义为从幸存节点到故障节点的传输信息量。RS码可以被视为在一组点处评估的有限域$GF(q^\ell)$上的多项式,其中$\ell$被称为子分组化大小。较小的带宽减少了分布式存储中的网络流量,并且较小的$\ell$有利于以较低的复杂度实现RS码。最近,Guruswami和Wootters提出了一种RS码的修复方法,当评估点是整个有限域时。虽然子包大小可以任意小,但修复带宽高于最小存储再生(MSR)界限。Tamo、Ye和Barg实现了MSR界,但是子分组化大小的增长速度比评估点数量的指数函数更快。在这项工作中,我们提出了代码的建设和修复方案,扩展这些结果,以适应不同大小的评估点。换句话说,我们设计的方案提供了中间点。这些方案在子分组化大小和修复带宽之间提供灵活的折衷。此外,我们推广我们的计划,以管理多个故障。
2019-03-07 cs.IT math.IT
Limitations on the Achievable Repair Bandwidth of Piggybacking Codes with Low Substriping
用于设计用于分布式存储的擦除码的捎带框架已被经验证明是非常有用的,并且已被用于设计具有期望属性(诸如低修复带宽和复杂度)的代码。然而,这一框架的理论属性仍然在很大程度上未被探索。我们解决这一问题,通过调整一般表征修复方案(以前用于里德所罗门码)分析背负代码低substriping。有了这个特征,我们建立了一个分离的背驮和一般擦除码,和几个不可能的结果的子类别的背驮码,对于某些参数,我们还提出了明确的,最佳的结构的背驮码。
2017-07-07 cs.IT math.IT
Centralized Repair of Multiple Node Failures with Applications to Communication Efficient Secret Sharing
本文考虑了一个分布式存储系统,其中多个存储节点可以在一个集中的位置同时重建。这种集中式多节点修复(CMR)模型是再生代码的推广,允许对单个故障节点进行带宽有效的修复。这项工作的重点是在此CMR模型中存储的数据量和修复带宽之间的权衡。特别是,修复带宽的界限推导出的最小存储多节点修复(MSMR)和最小带宽多节点修复(MBMR)的工作点。这些界限的紧密性通过代码结构进行分析。MSMR点的特征在于,通过代码实现这一点的功能修复的通用CMR参数集,以及与代码,使精确修复某些CMR参数。MBMR点,另一方面,其特征在于与精确的修复代码的所有CMR参数的系统,满足一定的熵累积属性。最后,将该模型应用于秘密共享问题,利用多节点修复问题的编码构造了具有带宽有效共享修复性质的通信有效秘密共享方案.
2016-03-15 cs.IT math.IT
Two New Piggybacking Designs with Lower Repair Bandwidth
捎带码是一类特殊的MDS阵列码,其可以通过首先创建$(n,k)$ MDS码(例如Reed-Solomon(RS)码)的一些实例,然后设计捎带函数来实现具有小子分组化的小修复带宽。本文提出了一种新的捎带编码设计方案,该方案在$(n,k)$ MDS码和$(n,k')$ MDS码的某些实例上设计捎带函数,当$k\geq k'$ .我们表明,我们的新的捎带设计可以显着降低单节点故障的修复带宽。在$k=k'$时,我们设计了MDS码作为捎带码,并证明了当奇偶校验节点数为$r=n-k\geq8$和子分组数为$α<r$时,所设计的捎带码比现有的捎带码具有更低的单节点故障修复带宽。此外,我们还设计了另一种piggybacking码,它是通过对$(n,k)$ MDS码的一些实例设计$n$ piggyback函数,并将$n$ piggyback函数添加到新创建的没有数据符号的$n$空条目中。我们表明,我们的代码可以显着减少修复带宽的单节点故障的成本略多的存储开销。此外,我们表明,我们的代码可以恢复任何$r+1$节点故障的一些参数。我们还表明,我们的代码有较低的修复带宽比本地可修码(LRC)相同的容错和冗余的一些参数。
2022-05-29 cs.IT math.IT
Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
A Systematic Construction of MDS Codes With Small Sub-packetization Level and Near-Optimal Repair Bandwidth
在文献中,所有已知的具有最佳修复带宽的高速率MDS码都具有显著大的子分组化水平,这可能会妨碍码在实际系统中的实现。要建立MDS码与小的子分组化水平,现有的建设和理论界意味着,可能会牺牲最优的修复带宽。部分由Tamo等人的工作激励。Theory,59(3),1597-1616,2013),在本文中,我们提出了一种变换,其可以相对于相同的码长n极大地降低具有最佳修复带宽的MDS码的子分组化级别。作为该变换的应用,可以得到四种具有较小的子分组化水平和接近最优的修复带宽的高速率MDS码,其中三种是显式的,所需的字段大小在码长n左右甚至更小。此外,我们提出了另一种显式MDS码,它具有类似的结构,作为第一个结果代码得到的通用变换,但可以建立在一个较小的有限域。
2020-11-21 cs.IT math.IT
MDS Code Constructions with Small Sub-packetization and Near-optimal Repair Bandwidth
本文提出了一种构造MDS码的方法,该方法能够以较小的修复带宽对每个码块进行精确修复,修复带宽指的是修复过程中剩余码块的信息流总量。这个问题在分布式存储系统的上下文中自然出现为节点修复问题[7]。具有最优修复带宽的精确可修复MDS码的构造需要在较大的子包级下工作,这限制了其在实际中的应用。本文提出了MDS码的结构,同时提供小的修复带宽和小的子分组化水平。特别是,本文提出了两种一般的方法来构建精确的可修复MDS码,其目的是显着降低所需的子打包水平的代价稍微次优的修复带宽。第一种方法给出了具有至多两倍于最优修复带宽的修复带宽的MDS码。另外,这些码还具有最小可能的子分组化级别$\ell = O(r)$,其中$r$表示奇偶校验块的数量。然后将这种方法推广到设计代码,使其修复带宽接近最佳修复带宽,但代价是所需子分组级别的适度增加。第二种方法将具有最佳修复带宽和大子分组化水平的MDS码转换成具有较小子分组化水平和接近最佳修复带宽的较长MDS码。对于给定的$r$,所获得的码具有它们的子分组化级别,该子分组化级别随码长度而按比例缩放。此外,所获得的代码需要字段大小在代码长度上仅是线性的,并且根据在代码块的精确重构期间从这些块下载的信息来确保完整代码块之间的负载均衡。
2017-09-24 cs.CC cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储,以实现高容错和低存储冗余。由于跨机架通信成本通常很高,因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中,我们分析了存储冗余和跨机架修复带宽之间的最佳权衡,专门为数据中心,受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线,并提出了一个称为机架感知再生码(RRC)的擦除码族,它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽,分别。我们证明了(i)最小存储冗余构造支持广泛的参数范围,并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽,以及(ii)最小跨架修复带宽构造支持所有参数,并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
PMDS Array Codes With Small Sub-packetization, Small Repair Bandwidth/Rebuilding Access
部分最大距离可分离(PMDS)码是一种擦除码,其中节点被分成多个组,每个组形成具有较小码长的MDS码,因此它们允许仅用几个辅助节点来修复故障节点,并且可以校正所有信息理论上可校正的擦除模式。然而,如果组大小较大,则PMDS码的故障节点的修复仍然需要大量的通信。最近,引入了PMDS阵列码,其中每个局部码是MSR码,以进一步减小修复带宽。然而,它们需要大量的重建访问和不可或缺的重要子分组化级别。在本文中,我们首先提出了两个结构的PMDS阵列码与两个全球的奇偶校验,有更小的子包化水平和更小的有限域比现有的。一种构造可以支持任意数量的本地奇偶校验并且具有$(1+ε)$最优修复带宽(即,$(1+ε)$乘以最优修复带宽),而另一个被限制为两个本地奇偶校验,但是具有显著更小的重建访问,并且其子分组化级别仅为$2$。此外,我们还提出了一种具有三个全局奇偶校验的PMDS阵列码的构造方法,该方法具有较小的子分组级和$(1+ε)$最优修复带宽,所需的有限域明显小于现有的有限域。
2022-11-12 cs.IT math.IT
Increasing Availability in Distributed Storage Systems via Clustering
本文提出了一种新的分布式存储系统架构--固定集群修复系统(FCRS),它在保证高可用性的同时,实现了较小的修复带宽。具体来说,我们将DSS中的服务器集划分为$s$群集,并允许故障服务器选择除其自身群集之外的任何群集作为其修复组。因此,我们保证了$s-1$的可用性。我们的特征在于修复带宽与存储权衡功能修复下的FCRS,并表明,最小的修复带宽可以提高一个渐近乘法因子的$2/3$相比,最先进的编码技术,保证相同的可用性。我们进一步介绍了三次码设计,以最小化修复带宽的FCRS下的确切修复模型。我们证明了一个渐进乘法改善$0.79$在最小修复带宽相比,现有的精确修复编码技术,实现相同的可用性。我们表明,立方码是信息理论上最优的FCRS与$2$和$3$完整的集群。此外,在转移修复模型下,立方码是最优的,而与簇的数量无关。
2019-03-05 cs.IT math.IT
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Exact Cooperative Regenerating Codes with Minimum-Repair-Bandwidth for Distributed Storage
在最小带宽协作再生点上给出了精确协作再生码的一个显式构造。在本文之前,唯一已知的显式MBCR码给出参数$n=d+r$和$d=k$,而我们的构造适用于所有可能的值的$n,k,d,r$。该程序具有简洁的多项式形式的表达式,数据重构采用二元多项式插值实现。它是一种标量码,在大小为$q\geq n$的有限域上操作。此外,我们建立了线性精确MBCR码的几个子空间性质。基于这些性质,我们证明了线性精确MBCR码不能实现转移修复。
2012-07-04 cs.IT math.IT
MDS Array Codes With (Near) Optimal Repair Bandwidth for All Admissible Repair Degrees
本文提出一种适用于任意修复度d>k的(n, k) MSR码构造,具有更小的子分包级别或有限域,并结合通用变换得到修复度d=n-1时具有(1+ε)-最优修复带宽的MDS阵列码,在子分包级别或域大小上优于现有构造。
2023-05-27 cs.IT math.IT
Repairing Generalized Reed-Muller Codes
在分布式存储系统中,修复带宽和局部性都是评价存储代码性能的重要修复代价指标。最近,Guruswami和Wooters提出了一种基于Reed-Solomon码的单次故障最优线性修复方案,改进了经典修复方案的带宽。本文研究了具有良好局部性的广义Reed-Muller(GRM)码的修复带宽。我们将Guruswami和Wooters的修复方案推广到单次失效的GRM码,当子域很小时,它具有接近下界的非平凡带宽。我们进一步扩展了分布式和集中式修复模型中的多故障修复方案,并通过考虑不同的擦除模式来计算带宽期望。
2019-06-25 cs.IT math.CO math.IT
Set Transformation: Trade-off Between Repair Bandwidth and Sub-packetization
本文提出集合变换方法,可将任意MDS码转换为子分组化级别灵活、修复带宽更低且域大小更小的MDS码,并在典型参数下比弹性变换码降低2%-6.6%的修复带宽。
2024-05-04 cs.IT math.IT
Storage-Repair Bandwidth Trade-off for Wireless Caching with Partial Failure and Broadcast Repair
在分布式无线内容缓存系统中研究了多个部分失效的缓存节点的修复,其中总共$n$缓存节点中的$r$丢失其缓存数据的一部分。广播修复失败的缓存内容在网络边缘的研究,即幸存的缓存节点发送广播消息失败的,然后使用,连同幸存的数据在其本地缓存存储器,恢复丢失的内容。导出了存储容量和修复带宽之间的折衷关系。它示出,利用广播性质的无线介质和幸存的缓存内容在部分失败的节点显着降低了每个节点所需的修复带宽。
2018-06-30 cs.DC cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数,即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量,存储节点的数量增加没有限制。基于容量表达式,在一个封闭的形式的解决方案,使可靠的存储所需的资源的可行的集合。具体地,示出了跨集群流量可以被最小化为零(即,集群内本地修复成为可能)。将具有零跨簇通信量的网络编码方案定义为簇内可修码,它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
Enabling optimal access and error correction for the repair of Reed-Solomon codes
最近,里德所罗门(RS)码被证明具有一个修复方案,支持修复失败的节点与最佳的修复带宽。在本文中,我们在两个方向上推广了这个结果。首先,我们提出了一种新的修复方案,用于在[Tamo-Ye-Barg,{ \em IEEE Transactions on信息论},第65卷,2019年5月]中构建的RS码,并表明我们的新方案对帮助节点提供的错误信息具有鲁棒性,同时保持最佳修复带宽。其次,我们构造了一个新的家庭的RS码的最佳访问的任何单个故障节点的修复。我们还表明,构造的代码可以容纳这两个功能,支持最佳的纠错能力的最佳访问修复。超越RS码,我们还证明了任何标量MDS码的最佳修复带宽允许修复方案的最佳访问属性。
2020-01-20 cs.IT math.IT
Optimal Repair Schemes for Some Families of Full-Length Reed-Solomon Codes
Reed-Solomon码在实际存储系统中有许多应用,但直到最近才被认为不适合分布式存储应用,因为人们普遍认为它们具有较差的修复带宽。Guruswami和Wootters(STOC'16)的工作已经表明,实际上可以用Reed-Solomon码执行带宽有效的线性修复:当码在字段$\mathbb{F}_{q^t}$和奇偶校验数$r \geq q^s$上时,其中$(t-s)$除以$t$,存在实现$(n-1)(t-s)\log_2 q$比特的修复带宽的线性方案。我们扩展了这个结果,显示存在这样的线性修复计划的每$1 \leq s < t$。此外,当$n = q^t$和$r = q^s$分别为1和2时,我们的新方案是所有Reed-Solomon码线性修复方案中的最优方案.此外,我们还改进了Guruswami和Wootters的工作中建立的Reed-Solomon码的修复带宽的下限。
2017-05-14 cs.IT math.IT
On the Existence of Optimal Exact-Repair MDS Codes for Distributed Storage
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在本文中,我们解决了带宽最优的(n,k,d)精确修复MDS码,它允许任何失败的节点被修复,并访问任意d个幸存节点,其中k<=d<=n-1。我们证明了对于任意可容许的(n,k,d),都存在能达到最小修复带宽(匹配割集下界)的精确修复MDS码,即,k<n且k<=d<=n-1。我们的方法是基于干扰对齐技术,并使用矢量线性码,允许分裂成任意小的子符号的符号。
2010-04-26 cs.IT math.IT
Improved Schemes for Asymptotically Optimal Repair of MDS Codes
我们认为$(n,k,l)$ MDS码的长度$n$,尺寸$k$,和子分组$l$在有限域$\mathbb{F}$。这种代码的码字由长度为$\mathbb{F}$上的$l$的$n$列向量组成,具有其中的任何$k$都足以恢复整个码字的特性。这些$n$向量中的每一个可以存储在网络中的单独节点上。如果其中一个$n$节点发生故障,我们可以通过从幸存的节点下载符号来恢复其内容,最坏情况下下载的符号总数称为代码的修复带宽。根据割集界限,$(n,k,l)$ MDS码的修复带宽至少为$l(n{-}1)/(n{-}k)$。有几种MDS码的结构,其修复带宽满足或渐近满足割集界。例如,Ye和Barg构造了$(n,k,r^{n})$ Reed-Solomon码,该码渐近满足割集界,其中$r = n-k$。Ye和Barg还构造了最优带宽和最优更新$(n,k,r^{n})$ MDS码。Wang、Tamo和Bruck构造了最优带宽$(n, k, r^{n/(r+1)})$ MDS码,并且这些码具有最优带宽MDS码的最小已知子分组化。所有这些构造中的一个关键思想是在基$r$中表示某些整数。我们展示了如何改进这种技术,以提高亚包化的两个MDS码的结构叶和巴格,同时实现渐近最优的修复带宽。具体地说,当$r=s^{m}$为整数$s$时,我们得到了一个$(n,k,s^{m+n-1})$里德-所罗门码和一个最优更新$(n,k,s…
2021-04-05 cs.IT math.IT
Locally Repairable Regenerating Codes: Node Unavailability and the Insufficiency of Stationary Local Repair
局部可修复码(LRC)是一种巧妙设计的分布式存储码,具有一组(通常很小)固定的帮助节点参与修复。由于大多数现有的LRC假设精确修复,并允许存储的数据($β=α$)从帮助节点的完全交换,它们可以被看作是一个推广的传统的擦除码(EC)与一个非常期望的本地可修复性通过预定集的帮助。然而,这也意味着它们缺乏(i)功能修复和(ii)原始再生代码(RC)中的部分信息交换($β<α$)的特征,这可能进一步降低修复带宽。受RC相对于EC的显著带宽减少的启发,Ahmad等人和Hollmann的现有工作研究了“局部可修复再生码(LRRCs)”的概念,该概念成功地将再生码的功能修复和部分信息交换与LRC的非常期望的局部可修复性特征相结合。由此产生的LRRCs表现出显着的带宽减少。任何本地修复方案(包括LRC和LRRCs)都需要解决的一个重要问题是,有时指定的助手节点可能暂时不可用,这是多次故障、降级读取或其他网络动态的结果。在节点临时不可用的LRRCs的设置下,这项工作研究了不同的助手选择方法的影响。它证明,与节点不可用,所有现有的方法的助手选择,包括在RC和LRC中使用的,可以是不够的,在实现最佳的修复带宽。对于某些情况下,有必要将LRRCs与新的助手选择方法(称为动态助手选择)相结合,以实现最佳修复带宽。这项工作还比较了不同的助手选择方法和答案的性能。
2016-05-04 cs.IT math.IT
Rack-Aware Cooperative Regenerating Codes
在分布式存储系统中,协作再生码在多个节点故障的情况下权衡存储和修复带宽。在机架感知分布式存储系统中,不存在与在机架内传送符号相关联的成本。因此,修复带宽将仅考虑跨机架传输。机架感知再生码的情况下,单节点故障进行了研究,其修复带宽权衡的特点。在本文中,我们认为框架的机架感知合作再生码的情况下,多个节点故障的节点故障均匀分布在一定数量的机架。我们的特点的存储修复带宽的权衡,以及推导出的最小存储和最小修复带宽点的权衡。我们还提供了所有参数的最小带宽机架感知合作再生码的建设。
2021-02-24 cs.IT math.IT
Bandwidth Adaptive & Error Resilient MBR Exact Repair Regenerating Codes
在存储网络中,节点失效是一种常见的分布式存储问题,再生码是解决这种问题的有效方法。它们通过仅访问网络中任意选择的预定义数量的存储节点来保证低成本的数据重建和修复。在这项工作中,我们考虑了对[1]中引入的原始再生代码框架的两个同时扩展; i)数据重建和修复都对网络中存在一定数量的错误节点具有弹性,ii)每次修复中的帮助节点的数量不是固定的,而是可以在运行时选择的灵活参数。我们研究所需的总修复带宽的基本限制,并提供这些代码的存储容量的上限在这些假设下。然后,我们专注于最小修复带宽(MBR)的情况下,并得出确切的存储容量,提出明确的编码方案与确切的修复,实现了在考虑设置的存储容量的上限。为此,我们首先提供了一个更自然的扩展著名的产品矩阵(PM)MBR代码[2],修改,以提供灵活的选择在每次修复的帮助者的数量,并同时在网络中的错误节点的鲁棒性。这是通过证明在足够大的有限域上的矩阵族的非奇异性来实现的。接下来,我们提供了另一个扩展的PM代码,基于新的修复方案,使灵活的帮助者的数量和鲁棒性对错误的节点,而没有任何额外的成本字段大小相比,原来的PM代码。
2017-11-07 cs.IT math.IT
An Efficient Piggybacking Design Framework with Sub-packetization $l\le r$ for All-Node Repair
背负式设计以其较小的分包量可以大大降低修复带宽,在分布式存储系统中得到了广泛的应用。与现有的纠删码相比,背负式纠删码具有操作方便、I/O开销小等优点。在本文中,我们提出了一种新的有效的设计,可以进一步减少修复带宽与子分组$l\le r$其中$r = n-k$。一般来说,我们让$l\le 8$。与其他类似设计相比,我们的设计具有更低的$l$和更灵活的$l$的值。此外,我们的设计可以修复所有的节点与小的修复带宽。因此,我们的背负式设计更具有可行性。
2022-08-31 cs.IT math.IT
A Sytematic Piggybacking Design for Minimum Storage Regenerating Codes
捎带是降低最大距离可分离码(MDS)或最小存储再生码(MSR)修复带宽的有效方法。为了最小化已知的高码率MSR码的奇偶校验节点的修复带宽,通常是原始数据的全部大小,即,通过对背负式设计的深入分析,提出了一种新的系统背负式设计。结果,新的MSR码得到几乎最佳的修复带宽的奇偶节点,而保持最佳的修复带宽的系统节点。在此基础上,提出了在节点修复过程中均衡下载的MSR码。
2014-08-23 cs.IT math.IT
Efficient Repair of (k+2, k) Degraded Read Friendly MDS Array Codes With Sub-packetization 2
City University of Hong Kong(香港城市大学)
本文提出两种降级读友好MDS阵列码构造,分别实现最小修复带宽和双修复机制,适用于任意码长。
2026-11-04 cs.IT math.IT
Storage and Repair Bandwidth Tradeoff for Distributed Storage Systems with Clusters and Separate Nodes
节点存储和修复带宽之间的最佳折衷是分布式存储系统(DSS)的一个重要问题。对于具有集群的现实DSS,在修复故障节点时,从集群内节点下载更多数据比从跨集群节点下载更多数据更有效。因此,区分簇内和跨簇的修复带宽是有意义的。对于集群DSS的权衡已被认为是与特殊的修复假设,其中所有的活节点被用来修复故障节点。在本文中,我们研究了更一般的存储/修复参数下的集群DSS的最佳权衡。此外,再生代码的建设策略,实现点的最佳折衷曲线提出了集群DSS与特定参数作为一个数值例子。此外,分散节点的影响的权衡也被认为是具有集群和分散的节点的DSS。
2018-03-13 cs.DC cs.IT math.IT
Repairing Multiple Failures in the Suh-Ramchandran Regenerating Codes
利用干扰对齐的思想,Suh和Ramchandran构造了一类最小存储再生码,该再生码能够以最优修复带宽修复一个系统节点或一个校验节点。在相同的代码结构下,我们证明了除了单节点故障,双节点故障也可以协同修复,并具有最优修复带宽。给出了六结点Suh-Ramchandran再生码的双重失效修复的一个例子,并给出了一般情况下的证明.
2013-05-14 cs.IT math.IT
Explicit MDS Codes for Optimal Repair Bandwidth
MDS码是擦除校正码,其可以针对给定数目的冗余或奇偶校验符号校正最大数目的擦除。如果MDS码具有$r$奇偶校验,并且发生的擦除不超过$r$,则通过发送码中的所有剩余数据,可以恢复原始信息。然而,已经表明,为了恢复单个符号擦除,仅需要发送信息的$1/r$的一部分。这个分数被称为修复带宽(分数)。在以前的作品中给出了显式的代码构造。如果我们将代码中的每个符号视为某个字段上的向量或列,则代码形成2D数组,并且此类代码在存储系统中特别广泛使用。在本文中,我们解决以下问题:给定的列的长度$l$,奇偶校验数$r$,我们可以构造高速率的MDS阵列码的最佳修复带宽为$1/r$,其代码长度是尽可能长的?本文给出了码长为$(r+1)\log_r l$的码结构。
2014-11-24 cs.IT math.IT
Cooperative repair: Constructions of optimal MDS codes for all admissible parameters
分布式存储系统中多节点修复的两种模型是集中式修复和协作式修复。集中式模型假设所有故障节点都在一个位置重新创建,而协作式模型则规定故障节点可以通信但不同,并且它们之间交换的数据量包含在修复带宽中。作为我们的第一个结果,我们证明了合作修复的最小带宽的下限。我们还表明,合作模式是强于集中式的,在这个意义上说,任何MDS码的最佳修复带宽下的前一个模型也有最佳带宽下的后一个。这些结果是以前已知的额外的“均匀下载”的假设下,这是删除我们的证明。作为我们的主要结果,我们给出了所有可能参数下具有最优合作修复的MDS码的显式构造。更确切地说,给定任何$n,k,h,d$使得$2\le h \le n-d\le n-k$,我们在大小为$|F|\ge (d+1-k)n$的字段$F$上构造$(n,k)$ MDS码,其可以最佳地修复来自任何$d$助手节点的任何$h$擦除。我们的代码的修复方案涉及两轮通信。在第一轮中,每个故障节点从助手节点下载信息,在第二轮中,每个故障节点从其他故障节点下载附加信息。这意味着我们的代码使用尽可能少的轮数来实现最佳修复带宽。
2018-07-11 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
On Epsilon-MSCR Codes for Two Erasures
协作再生码是设计用于在多个节点故障的情况下权衡存储和修复带宽的再生码。最小存储协作再生码是一类实现折衷最小存储点的协作再生码。最近,已经为所有可能的参数$(n,k,d,h)$构造了这些代码,其中通过联系任何$d$幸存节点来修复$h$擦除。然而,这些构造具有非常大的子分组化。$ε$ -MSR码是为了在单节点故障的情况下稍微增加修复带宽而引入的折衷子分组化级别的一类码。我们介绍了框架的$ε$ -MSCR代码,允许一个类似的权衡的情况下,多个节点故障。通过级联一类MSCR码和标量线性码,构造了一种能够从两个节点故障中恢复的$ε$ -MSCR码。我们给出了一个修复过程中修复的$ε$ -MSCR码在两个节点的故障,并计算相同的修复带宽。我们的特点是增加修复带宽所引起的方法相比,最佳的修复带宽给出的割集界。最后,我们展示了$ε$ -MSCR码的子分组化水平在节点数量上的几何尺度。
2019-01-28 cs.IT math.IT
The Storage vs Repair-Bandwidth Trade-off for Clustered Storage Systems
我们研究的再生代码的设置,动机的应用程序组成的集群的存储节点的存储系统的泛化。总共有$n$群集,每个群集有$m$节点。数据文件被编码并存储在$mn$节点上,每个节点存储$α$符号。对于数据的可用性,我们要求通过从$k$集群的任何子集下载整个内容来检索文件。节点表示可能失败的实体。我们区分集群内和集群间带宽(BW)的成本在节点修复。集群中的节点修复是通过下载$β$符号来完成的,每个符号来自其他集群中的任何一组$d$,称为远程助手集群,并且还可以从主机集群中的任何一组$\ell$幸存节点,称为本地助手节点,下载多达$α$符号。我们首先确定功能修复下的存储开销和集群间修复带宽之间的最佳权衡,并提出了最佳的精确修复代码的构造一类参数。新的折衷严格优于经由空间共享现有编码解决方案可实现的,无论何时$\ell > 0$。然后,我们得到尖锐的下限必要的集群内修复BW,以实现最佳的权衡。我们的界限揭示了一个有趣的事实,即虽然增加本地帮助节点的数量$\ell$有利于改善存储与集群间修复BW的权衡,但增加$\ell$不仅增加了主机集群中的集群内BW,而且还增加了远程帮助集群中的集群内BW。我们还分析了弹性的集群存储系统对被动窃听提供文件大小的界限和最佳的代码结构。
2018-02-02 cs.IT math.IT
Repairing Reed-Solomon Codes with Side Information
本文将 Reed-Solomon 码单符号修复推广到带线性无关辅助信息的情形,证明最小带宽仅取决于辅助信息数量,给出下界并优化子空间多项式方案,证明全长码在多类参数下可达最优带宽。
2024-05-12 cs.IT math.IT
Bandwidth Cost of Locally Repairable Convertible Codes in the Global Merge Regime
Carnegie Mellon University(卡内基梅隆大学)
本文研究了在全局合并模式下局部可修复可转换码的带宽成本限制,推导了非平凡的下界,并证明了Maturana和Rashmi的构造在广泛参数范围内是带宽最优的。
2026-04-16 cs.IT math.IT
Distributed Data Storage Systems with Opportunistic Repair
以平均数据丢失时间(MTTDL)度量的擦除编码分布式存储系统的可靠性依赖于代码的修复带宽。修复有效的代码提供的可靠性值比传统的纠删码好几个数量级。现有技术的代码先验地固定辅助节点(参与修复的节点)的数量。然而,在实践中,期望允许辅助节点的数量由网络业务条件自适应地确定。在这项工作中,我们提出了一个机会主义的修复框架来解决这个问题。它示出,存在一个阈值的存储开销,低于该阈值,这样的机会主义的方法不会失去任何效率,从最佳的存储-修复-带宽的权衡,即它是可能的,以构建一个代码,同时为不同数量的助手节点的最佳。我们进一步研究这种机会主义代码的好处,并得出两个修复模型的MTTDL改进:一个有限的总修复带宽和其他有限的单个节点修复带宽。在这两种情况下,我们都显示了MTTDL的数量级改善。最后,所提出的框架进行检查,在网络设置中观察到MTTDL的显着改善。
2014-11-06 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
Optimal Repair of $(k+2, k, 2)$ MDS Array Codes
Key Laboratory of Cryptologic Technology and Information Security, Ministry of Education(教育部密码技术与信息安全重点实验室);School of Cyber Science and Technology, Shandong University(山东大学网络空间安全学院);Quan Cheng Laboratory(泉城实验室)
本文研究了在固定子分包级别下,(k+2, k, 2) MDS数组码单节点故障的最小修复带宽问题,通过点集与射影线的对应关系,推导出下界并构造了两类达到该下界的MDS数组码,提供了具有证明修复效率的实用编码设计。
2026-03-23 cs.IT math.IT
Trace Repair Never Loses to Classical Repair: Exact and Explicit Helper Nodes Selection
本文提出了一种优化的痕迹修复方案,通过精确计算子空间维度并显式选择辅助节点,确保带宽不劣于经典方法,提供理论上的带宽保证。
2026-01-13 cs.IT math.IT
Product Matrix MSR Codes with Bandwidth Adaptive Exact Repair
在具有$k$系统节点的分布式存储系统(DSS)中,通常通过在多个其他节点中存储冗余并执行修复机制以再现故障节点的内容来提供对节点故障的鲁棒性。然后,通过最小化存储开销和数据重建和修复所需的数据传输量来实现效率,这些数据传输量由编码解决方案(如重新生成代码[1])提供。常见的显式再生代码构造通过访问预定义数量$d$的任意选择的可用节点(即帮助器)来实现有效的修复。然而,在实践中,系统的状态基于请求负载、链路流量等动态地改变,并且优化系统性能的参数相应地变化。因此,期望具有能够同时在不同参数范围下最佳地操作的编码方案。具体而言,自适应的帮助节点的数量进行修复的兴趣。虽然鲁棒性要求能够用少量的助手来执行修复,但是希望使用尽可能多的助手来减少传输延迟和总的修复流量。在这项工作中,我们专注于最小存储再生(MSR)代码,其中每个节点都应该存储$α$信息单元,和大小为$kα$的源数据可以从任意一组$k$节点恢复。我们引入了一类MSR码,它可以同时实现最佳修复带宽,并对帮助器的数量进行一组不同的选择,即$D=\{d_{1}, \cdots, d_δ\}$。我们的编码方案遵循[2]中介绍的乘积矩阵(PM)框架,并且可以被认为是[2]中提出的PM MSR代码的推广,使得任何$d_{i} = (i+1)(k-1)$助手都可以执行最佳修复。...
2017-12-28 cs.IT math.IT
Exact-Repair Minimum Bandwidth Regenerating Codes Based on Evaluation of Linearized Polynomials
本文提出了两种新的精确修复最小存储再生(exact-MBR)码。这两种构造都通过首先将GF(q)上的消息向量视为线性化多项式,然后在扩展域GF(q^m)上对其进行求值来获得编码符号。选择评估点,使得在任何节点处的编码符号彼此共轭,而不同节点的对应符号相对于GF(q)线性相关。这些性质确保了数据修复可以在基域GF(q)上进行,而不是某些现有的精确MBR码所需的扩展域上的矩阵求逆。据我们所知,这种方法是新颖的建设确切的MBR码。我们的一个结构导致精确的MBR代码与任意参数。这些exact-MBR代码具有更高的数据重建的复杂性,但较低的数据修复的复杂性比他们的同行的基础上的产品矩阵的方法,因此,他们可能是适合的应用程序,需要少量的数据重建,但大量的数据修复。
2013-01-21 cs.IT math.IT
Node repair on connected graphs, Part II
我们继续我们的研究再生代码在分布式存储系统中的节点之间的连接是由一个图的约束。在这个问题中,失败的节点下载存储在图的顶点子集的信息,以恢复丢失的数据。此信息在网络中移动,节点修复的成本由帮助节点到故障节点的图形距离确定。这个问题在我们最近的工作(IEEE IT Transactions,2022年5月)中得到了阐述,其中我们表明,在中间结点处理信息可以节省直接转发数据的修复带宽。虽然以前的文件仅限于MSR的情况下,在这里,我们将我们的研究的情况下,一般再生码。我们推导出一个下界的修复带宽和制定修复程序与中间处理再生码的几个家庭,强调最近的建设从多线性代数。我们还考虑了图上代码的数据检索任务,推导出通信带宽的下限,并表明它可以在存储带宽权衡曲线的MBR点处实现。
2022-11-02 cs.IT math.IT
A Generic Transformation to Enable Optimal Repair in MDS Codes for Distributed Storage Systems
我们提出了一种通用转换,可以将任何非二进制$(n=k+r,k)$最大距离可分离(MDS)代码转换为同一字段上的另一个$(n,k)$ MDS代码,使得1)一些任意选择的$r$节点具有最佳修复带宽和最佳重建访问,2)对于剩余的$k$节点,归一化修复带宽和归一化重建访问(在文件大小上)被保留,3)子分组化级别仅增加因子$r$。两个直接的应用程序,这种通用的转换。第一个应用是我们可以把任何一个非二进制MDS码的最佳修复带宽或最佳重建访问的系统节点,到一个新的MDS码具有相应的修复最优的所有节点。第二个应用是,通过多次应用变换,任何非二进制$(n,k)$标量MDS码可以被转换成具有最优修复带宽和用于所有节点或仅节点子集的最优重建访问的$(n,k)$ MDS码,其子分组化级别也是最优的。
2018-08-23 cs.IT math.IT
Optimal Repair Bandwidth and Repair I/O of $(n,n-2,2)$ MDS Array Codes
Shanghai Fintelli Box Technology Co., Ltd.(上海芬特利盒科技有限公司)
本文研究了(n,n-2,2) MDS数组码在任意有限域上的最优修复带宽和修复I/O,推导出精确公式并解决首个非平凡冗余和子分包化 regime (2,2) 的问题。
2026-05-11 cs.DM cs.IT math.CO
LDPC Code Design for Distributed Storage: Balancing Repair Bandwidth, Reliability and Storage Overhead
分布式存储系统遭受由于频繁的存储节点故障而产生的显著的修复流量。本文表明,适当设计的低密度奇偶校验(LDPC)码可以大大减少修复所需的块下载量由于其因子图表示的稀疏性。特别地,通过仔细构造因子图,对于给定的码率,可以实现低修复带宽和高可靠性。首先,推导了LDPC码的平均修复带宽公式。这个公式然后被用来建立,最小修复带宽可以通过强制因子图中的定期检查节点度来实现。此外,它表明,给定一个固定的码率,可变节点度也应该是定期的,以产生最小的修复带宽,在一些合理的最小可变节点度的约束。它还表明,对于一个给定的修复带宽的要求,LDPC码可以产生更高的可靠性比目前使用的里德-所罗门(RS)码。我们的可靠性分析的基础上制定的一般方程的平均时间数据丢失(MTTDL)与LDPC码。该公式揭示了停止数与MTTDL密切相关。它进一步表明,LDPC码可以被设计成使得一个小的损失的修复带宽的最优性可以被交易的擦除校正能力,从而MTTDL的大的改善。
2017-10-16 cs.DC cs.IT cs.PF
A realistic distributed storage system that minimizes data storage and repair bandwidth
在实际的分布式存储环境中,存储节点通常放置在机架中,机架是一种用于容纳电子设备的金属支架。已知机架内的节点之间的通信(带宽)成本远低于不同机架内的节点之间的通信(带宽)成本。本文提出了一种新的模型,其中存储节点被放置在两个机架上,并进行了分析。在此模型中,存储节点具有不同的修复成本来修复节点,这取决于它们放置的机架。示出了阈值函数,其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。该阈值函数概括了来自先前分布式存储模型的阈值函数。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较,结果表明,该新模型在维修成本方面优于以前的模型。
2013-01-08 cs.DC cs.IT math.IT
Repairing Reed-Solomon Codes With Two Erasures
尽管RS码具有出色的纠错性能,但在分布式存储应用中却被忽视了,因为人们普遍认为RS码的修复带宽很差:简单的修复方法需要重建整个文件才能恢复单个被擦除的码字符号。在最近的工作中,Guruswami和Wootters(STOC'16)提出了一种用于RS码的单擦除修复方法,该方法在所有线性编码方案中实现了最佳修复带宽。我们扩展他们的跟踪收集技术,以应付两个擦除。
2017-05-14 cs.IT math.IT