Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Convertible Codes: Efficient Conversion of Coded Data in Distributed Storage
大规模分布式存储系统通常使用擦除码来提供数据在面对故障时的耐久性。使用$[n, k]$代码对要存储的一组$k$块进行编码,以生成随后存储在不同存储节点上的$n$块。冗余配置是基于存储设备的故障率来选择的,并且通常保持恒定。然而,Kadekodi等人最近的工作表明,存储设备的故障率随时间显著变化,并且响应于这种变化而调整冗余配置提供了显著的益处。通过重新编码来转换已编码数据的冗余配置需要在资源上产生大量开销,例如访问、设备IO、网络带宽和计算周期。在这项工作中,我们首先提出了一个框架,以正式的概念代码转换:转换数据编码的过程中与$[n^I, k^I]$代码编码成数据与$[n^F, k^F]$代码,同时保持所需的可解码性属性,如最大距离可分离(MDS)的属性。然后,我们介绍可转换代码,一类新的代码,允许代码转换的资源效率的方式。对于一个重要的参数制度(我们称之为合并制度),随着线性和MDS可解码性约束,我们证明紧边界代码转换过程中访问的节点数。特别是,我们的可转换性的结果是一个明确的建设MDS可转换代码,是最佳的所有参数值的合并制度,虽然具有高字段大小。然后,我们提出了明确的低字段大小的最佳MDS可转换代码的结构,在合并制度的参数范围很广。因此,我们的研究结果表明,与重新编码相比,确实可以用更少的资源实现代码转换。
2019-07-30 cs.DC cs.IT cs.NI
Cost-Bandwidth Tradeoff In Distributed Storage Systems
分布式存储系统主要是由于存储容量有限,并通过将数据分布在多个存储节点上来提高可靠性。另一方面,可能发生数据存储在不可靠的节点中,而期望最终用户具有对存储的数据的可靠访问。因此,在节点被损坏的情况下,为了防止系统可靠性退化,需要重新生成具有与损坏的节点相同的存储数据量的新节点,以保持存储节点的数量,从而具有先前的可靠性。这需要新节点连接到一些现有节点并下载所需信息,从而占用一些带宽,称为修复带宽。另一方面,下载的成本很可能在不同的节点上有所不同。本文旨在研究理论上的代价-带宽权衡,更重要的是,证明了通过使用所谓的广义再生码可以实现该曲线上的任何点,广义再生码是Dimakis等人在[1]中引入的再生码的增强。
2010-04-14 cs.IT cs.NI math.IT
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中,出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐(IA)的概念将不需要的数据在尽可能小的空间中对齐。这里,给出了Cadambe { \it et al.}提供了线索,完善IA的情况下,我们结合阿达玛矩阵的基本性质,构建一个新的存储代码具有良好的修复性能。具体来说,我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$,其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外,单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
LDPC Code Design for Distributed Storage: Balancing Repair Bandwidth, Reliability and Storage Overhead
分布式存储系统遭受由于频繁的存储节点故障而产生的显著的修复流量。本文表明,适当设计的低密度奇偶校验(LDPC)码可以大大减少修复所需的块下载量由于其因子图表示的稀疏性。特别地,通过仔细构造因子图,对于给定的码率,可以实现低修复带宽和高可靠性。首先,推导了LDPC码的平均修复带宽公式。这个公式然后被用来建立,最小修复带宽可以通过强制因子图中的定期检查节点度来实现。此外,它表明,给定一个固定的码率,可变节点度也应该是定期的,以产生最小的修复带宽,在一些合理的最小可变节点度的约束。它还表明,对于一个给定的修复带宽的要求,LDPC码可以产生更高的可靠性比目前使用的里德-所罗门(RS)码。我们的可靠性分析的基础上制定的一般方程的平均时间数据丢失(MTTDL)与LDPC码。该公式揭示了停止数与MTTDL密切相关。它进一步表明,LDPC码可以被设计成使得一个小的损失的修复带宽的最优性可以被交易的擦除校正能力,从而MTTDL的大的改善。
2017-10-16 cs.DC cs.IT cs.PF
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Storage-Repair Bandwidth Trade-off for Wireless Caching with Partial Failure and Broadcast Repair
在分布式无线内容缓存系统中研究了多个部分失效的缓存节点的修复,其中总共$n$缓存节点中的$r$丢失其缓存数据的一部分。广播修复失败的缓存内容在网络边缘的研究,即幸存的缓存节点发送广播消息失败的,然后使用,连同幸存的数据在其本地缓存存储器,恢复丢失的内容。导出了存储容量和修复带宽之间的折衷关系。它示出,利用广播性质的无线介质和幸存的缓存内容在部分失败的节点显着降低了每个节点所需的修复带宽。
2018-06-30 cs.DC cs.IT math.IT
Convertible Codes: MSR-to-MSR Conversion with Optimal Access and Bandwidth
Southwest Jiaotong University(西南交通大学);Information Coding and Transmission Key Laboratory of Sichuan Province(四川省信息编码与传输重点实验室)
本文研究合并机制下的可转换码,聚焦最小存储再生(MSR)设置,提出显式MSR到MSR转换方案,实现最优访问成本和转换带宽。
2026-06-27 cs.IT math.IT
Lower Bounds on Conversion Bandwidth for MDS Convertible Codes in Split Regime
State Key Laboratory of Cryptography and Digital Economy Security(密码学与数字经济安全国家重点实验室);Key Laboratory of Cryptologic Technology and Information Security, Ministry of Education(教育部密码技术与信息安全重点实验室);School of Cyber Science and Technology, Shandong University(山东大学网络空间科学学院)
本文基于线性代数框架提出新的带宽下界,改进了某些参数域的先前结果,并在 $r^F\le r^I\le k^F$ 情况下与Maturana和Rashmi的构造匹配,证明了下界在该情况下的紧性。
2026-05-12 cs.IT math.IT
Low Power Analog-to-Digital Conversion in Millimeter Wave Systems: Impact of Resolution and Bandwidth on Performance
毫米波系统中使用的宽带宽和大量天线给接收机的功耗带来了沉重的负担。在本文中,使用加性量化噪声模型,模拟数字转换器(ADC)的分辨率和带宽上的可达速率的影响进行了研究的接收机功率约束下的多天线系统。两种接收机架构,模拟和数字组合,在性能方面进行了比较。结果表明:(i)对于模拟和数字组合两者,存在最大带宽,超过该最大带宽,可实现的速率降低;(ii)取决于系统的操作机制,当仅考虑ADC功耗时,模拟组合器可以具有较高的速率,但是数字组合使用较少的带宽;(iii)当考虑接收器前端中的所有组件的功耗时,数字组合可以具有较高的速率。
2015-02-06 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数,即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量,存储节点的数量增加没有限制。基于容量表达式,在一个封闭的形式的解决方案,使可靠的存储所需的资源的可行的集合。具体地,示出了跨集群流量可以被最小化为零(即,集群内本地修复成为可能)。将具有零跨簇通信量的网络编码方案定义为簇内可修码,它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
The Storage vs Repair Bandwidth Trade-off for Multiple Failures in Clustered Storage Networks
我们研究了集群存储系统中的存储开销和集群间修复带宽之间的权衡,同时从集群内的多个节点故障中恢复。群集是$m$节点的集合,并且存在$n$群集。对于数据收集,我们从任何$k$集群下载整个内容。为了修复集群中的$t \geq 2$节点,我们从$\ell$本地节点以及$d$辅助集群获得帮助。我们的特点下功能修复的最佳权衡,并根据确切的修复最小的存储和最小集群间带宽(MBR)的工作点。我们的边界显示了以下有趣的事实:$1)$当$t|(m-\ell)$的权衡是相同的$t=1$下,因此没有优势,在联合修复多个节点,$2)$当$t \nmid (m-\ell)$,最佳的文件大小在MBR点下精确修复可以严格小于功能修复。$3)$与$t=1$的情况不同,增加本地助手节点的数量并不一定会增加功能修复下的系统容量。
2017-08-18 cs.IT math.IT
Capacity of Distributed Storage Systems with Clusters and Separate Nodes
在分布式存储系统中,节点存储和修复带宽之间的最优折衷是设计分布式编码策略以保证大规模数据可靠性的重要问题。DSS的能力作为一个功能的节点存储和修复带宽参数,特征的权衡。有很多工作在DSS与集群(机架),其中修复带宽从集群内和跨集群是有区别的。然而,在现实的DSS中,分离节点也是普遍存在的,但对具有集群和分离节点的DSS(CSN-DSS)的研究还不够。在本文中,我们制定了一个单独的节点的CSN-DSS的容量首次修复一个单独的节点的带宽是跨集群。因此,节点存储和修复带宽之间的最佳权衡推导出并与集群DSS相比。基于该折衷构造了重新生成的代码实例。此外,增加一个单独的节点的影响进行了理论分析和制定。我们证明了当每个集群包含R个节点,并且任意k个节点都足以恢复原始文件(MDS属性)时,如果R| k,否则减小容量。
2019-01-10 cs.DC cs.IT math.IT
An Improved Outer Bound on the Storage-Repair-Bandwidth Tradeoff of Exact-Repair Regenerating Codes
在本文中,我们建立了一个改进的外界的存储-修复-带宽权衡再生码下的精确修复。结果表明,特别是,它是不可能构建精确修复再生码,渐近实现的折衷,持有功能修复。虽然这已经表明田早些时候为特殊情况下的$[n,k,d]=[4,3,3]$,目前的结果持有一般$[n,k,d]$。新的外边界是通过建立在Shah等人早些时候建立的框架上获得的。
2013-12-20 cs.IT math.IT
Cooperative Regenerating Codes for Distributed Storage Systems
当分布式存储系统中存在多个节点故障时,就修复带宽最小化而言,以逐个方式单独地重新生成故障存储节点是次优的。如果启用新节点之间的数据交换,我们可以在修复带宽和每个节点的存储之间获得更好的权衡。给出了一种显式的、优化的协作再生码的构造方法。
2011-02-08 cs.DC cs.IT math.IT
Repair for Distributed Storage Systems in Packet Erasure Networks
在分布式存储系统的许多应用中,可靠性对于存储文件至关重要。为了保持可靠性,当存储节点发生故障时,应通过修复过程重新生成新节点。大多数以前的结果修复问题假设完美(无错误)的网络中的链接。然而,在实践中,特别是在无线网络中,所发送的分组(用于修复)可能由于例如以下原因而丢失,链路故障或缓冲区溢出。我们研究了数据包擦除网络中分布式存储系统的修复问题,其中数据包丢失被建模为擦除。最小修复带宽,即从幸存节点发送到新节点的信息量,建立在无限数量的分组传输的理想假设下。我们还研究了擦除网络中的带宽存储权衡。然后,使用修复存储节点(具有较小的存储空间的节点),提出了减少修复带宽。研究了修复存储节点的最小存储量问题。对于有限数目的数据包传输的情况下,成功修复的概率进行了研究。我们表明,修复与有限数量的数据包传输可能会使用更大的带宽比最小修复带宽。最后,我们提出了一个组合优化问题,它的结果在给定的数据包删除概率和有限的数据包传输的最佳修复带宽。
2014-05-14 cs.IT math.IT
Broadcast Repair for Wireless Distributed Storage Systems
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统的多节点故障。由于无线信道通常是带宽有限的,我们提倡一种新的措施修复性能称为修复传输带宽,它衡量的平均数量的数据包传输的帮助节点每个失败的节点。得到了存储量和修复传输带宽之间的基本折衷。结果表明,广播修复在存储效率和修复传输带宽方面优于多节点故障有线分布式存储系统的基本修复方法--合作修复,从而得到更好的折衷曲线.
2016-03-01 cs.IT math.IT
Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model
针对机架感知分布式存储,本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码,实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。
2024-01-27 cs.IT math.IT
Explicit Construction of Minimum Bandwidth Rack-Aware Regenerating Codes
在大型数据中心中,存储节点被组织在机架中,并且跨机架传输主导带宽成本。对于单节点故障的修复,实现存储冗余和跨机架修复带宽之间的折衷的代码被称为机架感知再生代码(RRC)。在这项工作中,我们给出了具有最小修复带宽的RRCs的第一个显式构造(即,跨机架带宽等于每个节点的存储大小)。我们的建设适用于所有允许的参数,并具有最低的子打包水平。此外,底层有限域的大小与存储节点的数量相当,这使得我们的代码在实践中更容易实现。最后,为了便于实际应用,我们还建立了一个转换,将我们的代码转换成系统代码。
2021-04-20 cs.IT math.IT
The Storage-Repair-Bandwidth Trade-off of Exact Repair Linear Regenerating Codes for the Case $d = k = n-1$
本文研究了精确修复线性再生码的设定问题。在这种设置下,我们推导出一个新的存储-修复-带宽权衡的情况下,当$d = k = n -1$,其中$(n, k, d)$是参数的再生代码,其通常的含义。结合Tian et. [1],我们证明了当$d = k = n -1$ .通过分析线性再生码的对偶码,导出了新的外界。
2015-01-26 cs.IT math.IT
Rack-Aware Cooperative Regenerating Codes
在分布式存储系统中,协作再生码在多个节点故障的情况下权衡存储和修复带宽。在机架感知分布式存储系统中,不存在与在机架内传送符号相关联的成本。因此,修复带宽将仅考虑跨机架传输。机架感知再生码的情况下,单节点故障进行了研究,其修复带宽权衡的特点。在本文中,我们认为框架的机架感知合作再生码的情况下,多个节点故障的节点故障均匀分布在一定数量的机架。我们的特点的存储修复带宽的权衡,以及推导出的最小存储和最小修复带宽点的权衡。我们还提供了所有参数的最小带宽机架感知合作再生码的建设。
2021-02-24 cs.IT math.IT
Bandwidth Cost of Locally Repairable Convertible Codes in the Global Merge Regime
Carnegie Mellon University(卡内基梅隆大学)
本文研究了在全局合并模式下局部可修复可转换码的带宽成本限制,推导了非平凡的下界,并证明了Maturana和Rashmi的构造在广泛参数范围内是带宽最优的。
2026-04-16 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
Exact Cooperative Regenerating Codes with Minimum-Repair-Bandwidth for Distributed Storage
在最小带宽协作再生点上给出了精确协作再生码的一个显式构造。在本文之前,唯一已知的显式MBCR码给出参数$n=d+r$和$d=k$,而我们的构造适用于所有可能的值的$n,k,d,r$。该程序具有简洁的多项式形式的表达式,数据重构采用二元多项式插值实现。它是一种标量码,在大小为$q\geq n$的有限域上操作。此外,我们建立了线性精确MBCR码的几个子空间性质。基于这些性质,我们证明了线性精确MBCR码不能实现转移修复。
2012-07-04 cs.IT math.IT
A Sytematic Piggybacking Design for Minimum Storage Regenerating Codes
捎带是降低最大距离可分离码(MDS)或最小存储再生码(MSR)修复带宽的有效方法。为了最小化已知的高码率MSR码的奇偶校验节点的修复带宽,通常是原始数据的全部大小,即,通过对背负式设计的深入分析,提出了一种新的系统背负式设计。结果,新的MSR码得到几乎最佳的修复带宽的奇偶节点,而保持最佳的修复带宽的系统节点。在此基础上,提出了在节点修复过程中均衡下载的MSR码。
2014-08-23 cs.IT math.IT
On Heterogeneous Regenerating Codes and Capacity of Distributed Storage Systems
异构分布式存储系统(DSS)接近于现实世界中的数据存储应用。互联网缓存系统和对等存储云就是这样的DSS的例子。在这项工作中,我们计算这样的系统,每个节点存储不同数量的数据包,每个具有不同的修复带宽(节点可以通过接触一组特定的节点修复)的容量公式。研究了这种异构DSS的存储和修复带宽之间的权衡曲线。通过对容量公式的分析,在曲线上得到了新的最小带宽再生点和最小存储再生点。结果表明,在某些情况下,这些都优于同质DSS。
2014-02-16 cs.IT math.IT
Cooperative Network Coding for Distributed Storage using Base Stations with Link Constraints
在这项工作中,我们考虑了一种新的分布式数据存储/缓存的情况下,在蜂窝环境中,多个节点可能会失败/离开在同一时间。为了保持目标可靠性,我们允许在分配在一组分层中的基站的帮助下合作再生丢失的节点。由于这种分层结构,从每个基站下载的符号具有不同的成本,同时连接蜂窝系统的节点和基站的链路容量也是有限的。在这个更实际和一般的情况下,我们提出了修复带宽成本和每个节点的存储空间之间的基本权衡。特别有趣的工作点是最小存储以及带宽成本点在这个权衡曲线。我们为这些操作点提供了每个节点的相应带宽(成本)和存储空间的封闭式表达式。最后,我们提供了一个显式的最佳代码结构的最小存储再生点为一组给定的系统参数。
2021-05-05 cs.IT cs.NI math.IT
Secure Cooperative Regenerating Codes for Distributed Storage Systems
再生代码使得能够在分布式存储系统(DSS)中权衡存储的修复带宽。由于它们的分布式性质,这些系统本质上容易受到攻击,并且它们也可能受到多个同时节点故障的影响。合作再生码允许带宽有效的修复多个同时发生的节点故障。本文分析了存储系统,采用合作再生码是强大的(被动)窃听。分析分为两个部分,研究最小带宽和最小存储的合作再生的情况。首先,最小带宽合作再生码的保密容量的特点。其次,对于最小存储空间的协作再生码,给出了一个安全的文件大小上界和可扩展性结果。这些结果建立了某些特殊情况下的最小存储方案的保密能力。在所有的情况下,可扩展性的结果对应于确切的修复,并获得安全的文件大小上限使用最小割分析在一个合适的保密图表示的DSS。主要的可窃听性参数是基于适当的数据预编码,以消除信息泄漏给窃听者。
2014-07-09 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储,以实现高容错和低存储冗余。由于跨机架通信成本通常很高,因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中,我们分析了存储冗余和跨机架修复带宽之间的最佳权衡,专门为数据中心,受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线,并提出了一个称为机架感知再生码(RRC)的擦除码族,它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽,分别。我们证明了(i)最小存储冗余构造支持广泛的参数范围,并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽,以及(ii)最小跨架修复带宽构造支持所有参数,并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
Caching in Wireless Small Cell Networks: A Storage-Bandwidth Tradeoff
在网络边缘缓存内容是卸载流量、减少延迟和提高用户体验质量的有效手段。在这封信中,我们专注于存储带宽的权衡方面,其中小小区基站分布根据一个均匀的泊松点过程和缓存内容根据一个给定的内容流行度分布,受存储约束。我们提供了一个封闭形式的表达的缓存未命中概率,定义为不满足用户的请求在一个给定的覆盖区域的概率,作为信号干扰比,缓存大小,基站密度和内容流行度的函数。特别是,它示出,对于一个给定的最小缓存大小,基于流行度的缓存策略实现较低的中断概率为一个给定的基站密度相比,均匀的缓存。此外,我们表明,流行度为基础的缓存达到更好的性能在缓存未命中概率相同的频谱。
2016-03-17 cs.IT math.IT
Update Bandwidth for Distributed Storage
本文研究了分布式存储系统的更新带宽问题.测量DSS中更新过程的传输效率的更新带宽被定义为当存储在节点中的数据符号被更新时在网络中传输的数据符号的总量。本文件包含以下贡献。首先,我们建立了不规则阵列码所能达到的最小更新带宽的封闭表达式。其次,在定义了一类能实现非规则阵列码最小更新带宽的非规则阵列码(称为最小更新带宽MUB码)后,确定了MUB码所能达到的最小码冗余度。第三,确定了使不规则阵列码的最小码冗余度和MUB码的最小码冗余度相等的码参数,从而将MR-MUB码定义为一类同时实现最小码冗余度和最小更新带宽的不规则阵列码。第四,我们介绍了显式码构造的MR-MUB码和MUB码的最小码冗余。第五,我们建立了MR-MUB码的更新复杂度的下界,该下界可用于证明非规则阵列码的最小更新复杂度可能无法由MR-MUB码实现。最后,我们构造了一类$(n = k + 2, k)$垂直最大距离可分(MDS)阵列码,该阵列码能够同时实现非规则阵列码的最小码冗余、最小更新带宽和最优修复带宽。
2020-05-25 cs.IT math.IT
The Storage vs Repair-Bandwidth Trade-off for Clustered Storage Systems
我们研究的再生代码的设置,动机的应用程序组成的集群的存储节点的存储系统的泛化。总共有$n$群集,每个群集有$m$节点。数据文件被编码并存储在$mn$节点上,每个节点存储$α$符号。对于数据的可用性,我们要求通过从$k$集群的任何子集下载整个内容来检索文件。节点表示可能失败的实体。我们区分集群内和集群间带宽(BW)的成本在节点修复。集群中的节点修复是通过下载$β$符号来完成的,每个符号来自其他集群中的任何一组$d$,称为远程助手集群,并且还可以从主机集群中的任何一组$\ell$幸存节点,称为本地助手节点,下载多达$α$符号。我们首先确定功能修复下的存储开销和集群间修复带宽之间的最佳权衡,并提出了最佳的精确修复代码的构造一类参数。新的折衷严格优于经由空间共享现有编码解决方案可实现的,无论何时$\ell > 0$。然后,我们得到尖锐的下限必要的集群内修复BW,以实现最佳的权衡。我们的界限揭示了一个有趣的事实,即虽然增加本地帮助节点的数量$\ell$有利于改善存储与集群间修复BW的权衡,但增加$\ell$不仅增加了主机集群中的集群内BW,而且还增加了远程帮助集群中的集群内BW。我们还分析了弹性的集群存储系统对被动窃听提供文件大小的界限和最佳的代码结构。
2018-02-02 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Distributed Storage Schemes over Unidirectional Ring Networks
本文研究了单向环形网络上的分布式存储问题。提出了一个重构带宽的下限,以恢复所有原始数据为每个用户,它是可实现的任意参数。如果一个分布式存储方案能够达到这个下限,并且每个用户都是平等的,我们称之为最优重构分布式存储方案(ORDSS)。此外,一个失败的存储节点在ORDSSes的修复问题正在考虑中,并为每个存储节点的修复带宽上的一个严格的下界。特别是,我们指出的事实,对于任何ORDSS,每个存储节点可以修复修复带宽达到下限与平等。此外,我们提出了一个有效的方法来构建任意参数的欧氏分割的概念。最后,我们用一个例子来描述上述方法。
2014-01-21 cs.IT math.IT
Non-homogeneous Two-Rack Model for Distributed Storage Systems
在传统的两机架分布式存储系统(DSS)模型中,由于假设每个节点的存储容量相同,因此最小带宽再生(MBR)点变得不可行。在本文中,我们设计了一个新的非齐次两机架模型,提出了一个推广的阈值函数用于计算的权衡曲线。我们证明,通过具有更高的再生带宽的机架中的节点存储更多的信息,所有的点上的权衡曲线,包括MBR点,成为可行的。最后,我们展示了非均匀的两个机架模型优于传统的模型,在每个节点的存储和修复带宽之间的权衡曲线。
2013-07-31 cs.IT math.IT
Increasing Availability in Distributed Storage Systems via Clustering
本文提出了一种新的分布式存储系统架构--固定集群修复系统(FCRS),它在保证高可用性的同时,实现了较小的修复带宽。具体来说,我们将DSS中的服务器集划分为$s$群集,并允许故障服务器选择除其自身群集之外的任何群集作为其修复组。因此,我们保证了$s-1$的可用性。我们的特征在于修复带宽与存储权衡功能修复下的FCRS,并表明,最小的修复带宽可以提高一个渐近乘法因子的$2/3$相比,最先进的编码技术,保证相同的可用性。我们进一步介绍了三次码设计,以最小化修复带宽的FCRS下的确切修复模型。我们证明了一个渐进乘法改善$0.79$在最小修复带宽相比,现有的精确修复编码技术,实现相同的可用性。我们表明,立方码是信息理论上最优的FCRS与$2$和$3$完整的集群。此外,在转移修复模型下,立方码是最优的,而与簇的数量无关。
2019-03-05 cs.IT math.IT
Network Coding for Distributed Storage Systems
对等分布式存储系统通过互联网上节点上的冗余来提供对数据的可靠访问。一个关键目标是最大限度地减少用于维持冗余的带宽量。使用擦除码将文件存储在跨节点的片段中,与简单复制相比,需要更少的冗余,因此需要更少的维护带宽来提供相同的可靠性。然而,由于碎片必须定期更换节点故障,一个关键的问题是如何生成一个新的碎片在分布式的方式,同时在网络上传输尽可能少的数据。在本文中,我们介绍了一种通用的技术来分析存储体系结构,结合任何形式的编码和复制,以及提出了两个新的方案,用于保持冗余使用纠删码。首先,我们展示了如何直接从系统中现有的片段优化生成MDS片段。其次,我们引入了一个新的计划,称为再生码,使用稍大的片段比MDS,但具有较低的整体带宽使用。我们还通过模拟表明,在现实的环境中,再生码可以减少维护带宽使用的25%或以上,与以前最好的设计-复制和擦除码的混合-同时简化系统架构。
2007-02-02 cs.IT cs.NI math.IT
Code Constructions for Distributed Storage With Low Repair Bandwidth and Low Repair Complexity
我们提出了一个家庭的纠删码的分布式存储,实现低修复带宽和复杂性的代价较低的容错。该构造基于两类码,其中第一类码的主要目标是提供容错,而第二类码的主要目标是降低修复带宽和修复复杂度。修复过程是两步过程,其中在第一步中使用第一代码修复故障节点的部分。在第一步骤期间下载的符号被高速缓存在存储器中,并且在第二步骤期间用于以最小的附加读取成本修复剩余的被擦除的数据符号。第一类码基于使用捎带修改的MDS码,而第二类码被设计为减少需要下载以修复剩余的擦除符号的附加符号的数量。我们数值计算表明,建议的代码实现更好的修复带宽相比,MDS码,使用背负式构造的代码,和本地重建/金字塔码,而更好的修复复杂度相比,MDS,锯齿形,金字塔码,和使用背负式构造的代码。
2018-08-31 cs.IT math.IT
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
Locally repairable convertible codes with optimal access costs
本文研究合并情形下局部可修复码的码转换问题,建立了通用LRCs转换访问代价下界,并提出访问代价达到该下界且域大小与码长成线性关系的LRCs通用构造。
2023-08-13 cs.IT math.IT
Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient
我们考虑一种设置,其中使用(n,k)最小存储再生(MSR)码,将大小为M的文件存储在n个分布式存储节点中,即,最大距离可分离(MDS)码,其还允许任何故障节点的有效精确修复。本文中感兴趣的问题是最小化修复带宽B以精确再生单个故障节点,即,新节点要下载的最小数据,以用其精确副本替换故障节点。以前的工作已经表明,带宽B =[M(n-1)]/[k(n-k)]是必要的和足够的功能(不精确)再生。也已经表明,如果k <= max(n/2,3),则精确再生比功能再生没有额外的成本。低冗余的实际相关设置,即,对于k> 3,k/n> 1/2保持开放,并且已经表明,在这种情况下,精确修复比功能修复有额外的带宽成本。在这项工作中,我们采用到分布式存储上下文中的渐近最优的干扰对齐方案以前提出的Cadambe和Jafar大型无线干扰网络。利用该方案,我们解决了(n,k)个正态MSR码的修复带宽最小化问题,其中包括k> \max(n/2,3)的开放情形。我们的主要结果是,对于任何(n,k),和足够大的文件大小,有没有额外的成本,确切的再生功能再生的修复带宽再生数据的每一位。更精确地说,我们证明了当M趋于无穷大时,B/M =(n-1)/(k(n-k))。
2010-04-24 cs.IT math.IT
A Class of MSR Codes for Clustered Distributed Storage
集群分布式存储对集群内和跨集群修复带宽不同的真实数据中心进行建模。本文设计了一种可实现分簇分布式存储容量的精确修复最小存储再生(MSR)码。重点是两种情况下:$ε=0$和$ε=1/(n-k)$,其中$ε$是可用的跨集群和集群内修复带宽的比率,$n$是分布式节点的总数和$k$是数据检索中接触节点的数量。前者表示不允许跨集群通信的情况,而后者对应于在最小存储开销约束下可能的最小跨集群带宽的情况。对于$ε=0$情形,证明了两种局部可修码能达到MSR点。对于$ε=1/(n-k)$,在$n = 2k$的特定条件下,针对两簇的情况,提出了一种显式的MSR编码方案。
2018-01-06 cs.IT math.IT
On the Existence of Optimal Exact-Repair MDS Codes for Distributed Storage
(n,k)最大距离可分离(MDS)纠删码的高修复代价最近促使一类新的码(称为再生码)以最佳方式权衡存储代价和修复带宽。在本文中,我们解决了带宽最优的(n,k,d)精确修复MDS码,它允许任何失败的节点被修复,并访问任意d个幸存节点,其中k<=d<=n-1。我们证明了对于任意可容许的(n,k,d),都存在能达到最小修复带宽(匹配割集下界)的精确修复MDS码,即,k<n且k<=d<=n-1。我们的方法是基于干扰对齐技术,并使用矢量线性码,允许分裂成任意小的子符号的符号。
2010-04-26 cs.IT math.IT
Access vs. Bandwidth in Codes for Storage
最大距离可分离码(MDS)广泛应用于存储系统中,以防止磁盘(节点)故障。如果节点能够存储某个字段的符号量,则该节点被称为在该字段$\mathbb{F}$上具有容量$l$。$(n,k,l)$ MDS码使用容量为$l$的$n$节点来存储$k$信息节点。MDS属性保证对任何$n-k$节点故障的恢复能力。\emph{optimal bandwidth}(分别\emph{optimal access})MDS代码通信(分别访问)在单个故障节点的修复过程期间的最小数据量。结果表明,该数量等于存储在每个节点中的数据的$1/(n-k)$的一部分。在以前的最佳带宽构造中,$l$在具有渐近速率$<1$的码中与$k$多项式缩放。此外,在具有恒定数目的奇偶校验的构造中,即速率接近1,$l$相对于r.t. $k$。在本文中,我们集中在后一种情况下的恒定数目的奇偶校验$n-k=r$,并提出以下问题:给定一个节点的容量$l$是什么最大数量的信息盘$k$在一个最佳的带宽(分别)。访问)$(k+r,k,l)$ MDS代码。我们给出了一般情况下的上界,并在特殊情况下的两个重要的家庭的代码的两个紧界。此外,界限表明,在某些情况下,最佳带宽代码有更大的$k$比最佳访问代码,因此这两个措施是不等价的。
2013-03-15 cs.IT math.IT
Distributed Storage over Unidirectional Ring Networks
本文研究了单向环形网络上的分布式存储问题,其存储节点构成一个有向环,数据沿同一方向传输。原始数据被分布存储在这些节点上。每个用户只能连接一个存储节点来下载全部数据。给出了每个用户恢复原始数据所需的重构带宽的一个下界,该下界对于任意参数都是可实现的。如果一个分布式存储方案能够达到这个下限,并且每个用户都是平等的,我们称之为最优重构分布式存储方案(ORDSS)。此外,一个失败的存储节点在ORDSSes的修复问题正在考虑和修复带宽上的一个紧的下界。特别是,我们指出的事实,对于任何的ORDSS,每个存储节点可以修复修复带宽达到下限与平等。此外,我们提出了两种结构的任意参数的ordss,称为MDS建设和ED建设,分别。特别是,ED构造,通过使用欧几里德划分的概念,是更有效的,通过我们的详细分析。
2014-04-14 cs.IT math.IT
Simultaneously Minimizing Storage and Bandwidth Under Exact Repair With Quantum Entanglement
University of Maryland, College Park(马里兰大学帕克分校)
本文研究了在量子纠缠辅助分布式存储系统中,通过精确修复实现存储和带宽的最小化,基于经典乘积矩阵框架和CSS稳定器形式化方法。
2026-05-12 cs.IT cs.NI eess.SP
Rack-Aware Regenerating Codes with Multiple Erasure Tolerance
在现代分布式存储系统中,存储节点被组织在机架中,并且跨机架通信支配系统带宽。在我们研究的机架感知存储系统中,所有的存储节点都组织在机架中,每个机架内的节点可以自由地通信,而不会占用系统带宽。为了最大限度地减少单次擦除的修复带宽,提出了机架感知再生码(RRC)。在RRC的初始设置中,单个节点的修复需要包含故障节点的机架中的所有剩余节点以及不包含故障的大量辅助机架的参与。因此,在多个节点故障之前,修复可能是不可行的。在这项工作中,一个宽松的修复模型,可以容忍多个节点的故障,同时减少机架内连接和跨机架连接的建议。推导了松弛修复模型下存储带宽和修复带宽之间的权衡关系,并分别表征了最小存储和最小带宽下权衡曲线上两个端点的参数。此外,两个代码对应的极端点明确地构建在字段的大小可比的代码长度和最低的子分组。最后,为了便于实际应用,还建立了两种码的系统编码过程。
2022-05-18 cs.IT math.IT
Explicit Construction of Optimal Exact Regenerating Codes for Distributed Storage
擦除编码技术用于提高分布式存储系统的可靠性,同时最小化存储开销。同样令人感兴趣的是最小化节点故障后修复系统所需的带宽。在最近的一篇论文中,Wu等人描述了修复带宽和每个节点存储的数据量之间的权衡。他们还证明了再生代码的存在,实现了这种权衡。在本文中,我们介绍了精确再生码,这是再生码具有额外的属性,能够复制存储在一个失败的节点的数据。这种代码需要低的处理和通信开销,使系统实用且易于维护。明确建设的确切再生代码提供的最小带宽点的存储修复带宽的权衡,相关的分布式邮件服务器的应用程序。一个子空间为基础的方法,并示出产生的必要条件和充分条件的线性代码具有确切的再生性能,以及证明我们的建设的唯一性。还包括在该文件中,是一个明确的建设再生代码的最小存储点的参数相关的存储在对等系统。这种结构支持可变数量的节点,并且可以处理多个同时发生的节点故障。文中给出的所有结构都是低复杂度的,特别是需要低的域大小。
2009-10-06 cs.IT math.IT
MDS Codes with Progressive Engagement Property for Cloud Storage Systems
快速高效的故障恢复是具有大量存储节点的云存储系统面临的新挑战。存储节点故障时的关键恢复度量是修复带宽成本,其指的是为了重新生成丢失的数据而必须下载的数据量。由于所有幸存的节点并不总是可访问的,我们打算引入一类的最大距离可分离(MDS)码,可以重复使用时,所选节点的数量变化,但收益率接近最优修复带宽。这样的代码提供了参与更多幸存节点的灵活性,有利于减少修复带宽,而无需重新设计代码结构和改变现有节点的内容。我们称MDS码的这种性质为渐进参与。这个名字来自于这样一个事实,即如果发生故障,它表明,最好的策略是根据其访问成本(延迟,跳数,流量负载或可用性一般),直到修复带宽或访问成本约束得到满足,以逐步从事幸存的节点。我们认为,现有的MDS码不能满足渐进参与性质。随后,我们提出了一个搜索算法,以找到一组新的代码命名为旋转码,既渐进的参与和MDS属性。此外,我们说明了如何现有的置换码可以通过修改原始的恢复方案提供渐进的参与。仿真结果比较了不同参与节点数时,这类编码的修复带宽性能以及它们的单次故障恢复速度。
2016-05-23 cs.IT math.IT
Bandwidth Adaptive & Error Resilient MBR Exact Repair Regenerating Codes
在存储网络中,节点失效是一种常见的分布式存储问题,再生码是解决这种问题的有效方法。它们通过仅访问网络中任意选择的预定义数量的存储节点来保证低成本的数据重建和修复。在这项工作中,我们考虑了对[1]中引入的原始再生代码框架的两个同时扩展; i)数据重建和修复都对网络中存在一定数量的错误节点具有弹性,ii)每次修复中的帮助节点的数量不是固定的,而是可以在运行时选择的灵活参数。我们研究所需的总修复带宽的基本限制,并提供这些代码的存储容量的上限在这些假设下。然后,我们专注于最小修复带宽(MBR)的情况下,并得出确切的存储容量,提出明确的编码方案与确切的修复,实现了在考虑设置的存储容量的上限。为此,我们首先提供了一个更自然的扩展著名的产品矩阵(PM)MBR代码[2],修改,以提供灵活的选择在每次修复的帮助者的数量,并同时在网络中的错误节点的鲁棒性。这是通过证明在足够大的有限域上的矩阵族的非奇异性来实现的。接下来,我们提供了另一个扩展的PM代码,基于新的修复方案,使灵活的帮助者的数量和鲁棒性对错误的节点,而没有任何额外的成本字段大小相比,原来的PM代码。
2017-11-07 cs.IT math.IT
Cooperative Repair of Multiple Node Failures in Distributed Storage Systems
针对分布式存储系统中的多节点故障修复问题,设计了协作再生码。相对于原始的修复模型,再生代码,这是用于修复的单节点故障,新的节点之间的数据交换是可以实现的。已知的是,利用协作修复可以进一步减小修复带宽。目前,在文献中,我们有一个明确的建设精确修复合作码实现所有参数对应的最小带宽点。本文给出了这种合作再生码的一个稍微广义和更灵活的版本。对于最小的存储再生与合作,我们提出了一个明确的代码结构,可以联合修复任何数量的系统存储节点。
2016-07-28 cs.DC cs.IT math.IT
Cache Placement in Two-Tier HetNets with Limited Storage Capacity: Cache or Buffer?
在本文中,我们的目标是通过带宽分配和缓存放置在有限的存储容量,其中包括缓存容量和缓冲区容量的两层异构网络中的平均文件传输延迟最小化。对于固定带宽分配的平均时延最小化问题,虽然该问题是非凸的,但通过比较由求解Karush-Kuhn-Tucker条件得到的所有局部最优解,得到了封闭形式的最优解.为了联合优化带宽分配和缓存放置,最优带宽分配首先推导出,然后代入到原来的问题。给出了最优缓存策略的结构,表明缓存流行度高的文件比缓存大小大的文件更优。基于此最优结构,我们提出了一种低复杂度的迭代算法来获得次优解,其中每一步都得到闭型表达式。数值结果表明,我们的解决方案相比,传统的缓存策略,不考虑缓存和缓冲区的延迟权衡的优越性。
2019-07-17 cs.IT math.IT
A realistic distributed storage system: the rack model
在实际的分布式存储环境中,存储节点通常放置在机架中,机架是一种用于容纳电子设备的金属支架。已知的是,在同一机架中的节点之间的通信(带宽)成本比在不同机架中的节点之间的通信(带宽)成本低得多。本文提出了一种新的模型,其中存储节点被放置在两个机架上,并进行了分析。此外,两个机架模型被推广到任何数量的机架。在此模型中,存储节点具有不同的维修成本,具体取决于它们放置的机架。示出了阈值函数,其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。这个阈值函数概括了以前的分布式存储模型。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较,结果表明,该新模型在维修成本方面优于以前的模型。
2013-02-22 cs.DC cs.IT math.IT