首页/论文/2109.08302

arXiv 2109.083022021-09-17cs.ITmath.IT

具有多重擦除容限的机架感知MSR码

Rack-Aware MSR Codes with Multiple Erasure Tolerance

Jiaojiao Wang, Dabin Zheng, Shenghua Li

备注：: Distributed storage; Multiple erasure tolerance; MSRR codes; Universally error-resilient repair

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

最小存储机架感知再生（MSRR）代码是再生代码的一种变体，其实现了机架感知模型中单个节点故障的最佳修复带宽。在~ \cite{Chen-Barg2019}和~ \cite{Zhou-Zhang2021}中，作者为修复单个故障节点的所有参数提供了MSRR码的显式构造。本文将\cite{Chen-Barg2019}的结果推广到多节点失效的情况。我们提出了一类MDS阵列码和标量Reed-Solomon（RS）码，并表明这些代码具有最佳的修复带宽和容错能力的多个节点故障的机架感知存储模型。此外，我们的代码保持相同的访问级别的低访问结构在~ \cite{Chen-Barg2019}和~ \cite{Zhou-Zhang2021}。

英文摘要：

The minimum storage rack-aware regenerating (MSRR) code is a variation of regenerating codes that achieves the optimal repair bandwidth for a single node failure in the rack-aware model. The authors in~\cite{Chen-Barg2019} and~\cite{Zhou-Zhang2021} provided explicit constructions of MSRR codes for all parameters to repair a single failed node. This paper generalizes the results in~\cite{Chen-Barg2019} to the case of multiple node failures. We propose a class of MDS array codes and scalar Reed-Solomon (RS) codes, and show that these codes have optimal repair bandwidth and error resilient capability for multiple node failures in the rack-aware storage model. Besides, our codes keep the same access level as the low-access constructions in~\cite{Chen-Barg2019} and~\cite{Zhou-Zhang2021}.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

集群分布式存储MSR码的显式构造：机架感知存储模型

Explicit constructions of MSR codes for clustered distributed storage: The rack-aware storage model

本文主要研究分布式存储中的纠删编码问题。我们考虑一种存储模型，假设节点被组织成大小相等的组，称为机架，在每个组内的节点可以自由地通信，而不会占用系统带宽，并且唯一的信息传输是机架之间的传输。该假设意味着每个机架内的节点可以在向故障节点提供信息之前进行协作。本文的主要重点是这种存储模型的代码构造。我们提出了一个明确的家庭MDS阵列代码，支持恢复一个单一的故障节点从任何数量的助手机架使用尽可能少的机架间通信（这种代码被认为是提供最佳的修复）。代码是在有限域的大小可比的代码长度。我们还推导出一个边界上的符号的数量在助手节点访问的修复的目的，并构建一个代码家庭，接近这个界限，同时仍然保持最佳的修复属性。最后，我们提出了一个建设的标量里德所罗门码，支持最佳修复面向机架的存储模型。

2019-01-14cs.ITmath.IT

具有线性字段大小和更小子包化率的 Rack 意识 MSR 代码

Rack-Aware MSR Codes with Linear Field Size and Smaller Sub-Packetization for Tolerating Multiple Erasures

Key Lab of Education Blockchain and Intelligent Technology, Ministry of Education（教育部教育区块链与智能技术重点实验室）；Guangxi Key Lab of Multi-source Information Mining & Security, Guangxi Normal University（广西师范大学多源信息挖掘与安全广西壮族自治区重点实验室）；School of Mathematics and Statistics, Nanning Normal University（南宁师范大学数学与统计学院）；The Center for Applied Mathematics of Guangxi (Guangxi Normal University)（广西应用数学中心（广西师范大学））

本文提出了一种具有线性字段大小和更小子包化率的Rack意识MSR代码，用于在相同机架内修复多个失败节点。

2025-11-24cs.ITmath.IT

具有多重擦除容限的机架感知再生码

Rack-Aware Regenerating Codes with Multiple Erasure Tolerance

在现代分布式存储系统中，存储节点被组织在机架中，并且跨机架通信支配系统带宽。在我们研究的机架感知存储系统中，所有的存储节点都组织在机架中，每个机架内的节点可以自由地通信，而不会占用系统带宽。为了最大限度地减少单次擦除的修复带宽，提出了机架感知再生码（RRC）。在RRC的初始设置中，单个节点的修复需要包含故障节点的机架中的所有剩余节点以及不包含故障的大量辅助机架的参与。因此，在多个节点故障之前，修复可能是不可行的。在这项工作中，一个宽松的修复模型，可以容忍多个节点的故障，同时减少机架内连接和跨机架连接的建议。推导了松弛修复模型下存储带宽和修复带宽之间的权衡关系，并分别表征了最小存储和最小带宽下权衡曲线上两个端点的参数。此外，两个代码对应的极端点明确地构建在字段的大小可比的代码长度和最低的子分组。最后，为了便于实际应用，还建立了两种码的系统编码过程。

2022-05-18cs.ITmath.IT

Rack-aware模型下线性长度Reed-Solomon码的最优修复方案

Optimal repairing schemes for Reed-Solomon codes with alphabet sizes linear in lengths under the rack-aware model

在现代实际数据中心中，存储节点通常被组织成大小相等的组，这被称为机架。跨机架通信的成本比机架内通信的成本昂贵得多。用于该系统的代码被称为机架感知再生代码。与标准的最小存储再生（MSR）码类似，构造满足割集界的最小存储架感知再生（MSRR）码是一个具有挑战性的任务。实现割集界限的MSRR码的已知构造给出了具有字母表大小$q$与码长$n$呈指数关系的码，更准确地说，是$q=Ω(\exp(n^n))$。本文的主要贡献是给出了在$n$中实现割集有界且字母长度线性的MSRR码的显式构造。为了实现这一目标，我们首先提出了一个通用的框架来修复里德所罗门码。结果表明，在我们的一般框架下，可以实现已知的Reed-Solomon码的修复方案。在本文中使用了几种技术。特别地，我们使用度下降的方法来修复失效节点。这种技术使我们能够得到在$n$中字母长度线性的Reed-Solomon码。其他技术包括选择好的多项式。注意，在文献中，好的多项式被用于构造局部可修码。据我们所知，这是第一次在本文中使用好的多项式的再生码的建设。

2019-11-19cs.ITmath.IT

全参数最小存储量机架感知再生码的显式构造

Explicit Construction of Minimum Storage Rack-Aware Regenerating Codes for All Parameters

我们考虑机架感知存储系统，其中$n=\bar{n}u$节点被组织在$\bar{n}$机架中，每个机架包含$u$节点，并且任何$k=\bar{k}u+u_0~(0\leq u_0<u)$节点都可以检索原始数据文件。更重要的是，跨机架通信成本比机架内通信成本昂贵得多，以至于后者在系统带宽中通常被忽略。MSRR（minimum storage rack-aware regenerating）码是再生码的一个重要变体，它在rack-aware模型中实现了单节点故障的最优修复带宽。然而，直到Chen\&Barg的工作，才开发出针对所有参数的MSRR代码的显式构造。在本文中，我们提出了另一种显式构造的MSRR码的所有参数，改善陈和巴格的建设在两个方面：（1）的子分组从$(\bar{d}-\bar{k}+1)^{\bar{n}}$减少到$(\bar{d}-\bar{k}+1)^{\lceil\frac{\bar{n}}{u-u_{0}}\rceil}$，其中$\bar{d}$是帮助机架参与修复过程的数量;（2）字段大小减少到$|F|>n$，这几乎是一半的字段中使用的陈和巴格的建设。此外，我们的代码保持了与Chen\&Barg的低访问构造相同的访问级别。

2021-03-29cs.ITmath.IT

具有最优访问的机架感知最小存储再生码

Rack-aware minimum-storage regenerating codes with optimal access

本文推导了机架感知存储模型中修复单机架内失效节点的访问信息量下界，并构造了达到该下界的机架感知最优访问 MSR 码及低访问复杂度的 RS 码。

2023-04-18cs.ITmath.IT

更多相关论文收起更多论文

用于数据中心的机架感知再生代码

Rack-Aware Regenerating Codes for Data Centers

擦除编码被广泛用于数据中心的海量存储，以实现高容错和低存储冗余。由于跨机架通信成本通常很高，因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中，我们分析了存储冗余和跨机架修复带宽之间的最佳权衡，专门为数据中心，受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线，并提出了一个称为机架感知再生码（RRC）的擦除码族，它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽，分别。我们证明了（i）最小存储冗余构造支持广泛的参数范围，并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽，以及（ii）最小跨架修复带宽构造支持所有参数，并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。

2019-02-25cs.ITmath.IT

机架感知存储模型下具有最优修复带宽的局部可修复阵列码构造

Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model

针对机架感知分布式存储，本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码，实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。

2024-01-27cs.ITmath.IT

降低最优访问协作MSR码的子分包级别

Reducing The Sub-packetization Level of Optimal-Access Cooperative MSR Codes

Ministry of Education Key Laboratory of Mathematics and Information Networks, School of Mathematical Sciences, Beijing University of Posts and Telecommunications（北京邮电大学数学与信息技术教育部重点实验室）；School of Information Science and Engineering, Shandong Agricultural University（山东农业大学信息科学与工程学院）

本文提出了一种降低最优访问协作MSR码子分包级别的方法，通过设计两种关键MDS数组码并多次堆叠，实现了在两个擦除情况下更高效的存储方案。

2026-01-14cs.ITmath.IT

具有更少辅助机架的机架感知再生码

Rack-Aware Regenerating Codes with Fewer Helper Racks

我们考虑机架感知存储系统，其中$n$节点被组织在$\bar{n}$机架中，每个机架包含$u$节点，并且任何$k$节点都可以检索存储的文件。此外，通过从$\bar{d}$辅助机架以及同一机架中的其余$u\!-\!1$节点下载数据，可以恢复任何单个节点擦除。以前的工作主要集中在最小化跨机架修复带宽的条件下$\bar{d}\geq \bar{k}$，其中$\bar{k}=\lfloor\frac{k}{u}\rfloor$。但是，$\bar{d}\geq \bar{k}$不是机架感知存储模型的固有条件。在本文中，我们建立了一个折衷的存储开销和跨机架修复带宽的特别有趣的情况下$\bar{d}\!<\!\bar{k}$。此外，我们提出了明确的结构的代码的参数躺在权衡曲线分别在最小存储点和最小带宽点。代码是标量的或具有子分组化$\bar{d}$，并且在大小与$n$相当的有限域上操作。以$\bar{d}$为修复度，结合了再生码在最小化修复带宽方面的优势和局部可修复码在降低修复度方面的优势.此外，它们还放弃了MBR码具有不小于$2\times$的存储开销的限制和具有指数子分组化水平的高速率MSR码的限制。

2021-01-21cs.ITmath.IT

通过流量工程在具有擦除编码文件的数据中心网络中区分延迟

Differentiated latency in data center networks with erasure coded files through traffic engineering

本文提出了一种算法，以最大限度地减少加权服务延迟为不同类别的租户（或服务类）在数据中心网络中，擦除编码的文件存储在分布式磁盘/机架和访问请求分散在整个网络。由于在架顶式和聚合交换机处可用的带宽有限，并且不同服务类别中的租户需要差异化服务，因此必须根据其流量统计在不同服务类别的不同机架内和机架间数据流之间分配网络带宽。我们制定这个问题加权排队，并采用一类概率请求调度策略，推导出一个封闭形式的上限的服务延迟擦除编码存储与任意文件访问模式和服务时间分布。结果使我们能够提出一个联合加权延迟（在不同的服务类）优化超过三个纠缠的“控制旋钮”：带宽分配在顶部的机架和聚合交换机为不同的服务类，动态调度文件请求，并放置编码的文件块（即，数据局部性）。联合优化被证明是一个混合整数问题。我们开发了一个迭代算法，它将联合优化问题分解为3个子问题，这些子问题要么是凸的，要么是通过二分匹配在多项式时间内可解的。所提出的算法在开源分布式文件系统{ \em Tahoe}中原型化，并在使用48端口Cisco Catalyst交换机的Openstack集群中具有16个独立物理主机的云测试床上进行评估。实验验证了我们的理论延迟分析，并显示不同的文件访问模式显着减少延迟。研究结果为设计具有擦除编码存储的低延迟数据中心网络提供了有价值的见解。

2016-02-17cs.DCcs.ITmath.IT

Tamo-Barg码的修复方案

Repairing Schemes for Tamo-Barg Codes

本文研究了带局部性的机架感知存储系统中局部修复码的擦除修复问题，提出了两种降低Tamo-Barg码修复带宽的方案，引入割集界证明其中一种方案最优，并探讨了部分修复问题的方案与界限。

2024-07-26cs.ITmath.IT

HashTag纠删码：从理论到实践

HashTag Erasure Codes: From Theory to Practice

最小存储再生（MSR）码已经成为Reed-Solomon（RS）码的可行替代方案，因为它们最小化了修复带宽，同时它们在可靠性和存储开销方面仍然是最佳的。虽然存在几种MSR结构，但到目前为止，它们还没有实际实现，主要是由于大量的I/O操作。在本文中，我们分析了高速率MDS码，同时优化的存储，可靠性，I/O操作，和修复带宽的单个和多个故障的系统节点。这些代码最近在\cite{7463553}中引入，没有任何特定名称。由于hashtag符号\#与代码构造过程的相似性，本文将其称为\emph{HashTag Erasure Codes (HTECs)}。HTEC提供最低的数据读取和数据传送，并且因此提供用于任意子分组化级别$α$的最低修复时间，其中在用于包括MSR代码的分布式存储的所有现有MDS代码中，$α\leq r^{\lceil \sfrac{k}{r} \rceil}$。修复过程是线性和高度平行的。此外，我们表明，HTEC是第一个高速率MDS码，减少修复带宽超过一个故障。HTEC在Hadoop 3.0.0-alpha 2中的实际实现展示了其巨大的潜力。

2017-07-03cs.DCcs.ITmath.IT

基于干涉对齐的分布式存储修复精确再生码

Exact Regeneration Codes for Distributed Storage Repair Using Interference Alignment

（n，k）最大距离可分离（MDS）纠删码的高修复代价最近促使一类新的码（称为再生码）以最佳方式权衡存储代价和修复带宽。在再生码频谱的一端是最小存储再生（MSR）码，其可以匹配MDS码的最小存储成本，同时还显著降低修复带宽。在本文中，我们描述了精确MSR码，它允许任何失败的节点（无论是系统或奇偶校验节点）被重新生成，而不仅仅是功能或信息等价。我们表明，精确MSR码来没有损失的最优性相对于随机网络编码的MSR码（匹配基于割集的修复带宽的下限）的情况下：（a）k/n <= 1/2;和（b）k <= 3。我们的建设性的方法是基于干扰对齐技术，并且，与前一类的随机网络编码为基础的方法，我们提供明确的和确定性的编码方案，需要一个有限的字段大小最多为2（n-k）。

2010-04-15cs.ITmath.IT

两种擦除的Epsilon-MSCR码

On Epsilon-MSCR Codes for Two Erasures

协作再生码是设计用于在多个节点故障的情况下权衡存储和修复带宽的再生码。最小存储协作再生码是一类实现折衷最小存储点的协作再生码。最近，已经为所有可能的参数$(n,k,d,h)$构造了这些代码，其中通过联系任何$d$幸存节点来修复$h$擦除。然而，这些构造具有非常大的子分组化。$ε$ -MSR码是为了在单节点故障的情况下稍微增加修复带宽而引入的折衷子分组化级别的一类码。我们介绍了框架的$ε$ -MSCR代码，允许一个类似的权衡的情况下，多个节点故障。通过级联一类MSCR码和标量线性码，构造了一种能够从两个节点故障中恢复的$ε$ -MSCR码。我们给出了一个修复过程中修复的$ε$ -MSCR码在两个节点的故障，并计算相同的修复带宽。我们的特点是增加修复带宽所引起的方法相比，最佳的修复带宽给出的割集界。最后，我们展示了$ε$ -MSCR码的子分组化水平在节点数量上的几何尺度。

2019-01-28cs.ITmath.IT

最优访问协作MSR码：奇偶校验矩阵构造与统一变换

Optimal-Access Cooperative MSR Codes: Parity-Check Matrix Construction And a Unified Transformation

本文提出两种构造最优访问协作MSR码的方法，通过奇偶校验矩阵设计和统一变换框架，显著降低子包化水平，并涵盖现有结构作为特例。

2026-09-09cs.ITmath.IT

具有局部性和可用性的最大可恢复码

Maximally recoverable codes with locality and availability

IMUVa-Mathematics Research Institute, University of Valladolid（瓦拉多利德大学数学研究所）；Signal Processing and Communications Research Center (SPCRC), International Institute of Information Technology, Hyderabad（海得拉巴国际信息学院信号处理与通信研究中心）

本文提出具有局部性和可用性的最大可恢复码，通过局部可修复码的构造方法，减少存储开销并提升全局纠错能力，针对t=1时提供三种构造方法并扩展有限域大小下界。

2026-05-15cs.ITmath.IT

一种解决擦除编码分布式存储系统中数据恢复的网络挑战的方法--基于Facebook Warehouse集群的研究

A Solution to the Network Challenges of Data Recovery in Erasure-coded Distributed Storage Systems: A Study on the Facebook Warehouse Cluster

诸如Reed-Solomon（RS）码之类的擦除码正越来越多地用于数据中心，以对抗可靠地存储大量数据的成本。虽然这些代码提供了最佳的存储效率，但在恢复丢失数据期间，它们需要非常高的网络和磁盘使用率。在本文中，我们首先提出了一个研究的恢复操作的擦除编码的数据对数据中心网络的影响，从Facebook的生产中的仓库集群的测量为基础。据我们所知，这是文献中首次进行此类研究。我们的研究表明，恢复RS编码的数据会导致网络流量的显着增加，每天超过100 TB，在一个集群存储多个PB的RS编码的数据。为了解决这个问题，我们提出了一个新的存储代码，使用我们最近提出的“捎带”框架，理论上减少了30%的恢复过程中的网络和磁盘使用，同时也是存储最佳和支持任意的设计参数。在Hadoop分布式文件系统（HDFS）中实现拟议的代码正在进行中。我们使用仓库集群的测量结果表明，建议的代码将导致每天减少近50 TB的跨机架流量。

2013-09-01cs.DCcs.ITcs.NI

具有小子包化、小修复带宽/重建接入的PMDS阵列码

PMDS Array Codes With Small Sub-packetization, Small Repair Bandwidth/Rebuilding Access

部分最大距离可分离（PMDS）码是一种擦除码，其中节点被分成多个组，每个组形成具有较小码长的MDS码，因此它们允许仅用几个辅助节点来修复故障节点，并且可以校正所有信息理论上可校正的擦除模式。然而，如果组大小较大，则PMDS码的故障节点的修复仍然需要大量的通信。最近，引入了PMDS阵列码，其中每个局部码是MSR码，以进一步减小修复带宽。然而，它们需要大量的重建访问和不可或缺的重要子分组化级别。在本文中，我们首先提出了两个结构的PMDS阵列码与两个全球的奇偶校验，有更小的子包化水平和更小的有限域比现有的。一种构造可以支持任意数量的本地奇偶校验并且具有$(1+ε)$最优修复带宽（即，$(1+ε)$乘以最优修复带宽），而另一个被限制为两个本地奇偶校验，但是具有显著更小的重建访问，并且其子分组化级别仅为$2$。此外，我们还提出了一种具有三个全局奇偶校验的PMDS阵列码的构造方法，该方法具有较小的子分组级和$(1+ε)$最优修复带宽，所需的有限域明显小于现有的有限域。

2022-11-12cs.ITmath.IT

连通图上的节点修复

Node repair on connected graphs

我们研究的问题，擦除校正（节点修复）重新定义的图形上的代码，其中的信息传输到失败的节点的成本取决于从这个节点的图形的帮助顶点的距离。从助手传递到故障节点的信息遍历图的几个顶点，如果中间顶点处理信息而不是简单地将其中继到故障节点，则可以实现通信复杂性的节省。我们推导出简单的信息理论界的节点之间的修复过程中的信息量。接下来，我们表明，最小存储再生（MSR）代码可以被修改来执行中间处理，从而达到图上的信息交换的下界。我们还考虑节点修复时，底层图是随机的，推导条件的参数，支持恢复失败的节点与通信复杂性小于所需的简单中继。

2022-01-15cs.ITmath.IT

准循环柔性再生码

Quasi-cyclic Flexible Regenerating Codes

在分布式存储环境中，数据被放置在通过网络连接的节点中，这些节点中的一个很可能发生故障。已知的是，纠删编码的使用提高了容错并且最小化了在分布式存储环境中添加的冗余。再生码的使用不仅充分利用了纠删编码的改进，而且还最大限度地减少了再生故障节点所需的数据量。本文提出了一类新的基于准循环码的再生码。构造了准循环柔性最小存储再生码（QCFMSR），并证明了其存在性。还提供了从基QCFMSR码构造的具有最小带宽的准循环灵活再生码。这些代码不仅在存储数据和修复带宽方面实现了最佳MBR参数，而且对于所涉及的参数的特定选择，它们可以在最佳MBR点下降低。准循环柔性再生码由于其简单性和低复杂度而备受关注。它们允许在最小带宽的情况下精确的修复通过传输和在MSR的情况下精确的伪修复通过传输，其中仅当新节点进入系统以替换丢失的节点时才需要操作。

2013-05-16cs.DCcs.ITmath.IT