Re-Rooting-Assisted Edge-Minimum Runtime Repair for Node and Link Failures in Dense Gaussian Broadcast Networks
Department of Computer Science, Faculty of Science, Kuwait University（科威特大学理学院计算机科学系）
针对密集高斯广播网络中的节点/链路故障，提出重根辅助的运行时修复框架，将故障节点转为边界叶子，用c-1条外部边修复，实验实现近100%恢复，减少80-100%修复边。
2026-06-23 cs.DC cs.IT cs.NI
A realistic distributed storage system that minimizes data storage and repair bandwidth
在实际的分布式存储环境中，存储节点通常放置在机架中，机架是一种用于容纳电子设备的金属支架。已知机架内的节点之间的通信（带宽）成本远低于不同机架内的节点之间的通信（带宽）成本。本文提出了一种新的模型，其中存储节点被放置在两个机架上，并进行了分析。在此模型中，存储节点具有不同的修复成本来修复节点，这取决于它们放置的机架。示出了阈值函数，其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。该阈值函数概括了来自先前分布式存储模型的阈值函数。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较，结果表明，该新模型在维修成本方面优于以前的模型。
2013-01-08 cs.DC cs.IT math.IT
Re-Rooting-Assisted Edge-Minimum Runtime Repair for Node and Link Failures in Dense Eisenstein--Jacobi Broadcast Networks
Department of Computer Science, Faculty of Science, Kuwait University（科威特大学理学院计算机科学系）
针对密集Eisenstein-Jacobi广播网络中的节点/链路故障，提出基于选定三元组(r,θ,K_{r,θ})的混合修复方法，给出修复成功的充要条件，并通过确定性保证和实验验证实现100%恢复和边数减少。
2026-06-23 cs.DC cs.IT cs.NI
Decentralized Minimum-Cost Repair for Distributed Storage Systems
已经出现了许多用于分布式存储系统的应用，无线传感器网络或云存储。由于无线传感器网络中的存储节点具有有限的电池，因此找到具有最优传输成本的修复方案（例如，能源）。最优费用修理最近已被集中研究。然而，集中式控制机制可能不可用或者非常昂贵。对于这些场景，研究分散设置中的最优成本修复是很有趣的。我们制定的最佳成本修复凸优化问题的网络凸传输成本。然后，我们使用原始和对偶分解的方法来解耦的子问题进行局部求解。因此，每个幸存的节点，与其他节点合作，可以使其传输成本最小化，从而使全局成本最小化。我们进一步研究了算法的最优性和收敛性。最后，我们讨论了码的构造和确定域的大小，以找到可行的网络码在我们的方法。
2013-01-30 cs.DC cs.IT math.IT
Local Codes with Cooperative Repair in Distributed Storage System
目前，对局部修复码的研究主要局限于对每个修复组内失效节点的修复。但如果出现整个修复组都失败的极端情况，则需要将存储在失败组中的本地代码作为一个整体进行恢复。本文提出了一种基于最小存储再生（MSR）码构造局部码的协作修复局部码，以实现故障群的修复。具体地说，提出的具有协同修复的局部码在奇偶校验符号之间构造了一种相互交织的结构，即每个局部码的奇偶校验符号（称为分布式局部奇偶校验）可以由其相邻两个局部码中的MSR码的奇偶校验符号生成。利用该结构，失效的局部群可以由其相邻的局部群中修复局部性较低的局部群进行协作修复，同时推导出了具有协作修复的局部码的最小距离.理论分析和仿真实验表明，与局部再生码（如MSR-局部码和MBR-局部码）相比，所提出的协作修复局部码在带宽开销和局部组失效情况下的修复局部性方面具有优势.
2016-02-09 cs.DC cs.IT math.IT
Constant-Time Certificate Selection for Local Broadcast Repair in Dense Gaussian and Eisenstein--Jacobi Networks
Department of Computer Science, Faculty of Science, Kuwait University（科威特大学理学院计算机科学系）
针对密集高斯和艾森斯坦-雅可比网络中的故障修复问题，提出常数时间证书选择器，仅根据故障坐标在O(1)时间和内存内选择修复边，保证连通性和深度界限。
2026-06-23 cs.DC cs.IT cs.NI
Network Traffic Driven Storage Repair
最近，我们构造了一个显式的局部可修局部再生码族。它们的存在由Kamath等人证明，但没有给出明确的构造。我们的设计是基于哈希标签代码，可以有不同的子分组化水平。在这项工作中，我们强调有两种方法来修复一个节点的重要性：修复只与本地奇偶校验节点或修复与本地和全局奇偶校验节点。我们说修复策略是网络流量驱动的，因为它与具体的系统和代码参数有关：代码的修复带宽，I/O操作的数量，接触部分的访问时间和存储文件的大小。我们在Hadoop中实现的一个实际例子中展示了修复二元性的好处。我们还给出了算法的全局奇偶校验节点的有效修复。
2018-06-25 cs.DC cs.IT math.IT
Distributed Storage Codes with Repair-by-Transfer and Non-achievability of Interior Points on the Storage-Bandwidth Tradeoff
再生码是最近开发的一类用于分布式存储的码，其像里德-所罗门码一样，允许从n节点网络内的k个节点的任何子集恢复数据。然而，再生代码拥有另外，通过连接到任意子集的d节点来修复故障节点的能力。已经表明，对于功能修复的情况，每个节点存储的数据量和修复故障节点所需的带宽之间存在权衡。功能修复的一种特殊情况是精确修复，其中要求替换节点存储与故障节点中相同的数据。精确修复是令人感兴趣的，因为它大大简化了系统实现。本文的第一个结果是一个明确的，精确的修复代码的存储带宽的折衷对应的最小可能的修复带宽的情况下，当d=n-1的点。这个代码有一个特别简单的图形描述，最有趣的是，它能够通过数据传输进行精确修复，而不需要执行任何算术运算。因此才有了“转让修复”一词。本文的第二个结果表明，存储带宽权衡的内部点不能实现下精确修复，从而指出存在一个单独的权衡下精确修复。具体来说，我们确定了一组方案，称为“帮助节点池”，并表明，它是必要的，以满足这种情况下，过度约束系统。
2010-11-16 cs.DC cs.IT cs.NI
An Overview of Codes Tailor-made for Better Repairability in Networked Distributed Storage Systems
当今社会产生的数字数据量不断增加，需要更好的存储解决方案。本调查着眼于专门为分布式网络存储系统的需求而设计的新一代编码技术，试图在存储空间效率、容错和维护开销之间达到最佳折衷。四个家庭的代码量身定制的分布式设置，即-金字塔，层次，再生和自修复代码-在高层次上，强调这些代码背后的主要思想，并讨论其利弊，最后与它们之间的定量比较。这项调查故意排除了代码的技术细节，也没有提供众多作品的详尽摘要。相反，它通过展示分布式存储解决方案编码技术进步的全貌，以广泛受众易于访问的方式概述了主要代码家族。
2013-01-30 cs.DC cs.IT math.IT
Repair rate lower bounds for distributed storage
分布式存储系统的主要目标之一是使用大量不可靠存储节点的$N$（每个具有容量$nsize$）在长持续时间内可靠地存储大量$dsize$源数据。存储开销$β$是超过$dsize$的可用系统容量的部分，即，$β= 1- \frac{dsize}{N \cdot nsize}$。存储节点随时间随机失效，并被初始空节点替换，因此以平均速率$erate = λ\cdot N \cdot nsize$从系统擦除数据，其中$1/λ$是失效前节点的平均寿命。为了保持源数据的可恢复性，修复器以某个平均速率$rrate$通过网络从节点连续地读取数据，并且基于所读取的数据来生成数据并将数据写入节点。主要结果是，对于任何修复器，如果源数据在每个时间点都是可恢复的，那么它必须是$rrate \ge \frac{erate}{2 \cdot β}$渐近地随着$N$走向无穷大而β走向零的情况。这个不等式提供了一个基本的下限的平均速率，任何维修需要从系统读取数据，以保持源数据的可恢复性。
2020-02-18 cs.DC cs.IT math.IT
LDPC Code Design for Distributed Storage: Balancing Repair Bandwidth, Reliability and Storage Overhead
分布式存储系统遭受由于频繁的存储节点故障而产生的显著的修复流量。本文表明，适当设计的低密度奇偶校验（LDPC）码可以大大减少修复所需的块下载量由于其因子图表示的稀疏性。特别地，通过仔细构造因子图，对于给定的码率，可以实现低修复带宽和高可靠性。首先，推导了LDPC码的平均修复带宽公式。这个公式然后被用来建立，最小修复带宽可以通过强制因子图中的定期检查节点度来实现。此外，它表明，给定一个固定的码率，可变节点度也应该是定期的，以产生最小的修复带宽，在一些合理的最小可变节点度的约束。它还表明，对于一个给定的修复带宽的要求，LDPC码可以产生更高的可靠性比目前使用的里德-所罗门（RS）码。我们的可靠性分析的基础上制定的一般方程的平均时间数据丢失（MTTDL）与LDPC码。该公式揭示了停止数与MTTDL密切相关。它进一步表明，LDPC码可以被设计成使得一个小的损失的修复带宽的最优性可以被交易的擦除校正能力，从而MTTDL的大的改善。
2017-10-16 cs.DC cs.IT cs.PF
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中，出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐（IA）的概念将不需要的数据在尽可能小的空间中对齐。这里，给出了Cadambe { \it et al.}提供了线索，完善IA的情况下，我们结合阿达玛矩阵的基本性质，构建一个新的存储代码具有良好的修复性能。具体来说，我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$，其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外，单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
Capacity of Distributed Storage Systems with Clusters and Separate Nodes
在分布式存储系统中，节点存储和修复带宽之间的最优折衷是设计分布式编码策略以保证大规模数据可靠性的重要问题。DSS的能力作为一个功能的节点存储和修复带宽参数，特征的权衡。有很多工作在DSS与集群（机架），其中修复带宽从集群内和跨集群是有区别的。然而，在现实的DSS中，分离节点也是普遍存在的，但对具有集群和分离节点的DSS（CSN-DSS）的研究还不够。在本文中，我们制定了一个单独的节点的CSN-DSS的容量首次修复一个单独的节点的带宽是跨集群。因此，节点存储和修复带宽之间的最佳权衡推导出并与集群DSS相比。基于该折衷构造了重新生成的代码实例。此外，增加一个单独的节点的影响进行了理论分析和制定。我们证明了当每个集群包含R个节点，并且任意k个节点都足以恢复原始文件（MDS属性）时，如果R| k，否则减小容量。
2019-01-10 cs.DC cs.IT math.IT
Cooperative Regenerating Codes for Distributed Storage Systems
当分布式存储系统中存在多个节点故障时，就修复带宽最小化而言，以逐个方式单独地重新生成故障存储节点是次优的。如果启用新节点之间的数据交换，我们可以在修复带宽和每个节点的存储之间获得更好的权衡。给出了一种显式的、优化的协作再生码的构造方法。
2011-02-08 cs.DC cs.IT math.IT
A Non-MDS Erasure Code Scheme For Storage Applications
本文研究了在分布式存储系统中使用冗余和自修复对节点故障，使用各种策略。在复制方法中，访问一个复制节点是足够的，以重建一个丢失的节点，而在MDS纠删编码系统，这是最佳的冗余可靠性权衡方面，一个单一的节点故障后，恢复整个存储的数据进行修复。此外，再生代码产生的存储容量和修复带宽之间的权衡曲线。本文旨在研究一种新的存储码。具体来说，我们提出了一个非MDS（2k，k）代码，容忍任何三个节点的故障，更重要的是，它是使用我们的代码，一个单一的节点故障可以通过访问只有三个节点进行修复。
2011-09-21 cs.DC cs.IT cs.NI
Repair Optimal Erasure Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中，出现了使在故障之后精确地重建存储节点所需的总{ \it通信}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。设计高速率的最大距离可分离（MDS）码，实现最佳的修复通信一直是一个众所周知的开放问题。在这项工作中，我们使用阿达玛矩阵构造第一个显式的2-奇偶MDS存储代码的最佳修复性能的所有单节点故障，包括奇偶校验。我们的建设依赖于一种新的方法，实现完美的干扰对齐在有限的领域与有限的文件大小，或扩展的数量。我们将这种构造推广到设计$m$ -奇偶MDS码，实现了单系统节点故障的最佳修复通信，并表明我们的$m$ -奇偶码和Tamo { \it et al.}的基于系统修复最佳置换矩阵的码之间存在有趣的联系。\cite{Tamo}和Cadambe { \it等} \cite{PermCodes_ISIT, PermCodes}。
2011-06-08 cs.DC cs.IT cs.NI
RADON: Repairable Atomic Data Object in Networks
擦除码为异步分布式存储系统中实现原子存储服务时降低存储和通信开销提供了一种有效的方法。在本文中，我们提供了擦除代码为基础的算法，具有额外的能力来执行后台修复崩溃的节点。处于崩溃状态的节点的修复操作在外部触发，并且由相关节点经由与系统中的其他活动节点的消息交换来执行。修复完成后，节点重新进入活动状态，并恢复参与正在进行的和未来的读取、写入和修复操作。为了同时保证活跃性和原子性，现有的作品假设存在具有稳定存储的节点，或者存在在执行期间从不崩溃的节点。这两样我们都不要求;相反，我们考虑一种自然但实际的网络稳定性条件$N1$，其仅限制在任何消息的广播期间处于崩溃/修复状态的节点的数量。我们提出了一个基于擦除码的算法$RADON_C$，它总是活的，并保证原子性，只要条件$N1$持有。在并发写入数量有限的情况下，与基于复制的算法$RADON_R$相比，$RADON_C$显著改善了存储和通信成本，基于复制的算法也在$N1$下工作。我们进一步展示了如何一个稍强的网络稳定性条件$N2$可以用来构建算法，从来没有违反原子性。原子性的保证是以在读写操作期间具有额外的阶段为代价的。
2016-11-21 cs.DC cs.IT math.IT
An Empirical Study of the Repair Performance of Novel Coding Schemes for Networked Distributed Storage Systems
擦除编码技术正被集成到网络分布式存储系统中，作为一种以比传统复制更少的存储开销为代价提供容错的方式。Reddit是通过修复机制随时间推移而维护的，这可能需要大量的网络资源开销。近年来，一些为分布式存储量身定制的新代码已经被提出来优化存储开销和修复，例如最小化每次修复流量的再生码，或最小化每次修复所接触的节点数量的自修复码。然而，这些编码技术的现有研究主要是理论上的，在简化的假设下，只有一个对象被存储。它们忽略了实际系统必须解决的许多实际问题，例如数据放置，多个存储对象的去相关，或者当多个对象同时修复时对有限网络资源的竞争。本文实证研究了这些新的存储为中心的代码相对于经典的纠删码的修复性能，通过模拟现实的情况下，探索的相互作用的代码参数，故障特征和数据的放置方面的权衡带宽的使用和速度的修复。
2012-06-11 cs.DC
Repair Pipelining for Erasure-Coded Storage: Algorithms and Evaluation
我们提出了修复流水线，一种技术，加快修复性能一般擦除编码存储。通过以流水线方式跨存储节点以小尺寸单元仔细调度故障数据的修复，修复流水线将单个块修复时间减少到与同构环境中单个块的正常读取时间大致相同。我们进一步设计了不同的扩展修复流水线算法的异构环境和多块修复操作。我们实现了一个修复流水线原型，称为ECPipe，并将其作为一个中间件系统集成到两个版本的Hadoop分布式文件系统（HDFS）（即HDFS-RAID和HDFS-3）以及Quantcast文件系统（QFS）。在本地测试平台和Amazon EC2上进行的实验表明，修复流水线与现有修复技术相比，显著提高了降级读取和全节点恢复的性能。
2020-11-20 cs.DC
Enabling Node Repair in Any Erasure Code for Distributed Storage
与数据复制相比，擦除码是跨网络存储数据的有效手段，因为它们倾向于减少存储在网络中的数据量，并在存在节点故障的情况下提供增加的弹性。但是，当需要修复故障节点时，这些代码的性能很差，因为它们通常需要下载整个文件来修复故障节点。最近引入了一类新的擦除码，称为再生码，在这方面做得更好。然而，考虑到文献中可用的各种高效纠删码，人们对构建编码方案非常感兴趣，该编码方案将使传统纠删码能够被使用，同时保留仅需要下载一小部分数据用于节点修复的特征。在本文中，我们提出了一个简单而强大的框架，正是这样做的。在此框架下，节点被划分为两个“类型”，并使用两个代码的方式，减少了节点修复的问题，组成代码的擦除解码的编码。根据两个代码的选择，该框架可以用于利用以下优点中的一个或多个：同时最小化存储空间和修复带宽，操作的低复杂性，在修复期间在助手节点处的较少的磁盘读取，以及错误检测和校正。
2011-06-30 cs.DC cs.IT cs.NI
A Piggybacking Design Framework for Read-and Download-efficient Distributed Storage Codes
我们提出了一个新的“捎带”框架设计分布式存储代码，是有效的数据读取和下载过程中需要节点修复。我们通过构建显式代码的类来说明这个框架的强大功能，这些代码需要在三个重要设置的所有现有解决方案中读取和下载最小的数据进行修复：（a）满足最大距离可分离（MDS）、高速率和具有少量子条带的约束的代码，这是出于在数据中心中实现的实际考虑而产生的，（b）对于存在二进制MDS码的所有参数的二进制MDS码，（c）具有最小修复局部性的MDS码。此外，我们采用这个框架，使有效的修复奇偶校验节点在现有的代码，最初构建的解决只有系统节点的修复。我们框架背后的基本思想是采用现有代码的多个实例，并将一个实例的数据精心设计的函数添加到另一个实例中。根据代码参数的选择，修复期间数据读取的典型节省为25%至50%。
2013-02-24 cs.DC cs.IT cs.NI
Locally Repairable Codes with Multiple Repair Alternatives
分布式存储系统需要冗余地存储数据，以提供一定的容错能力，保证系统的可靠性。已经提出了不同的编码技术，以提供比传统的复制方案更有效的所需的冗余。然而，与复制相比，编码技术对于修复丢失的冗余而言效率较低，因为它们需要从存储节点的较大子集检索更大量的数据。为了缓解这些问题，最近的几项工作已经提出了本地可修复的代码，旨在最大限度地减少维修流量和每次维修所涉及的节点数。不幸的是，现有的方法往往会导致代码中只有一个子集的节点能够修复一块丢失的数据，限制了本地可修复性的节点在这个子集中的可用性。在本文中，我们提出了一个新的家庭的本地可修复的代码，允许不同的权衡接触节点的数量，每次修复，和不同的子集的节点，使这种修复的数量之间。我们发现，稍微增加接触节点的数量，每次修复允许有修复的替代品，这反过来又增加了能够执行有效的修复的概率。最后，我们提出了PG-BLRC，一个明确的建设局部可修复的代码与多个修复方案，构造部分几何，特别是从广义四边形。我们展示了这些代码如何实现实用的长度和高速率，同时需要少量的节点每次修复，并提供多种修复方案。
2013-05-15 cs.DC cs.IT math.IT
Simple Regenerating Codes: Network Coding for Cloud Storage
专门为分布式存储系统设计的网络代码有可能在相同的可用性下提供更高的存储效率。设计这种代码的一个主要挑战是精确修复问题：如果存储编码信息的节点失败，为了保持相同的可靠性水平，我们需要在新节点上创建编码信息。在这个新兴领域中的主要开放问题之一是设计简单的编码方案，该编码方案允许故障节点的精确和低成本修复，并且具有高数据率。特别地，所有先前已知的显式构造都具有以1/2为界的数据率。在本文中，我们介绍了第一个家庭的分布式存储代码，有简单的查找修复，可以实现任意高的速率。我们的结构是非常简单的实现和执行精确的修复，通过简单的异或数据包。我们实验评估所提出的代码在一个现实的云存储模拟器，并显示显着的好处，在性能和可靠性相比，复制和标准里德-所罗门代码。
2011-09-01 cs.DC cs.IT cs.NI
Optimal Systematic Distributed Storage Codes with Fast Encoding
在分布式存储系统中，越来越多地使用擦除码来代替数据复制，因为它们提供了相同级别的可靠性和低得多的存储开销。我们考虑了为分布式存储构造显式纠删码的问题，这些纠删码具有以下由实践激发的理想性质：（i）最大距离可分离（MDS）：以最小的存储开销提供最大的可靠性，（ii）最优修复带宽：最小化从剩余节点修复故障节点所需的数据量，（iii）修复的灵活性：以允许在选择用于修复的节点子集时的最大灵活性，这包括不要求所有幸存的节点都用于修复，（iv）系统形式：以确保原始数据以未编码的形式存在，以及（v）快速编码：以最小化生成编码数据的成本（由稀疏生成器矩阵实现）。本文提出了第一个明确的代码建设，从理论上保证所有五个所需的属性同时。我们的构造建立在一个强大的代码类称为产品矩阵（PM）代码。PM码满足性质（i）-（iii），以及（iv）或（v），但不同时满足两者。实际上，原生PM码具有导致稀疏性的固有结构，但是当码被系统化时，这种结构被破坏。我们首先提出了一个分析框架，了解PM代码的设计和系统属性之间的相互作用。使用这个框架，我们提供了一个明确的代码结构，同时实现所有上述所需的属性。我们还提出了转换现有的存储和修复最佳代码，使快速编码通过稀疏的一般方法。在实践中，这种稀疏码导致编码加速，对于典型参数约为4倍。
2015-09-06 cs.DC cs.IT cs.NI
Capacity and Security of Heterogeneous Distributed Storage Systems
研究了异构分布式存储系统在修复动态下的容量问题。这些系统的示例包括对等存储云、无线和互联网缓存系统。异构系统中的节点可以具有不同的存储容量和不同的修复带宽。我们给出了系统容量的上下界。这些界限取决于每个节点的平均资源，或对节点特性的详细知识。此外，我们研究的情况下，节点可能会受到窃听，并给出了系统的保密能力的界限。我们的研究结果的一个含义是，对称修复最大化一个同质系统的容量，这证明了在文献中广泛使用的模型。
2012-11-02 cs.DC cs.IT cs.NI
Repairing Multiple Failures with Coordinated and Adaptive Regenerating Codes
纠删码被广泛用于分布式存储系统中数据的持久性。本文讨论了在这种代码中的多个故障的同时修复。我们超越现有的工作（即，由Dimakis等人重新生成代码）通过描述（i）支持多个设备的同时修复的协调再生代码（也称为协作再生代码），以及（ii）允许在每次修复时调整参数的自适应再生代码。类似于Dimakis等人的重新生成代码，这些代码实现了存储和修复带宽之间的最佳折衷。基于这些扩展的再生代码，我们研究的影响，懒惰的修复适用于再生代码，并得出结论，懒惰的修复不能降低成本的网络带宽，但允许减少磁盘相关的成本（磁盘带宽和磁盘I/O）。
2013-09-17 cs.DC cs.IT math.IT
Locally Repairable Codes
用于大规模应用的分布式存储系统通常使用复制来提高可靠性。近年来，纠删码被用来减少大量的存储开销，同时提高数据的可靠性。现成的纠删码的主要限制是它们在单节点故障事件期间的高修复成本。在这个领域中的一个主要的公开问题是设计代码，使得{ \it i）}是修复有效的，并且{ \it ii）}实现任意高的数据率。在本文中，我们探讨修复度量{ \it局部性}，它对应于在一个{ \color{black}单}节点修复所需的磁盘访问的数量。根据这个指标，我们描述了一个信息理论的权衡，绑定在一起的地方，代码的距离，和每个节点的存储容量。我们证明了最优{ \it局部可修码}（LRC）的存在，实现了这种权衡。可扩展性证明使用了一个局部感知的流图小工具，这导致了一个随机的代码构造。最后，我们提出了一个最佳的和明确的LRC，实现任意高的数据速率。我们的局部最优构造是基于里德-所罗门块的简单组合。
2014-05-03 cs.DC cs.IT cs.NI
Homomorphic Self-repairing Codes for Agile Maintenance of Distributed Storage Systems
分布式数据存储系统对于处理存储大量数据的需求至关重要。为了使这样的系统具有容错性，某种形式的冗余变得至关重要，这会产生各种开销-最突出的是存储空间和维护带宽要求。擦除码最初是为有损信道上的通信而设计的，它为基于复制的冗余提供了一种存储高效的替代方案，然而，当一些编码片段在一些存储设备故障后需要在新片段中补充时，它会带来用于维护的高通信开销。作为替代方案，我们提出了一个新的家庭的擦除码称为自修复码（SRC）考虑到分布式存储系统的特点，特别是维护过程。SRC具有以下显著特征：（a）通过下载比完整对象的大小更少的数据，可以直接从编码片段的其他子集修复编码片段，从而确保（b）从固定数量的编码片段修复片段，该数量仅取决于丢失了多少编码块并且与丢失了哪些特定块无关。本文通过定义新的自修复码奠定了基础，阐述了为什么定义的特性是分布式存储系统所需的。然后提出了同态自修复码（HSRC）作为一个具体的例子，其各个方面和性能的研究和比较-定量或定性相对于其他代码，包括传统的擦除码，以及其他最近的代码专门为存储应用程序。
2011-07-15 cs.DC
Information-theoretically Secure Regenerating Codes for Distributed Storage
再生码是用于分布式存储网络的一类码，其提供数据的可靠性和可用性，并且还执行有效的节点修复。分布式存储网络的另一个重要方面是其安全性。在本文中，我们考虑一个威胁模型，窃听者可以访问存储在存储节点的一个子集中的数据，也可能，在修复某些节点的数据下载。我们提供了明确的再生码，实现信息理论的保密能力，在这种情况下的建设。
2011-07-26 cs.DC cs.IT cs.NI
HashTag Erasure Codes: From Theory to Practice
最小存储再生（MSR）码已经成为Reed-Solomon（RS）码的可行替代方案，因为它们最小化了修复带宽，同时它们在可靠性和存储开销方面仍然是最佳的。虽然存在几种MSR结构，但到目前为止，它们还没有实际实现，主要是由于大量的I/O操作。在本文中，我们分析了高速率MDS码，同时优化的存储，可靠性，I/O操作，和修复带宽的单个和多个故障的系统节点。这些代码最近在\cite{7463553}中引入，没有任何特定名称。由于hashtag符号\#与代码构造过程的相似性，本文将其称为\emph{HashTag Erasure Codes (HTECs)}。HTEC提供最低的数据读取和数据传送，并且因此提供用于任意子分组化级别$α$的最低修复时间，其中在用于包括MSR代码的分布式存储的所有现有MDS代码中，$α\leq r^{\lceil \sfrac{k}{r} \rceil}$。修复过程是线性和高度平行的。此外，我们表明，HTEC是第一个高速率MDS码，减少修复带宽超过一个故障。HTEC在Hadoop 3.0.0-alpha 2中的实际实现展示了其巨大的潜力。
2017-07-03 cs.DC cs.IT math.IT
IAPRepair: In-Network Aggregation Enhanced Proactive Repair for Erasure-Coded Storage System
Guilin University of Electronic Technology（桂林电子科技大学）；Guilin University of Aerospace Technology（桂林航天工业学院）；Jiaxing University（嘉兴大学）
IAPRepair是面向纠删码存储的网络内聚合增强型主动修复框架，通过联合构建修复批次等设计，在多场景下较现有方法至少缩短47.83%的修复时间，提升了带宽异构下的修复效率。
2026-10-09 cs.DC
Interference Alignment in Regenerating Codes for Distributed Storage: Necessity and Code Constructions
再生码是最近开发的一类用于分布式存储的码，其像里德-所罗门码一样，允许从n个节点中的任意k个节点恢复数据。然而，再生代码还具有通过连接到任意d节点并下载通常远小于数据文件的大小的数据量来修复故障节点的能力。此下载量称为修复带宽。最小存储再生（MSR）码是再生码的一个子类，需要最少的网络存储量;每个这样的码都是最大距离可分离（MDS）码。此外，当替换节点存储与故障节点中的数据相同的数据时，修复被称为精确的。本文的四个主要结果是：（a）对于d = n-1 >= 2k-1，显式地构造了一类MDS码，称为MISER码，它在系统节点的精确修复中达到了修复带宽的割集界;（b）证明了精确修复MSR码中干扰对齐的必要性;（c）证明了构造线性MSR码的不可能性，在没有符号扩展的情况下，d < 2k-3的精确修复MSR码，以及（d）d = k+1的MSR码的构造，也是显式的。干扰对齐（IA）是贯穿全文的主题：MISER代码构建在IA原则之上，IA也是d < 2k-3不存在证明的关键组成部分。据我们所知，本文提出的结构是第一个，明确的再生码，实现割集界的建设。
2010-09-13 cs.DC cs.IT cs.NI
Self-repairing Homomorphic Codes for Distributed Storage Systems
擦除码为（联网的）存储系统中的基于复制的冗余提供了一种存储高效的替代方案。然而，当一些编码片段丢失并且需要补充时，它们需要高的通信开销用于维护。这样的开销产生于在任何单独的编码片段可以被生成和补充之前首先重新创建（或单独保存）整个对象的副本的基本需要。最近，人们对探索替代方案产生了浓厚的兴趣，最突出的是再生码（RGC）和分层码（HC）。我们提出了一种新的代码族作为替代方案，以改善维护过程，我们称之为自修复代码（SRC），具有以下显著特征：（a）可以直接从编码片段的其它子集修复编码片段，而不必首先重构原始数据，确保（b）从固定数量的编码片段修复片段，该数目仅取决于丢失了多少编码块，而与丢失了哪些特定块无关。这些属性不仅允许低通信开销来重新创建丢失的片段，而且允许并行地独立重建不同的丢失片段，可能在网络的不同部分中。我们分析了SRC相对于传统纠删码的静态恢复能力，并观察到SRC为了实现上述属性而产生的存储开销略大。显着的SRC属性自然地转化为用于重建丢失片段的低通信开销，并且通过促进并行修复来允许具有较低延迟的重建。这些理想的性质使得自修复码成为网络分布式存储系统的一个很好的和实用的候选者。
2010-07-31 cs.DC
XORing Elephants: Novel Erasure Codes for Big Data
大型集群的分布式存储系统通常使用复制来提供可靠性。最近，纠删码被用来减少三复制系统的巨大存储开销。Reed-Solomon码是标准的设计选择，其高维修成本通常被认为是为高存储效率和高可靠性付出的不可避免的代价。本文介绍了如何克服这一局限性。我们提出了一种新的家庭擦除码，有效地修复，并提供更高的可靠性相比，里德-所罗门码。我们分析表明，我们的代码是最佳的最近确定的局部性和最小距离之间的权衡。我们在Hadoop HDFS中实现了我们的新代码，并与当前部署的使用Reed-Solomon代码的HDFS模块进行了比较。我们修改后的HDFS实现在修复磁盘I/O和修复网络流量上减少了大约2倍。新的编码方案的缺点是，它需要14%以上的存储相比，里德-所罗门码，一个开销被证明是信息理论上最优的获得局部性。由于新代码修复故障更快，因此提供了更高的可靠性，与复制相比，可靠性高出几个数量级。
2013-01-16 cs.DC cs.IT cs.NI
Regenerating Codes for Errors and Erasures in Distributed Storage
再生码是为保证分布式存储系统中数据的可靠性和故障节点的有效修复而提出的一类编码。在本文中，我们解决的基本问题，处理错误和擦除过程中的数据重建和节点修复操作。我们提供了明确的再生代码，是弹性的错误和擦除，并表明这些代码是最佳的存储和带宽要求。作为一个特殊的情况下，我们还建立了一类分布式存储系统的恶意对手的存在下的能力。虽然我们的代码结构是基于以前构建的产品矩阵码，我们也提供了必要和充分的条件引入弹性在任何再生代码。
2012-05-23 cs.DC cs.IT cs.NI
Distributed Storage Codes Meet Multiple-Access Wiretap Channels
我们认为{\it i）}的开销最小化的最大距离可分离（MDS）存储代码的修复一个单一的失败的节点和{\it ii）}的总安全度的自由度（S-DoF）最大化在多址复合窃听信道。我们表明，这两个问题是相连的。具体地，对于{\it optimal} MDS码的单个节点故障的开销最小化，即可以实现信息理论开销最小化的MDS码，等效于最大化多址复合窃听信道中的S-DoF。此外，我们表明，最大限度地提高了S-DoF在多路访问复合窃听信道相当于最大限度地减少了MDS代码的开销，用于修复一个离去的节点。最佳MDS码映射到全S-DoF信道，并且全S-DoF信道映射到对于一个故障节点具有最小修复开销的MDS码。我们还陈述了代码到通道和通道到代码映射的一般框架以及两个设置之间的性能界限。所有连接的基本主题是干涉对齐（IA）。当我们将IA重新描述为一个优化问题时，这两个问题之间的联系变得显而易见。具体来说，我们制定的开销最小化和S-DoF最大化的秩约束，和秩和最大秩最小化问题分别。导出的连接使我们能够将最近发现的修复码的修复策略映射到波束成形矩阵，并表征单天线多址复合窃听信道的最大S-DoF。
2010-10-04 cs.DC cs.IT cs.NI
The CORE Storage Primitive: Cross-Object Redundancy for Efficient Data Repair & Access in Erasure Coded Storage
擦除码是许多针对大数据的分布式存储系统的组成部分，因为它们提供了低开销的高容错性。然而，传统的擦除码在降级环境中读取存储的数据（当节点可能不可用时）以及补充丢失的数据（对于长期弹性至关重要）时效率低下。因此，新的代码优化，以应付分布式存储系统的细微差别正在大力研究。在本文中，我们采取了一种工程替代方案，探索使用简单而成熟的技术-并列的RAID-4像奇偶校验的标准擦除码。我们进行了分析研究，以确定这种方法的有效性，传统的以及一些新的代码。我们建立在这项研究的基础上，设计核心，一个通用的存储原语，我们集成到HDFS。我们在专有集群和EC2中对该实现进行了基准测试。实验结果表明，与传统的纠删码相比，CORE在恢复单个故障节点时占用的带宽减少了50%，恢复速度提高了75%，而在恢复双节点故障时，恢复速度分别提高了15%和60%。
2013-06-26 cs.DC
Breaking the Storage-Bandwidth Tradeoff in Distributed Storage with Quantum Entanglement
University of Maryland, College Park（马里兰大学帕克分校）
本文利用量子纠缠在分布式存储中实现存储和带宽的同步最小化，突破经典存储-带宽权衡限制。
2026-01-15 cs.DC cs.IT cs.NI
On the Optimal Provider Selection for Repair in Distributed Storage System with Network Coding
在大规模分布式存储系统（DSS）中，可靠性是由分布在Internet上的存储服务器上的冗余提供的。网络编码由于能提高系统的可靠性和缩短系统的修复时间而在决策支持系统中得到广泛的研究。为了保持可靠性，一个不可用的存储服务器应该首先被一个名为new comer的新服务器替换。然后，从幸存的服务器中选择多个存储服务器，称为提供商，并通过Internet将其编码数据发送到新的服务器，以重新生成丢失的数据。因此，在大规模的DSS中，再生阶段的提供者选择和数据路由对再生时间的性能有很大的影响。在本文中，我们研究的最佳供应商选择和数据路由问题，以最大限度地减少再生时间的决策支持系统与NC。具体来说，我们首先定义了问题的决策支持系统与NC。对于给定供应商的情况，我们将问题建模为数学规划。基于数学规划，我们制定了最佳的供应商选择和数据路由问题的整数线性规划问题，并开发了一个有效的近优算法的基础上线性规划松弛（BLP）。最后，通过大量的仿真实验验证了该算法的有效性。
2015-11-15 cs.DC
Secure Determinant Codes for Distributed Storage Systems
研究了以$(n,k=d,d,\ell)$为参数的分布式存储系统信息论安全精确修复再生码。我们考虑分布式存储系统的$n$节点，其中的原始数据可以从任何子集的$k=d$节点恢复，和任何节点的内容可以从任何$d$助手节点检索。此外，我们考虑两个保密约束，即，类型I，其中的消息仍然是安全的，对窃听者访问的任何子集的内容多达$\ell$节点，和类型II，其中的消息仍然是安全的，对窃听者谁可以观察到传入的修复数据从所有可能的节点到一个固定的，但未知的子集多达$\ell$受损的节点。本文提出了两类安全的行列式码，它们分别适用于第一类和第二类保密约束。每一个建议的代码可以被设计为每个节点的存储容量和修复带宽的任何系统参数的范围。它们导致了两个可实现的保密权衡，即类型I和类型II安全性。
2022-12-30 cs.CR cs.DC cs.IT
Liquid Cloud Storage
Qualcomm Technologies, Inc.（高通技术有限公司）
本文提出一种液体系统，通过冗余数据分布、懒惰修复和流存储组织，实现存储耐用性、存储开销、修复带宽和访问性能的灵活优化。
2017-05-22 cs.DC cs.PF cs.SY
Making Wide Stripes Practical: Cascaded Parity LRCs for Efficient Repair and High Reliability
Key Laboratory of Cryptologic Technology and Information Security, Ministry of Education（教育部密码技术与信息安全重点实验室）；Quan Cheng Laboratory（泉城实验室）
本文提出了一种新的宽条带LRCs，通过级联奇偶块结构实现高效修复和高可靠性，实验显示修复时间显著降低。
2025-12-11 cs.DC
Deterministic Data Distribution for Efficient Recovery in Erasure-Coded Storage Systems
由于个别商品组件的不可靠性，故障是常见的大规模分布式存储系统。在实际存储系统中广泛部署擦除码以提供低存储开销的容错。然而，随机数据分布（RDD），通常用于擦除编码存储系统中，会导致大量的跨机架流量，负载不平衡和随机访问，这对故障恢复产生不利影响。在本文中，与正交表，我们定义了一个确定性的数据分布（$D^3$）均匀分布的数据/奇偶校验块节点之间，并提出了一个有效的故障恢复方法的基础上，$D^3$，最大限度地减少跨机架修复流量对一个单一的节点故障。由于$D^3$的一致性，所提出的恢复方法不仅平衡了机架内节点之间的修复流量，而且平衡了机架之间的修复流量。我们在Hadoop分布式文件系统（HDFS）中实现了$D^3$在Reed-Solomon码和本地可修复码上的28台机器的集群。与RDD相比，我们的实验表明，$D^3$显着提高了故障恢复速度，RS码为2.49倍，LRC为1.38倍。此外，$D^3$在正常和恢复状态下都比RDD更好地支持前端应用程序。
2020-04-14 cs.DC
