ARES: Adaptive, Reconfigurable, Erasure coded, atomic Storage
原子性或强一致性是分布式共享内存仿真中最基本、最直观、也最难提供的原语之一。为了确保存储服务在出现故障时的生存性、可伸缩性和可用性，在消息传递环境中，用于原子存储器仿真的传统方法跨多个服务器复制对象。与基于复制的原子存储算法相比，基于纠删码的原子存储算法具有更低的存储和通信开销，但通常更难设计。设计原子存储器算法的难度进一步增加，当服务器的集合可能会改变，以确保软件和硬件升级的服务的生存能力，同时避免服务中断。在复制系统中，用于执行服务器重新配置的原子存储器算法非常少，复杂，并且仍然是研究的活跃领域的一部分;基于擦除码的算法的重新配置是不存在的。在这项工作中，我们提出了ARES，一个算法框架，允许底层服务器的重新配置，特别适合基于擦除代码的算法模拟原子对象。ARES在保持服务可用的同时引入了新的配置。为了与ARES一起使用，我们还提出了一个新的，据我们所知，第一个两轮基于擦除码的算法TREAS，用于在异步消息传递环境中模拟多作者，多读者（MWMR）原子对象，具有接近最佳的通信和存储成本。我们的算法可以容忍任何客户端和部分服务器的崩溃故障，但，保证安全性和活性属性。此外，通过结合ARES和TREAS的优点，我们提出了一个优化的算法，可以安装新的配置，而无需通过重新配置客户端的对象值。
2021-05-28 cs.DC
On the Latency and Energy Efficiency of Erasure-Coded Cloud Storage Systems
数据中心数据存储和功耗的增加使得设计节能的分布式存储系统（DSS）势在必行。DSS的能源效率不仅受到数据量，数据访问频率和数据存储冗余的强烈影响，而且还受到DSS在这些方面表现出的异质性的影响。为此，我们提出并分析了异构分布式存储系统的能源效率，其中$n$存储服务器（磁盘）存储的数据$R$不同的类。使用$(n,k_{i})$擦除码对$i$类的数据进行编码，并且（随机）数据检索请求也可以在类之间变化。我们发现，这种系统的能源效率是密切相关的平均延迟，因此激励我们通过平均延迟的镜头来研究能源效率。通过这种连接，我们表明纠删编码具有减少延迟和提高能效的双重目的。我们提出了一个排队理论分析所提出的模型，并建立各种调度策略下的每个数据类的平均延迟的上限和下限。通过大量的模拟，我们提出了定性的见解，揭示了编码速率，服务器数量，服务分布和冗余请求数量对DSS的平均延迟和能源效率的影响。
2015-05-22 cs.DC
Sprout: A functional caching approach to minimize service latency in erasure-coded storage
现代分布式存储系统通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时试图满足应用程序和客户端的延迟要求。存储系统可以在代理或客户端处具有高速缓存，以便减少延迟。在本文中，我们考虑一种新的缓存框架与擦除代码称为功能缓存。功能缓存涉及在缓存中使用擦除编码的块，使得由存储节点和缓存中的块组合形成的代码是最大距离可分离（MDS）擦除码。基于不同文件的到达率、文件块在服务器上的放置以及存储服务器的服务时间分布，考虑了最优的功能缓存放置和不同磁盘的文件请求的访问概率.所提出的算法在开源云存储部署中的模拟和原型解决方案中都显着改善了延迟。
2017-07-21 cs.DC cs.IT math.IT
Multi-level Forwarding and Scheduling Recovery Algorithm in Rapidly-changing Network for Erasure-coded Clusters
擦除编码簇的一个关键设计目标是减少修复时间。现有的擦除编码数据修复方案大致分为两类：1。设计快速数据修复（例如，PPR）在均匀环境中。2.构造数据修复（例如，PPT）在异构环境中基于带宽的。然而，这些解决方案很难应付异构和快速变化的网络中的擦除编码集群。为了解决这个问题，带宽感知的多级转发修复算法，称为BMFRepair，提出。BMFRepair在数据转发时实时的监控网络带宽，并选择具有高带宽链路的空闲节点协助转发。因此，它可以减少低链路传输所造成的时间瓶颈。同时，当带宽急剧变化时，多节点修复变得非常复杂。针对多节点修复问题，提出了一种多节点调度修复算法MSRepair，通过调度节点资源，并行修复多个失效块。这两种算法能够灵活地适应快速变化的网络环境，充分利用空闲节点的带宽资源。最重要的是，算法可以根据快速动态网络中带宽的变化不断调整修复计划。算法在Mininet上进行了仿真，并在阿里云平台ECS上进行了实际实验。结果表明，与现有的PPR和PPT修复方案相比，该算法在快速变化的网络中能显著缩短修复时间。
2021-04-09 cs.DC cs.NI
Modeling and Optimization of Latency in Erasure-coded Storage Systems
随着消费者越来越多地参与社交网络和电子商务活动，企业越来越依赖大数据分析来获取智能，传统IT基础设施继续迁移到云和边缘，这些趋势导致分布式数据存储需求以前所未有的速度增长。擦除编码已经迅速成为一种有前途的技术，可以降低存储成本，同时提供与复制系统类似的可靠性，被Facebook、微软和谷歌等公司广泛采用。然而，它也带来了新的挑战，在表征和优化访问延迟时，纠删码用于分布式存储。这本专著的目的是提供一个审查的最新进展（理论和实践）的系统，采用纠删码的分布式存储。在本专题中，我们将首先确定研究问题的关键挑战和分类，然后概述已开发的不同方法来量化和建模擦除编码存储的延迟。这包括最近利用MDS保留、Fork-Join、Probably和延迟重新启动调度策略的工作，以及它们用于表征访问延迟的应用（例如，平均值、尾部、渐近延迟）。我们还将把这个问题扩展到用户从擦除编码的分布式存储系统中流式传输视频的情况。接下来，我们将弥合理论和实践之间的差距，并讨论从原型实现中吸取的经验教训。特别地，我们将讨论擦除编码存储的示例性实现，阐明关键设计的自由度自由度和权衡，并总结现实世界的存储系统中剩余的挑战，如内容交付和缓存。在每一章的最后讨论了未来研究的开放问题。
2020-05-21 cs.DC cs.IT cs.NI
Enabling Node Repair in Any Erasure Code for Distributed Storage
与数据复制相比，擦除码是跨网络存储数据的有效手段，因为它们倾向于减少存储在网络中的数据量，并在存在节点故障的情况下提供增加的弹性。但是，当需要修复故障节点时，这些代码的性能很差，因为它们通常需要下载整个文件来修复故障节点。最近引入了一类新的擦除码，称为再生码，在这方面做得更好。然而，考虑到文献中可用的各种高效纠删码，人们对构建编码方案非常感兴趣，该编码方案将使传统纠删码能够被使用，同时保留仅需要下载一小部分数据用于节点修复的特征。在本文中，我们提出了一个简单而强大的框架，正是这样做的。在此框架下，节点被划分为两个“类型”，并使用两个代码的方式，减少了节点修复的问题，组成代码的擦除解码的编码。根据两个代码的选择，该框架可以用于利用以下优点中的一个或多个：同时最小化存储空间和修复带宽，操作的低复杂性，在修复期间在助手节点处的较少的磁盘读取，以及错误检测和校正。
2011-06-30 cs.DC cs.IT cs.NI
Tackling Heterogeneous Traffic in Multi-access Systems via Erasure Coded Servers
现代应用程序生成的大多数数据都存储在云中，访问这些数据并使用它们执行计算的作业量呈指数级增长。数据访问或计算作业的量在不同的作业类型中可能是异构的，并且可能随着时间的推移而不可预测地变化。云服务提供商通过过度配置托管每种作业类型的服务器数量来应对这种需求异构性和不可预测性。在本文中，我们建议增加擦除编码的服务器，可以灵活地服务于多种作业类型，而无需额外的存储成本。我们分析的服务能力区域和响应时间的这种擦除编码系统，并将它们与标准的未编码的复制为基础的系统，目前在云中使用。我们表明，编码扩展了服务容量区域，从而使系统能够处理不同数据类型的需求变化。此外，我们的特点的编码系统的响应时间在不同的到达率制度。该分析表明，即使添加少量的编码服务器也可以显著减少平均响应时间，并且在需求在不同作业类型之间倾斜的情况下大幅减少。
2022-08-15 cs.DC cs.IT cs.PF
Joint Latency and Cost Optimization for Erasure-coded Data Center Storage
现代分布式存储系统提供大容量以满足呈指数级增长的存储空间需求。他们通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时尝试满足应用程序和客户端的延迟要求。本文提供了一个有见地的上界的平均服务延迟，这样的擦除编码存储任意的服务时间分布和多个异构文件组成。结果不仅取代了已知的延迟界限，只适用于一个单一的文件或同类文件，它也使一个新的问题，联合延迟和存储成本最小化在三个维度：选择擦除码，放置编码块，优化调度策略。通过计算一系列具有可证明收敛性的凸逼近，有效地解决了这个问题。我们进一步在三个地理分布的数据中心上的开源云存储部署中原型化我们的解决方案。实验结果验证了我们的理论延迟分析，并显示显着的延迟减少，擦除编码存储的延迟成本权衡建议提供了宝贵的见解。
2014-08-05 cs.DC cs.IT math.IT
Taming Tail Latency for Erasure-coded, Distributed Storage Systems
分布式存储系统在响应时间上易受长尾效应的影响。在Bing、Facebook和Amazon等现代在线存储系统中，服务延迟的长尾特别值得关注。其中第99.9百分位响应时间是比平均值差的数量级。由于纠删码作为一种流行的技术出现，以实现分布式存储中的高数据可靠性，同时获得空间效率，驯服尾部延迟仍然是一个开放的问题，由于缺乏数学模型来分析这样的系统。为此，我们提出了一个框架，用于量化和优化尾部延迟擦除编码存储系统。特别是，我们推导出上界尾延迟在封闭的形式为任意服务时间分布和异构文件。基于该模型，我们制定了一个优化问题，以共同最大限度地减少加权延迟尾概率的所有文件在服务器上的文件的位置，并选择服务器访问所请求的文件。使用高效的交替优化算法来解决非凸问题。数值结果表明，擦除编码的存储系统与现实的工作负载的尾部延迟显着减少。
2017-03-24 cs.DC cs.IT cs.NI
Homomorphic Self-repairing Codes for Agile Maintenance of Distributed Storage Systems
分布式数据存储系统对于处理存储大量数据的需求至关重要。为了使这样的系统具有容错性，某种形式的冗余变得至关重要，这会产生各种开销-最突出的是存储空间和维护带宽要求。擦除码最初是为有损信道上的通信而设计的，它为基于复制的冗余提供了一种存储高效的替代方案，然而，当一些编码片段在一些存储设备故障后需要在新片段中补充时，它会带来用于维护的高通信开销。作为替代方案，我们提出了一个新的家庭的擦除码称为自修复码（SRC）考虑到分布式存储系统的特点，特别是维护过程。SRC具有以下显著特征：（a）通过下载比完整对象的大小更少的数据，可以直接从编码片段的其他子集修复编码片段，从而确保（b）从固定数量的编码片段修复片段，该数量仅取决于丢失了多少编码块并且与丢失了哪些特定块无关。本文通过定义新的自修复码奠定了基础，阐述了为什么定义的特性是分布式存储系统所需的。然后提出了同态自修复码（HSRC）作为一个具体的例子，其各个方面和性能的研究和比较-定量或定性相对于其他代码，包括传统的擦除码，以及其他最近的代码专门为存储应用程序。
2011-07-15 cs.DC
An Empirical Study of the Repair Performance of Novel Coding Schemes for Networked Distributed Storage Systems
擦除编码技术正被集成到网络分布式存储系统中，作为一种以比传统复制更少的存储开销为代价提供容错的方式。Reddit是通过修复机制随时间推移而维护的，这可能需要大量的网络资源开销。近年来，一些为分布式存储量身定制的新代码已经被提出来优化存储开销和修复，例如最小化每次修复流量的再生码，或最小化每次修复所接触的节点数量的自修复码。然而，这些编码技术的现有研究主要是理论上的，在简化的假设下，只有一个对象被存储。它们忽略了实际系统必须解决的许多实际问题，例如数据放置，多个存储对象的去相关，或者当多个对象同时修复时对有限网络资源的竞争。本文实证研究了这些新的存储为中心的代码相对于经典的纠删码的修复性能，通过模拟现实的情况下，探索的相互作用的代码参数，故障特征和数据的放置方面的权衡带宽的使用和速度的修复。
2012-06-11 cs.DC
Repair Optimal Erasure Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中，出现了使在故障之后精确地重建存储节点所需的总{ \it通信}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。设计高速率的最大距离可分离（MDS）码，实现最佳的修复通信一直是一个众所周知的开放问题。在这项工作中，我们使用阿达玛矩阵构造第一个显式的2-奇偶MDS存储代码的最佳修复性能的所有单节点故障，包括奇偶校验。我们的建设依赖于一种新的方法，实现完美的干扰对齐在有限的领域与有限的文件大小，或扩展的数量。我们将这种构造推广到设计$m$ -奇偶MDS码，实现了单系统节点故障的最佳修复通信，并表明我们的$m$ -奇偶码和Tamo { \it et al.}的基于系统修复最佳置换矩阵的码之间存在有趣的联系。\cite{Tamo}和Cadambe { \it等} \cite{PermCodes_ISIT, PermCodes}。
2011-06-08 cs.DC cs.IT cs.NI
Differentiated latency in data center networks with erasure coded files through traffic engineering
本文提出了一种算法，以最大限度地减少加权服务延迟为不同类别的租户（或服务类）在数据中心网络中，擦除编码的文件存储在分布式磁盘/机架和访问请求分散在整个网络。由于在架顶式和聚合交换机处可用的带宽有限，并且不同服务类别中的租户需要差异化服务，因此必须根据其流量统计在不同服务类别的不同机架内和机架间数据流之间分配网络带宽。我们制定这个问题加权排队，并采用一类概率请求调度策略，推导出一个封闭形式的上限的服务延迟擦除编码存储与任意文件访问模式和服务时间分布。结果使我们能够提出一个联合加权延迟（在不同的服务类）优化超过三个纠缠的“控制旋钮”：带宽分配在顶部的机架和聚合交换机为不同的服务类，动态调度文件请求，并放置编码的文件块（即，数据局部性）。联合优化被证明是一个混合整数问题。我们开发了一个迭代算法，它将联合优化问题分解为3个子问题，这些子问题要么是凸的，要么是通过二分匹配在多项式时间内可解的。所提出的算法在开源分布式文件系统{ \em Tahoe}中原型化，并在使用48端口Cisco Catalyst交换机的Openstack集群中具有16个独立物理主机的云测试床上进行评估。实验验证了我们的理论延迟分析，并显示不同的文件访问模式显着减少延迟。研究结果为设计具有擦除编码存储的低延迟数据中心网络提供了有价值的见解。
2016-02-17 cs.DC cs.IT math.IT
A Solution to the Network Challenges of Data Recovery in Erasure-coded Distributed Storage Systems: A Study on the Facebook Warehouse Cluster
诸如Reed-Solomon（RS）码之类的擦除码正越来越多地用于数据中心，以对抗可靠地存储大量数据的成本。虽然这些代码提供了最佳的存储效率，但在恢复丢失数据期间，它们需要非常高的网络和磁盘使用率。在本文中，我们首先提出了一个研究的恢复操作的擦除编码的数据对数据中心网络的影响，从Facebook的生产中的仓库集群的测量为基础。据我们所知，这是文献中首次进行此类研究。我们的研究表明，恢复RS编码的数据会导致网络流量的显着增加，每天超过100 TB，在一个集群存储多个PB的RS编码的数据。为了解决这个问题，我们提出了一个新的存储代码，使用我们最近提出的“捎带”框架，理论上减少了30%的恢复过程中的网络和磁盘使用，同时也是存储最佳和支持任意的设计参数。在Hadoop分布式文件系统（HDFS）中实现拟议的代码正在进行中。我们使用仓库集群的测量结果表明，建议的代码将导致每天减少近50 TB的跨机架流量。
2013-09-01 cs.DC cs.IT cs.NI
Video Streaming in Distributed Erasure-coded Storage Systems: Stall Duration Analysis
各行业对全球视频的需求一直在蓬勃发展。随着视频流媒体服务的扩展和改进，基于云的视频正在演变为任何成功企业的必要功能，以接触内部和外部受众。本文认为，视频流在分布式系统中的视频片段编码使用纠删码更好的可靠性，从而成为第一个工作，我们最好的知识，认为视频流在纠删编码的分布式云系统。每个视频片段的每个编码块的下载时间被表征，并且在擦除编码块的选择上的有序统计被用于获得不同视频片段的回放时间。使用回放时间，对失速持续时间的矩母函数的界限被用来界定平均失速持续时间。基于矩生成函数的有序统计量的界限也被用来界定失速持续时间尾部概率，该概率确定失速时间大于预定义的数字的概率。这两个度量，平均停顿持续时间和停顿持续时间尾部概率，是终端用户的重要体验质量（QoE）度量。基于这些指标，我们制定了一个优化问题，以联合最小化的凸组合的QoE指标平均在所有请求的放置和访问的视频内容。非凸问题的解决使用一个有效的迭代算法。数值结果显示，与所考虑的基线相比，基于云的视频的QoE指标有显着改善。
2018-06-26 cs.DC cs.IT cs.MM
A Non-MDS Erasure Code Scheme For Storage Applications
本文研究了在分布式存储系统中使用冗余和自修复对节点故障，使用各种策略。在复制方法中，访问一个复制节点是足够的，以重建一个丢失的节点，而在MDS纠删编码系统，这是最佳的冗余可靠性权衡方面，一个单一的节点故障后，恢复整个存储的数据进行修复。此外，再生代码产生的存储容量和修复带宽之间的权衡曲线。本文旨在研究一种新的存储码。具体来说，我们提出了一个非MDS（2k，k）代码，容忍任何三个节点的故障，更重要的是，它是使用我们的代码，一个单一的节点故障可以通过访问只有三个节点进行修复。
2011-09-21 cs.DC cs.IT cs.NI
Reliability of Erasure Coded Storage Systems: A Geometric Approach
我们考虑的数据丢失的概率，或等效的，可靠性函数的纠删编码分布式数据存储系统在最坏的情况下的条件。纠删编码系统中的数据丢失取决于磁盘修复持续时间和磁盘故障持续时间的概率分布。在以前的工作中，这种系统的数据丢失概率已经研究了指数分布的磁盘故障和磁盘修复持续时间的假设下，使用著名的分析方法从马尔可夫过程的理论。这些方法导致的可靠性函数的积分的估计。在这里，我们解决的问题，直接计算数据丢失概率一般维修和故障持续时间分布。一个封闭的限制形式开发的数据丢失的概率，它示出的事件，修复持续时间超过故障持续时间的概率是足以表征的数据丢失概率。对于恒定的修复持续时间的情况下，我们开发了一个表达式的条件数据丢失概率给定的故障的数量由每个节点在给定的时间窗口。我们这样做，通过开发一个几何方法，依赖于计算的一个家庭的多面体的体积是相关的代码。一个精确的计算提供了一个上界的数据丢失概率是通过将问题作为一个集避免问题。理论计算与模拟结果进行了比较。
2015-08-20 cs.DC cs.IT math.IT
A Layered Architecture for Erasure-Coded Consistent Distributed Storage
受边缘计算范式的新兴应用的启发，我们引入了一个两层擦除编码的容错分布式存储系统，为读写操作提供原子访问。在边缘计算中，客户端与地理上靠近的边缘层服务器交互;边缘层又与后端服务器层交互。边缘层为客户端操作提供低延迟访问和临时存储，并使用后端层进行持久存储。我们的算法，被称为分层数据存储（LDS）算法，提供了几个功能适合边缘计算系统，工作在异步消息传递环境下，支持多个读取器和写入器，并可以容忍$f_1 < n_1/2$和$f_2 < n_2/3$崩溃故障的两个层有$n_1$和$n_2$服务器，分别。我们使用一类称为再生码的擦除码来存储后端层中的数据。选择重新生成代码，而不是像Reed-Solomon代码这样的流行选择，不仅优化了后端存储的成本，而且还有助于优化读取操作的通信成本，当值需要从后端重新创建时。两层架构允许原子性和擦除代码协议的模块化实现;擦除代码的实现主要限于两层之间的交互。我们证明了LDS的活性和原子性，并计算与读写操作相关的性能成本。此外，在运行LDS的$N$独立实例的多对象系统中，其中在执行期间的任何点处只有一小部分对象经历并发访问，总体存储成本由后端层中的持久性存储的成本主导，并且由$Θ(N)$给出。
2017-05-30 cs.DC cs.IT math.IT
XORing Elephants: Novel Erasure Codes for Big Data
大型集群的分布式存储系统通常使用复制来提供可靠性。最近，纠删码被用来减少三复制系统的巨大存储开销。Reed-Solomon码是标准的设计选择，其高维修成本通常被认为是为高存储效率和高可靠性付出的不可避免的代价。本文介绍了如何克服这一局限性。我们提出了一种新的家庭擦除码，有效地修复，并提供更高的可靠性相比，里德-所罗门码。我们分析表明，我们的代码是最佳的最近确定的局部性和最小距离之间的权衡。我们在Hadoop HDFS中实现了我们的新代码，并与当前部署的使用Reed-Solomon代码的HDFS模块进行了比较。我们修改后的HDFS实现在修复磁盘I/O和修复网络流量上减少了大约2倍。新的编码方案的缺点是，它需要14%以上的存储相比，里德-所罗门码，一个开销被证明是信息理论上最优的获得局部性。由于新代码修复故障更快，因此提供了更高的可靠性，与复制相比，可靠性高出几个数量级。
2013-01-16 cs.DC cs.IT cs.NI
Coded sparse matrix computation schemes that leverage partial stragglers
大型集群上的分布式矩阵计算可能会遇到缓慢或失败的工作节点（称为掉队者）的问题，这可能会支配整个作业执行时间。编码计算利用擦除编码的概念，通过运行包含作业的任务的“编码”副本来减轻掉队者的影响;掉队者通常被视为擦除。虽然这是有用的，但应用存在问题，例如，MDS代码以简单的方式。几个实际的矩阵计算场景涉及稀疏矩阵。MDS码通常需要原始矩阵的子矩阵的密集线性组合，这破坏了它们固有的稀疏性。这是有问题的，因为它导致显著更高的工作者计算时间。此外，将慢节点视为擦除忽略了它们执行的潜在有用的部分计算。此外，一些MDS技术还遭受显著的数值稳定性问题。在这项工作中，我们提出的计划，使我们能够利用部分计算的掉队者，同时施加限制的水平上的编码，需要在生成的编码子矩阵。与先前的方法相比，这显著地减少了工作者计算时间，并且导致解码过程中改进的数值稳定性。亚马逊网络服务（AWS）集群详尽的数值实验支持我们的研究结果。
2021-09-24 cs.DC cs.IT math.IT
HashTag Erasure Codes: From Theory to Practice
最小存储再生（MSR）码已经成为Reed-Solomon（RS）码的可行替代方案，因为它们最小化了修复带宽，同时它们在可靠性和存储开销方面仍然是最佳的。虽然存在几种MSR结构，但到目前为止，它们还没有实际实现，主要是由于大量的I/O操作。在本文中，我们分析了高速率MDS码，同时优化的存储，可靠性，I/O操作，和修复带宽的单个和多个故障的系统节点。这些代码最近在\cite{7463553}中引入，没有任何特定名称。由于hashtag符号\#与代码构造过程的相似性，本文将其称为\emph{HashTag Erasure Codes (HTECs)}。HTEC提供最低的数据读取和数据传送，并且因此提供用于任意子分组化级别$α$的最低修复时间，其中在用于包括MSR代码的分布式存储的所有现有MDS代码中，$α\leq r^{\lceil \sfrac{k}{r} \rceil}$。修复过程是线性和高度平行的。此外，我们表明，HTEC是第一个高速率MDS码，减少修复带宽超过一个故障。HTEC在Hadoop 3.0.0-alpha 2中的实际实现展示了其巨大的潜力。
2017-07-03 cs.DC cs.IT math.IT
Self-repairing Homomorphic Codes for Distributed Storage Systems
擦除码为（联网的）存储系统中的基于复制的冗余提供了一种存储高效的替代方案。然而，当一些编码片段丢失并且需要补充时，它们需要高的通信开销用于维护。这样的开销产生于在任何单独的编码片段可以被生成和补充之前首先重新创建（或单独保存）整个对象的副本的基本需要。最近，人们对探索替代方案产生了浓厚的兴趣，最突出的是再生码（RGC）和分层码（HC）。我们提出了一种新的代码族作为替代方案，以改善维护过程，我们称之为自修复代码（SRC），具有以下显著特征：（a）可以直接从编码片段的其它子集修复编码片段，而不必首先重构原始数据，确保（b）从固定数量的编码片段修复片段，该数目仅取决于丢失了多少编码块，而与丢失了哪些特定块无关。这些属性不仅允许低通信开销来重新创建丢失的片段，而且允许并行地独立重建不同的丢失片段，可能在网络的不同部分中。我们分析了SRC相对于传统纠删码的静态恢复能力，并观察到SRC为了实现上述属性而产生的存储开销略大。显着的SRC属性自然地转化为用于重建丢失片段的低通信开销，并且通过促进并行修复来允许具有较低延迟的重建。这些理想的性质使得自修复码成为网络分布式存储系统的一个很好的和实用的候选者。
2010-07-31 cs.DC
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison（威斯康星大学麦迪逊分校）
我们提出了ErasureHead，一种新的分布式梯度下降（GD）的方法，采用近似梯度编码，减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反，ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度，但具有更高的延迟容忍度。与以前的工作梯度编码，我们提供了一个性能分析，结合延迟和收敛保证。我们建立了一个小的噪声本底，ErasureHead收敛速度一样快，分布式GD，并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验，并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
Maximum Lifetime for Data Regeneration in Wireless Sensor Networks
专用于无线传感器网络的鲁棒分布式存储系统利用多个节点冗余地存储传感数据，使得当一些存储节点失效时，传感数据仍然可以被重构。对于相同级别的冗余，已知基于纠删编码的方法比复制方法需要更少的数据存储空间。为了在一个存储节点发生故障时保持相同的冗余水平，可以通过使该节点从其他活动存储节点下载相应的片段来将擦除编码的数据恢复到某个其他存储节点上。以前的工作表明，使用擦除编码的好处，强大的存储复制是没有吸引力的复杂性，在重新生成丢失的数据。然而，最近的工作表明，通过提出再生编码，可以进一步减少纠删编码数据的带宽，从而使纠删码再次适合于鲁棒的数据存储。但是，这些工作的再生编码考虑这些代码将如何执行无线传感器网络中的数据再生。因此，我们提出了一个分析模型来量化再生编码在经典方案的网络寿命增益。我们还提出了一个分布式算法，TROY，确定哪些节点和路由用于数据再生。我们的分析研究表明，对于某些拓扑结构，TROY实现了最大的网络寿命。我们在真实传感器网络跟踪的评估研究表明，TROY实现了接近最佳的寿命和性能优于基线算法。
2011-06-15 cs.DC
Regenerating Codes for Errors and Erasures in Distributed Storage
再生码是为保证分布式存储系统中数据的可靠性和故障节点的有效修复而提出的一类编码。在本文中，我们解决的基本问题，处理错误和擦除过程中的数据重建和节点修复操作。我们提供了明确的再生代码，是弹性的错误和擦除，并表明这些代码是最佳的存储和带宽要求。作为一个特殊的情况下，我们还建立了一类分布式存储系统的恶意对手的存在下的能力。虽然我们的代码结构是基于以前构建的产品矩阵码，我们也提供了必要和充分的条件引入弹性在任何再生代码。
2012-05-23 cs.DC cs.IT cs.NI
DSPE: Profit Maximization in Edge-Cloud Storage System using Dynamic Space Partitioning with Erasure Code
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
针对边缘服务器存储容量有限、难应对动态高并发低延迟请求的问题，提出融合纠删码、协作缓存与动态公私分区的利润导向框架，经真实轨迹验证较现有方案提升系统利润5%-8%。
2025-07-30 cs.DC
Clustered Network Coding for Maintenance in Practical Storage Systems
经典的擦除码，如里德-所罗门码，已被公认为是一种有效的替代纯复制，以减少可靠的分布式存储系统中的存储开销。然而，这样的代码在维护过程中经历高开销。在本文中，我们提出了一种新的擦除编码框架，特别是为网络存储系统量身定制。我们的方法依赖于使用随机代码加上一个集群的布局策略，使维护一个失败的机器在多个文件的粒度。我们的修复协议利用网络编码技术，以减少一半的数据量在维护过程中传输，因为几个文件可以同时修复。这种方法，正式证明，并证明了我们的公共实验测试平台上的评估，能够显着降低维护过程中的带宽开销，以及修复故障的时间。此外，实现尽可能简单，旨在部署到实际系统中。
2012-06-19 cs.DC
RADON: Repairable Atomic Data Object in Networks
擦除码为异步分布式存储系统中实现原子存储服务时降低存储和通信开销提供了一种有效的方法。在本文中，我们提供了擦除代码为基础的算法，具有额外的能力来执行后台修复崩溃的节点。处于崩溃状态的节点的修复操作在外部触发，并且由相关节点经由与系统中的其他活动节点的消息交换来执行。修复完成后，节点重新进入活动状态，并恢复参与正在进行的和未来的读取、写入和修复操作。为了同时保证活跃性和原子性，现有的作品假设存在具有稳定存储的节点，或者存在在执行期间从不崩溃的节点。这两样我们都不要求;相反，我们考虑一种自然但实际的网络稳定性条件$N1$，其仅限制在任何消息的广播期间处于崩溃/修复状态的节点的数量。我们提出了一个基于擦除码的算法$RADON_C$，它总是活的，并保证原子性，只要条件$N1$持有。在并发写入数量有限的情况下，与基于复制的算法$RADON_R$相比，$RADON_C$显著改善了存储和通信成本，基于复制的算法也在$N1$下工作。我们进一步展示了如何一个稍强的网络稳定性条件$N2$可以用来构建算法，从来没有违反原子性。原子性的保证是以在读写操作期间具有额外的阶段为代价的。
2016-11-21 cs.DC cs.IT math.IT
Scaling Blockchains with Error Correction Codes: A Survey on Coded Blockchains
本文回顾并强调了如何使用编码方案来解决区块链系统中的各种问题。具体来说，这些问题涉及到区块链在数据存储、计算和通信成本以及安全性方面的扩展。为此，本文考虑使用编码块或分片，允许参与者仅存储整个区块链的一小部分，防止恶意节点或由于节点离开区块链系统而导致的擦除，确保数据可用性以提高透明度，并扩展分片区块链的安全性。此外，它有助于降低分发块时的通信成本，这对于引导新节点至关重要，并有助于加快块的共识。对于每一类解决方案，我们强调了促使其设计和使用编码的问题和问题。此外，我们提供了一个定性的分析，他们的存储，通信和计算成本。
2022-08-19 cs.DC
Self-stabilization Overhead: an Experimental Case Study on Coded Atomic Storage
共享内存仿真可以用作容错和高可用性的分布式存储解决方案，也可以用作低级同步原语。Attiya、Bar-Noy和Dolev是第一个提出单写入器、多读取器可线性化寄存器仿真的人，其中寄存器被复制到所有服务器。最近，Cadambe等人提出了编码原子存储（CAS）算法，该算法使用擦除编码来实现数据冗余，其通信成本比以前的算法解决方案低得多。尽管CAS可以容忍服务器崩溃，但它的设计目的并不是为了在不需要外部（人为）干预的情况下从意外的瞬时故障中恢复。在这方面，Dolev、Petig和Schiller最近开发了CAS的自稳定版本，我们称之为CASSS。正如人们所期望的那样，自我稳定并不是免费的午餐;它主要是为了检测不一致和陈旧的信息而引入的通信开销。因此，人们会怀疑自稳定引入的开销是否会抵消纠删编码的好处。为了回答这个问题，我们在PlanetLab（一个行星级分布式基础设施）上实现并实验评估了CASSS算法。评估表明，我们的实现CASSS规模非常好的服务器的数量，并发客户端的数量，以及复制对象的大小。更重要的是，它表明（a）与传统CAS算法（我们也实现了）相比，只有恒定的开销，（b）恢复期（在最后一次发生瞬时故障后）与几个客户端（读/写）操作一样快。我们的研究结果表明，CASSS不会显着影响效率，同时处理自动恢复从瞬时故障和所需资源的大小有界。
2018-07-26 cs.DC
Making Wide Stripes Practical: Cascaded Parity LRCs for Efficient Repair and High Reliability
Key Laboratory of Cryptologic Technology and Information Security, Ministry of Education（教育部密码技术与信息安全重点实验室）；Quan Cheng Laboratory（泉城实验室）
本文提出了一种新的宽条带LRCs，通过级联奇偶块结构实现高效修复和高可靠性，实验显示修复时间显著降低。
2025-12-11 cs.DC
Locally Repairable Codes
用于大规模应用的分布式存储系统通常使用复制来提高可靠性。近年来，纠删码被用来减少大量的存储开销，同时提高数据的可靠性。现成的纠删码的主要限制是它们在单节点故障事件期间的高修复成本。在这个领域中的一个主要的公开问题是设计代码，使得{ \it i）}是修复有效的，并且{ \it ii）}实现任意高的数据率。在本文中，我们探讨修复度量{ \it局部性}，它对应于在一个{ \color{black}单}节点修复所需的磁盘访问的数量。根据这个指标，我们描述了一个信息理论的权衡，绑定在一起的地方，代码的距离，和每个节点的存储容量。我们证明了最优{ \it局部可修码}（LRC）的存在，实现了这种权衡。可扩展性证明使用了一个局部感知的流图小工具，这导致了一个随机的代码构造。最后，我们提出了一个最佳的和明确的LRC，实现任意高的数据速率。我们的局部最优构造是基于里德-所罗门块的简单组合。
2014-05-03 cs.DC cs.IT cs.NI
Fundamental Limits of Erasure-Coded Key-Value Stores with Side Information
在分布式存储系统到现代键值存储的应用中，由于频繁更新，存储的数据是高度动态的。为了研究分布式存储系统中动态数据的存储开销问题，提出了多版本编码问题。以前关于多版本编码的工作考虑了一个完全分散和异步的系统，假设服务器不知道其他服务器接收的数据版本。在本文中，我们放松了这一假设，并研究了一个系统，其中服务器可以获取侧信息的数据版本传播到一些其他服务器的网络拓扑结构的基础上。具体来说，我们研究了存储系统与$n$服务器上的有向图存储$ν$完全有序版本的消息。每个服务器接收这些$ν$版本的子集。服务器知道它在网络图中的邻居已经接收到哪些版本。我们表明，侧信息可以导致更好的存储成本相比，没有侧信息的情况下，在某些制度的代价与交换侧信息的额外延迟。通过信息理论的逆，我们确定了令人惊讶的情况下，边信息可能无助于提高最坏情况下的存储成本超出服务器没有边信息的情况。最后，我们提出了一个案例研究亚马逊网络服务（AWS），展示了潜在的成本降低，可能会获得我们的建设。
2019-05-18 cs.DC cs.IT math.IT
RapidRAID: Pipelined Erasure Codes for Fast Data Archival in Distributed Storage Systems
为了在分布式存储系统中实现可靠性，数据通常在不同的节点上复制。然而，要存储的数据量的增加促使了纠删码的引入，纠删码是复制的存储高效替代方案，特别适合于数据中心中的存档，其中旧数据集（很少访问）可以被纠删编码，而副本仅针对最新数据进行维护。许多最近的作品考虑新的存储为中心的擦除码的设计，以提高可修复性。相反，本文解决了从复制到编码的迁移：传统上，纠删编码是一种原子操作，其中具有整个对象的单个节点编码并上传所有编码片段。虽然大型数据集可以通过在不同节点之间分布单个对象编码来并行存档，但由于这种原子性，单个节点的网络和计算能力限制了存档过程。我们提出了一种新的流水线编码策略，在不同的节点之间分配网络和计算负载的单对象编码，这也加快了多个对象存档。我们进一步提出RapidRAID代码，一个明确的家庭的流水线擦除码，提供快速归档，而不损害数据的可靠性或存储开销。最后，我们提供了RapidRAID代码的实际实现，并使用50个节点的集群和一组Amazon EC2实例对其性能进行了基准测试。实验表明，RapidRAID编码减少了单个对象的编码时间高达90%，而当多个对象并发编码时，减少高达20%。
2012-08-03 cs.DC
Coded Computing via Binary Linear Codes: Designs and Performance Limits
我们考虑编码分布式计算的问题，其中一个大的线性计算工作，如矩阵乘法，分为$k$较小的任务，使用$(n,k)$线性代码编码，并在$n$分布式节点上执行。目标是减少计算作业的平均执行时间。我们提供了一个连接之间的问题，表征编码的分布式计算系统的平均执行时间和分析的错误概率的代码长度$n$擦除通道使用的问题。因此，我们提出了使用二进制随机线性代码的执行时间和最佳执行时间的任何线性编码的分布式计算系统可以实现的封闭形式的表达式。它还表明，存在\textit{good}二进制线性码，不仅达到（渐近）的最佳性能，任何线性码（不一定是二进制）可以实现，但也是数值稳定的对不可避免的舍入误差在实践中。然后，我们开发了一个低复杂度的算法解码Reed-Muller（RM）码擦除信道。我们的解码器只涉及加法，减法，{和最多$\log n+1$的尺寸相对较小的矩阵的求逆}，并使编码计算实值数据。广泛的数值分析的基本结果，以及RM和极性编码的计算方案证明了卓越的RM编码的计算，在实现接近最佳的性能，同时具有低复杂度的解码和明确的建设。鉴于信道编码理论中丰富的文献，本文提出的框架能够有效地设计分布式计算系统。
2021-10-05 cs.DC cs.IT math.IT
Train Where the Data is: A Case for Bandwidth Efficient Coded Training
训练机器学习模型是计算和数据密集型的。大多数模型训练在高性能计算节点上执行，并且训练数据存储在这些节点附近以进行更快的训练。但是，人们对在数据附近进行培训的兴趣越来越大。例如，移动设备是训练数据的丰富来源。由于带宽和数据隐私的原因，将移动设备的数据整合到云服务中可能不可行。然而，移动设备上的培训充满了挑战。第一，移动设备可以自愿地或由于环境不确定性（诸如缺乏电力）而加入或离开分布式设置。容忍不确定性对于分布式移动训练的成功至关重要。容忍计算不确定性的一种主动方法是以编码格式存储数据并对编码数据执行训练。对数据进行编码是一项具有挑战性的任务，因为纠删码需要多个设备交换它们的数据以创建编码数据分区，这带来了显著的带宽约束。此外，编码计算传统上依赖于中心节点来编码数据并将其分发到所有工作节点，这在分布式移动环境中是不实际的。在本文中，我们使用带宽有效的编码策略来解决分布式移动训练中的不确定性。我们使用随机线性网络编码（RLNC），减少了在所有参与的移动设备之间交换数据分区的需要，同时保留编码计算的属性以容忍不确定性。我们为逻辑回归和SVM实现了梯度下降，以评估我们的移动训练框架的有效性。我们证明了减少50%的总所需的通信带宽相比，MDS编码计算，流行的纠删码之一。
2019-10-22 cs.DC cs.IT cs.LG
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性，分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码，它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上，但在大型存储网络中，同时发生两个或多个节点故障的情况并不少见。为了利用机会，同时修复多个故障节点，合作修复机制，在这个意义上，要修复的节点之间可以交换数据，进行了研究。导出了合作修复的修复带宽的一个下界，并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Storage-Optimized Data-Atomic Algorithms for Handling Erasures and Errors in Distributed Storage Systems
在大规模异步分布式存储系统中实现原子存储对象的背景下，擦除码越来越多地被研究。与传统的基于复制的方案相比，纠删码具有显著降低存储和通信成本的潜力，同时保证所需的弹性水平。在这项工作中，我们提出了一种用于在多作者多读者环境中实现原子内存对象的优化数据原子（SODA）算法。SODA使用最大距离可分离（MDS）码，专门设计用于优化给定容错要求的总存储成本。为了容忍$n$ -服务器系统中的$f$服务器崩溃，SODA使用具有$k=n-f$的$[n, k]$ MDS代码，并且招致$\frac{n}{n-f}$的总存储成本。SODA是在可靠的点对点通信信道的假设下设计的。写操作和读操作的通信成本分别由$O(f^2)$和$\frac{n}{n-f}(δ_w+1)$给出，其中$δ_w$表示与特定读操作并发的写操作的数量。与同样使用MDS码的CASGC算法相比，SODA算法具有更低的存储开销和更高的通信开销。我们还提出了SODA的修改，称为SODA $_{\text{err}}$，处理的情况下，一些服务器可以返回错误的编码元素在读取操作。具体地，为了容忍$f$服务器故障和$e$易于出错的编码元素，SODA $_{\text{err}}$算法使用$[n, k]$ MDS码，使得$k=n-2e-f$。SODA $_{\text{err}}$还保证了活性和原子性，同时保持了$\frac{n}{n-f-2e}…
2016-05-05 cs.DC cs.IT math.IT
A Survey on Network Codes for Distributed Storage
分布式存储系统通常引入冗余以提高可靠性。当使用编码时，修复问题出现了：如果存储编码信息的节点发生故障，为了保持相同的可靠性水平，我们需要在新节点上创建编码信息。这相当于代码的部分恢复，而传统的擦除编码集中于从编码分组的子集中完全恢复信息。修复网络流量的考虑引起了新的设计挑战。最近，网络编码技术已经在解决这些挑战，建立维护带宽可以减少数量级相比，标准的纠删码。本文综述了这方面的研究成果。
2010-04-26 cs.DC cs.IT cs.NI
Understanding System Characteristics of Online Erasure Coding on Scalable, Distributed and Large-Scale SSD Array Systems
具有固态磁盘（SSD）阵列的大规模系统在许多计算领域中变得越来越普遍。为了使这样的系统具有弹性，我们可以采用诸如Reed-Solomon（RS）码的擦除编码作为复制的替代方案，因为擦除编码可以提供比复制低得多的存储成本。为了了解使用纠删编码对系统性能和其他系统方面（如CPU利用率和网络流量）的影响，我们构建了一个由大约100个处理器内核和50多个高性能SSD组成的存储集群，并使用流行的开源分布式并行文件系统Ceph对该集群进行了评估。然后从以下五个角度分析了采用纠删编码的系统的行为，并与采用复制的系统进行了比较：（1）存储系统I/O性能;（2）计算和软件开销;（3）I/O放大;（4）存储节点之间的网络流量;（5）物理数据布局对RS编码SSD阵列性能的影响。对于所有这些分析，我们研究了两个代表性的RS配置，这是由谷歌和Facebook的文件系统，并比较它们与三重复制，一个典型的并行文件系统采用作为默认的容错机制。最后，我们从集群中收集了54个块级轨迹，并将其提供给其他研究人员。
2017-09-19 cs.AR cs.DC
Coded Distributed Computing: Performance Limits and Code Designs
我们考虑编码的分布式计算的问题，其中一个大的线性计算工作，如矩阵乘法，分为$k$较小的任务，使用$(n,k)$线性代码编码，并在$n$分布式节点上执行。目标是减少计算作业的平均执行时间。我们提供了一个连接之间的问题，表征编码的分布式计算系统的平均执行时间和分析的错误概率的代码长度$n$擦除通道使用的问题。因此，我们提出了使用二进制随机线性代码的执行时间和最佳执行时间的任何线性编码的分布式计算系统可以实现的封闭形式的表达式。它还表明，存在良好的二进制线性码，达到，渐近，最佳性能的任何线性码，不一定是二进制，可以实现。我们还研究了编码的分布式计算系统的性能，使用极性和Reed-Muller（RM）码，可以受益于低复杂度解码，和优越的性能，分别，以及明确的建设。在本文中提出的框架可以使有效的设计分布式计算系统的丰富的文献中的信道编码理论。
2019-06-24 cs.DC cs.IT math.IT
Hydra: Resilient and Highly Available Remote Memory
Hydra 通过个位数微秒级纠删码远程内存访问和 CodingSets 编码组放置算法，以更低内存开销实现接近内存复制的性能和高可用性，显著优于现有方案。
2023-05-28 cs.DC cs.NI
Fast Product-Matrix Regenerating Codes
分布式存储系统通过使用复制或擦除校正码来支持单个设备的故障。虽然纠删码提供了一个更好的存储效率比复制类似的容错，他们招致更高的CPU消耗，更高的网络消耗和更高的磁盘I/O。为了解决这些问题，特定于存储系统的代码已被设计。它们的主要功能是能够有效地修复单个丢失的磁盘。在本文中，我们专注于这样一类代码，最大限度地减少网络消耗在修复过程中，即再生码。我们实现了原始的乘积矩阵再生代码以及我们提出的新优化，并表明所得到的优化代码允许在典型设置中实现790 MB/s的编码。报告的速度显着高于以前的研究，强调再生代码可以使用很少的CPU惩罚。
2014-12-09 cs.DC cs.IT cs.PF
Erasure coding for distributed matrix multiplication for matrices with bounded entries
Iowa State University（爱荷华州立大学）
分布式矩阵乘法广泛应用于多个科学领域。众所周知，分布式集群上的计算时间通常由最慢的工人（称为掉队者）控制。最近的工作表明，可以被看作是一个问题的设计纠删码的掉队缓解。对于矩阵$\mathbf A$和$\mathbf B$，该技术实质上将$\mathbf A^T \mathbf B$的计算映射到较小（编码）子矩阵的乘法。在这个过程中，掉队者被视为擦除。只要有一定数量的工作者（称为恢复阈值）完成分配给他们的任务，计算就可以完成。我们提出了一种新的编码策略，这个问题时，矩阵项的绝对值是足够小的。我们证明了假设的绝对值边界的矩阵条目和恢复阈值之间的权衡。在一个极端，我们相对于恢复阈值是最优的，在另一个极端，我们匹配先前工作的阈值。基于云的集群上的实验结果验证了我们的方法的好处。
2018-11-07 cs.DC cs.IT cs.LG
Tail Index for a Distributed Storage System with Pareto File Size Distribution
分布式存储系统通常采用纠删码来实现高数据可靠性，同时获得空间效率。已知这样的存储系统在响应时间中易受长尾影响。已经表明，在Bing、Facebook和Amazon等现代在线应用程序中，延迟的长尾是特别值得关注的，其中$99.9$第百分位数响应时间比平均值差几个数量级。驯服尾部等待时间在擦除编码存储系统中是非常具有挑战性的，因为量化尾部等待时间（即，$x$（任意$x\in[0,1]$的第百分位延迟）是一个长期存在的公开问题。在本文中，我们提出了一个数学模型来量化任意擦除编码存储系统的服务延迟{ \em tail index}，通过表征延迟分布尾部的渐近行为。当文件大小有一个重尾分布，我们发现尾指数，定义为指数在延迟尾概率减小到零，在封闭形式，并进一步表明，一个家庭的概率调度算法是（渐近）最佳的，因为他们能够实现确切的尾指数。
2017-08-03 cs.DC cs.IT cs.NI
Repairing Multiple Failures with Coordinated and Adaptive Regenerating Codes
纠删码被广泛用于分布式存储系统中数据的持久性。本文讨论了在这种代码中的多个故障的同时修复。我们超越现有的工作（即，由Dimakis等人重新生成代码）通过描述（i）支持多个设备的同时修复的协调再生代码（也称为协作再生代码），以及（ii）允许在每次修复时调整参数的自适应再生代码。类似于Dimakis等人的重新生成代码，这些代码实现了存储和修复带宽之间的最佳折衷。基于这些扩展的再生代码，我们研究的影响，懒惰的修复适用于再生代码，并得出结论，懒惰的修复不能降低成本的网络带宽，但允许减少磁盘相关的成本（磁盘带宽和磁盘I/O）。
2013-09-17 cs.DC cs.IT math.IT
Polar Coded Computing: The Role of the Scaling Exponent
我们考虑使用极化码的编码分布式计算的问题。编码计算系统的平均执行时间与Soleymani，Jamali和Mahdavifar最近的工作中通过二进制擦除信道传输的错误概率有关，其中研究了二进制线性码的性能。在本文中，我们专注于极化码，并揭示了平均执行时间和代码族的标度指数$μ$之间的联系。标度指数已经成为极化码的有限长度表征中的中心对象，并且它捕获了容量的收敛速度。特别地，我们表明（i）极化码的归一化平均执行时间与最优MDS码的归一化平均执行时间之间的差距是$O(n^{-1/μ})$，以及（ii）通过考虑具有大内核的极化码，该上限可以被改进为大致$O(n^{-1/2})$。我们推测，这些界限可以提高到$O(n^{-2/μ})$和$O(n^{-1})$，分别，并提供了一个启发式的参数，以及支持这一观点的数值证据。
2022-02-01 cs.DC cs.IT math.IT
Optimal Systematic Distributed Storage Codes with Fast Encoding
在分布式存储系统中，越来越多地使用擦除码来代替数据复制，因为它们提供了相同级别的可靠性和低得多的存储开销。我们考虑了为分布式存储构造显式纠删码的问题，这些纠删码具有以下由实践激发的理想性质：（i）最大距离可分离（MDS）：以最小的存储开销提供最大的可靠性，（ii）最优修复带宽：最小化从剩余节点修复故障节点所需的数据量，（iii）修复的灵活性：以允许在选择用于修复的节点子集时的最大灵活性，这包括不要求所有幸存的节点都用于修复，（iv）系统形式：以确保原始数据以未编码的形式存在，以及（v）快速编码：以最小化生成编码数据的成本（由稀疏生成器矩阵实现）。本文提出了第一个明确的代码建设，从理论上保证所有五个所需的属性同时。我们的构造建立在一个强大的代码类称为产品矩阵（PM）代码。PM码满足性质（i）-（iii），以及（iv）或（v），但不同时满足两者。实际上，原生PM码具有导致稀疏性的固有结构，但是当码被系统化时，这种结构被破坏。我们首先提出了一个分析框架，了解PM代码的设计和系统属性之间的相互作用。使用这个框架，我们提供了一个明确的代码结构，同时实现所有上述所需的属性。我们还提出了转换现有的存储和修复最佳代码，使快速编码通过稀疏的一般方法。在实践中，这种稀疏码导致编码加速，对于典型参数约为4倍。
2015-09-06 cs.DC cs.IT cs.NI
Quasi-cyclic Flexible Regenerating Codes
在分布式存储环境中，数据被放置在通过网络连接的节点中，这些节点中的一个很可能发生故障。已知的是，纠删编码的使用提高了容错并且最小化了在分布式存储环境中添加的冗余。再生码的使用不仅充分利用了纠删编码的改进，而且还最大限度地减少了再生故障节点所需的数据量。本文提出了一类新的基于准循环码的再生码。构造了准循环柔性最小存储再生码（QCFMSR），并证明了其存在性。还提供了从基QCFMSR码构造的具有最小带宽的准循环灵活再生码。这些代码不仅在存储数据和修复带宽方面实现了最佳MBR参数，而且对于所涉及的参数的特定选择，它们可以在最佳MBR点下降低。准循环柔性再生码由于其简单性和低复杂度而备受关注。它们允许在最小带宽的情况下精确的修复通过传输和在MSR的情况下精确的伪修复通过传输，其中仅当新节点进入系统以替换丢失的节点时才需要操作。
2013-05-16 cs.DC cs.IT math.IT
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中，出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐（IA）的概念将不需要的数据在尽可能小的空间中对齐。这里，给出了Cadambe { \it et al.}提供了线索，完善IA的情况下，我们结合阿达玛矩阵的基本性质，构建一个新的存储代码具有良好的修复性能。具体来说，我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$，其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外，单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
