A Solution to the Network Challenges of Data Recovery in Erasure-coded Distributed Storage Systems: A Study on the Facebook Warehouse Cluster
诸如Reed-Solomon（RS）码之类的擦除码正越来越多地用于数据中心，以对抗可靠地存储大量数据的成本。虽然这些代码提供了最佳的存储效率，但在恢复丢失数据期间，它们需要非常高的网络和磁盘使用率。在本文中，我们首先提出了一个研究的恢复操作的擦除编码的数据对数据中心网络的影响，从Facebook的生产中的仓库集群的测量为基础。据我们所知，这是文献中首次进行此类研究。我们的研究表明，恢复RS编码的数据会导致网络流量的显着增加，每天超过100 TB，在一个集群存储多个PB的RS编码的数据。为了解决这个问题，我们提出了一个新的存储代码，使用我们最近提出的“捎带”框架，理论上减少了30%的恢复过程中的网络和磁盘使用，同时也是存储最佳和支持任意的设计参数。在Hadoop分布式文件系统（HDFS）中实现拟议的代码正在进行中。我们使用仓库集群的测量结果表明，建议的代码将导致每天减少近50 TB的跨机架流量。
2013-09-01 cs.DC cs.IT cs.NI
A Layered Architecture for Erasure-Coded Consistent Distributed Storage
受边缘计算范式的新兴应用的启发，我们引入了一个两层擦除编码的容错分布式存储系统，为读写操作提供原子访问。在边缘计算中，客户端与地理上靠近的边缘层服务器交互;边缘层又与后端服务器层交互。边缘层为客户端操作提供低延迟访问和临时存储，并使用后端层进行持久存储。我们的算法，被称为分层数据存储（LDS）算法，提供了几个功能适合边缘计算系统，工作在异步消息传递环境下，支持多个读取器和写入器，并可以容忍$f_1 < n_1/2$和$f_2 < n_2/3$崩溃故障的两个层有$n_1$和$n_2$服务器，分别。我们使用一类称为再生码的擦除码来存储后端层中的数据。选择重新生成代码，而不是像Reed-Solomon代码这样的流行选择，不仅优化了后端存储的成本，而且还有助于优化读取操作的通信成本，当值需要从后端重新创建时。两层架构允许原子性和擦除代码协议的模块化实现;擦除代码的实现主要限于两层之间的交互。我们证明了LDS的活性和原子性，并计算与读写操作相关的性能成本。此外，在运行LDS的$N$独立实例的多对象系统中，其中在执行期间的任何点处只有一小部分对象经历并发访问，总体存储成本由后端层中的持久性存储的成本主导，并且由$Θ(N)$给出。
2017-05-30 cs.DC cs.IT math.IT
Video Streaming in Distributed Erasure-coded Storage Systems: Stall Duration Analysis
各行业对全球视频的需求一直在蓬勃发展。随着视频流媒体服务的扩展和改进，基于云的视频正在演变为任何成功企业的必要功能，以接触内部和外部受众。本文认为，视频流在分布式系统中的视频片段编码使用纠删码更好的可靠性，从而成为第一个工作，我们最好的知识，认为视频流在纠删编码的分布式云系统。每个视频片段的每个编码块的下载时间被表征，并且在擦除编码块的选择上的有序统计被用于获得不同视频片段的回放时间。使用回放时间，对失速持续时间的矩母函数的界限被用来界定平均失速持续时间。基于矩生成函数的有序统计量的界限也被用来界定失速持续时间尾部概率，该概率确定失速时间大于预定义的数字的概率。这两个度量，平均停顿持续时间和停顿持续时间尾部概率，是终端用户的重要体验质量（QoE）度量。基于这些指标，我们制定了一个优化问题，以联合最小化的凸组合的QoE指标平均在所有请求的放置和访问的视频内容。非凸问题的解决使用一个有效的迭代算法。数值结果显示，与所考虑的基线相比，基于云的视频的QoE指标有显着改善。
2018-06-26 cs.DC cs.IT cs.MM
Comments on CausalEC: A Causally Consistent Data Storage Algorithm Based on Cross-Object Erasure Coding
本文指出Cadambe和Lyu 2021提出的基于跨对象纠删码的因果一致性算法CausalEC，与Lyu等人2018年开发的算法本质上是相同的。
2023-05-22 cs.DC cs.IT math.IT
Coded sparse matrix computation schemes that leverage partial stragglers
大型集群上的分布式矩阵计算可能会遇到缓慢或失败的工作节点（称为掉队者）的问题，这可能会支配整个作业执行时间。编码计算利用擦除编码的概念，通过运行包含作业的任务的“编码”副本来减轻掉队者的影响;掉队者通常被视为擦除。虽然这是有用的，但应用存在问题，例如，MDS代码以简单的方式。几个实际的矩阵计算场景涉及稀疏矩阵。MDS码通常需要原始矩阵的子矩阵的密集线性组合，这破坏了它们固有的稀疏性。这是有问题的，因为它导致显著更高的工作者计算时间。此外，将慢节点视为擦除忽略了它们执行的潜在有用的部分计算。此外，一些MDS技术还遭受显著的数值稳定性问题。在这项工作中，我们提出的计划，使我们能够利用部分计算的掉队者，同时施加限制的水平上的编码，需要在生成的编码子矩阵。与先前的方法相比，这显著地减少了工作者计算时间，并且导致解码过程中改进的数值稳定性。亚马逊网络服务（AWS）集群详尽的数值实验支持我们的研究结果。
2021-09-24 cs.DC cs.IT math.IT
Erasure-Coded Byzantine Storage with Separate Metadata
虽然已经引入了许多分布式存储协议，但在可用性、一致性、容错性、存储复杂性和所支持的并发级别方面结合最强属性的解决方案一直难以实现。结合这些特性是困难的，特别是如果所得到的解决方案需要是有效的，并招致低成本。我们提出了AWE，这是多写器多读器读/写存储对象的第一个擦除编码分布式实现，同时：（1）异步，（2）无等待，（3）原子，（4）健忘，（即，其中数据节点存储有界数目的值）和（5）使用最优数目的节点的拜占庭容错（BFT）。此外，AWE是高效的，因为它不使用公钥密码学，并且需要仅支持读和写的数据节点，从而进一步降低了分布式存储解决方案的部署和所有权成本。值得注意的是，AWE将元数据与$k$-外-$n$擦除编码片段分开存储。这使得AWE成为第一个BFT协议，它使用尽可能少的$2t+k$数据节点来容忍任何$k \ge 1$的$t$拜占庭节点。
2014-02-20 cs.DC
Applied Erasure Coding in Networks and Distributed Storage
数字数据量正在迅速增长。从移动设备到大规模数据中心，越来越多地使用各种各样的计算机系统，并且对于所有计算机系统的可靠操作来说重要的是减轻数字数据中的错误的发生和影响。对静止数据和传输数据的新的超快速和高度可靠的编码技术的需求是一个主要的研究挑战。可靠性是最重要的设计要求之一。提供一定程度可靠性的最简单方法是使用数据复制技术。但是，复制在容量利用率方面效率极低。因此，擦除编码已成为复制的可行替代方案，因为它提供与复制相同级别的可靠性，但存储开销显着减少。本论文研究了不同应用场合下纠删码的有效构造。编码和信息论的方法已经应用于网络编码、光分组交换（OPS）网络和分布式存储系统。提出了以下四个问题：-二进制和非二进制纠删码的构造; -由于网络编码中的编码系数而导致的报头开销的减少; -用于大规模分布式存储系统的新纠删码的构造和实现，与现有技术相比，该纠删码提供了存储和网络资源的节省;以及-当使用纠删码时，提供关于OPS网络中的服务质量（QoS）的统一视图，重点是分组丢失率（PLR）、生存性和保密性。
2018-03-04 cs.DC cs.IT math.IT
Sparsity Exploiting Erasure Coding for Resilient Storage and Efficient I/O Access in Delta based Versioning Systems
在本文中，我们研究的问题，可靠地存储版本化数据的存档。具体来说，我们专注于存储后续版本之间的差异（增量）而不是整个对象的系统-存储版本化数据的典型模型。对于可靠性，我们提出了擦除编码技术，利用稀疏的信息的增量，同时将它们可靠地存储在一个分布式后端存储系统，从而提高I/O读取性能，检索整个版本化的档案。随着基本技术，我们提出了一些优化算法，并评估技术的有效性分析和数值模拟。
2014-11-18 cs.DC cs.IT math.IT
Repair Pipelining for Erasure-Coded Storage: Algorithms and Evaluation
我们提出了修复流水线，一种技术，加快修复性能一般擦除编码存储。通过以流水线方式跨存储节点以小尺寸单元仔细调度故障数据的修复，修复流水线将单个块修复时间减少到与同构环境中单个块的正常读取时间大致相同。我们进一步设计了不同的扩展修复流水线算法的异构环境和多块修复操作。我们实现了一个修复流水线原型，称为ECPipe，并将其作为一个中间件系统集成到两个版本的Hadoop分布式文件系统（HDFS）（即HDFS-RAID和HDFS-3）以及Quantcast文件系统（QFS）。在本地测试平台和Amazon EC2上进行的实验表明，修复流水线与现有修复技术相比，显著提高了降级读取和全节点恢复的性能。
2020-11-20 cs.DC
CausalEC: A Causally Consistent Data Storage Algorithm based on Cross-Object Erasure Coding
首次提出基于跨对象纠删码的因果一致性数据存储算法CausalEC，在异步系统中通过任意线性纠删码实现本地写操作与非阻塞读操作，兼顾活性、容错性与存储效率。
2023-05-20 cs.DC cs.IT math.IT
The CORE Storage Primitive: Cross-Object Redundancy for Efficient Data Repair & Access in Erasure Coded Storage
擦除码是许多针对大数据的分布式存储系统的组成部分，因为它们提供了低开销的高容错性。然而，传统的擦除码在降级环境中读取存储的数据（当节点可能不可用时）以及补充丢失的数据（对于长期弹性至关重要）时效率低下。因此，新的代码优化，以应付分布式存储系统的细微差别正在大力研究。在本文中，我们采取了一种工程替代方案，探索使用简单而成熟的技术-并列的RAID-4像奇偶校验的标准擦除码。我们进行了分析研究，以确定这种方法的有效性，传统的以及一些新的代码。我们建立在这项研究的基础上，设计核心，一个通用的存储原语，我们集成到HDFS。我们在专有集群和EC2中对该实现进行了基准测试。实验结果表明，与传统的纠删码相比，CORE在恢复单个故障节点时占用的带宽减少了50%，恢复速度提高了75%，而在恢复双节点故障时，恢复速度分别提高了15%和60%。
2013-06-26 cs.DC
Regenerating Codes for Errors and Erasures in Distributed Storage
再生码是为保证分布式存储系统中数据的可靠性和故障节点的有效修复而提出的一类编码。在本文中，我们解决的基本问题，处理错误和擦除过程中的数据重建和节点修复操作。我们提供了明确的再生代码，是弹性的错误和擦除，并表明这些代码是最佳的存储和带宽要求。作为一个特殊的情况下，我们还建立了一类分布式存储系统的恶意对手的存在下的能力。虽然我们的代码结构是基于以前构建的产品矩阵码，我们也提供了必要和充分的条件引入弹性在任何再生代码。
2012-05-23 cs.DC cs.IT cs.NI
Deterministic Data Distribution for Efficient Recovery in Erasure-Coded Storage Systems
由于个别商品组件的不可靠性，故障是常见的大规模分布式存储系统。在实际存储系统中广泛部署擦除码以提供低存储开销的容错。然而，随机数据分布（RDD），通常用于擦除编码存储系统中，会导致大量的跨机架流量，负载不平衡和随机访问，这对故障恢复产生不利影响。在本文中，与正交表，我们定义了一个确定性的数据分布（$D^3$）均匀分布的数据/奇偶校验块节点之间，并提出了一个有效的故障恢复方法的基础上，$D^3$，最大限度地减少跨机架修复流量对一个单一的节点故障。由于$D^3$的一致性，所提出的恢复方法不仅平衡了机架内节点之间的修复流量，而且平衡了机架之间的修复流量。我们在Hadoop分布式文件系统（HDFS）中实现了$D^3$在Reed-Solomon码和本地可修复码上的28台机器的集群。与RDD相比，我们的实验表明，$D^3$显着提高了故障恢复速度，RS码为2.49倍，LRC为1.38倍。此外，$D^3$在正常和恢复状态下都比RDD更好地支持前端应用程序。
2020-04-14 cs.DC
Storage-Optimized Data-Atomic Algorithms for Handling Erasures and Errors in Distributed Storage Systems
在大规模异步分布式存储系统中实现原子存储对象的背景下，擦除码越来越多地被研究。与传统的基于复制的方案相比，纠删码具有显著降低存储和通信成本的潜力，同时保证所需的弹性水平。在这项工作中，我们提出了一种用于在多作者多读者环境中实现原子内存对象的优化数据原子（SODA）算法。SODA使用最大距离可分离（MDS）码，专门设计用于优化给定容错要求的总存储成本。为了容忍$n$ -服务器系统中的$f$服务器崩溃，SODA使用具有$k=n-f$的$[n, k]$ MDS代码，并且招致$\frac{n}{n-f}$的总存储成本。SODA是在可靠的点对点通信信道的假设下设计的。写操作和读操作的通信成本分别由$O(f^2)$和$\frac{n}{n-f}(δ_w+1)$给出，其中$δ_w$表示与特定读操作并发的写操作的数量。与同样使用MDS码的CASGC算法相比，SODA算法具有更低的存储开销和更高的通信开销。我们还提出了SODA的修改，称为SODA $_{\text{err}}$，处理的情况下，一些服务器可以返回错误的编码元素在读取操作。具体地，为了容忍$f$服务器故障和$e$易于出错的编码元素，SODA $_{\text{err}}$算法使用$[n, k]$ MDS码，使得$k=n-2e-f$。SODA $_{\text{err}}$还保证了活性和原子性，同时保持了$\frac{n}{n-f-2e}…
2016-05-05 cs.DC cs.IT math.IT
A Non-MDS Erasure Code Scheme For Storage Applications
本文研究了在分布式存储系统中使用冗余和自修复对节点故障，使用各种策略。在复制方法中，访问一个复制节点是足够的，以重建一个丢失的节点，而在MDS纠删编码系统，这是最佳的冗余可靠性权衡方面，一个单一的节点故障后，恢复整个存储的数据进行修复。此外，再生代码产生的存储容量和修复带宽之间的权衡曲线。本文旨在研究一种新的存储码。具体来说，我们提出了一个非MDS（2k，k）代码，容忍任何三个节点的故障，更重要的是，它是使用我们的代码，一个单一的节点故障可以通过访问只有三个节点进行修复。
2011-09-21 cs.DC cs.IT cs.NI
Multi-level Forwarding and Scheduling Recovery Algorithm in Rapidly-changing Network for Erasure-coded Clusters
擦除编码簇的一个关键设计目标是减少修复时间。现有的擦除编码数据修复方案大致分为两类：1。设计快速数据修复（例如，PPR）在均匀环境中。2.构造数据修复（例如，PPT）在异构环境中基于带宽的。然而，这些解决方案很难应付异构和快速变化的网络中的擦除编码集群。为了解决这个问题，带宽感知的多级转发修复算法，称为BMFRepair，提出。BMFRepair在数据转发时实时的监控网络带宽，并选择具有高带宽链路的空闲节点协助转发。因此，它可以减少低链路传输所造成的时间瓶颈。同时，当带宽急剧变化时，多节点修复变得非常复杂。针对多节点修复问题，提出了一种多节点调度修复算法MSRepair，通过调度节点资源，并行修复多个失效块。这两种算法能够灵活地适应快速变化的网络环境，充分利用空闲节点的带宽资源。最重要的是，算法可以根据快速动态网络中带宽的变化不断调整修复计划。算法在Mininet上进行了仿真，并在阿里云平台ECS上进行了实际实验。结果表明，与现有的PPR和PPT修复方案相比，该算法在快速变化的网络中能显著缩短修复时间。
2021-04-09 cs.DC cs.NI
Compressed Differential Erasure Codes for Efficient Archival of Versioned Data
在本文中，我们研究了在分布式存储系统中以可靠和有效的方式存储版本化数据存档的问题。我们提出了一种新的存储技术，称为差分擦除编码（DEC），其中存储的是后续版本之间的差异（增量），而不是整个对象，类似于一个典型的增量编码技术。然而，与增量编码技术不同，DEC机会主义地利用稀疏性（即，当两个连续版本之间的差异具有很少的非零条目时）在更新中使用与擦除编码一起应用的压缩感测技术来存储增量。我们首先表明，DEC提供了显着的节省版本化数据的存储大小时，更新模式的特点是就地更改。随后，我们提出了一个实用的DEC框架，以获得存储大小的好处，不仅对就地更改，而且对现实世界的更新模式，如插入和删除，改变整体数据大小。我们进行实验与几个合成的工作负载，以证明DEC的实际变体提供了显着减少存储开销（高达60\%，取决于工作负载）相比，基线存储系统，它采用了从Rsync，增量编码技术的概念，存储和同步数据在网络上。
2015-03-17 cs.DC cs.IT math.IT
Fundamental Limits of Erasure-Coded Key-Value Stores with Side Information
在分布式存储系统到现代键值存储的应用中，由于频繁更新，存储的数据是高度动态的。为了研究分布式存储系统中动态数据的存储开销问题，提出了多版本编码问题。以前关于多版本编码的工作考虑了一个完全分散和异步的系统，假设服务器不知道其他服务器接收的数据版本。在本文中，我们放松了这一假设，并研究了一个系统，其中服务器可以获取侧信息的数据版本传播到一些其他服务器的网络拓扑结构的基础上。具体来说，我们研究了存储系统与$n$服务器上的有向图存储$ν$完全有序版本的消息。每个服务器接收这些$ν$版本的子集。服务器知道它在网络图中的邻居已经接收到哪些版本。我们表明，侧信息可以导致更好的存储成本相比，没有侧信息的情况下，在某些制度的代价与交换侧信息的额外延迟。通过信息理论的逆，我们确定了令人惊讶的情况下，边信息可能无助于提高最坏情况下的存储成本超出服务器没有边信息的情况。最后，我们提出了一个案例研究亚马逊网络服务（AWS），展示了潜在的成本降低，可能会获得我们的建设。
2019-05-18 cs.DC cs.IT math.IT
TSUE: A Two-Stage Data Update Method for an Erasure Coded Cluster File System
针对纠删码集群文件系统更新开销高的问题，提出两阶段更新方法TSUE，通过日志记录与实时回收将随机I/O转为顺序I/O，显著降低延迟并延长SSD寿命。
2025-04-24 cs.DC
Uncoded Download in Lagrange-Coded Elastic Computing with Straggler Tolerance
针对弹性计算中存储规模和上传开销大的问题，提出基于未编码下载的 Lagrange 编码弹性计算方案（LCSUD），在容忍滞后节点的同时有效降低了存储规模、编码复杂度和上传开销。
2025-01-31 cs.DC cs.IT math.IT
On the data persistency of replicated erasure codes in distributed storage systems
本文研究了分布式存储系统中一般冗余方案族（称为复制擦除码）的数据持久化的基本问题。也就是说，我们分析了两种策略的复制纠删码分布：随机和对称。对于这两种策略，我们推导出封闭的分析和渐近公式预期的数据persistance，尽管节点故障。
2021-07-27 cs.DC
IAPRepair: In-Network Aggregation Enhanced Proactive Repair for Erasure-Coded Storage System
Guilin University of Electronic Technology（桂林电子科技大学）；Guilin University of Aerospace Technology（桂林航天工业学院）；Jiaxing University（嘉兴大学）
IAPRepair是面向纠删码存储的网络内聚合增强型主动修复框架，通过联合构建修复批次等设计，在多场景下较现有方法至少缩短47.83%的修复时间，提升了带宽异构下的修复效率。
2026-10-09 cs.DC
Optimal Repair Layering for Erasure-Coded Data Centers: From Theory to Practice
分层数据中心中的修复性能经常受到跨机架网络传输的影响。最近的理论研究表明，跨机架的维修流量可以通过维修分层，其思想是分区的维修操作到机架内和跨机架层最小化。然而，如何修复分层应该在实践中实现和部署仍然是一个悬而未决的问题。在本文中，我们解决这个问题，提出了一个实用的修复分层框架称为DoubleR。我们设计了两个家庭的实用双再生码（DRC），这不仅最大限度地减少跨机架修复流量，但也有一些实际的属性，提高国家的最先进的再生码。在Hadoop分布式文件系统（HDFS）上实现并部署了DoubleR，结果表明DoubleR在节点恢复和降级读操作中保持了DRC的理论保证，并提高了再生代码的修复性能。
2017-09-15 cs.DC
ARES: Adaptive, Reconfigurable, Erasure coded, atomic Storage
原子性或强一致性是分布式共享内存仿真中最基本、最直观、也最难提供的原语之一。为了确保存储服务在出现故障时的生存性、可伸缩性和可用性，在消息传递环境中，用于原子存储器仿真的传统方法跨多个服务器复制对象。与基于复制的原子存储算法相比，基于纠删码的原子存储算法具有更低的存储和通信开销，但通常更难设计。设计原子存储器算法的难度进一步增加，当服务器的集合可能会改变，以确保软件和硬件升级的服务的生存能力，同时避免服务中断。在复制系统中，用于执行服务器重新配置的原子存储器算法非常少，复杂，并且仍然是研究的活跃领域的一部分;基于擦除码的算法的重新配置是不存在的。在这项工作中，我们提出了ARES，一个算法框架，允许底层服务器的重新配置，特别适合基于擦除代码的算法模拟原子对象。ARES在保持服务可用的同时引入了新的配置。为了与ARES一起使用，我们还提出了一个新的，据我们所知，第一个两轮基于擦除码的算法TREAS，用于在异步消息传递环境中模拟多作者，多读者（MWMR）原子对象，具有接近最佳的通信和存储成本。我们的算法可以容忍任何客户端和部分服务器的崩溃故障，但，保证安全性和活性属性。此外，通过结合ARES和TREAS的优点，我们提出了一个优化的算法，可以安装新的配置，而无需通过重新配置客户端的对象值。
2021-05-28 cs.DC
Babel Storage: Uncoordinated Content Delivery from Multiple Coded Storage Systems
在未来以内容为中心的网络中，内容的识别与其位置无关。从最终用户的角度来看，单个存储系统会溶解成一个看似无所不在的无结构的“存储雾”。内容的交付应该不受网络拓扑的影响，同时使用多个存储系统，并且协调开销最小。先前的工作已经分别解决了用于分布式存储和内容递送的纠错编码的优点。这项工作需要一个全面的方法来突出存储开销和传输开销之间的权衡，在不协调的内容交付从多个编码的存储系统。我们的贡献是双重的。首先，我们的特点是存储和传输开销之间的权衡时，所有参与的存储系统采用相同的代码。其次，我们表明，由此产生的明显的低效率可以避免存储系统使用不同的代码。更重要的是，这种代码多样性不仅在技术上是可取的，而且可能会成为未来日益异构的网络中的现实。为此，我们表明，里德-所罗门，低密度奇偶校验和随机线性网络码的混合实现接近最佳的性能，以最小的协调和操作开销。
2019-08-25 cs.DC cs.IT cs.NI
On the Latency and Energy Efficiency of Erasure-Coded Cloud Storage Systems
数据中心数据存储和功耗的增加使得设计节能的分布式存储系统（DSS）势在必行。DSS的能源效率不仅受到数据量，数据访问频率和数据存储冗余的强烈影响，而且还受到DSS在这些方面表现出的异质性的影响。为此，我们提出并分析了异构分布式存储系统的能源效率，其中$n$存储服务器（磁盘）存储的数据$R$不同的类。使用$(n,k_{i})$擦除码对$i$类的数据进行编码，并且（随机）数据检索请求也可以在类之间变化。我们发现，这种系统的能源效率是密切相关的平均延迟，因此激励我们通过平均延迟的镜头来研究能源效率。通过这种连接，我们表明纠删编码具有减少延迟和提高能效的双重目的。我们提出了一个排队理论分析所提出的模型，并建立各种调度策略下的每个数据类的平均延迟的上限和下限。通过大量的模拟，我们提出了定性的见解，揭示了编码速率，服务器数量，服务分布和冗余请求数量对DSS的平均延迟和能源效率的影响。
2015-05-22 cs.DC
Enabling Node Repair in Any Erasure Code for Distributed Storage
与数据复制相比，擦除码是跨网络存储数据的有效手段，因为它们倾向于减少存储在网络中的数据量，并在存在节点故障的情况下提供增加的弹性。但是，当需要修复故障节点时，这些代码的性能很差，因为它们通常需要下载整个文件来修复故障节点。最近引入了一类新的擦除码，称为再生码，在这方面做得更好。然而，考虑到文献中可用的各种高效纠删码，人们对构建编码方案非常感兴趣，该编码方案将使传统纠删码能够被使用，同时保留仅需要下载一小部分数据用于节点修复的特征。在本文中，我们提出了一个简单而强大的框架，正是这样做的。在此框架下，节点被划分为两个“类型”，并使用两个代码的方式，减少了节点修复的问题，组成代码的擦除解码的编码。根据两个代码的选择，该框架可以用于利用以下优点中的一个或多个：同时最小化存储空间和修复带宽，操作的低复杂性，在修复期间在助手节点处的较少的磁盘读取，以及错误检测和校正。
2011-06-30 cs.DC cs.IT cs.NI
Uncoded Storage Coded Transmission Elastic Computing with Straggler Tolerance in Heterogeneous Systems
针对异构速度、存储约束及掉队者问题，提出USCTEC组合优化框架及启发式算法，以降低矩阵-矩阵乘法的期望计算时间并减少存储开销。
2024-01-22 cs.DC cs.IT math.IT
Monotone Erasure Codes
University of Bern（伯尔尼大学）；Common Prefix；Stellar Development Foundation（恒星开发基金会）
本文提出了一种新的单调擦除码，能够适应任意节点的信任假设，通过单调布尔公式构造擦除码，并展示了如何高效构建线性单调擦除码，以实现更通用的异步可验证信息分散（AVID）原语，从而提高通信效率。
2026-05-21 cs.DC cs.IT math.IT
On the Delay-Storage Trade-off in Content Download from Coded Distributed Storage Systems
在本文中，我们研究如何在分布式存储编码减少预期的下载时间，除了提供可靠性对磁盘故障。预期的下载时间减少了，因为当内容文件被编码以增加冗余并分布在多个磁盘上时，仅读取磁盘的子集就足以重建内容。对于相同的总存储量，编码比简单的复制更好地利用了存储的多样性，因此提供了更快的下载。我们使用一种新的fork-join排队框架来模拟多个用户同时请求内容，并推导出预期下载时间的界限。我们的系统模型和结果是一个新的一般化的fork-join系统，研究排队论文献。我们的研究结果表明，预期的下载时间和存储空间的量之间的基本权衡。这种权衡可以用于设计满足内容传递的延迟约束所需的冗余量。
2013-12-18 cs.DC cs.IT cs.PF
Coded Data Rebalancing for Distributed Data Storage Systems with Cyclic Storage
Departamento de Matemática, Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院数学系）；Instituto de Telecomunicações（电信研究所）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Indian Institute of Science, Bengaluru（班加罗尔印度理工学院）；Qualcomm, Hyderabad（高通（海得拉巴））
本文针对带循环存储的分布式数据存储系统，提出节点退出和新增场景下的编码再平衡方案，该方案文件大小仅为节点数三次方级，负载阶最优且时间复杂度为多项式级。
2026-08-11 cs.DC cs.IT math.IT
An Application of Storage-Optimal MatDot Codes for Coded Matrix Multiplication: Fast k-Nearest Neighbors Estimation
我们提出了一种新的应用程序的编码计算的问题，最近的邻居估计使用MatDot码[法希姆。等人2017]，已知在存储约束下的恢复阈值方面对于矩阵乘法是最优的。在近似最近邻算法中，通常构造有效的内存索引来提高查询响应时间。一种这样的策略是多随机投影树（MRPT），其减少了在其上执行欧几里德距离计算的候选点的集合。但是，这可能会导致内存占用很大，并且可能会对大型或高维数据造成分页损失。在这里，我们提出了两种技术来并行化MRPT，分别利用数据和模型的并行性，通过划分数据存储和计算工作在不同的节点之间的分布式计算集群。当单个计算节点无法在内存中保存完整的数据集时，这一点尤其重要。我们还提出了一种新的基于MatDot代码的模型并行架构的编码计算策略，该策略在容易出现掉队的环境中实现了存储最优恢复阈值，即，服务于查询所需的节点数量。我们的实验表明，在没有离散的情况下，我们的分布式方法需要更少的查询时间比在一个单一的处理节点上执行，提供近线性的加速工作节点的数量。通过我们在真实系统上的实验，模拟离散，我们还表明，我们的策略实现了更快的查询执行比未编码的策略在一个容易离散的环境。
2018-11-28 cs.DC cs.IT math.IT
HashTag Erasure Codes: From Theory to Practice
最小存储再生（MSR）码已经成为Reed-Solomon（RS）码的可行替代方案，因为它们最小化了修复带宽，同时它们在可靠性和存储开销方面仍然是最佳的。虽然存在几种MSR结构，但到目前为止，它们还没有实际实现，主要是由于大量的I/O操作。在本文中，我们分析了高速率MDS码，同时优化的存储，可靠性，I/O操作，和修复带宽的单个和多个故障的系统节点。这些代码最近在\cite{7463553}中引入，没有任何特定名称。由于hashtag符号\#与代码构造过程的相似性，本文将其称为\emph{HashTag Erasure Codes (HTECs)}。HTEC提供最低的数据读取和数据传送，并且因此提供用于任意子分组化级别$α$的最低修复时间，其中在用于包括MSR代码的分布式存储的所有现有MDS代码中，$α\leq r^{\lceil \sfrac{k}{r} \rceil}$。修复过程是线性和高度平行的。此外，我们表明，HTEC是第一个高速率MDS码，减少修复带宽超过一个故障。HTEC在Hadoop 3.0.0-alpha 2中的实际实现展示了其巨大的潜力。
2017-07-03 cs.DC cs.IT math.IT
XORing Elephants: Novel Erasure Codes for Big Data
大型集群的分布式存储系统通常使用复制来提供可靠性。最近，纠删码被用来减少三复制系统的巨大存储开销。Reed-Solomon码是标准的设计选择，其高维修成本通常被认为是为高存储效率和高可靠性付出的不可避免的代价。本文介绍了如何克服这一局限性。我们提出了一种新的家庭擦除码，有效地修复，并提供更高的可靠性相比，里德-所罗门码。我们分析表明，我们的代码是最佳的最近确定的局部性和最小距离之间的权衡。我们在Hadoop HDFS中实现了我们的新代码，并与当前部署的使用Reed-Solomon代码的HDFS模块进行了比较。我们修改后的HDFS实现在修复磁盘I/O和修复网络流量上减少了大约2倍。新的编码方案的缺点是，它需要14%以上的存储相比，里德-所罗门码，一个开销被证明是信息理论上最优的获得局部性。由于新代码修复故障更快，因此提供了更高的可靠性，与复制相比，可靠性高出几个数量级。
2013-01-16 cs.DC cs.IT cs.NI
A Coded Shared Atomic Memory Algorithm for Message Passing Architectures
本文考虑了分布式消息传递系统中模拟原子（可线性化）多写多读共享内存的通信和存储开销。本文的主要贡献有三个：（1）提出了一种原子共享存储仿真算法，我们称之为编码原子存储（CAS）。该算法使用纠删编码方法。在存储系统中的$N$服务器是弹性的$f$服务器故障，我们表明，CAS的通信成本是$\frac{N}{N-2f}$。CAS的存储成本是无限的。(2)我们提出了一个修改的CAS算法称为CAS与垃圾回收（CASGC）。CASGC算法由整数$δ$参数化，并且具有有限的存储成本。我们表明，在每一个执行的写操作是并发的读操作的数量不大于$δ$，参数$δ$的CASGC算法满足原子性和活性。我们明确地描述了CASGC的存储成本，并表明它具有相同的通信成本CAS。(3)我们描述了一种算法称为通信成本最优原子存储（CCOAS）算法，实现了比CAS和CASGC更小的通信成本。具体地，CCOAS引起$\frac{N}{N-f}$的读写通信成本，该成本是根据对象值的数量来测量的。并讨论了CCOAS与CAS和CASGC相比的不足之处。
2014-07-15 cs.DC cs.IT math.IT
RapidRAID: Pipelined Erasure Codes for Fast Data Archival in Distributed Storage Systems
为了在分布式存储系统中实现可靠性，数据通常在不同的节点上复制。然而，要存储的数据量的增加促使了纠删码的引入，纠删码是复制的存储高效替代方案，特别适合于数据中心中的存档，其中旧数据集（很少访问）可以被纠删编码，而副本仅针对最新数据进行维护。许多最近的作品考虑新的存储为中心的擦除码的设计，以提高可修复性。相反，本文解决了从复制到编码的迁移：传统上，纠删编码是一种原子操作，其中具有整个对象的单个节点编码并上传所有编码片段。虽然大型数据集可以通过在不同节点之间分布单个对象编码来并行存档，但由于这种原子性，单个节点的网络和计算能力限制了存档过程。我们提出了一种新的流水线编码策略，在不同的节点之间分配网络和计算负载的单对象编码，这也加快了多个对象存档。我们进一步提出RapidRAID代码，一个明确的家庭的流水线擦除码，提供快速归档，而不损害数据的可靠性或存储开销。最后，我们提供了RapidRAID代码的实际实现，并使用50个节点的集群和一组Amazon EC2实例对其性能进行了基准测试。实验表明，RapidRAID编码减少了单个对象的编码时间高达90%，而当多个对象并发编码时，减少高达20%。
2012-08-03 cs.DC
Repair Optimal Erasure Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中，出现了使在故障之后精确地重建存储节点所需的总{ \it通信}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。设计高速率的最大距离可分离（MDS）码，实现最佳的修复通信一直是一个众所周知的开放问题。在这项工作中，我们使用阿达玛矩阵构造第一个显式的2-奇偶MDS存储代码的最佳修复性能的所有单节点故障，包括奇偶校验。我们的建设依赖于一种新的方法，实现完美的干扰对齐在有限的领域与有限的文件大小，或扩展的数量。我们将这种构造推广到设计$m$ -奇偶MDS码，实现了单系统节点故障的最佳修复通信，并表明我们的$m$ -奇偶码和Tamo { \it et al.}的基于系统修复最佳置换矩阵的码之间存在有趣的联系。\cite{Tamo}和Cadambe { \it等} \cite{PermCodes_ISIT, PermCodes}。
2011-06-08 cs.DC cs.IT cs.NI
Train Where the Data is: A Case for Bandwidth Efficient Coded Training
训练机器学习模型是计算和数据密集型的。大多数模型训练在高性能计算节点上执行，并且训练数据存储在这些节点附近以进行更快的训练。但是，人们对在数据附近进行培训的兴趣越来越大。例如，移动设备是训练数据的丰富来源。由于带宽和数据隐私的原因，将移动设备的数据整合到云服务中可能不可行。然而，移动设备上的培训充满了挑战。第一，移动设备可以自愿地或由于环境不确定性（诸如缺乏电力）而加入或离开分布式设置。容忍不确定性对于分布式移动训练的成功至关重要。容忍计算不确定性的一种主动方法是以编码格式存储数据并对编码数据执行训练。对数据进行编码是一项具有挑战性的任务，因为纠删码需要多个设备交换它们的数据以创建编码数据分区，这带来了显著的带宽约束。此外，编码计算传统上依赖于中心节点来编码数据并将其分发到所有工作节点，这在分布式移动环境中是不实际的。在本文中，我们使用带宽有效的编码策略来解决分布式移动训练中的不确定性。我们使用随机线性网络编码（RLNC），减少了在所有参与的移动设备之间交换数据分区的需要，同时保留编码计算的属性以容忍不确定性。我们为逻辑回归和SVM实现了梯度下降，以评估我们的移动训练框架的有效性。我们证明了减少50%的总所需的通信带宽相比，MDS编码计算，流行的纠删码之一。
2019-10-22 cs.DC cs.IT cs.LG
Erasure Coding for Small Objects in In-Memory KV Storage
我们提出MemEC，擦除编码为基础的内存中的键值（KV）存储，实现高可用性和快速恢复，同时保持低数据冗余存储服务器。MemEC是专门为小对象占主导地位的工作负载而设计的。通过对对象进行整体编码，MemEC比现有的基于复制和擦除编码的方法减少了60%的小对象存储冗余。它还支持正常模式下分散请求之间的优雅转换（即，无故障）和降级模式下的协调请求（即，失败）。我们评估我们的MemEC原型通过测试床实验下读取繁重和更新繁重的YCSB工作负载。我们表明，MemEC在正常和降级模式下都实现了高吞吐量和低延迟，并支持两种模式之间的快速转换。
2017-05-21 cs.DB cs.DC
Coded Elastic Computing on Machines with Heterogeneous Storage and Computation Speed
我们研究了异构编码弹性计算（CEC）的优化设计，其中机器具有不同的计算速度和存储。Yang等人在2018年引入的CEC是一个减轻弹性事件影响的框架，机器可以在任意时间加入和离开。在CEC中，数据使用最大距离可分离（MDS）代码在机器之间分发，以便机器的子集可以执行所需的计算。然而，最先进的CEC设计仅在同构网络上运行，其中机器具有相同的速度和存储。这可能不切实际。在这项工作中，基于MDS存储分配，我们开发了一种新的计算分配方法，异构CEC网络，以尽量减少总的计算时间。我们首先考虑机器具有异构计算速度但具有相同存储的情况，然后考虑两种异构性都存在的情况。我们提出了一种新的组合优化公式，并解决它通过分解成一个凸优化问题，找到最佳的计算负载和“填充问题”，找到确切的计算分配。一个低复杂度的“填充算法”是适应，并可以在一定数量的迭代等于最多的可用机器的数量内完成。
2020-08-12 cs.DC cs.IT math.IT
Dual-Lagrange Encoding for Storage and Download in Elastic Computing for Resilience
本文提出利用双 Lagrange codes 编码存储与下载的弹性计算方案，在保持掉队者容忍的同时将存储大小降至原方案的1/L，并在 AWS EC2 上验证其有效性。
2025-01-28 cs.DC cs.IT math.IT
Coded Distributed Computing: Performance Limits and Code Designs
我们考虑编码的分布式计算的问题，其中一个大的线性计算工作，如矩阵乘法，分为$k$较小的任务，使用$(n,k)$线性代码编码，并在$n$分布式节点上执行。目标是减少计算作业的平均执行时间。我们提供了一个连接之间的问题，表征编码的分布式计算系统的平均执行时间和分析的错误概率的代码长度$n$擦除通道使用的问题。因此，我们提出了使用二进制随机线性代码的执行时间和最佳执行时间的任何线性编码的分布式计算系统可以实现的封闭形式的表达式。它还表明，存在良好的二进制线性码，达到，渐近，最佳性能的任何线性码，不一定是二进制，可以实现。我们还研究了编码的分布式计算系统的性能，使用极性和Reed-Muller（RM）码，可以受益于低复杂度解码，和优越的性能，分别，以及明确的建设。在本文中提出的框架可以使有效的设计分布式计算系统的丰富的文献中的信道编码理论。
2019-06-24 cs.DC cs.IT math.IT
Alpha Entanglement Codes: Practical Erasure Codes to Archive Data in Unreliable Environments
使用消费级磁盘驱动器和分布式对等系统的数据中心是不可靠的环境，无法在没有足够冗余的情况下归档数据。大多数冗余方案对于长期提供高可用性、持久性和完整性并不完全有效。我们提出了阿尔法纠缠码，一种机制，创建一个虚拟层的高度互连的存储设备，在大规模存储系统中传播冗余信息。我们的动机是设计具有高容错能力的灵活实用的擦除码，以提高数据的持久性和可用性，即使在灾难性的情况下也是如此。通过灵活和实用，我们的意思是代码设置可以适应未来的需求和实际实现，并在安全性，资源使用和性能之间进行合理的权衡。代码有三个参数。Alpha会线性增加存储开销，但会以指数方式增加恢复数据的可能路径。另外两个参数甚至在不需要额外存储的情况下进一步提高了容错性。因此，纠缠存储系统可以提供高可用性，持久性和额外的完整性：更难以不可检测地修改数据。我们评估了几种冗余方案在不可靠环境中的性能，并表明α纠缠码是灵活和实用的代码。值得注意的是，它们在代码局部性方面表现出色，因此，它们降低了修复成本，并减少了对可用性差的存储位置的依赖。我们的解决方案在许多灾难恢复场景中优于Reed-Solomon码。
2018-10-06 cs.CR cs.DC cs.IT
Coded State Machine -- Scaling State Machine Execution under Byzantine Faults
我们引入了一个信息理论框架，命名为编码状态机（CSM），安全，高效地执行多个状态机不可信的网络节点，其中一些是拜占庭。解决这个问题的标准方法是使用状态机复制，它以低效率为代价实现了高安全性。我们提出CSM，它实现了最佳的线性扩展存储效率，吞吐量和安全性，同时与网络的大小。存储效率通过拉格朗日编码状态和编码输入命令的设计来缩放，所述拉格朗日编码状态和编码输入命令需要与它们的起源相同的存储大小。计算效率的缩放使用一种新的委托算法，称为INTERMIX，这是一个信息理论上可验证的矩阵向量乘法算法的独立利益。使用INTERMIX，网络节点安全地将其编码操作委托给单个工作节点，并由一小组随机选择的审计节点验证其正确性，因此计算效率几乎可以随网络规模线性扩展，而不会影响安全性。
2019-06-26 cs.CR cs.DC cs.IT
Erasure code-based low storage blockchain node
去中心化分类账的概念通常意味着区块链网络的每个节点存储整个区块链。然而，在流行的区块链的情况下，每个区块链重达数百GB，要存储的大量数据可能会促使新的或低容量的节点运行轻量级客户端。这样的节点不参与全局存储工作，并且可能导致区块链由很少的节点集中，这与区块链的基本概念相反。为了避免这个问题，我们提出了新的低存储节点，通过使用擦除码存储从区块链生成的减少量的数据。这种技术的特性确保了链的任何块都可以很容易地从少量这样的节点重建。这个系统应该鼓励低存储节点为区块链的存储做出贡献，并在全球区块链规模不断增加的情况下保持去中心化。该系统为新型区块链铺平了道路，这种区块链只能由低容量节点管理。
2018-05-02 cs.CR cs.DC
Tail Index for a Distributed Storage System with Pareto File Size Distribution
分布式存储系统通常采用纠删码来实现高数据可靠性，同时获得空间效率。已知这样的存储系统在响应时间中易受长尾影响。已经表明，在Bing、Facebook和Amazon等现代在线应用程序中，延迟的长尾是特别值得关注的，其中$99.9$第百分位数响应时间比平均值差几个数量级。驯服尾部等待时间在擦除编码存储系统中是非常具有挑战性的，因为量化尾部等待时间（即，$x$（任意$x\in[0,1]$的第百分位延迟）是一个长期存在的公开问题。在本文中，我们提出了一个数学模型来量化任意擦除编码存储系统的服务延迟{ \em tail index}，通过表征延迟分布尾部的渐近行为。当文件大小有一个重尾分布，我们发现尾指数，定义为指数在延迟尾概率减小到零，在封闭形式，并进一步表明，一个家庭的概率调度算法是（渐近）最佳的，因为他们能够实现确切的尾指数。
2017-08-03 cs.DC cs.IT cs.NI
DSPE: Profit Maximization in Edge-Cloud Storage System using Dynamic Space Partitioning with Erasure Code
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
针对边缘服务器存储容量有限、难应对动态高并发低延迟请求的问题，提出融合纠删码、协作缓存与动态公私分区的利润导向框架，经真实轨迹验证较现有方案提升系统利润5%-8%。
2025-07-30 cs.DC
Private Information Retrieval from Storage Constrained Databases -- Coded Caching meets PIR
专用信息检索（PIR）允许用户从来自$N$数据库的$K$可能消息中检索所需消息，而不泄露所需消息的身份。大多数现有的作品PIR假设存在复制的数据库，每个存储所有的$K$消息。在这项工作中，我们考虑的问题，PIR从存储受限的数据库。每个数据库具有$μKL$位的存储容量，其中$K$是消息的数量，$L$是每个消息的位大小，$μ\in [1/N, 1]$是标准化存储。在存储受限的PIR问题中，有两个关键的设计问题：a）如何在存储受限的情况下跨每个数据库存储内容;以及b）构造允许通过存储受限的数据库进行高效PIR的方案。这项工作的主要贡献是一个通用的可实现的计划PIR从存储约束数据库的任何存储值。特别是，对于任何$(N,K)$，与规范化存储$μ= t/N$，其中参数$t$可以采取整数值$t \in \{1, 2, \ldots, N\}$，我们表明，我们提出的PIR方案实现了$\left(1+ \frac{1}{t}+ \frac{1}{t^{2}}+ \cdots + \frac{1}{t^{K-1}}\right)$的下载成本。当$μ=1$（即，$t=N$）对应于具有完整存储的复制数据库的设置。对于这个极端的设置，我们的计划恢复的信息理论上的最优下载成本，其特征在于太阳和贾法尔为$\left(1+ \frac{1}{N}+ \cdots + \frac{1}{N^{K-1}}\right…
2017-11-14 cs.CR cs.DC cs.IT
Near Optimal Coded Data Shuffling for Distributed Learning
University of Arizona（亚利桑那大学）
分布式集群间的数据混洗是实现大规模学习算法的关键步骤之一。在一群工作者之间随机洗牌数据集允许不同的节点在每个学习时期获得新的数据分配。这一过程已被证明可以改善学习过程。然而，分布式数据洗牌的统计优势是以从主节点到工作节点的额外通信开销为代价的，并且可以作为总计算时间的主要瓶颈之一。最近，人们对设计最小化这种通信开销的方法产生了极大的兴趣。一种方法是在计算节点处提供额外的存储。另一种新兴方法是利用编码通信来最大限度地减少总体通信开销。这项工作的重点是了解分布式数据洗牌的存储量和通信开销之间的基本权衡。在这项工作中，我们首先提出了一个信息理论制定的数据洗牌问题，占基本的问题参数（工人的数量，$K$，数据点的数量，$N$，和可用的存储，$S$每个节点）。然后，我们提出了一个信息理论的下限的数据洗牌作为这些参数的函数的通信开销。接下来，我们提出了一种新的编码通信方案，并表明所提出的方案的通信开销是在一个乘法因子的信息理论下限的最多$\frac{K}{K-1}$。此外，我们提出了对齐编码洗牌计划的一些存储值，它实现了最佳的存储与通信的$K<5$的权衡，并进一步减少了最大的乘法间隙下降到$\frac{K-\frac{1}{3}}{K-1}$，对于$K\geq 5$。
2018-01-05 cs.DC cs.IT cs.LG
A Survey on Network Codes for Distributed Storage
分布式存储系统通常引入冗余以提高可靠性。当使用编码时，修复问题出现了：如果存储编码信息的节点发生故障，为了保持相同的可靠性水平，我们需要在新节点上创建编码信息。这相当于代码的部分恢复，而传统的擦除编码集中于从编码分组的子集中完全恢复信息。修复网络流量的考虑引起了新的设计挑战。最近，网络编码技术已经在解决这些挑战，建立维护带宽可以减少数量级相比，标准的纠删码。本文综述了这方面的研究成果。
2010-04-26 cs.DC cs.IT cs.NI
A Micro-Service based Approach for Constructing Distributed Storage System
提出了一种基于微服务架构的分布式存储系统的构建方法。通过使用微服务构建存储功能，我们可以以灵活的方式为分布式存储系统提供新的功能。我们以纠删编码和压缩为例，展示了如何构建一个基于微服务的分布式存储系统。我们还表明，通过将擦除编码和压缩构建为微服务，与单片存储系统相比，分布式存储系统仍然可以实现合理的性能。
2021-07-02 cs.DC
Maximum Lifetime for Data Regeneration in Wireless Sensor Networks
专用于无线传感器网络的鲁棒分布式存储系统利用多个节点冗余地存储传感数据，使得当一些存储节点失效时，传感数据仍然可以被重构。对于相同级别的冗余，已知基于纠删编码的方法比复制方法需要更少的数据存储空间。为了在一个存储节点发生故障时保持相同的冗余水平，可以通过使该节点从其他活动存储节点下载相应的片段来将擦除编码的数据恢复到某个其他存储节点上。以前的工作表明，使用擦除编码的好处，强大的存储复制是没有吸引力的复杂性，在重新生成丢失的数据。然而，最近的工作表明，通过提出再生编码，可以进一步减少纠删编码数据的带宽，从而使纠删码再次适合于鲁棒的数据存储。但是，这些工作的再生编码考虑这些代码将如何执行无线传感器网络中的数据再生。因此，我们提出了一个分析模型来量化再生编码在经典方案的网络寿命增益。我们还提出了一个分布式算法，TROY，确定哪些节点和路由用于数据再生。我们的分析研究表明，对于某些拓扑结构，TROY实现了最大的网络寿命。我们在真实传感器网络跟踪的评估研究表明，TROY实现了接近最佳的寿命和性能优于基线算法。
2011-06-15 cs.DC
PolyShard: Coded Sharding Achieves Linearly Scaling Efficiency and Security Simultaneously
今天的区块链设计面临着一个三难困境，即没有一个区块链系统可以同时实现去中心化、安全性和性能可扩展性。对于当前的区块链系统，随着更多的节点加入网络，系统的效率（计算、通信和存储）最多保持不变。使区块链能够扩展效率的一个主要想法是分片的概念：不同的节点子集处理区块链的不同部分，从而减少每个节点的负载。然而，现有的分片提议通过损害信任来实现效率扩展-破坏给定分片中的节点将导致数据的相应部分的永久丢失。在本文中，我们通过展示一种用于区块链中编码存储和计算的新协议来解决三元悖论。特别是，我们提出了PolyShard：“多项式编码分片”方案，该方案实现了存储效率，系统吞吐量以及信任度的信息理论上限，从而实现了真正可扩展的系统。我们提供的模拟结果，数值上证明了性能的提高超过最先进的，和PolyShard系统的可扩展性。最后，我们讨论了潜在的增强功能，并强调在建立这样一个系统的实际考虑。
2020-01-24 cs.CR cs.DC cs.IT
Exploring Erasure Coding Techniques for High Availability of Intermediate Data
科学计算工作流生成大量的分布式数据，这些数据是短暂的，但对作业完成时间至关重要。这类数据称为中间数据。实现高数据可用性的一种常见方法是复制数据。然而，在现代科学应用中产生的中间数据的规模越来越大，需要新的存储技术来提高存储效率。作为替代方案，擦除代码可以使用更少的存储空间，同时保持类似的数据可用性。在本文中，我们采用纠删码存储中间数据，并比较其性能与复制。我们还使用平均数据丢失时间（MTTDL）的度量来估计中间数据的生命周期。我们提出了一种算法，主动重新定位数据冗余从脆弱的机器可靠的，以提高数据的可用性与一些额外的网络开销。此外，我们提出了一种算法来分配冗余单元的数据物理上彼此接近的网络上，以减少网络带宽重建数据时，它被访问。
2020-04-13 cs.DC
