Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model
针对机架感知分布式存储，本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码，实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。
2024-01-27 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储，以实现高容错和低存储冗余。由于跨机架通信成本通常很高，因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中，我们分析了存储冗余和跨机架修复带宽之间的最佳权衡，专门为数据中心，受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线，并提出了一个称为机架感知再生码（RRC）的擦除码族，它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽，分别。我们证明了（i）最小存储冗余构造支持广泛的参数范围，并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽，以及（ii）最小跨架修复带宽构造支持所有参数，并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
Rack-Aware Regenerating Codes with Multiple Erasure Tolerance
在现代分布式存储系统中，存储节点被组织在机架中，并且跨机架通信支配系统带宽。在我们研究的机架感知存储系统中，所有的存储节点都组织在机架中，每个机架内的节点可以自由地通信，而不会占用系统带宽。为了最大限度地减少单次擦除的修复带宽，提出了机架感知再生码（RRC）。在RRC的初始设置中，单个节点的修复需要包含故障节点的机架中的所有剩余节点以及不包含故障的大量辅助机架的参与。因此，在多个节点故障之前，修复可能是不可行的。在这项工作中，一个宽松的修复模型，可以容忍多个节点的故障，同时减少机架内连接和跨机架连接的建议。推导了松弛修复模型下存储带宽和修复带宽之间的权衡关系，并分别表征了最小存储和最小带宽下权衡曲线上两个端点的参数。此外，两个代码对应的极端点明确地构建在字段的大小可比的代码长度和最低的子分组。最后，为了便于实际应用，还建立了两种码的系统编码过程。
2022-05-18 cs.IT math.IT
Explicit Construction of Minimum Bandwidth Rack-Aware Regenerating Codes
在大型数据中心中，存储节点被组织在机架中，并且跨机架传输主导带宽成本。对于单节点故障的修复，实现存储冗余和跨机架修复带宽之间的折衷的代码被称为机架感知再生代码（RRC）。在这项工作中，我们给出了具有最小修复带宽的RRCs的第一个显式构造（即，跨机架带宽等于每个节点的存储大小）。我们的建设适用于所有允许的参数，并具有最低的子打包水平。此外，底层有限域的大小与存储节点的数量相当，这使得我们的代码在实践中更容易实现。最后，为了便于实际应用，我们还建立了一个转换，将我们的代码转换成系统代码。
2021-04-20 cs.IT math.IT
Rack-Aware Regenerating Codes with Fewer Helper Racks
我们考虑机架感知存储系统，其中\(n\)节点被组织在\(\bar{n}\)机架中，每个机架包含\(u\)节点，并且任何\(k\)节点都可以检索存储的文件。此外，通过从\(\bar{d}\)辅助机架以及同一机架中的其余\(u\!-\!1\)节点下载数据，可以恢复任何单个节点擦除。以前的工作主要集中在最小化跨机架修复带宽的条件下\(\bar{d}\geq \bar{k}\)，其中\(\bar{k}=\lfloor\frac{k}{u}\rfloor\)。但是，\(\bar{d}\geq \bar{k}\)不是机架感知存储模型的固有条件。在本文中，我们建立了一个折衷的存储开销和跨机架修复带宽的特别有趣的情况下\(\bar{d}\!<\!\bar{k}\)。此外，我们提出了明确的结构的代码的参数躺在权衡曲线分别在最小存储点和最小带宽点。代码是标量的或具有子分组化\(\bar{d}\)，并且在大小与\(n\)相当的有限域上操作。以\(\bar{d}\)为修复度，结合了再生码在最小化修复带宽方面的优势和局部可修复码在降低修复度方面的优势.此外，它们还放弃了MBR码具有不小于\(2\times\)的存储开销的限制和具有指数子分组化水平的高速率MSR码的限制。
2021-01-21 cs.IT math.IT
Explicit Construction of Minimum Storage Rack-Aware Regenerating Codes for All Parameters
我们考虑机架感知存储系统，其中$n=\bar{n}u$节点被组织在$\bar{n}$机架中，每个机架包含$u$节点，并且任何$k=\bar{k}u+u_0~(0\leq u_0<u)$节点都可以检索原始数据文件。更重要的是，跨机架通信成本比机架内通信成本昂贵得多，以至于后者在系统带宽中通常被忽略。MSRR（minimum storage rack-aware regenerating）码是再生码的一个重要变体，它在rack-aware模型中实现了单节点故障的最优修复带宽。然而，直到Chen\&Barg的工作，才开发出针对所有参数的MSRR代码的显式构造。在本文中，我们提出了另一种显式构造的MSRR码的所有参数，改善陈和巴格的建设在两个方面：（1）的子分组从$(\bar{d}-\bar{k}+1)^{\bar{n}}$减少到$(\bar{d}-\bar{k}+1)^{\lceil\frac{\bar{n}}{u-u_{0}}\rceil}$，其中$\bar{d}$是帮助机架参与修复过程的数量;（2）字段大小减少到$|F|>n$，这几乎是一半的字段中使用的陈和巴格的建设。此外，我们的代码保持了与Chen\&Barg的低访问构造相同的访问级别。
2021-03-29 cs.IT math.IT
A realistic distributed storage system: the rack model
在实际的分布式存储环境中，存储节点通常放置在机架中，机架是一种用于容纳电子设备的金属支架。已知的是，在同一机架中的节点之间的通信（带宽）成本比在不同机架中的节点之间的通信（带宽）成本低得多。本文提出了一种新的模型，其中存储节点被放置在两个机架上，并进行了分析。此外，两个机架模型被推广到任何数量的机架。在此模型中，存储节点具有不同的维修成本，具体取决于它们放置的机架。示出了阈值函数，其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。这个阈值函数概括了以前的分布式存储模型。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较，结果表明，该新模型在维修成本方面优于以前的模型。
2013-02-22 cs.DC cs.IT math.IT
Dynamic Control of a Flow-Rack Automated Storage and Retrieval System
在本文中，我们提出了一种控制方案的基础上着色Petri网（CPN）的流动货架自动化存储和检索系统。采用有色Petri网对自动化立体仓库进行建模，并利用该模型对货架状态进行捕获和提供。我们在控制系统中引入了一个优化模块作为决策过程，该决策过程在离散事件时间尺度上执行实时优化。其目标是通过最小化一批请求的检索周期的总数来为检索请求找到bin位置，从而增加系统吞吐量。该方法通过求解优化模型，根据客户需求和货架状态，给出了最佳的回收仓位置，即在满足客户需求的同时，实现回收周期最少。
2009-01-27 cs.IT math.IT
A realistic distributed storage system that minimizes data storage and repair bandwidth
在实际的分布式存储环境中，存储节点通常放置在机架中，机架是一种用于容纳电子设备的金属支架。已知机架内的节点之间的通信（带宽）成本远低于不同机架内的节点之间的通信（带宽）成本。本文提出了一种新的模型，其中存储节点被放置在两个机架上，并进行了分析。在此模型中，存储节点具有不同的修复成本来修复节点，这取决于它们放置的机架。示出了阈值函数，其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。该阈值函数概括了来自先前分布式存储模型的阈值函数。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较，结果表明，该新模型在维修成本方面优于以前的模型。
2013-01-08 cs.DC cs.IT math.IT
Rack-Aware MSR Codes with Multiple Erasure Tolerance
最小存储机架感知再生（MSRR）代码是再生代码的一种变体，其实现了机架感知模型中单个节点故障的最佳修复带宽。在~ \cite{Chen-Barg2019}和~ \cite{Zhou-Zhang2021}中，作者为修复单个故障节点的所有参数提供了MSRR码的显式构造。本文将\cite{Chen-Barg2019}的结果推广到多节点失效的情况。我们提出了一类MDS阵列码和标量Reed-Solomon（RS）码，并表明这些代码具有最佳的修复带宽和容错能力的多个节点故障的机架感知存储模型。此外，我们的代码保持相同的访问级别的低访问结构在~ \cite{Chen-Barg2019}和~ \cite{Zhou-Zhang2021}。
2021-09-17 cs.IT math.IT
Optimal repairing schemes for Reed-Solomon codes with alphabet sizes linear in lengths under the rack-aware model
在现代实际数据中心中，存储节点通常被组织成大小相等的组，这被称为机架。跨机架通信的成本比机架内通信的成本昂贵得多。用于该系统的代码被称为机架感知再生代码。与标准的最小存储再生（MSR）码类似，构造满足割集界的最小存储架感知再生（MSRR）码是一个具有挑战性的任务。实现割集界限的MSRR码的已知构造给出了具有字母表大小$q$与码长$n$呈指数关系的码，更准确地说，是$q=Ω(\exp(n^n))$。本文的主要贡献是给出了在$n$中实现割集有界且字母长度线性的MSRR码的显式构造。为了实现这一目标，我们首先提出了一个通用的框架来修复里德所罗门码。结果表明，在我们的一般框架下，可以实现已知的Reed-Solomon码的修复方案。在本文中使用了几种技术。特别地，我们使用度下降的方法来修复失效节点。这种技术使我们能够得到在$n$中字母长度线性的Reed-Solomon码。其他技术包括选择好的多项式。注意，在文献中，好的多项式被用于构造局部可修码。据我们所知，这是第一次在本文中使用好的多项式的再生码的建设。
2019-11-19 cs.IT math.IT
Asymptotically Optimal Repair of Reed-Solomon Codes with Small Sub-Packetization under Rack-Aware Model
本文针对机架感知分布式存储系统，提出一种基于多基展开和单项式构建的RS码线性修复方案，在适应所有允许参数并实现渐近最优修复带宽的同时，显著降低了子包化。
2025-07-15 cs.IT math.IT
Rack-Aware MSR Codes with Linear Field Size and Smaller Sub-Packetization for Tolerating Multiple Erasures
Key Lab of Education Blockchain and Intelligent Technology, Ministry of Education（教育部教育区块链与智能技术重点实验室）；Guangxi Key Lab of Multi-source Information Mining & Security, Guangxi Normal University（广西师范大学多源信息挖掘与安全广西壮族自治区重点实验室）；School of Mathematics and Statistics, Nanning Normal University（南宁师范大学数学与统计学院）；The Center for Applied Mathematics of Guangxi (Guangxi Normal University)（广西应用数学中心（广西师范大学））
本文提出了一种具有线性字段大小和更小子包化率的Rack意识MSR代码，用于在相同机架内修复多个失败节点。
2025-11-24 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型，用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络（例如传感器网络）的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中，使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此，在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源，即存储容量，集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上，分析了实现可靠存储的所需资源的可行集合。它表明，跨集群流量可以最小化为零（即，集群内本地修复成为可能）。此外，跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Non-homogeneous distributed storage systems
本文描述了一种非同构分布式存储系统，其中存在一个超级节点，该超级节点具有比其他存储节点更大的存储容量和更高的可靠性和可用性。我们提出了三个分布式存储方案的基础上（k+2; k）的最大距离可分离（MDS）码和非MDS码的效率，这样的非同质DSS的修复效率和数据可用性。我们的计划达到最佳带宽（k+1/2）（M/k）时，修复1节点故障，但只需要四分之一的最小所需的文件大小，并可以与一个较小的字段大小，导致显着降低复杂性比传统的同构DSS。此外，与非MDS码，我们的计划可以实现更小的修复带宽的M/2k。最后，我们表明，我们的计划可以增加10%的数据可用性比传统的同质DSS计划。
2012-08-10 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型，研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络（例如传感器网络）的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中，使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此，在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数，即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量，存储节点的数量增加没有限制。基于容量表达式，在一个封闭的形式的解决方案，使可靠的存储所需的资源的可行的集合。具体地，示出了跨集群流量可以被最小化为零（即，集群内本地修复成为可能）。将具有零跨簇通信量的网络编码方案定义为簇内可修码，它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
Capacity of Distributed Storage Systems with Clusters and Separate Nodes
在分布式存储系统中，节点存储和修复带宽之间的最优折衷是设计分布式编码策略以保证大规模数据可靠性的重要问题。DSS的能力作为一个功能的节点存储和修复带宽参数，特征的权衡。有很多工作在DSS与集群（机架），其中修复带宽从集群内和跨集群是有区别的。然而，在现实的DSS中，分离节点也是普遍存在的，但对具有集群和分离节点的DSS（CSN-DSS）的研究还不够。在本文中，我们制定了一个单独的节点的CSN-DSS的容量首次修复一个单独的节点的带宽是跨集群。因此，节点存储和修复带宽之间的最佳权衡推导出并与集群DSS相比。基于该折衷构造了重新生成的代码实例。此外，增加一个单独的节点的影响进行了理论分析和制定。我们证明了当每个集群包含R个节点，并且任意k个节点都足以恢复原始文件（MDS属性）时，如果R| k，否则减小容量。
2019-01-10 cs.DC cs.IT math.IT
A Solution to the Network Challenges of Data Recovery in Erasure-coded Distributed Storage Systems: A Study on the Facebook Warehouse Cluster
诸如Reed-Solomon（RS）码之类的擦除码正越来越多地用于数据中心，以对抗可靠地存储大量数据的成本。虽然这些代码提供了最佳的存储效率，但在恢复丢失数据期间，它们需要非常高的网络和磁盘使用率。在本文中，我们首先提出了一个研究的恢复操作的擦除编码的数据对数据中心网络的影响，从Facebook的生产中的仓库集群的测量为基础。据我们所知，这是文献中首次进行此类研究。我们的研究表明，恢复RS编码的数据会导致网络流量的显着增加，每天超过100 TB，在一个集群存储多个PB的RS编码的数据。为了解决这个问题，我们提出了一个新的存储代码，使用我们最近提出的“捎带”框架，理论上减少了30%的恢复过程中的网络和磁盘使用，同时也是存储最佳和支持任意的设计参数。在Hadoop分布式文件系统（HDFS）中实现拟议的代码正在进行中。我们使用仓库集群的测量结果表明，建议的代码将导致每天减少近50 TB的跨机架流量。
2013-09-01 cs.DC cs.IT cs.NI
On Heterogeneous Regenerating Codes and Capacity of Distributed Storage Systems
异构分布式存储系统（DSS）接近于现实世界中的数据存储应用。互联网缓存系统和对等存储云就是这样的DSS的例子。在这项工作中，我们计算这样的系统，每个节点存储不同数量的数据包，每个具有不同的修复带宽（节点可以通过接触一组特定的节点修复）的容量公式。研究了这种异构DSS的存储和修复带宽之间的权衡曲线。通过对容量公式的分析，在曲线上得到了新的最小带宽再生点和最小存储再生点。结果表明，在某些情况下，这些都优于同质DSS。
2014-02-16 cs.IT math.IT
Caching in Wireless Small Cell Networks: A Storage-Bandwidth Tradeoff
在网络边缘缓存内容是卸载流量、减少延迟和提高用户体验质量的有效手段。在这封信中，我们专注于存储带宽的权衡方面，其中小小区基站分布根据一个均匀的泊松点过程和缓存内容根据一个给定的内容流行度分布，受存储约束。我们提供了一个封闭形式的表达的缓存未命中概率，定义为不满足用户的请求在一个给定的覆盖区域的概率，作为信号干扰比，缓存大小，基站密度和内容流行度的函数。特别是，它示出，对于一个给定的最小缓存大小，基于流行度的缓存策略实现较低的中断概率为一个给定的基站密度相比，均匀的缓存。此外，我们表明，流行度为基础的缓存达到更好的性能在缓存未命中概率相同的频谱。
2016-03-17 cs.IT math.IT
Cascaded Coded Distributed Computing on Heterogeneous Networks
Li等人在2015年提出的编码分布式计算（CDC）提供了一种有效的方法来交易计算能力，以减少MapReduce等一般分布式计算框架中的通信负载。对于更一般的级联CDC，在$r$节点处重复Map计算，以显著减少负责计算$Q$ Reduce函数的节点之间的通信负载$s$时间。虽然提出了一种可实现的级联CDC方案，但它仅适用于同构网络，其中每个计算节点的存储，计算负载和通信负载是相同的。在本文中，我们提出了一种新的组合设计，在异构网络中的节点有不同的存储和计算能力，它可以解决这个限制。我们提供了一个分析表征的计算通信权衡，并表明它是最佳的一个常数因子内，可以优于国家的最先进的同质计划。
2019-01-23 cs.IT math.IT
On the Capacity of Distributed Quantum Storage
本文研究分布式量子存储的容量，通过将解码集表示为存储图超边，利用量子CSS码与经典安全存储的关联及量子信息不等式，刻画了多种图的容量。
2025-10-12 cs.IT math.IT quant-ph
Capacity and Security of Heterogeneous Distributed Storage Systems
研究了异构分布式存储系统在修复动态下的容量问题。这些系统的示例包括对等存储云、无线和互联网缓存系统。异构系统中的节点可以具有不同的存储容量和不同的修复带宽。我们给出了系统容量的上下界。这些界限取决于每个节点的平均资源，或对节点特性的详细知识。此外，我们研究的情况下，节点可能会受到窃听，并给出了系统的保密能力的界限。我们的研究结果的一个含义是，对称修复最大化一个同质系统的容量，这证明了在文献中广泛使用的模型。
2012-11-02 cs.DC cs.IT cs.NI
Locally Repairable Codes with Unequal Local Erasure Correction
当分布式存储系统中的节点发生故障时，需要及时修复以保持系统的完整性。虽然典型的纠删码可以提供优于复制的显著存储优势，但是它们遭受较差的修复效率。局部可修复码（LRC）通过减少参与修复过程（局部性）的节点数量来解决这个问题，代价是减少最小距离。在本文中，我们研究了局部码具有任意距离要求的LRC的局部性和最小距离之间的权衡。与现有的方法，其中每个节点上施加的本地和本地距离的要求是相同的，我们允许的要求从节点到节点任意变化。这样的属性对于具有非均匀特性的分布式存储系统可以是有利的。我们提出了Singleton型距离上界，并提供了一个最佳的代码建设这些界限。此外，可行速率区域的特征在于不依赖于距离的维数上界。
2018-07-07 cs.IT math.IT
Coded Distributed Computing with Heterogeneous Function Assignments
编码分布式计算（CDC）是由Li等人提出的。是在MapReduce框架中用计算负载交换通信负载的有效技术。CDC通过在$r$计算节点处复制映射计算以产生多播机会来实现最优折衷，使得在混洗阶段中同时服务$r$节点。然而，在一般情况下，国家的最先进的CDC计划主要是专为同构网络，其中的计算节点被假定为具有相同的存储，计算和通信能力。在这项工作中，我们探索了两种新的方法，异构CDC设计。首先，我们研究CDC计划，多个，协作同构计算网络上运行。其次，我们允许异构功能分配在CDC设计，其中节点被分配不同数量的减少功能。最后，我们提出了一个可扩展的异构CDC计划，其中$r-1$节点同时在洗牌阶段。在比较的国家的最先进的同质CDC计划具有同等的计算负载，我们发现我们新提出的异构CDC计划在某些情况下有一个较小的通信负载。
2019-03-01 cs.IT math.IT
Joint Latency and Cost Optimization for Erasure-coded Data Center Storage
现代分布式存储系统提供大容量以满足呈指数级增长的存储空间需求。他们通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时尝试满足应用程序和客户端的延迟要求。本文提供了一个有见地的上界的平均服务延迟，这样的擦除编码存储任意的服务时间分布和多个异构文件组成。结果不仅取代了已知的延迟界限，只适用于一个单一的文件或同类文件，它也使一个新的问题，联合延迟和存储成本最小化在三个维度：选择擦除码，放置编码块，优化调度策略。通过计算一系列具有可证明收敛性的凸逼近，有效地解决了这个问题。我们进一步在三个地理分布的数据中心上的开源云存储部署中原型化我们的解决方案。实验结果验证了我们的理论延迟分析，并显示显着的延迟减少，擦除编码存储的延迟成本权衡建议提供了宝贵的见解。
2014-08-05 cs.DC cs.IT math.IT
A New Combinatorial Coded Design for Heterogeneous Distributed Computing
Li等人在2015年提出的编码分布式计算（CDC）提供了一种有效的方法来交易计算能力，以减少MapReduce和Spark等一般分布式计算框架中的通信负载。特别地，将映射阶段中的计算负载增加因子r可以创建编码的多播机会，以将混洗阶段中的通信负载减少相同的因子。然而，CDC方案是为同构设置而设计的，其中计算节点上的存储、计算负载和通信负载是相同的。此外，它需要一个指数级的大量输入文件（数据批次），减少功能和多播组相对于节点的数量，以实现承诺的收益。我们提出了一种新的CDC方法的基础上的组合设计，它适应异构网络的节点具有不同的存储和计算能力，解决了CDC的局限性。此外，所提出的方法需要一个指数级更少的输入文件的数量相比，李等人提出的原始CDC计划。同时，由此产生的计算通信权衡保持乘法增益相比，传统的未编码单播和渐近实现李等人提出的最佳性能。
2020-07-21 cs.DC cs.IT math.IT
