On a Duality Between Recoverable Distributed Storage and Index Coding
在本文中,我们介绍了一个模型的单故障本地可恢复的分布式存储系统。这个模型似乎引起了一个问题,似乎双重的研究良好的索引编码问题。本文建立了模型的最优索引码和最优分布存储码的维数之间的关系。我们还展示了向量码的一些扩展。
2014-03-10 cs.IT math.IT
Tradeoff for Heterogeneous Distributed Storage Systems between Storage and Repair Cost
本文研究了具有灵活重构度的异构分布式存储系统,系统中的每个节点具有动态的修复带宽和动态的存储容量。具体地,数据收集器可以使用系统中的一些任意节点在时间$t$重构文件,并且对于节点故障,系统可以由一些任意节点集合修复。使用$min$ - $cut$界限,我们研究了存储和修复成本之间的基本权衡我们的模型的异构DSS。特别地,该问题被表述为双目标优化线性规划问题。对于任意的DSS,计算得到的$min$ - $cut$界是紧的.
2015-03-08 cs.IT math.IT
Distributed Storage Schemes over Unidirectional Ring Networks
本文研究了单向环形网络上的分布式存储问题。提出了一个重构带宽的下限,以恢复所有原始数据为每个用户,它是可实现的任意参数。如果一个分布式存储方案能够达到这个下限,并且每个用户都是平等的,我们称之为最优重构分布式存储方案(ORDSS)。此外,一个失败的存储节点在ORDSSes的修复问题正在考虑中,并为每个存储节点的修复带宽上的一个严格的下界。特别是,我们指出的事实,对于任何ORDSS,每个存储节点可以修复修复带宽达到下限与平等。此外,我们提出了一个有效的方法来构建任意参数的欧氏分割的概念。最后,我们用一个例子来描述上述方法。
2014-01-21 cs.IT math.IT
A Storage-Computation-Communication Tradeoff for Distributed Computing
本文研究了分布式计算系统,其中计算被分成“映射”和“减少”功能。提出了一种新的编码方案,称为分布式计算和编码通信(D3 C),并分析了其通信负载与可用存储空间和待计算中间值数目(IVA)的关系。对于给定的存储空间,D3 C实现了最小可能的通信负载,而与Li等人相比,需要计算的IVA数量更少。的编码分布式计算(CDC)方案。更一般地说,我们的方案可以在存储空间和要计算的IVA数量之间灵活地进行权衡。然后针对任何给定的折衷来分析通信负载。
2020-01-21 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Minimization of Storage Cost in Distributed Storage Systems with Repair Consideration
在分布式存储系统中,不同存储节点的存储成本通常可以不同。研究了如何在给定的存储节点集合中存储文件,以使总存储开销最小。通过分析信息流图的最小割约束,确定节点存储容量的可行域。然后,存储成本最小化可以简化为线性规划问题,该问题可以容易地求解。此外,存储成本和修复带宽之间的权衡建立。
2011-07-28 cs.DC cs.IT math.IT
Capacity bounds for distributed storage
分布式存储系统的主要目标之一是使用大量$N$的不可靠存储节点在长持续时间内可靠地存储大量源数据,每个不可靠存储节点具有$c$位的存储容量。存储节点随时间随机失效,并被初始化为零的相等容量的节点替换,因此位以一定速率$E$擦除。为了维持源数据的可恢复性,修复器以速率$R$通过网络从节点连续地读取数据,并且基于所读取的数据生成数据并将数据写入节点。分布式存储源数据容量是可以长时间可靠存储的最大源数据量。证明了随着$N$和$R$的增长,分布式存储源数据容量渐近地接近$\left(1-\frac{E}{2 \cdot R}\right) \cdot N \cdot c$.这个等式表达了网络流量和存储开销之间的基本权衡,以可靠地存储源数据。
2018-04-11 cs.IT math.IT
Node Repair for Distributed Storage Systems over Fading Channels
分布式存储系统和相关的存储代码可以有效地存储大量数据,同时确保在节点故障的情况下可检索数据。这种系统的研究,特别是有限域上存储码的设计,假设节点通信的物理信道是无差错的。例如,在无线存储系统中,情况并非总是如此。我们研究了分布式存储系统中节点修复期间子数据包被错误修复的概率,其中节点通过AWGN或Rayleigh衰落信道进行通信。渐近概率(SNR的增加),一个节点被错误地修复示出完全由DSS的修复局部性和无线信道的符号出错率确定。最后,我们提出了一些设计标准的物理层编码在这种情况下,并使用它来计算最佳旋转QAM星座用于无线分布式存储系统。
2014-09-25 cs.IT math.IT
Raptor Codes Based Distributed Storage Algorithms for Wireless Sensor Networks
本文研究了一个大规模无线传感器网络中的分布式存储问题,该网络中的$n$节点之间$k$获取(感知)独立的数据.目标是在整个网络中传播所获取的信息,使得每个$n$传感器存储一个可能编码的分组,并且对于一些小的$ε>0$,可以稍后以计算简单的方式从任何$(1+ε)k$节点恢复原始$k$数据分组。我们提出了两个基于Raptor码的分布式存储算法来解决这个问题。在第一种算法中,所有传感器都具有$n$和$k$的知识。在第二种情况下,我们假设没有传感器具有这样的全局信息。
2009-03-03 cs.DS cs.IT cs.NI
Storage, Computation, and Communication: A Fundamental Tradeoff in Distributed Computing
我们考虑一个类似MapReduce的分布式计算系统。我们推导出一个下界的通信成本为任何给定的存储和计算成本。这个下限与我们最近提出的可实现的界限相匹配。其结果是,我们完全表征的存储,计算和通信之间的最佳权衡。我们的结果推广了Li等人的前一个结果,也考虑了计算的中间值的数量。
2020-01-21 cs.IT math.IT
Distributed Storage over Unidirectional Ring Networks
本文研究了单向环形网络上的分布式存储问题,其存储节点构成一个有向环,数据沿同一方向传输。原始数据被分布存储在这些节点上。每个用户只能连接一个存储节点来下载全部数据。给出了每个用户恢复原始数据所需的重构带宽的一个下界,该下界对于任意参数都是可实现的。如果一个分布式存储方案能够达到这个下限,并且每个用户都是平等的,我们称之为最优重构分布式存储方案(ORDSS)。此外,一个失败的存储节点在ORDSSes的修复问题正在考虑和修复带宽上的一个紧的下界。特别是,我们指出的事实,对于任何的ORDSS,每个存储节点可以修复修复带宽达到下限与平等。此外,我们提出了两种结构的任意参数的ordss,称为MDS建设和ED建设,分别。特别是,ED构造,通过使用欧几里德划分的概念,是更有效的,通过我们的详细分析。
2014-04-14 cs.IT math.IT
On Heterogeneous Regenerating Codes and Capacity of Distributed Storage Systems
异构分布式存储系统(DSS)接近于现实世界中的数据存储应用。互联网缓存系统和对等存储云就是这样的DSS的例子。在这项工作中,我们计算这样的系统,每个节点存储不同数量的数据包,每个具有不同的修复带宽(节点可以通过接触一组特定的节点修复)的容量公式。研究了这种异构DSS的存储和修复带宽之间的权衡曲线。通过对容量公式的分析,在曲线上得到了新的最小带宽再生点和最小存储再生点。结果表明,在某些情况下,这些都优于同质DSS。
2014-02-16 cs.IT math.IT
Expected Recovery Time in DNA-based Distributed Storage Systems
Technion—Israel Institute of Technology(以色列理工学院);Nanyang Technological University(南洋理工大学)
本文研究了基于DNA的分布式存储系统中数据在容器故障时的预期恢复时间,通过分析擦除纠正码和彩票收集问题的广义版本,探讨了数据恢复的效率与鲁棒性。
2026-02-07 cs.IT math.IT
Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
Robust Dynamic Coded Distributed Storage with Partially Storage Constrained Servers
针对N台服务器中S台存储容量限制为消息大小1/K_c的部分存储受限场景,本工作基于已有逆命题和可达性方案提出新逆命题与编码设计,完全刻画了鲁棒动态编码分布式存储的基本极限。
2025-11-11 cs.IT math.IT
Multi-Version Coding - An Information Theoretic Perspective of Consistent Distributed Storage
在分布式存储系统到分布式计算的应用和键值存储的实现中,以下属性(通常在计算机科学和工程中被称为一致性)是重要的要求:随着存储的数据改变,数据的最新版本必须可由连接到存储系统的客户端访问。为了研究一致性分布式存储系统的存储代价,本文引入了一种信息论的多版本编码方法。多版本编码的特征在于消息的ν个全序版本和具有n个服务器的存储系统。在每个服务器处,接收并编码对应于v个版本的任意子集的值。对于存储系统中的c服务器的任何子集,与c服务器中的最新公共版本或根据总排序的更高版本相对应的值需要是可解码的。通过线性编码和一个相反的结果,表明该结构是近似紧的,提供了一个可实现的多版本码的结构。相反的含义是,在存储成本方面,为了确保分布式存储系统的一致性,存在不可避免的代价。
2015-10-19 cs.IT math.IT
Private Information Retrieval in Distributed Storage Systems Using an Arbitrary Linear Code
我们提出了一个信息理论的私人信息检索(PIR)计划的分布式存储系统中的数据存储使用的线性系统码的速率$R > 1/2$。该方案概括了PIR计划存储的数据使用最大距离可分离的代码最近提出的Tajeddine和El Rouayheb的情况下,一个间谍节点。我们进一步提出了一种算法,以优化隐私的通信价格(cPoP)使用的结构的底层线性代码。作为一个例子,我们将所提出的算法应用到几个分布式存储代码,表明cPoP可以显着减少利用分布式存储代码的结构。
2017-05-30 cs.IT math.IT
Effects of Storage Heterogeneity in Distributed Cache Systems
在这项工作中,我们专注于分布式缓存系统的非均匀存储容量的缓存。我们比较我们的系统的性能与系统的性能相同的累积存储均匀分布在缓存。我们的特点的程度,由于存储异构性的分布式缓存系统的性能恶化。这项工作的关键是,存储能力的异构性的影响在很大程度上取决于被缓存和交付的内容的流行程度。我们分析表明,相比的情况下,内容的流行程度是可比的内容,不平衡的流行配置文件更宽容的存储能力的异质性。我们通过模拟验证我们的理论结果。
2018-09-26 cs.IT cs.NI math.IT
Space-Time Storage Codes for Wireless Distributed Storage Systems
分布式存储系统(DSS)最近获得了很大的兴趣,这要归功于与单设备存储相比的健壮性和可扩展性。大多数相关研究都只关注网络层。与此同时,用户的数量,例如,对等(P2P)和设备到设备(D2D)网络以及基于邻近的服务正在快速增长,并且用户的移动性被认为越来越重要。与现有文献相比,这激发了对无线分布式存储系统的物理层功能的研究。在本文中,我们采取的第一步保护存储修复传输的物理层错误时,传输发生在衰落信道。为此,我们引入了时空存储代码的概念,将网络层和物理层功能的各个方面结合在一起,从而实现跨层鲁棒性。它还指出,现有的空时码是太复杂的存储网络中使用时,所涉及的助手的数量大于接收天线的数量在新人或数据收集器,因此创建一个不太复杂的传输协议的要求。
2014-04-26 cs.IT math.IT
Multi-Rack Distributed Data Storage Networks
分布式存储网络中的大多数工作都假设一个简单的网络模型,其中包含一组相同的存储节点,节点之间具有相同的通信成本。在本文中,我们考虑了一个现实的多机架分布式数据存储网络,并提出了一个代码设计框架,这个模型。考虑到机架内的数据传输成本较低,我们的代码构造方法能够通过仅使用同一机架中幸存的节点来本地修复同一机架内的节点故障。然而,在严重故障模式的情况下,当幸存节点的信息内容不足以修复故障时,其他机架将参与修复过程。通过采用我们的多机架存储代码的标准,我们建立了一个线性规划约束的代码的大小,以最大限度地提高码率。
2019-03-08 cs.IT math.IT
A Fundamental Tradeoff Among Storage, Computation, and Communication for Distributed Computing over Star Network
编码分布式计算通过利用分布式计算中的编码技术,充分利用冗余的存储和计算资源,可以减轻通信负载。本文研究了星型拓扑网络上的MapReduce类型的分布式计算框架,其中所有工作者通过一个公共接入点交换信息。存储的文件(存储负载),计算的中间值(计算负载)和在上行链路和下行链路(通信负载)中发送的比特之间的最佳权衡的特征。提出了一种编码计算方案来实现Pareto最优折衷曲面,接入点只需在接收信号之间进行简单的链式编码,并给出了与该曲面匹配的信息理论界。
2023-01-10 cs.IT math.IT
Cooperative Regenerating Codes for Distributed Storage Systems
当分布式存储系统中存在多个节点故障时,就修复带宽最小化而言,以逐个方式单独地重新生成故障存储节点是次优的。如果启用新节点之间的数据交换,我们可以在修复带宽和每个节点的存储之间获得更好的权衡。给出了一种显式的、优化的协作再生码的构造方法。
2011-02-08 cs.DC cs.IT math.IT
Non-homogeneous distributed storage systems
本文描述了一种非同构分布式存储系统,其中存在一个超级节点,该超级节点具有比其他存储节点更大的存储容量和更高的可靠性和可用性。我们提出了三个分布式存储方案的基础上(k+2; k)的最大距离可分离(MDS)码和非MDS码的效率,这样的非同质DSS的修复效率和数据可用性。我们的计划达到最佳带宽(k+1/2)(M/k)时,修复1节点故障,但只需要四分之一的最小所需的文件大小,并可以与一个较小的字段大小,导致显着降低复杂性比传统的同构DSS。此外,与非MDS码,我们的计划可以实现更小的修复带宽的M/2k。最后,我们表明,我们的计划可以增加10%的数据可用性比传统的同质DSS计划。
2012-08-10 cs.IT math.IT
Coded Caching with Distributed Storage
内容分发网络存储分布在多个服务器上的信息,以便在节点或磁盘故障的情况下平衡负载并避免不可恢复的损失。编码缓存已被证明是一种有用的技术,它可以通过在终端用户处预取流行内容并对传输进行编码来降低峰值流量速率,使得不同的用户可以从同一分组中提取不同的信息。一方面,分布式存储限制了将来自不同服务器的内容组合到单个消息中的能力,导致编码缓存方案的性能损失。但是,另一方面,存在于分布式存储系统中的固有冗余可以通过并行来提高这些方案的性能。本文设计了一个方案相结合的分布式存储的内容在多个服务器和一个有效的编码缓存算法交付给用户。该方案被证明是降低峰值传输速率低于国家的最先进的算法。
2016-11-20 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数,即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量,存储节点的数量增加没有限制。基于容量表达式,在一个封闭的形式的解决方案,使可靠的存储所需的资源的可行的集合。具体地,示出了跨集群流量可以被最小化为零(即,集群内本地修复成为可能)。将具有零跨簇通信量的网络编码方案定义为簇内可修码,它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
Distributed Storage Allocations for Neighborhood-based Data Access
我们介绍了一个基于邻域的数据访问模型的分布式编码存储分配。存储节点连接在一个通用网络中,数据在本地访问:用户访问随机选择的存储节点,随后查询其邻域以恢复数据对象。我们的目标是找到一个最佳的分配,最大限度地减少整体存储预算,同时确保恢复概率为1。我们发现,这个问题减少到寻找分数支配集的底层网络。此外,我们开发了一个完全分布式的算法,每个存储节点只与它的邻居进行通信,以找到它的最佳存储分配。该算法是基于最近提出的邻近中心方法-一种有效的对偶分解加速对偶梯度法的基础上。我们表明,我们的算法实现了$(1+ε)$ -近似比在$O(d_{\mathrm{max}}^{3/2}/ε)$迭代和每个节点的通信,其中$d_{\mathrm{max}}$是跨节点的最大程度。仿真结果表明了该算法的有效性。
2014-11-11 cs.IT math.IT
GDSP: A Graphical Perspective on the Distributed Storage Systems
经典的分布式存储问题可以用一个k-一致{ \it complete}超图来建模,其中顶点表示服务器,超边表示用户.因此,每个超边缘应该能够恢复完整的文件只使用与之相关的顶点的记忆。本文认为这个问题的推广{ \it任意}超图和多个文件的情况下,每个用户只感兴趣的一个,我们将称为图形分布式存储问题(GDSP)的问题。具体而言,我们取得的进展,在分析的最小存储代码的两个主要的子问题的GDSP扩展的经典模型在两个独立的方向:的情况下,任意图与多个文件,和一个任意的超图与一个文件。
2017-02-15 cs.IT math.IT
Storage Allocation for Multi-Class Distributed Data Storage Systems
分布式存储系统(DSS)提供了一种可扩展的解决方案,用于可靠地存储来自各种来源的大量数据。这些数据源的异构性通常意味着DSS中存在不同的数据类(类型),每个数据类(类型)都需要不同级别的服务质量(QoS)。因此,需要满足各种QoS要求的高效数据存储和检索过程。本文研究存储分配,即不同类别的数据必须如何分布在DSS的存储节点集上。更具体地说,假设一个概率访问的存储节点,我们的目标是最大化的加权和的数据类的成功数据恢复的概率,当每个类的最低QoS(成功恢复的概率)是有保证的。解决这个优化问题的一般设置是棘手的。因此,我们找到了最佳的存储分配时,每个类的数据是最小的分散在存储节点,即最小分散分配(MSA)。使用上界的最优存储分配的性能,我们表明,最优MSA分配在许多实际情况下接近最优性能。计算机模拟也提出了更好地说明的结果。
2017-01-23 cs.IT math.IT
A Class of MSR Codes for Clustered Distributed Storage
集群分布式存储对集群内和跨集群修复带宽不同的真实数据中心进行建模。本文设计了一种可实现分簇分布式存储容量的精确修复最小存储再生(MSR)码。重点是两种情况下:$ε=0$和$ε=1/(n-k)$,其中$ε$是可用的跨集群和集群内修复带宽的比率,$n$是分布式节点的总数和$k$是数据检索中接触节点的数量。前者表示不允许跨集群通信的情况,而后者对应于在最小存储开销约束下可能的最小跨集群带宽的情况。对于$ε=0$情形,证明了两种局部可修码能达到MSR点。对于$ε=1/(n-k)$,在$n = 2k$的特定条件下,针对两簇的情况,提出了一种显式的MSR编码方案。
2018-01-06 cs.IT math.IT
On Distributed Storage Allocations for Memory-Limited Systems
在本文中,我们考虑分布式分配问题的内存约束限制。首先,我们对文献[1]中的最优对称分配问题提出了一个易于处理的松弛方法。近似的问题是基于Q-误差函数,其解决方案接近初始问题的解决方案,在网络中的存储节点的数量的增长。其次,利用这种放松,我们能够制定和解决问题的存储空间有限的DSS存储和任意内存配置文件的存储分配。最后,我们讨论了扩展到多个数据对象的情况下,存储在DSS。
2015-04-16 cs.IT math.IT
Secure Clustered Distributed Storage Against Eavesdroppers
研究了由多个存储节点组成的分布式存储系统的安全问题。注意到实际的存储节点组成的DSS分布在多个集群中,两个新的窃听模型-节点限制模型和集群限制模型-建议,反映了集群性质的DSS。在节点受限模型中,窃听者不能访问各个节点,但可以窃听$L_c$受损集群的传入/传出数据。在集群限制模型中,窃听者可以访问总共$l$个单独的节点,但是可访问的集群的数量被限制为$L_c$。我们提供了一个上界的安全存储的数据为每个模型,而一个特定的网络编码方案,实现了上界的节点限制模型,给出了一些温和的条件下的节点存储大小。
2017-02-24 cs.IT math.IT
Transmission and Scheduling Aspects of Distributed Storage and Their Connections with Index Coding
索引编码通常在假设单个信源具有接收者请求的所有消息的情况下进行研究。我们将其称为\emph{centralized}索引编码。相反,本文侧重于\emph{distributed}索引编码和解决以下问题:如何在分布式源(存储节点)的消息的可用性影响的解决方案和可实现的索引编码率?Arbabjolfaei等人在ISIT 2013中的工作的扩展,当分布式源通过半确定性多址信道(MAC)与同时接收器通信时。一些例子进行了讨论,显示整个网络的消息分布和冗余的影响,可实现的索引编码率和激励未来的研究设计实用的网络存储代码,提供高索引编码率。
2015-12-18 cs.IT math.IT
Generalized piggybacking codes for distributed storage systems
本文通过考虑各种保护实例和捎带实例,对分布式存储系统的捎带结构进行了推广。分析表明,受保护实例的比例决定了系统节点的平均修复带宽。通过优化保护实例的比例,当奇偶检验节点数趋于无穷大时,广义捎带码的修复率由50%趋近于0.此外,广义捎带码修复单个系统节点代价的计算复杂性小于现有的捎带设计。
2017-02-04 cs.IT math.IT
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题,其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输(数据包)的数量趋于无穷大时,可以渐近地实现最优折衷界。对于有限数量的传输,我们研究了成功再生的概率。然后,我们研究了两种方法来增加成功再生的概率,即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟,并且在某些情况下可能无法连接到更多的节点。我们发现,除了减少修复带宽,增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
Secure Cooperative Regenerating Codes for Distributed Storage Systems
再生代码使得能够在分布式存储系统(DSS)中权衡存储的修复带宽。由于它们的分布式性质,这些系统本质上容易受到攻击,并且它们也可能受到多个同时节点故障的影响。合作再生码允许带宽有效的修复多个同时发生的节点故障。本文分析了存储系统,采用合作再生码是强大的(被动)窃听。分析分为两个部分,研究最小带宽和最小存储的合作再生的情况。首先,最小带宽合作再生码的保密容量的特点。其次,对于最小存储空间的协作再生码,给出了一个安全的文件大小上界和可扩展性结果。这些结果建立了某些特殊情况下的最小存储方案的保密能力。在所有的情况下,可扩展性的结果对应于确切的修复,并获得安全的文件大小上限使用最小割分析在一个合适的保密图表示的DSS。主要的可窃听性参数是基于适当的数据预编码,以消除信息泄漏给窃听者。
2014-07-09 cs.IT math.IT
A repair scheme for a distributed storage system based on multivariate polynomials
Department of Mathematics, Virginia Tech(弗吉尼亚理工大学数学系)
本文提出基于多元多项式的分布式存储系统修复方案,扩展了Reed-Muller码的修复能力,可处理单节点和多节点故障。
2025-12-31 cs.IT math.IT
Performance evaluation of the Mojette erasure code for fault-tolerant distributed hot data storage
数据包擦除码是当今容错分布式存储系统中复制的真正替代方案。在本文中,我们提出了基于Mojette变换(以前的层析工具)的Mojette擦除码。编码和解码的性能进行了比较,里德-所罗门代码实现的两个开源的参考库,即ISA-L和Jerasure 2.0。结果清楚地表明,我们的离散几何代码相比,经典的代数方法有更好的性能。与ISA-L Intel相比,测量的增益系数高达$2$。这些非常好的性能允许部署Mojette擦除码用于热数据分布式存储和I/O密集型应用。
2015-04-27 cs.IT math.IT
Codes for distributed storage from 3-regular graphs
本文认为,分布式存储系统(DSS)从图论的角度来看。通过将一个3-正则图分解为P4路,构造了一个决策支持系统。路径表示DSS的磁盘,图的边充当存储块。我们从一个相关的图中推导出DSS的性质,并证明了它们的最优性。
2016-09-30 cs.IT math.CO math.IT
Explicit Constructions of MBR and MSR Codes for Clustered Distributed Storage
本文考虑容量实现编码的集群形式的分布式存储,反映了实际的存储网络。为了反映具有有限的跨集群通信带宽的集群结构,相同集群中的节点被设置为传送$β_I$符号,而其他集群中的节点可以彼此传送$β_c \leq β_I$符号。我们提出了两种实现集群分布式存储容量的精确再生码:最小带宽再生(MBR)码和最小存储再生(MSR)码。首先,我们构造MBR代码用于集群分布式存储的一般参数设置。建议的MBR代码是Rashmi等人提出的现有代码的概括,对于存储节点分散到L> 1个集群中的情况。与现有的本地MBR代码相比,用于$β_c = 0$情况的建议的MBR代码需要小得多的字段大小。其次,我们设计了MSR码的集群分布式存储。重点是两个重要的情况下:$ε=0$和$ε\in [1/(n-k), 1]$,其中$ε=β_c/β_I$是可用的跨集群内修复带宽的比率,n是分布式节点的总数和k是在数据检索中的接触节点的数量。前者表示不允许跨集群通信的情况,而后者对应于最小节点存储开销的情况。对于$ε=0$,证明了两个现有的局部可修码是聚类模型的MSR码。对于$ε\in [1/(n-k), 1]$,非集群模型的现有MSR代码通过简单修改可适用于集群场景。
2019-08-02 cs.IT math.IT
Non-homogeneous Two-Rack Model for Distributed Storage Systems
在传统的两机架分布式存储系统(DSS)模型中,由于假设每个节点的存储容量相同,因此最小带宽再生(MBR)点变得不可行。在本文中,我们设计了一个新的非齐次两机架模型,提出了一个推广的阈值函数用于计算的权衡曲线。我们证明,通过具有更高的再生带宽的机架中的节点存储更多的信息,所有的点上的权衡曲线,包括MBR点,成为可行的。最后,我们展示了非均匀的两个机架模型优于传统的模型,在每个节点的存储和修复带宽之间的权衡曲线。
2013-07-31 cs.IT math.IT
A realistic distributed storage system that minimizes data storage and repair bandwidth
在实际的分布式存储环境中,存储节点通常放置在机架中,机架是一种用于容纳电子设备的金属支架。已知机架内的节点之间的通信(带宽)成本远低于不同机架内的节点之间的通信(带宽)成本。本文提出了一种新的模型,其中存储节点被放置在两个机架上,并进行了分析。在此模型中,存储节点具有不同的修复成本来修复节点,这取决于它们放置的机架。示出了阈值函数,其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。该阈值函数概括了来自先前分布式存储模型的阈值函数。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较,结果表明,该新模型在维修成本方面优于以前的模型。
2013-01-08 cs.DC cs.IT math.IT
Redundancy and Aging of Efficient Multidimensional MDS-Parity Protected Distributed Storage Systems
本文研究了冗余对一个有效的最大距离可分离(MDS)奇偶校验保护的多维存储单元阵列分布式存储系统老化的影响。根据实验证据和调查数据,基于更接近实际的失效时间分布(如威布尔分布),给出了阵列存储系统可靠性的一般表达式。例如,考虑分布式磁盘阵列系统,其中阵列组件分布在网络中,并且受到独立故障率的影响。在此基础上,导出了广义封闭形式的风险率表达式。这些表达式扩展到估计的渐近可靠性行为的大规模存储网络配备MDS奇偶校验为基础的保护。与以往的研究不同,一个通用的风险率函数假设,一个通用的MDS码奇偶校验生成,并提出了一个有效的分布式存储系统的可调冗余水平的影响评估。本研究的结果适用于任何纠删码,只要它是伴随着一个合适的结构和适当的编码/解码算法,以保持MDS属性。
2013-12-03 cs.IT math.IT
Weakly Secure Regenerating Codes for Distributed Storage
我们考虑\emph{weak security}范式下的安全分布式数据存储问题,其中没有\emph{meaningful information}被泄露给窃听者。更具体地说,窃听者无法获得关于任何单个消息文件或一小组文件的任何信息。弱安全模式的主要好处是它不会损失存储容量,这使得它具有实际吸引力。在本文中,我们提出了一种编码方案,使用陪集编码的外码和乘积矩阵最小带宽再生码(由Rashmi等人提出)。作为内码,当窃听者可以观察任何单个存储节点时,实现弱安全性。我们表明,建议的建设具有良好的安全性能,并需要小的有限域大小。
2014-05-12 cs.IT math.IT
Self-Repairing Codes for Distributed Storage - A Projective Geometric Construction
自修复代码(SRC)是为满足分布式网络存储的编码需求而设计的代码:它们不仅允许即使在存在节点故障的情况下也能恢复存储的数据,而且还提供了一种修复机制,可以联系两个活动节点来重新生成故障节点的数据。在本文中,我们提出了一个新的自修复码的例子,基于来自射影几何的蔓延的建设。我们研究他们的一些属性,以证明这些代码的分布式网络存储的适用性。
2011-05-02 cs.DC cs.IT math.IT
Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems
现代分布式存储系统将冗余编码技术应用于所存储的数据。一种形式的冗余是基于再生码,其可以最小化修复带宽,即,修复故障存储节点时传输的数据量。现有的再生码主要要求幸存的存储节点在修复期间对数据进行编码。在本文中,我们研究功能最小存储再生(FMSR)代码,使未编码的修复,而无需在幸存的节点的编码要求,同时保持最小的修复带宽保证,并最大限度地减少磁盘读取。在双容错设置下,我们正式证明了FMSR码的存在,并提供了一个确定性的FMSR码的建设,可以显着加快修复过程。我们进一步实施和评估我们的确定性FMSR代码显示的好处。我们的工作是建立在一个实际的云存储系统,实现FMSR代码,我们提供了理论验证,以证明FMSR代码的实用性。
2013-01-22 cs.IT math.IT
Three Stories on a Two-sided Coin: Index Coding, Locally Recoverable Distributed Storage, and Guessing Games on Graphs
三个科学和工程问题最近的利益-索引编码,本地可恢复的分布式存储,和猜测游戏的图形-进行了讨论,并阐明其最佳解决方案之间的连接。通过推广Shanmugam和Dimakis以及Mazumdar关于有向图上的索引编码问题的最优广播速率与同一图上的局部可恢复分布式存储问题的归一化速率之间的互补性的最新结果,证明了这两个问题的容量区域和最优速率区域是互补的.建立这一结果的主要成分是Alon等人(2008)引入的混淆图的概念,混淆图的顶点传递性,通过混淆图的分数色数表征索引编码容量区域,以及通过混淆图的独立数表征局部可恢复分布式存储的最佳速率区域。作为互补性的第三个也是最后一个方面,Riis在图上的猜测游戏被讨论为局部可恢复分布式存储问题的特殊情况,并且表明猜测游戏的最优策略的获胜概率以及最优策略和随机猜测的获胜概率之间的比率可以分别被表征,通过索引编码的容量区域和分布式存储的最佳速率区域。
2015-11-03 cs.IT math.IT
Repair for Distributed Storage Systems in Packet Erasure Networks
在分布式存储系统的许多应用中,可靠性对于存储文件至关重要。为了保持可靠性,当存储节点发生故障时,应通过修复过程重新生成新节点。大多数以前的结果修复问题假设完美(无错误)的网络中的链接。然而,在实践中,特别是在无线网络中,所发送的分组(用于修复)可能由于例如以下原因而丢失,链路故障或缓冲区溢出。我们研究了数据包擦除网络中分布式存储系统的修复问题,其中数据包丢失被建模为擦除。最小修复带宽,即从幸存节点发送到新节点的信息量,建立在无限数量的分组传输的理想假设下。我们还研究了擦除网络中的带宽存储权衡。然后,使用修复存储节点(具有较小的存储空间的节点),提出了减少修复带宽。研究了修复存储节点的最小存储量问题。对于有限数目的数据包传输的情况下,成功修复的概率进行了研究。我们表明,修复与有限数量的数据包传输可能会使用更大的带宽比最小修复带宽。最后,我们提出了一个组合优化问题,它的结果在给定的数据包删除概率和有限的数据包传输的最佳修复带宽。
2014-05-14 cs.IT math.IT
Codes for Distributed Storage
本章讨论的主题是设计可靠和有效的代码,用于在容易发生故障的存储设备上存储和检索大量数据。长期以来,传统的目标一直是确保可靠性,防止数据丢失,同时最大限度地减少存储开销。最近,出现了第三个问题,即需要有效地从单个存储单元的故障中恢复,对应于从单个代码符号的擦除中恢复。我们在这里解释,编码理论是如何发展的,以应对这一新的挑战。
2020-10-03 cs.IT math.IT
Secrecy and Accessibility in Distributed Storage
分布式存储系统(DSS)需要具有高效的可访问性和可修复性。最近,相当大的努力已经朝着后者,而前者通常不被考虑,因为一个平凡的解决方案存在的形式,系统编码。然而,当考虑到必须防止窃听者的存储时,这不是一个可行的选择。这项工作调查的问题,有效地访问数据存储在一个DSS在这样的安全约束。此外,我们建立了平衡访问负载的方法,即,确保每个节点的访问频率相等。我们建立了字母表独立的情况下的能力,并给出了一个明确的代码建设。对于字母依赖的情况下,我们给出存在性结果的基础上的随机编码参数。
2020-01-15 cs.IT math.IT
Information-theoretically Secure Regenerating Codes for Distributed Storage
再生码是用于分布式存储网络的一类码,其提供数据的可靠性和可用性,并且还执行有效的节点修复。分布式存储网络的另一个重要方面是其安全性。在本文中,我们考虑一个威胁模型,窃听者可以访问存储在存储节点的一个子集中的数据,也可能,在修复某些节点的数据下载。我们提供了明确的再生码,实现信息理论的保密能力,在这种情况下的建设。
2011-07-26 cs.DC cs.IT cs.NI
Improving the Secrecy of Distributed Storage Systems using Interference Alignment
针对无线干扰信道,采用干扰对齐的方法生成再生码,实现了分布式存储系统的割集界。这些代码提供了数据的可靠性,并执行有效的精确的节点修复时,一些节点失败。干扰对齐作为一个概念,对于提高最小存储再生(MSR)码中失效节点的修复效率尤为重要。此外,它可以提高存储的数据在被动入侵者存在的安全性。在本文中,我们构建了一个新的代码弹性的威胁模型,一个被动的窃听者可以访问存储在一个子集的节点和下载的数据在修复过程中的一个子集的故障节点的数据。我们实现了一个最佳的保密容量的新显式构造的MSR干扰对齐码。因此,我们表明,窃听者获得零信息从存储在分布式存储的原始消息,我们实现了完美的保密。
2018-01-05 cs.IT math.IT
Memory Allocation in Distributed Storage Networks
我们考虑的问题,分布在网络中的存储节点的存储预算是有限的,但至少等于文件的大小的文件。我们首先生成$T$编码的符号(从文件),然后将其分布在节点之间。我们调查的最佳分配的$T$编码的数据包的存储节点,使重建的文件,通过使用任何$r$出$n$节点的概率最大化。由于编码数据包的最优分配一般很难找到,我们找到另一个目标函数,它很好地逼近原始问题,但更容易优化。我们找到了最佳的对称分配的所有编码冗余约束使用等价的近似问题。我们还研究了随机图中的最优分配问题。最后,我们提供模拟来验证理论结果。
2010-05-28 cs.IT math.IT
On Locality in Distributed Storage Systems
本文研究了分布式存储系统(DSS)的代码设计,使本地修复节点故障的情况下。本文提出了基于低次多元多项式的局部可修码。它的代码构造机制扩展了Dvir等人在\cite{dvir2011}中关于噪声插值集的工作。本文提出了两类代码,允许节点修复分别通过接触2和3个幸存的节点进行。它进一步表明,这两个类都是好的,在他们的速度和最小距离,并允许他们的速度,以换取更大的灵活性,在修复过程中。
2012-04-27 cs.IT math.IT
Explicit constructions of MSR codes for clustered distributed storage: The rack-aware storage model
本文主要研究分布式存储中的纠删编码问题。我们考虑一种存储模型,假设节点被组织成大小相等的组,称为机架,在每个组内的节点可以自由地通信,而不会占用系统带宽,并且唯一的信息传输是机架之间的传输。该假设意味着每个机架内的节点可以在向故障节点提供信息之前进行协作。本文的主要重点是这种存储模型的代码构造。我们提出了一个明确的家庭MDS阵列代码,支持恢复一个单一的故障节点从任何数量的助手机架使用尽可能少的机架间通信(这种代码被认为是提供最佳的修复)。代码是在有限域的大小可比的代码长度。我们还推导出一个边界上的符号的数量在助手节点访问的修复的目的,并构建一个代码家庭,接近这个界限,同时仍然保持最佳的修复属性。最后,我们提出了一个建设的标量里德所罗门码,支持最佳修复面向机架的存储模型。
2019-01-14 cs.IT math.IT