A Fundamental Tradeoff Among Storage, Computation, and Communication for Distributed Computing over Star Network
编码分布式计算通过利用分布式计算中的编码技术,充分利用冗余的存储和计算资源,可以减轻通信负载。本文研究了星型拓扑网络上的MapReduce类型的分布式计算框架,其中所有工作者通过一个公共接入点交换信息。存储的文件(存储负载),计算的中间值(计算负载)和在上行链路和下行链路(通信负载)中发送的比特之间的最佳权衡的特征。提出了一种编码计算方案来实现Pareto最优折衷曲面,接入点只需在接收信号之间进行简单的链式编码,并给出了与该曲面匹配的信息理论界。
2023-01-10 cs.IT math.IT
Power-Bandwidth Tradeoff in Dense Multi-Antenna Relay Networks
我们考虑了一个密集衰落多用户网络,其中多个有源多天线源-目的地对终端通过一个大的公共集合的$K$多天线中继终端在全空间复用模式下同时通信。我们使用香农理论的工具来分析能量效率和频谱效率之间的权衡(称为功率带宽权衡)在有意义的渐近制度的信噪比(SNR)和网络规模。我们设计了线性分布式多天线中继波束形成(LDRB)计划,利用多用户干扰的空间特征,并在源和中继传输的系统范围内的功率约束下,表征其功率带宽权衡。多个用户,多个中继和多个天线上的高和低SNR制度的关键性能指标的影响进行了研究,以揭示新的光功率和带宽的要求,通过使用这种实际的中继合作技术的可能减少。我们的研究结果表明,由分布式中继波束成形技术支持的点对点编码多用户网络产生增强的能量效率和频谱效率,并且具有适当的信令和足够的天线自由度,可以实现渐进最优的功率-带宽折衷,具有最佳可能性(即,如在割集边界中)$K^{-1}$的能量缩放以及对于大量中继终端在任何SNR下的最佳可能频谱效率斜率。
2007-02-02 cs.IT math.IT
Power-Bandwidth Tradeoff in Multiuser Relay Channels with Opportunistic Scheduling
本文的目标是了解多跳中继技术的关键优点,共同在他们的能源效率和频谱效率的优势,在存在多用户分集增益从机会(即,信道感知)调度,并识别中继辅助多用户通信提供优于直接多用户通信的明显优势的机制和条件。为此目的,我们使用香农理论工具来分析在大(但有限)用户数量的渐近状态下具有$K$用户的衰落多用户中继信道上的能量效率和频谱效率之间的权衡(称为功率带宽权衡)(即,密集网络)。受益于\cite{Oyman_isit07}的极值理论的结果,我们描述了功率带宽的权衡和相关的能量和频谱效率的措施,带宽有限的高信噪比(SNR)和功率有限的低信噪比制度,并利用它们在调查的大系统行为的多用户中继信道的用户数和物理信道信噪比的函数。我们的分析结果在大(但有限)的$K$制度,量化能源和频谱效率性能非常准确的封闭形式的公式,并提供见解的影响,多跳中继和多用户分集技术的功率带宽权衡。
2008-10-28 cs.IT math.IT
Distributed Storage Codes with Repair-by-Transfer and Non-achievability of Interior Points on the Storage-Bandwidth Tradeoff
再生码是最近开发的一类用于分布式存储的码,其像里德-所罗门码一样,允许从n节点网络内的k个节点的任何子集恢复数据。然而,再生代码拥有另外,通过连接到任意子集的d节点来修复故障节点的能力。已经表明,对于功能修复的情况,每个节点存储的数据量和修复故障节点所需的带宽之间存在权衡。功能修复的一种特殊情况是精确修复,其中要求替换节点存储与故障节点中相同的数据。精确修复是令人感兴趣的,因为它大大简化了系统实现。本文的第一个结果是一个明确的,精确的修复代码的存储带宽的折衷对应的最小可能的修复带宽的情况下,当d=n-1的点。这个代码有一个特别简单的图形描述,最有趣的是,它能够通过数据传输进行精确修复,而不需要执行任何算术运算。因此才有了“转让修复”一词。本文的第二个结果表明,存储带宽权衡的内部点不能实现下精确修复,从而指出存在一个单独的权衡下精确修复。具体来说,我们确定了一组方案,称为“帮助节点池”,并表明,它是必要的,以满足这种情况下,过度约束系统。
2010-11-16 cs.DC cs.IT cs.NI
Breaking the Storage-Bandwidth Tradeoff in Distributed Storage with Quantum Entanglement
University of Maryland, College Park(马里兰大学帕克分校)
本文利用量子纠缠在分布式存储中实现存储和带宽的同步最小化,突破经典存储-带宽权衡限制。
2026-01-15 cs.DC cs.IT cs.NI
Outer Bounds on the Storage-Repair Bandwidth Tradeoff of Exact-Repair Regenerating Codes
本文给出了在精确修复(ER)条件下,参数集为$\{(n,k,d),(α,β)\}$的再生码的归一化存储修复带宽(S-RB)折衷的三个外界.第一外边界适用于每个参数集$(n,k,d)$,并且结合称为{ \em改进的分层码}的码构造,它表征了$(n,k=3,d=n-1)$情况下的归一化ER折衷。它为每个$(n,k,d)$建立了ER和功能修复(FR)权衡之间的非零差距。第二个边界是对Mohajer等人的现有边界的改进,并且在远离最小存储再生(MSR)点的区域中比第一个边界更紧。第三个界限是针对线性设置下的$k=d$的情况。该外边界与{ \em分层码}的可实现区域匹配,从而表征当$k=d=n-1$时线性ER码的归一化ER折衷。
2016-06-14 cs.IT math.IT
Rack-Aware Cooperative Regenerating Codes
在分布式存储系统中,协作再生码在多个节点故障的情况下权衡存储和修复带宽。在机架感知分布式存储系统中,不存在与在机架内传送符号相关联的成本。因此,修复带宽将仅考虑跨机架传输。机架感知再生码的情况下,单节点故障进行了研究,其修复带宽权衡的特点。在本文中,我们认为框架的机架感知合作再生码的情况下,多个节点故障的节点故障均匀分布在一定数量的机架。我们的特点的存储修复带宽的权衡,以及推导出的最小存储和最小修复带宽点的权衡。我们还提供了所有参数的最小带宽机架感知合作再生码的建设。
2021-02-24 cs.IT math.IT
New Results on the Storage-Retrieval Tradeoff in Private Information Retrieval Systems
在专用信息检索(PIR)系统中,用户需要从一组存储服务器中检索可能的消息之一,但希望保持所请求消息的身份对任何给定服务器是私有的。这方面的现有努力已经表明,检索的效率将受到服务器上允许的存储空间量的显著影响。在这项工作中,我们考虑的存储成本和检索成本之间的权衡。我们首先提出了三个基本结果:1)制度明智的2-近似表征的最佳权衡,2)循环置换引理,可以产生更复杂的代码从简单的,和3)放松熵线性规划(LP)下界,具有多项式的复杂性。配备循环置换引理,我们然后提出了两个新的码的结构,并通过应用引理,获得新的存储检索点。此外,我们推导出更明确的下限,仅利用一个子集的限制,在放松熵LP在一个系统的方式。虽然新的上限和下限一般不会导致更精确的近似表征,但它们比现有技术明显更严格。
2020-08-03 cs.IT math.IT
Rate-Privacy-Storage Tradeoff in Federated Learning with Top $r$ Sparsification
我们研究了在联邦学习(FL)中使用顶级$r$稀疏化的速率,隐私和存储之间的权衡,其中FL系统中的用户和服务器仅分别共享FL过程中更新和参数的最重要的$r$和$r'$部分,以降低通信成本。我们提出的计划,保证信息理论的隐私值和索引的稀疏更新发送的用户在一个较大的存储成本为代价。为此,我们推广的计划,以减少存储成本,允许一定量的信息泄漏。因此,我们提供的通信成本,存储成本和信息泄漏之间的一般权衡私人FL与顶部$r$稀疏化,沿着两个建议的计划。
2022-12-19 cs.CR cs.IT cs.NI
Cooperative Tx/Rx Caching in Interference Channels: A Storage-Latency Tradeoff Study
本文研究了在$3\times3$无线干扰网络中,在所有发射机和接收机都配备缓存的情况下,存储延迟的权衡问题。该折衷的特征在于在给定的归一化的发送器和接收器缓存大小下的所谓的部分递送时间(FDT)。我们首先提出了一个通用的合作发送器/接收器缓存策略,可调文件分割比。基于这种缓存策略,我们然后仔细设计的交付阶段,把所考虑的干扰信道机会主义到广播信道,多播信道,X信道,或这些信道的混合形式。然后,通过求解文件分割比的线性规划问题,得到了最小FDT的可实现上界。可实现的FDT是高速缓存大小的凸和分段线性递减函数。在不同的高速缓存大小区域中利用接收器本地高速缓存增益、编码多播增益和发射器协作增益(干扰对准和干扰中和)。
2016-05-25 cs.IT math.IT
A Shannon-Theoretic Approach to the Storage-Retrieval Tradeoff in PIR Systems
我们认为,在私人信息检索(PIR)系统的存储检索率权衡使用香农理论的方法。我们的重点主要是规范的两个消息两个数据库的情况下,提出了一种基于随机码本生成和合并技术的编码方案。这种编码方案揭示了PIR和经典的多描述信源编码问题之间的隐藏联系。我们首先表明,当检索率保持最佳,所提出的非线性计划可以实现更好的性能超过任何线性计划。此外,一个非平凡的存储检索率的权衡,可以实现超越这个极端点和其他最佳极端点之间的空间共享,实现检索一切的策略。我们进一步表明,与一种类似的方法的净化技术,可以提取零错误的PIR码的随机码。外边界也进行了研究和比较,以建立优于线性码的非线性码。
2023-01-05 cs.IT math.IT
Caching in Wireless Small Cell Networks: A Storage-Bandwidth Tradeoff
在网络边缘缓存内容是卸载流量、减少延迟和提高用户体验质量的有效手段。在这封信中,我们专注于存储带宽的权衡方面,其中小小区基站分布根据一个均匀的泊松点过程和缓存内容根据一个给定的内容流行度分布,受存储约束。我们提供了一个封闭形式的表达的缓存未命中概率,定义为不满足用户的请求在一个给定的覆盖区域的概率,作为信号干扰比,缓存大小,基站密度和内容流行度的函数。特别是,它示出,对于一个给定的最小缓存大小,基于流行度的缓存策略实现较低的中断概率为一个给定的基站密度相比,均匀的缓存。此外,我们表明,流行度为基础的缓存达到更好的性能在缓存未命中概率相同的频谱。
2016-03-17 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
New Codes and Inner Bounds for Exact Repair in Distributed Storage Systems
本文研究了分布式存储系统中存储和修复带宽之间的精确修复折衷问题。我们给出了新的内部界限的权衡区域,并提供代码的建设,实现这些界限。
2014-02-11 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Non-homogeneous Two-Rack Model for Distributed Storage Systems
在传统的两机架分布式存储系统(DSS)模型中,由于假设每个节点的存储容量相同,因此最小带宽再生(MBR)点变得不可行。在本文中,我们设计了一个新的非齐次两机架模型,提出了一个推广的阈值函数用于计算的权衡曲线。我们证明,通过具有更高的再生带宽的机架中的节点存储更多的信息,所有的点上的权衡曲线,包括MBR点,成为可行的。最后,我们展示了非均匀的两个机架模型优于传统的模型,在每个节点的存储和修复带宽之间的权衡曲线。
2013-07-31 cs.IT math.IT
Derivation Depth as an Information Metric: Axioms, Coding Theorems, and Storage--Computation Tradeoffs
Koguan School of Law, China Institute for Smart Justice, School of Computer Science, Shanghai Jiao Tong University(上海交通大学)
本文提出推导深度作为信息度量,通过编码定理和存储-计算权衡,解决信息查询的存储与计算成本优化问题。
2026-10-20 cs.IT math.IT
Cache Aided Wireless Networks: Tradeoffs between Storage and Latency
我们调查的基本信息理论的限制,高速缓存辅助的无线网络,其中边缘节点(或发射机)被赋予高速缓存,可以存储流行的内容,如多媒体文件。这种架构旨在通过主动将流行的多媒体内容推到更靠近无线网络边缘的位置来本地化流行的多媒体内容,从而减轻回程负载。这种网络的信息理论模型,其中包括引入一个新的度量,即归一化的交付时间(NDT),它捕获的最坏情况下的时间提供任何请求的内容给用户。我们提出了新的结果之间的权衡延迟,通过NDT测量,和边缘节点的缓存存储容量。特别是,提出了一种新的信息理论的无损检测下限缓存辅助网络。这个界的最优性示出了几个系统参数。
2015-12-24 cs.IT math.IT
On Distributed Nonlinear Signal Analytics : Bandwidth and Approximation Error Tradeoffs
分析将成为即将到来的智慧城市和物联网(IoT)的一部分。这项工作的重点是近似分布式信号分析。可以设想,分布式IoT设备将记录IoT云可能感兴趣的信号。从物联网设备到物联网云的这些信号的通信将需要(低通)近似。线性信号近似在文献中是众所周知的。将概述的是,在许多物联网分析问题中,希望近似信号(或其分析)总是过度预测准确信号(或其分析)。这种分布非线性逼近问题以前没有被研究过。提出了一种基于IoT设备的信号近似在IoT云中执行分布式过度预测信号分析的算法。物联网设备使用的信号近似带宽与物联网云上信号分析中的近似误差之间的基本权衡针对可区分信号的类别进行了量化。仿真结果也被提出。
2018-05-22 cs.IT eess.SP math.IT
Multilevel Diversity Coding with Regeneration
大规模分布式存储系统中的数字内容可能具有不同的可靠性和访问延迟要求,因此,需要利用具有不同强度的擦除码来实现最佳存储效率。同时,在这样的大规模分布式存储系统中,节点会定期发生故障,其上存储的内容需要重新生成并存储在其他健康的节点上,其效率是影响整体服务质量的重要因素。在这项工作中,我们制定了再生的多级分集编码的问题,以解决这些问题,其中的存储与修复带宽的权衡进行了研究。我们表明,这种权衡对应的最小可能的存储的极值点可以通过一个简单的编码方案,其中具有不同可靠性要求的内容单独编码与单独的再生代码没有任何混合。另一方面,我们建立了完整的存储-修复-带宽权衡的情况下,四个存储节点,这表明,代码混合不同的内容可以严格改善这种权衡的单独的编码解决方案。
2016-04-28 cs.IT math.IT
A realistic distributed storage system that minimizes data storage and repair bandwidth
在实际的分布式存储环境中,存储节点通常放置在机架中,机架是一种用于容纳电子设备的金属支架。已知机架内的节点之间的通信(带宽)成本远低于不同机架内的节点之间的通信(带宽)成本。本文提出了一种新的模型,其中存储节点被放置在两个机架上,并进行了分析。在此模型中,存储节点具有不同的修复成本来修复节点,这取决于它们放置的机架。示出了阈值函数,其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。该阈值函数概括了来自先前分布式存储模型的阈值函数。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较,结果表明,该新模型在维修成本方面优于以前的模型。
2013-01-08 cs.DC cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,研究了存储节点故障时存储开销和修复带宽之间的相互作用。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。该模型的容量是分布式存储系统基本资源的函数,即节点存储容量、簇内修复带宽和跨簇修复带宽。容量被证明是渐近等价于一个单调递减函数的集群数量,存储节点的数量增加没有限制。基于容量表达式,在一个封闭的形式的解决方案,使可靠的存储所需的资源的可行的集合。具体地,示出了跨集群流量可以被最小化为零(即,集群内本地修复成为可能)。将具有零跨簇通信量的网络编码方案定义为簇内可修码,它是一类已有的局部可修码。
2018-05-01 cs.IT math.IT
The Storage vs Repair Bandwidth Trade-off for Multiple Failures in Clustered Storage Networks
我们研究了集群存储系统中的存储开销和集群间修复带宽之间的权衡,同时从集群内的多个节点故障中恢复。群集是$m$节点的集合,并且存在$n$群集。对于数据收集,我们从任何$k$集群下载整个内容。为了修复集群中的$t \geq 2$节点,我们从$\ell$本地节点以及$d$辅助集群获得帮助。我们的特点下功能修复的最佳权衡,并根据确切的修复最小的存储和最小集群间带宽(MBR)的工作点。我们的边界显示了以下有趣的事实:$1)$当$t|(m-\ell)$的权衡是相同的$t=1$下,因此没有优势,在联合修复多个节点,$2)$当$t \nmid (m-\ell)$,最佳的文件大小在MBR点下精确修复可以严格小于功能修复。$3)$与$t=1$的情况不同,增加本地助手节点的数量并不一定会增加功能修复下的系统容量。
2017-08-18 cs.IT math.IT
Tradeoffs for reliable quantum information storage in surface codes and color codes
双曲表面码族是一类罕见的具有非零码率和无界最小距离的量子LDPC码。首先,我们介绍了一个家庭的双曲色码。这产生了一个新的家庭的量子LDPC码与非零速率和最小距离对数的块长度。其次,我们研究了表面码和颜色码的长度n、编码量子比特数k和距离d之间的折衷。我们证明了kd^2的上界为C(log k)^2n,其中C是一个常数,仅取决于奇偶校验矩阵的行权。证明了非零码率LDPC表面码和颜色码的最佳渐近最小距离是长度的对数。
2013-01-28 cs.IT math.IT quant-ph
Distributed storage algorithms with optimal tradeoffs
分布式存储系统的主要目标之一是使用大量$N$的不可靠存储节点在长持续时间内可靠地存储大量源数据,每个不可靠存储节点具有$c$位的存储容量。存储节点随时间随机失效,并被初始化为零的相等容量的节点替换,因此位以一定速率$e$擦除。为了维持源数据的可恢复性,修复器以平均速率$r$通过网络从节点连续地读取数据,并且基于所读取的数据生成数据并将数据写入节点。分布式存储源容量是可以长期可靠存储的最大源量。已有的研究表明,随着$N$和$r$的增长,分布式存储源容量渐近最多为$\left(1-\frac{e}{2 \cdot r}\right) \cdot N \cdot c$。在这项工作中,我们介绍和分析算法,使渐近的分布式存储源数据容量至少是上述方程。因此,上述等式表达了网络流量和存储开销之间的基本权衡,以可靠地存储源数据。
2021-01-13 cs.DS cs.IR cs.IT
Repair for Distributed Storage Systems in Packet Erasure Networks
在分布式存储系统的许多应用中,可靠性对于存储文件至关重要。为了保持可靠性,当存储节点发生故障时,应通过修复过程重新生成新节点。大多数以前的结果修复问题假设完美(无错误)的网络中的链接。然而,在实践中,特别是在无线网络中,所发送的分组(用于修复)可能由于例如以下原因而丢失,链路故障或缓冲区溢出。我们研究了数据包擦除网络中分布式存储系统的修复问题,其中数据包丢失被建模为擦除。最小修复带宽,即从幸存节点发送到新节点的信息量,建立在无限数量的分组传输的理想假设下。我们还研究了擦除网络中的带宽存储权衡。然后,使用修复存储节点(具有较小的存储空间的节点),提出了减少修复带宽。研究了修复存储节点的最小存储量问题。对于有限数目的数据包传输的情况下,成功修复的概率进行了研究。我们表明,修复与有限数量的数据包传输可能会使用更大的带宽比最小修复带宽。最后,我们提出了一个组合优化问题,它的结果在给定的数据包删除概率和有限的数据包传输的最佳修复带宽。
2014-05-14 cs.IT math.IT
Broadcast Repair for Wireless Distributed Storage Systems
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统的多节点故障。由于无线信道通常是带宽有限的,我们提倡一种新的措施修复性能称为修复传输带宽,它衡量的平均数量的数据包传输的帮助节点每个失败的节点。得到了存储量和修复传输带宽之间的基本折衷。结果表明,广播修复在存储效率和修复传输带宽方面优于多节点故障有线分布式存储系统的基本修复方法--合作修复,从而得到更好的折衷曲线.
2016-03-01 cs.IT math.IT
Fundamental Tradeoff between Storage and Latency in Cache-Aided Wireless Interference Networks
本文研究了一般无线干扰网络中所有发射机和接收机都配备缓存的存储和延迟之间的基本权衡。该折衷由信息理论度量\emph{normalized delivery time}(NDT)表征,其是在由给定信道的自由度(DoF)指定的传输速率下的实际业务负载的最坏情况递送时间。我们得到一个可实现的上限和理论上的最小NDT的下限为任何数量的发射机,任何数量的接收机,和任何可行的缓存大小元组。我们表明,可实现的NDT是完全最佳的在某些缓存大小的区域,是在一个有界的乘法差距的理论下限在其他地区。在可扩展性分析中,我们首先提出了一种新的协作发送器/接收器编码缓存策略。它提供了自由调整文件分割率NDT最小化。然后,我们提出了一个交付策略,考虑干扰网络转换成一类新的合作X-组播信道。它利用本地缓存增益,编码多播增益,和发射机合作增益(通过干扰对齐和干扰抵消)机会主义。最后,通过求解线性规划问题得到可实现的无损检测。这项研究表明,在发送端和接收端的缓存,网络可以同时受益于流量负载的减少和传输速率的提高,从而有效地减少内容交付延迟。
2017-06-17 cs.IT math.IT
Construction of Locally Repairable Array Codes with Optimal Repair Bandwidth under the Rack-Aware Storage Model
针对机架感知分布式存储,本文利用再生编码构造具有 $(r,u-r+1)$-局部性的阵列码,实现少量故障机架内本地修复及单机架多故障时的最优跨机架修复带宽。
2024-01-27 cs.IT math.IT
A Non-MDS Erasure Code Scheme For Storage Applications
本文研究了在分布式存储系统中使用冗余和自修复对节点故障,使用各种策略。在复制方法中,访问一个复制节点是足够的,以重建一个丢失的节点,而在MDS纠删编码系统,这是最佳的冗余可靠性权衡方面,一个单一的节点故障后,恢复整个存储的数据进行修复。此外,再生代码产生的存储容量和修复带宽之间的权衡曲线。本文旨在研究一种新的存储码。具体来说,我们提出了一个非MDS(2k,k)代码,容忍任何三个节点的故障,更重要的是,它是使用我们的代码,一个单一的节点故障可以通过访问只有三个节点进行修复。
2011-09-21 cs.DC cs.IT cs.NI
A Fundamental Storage-Communication Tradeoff for Distributed Computing with Straggling Nodes
用于分布式计算的放置交付阵列(Comp-PDA)最近被提出作为用于为类MapReduce系统构造通用计算方案的框架。在这项工作中,我们将这一概念扩展到具有离散节点的系统,即,涉及其中节点的子集不能在适当的时间内完成所分配的MAP计算的系统。与以往的大多数工作,专注于计算线性函数,我们的结果是通用的,适用于任意映射和减少功能。我们的贡献如下。首先,我们展示了如何构建一个通用的编码计算方案MapReduce类系统与离散节点从任何给定的Comp-PDA。我们还描述了所产生的方案的Comp-PDA参数的存储和通信负载。然后,我们证明了一个信息理论的逆界的存储通信(SC)的折衷实现的通用计算计划离散节点。我们表明,信息理论界匹配的编码计算方案与离散节点对应的Maddah-Ali和Niesen(MAN)PDA,即,到描述Maddah-Ali和Niesen的编码缓存方案的Comp-PDA。有趣的是,相同的Comp-PDA(MAN-PDA)对于任何数量的离散节点都是最优的,这意味着最优编码计算方案的映射阶段不需要适应系统中离散节点的数量。我们最后证明,虽然点,完全躺在基本的SC权衡不能实现与Comp-PDA,需要更少的文件数量比MAN-PDA,这是可能的一些点,靠近SC的权衡。对于后面的这些点,所请求的文件数量的减少可以是系统节点数量的指数。
2020-04-27 cs.IT math.IT
Cooperative Network Coding for Distributed Storage using Base Stations with Link Constraints
在这项工作中,我们考虑了一种新的分布式数据存储/缓存的情况下,在蜂窝环境中,多个节点可能会失败/离开在同一时间。为了保持目标可靠性,我们允许在分配在一组分层中的基站的帮助下合作再生丢失的节点。由于这种分层结构,从每个基站下载的符号具有不同的成本,同时连接蜂窝系统的节点和基站的链路容量也是有限的。在这个更实际和一般的情况下,我们提出了修复带宽成本和每个节点的存储空间之间的基本权衡。特别有趣的工作点是最小存储以及带宽成本点在这个权衡曲线。我们为这些操作点提供了每个节点的相应带宽(成本)和存储空间的封闭式表达式。最后,我们提供了一个显式的最佳代码结构的最小存储再生点为一组给定的系统参数。
2021-05-05 cs.IT cs.NI math.IT
Explicit Construction of Minimum Bandwidth Rack-Aware Regenerating Codes
在大型数据中心中,存储节点被组织在机架中,并且跨机架传输主导带宽成本。对于单节点故障的修复,实现存储冗余和跨机架修复带宽之间的折衷的代码被称为机架感知再生代码(RRC)。在这项工作中,我们给出了具有最小修复带宽的RRCs的第一个显式构造(即,跨机架带宽等于每个节点的存储大小)。我们的建设适用于所有允许的参数,并具有最低的子打包水平。此外,底层有限域的大小与存储节点的数量相当,这使得我们的代码在实践中更容易实现。最后,为了便于实际应用,我们还建立了一个转换,将我们的代码转换成系统代码。
2021-04-20 cs.IT math.IT
The Storage-Repair-Bandwidth Trade-off of Exact Repair Linear Regenerating Codes for the Case $d = k = n-1$
本文研究了精确修复线性再生码的设定问题。在这种设置下,我们推导出一个新的存储-修复-带宽权衡的情况下,当$d = k = n -1$,其中$(n, k, d)$是参数的再生代码,其通常的含义。结合Tian et. [1],我们证明了当$d = k = n -1$ .通过分析线性再生码的对偶码,导出了新的外界。
2015-01-26 cs.IT math.IT
Capacity of Distributed Storage Systems with Clusters and Separate Nodes
在分布式存储系统中,节点存储和修复带宽之间的最优折衷是设计分布式编码策略以保证大规模数据可靠性的重要问题。DSS的能力作为一个功能的节点存储和修复带宽参数,特征的权衡。有很多工作在DSS与集群(机架),其中修复带宽从集群内和跨集群是有区别的。然而,在现实的DSS中,分离节点也是普遍存在的,但对具有集群和分离节点的DSS(CSN-DSS)的研究还不够。在本文中,我们制定了一个单独的节点的CSN-DSS的容量首次修复一个单独的节点的带宽是跨集群。因此,节点存储和修复带宽之间的最佳权衡推导出并与集群DSS相比。基于该折衷构造了重新生成的代码实例。此外,增加一个单独的节点的影响进行了理论分析和制定。我们证明了当每个集群包含R个节点,并且任意k个节点都足以恢复原始文件(MDS属性)时,如果R| k,否则减小容量。
2019-01-10 cs.DC cs.IT math.IT
On Epsilon-MSCR Codes for Two Erasures
协作再生码是设计用于在多个节点故障的情况下权衡存储和修复带宽的再生码。最小存储协作再生码是一类实现折衷最小存储点的协作再生码。最近,已经为所有可能的参数$(n,k,d,h)$构造了这些代码,其中通过联系任何$d$幸存节点来修复$h$擦除。然而,这些构造具有非常大的子分组化。$ε$ -MSR码是为了在单节点故障的情况下稍微增加修复带宽而引入的折衷子分组化级别的一类码。我们介绍了框架的$ε$ -MSCR代码,允许一个类似的权衡的情况下,多个节点故障。通过级联一类MSCR码和标量线性码,构造了一种能够从两个节点故障中恢复的$ε$ -MSCR码。我们给出了一个修复过程中修复的$ε$ -MSCR码在两个节点的故障,并计算相同的修复带宽。我们的特点是增加修复带宽所引起的方法相比,最佳的修复带宽给出的割集界。最后,我们展示了$ε$ -MSCR码的子分组化水平在节点数量上的几何尺度。
2019-01-28 cs.IT math.IT
A New Piggybacking Design for Systematic MDS Storage Codes
分布式存储代码在现代存储系统的设计中有着重要的应用。在分布式存储系统中,每个存储节点都有可能发生故障,一旦单个存储节点发生故障,必须使用存储在幸存节点中的数据进行重建。计算负载和网络带宽是修复故障节点时需要考虑的两个重要问题。传统的最大距离可分(MDS)存储码修复复杂度低,但修复带宽高。相反,最小存储再生(MSR)码具有低的修复带宽和高的修复复杂度。幸运的是,新引入的捎带码结合了两者的优点。本文通过引入一种新的系统MDS码的捎带设计框架,构造了一种存储码,平均修复带宽与原始数据量的比值可以低至$\frac{\sqrt{2r-1}}{r}$,这显著地改善了先前结果的比值$\frac{r-1}{2r-1}$。同时,利用MDS码的译码算法,只需在有限域上作一些附加的加法运算,就可以快速地重建新码的每个失效系统节点。与修复MSR码的故障节点所需的复数矩阵乘法相比,这是非常快的。
2016-10-26 cs.IT math.IT
Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题,其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输(数据包)的数量趋于无穷大时,可以渐近地实现最优折衷界。对于有限数量的传输,我们研究了成功再生的概率。然后,我们研究了两种方法来增加成功再生的概率,即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟,并且在某些情况下可能无法连接到更多的节点。我们发现,除了减少修复带宽,增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
LDPC Code Design for Distributed Storage: Balancing Repair Bandwidth, Reliability and Storage Overhead
分布式存储系统遭受由于频繁的存储节点故障而产生的显著的修复流量。本文表明,适当设计的低密度奇偶校验(LDPC)码可以大大减少修复所需的块下载量由于其因子图表示的稀疏性。特别地,通过仔细构造因子图,对于给定的码率,可以实现低修复带宽和高可靠性。首先,推导了LDPC码的平均修复带宽公式。这个公式然后被用来建立,最小修复带宽可以通过强制因子图中的定期检查节点度来实现。此外,它表明,给定一个固定的码率,可变节点度也应该是定期的,以产生最小的修复带宽,在一些合理的最小可变节点度的约束。它还表明,对于一个给定的修复带宽的要求,LDPC码可以产生更高的可靠性比目前使用的里德-所罗门(RS)码。我们的可靠性分析的基础上制定的一般方程的平均时间数据丢失(MTTDL)与LDPC码。该公式揭示了停止数与MTTDL密切相关。它进一步表明,LDPC码可以被设计成使得一个小的损失的修复带宽的最优性可以被交易的擦除校正能力,从而MTTDL的大的改善。
2017-10-16 cs.DC cs.IT cs.PF
Exact Cooperative Regenerating Codes with Minimum-Repair-Bandwidth for Distributed Storage
在最小带宽协作再生点上给出了精确协作再生码的一个显式构造。在本文之前,唯一已知的显式MBCR码给出参数$n=d+r$和$d=k$,而我们的构造适用于所有可能的值的$n,k,d,r$。该程序具有简洁的多项式形式的表达式,数据重构采用二元多项式插值实现。它是一种标量码,在大小为$q\geq n$的有限域上操作。此外,我们建立了线性精确MBCR码的几个子空间性质。基于这些性质,我们证明了线性精确MBCR码不能实现转移修复。
2012-07-04 cs.IT math.IT
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中,出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐(IA)的概念将不需要的数据在尽可能小的空间中对齐。这里,给出了Cadambe { \it et al.}提供了线索,完善IA的情况下,我们结合阿达玛矩阵的基本性质,构建一个新的存储代码具有良好的修复性能。具体来说,我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$,其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外,单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
A Sytematic Piggybacking Design for Minimum Storage Regenerating Codes
捎带是降低最大距离可分离码(MDS)或最小存储再生码(MSR)修复带宽的有效方法。为了最小化已知的高码率MSR码的奇偶校验节点的修复带宽,通常是原始数据的全部大小,即,通过对背负式设计的深入分析,提出了一种新的系统背负式设计。结果,新的MSR码得到几乎最佳的修复带宽的奇偶节点,而保持最佳的修复带宽的系统节点。在此基础上,提出了在节点修复过程中均衡下载的MSR码。
2014-08-23 cs.IT math.IT
On Heterogeneous Regenerating Codes and Capacity of Distributed Storage Systems
异构分布式存储系统(DSS)接近于现实世界中的数据存储应用。互联网缓存系统和对等存储云就是这样的DSS的例子。在这项工作中,我们计算这样的系统,每个节点存储不同数量的数据包,每个具有不同的修复带宽(节点可以通过接触一组特定的节点修复)的容量公式。研究了这种异构DSS的存储和修复带宽之间的权衡曲线。通过对容量公式的分析,在曲线上得到了新的最小带宽再生点和最小存储再生点。结果表明,在某些情况下,这些都优于同质DSS。
2014-02-16 cs.IT math.IT
Secure Cooperative Regenerating Codes for Distributed Storage Systems
再生代码使得能够在分布式存储系统(DSS)中权衡存储的修复带宽。由于它们的分布式性质,这些系统本质上容易受到攻击,并且它们也可能受到多个同时节点故障的影响。合作再生码允许带宽有效的修复多个同时发生的节点故障。本文分析了存储系统,采用合作再生码是强大的(被动)窃听。分析分为两个部分,研究最小带宽和最小存储的合作再生的情况。首先,最小带宽合作再生码的保密容量的特点。其次,对于最小存储空间的协作再生码,给出了一个安全的文件大小上界和可扩展性结果。这些结果建立了某些特殊情况下的最小存储方案的保密能力。在所有的情况下,可扩展性的结果对应于确切的修复,并获得安全的文件大小上限使用最小割分析在一个合适的保密图表示的DSS。主要的可窃听性参数是基于适当的数据预编码,以消除信息泄漏给窃听者。
2014-07-09 cs.IT math.IT
A Probabilistic Approach Towards Exact-Repair Regeneration Codes
研究了分布式存储系统中具有精确修复特性的再生码。对于精确修复问题,(α,β)折衷的可达点仅在最小存储再生(MSR)、最小带宽再生(MBR)以及n、k和d的某些特定值下才与外界相匹配。这种折衷在这项工作中被表征为一般(n,k,k),(即,k = d),对于每节点存储(α)和修复带宽(β)的某个范围。而不是明确的代码建设,这些权衡点的可扩展性证明存在的精确修复再生码的任何(n,k,k)。更准确地说,它表明,(n,k,k)系统可以通过添加一个新的节点,这是随机挑选的一些合奏,它被证明,以高概率,现有的节点和新添加的一个保持精确修复再生码的属性。新的可实现区域改进了现有的代码结构。特别地,该结果提供了对于任何n值的(n,3,3)分布式存储系统的完整折衷表征。
2015-10-07 cs.IT math.IT
Rack-Aware Regenerating Codes for Data Centers
擦除编码被广泛用于数据中心的海量存储,以实现高容错和低存储冗余。由于跨机架通信成本通常很高,因此设计擦除码以最小化故障修复期间的跨机架修复带宽是至关重要的。在本文中,我们分析了存储冗余和跨机架修复带宽之间的最佳权衡,专门为数据中心,受原始数据可以从足够数量的任何非故障节点重建的条件。我们刻画了功能修复下的最佳折衷曲线,并提出了一个称为机架感知再生码(RRC)的擦除码族,它实现了最佳折衷。我们进一步提出了确切的修复结构的RRC具有最小的存储冗余和最小跨机架修复带宽,分别。我们证明了(i)最小存储冗余构造支持广泛的参数范围,并且在大多数情况下具有严格小于经典最小存储再生码的跨机架修复带宽,以及(ii)最小跨架修复带宽构造支持所有参数,并且对于几乎所有参数具有比最小带宽再生码的跨架修复带宽更小的跨架修复带宽。
2019-02-25 cs.IT math.IT
Network Coding for Distributed Storage Systems
对等分布式存储系统通过互联网上节点上的冗余来提供对数据的可靠访问。一个关键目标是最大限度地减少用于维持冗余的带宽量。使用擦除码将文件存储在跨节点的片段中,与简单复制相比,需要更少的冗余,因此需要更少的维护带宽来提供相同的可靠性。然而,由于碎片必须定期更换节点故障,一个关键的问题是如何生成一个新的碎片在分布式的方式,同时在网络上传输尽可能少的数据。在本文中,我们介绍了一种通用的技术来分析存储体系结构,结合任何形式的编码和复制,以及提出了两个新的方案,用于保持冗余使用纠删码。首先,我们展示了如何直接从系统中现有的片段优化生成MDS片段。其次,我们引入了一个新的计划,称为再生码,使用稍大的片段比MDS,但具有较低的整体带宽使用。我们还通过模拟表明,在现实的环境中,再生码可以减少维护带宽使用的25%或以上,与以前最好的设计-复制和擦除码的混合-同时简化系统架构。
2007-02-02 cs.IT cs.NI math.IT
Update Bandwidth for Distributed Storage
本文研究了分布式存储系统的更新带宽问题.测量DSS中更新过程的传输效率的更新带宽被定义为当存储在节点中的数据符号被更新时在网络中传输的数据符号的总量。本文件包含以下贡献。首先,我们建立了不规则阵列码所能达到的最小更新带宽的封闭表达式。其次,在定义了一类能实现非规则阵列码最小更新带宽的非规则阵列码(称为最小更新带宽MUB码)后,确定了MUB码所能达到的最小码冗余度。第三,确定了使不规则阵列码的最小码冗余度和MUB码的最小码冗余度相等的码参数,从而将MR-MUB码定义为一类同时实现最小码冗余度和最小更新带宽的不规则阵列码。第四,我们介绍了显式码构造的MR-MUB码和MUB码的最小码冗余。第五,我们建立了MR-MUB码的更新复杂度的下界,该下界可用于证明非规则阵列码的最小更新复杂度可能无法由MR-MUB码实现。最后,我们构造了一类$(n = k + 2, k)$垂直最大距离可分(MDS)阵列码,该阵列码能够同时实现非规则阵列码的最小码冗余、最小更新带宽和最优修复带宽。
2020-05-25 cs.IT math.IT
The Storage vs Repair-Bandwidth Trade-off for Clustered Storage Systems
我们研究的再生代码的设置,动机的应用程序组成的集群的存储节点的存储系统的泛化。总共有$n$群集,每个群集有$m$节点。数据文件被编码并存储在$mn$节点上,每个节点存储$α$符号。对于数据的可用性,我们要求通过从$k$集群的任何子集下载整个内容来检索文件。节点表示可能失败的实体。我们区分集群内和集群间带宽(BW)的成本在节点修复。集群中的节点修复是通过下载$β$符号来完成的,每个符号来自其他集群中的任何一组$d$,称为远程助手集群,并且还可以从主机集群中的任何一组$\ell$幸存节点,称为本地助手节点,下载多达$α$符号。我们首先确定功能修复下的存储开销和集群间修复带宽之间的最佳权衡,并提出了最佳的精确修复代码的构造一类参数。新的折衷严格优于经由空间共享现有编码解决方案可实现的,无论何时$\ell > 0$。然后,我们得到尖锐的下限必要的集群内修复BW,以实现最佳的权衡。我们的界限揭示了一个有趣的事实,即虽然增加本地帮助节点的数量$\ell$有利于改善存储与集群间修复BW的权衡,但增加$\ell$不仅增加了主机集群中的集群内BW,而且还增加了远程帮助集群中的集群内BW。我们还分析了弹性的集群存储系统对被动窃听提供文件大小的界限和最佳的代码结构。
2018-02-02 cs.IT math.IT
On the Storage Cost of Private Information Retrieval
我们认为,在私人信息检索系统的存储成本和下载成本之间的根本权衡,没有任何明确的结构限制的存储代码,如最大距离可分离的代码或未编码的存储。提供了两个新的外边界,这具有以下含义。当消息在数据库之间没有任何冗余的情况下存储时,最佳PIR策略是下载所有消息;另一方面,对于PIR容量实现代码,每个数据库可以从存储所有消息中减少存储成本,平均不超过一个消息。然后,我们专注于两个消息的两个数据库的情况下,并表明,可以通过一种新的伪消息技术得到一个更强的外边界。这个更强的外边界表明,存储-下载权衡的精确表征可能需要非香农型不等式,或者至少需要更复杂的边界技术。
2019-10-26 cs.IT math.IT
Bandwidth Cost of Code Conversions in Distributed Storage: Fundamental Limits and Optimal Constructions
擦除码已经成为分布式存储系统中不可或缺的一部分,作为在设备故障的持续威胁下提供数据可靠性和持久性的工具。在这样的系统中,有限域$\mathbb{F}_q$上的$[n, k]$码将$k$消息符号编码为来自$\mathbb{F}_q$的$n$码字符号,然后将其存储在系统中的$n$不同节点上。最近的工作表明,通过调整$n$和$k$以适应设备故障率的变化,可以显着节省存储空间。这种调整需要代码转换:将初始$[n^I, k^I]$代码下的已编码数据转换为最终$[n^F, k^F]$代码下的等效数据的过程。默认的转换方法是重新编码数据,这会给系统资源带来很大的负担。可转换码是最近提出的用于实现资源高效转换的一类码。关于可转换代码的现有工作集中在最小化访问成本,即,在转换过程中访问的代码符号数。带宽对应于读取和传输的数据量,是另一个需要优化的重要资源。在本文中,我们开始研究的基本限制,在代码转换过程中使用的带宽和目前的建设,带宽最佳的可转换码。首先,我们使用具有可变容量边的网络信息流图来建模代码转换问题。其次,专注于MDS码和一个重要的参数制度称为合并制度,我们得到严格的带宽转换成本的下限。推导出的界限表明,带宽成本可以显着降低,即使在政权的接入成本不能降低相比,默认的方法。第三,我们提出了一个新的MDS可转换码的建设,它符合建议的下限,因此是带宽最佳的转换过程中。
2020-08-28 cs.DC cs.IT cs.NI
Private Information Retrieval for Coded Storage
本文研究了一种用于编码数据存储的私有信息检索方案。我们关注的情况下,每个数据记录的大小是大的,因此只有下载成本(但不是上传成本传输检索查询)是感兴趣的。我们证明了存储成本和检索/下载成本之间的权衡取决于系统中的数据记录的数量。我们还提出了一个相当普遍的一类线性存储代码和检索计划,并得出条件下,我们的检索计划是无错的和私人的。存储成本和检索成本之间的权衡也得到了。最后,我们考虑特殊情况下,底层存储代码是基于MDS代码。使用我们提出的方法,我们表明,一个随机生成的检索方案确实是非常有可能是私人的和无差错的。
2014-10-20 cs.IT math.IT