New Results on the Storage-Retrieval Tradeoff in Private Information Retrieval Systems
在专用信息检索(PIR)系统中,用户需要从一组存储服务器中检索可能的消息之一,但希望保持所请求消息的身份对任何给定服务器是私有的。这方面的现有努力已经表明,检索的效率将受到服务器上允许的存储空间量的显著影响。在这项工作中,我们考虑的存储成本和检索成本之间的权衡。我们首先提出了三个基本结果:1)制度明智的2-近似表征的最佳权衡,2)循环置换引理,可以产生更复杂的代码从简单的,和3)放松熵线性规划(LP)下界,具有多项式的复杂性。配备循环置换引理,我们然后提出了两个新的码的结构,并通过应用引理,获得新的存储检索点。此外,我们推导出更明确的下限,仅利用一个子集的限制,在放松熵LP在一个系统的方式。虽然新的上限和下限一般不会导致更精确的近似表征,但它们比现有技术明显更严格。
2020-08-03 cs.IT math.IT
Cooperative Tx/Rx Caching in Interference Channels: A Storage-Latency Tradeoff Study
本文研究了在$3\times3$无线干扰网络中,在所有发射机和接收机都配备缓存的情况下,存储延迟的权衡问题。该折衷的特征在于在给定的归一化的发送器和接收器缓存大小下的所谓的部分递送时间(FDT)。我们首先提出了一个通用的合作发送器/接收器缓存策略,可调文件分割比。基于这种缓存策略,我们然后仔细设计的交付阶段,把所考虑的干扰信道机会主义到广播信道,多播信道,X信道,或这些信道的混合形式。然后,通过求解文件分割比的线性规划问题,得到了最小FDT的可实现上界。可实现的FDT是高速缓存大小的凸和分段线性递减函数。在不同的高速缓存大小区域中利用接收器本地高速缓存增益、编码多播增益和发射器协作增益(干扰对准和干扰中和)。
2016-05-25 cs.IT math.IT
A Shannon-Theoretic Approach to the Storage-Retrieval Tradeoff in PIR Systems
我们认为,在私人信息检索(PIR)系统的存储检索率权衡使用香农理论的方法。我们的重点主要是规范的两个消息两个数据库的情况下,提出了一种基于随机码本生成和合并技术的编码方案。这种编码方案揭示了PIR和经典的多描述信源编码问题之间的隐藏联系。我们首先表明,当检索率保持最佳,所提出的非线性计划可以实现更好的性能超过任何线性计划。此外,一个非平凡的存储检索率的权衡,可以实现超越这个极端点和其他最佳极端点之间的空间共享,实现检索一切的策略。我们进一步表明,与一种类似的方法的净化技术,可以提取零错误的PIR码的随机码。外边界也进行了研究和比较,以建立优于线性码的非线性码。
2023-01-05 cs.IT math.IT
New Codes and Inner Bounds for Exact Repair in Distributed Storage Systems
本文研究了分布式存储系统中存储和修复带宽之间的精确修复折衷问题。我们给出了新的内部界限的权衡区域,并提供代码的建设,实现这些界限。
2014-02-11 cs.IT math.IT
Caching in Wireless Small Cell Networks: A Storage-Bandwidth Tradeoff
在网络边缘缓存内容是卸载流量、减少延迟和提高用户体验质量的有效手段。在这封信中,我们专注于存储带宽的权衡方面,其中小小区基站分布根据一个均匀的泊松点过程和缓存内容根据一个给定的内容流行度分布,受存储约束。我们提供了一个封闭形式的表达的缓存未命中概率,定义为不满足用户的请求在一个给定的覆盖区域的概率,作为信号干扰比,缓存大小,基站密度和内容流行度的函数。特别是,它示出,对于一个给定的最小缓存大小,基于流行度的缓存策略实现较低的中断概率为一个给定的基站密度相比,均匀的缓存。此外,我们表明,流行度为基础的缓存达到更好的性能在缓存未命中概率相同的频谱。
2016-03-17 cs.IT math.IT
Regenerating codes with minimal disk I/O cost achieving optimal tradeoff between storage and repair bandwidth
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种具有最小磁盘I/O成本的再生码方案,实现存储与修复带宽的最佳权衡。
2026-08-19 cs.IT math.IT
Rack-Aware Cooperative Regenerating Codes
在分布式存储系统中,协作再生码在多个节点故障的情况下权衡存储和修复带宽。在机架感知分布式存储系统中,不存在与在机架内传送符号相关联的成本。因此,修复带宽将仅考虑跨机架传输。机架感知再生码的情况下,单节点故障进行了研究,其修复带宽权衡的特点。在本文中,我们认为框架的机架感知合作再生码的情况下,多个节点故障的节点故障均匀分布在一定数量的机架。我们的特点的存储修复带宽的权衡,以及推导出的最小存储和最小修复带宽点的权衡。我们还提供了所有参数的最小带宽机架感知合作再生码的建设。
2021-02-24 cs.IT math.IT
Non-homogeneous Two-Rack Model for Distributed Storage Systems
在传统的两机架分布式存储系统(DSS)模型中,由于假设每个节点的存储容量相同,因此最小带宽再生(MBR)点变得不可行。在本文中,我们设计了一个新的非齐次两机架模型,提出了一个推广的阈值函数用于计算的权衡曲线。我们证明,通过具有更高的再生带宽的机架中的节点存储更多的信息,所有的点上的权衡曲线,包括MBR点,成为可行的。最后,我们展示了非均匀的两个机架模型优于传统的模型,在每个节点的存储和修复带宽之间的权衡曲线。
2013-07-31 cs.IT math.IT
Derivation Depth as an Information Metric: Axioms, Coding Theorems, and Storage--Computation Tradeoffs
Koguan School of Law, China Institute for Smart Justice, School of Computer Science, Shanghai Jiao Tong University(上海交通大学)
本文提出推导深度作为信息度量,通过编码定理和存储-计算权衡,解决信息查询的存储与计算成本优化问题。
2026-10-20 cs.IT math.IT
Cache Aided Wireless Networks: Tradeoffs between Storage and Latency
我们调查的基本信息理论的限制,高速缓存辅助的无线网络,其中边缘节点(或发射机)被赋予高速缓存,可以存储流行的内容,如多媒体文件。这种架构旨在通过主动将流行的多媒体内容推到更靠近无线网络边缘的位置来本地化流行的多媒体内容,从而减轻回程负载。这种网络的信息理论模型,其中包括引入一个新的度量,即归一化的交付时间(NDT),它捕获的最坏情况下的时间提供任何请求的内容给用户。我们提出了新的结果之间的权衡延迟,通过NDT测量,和边缘节点的缓存存储容量。特别是,提出了一种新的信息理论的无损检测下限缓存辅助网络。这个界的最优性示出了几个系统参数。
2015-12-24 cs.IT math.IT
Improved Approximation of Storage-Rate Tradeoff for Caching with Multiple Demands
在网络边缘处的高速缓存已经成为一种可行的解决方案,用于通过以本地化内容存储和递送的形式利用网络负载平衡来缓解现代以内容为中心的无线网络中的严重容量紧缩。在这项工作中,我们考虑一个缓存辅助网络的缓存存储阶段是由一个中央服务器和用户可以要求在每个传输间隔多个文件的协助。为了服务于这些需求,我们考虑两种递送模型- $(1)$集中式内容递送,其中在每个传输间隔处的用户需求由中央服务器经由多播传输来服务;以及$(2)$设备到设备(D2 D)辅助分布式递送,其中用户彼此多播以便服务文件需求。对于这样的缓存辅助网络,我们提出了新的结果的基本缓存存储与传输速率的权衡。具体来说,我们开发了一种新的技术,用于表征信息理论的下限上的存储速率的权衡,并表明,新的下限严格严格比从文献中的割集界。此外,使用新的下限,我们建立了最佳的存储速率权衡内一个常数乘法间隙。我们发现,对于每个用户的多个需求,可实现的计划的基础上重复的计划,单一的需求是订单最优的两种交付模式。
2016-06-14 cs.IT cs.NI math.IT
Multilevel Diversity Coding with Regeneration
大规模分布式存储系统中的数字内容可能具有不同的可靠性和访问延迟要求,因此,需要利用具有不同强度的擦除码来实现最佳存储效率。同时,在这样的大规模分布式存储系统中,节点会定期发生故障,其上存储的内容需要重新生成并存储在其他健康的节点上,其效率是影响整体服务质量的重要因素。在这项工作中,我们制定了再生的多级分集编码的问题,以解决这些问题,其中的存储与修复带宽的权衡进行了研究。我们表明,这种权衡对应的最小可能的存储的极值点可以通过一个简单的编码方案,其中具有不同可靠性要求的内容单独编码与单独的再生代码没有任何混合。另一方面,我们建立了完整的存储-修复-带宽权衡的情况下,四个存储节点,这表明,代码混合不同的内容可以严格改善这种权衡的单独的编码解决方案。
2016-04-28 cs.IT math.IT
Fundamental Tradeoff between Storage and Latency in Cache-Aided Wireless Interference Networks
本文研究了一般无线干扰网络中所有发射机和接收机都配备缓存的存储和延迟之间的基本权衡。该折衷由信息理论度量\emph{normalized delivery time}(NDT)表征,其是在由给定信道的自由度(DoF)指定的传输速率下的实际业务负载的最坏情况递送时间。我们得到一个可实现的上限和理论上的最小NDT的下限为任何数量的发射机,任何数量的接收机,和任何可行的缓存大小元组。我们表明,可实现的NDT是完全最佳的在某些缓存大小的区域,是在一个有界的乘法差距的理论下限在其他地区。在可扩展性分析中,我们首先提出了一种新的协作发送器/接收器编码缓存策略。它提供了自由调整文件分割率NDT最小化。然后,我们提出了一个交付策略,考虑干扰网络转换成一类新的合作X-组播信道。它利用本地缓存增益,编码多播增益,和发射机合作增益(通过干扰对齐和干扰抵消)机会主义。最后,通过求解线性规划问题得到可实现的无损检测。这项研究表明,在发送端和接收端的缓存,网络可以同时受益于流量负载的减少和传输速率的提高,从而有效地减少内容交付延迟。
2017-06-17 cs.IT math.IT
Cost-Bandwidth Tradeoff In Distributed Storage Systems
分布式存储系统主要是由于存储容量有限,并通过将数据分布在多个存储节点上来提高可靠性。另一方面,可能发生数据存储在不可靠的节点中,而期望最终用户具有对存储的数据的可靠访问。因此,在节点被损坏的情况下,为了防止系统可靠性退化,需要重新生成具有与损坏的节点相同的存储数据量的新节点,以保持存储节点的数量,从而具有先前的可靠性。这需要新节点连接到一些现有节点并下载所需信息,从而占用一些带宽,称为修复带宽。另一方面,下载的成本很可能在不同的节点上有所不同。本文旨在研究理论上的代价-带宽权衡,更重要的是,证明了通过使用所谓的广义再生码可以实现该曲线上的任何点,广义再生码是Dimakis等人在[1]中引入的再生码的增强。
2010-04-14 cs.IT cs.NI math.IT
Distributed Storage Codes with Repair-by-Transfer and Non-achievability of Interior Points on the Storage-Bandwidth Tradeoff
再生码是最近开发的一类用于分布式存储的码,其像里德-所罗门码一样,允许从n节点网络内的k个节点的任何子集恢复数据。然而,再生代码拥有另外,通过连接到任意子集的d节点来修复故障节点的能力。已经表明,对于功能修复的情况,每个节点存储的数据量和修复故障节点所需的带宽之间存在权衡。功能修复的一种特殊情况是精确修复,其中要求替换节点存储与故障节点中相同的数据。精确修复是令人感兴趣的,因为它大大简化了系统实现。本文的第一个结果是一个明确的,精确的修复代码的存储带宽的折衷对应的最小可能的修复带宽的情况下,当d=n-1的点。这个代码有一个特别简单的图形描述,最有趣的是,它能够通过数据传输进行精确修复,而不需要执行任何算术运算。因此才有了“转让修复”一词。本文的第二个结果表明,存储带宽权衡的内部点不能实现下精确修复,从而指出存在一个单独的权衡下精确修复。具体来说,我们确定了一组方案,称为“帮助节点池”,并表明,它是必要的,以满足这种情况下,过度约束系统。
2010-11-16 cs.DC cs.IT cs.NI
A Fundamental Storage-Communication Tradeoff for Distributed Computing with Straggling Nodes
用于分布式计算的放置交付阵列(Comp-PDA)最近被提出作为用于为类MapReduce系统构造通用计算方案的框架。在这项工作中,我们将这一概念扩展到具有离散节点的系统,即,涉及其中节点的子集不能在适当的时间内完成所分配的MAP计算的系统。与以往的大多数工作,专注于计算线性函数,我们的结果是通用的,适用于任意映射和减少功能。我们的贡献如下。首先,我们展示了如何构建一个通用的编码计算方案MapReduce类系统与离散节点从任何给定的Comp-PDA。我们还描述了所产生的方案的Comp-PDA参数的存储和通信负载。然后,我们证明了一个信息理论的逆界的存储通信(SC)的折衷实现的通用计算计划离散节点。我们表明,信息理论界匹配的编码计算方案与离散节点对应的Maddah-Ali和Niesen(MAN)PDA,即,到描述Maddah-Ali和Niesen的编码缓存方案的Comp-PDA。有趣的是,相同的Comp-PDA(MAN-PDA)对于任何数量的离散节点都是最优的,这意味着最优编码计算方案的映射阶段不需要适应系统中离散节点的数量。我们最后证明,虽然点,完全躺在基本的SC权衡不能实现与Comp-PDA,需要更少的文件数量比MAN-PDA,这是可能的一些点,靠近SC的权衡。对于后面的这些点,所请求的文件数量的减少可以是系统节点数量的指数。
2020-04-27 cs.IT math.IT
Breaking the Storage-Bandwidth Tradeoff in Distributed Storage with Quantum Entanglement
University of Maryland, College Park(马里兰大学帕克分校)
本文利用量子纠缠在分布式存储中实现存储和带宽的同步最小化,突破经典存储-带宽权衡限制。
2026-01-15 cs.DC cs.IT cs.NI
Broadcast Repair for Wireless Distributed Storage Systems
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统的多节点故障。由于无线信道通常是带宽有限的,我们提倡一种新的措施修复性能称为修复传输带宽,它衡量的平均数量的数据包传输的帮助节点每个失败的节点。得到了存储量和修复传输带宽之间的基本折衷。结果表明,广播修复在存储效率和修复传输带宽方面优于多节点故障有线分布式存储系统的基本修复方法--合作修复,从而得到更好的折衷曲线.
2016-03-01 cs.IT math.IT
Repair for Distributed Storage Systems with Erasure Channels
本文研究了擦除网络中分布式存储系统的修复问题,其中从幸存节点传输到新节点的数据包可能会丢失。基本的存储带宽的权衡计算在擦除网络中的组播分析。当传输(数据包)的数量趋于无穷大时,可以渐近地实现最优折衷界。对于有限数量的传输,我们研究了成功再生的概率。然后,我们研究了两种方法来增加成功再生的概率,即通过连接更多的幸存节点或通过增加节点的存储空间。使用更多的节点可能会造成更大的延迟,并且在某些情况下可能无法连接到更多的节点。我们发现,除了减少修复带宽,增加存储空间也可以增加修复的可靠性。
2013-01-29 cs.IT math.IT
A Probabilistic Approach Towards Exact-Repair Regeneration Codes
研究了分布式存储系统中具有精确修复特性的再生码。对于精确修复问题,(α,β)折衷的可达点仅在最小存储再生(MSR)、最小带宽再生(MBR)以及n、k和d的某些特定值下才与外界相匹配。这种折衷在这项工作中被表征为一般(n,k,k),(即,k = d),对于每节点存储(α)和修复带宽(β)的某个范围。而不是明确的代码建设,这些权衡点的可扩展性证明存在的精确修复再生码的任何(n,k,k)。更准确地说,它表明,(n,k,k)系统可以通过添加一个新的节点,这是随机挑选的一些合奏,它被证明,以高概率,现有的节点和新添加的一个保持精确修复再生码的属性。新的可实现区域改进了现有的代码结构。特别地,该结果提供了对于任何n值的(n,3,3)分布式存储系统的完整折衷表征。
2015-10-07 cs.IT math.IT
Tradeoffs for reliable quantum information storage in surface codes and color codes
双曲表面码族是一类罕见的具有非零码率和无界最小距离的量子LDPC码。首先,我们介绍了一个家庭的双曲色码。这产生了一个新的家庭的量子LDPC码与非零速率和最小距离对数的块长度。其次,我们研究了表面码和颜色码的长度n、编码量子比特数k和距离d之间的折衷。我们证明了kd^2的上界为C(log k)^2n,其中C是一个常数,仅取决于奇偶校验矩阵的行权。证明了非零码率LDPC表面码和颜色码的最佳渐近最小距离是长度的对数。
2013-01-28 cs.IT math.IT quant-ph
Rate-Privacy-Storage Tradeoff in Federated Learning with Top $r$ Sparsification
我们研究了在联邦学习(FL)中使用顶级$r$稀疏化的速率,隐私和存储之间的权衡,其中FL系统中的用户和服务器仅分别共享FL过程中更新和参数的最重要的$r$和$r'$部分,以降低通信成本。我们提出的计划,保证信息理论的隐私值和索引的稀疏更新发送的用户在一个较大的存储成本为代价。为此,我们推广的计划,以减少存储成本,允许一定量的信息泄漏。因此,我们提供的通信成本,存储成本和信息泄漏之间的一般权衡私人FL与顶部$r$稀疏化,沿着两个建议的计划。
2022-12-19 cs.CR cs.IT cs.NI
On the Storage Cost of Private Information Retrieval
我们认为,在私人信息检索系统的存储成本和下载成本之间的根本权衡,没有任何明确的结构限制的存储代码,如最大距离可分离的代码或未编码的存储。提供了两个新的外边界,这具有以下含义。当消息在数据库之间没有任何冗余的情况下存储时,最佳PIR策略是下载所有消息;另一方面,对于PIR容量实现代码,每个数据库可以从存储所有消息中减少存储成本,平均不超过一个消息。然后,我们专注于两个消息的两个数据库的情况下,并表明,可以通过一种新的伪消息技术得到一个更强的外边界。这个更强的外边界表明,存储-下载权衡的精确表征可能需要非香农型不等式,或者至少需要更复杂的边界技术。
2019-10-26 cs.IT math.IT
Private Information Retrieval for Coded Storage
本文研究了一种用于编码数据存储的私有信息检索方案。我们关注的情况下,每个数据记录的大小是大的,因此只有下载成本(但不是上传成本传输检索查询)是感兴趣的。我们证明了存储成本和检索/下载成本之间的权衡取决于系统中的数据记录的数量。我们还提出了一个相当普遍的一类线性存储代码和检索计划,并得出条件下,我们的检索计划是无错的和私人的。存储成本和检索成本之间的权衡也得到了。最后,我们考虑特殊情况下,底层存储代码是基于MDS代码。使用我们提出的方法,我们表明,一个随机生成的检索方案确实是非常有可能是私人的和无差错的。
2014-10-20 cs.IT math.IT
Distributed storage algorithms with optimal tradeoffs
分布式存储系统的主要目标之一是使用大量$N$的不可靠存储节点在长持续时间内可靠地存储大量源数据,每个不可靠存储节点具有$c$位的存储容量。存储节点随时间随机失效,并被初始化为零的相等容量的节点替换,因此位以一定速率$e$擦除。为了维持源数据的可恢复性,修复器以平均速率$r$通过网络从节点连续地读取数据,并且基于所读取的数据生成数据并将数据写入节点。分布式存储源容量是可以长期可靠存储的最大源量。已有的研究表明,随着$N$和$r$的增长,分布式存储源容量渐近最多为$\left(1-\frac{e}{2 \cdot r}\right) \cdot N \cdot c$。在这项工作中,我们介绍和分析算法,使渐近的分布式存储源数据容量至少是上述方程。因此,上述等式表达了网络流量和存储开销之间的基本权衡,以可靠地存储源数据。
2021-01-13 cs.DS cs.IR cs.IT
Capacity of Distributed Storage Systems with Clusters and Separate Nodes
在分布式存储系统中,节点存储和修复带宽之间的最优折衷是设计分布式编码策略以保证大规模数据可靠性的重要问题。DSS的能力作为一个功能的节点存储和修复带宽参数,特征的权衡。有很多工作在DSS与集群(机架),其中修复带宽从集群内和跨集群是有区别的。然而,在现实的DSS中,分离节点也是普遍存在的,但对具有集群和分离节点的DSS(CSN-DSS)的研究还不够。在本文中,我们制定了一个单独的节点的CSN-DSS的容量首次修复一个单独的节点的带宽是跨集群。因此,节点存储和修复带宽之间的最佳权衡推导出并与集群DSS相比。基于该折衷构造了重新生成的代码实例。此外,增加一个单独的节点的影响进行了理论分析和制定。我们证明了当每个集群包含R个节点,并且任意k个节点都足以恢复原始文件(MDS属性)时,如果R| k,否则减小容量。
2019-01-10 cs.DC cs.IT math.IT
Explicit Construction of Optimal Exact Regenerating Codes for Distributed Storage
擦除编码技术用于提高分布式存储系统的可靠性,同时最小化存储开销。同样令人感兴趣的是最小化节点故障后修复系统所需的带宽。在最近的一篇论文中,Wu等人描述了修复带宽和每个节点存储的数据量之间的权衡。他们还证明了再生代码的存在,实现了这种权衡。在本文中,我们介绍了精确再生码,这是再生码具有额外的属性,能够复制存储在一个失败的节点的数据。这种代码需要低的处理和通信开销,使系统实用且易于维护。明确建设的确切再生代码提供的最小带宽点的存储修复带宽的权衡,相关的分布式邮件服务器的应用程序。一个子空间为基础的方法,并示出产生的必要条件和充分条件的线性代码具有确切的再生性能,以及证明我们的建设的唯一性。还包括在该文件中,是一个明确的建设再生代码的最小存储点的参数相关的存储在对等系统。这种结构支持可变数量的节点,并且可以处理多个同时发生的节点故障。文中给出的所有结构都是低复杂度的,特别是需要低的域大小。
2009-10-06 cs.IT math.IT
Fundamental Storage-Latency Tradeoff in Cache-Aided MIMO Interference Networks
高速缓存是一种有效的技术,以改善用户感知体验的内容交付在无线网络中。无线缓存不同于传统的Web缓存,因为它可以利用无线介质的广播性质,从而机会主义地改变网络拓扑结构。本文研究了一个由3个发射机和3个接收机组成的MIMO干扰网络。通过在发送器和接收器侧进行缓存,网络被改变为MIMO广播信道、MIMO X信道和MIMO多播信道的混合形式。我们分析了这些新的信道模型的自由度(DoF)使用实际的干扰管理方案。基于对这些DoF结果的集体使用,我们然后获得网络的可实现的归一化交付时间(NDT),这是一种信息理论度量,用于评估给定缓存大小下的最坏情况交付时间。所获得的NDT是针对任意M、N和任何可行的高速缓存大小。它被证明是最佳的,在某些情况下,在其他情况下,从最佳的乘法差距为3。本文还讨论了任意数量的发射机和接收机的网络的扩展问题。
2017-05-14 cs.IT math.IT
Exact Rate Exponent Tradeoff for New Classes of Distributed Hypothesis Testing Problems
该研究刻画新型单向分布式假设检验问题的精确率指数权衡,通过松弛上界与Han下界匹配,证明其对依赖检验及特定DSBS源为紧,适用于所有非负通信率。
2026-10-20 cs.IT math.IT
A Non-Orthogonal Distributed Space-Time Coded Protocol Part II-Code Construction and DM-G Tradeoff
这是两部分系列论文的第二部分。本文针对第一部分提出的广义非正交放大转发(GNAF)协议,提出了一种新的基于坐标交织正交设计(CIOD)的分布式空时码族的构造方法,从而降低了目的端的最大似然(ML)译码复杂度。此外,它建立了最近提出的Toeplitz空时码,以及空时分组码(STBC)的循环划分代数可以在GNAF协议中使用。最后,GNAF协议的最佳分集复用增益(DM-G)的折衷的下界的建立,它表明,这个界渐近地接近发射分集界的中继的数量和信道使用的数量的增加。
2006-10-29 cs.IT math.IT
Symmetry in Distributed Storage Systems
最大流外边界是通过重新生成代码来实现的,用于功能修复分布式存储系统。然而,分布式存储系统的精确修复能力是一个悬而未决的问题。本文给出了精确修理分布式存储系统的线性规划界。给出了随机变量集的对称集的概念,建立了对称集上随机变量子集的联合熵的等式。提出了一种适用于精确修复分布式存储系统的级联编码方案,并证明了对于任何精确修复分布式存储系统,级联编码方案都足以达到任意的容许速率。给出了由级联方案引起的随机变量的某些联合熵的等价性。这些联合熵等式是简化线性规划界和获得精确修复分布式存储系统更强逆解的新工具。
2013-05-15 cs.IT math.IT
New Repair strategy of Hadamard Minimum Storage Regenerating Code for Distributed Storage System
新提出的$(k+2,k)$ Hadamard最小存储再生(MSR)码是第一类对所有单节点故障具有最佳修复性能的高速存储码。在本文中,我们提出了一种新的简单的修复策略,它可以大大减少计算量的节点修复相比,原来的。
2013-12-18 cs.IT math.IT
Distributed Storage Systems based on Equidistant Subspace Codes
提出了基于等距等维码的分布式存储系统。这些等距码基于Plücker嵌入,这在修复和重建算法中至关重要。这些系统具有一些有用的特性,如高故障恢复能力,最小带宽,低存储,简单的代数修复和重建算法,良好的局部性,以及与小字段的兼容性。
2014-06-24 cs.IT math.IT
Sequential Random Sampling PIR with Multiple Colluding Servers in DNA-Based Data Storage
Technion—Israel Institute of Technology(以色列理工学院)
针对DNA数据存储中的隐私检索问题,研究了多合谋服务器下顺序随机采样PIR的下载成本与隐私泄露权衡,推导了下界并构造了达到最优的方案。
2026-10-08 cs.IT math.IT
On a Duality Between Recoverable Distributed Storage and Index Coding
在本文中,我们介绍了一个模型的单故障本地可恢复的分布式存储系统。这个模型似乎引起了一个问题,似乎双重的研究良好的索引编码问题。本文建立了模型的最优索引码和最优分布存储码的维数之间的关系。我们还展示了向量码的一些扩展。
2014-03-10 cs.IT math.IT
Cooperative Regenerating Codes
分布式存储系统的设计目标之一是使故障存储节点修复过程中的数据流量最小化。通过同时和协作地修复多个故障,可以进一步减少修复流量。给出了协作修复中修复流量与各节点存储量之间的最优折衷的封闭表达式。我们表明,在权衡曲线上的点可以通过线性合作再生码,所需的有限域大小上的明确的界限。证明依赖于一个最大流最小割型定理的子模流从组合优化。给出了两类显式构造。
2013-07-19 cs.IT math.IT
Distributed Storage Schemes over Unidirectional Ring Networks
本文研究了单向环形网络上的分布式存储问题。提出了一个重构带宽的下限,以恢复所有原始数据为每个用户,它是可实现的任意参数。如果一个分布式存储方案能够达到这个下限,并且每个用户都是平等的,我们称之为最优重构分布式存储方案(ORDSS)。此外,一个失败的存储节点在ORDSSes的修复问题正在考虑中,并为每个存储节点的修复带宽上的一个严格的下界。特别是,我们指出的事实,对于任何ORDSS,每个存储节点可以修复修复带宽达到下限与平等。此外,我们提出了一个有效的方法来构建任意参数的欧氏分割的概念。最后,我们用一个例子来描述上述方法。
2014-01-21 cs.IT math.IT
Capacity of Wireless Distributed Storage Systems with Broadcast Repair
在无线分布式存储系统中,存储节点之间通过无线信道连接,这些无线信道本质上是广播信道。本文利用这一独特的功能,设计了一个有效的修复机制,称为广播修复,无线分布式存储系统中存在的多个节点的故障。由于无线传输的广播性质,我们提倡一种新的措施修复性能称为修复传输带宽。修复带宽测量的是新节点替换故障节点时下载的平均数据包数量,而修复传输带宽测量的是每个故障节点上辅助节点传输的平均数据包数量。通过将存储系统建模为多播网络,并分析相应信息流图的最小割,对具有广播修复的无线分布式存储系统的存储容量进行了基础性研究。存储效率和修复传输带宽之间的基本权衡也得到功能修复。广播修复的性能进行了比较分析和数值与合作修复,有线分布式存储系统的多节点故障的基本修复方法。虽然合作修复是基于允许新来者交换数据包的想法,但广播修复是基于允许帮助者同时向所有新来者广播数据包的想法。我们发现,广播修复优于合作修复,提供了更好的存储效率和修复传输带宽之间的权衡。
2017-07-06 cs.IT math.IT
Flexible Fractional Repetition Codes for Distributed Storage Networks
考虑以下分布式存储网络的基本问题:给定任意$(n,k,d)$值,是否存在一个智能助手选择方案(假设无限的内存和计算能力),可以严格提高存储带宽(SB)的权衡。Ahmad等人通过证明对于$(n,k,d)$值的子集,没有辅助选择方案可以改善S-B权衡,并且对于不在该子集中的$(n,k,d)$,称为家庭辅助选择(FHS)的新方案可以严格地改善S-B权衡而不是盲辅助选择方案来回答这个问题。尽管如此,FHS的分析是通过最小切割分析完成的,没有实际的代码结构。这项工作填补了纯粹的最小割分析和实际的代码建设配对FHS与现有的分数重复(FR)代码的一个新的,广义的版本之间的差距。具体而言,现有的FR码是精确修复码,其允许高度期望的通过转移修复属性,但其独特的构造将应用限制为$(n,k,d)$值的受限集合。相比之下,我们的新构造,称为灵活的分数重复码,可以应用于任意$(n,k,d)$,同时保留FR码的大部分实际好处,即,允许小的修复带宽、精确修复和几乎可通过传输修复。
2018-08-24 cs.IT math.IT
Capacity of Clustered Distributed Storage
提出了一种新的反映分布式存储集群结构的系统模型,用于研究故障存储节点修复的带宽需求。具有多个机架/磁盘或存储设备的本地网络(例如传感器网络)的大型数据中心是所建议的集群模型的良好应用。在涉及集群存储结构的实际场景中,使用驻留在其他集群中的完整节点来修复存储节点比基于来自集群内节点的信息来恢复节点更消耗带宽。因此,在分布式存储建模中区分集群内修复带宽和跨集群修复带宽是很重要的。所建议的模型的容量作为分布式存储系统的基本资源,即存储容量,集群内修复带宽和跨集群修复带宽的函数。在容量表达式的基础上,分析了实现可靠存储的所需资源的可行集合。它表明,跨集群流量可以最小化为零(即,集群内本地修复成为可能)。此外,跨集群流量和集群内流量之间的权衡观察到足够大的存储容量。
2017-02-13 cs.IT math.IT
Capacity bounds for distributed storage
分布式存储系统的主要目标之一是使用大量$N$的不可靠存储节点在长持续时间内可靠地存储大量源数据,每个不可靠存储节点具有$c$位的存储容量。存储节点随时间随机失效,并被初始化为零的相等容量的节点替换,因此位以一定速率$E$擦除。为了维持源数据的可恢复性,修复器以速率$R$通过网络从节点连续地读取数据,并且基于所读取的数据生成数据并将数据写入节点。分布式存储源数据容量是可以长时间可靠存储的最大源数据量。证明了随着$N$和$R$的增长,分布式存储源数据容量渐近地接近$\left(1-\frac{E}{2 \cdot R}\right) \cdot N \cdot c$.这个等式表达了网络流量和存储开销之间的基本权衡,以可靠地存储源数据。
2018-04-11 cs.IT math.IT
A Unified Coding Framework for Distributed Computing with Straggling Servers
通过对一些线性计算任务在“计算延迟”和“通信负载”之间进行权衡,提出了一种适用于离散服务器的分布式计算的统一编码框架。我们表明,[1]-[3]的编码方案重复中间计算以创建编码多播机会以减少通信负载,[4],[5]的编码方案生成冗余中间计算以对抗离散服务器可以被视为所提出的框架的特殊实例,通过考虑这种权衡的两个极端:从而分别最小化通信负载或计算等待时间。此外,通过所提出的编码框架实现的延迟-负载折衷允许在该折衷上的任何点处系统地操作以执行分布式计算任务。我们还证明了延迟负载的权衡,这是一个恒定的乘法差距内实现的权衡在两个端点的信息理论下限。
2016-09-06 cs.DC cs.IT math.IT
Node Repair for Distributed Storage Systems over Fading Channels
分布式存储系统和相关的存储代码可以有效地存储大量数据,同时确保在节点故障的情况下可检索数据。这种系统的研究,特别是有限域上存储码的设计,假设节点通信的物理信道是无差错的。例如,在无线存储系统中,情况并非总是如此。我们研究了分布式存储系统中节点修复期间子数据包被错误修复的概率,其中节点通过AWGN或Rayleigh衰落信道进行通信。渐近概率(SNR的增加),一个节点被错误地修复示出完全由DSS的修复局部性和无线信道的符号出错率确定。最后,我们提出了一些设计标准的物理层编码在这种情况下,并使用它来计算最佳旋转QAM星座用于无线分布式存储系统。
2014-09-25 cs.IT math.IT
A Fundamental Tradeoff between Computation and Communication in Distributed Computing
我们如何以最佳方式交换额外的计算能力,以减少分布式计算中的通信负载?我们通过描述分布式计算中计算和通信之间的基本权衡来回答这个问题,即,两者成反比。更具体地说,一般的分布式计算框架,被认为是由常用的结构,如MapReduce,其中的整体计算被分解成计算一组“映射”和“减少”功能分布在多个计算节点。提出了一种名为“编码分布式计算“(CDC)的编码方案,以证明将Map函数的计算负载增加$r$的因子(即,在$r$仔细选择的节点处评估每一函数)可产生新颖的编码机会,所述编码机会将通信负载减少相同因子。还提供了一个信息理论上的通信负载的下限,它匹配的CDC计划实现的通信负载。结果,准确地描述了分布式计算中的最优计算-通信权衡。最后,CDC的编码技术应用于Hadoop TeraSort基准开发一种新的CodedTeraSort算法,这是经验证明,以加快整体作业执行的$1.97\times$ - $3.39\times$,为典型的设置感兴趣。
2017-09-23 cs.DC cs.IT math.IT
On Distributed Nonlinear Signal Analytics : Bandwidth and Approximation Error Tradeoffs
分析将成为即将到来的智慧城市和物联网(IoT)的一部分。这项工作的重点是近似分布式信号分析。可以设想,分布式IoT设备将记录IoT云可能感兴趣的信号。从物联网设备到物联网云的这些信号的通信将需要(低通)近似。线性信号近似在文献中是众所周知的。将概述的是,在许多物联网分析问题中,希望近似信号(或其分析)总是过度预测准确信号(或其分析)。这种分布非线性逼近问题以前没有被研究过。提出了一种基于IoT设备的信号近似在IoT云中执行分布式过度预测信号分析的算法。物联网设备使用的信号近似带宽与物联网云上信号分析中的近似误差之间的基本权衡针对可区分信号的类别进行了量化。仿真结果也被提出。
2018-05-22 cs.IT eess.SP math.IT
Tackling heavy-tailed noise in distributed estimation: Asymptotic performance and tradeoffs
University of Novi Sad(诺维萨德大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种处理重尾观测和通信噪声的分布式参数估计算法,分析了其渐近正常性和系统噪声与网络拓扑间的权衡。
2026-03-21 cs.IT math.IT math.OC
Distributed Storage over Unidirectional Ring Networks
本文研究了单向环形网络上的分布式存储问题,其存储节点构成一个有向环,数据沿同一方向传输。原始数据被分布存储在这些节点上。每个用户只能连接一个存储节点来下载全部数据。给出了每个用户恢复原始数据所需的重构带宽的一个下界,该下界对于任意参数都是可实现的。如果一个分布式存储方案能够达到这个下限,并且每个用户都是平等的,我们称之为最优重构分布式存储方案(ORDSS)。此外,一个失败的存储节点在ORDSSes的修复问题正在考虑和修复带宽上的一个紧的下界。特别是,我们指出的事实,对于任何的ORDSS,每个存储节点可以修复修复带宽达到下限与平等。此外,我们提出了两种结构的任意参数的ordss,称为MDS建设和ED建设,分别。特别是,ED构造,通过使用欧几里德划分的概念,是更有效的,通过我们的详细分析。
2014-04-14 cs.IT math.IT
On Heterogeneous Regenerating Codes and Capacity of Distributed Storage Systems
异构分布式存储系统(DSS)接近于现实世界中的数据存储应用。互联网缓存系统和对等存储云就是这样的DSS的例子。在这项工作中,我们计算这样的系统,每个节点存储不同数量的数据包,每个具有不同的修复带宽(节点可以通过接触一组特定的节点修复)的容量公式。研究了这种异构DSS的存储和修复带宽之间的权衡曲线。通过对容量公式的分析,在曲线上得到了新的最小带宽再生点和最小存储再生点。结果表明,在某些情况下,这些都优于同质DSS。
2014-02-16 cs.IT math.IT
Expected Recovery Time in DNA-based Distributed Storage Systems
Technion—Israel Institute of Technology(以色列理工学院);Nanyang Technological University(南洋理工大学)
本文研究了基于DNA的分布式存储系统中数据在容器故障时的预期恢复时间,通过分析擦除纠正码和彩票收集问题的广义版本,探讨了数据恢复的效率与鲁棒性。
2026-02-07 cs.IT math.IT
Robust Dynamic Coded Distributed Storage with Partially Storage Constrained Servers
针对N台服务器中S台存储容量限制为消息大小1/K_c的部分存储受限场景,本工作基于已有逆命题和可达性方案提出新逆命题与编码设计,完全刻画了鲁棒动态编码分布式存储的基本极限。
2025-11-11 cs.IT math.IT
Multi-Version Coding - An Information Theoretic Perspective of Consistent Distributed Storage
在分布式存储系统到分布式计算的应用和键值存储的实现中,以下属性(通常在计算机科学和工程中被称为一致性)是重要的要求:随着存储的数据改变,数据的最新版本必须可由连接到存储系统的客户端访问。为了研究一致性分布式存储系统的存储代价,本文引入了一种信息论的多版本编码方法。多版本编码的特征在于消息的ν个全序版本和具有n个服务器的存储系统。在每个服务器处,接收并编码对应于v个版本的任意子集的值。对于存储系统中的c服务器的任何子集,与c服务器中的最新公共版本或根据总排序的更高版本相对应的值需要是可解码的。通过线性编码和一个相反的结果,表明该结构是近似紧的,提供了一个可实现的多版本码的结构。相反的含义是,在存储成本方面,为了确保分布式存储系统的一致性,存在不可避免的代价。
2015-10-19 cs.IT math.IT
Private Information Retrieval in Distributed Storage Systems Using an Arbitrary Linear Code
我们提出了一个信息理论的私人信息检索(PIR)计划的分布式存储系统中的数据存储使用的线性系统码的速率$R > 1/2$。该方案概括了PIR计划存储的数据使用最大距离可分离的代码最近提出的Tajeddine和El Rouayheb的情况下,一个间谍节点。我们进一步提出了一种算法,以优化隐私的通信价格(cPoP)使用的结构的底层线性代码。作为一个例子,我们将所提出的算法应用到几个分布式存储代码,表明cPoP可以显着减少利用分布式存储代码的结构。
2017-05-30 cs.IT math.IT
Space-Time Storage Codes for Wireless Distributed Storage Systems
分布式存储系统(DSS)最近获得了很大的兴趣,这要归功于与单设备存储相比的健壮性和可扩展性。大多数相关研究都只关注网络层。与此同时,用户的数量,例如,对等(P2P)和设备到设备(D2D)网络以及基于邻近的服务正在快速增长,并且用户的移动性被认为越来越重要。与现有文献相比,这激发了对无线分布式存储系统的物理层功能的研究。在本文中,我们采取的第一步保护存储修复传输的物理层错误时,传输发生在衰落信道。为此,我们引入了时空存储代码的概念,将网络层和物理层功能的各个方面结合在一起,从而实现跨层鲁棒性。它还指出,现有的空时码是太复杂的存储网络中使用时,所涉及的助手的数量大于接收天线的数量在新人或数据收集器,因此创建一个不太复杂的传输协议的要求。
2014-04-26 cs.IT math.IT
Multi-Rack Distributed Data Storage Networks
分布式存储网络中的大多数工作都假设一个简单的网络模型,其中包含一组相同的存储节点,节点之间具有相同的通信成本。在本文中,我们考虑了一个现实的多机架分布式数据存储网络,并提出了一个代码设计框架,这个模型。考虑到机架内的数据传输成本较低,我们的代码构造方法能够通过仅使用同一机架中幸存的节点来本地修复同一机架内的节点故障。然而,在严重故障模式的情况下,当幸存节点的信息内容不足以修复故障时,其他机架将参与修复过程。通过采用我们的多机架存储代码的标准,我们建立了一个线性规划约束的代码的大小,以最大限度地提高码率。
2019-03-08 cs.IT math.IT