A Framework of Constructions of Minimal Storage Regenerating Codes with the Optimal Access/Update Property
本文提出了一种基于不变子空间技术构造具有两个奇偶节点的系统最小存储再生码的通用框架。在我们的框架中构造的代码不仅包含一些最著名的代码作为特殊情况,但也包括一些新的代码的关键属性,如最佳访问属性和最佳更新属性。特别地,对于单个节点的给定存储容量,新代码中的一个具有最大数量的系统节点,并且新代码中的两个具有最大数量的具有最优更新属性的系统节点。
2015-03-06 cs.IT math.IT
Minimizing the Age of Information Over an Erasure Channel for Random Packet Arrivals With a Storage Option at the Transmitter
我们考虑一个时隙通信系统由一个基站(BS)和一个用户。在每个时隙,更新分组以概率$p$到达BS,并且BS在擦除信道上以概率$q$成功地发送更新分组。我们假设BS具有单位大小的缓冲器,其中BS可以在支付存储成本$c$时存储更新分组。在信息的年龄和存储成本之间存在权衡。我们制定这种权衡作为一个马尔可夫决策过程,并找到一个最佳的开关型存储策略。
2023-01-10 cs.IT cs.NI eess.SP
Private Read-Update-Write with Controllable Information Leakage for Storage-Efficient Federated Learning with Top $r$ Sparsification
在联邦学习(FL)中,机器学习(ML)模型由大量用户使用他们在本地设备中的私有数据集体训练。通过FL中的顶级$r$稀疏化,用户仅上传更新的最重要的$r$部分,并且服务器仅向用户发送参数的最重要的$r'$部分,以便降低通信成本。然而,稀疏更新的值和索引泄漏了关于用户的私有数据的信息。在这项工作中,我们考虑FL设置,其中$N$非共谋数据库存储要训练的模型,用户从其中下载并私下更新稀疏参数,而不向数据库透露更新的值或其索引。我们提出了四种具有不同属性的方案来执行这项任务,同时实现最小的通信成本,并表明稀疏更新的值和位置的信息理论隐私可以得到保证。然而,这是以相当大的存储成本来实现的。为了缓解这一点,我们推广的计划,以这样一种方式,存储成本降低了一定量的信息泄漏的代价,使用模型分割机制。在一般情况下,我们提供的通信成本,存储成本和信息泄漏之间的权衡在私人FL与顶部$r$稀疏。
2023-03-07 cs.CR cs.IT cs.NI
Robust Dynamic Coded Distributed Storage with Partially Storage Constrained Servers
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
针对N台服务器中S台存储容量限制为消息大小1/K_c的部分存储受限场景,本工作基于已有逆命题和可达性方案提出新逆命题与编码设计,完全刻画了鲁棒动态编码分布式存储的基本极限。
2025-11-11 cs.IT math.IT
Update Bandwidth for Distributed Storage
本文研究了分布式存储系统的更新带宽问题.测量DSS中更新过程的传输效率的更新带宽被定义为当存储在节点中的数据符号被更新时在网络中传输的数据符号的总量。本文件包含以下贡献。首先,我们建立了不规则阵列码所能达到的最小更新带宽的封闭表达式。其次,在定义了一类能实现非规则阵列码最小更新带宽的非规则阵列码(称为最小更新带宽MUB码)后,确定了MUB码所能达到的最小码冗余度。第三,确定了使不规则阵列码的最小码冗余度和MUB码的最小码冗余度相等的码参数,从而将MR-MUB码定义为一类同时实现最小码冗余度和最小更新带宽的不规则阵列码。第四,我们介绍了显式码构造的MR-MUB码和MUB码的最小码冗余。第五,我们建立了MR-MUB码的更新复杂度的下界,该下界可用于证明非规则阵列码的最小更新复杂度可能无法由MR-MUB码实现。最后,我们构造了一类$(n = k + 2, k)$垂直最大距离可分(MDS)阵列码,该阵列码能够同时实现非规则阵列码的最小码冗余、最小更新带宽和最优修复带宽。
2020-05-25 cs.IT math.IT
Information-Theoretically Private Federated Submodel Learning with Storage Constrained Databases
针对多非共谋数据库存储受限的联邦子模型学习,提出兼顾更新索引与更新值信息论隐私的读写及存储方案,以最小化总通信成本。
2023-07-12 cs.CR cs.IT cs.NI
Private Read Update Write (PRUW) With Heterogeneous Databases
研究了联邦子模型学习中异构存储受限数据库的私有读更新写问题。在FSL中,机器学习(ML)模型根据用于训练它的不同类型的数据被划分为多个子模型。给定的用户根据用户的本地数据类型下载、更新并将更新上传回感兴趣的单个子模型。使用PRUW,执行读取(下载)和写入(上传)的过程,从而保证更新子模型索引和更新值的信息理论隐私。我们考虑的实际情况下,子模型存储在数据库中的任意(异构)存储约束,并提供一个PRUW计划的存储机制,利用子模型分区和编码,以尽量减少通信成本。
2023-02-07 cs.CR cs.IT cs.NI
Update-Efficient Regenerating Codes with Minimum Per-Node Storage
代码再生技术为分布式存储系统中故障节点的数据恢复提供了一种有效的方法。已经表明,再生代码可以被设计为最小化每个节点的存储(称为MSR)或最小化再生的通信开销(称为MBR)。在这项工作中,我们提出了一个新的编码方案的[n,d]纠错MSR码,推广了我们的早期工作的纠错再生码。证明了通过选择合适的对角矩阵,任意的RS码的生成矩阵都可以被合并到RS码的编码矩阵中.本文还提出了一种利用[n,α] RS码进行数据重构的高效译码方案。所提出的解码方案具有更好的纠错能力,并招致最少的节点访问时,错误的存在。
2013-01-11 cs.DM cs.IT math.IT
Linear Programming Bounds for Distributed Storage Codes
局部可修码的一个主要问题是其鲁棒性。如果本地维修组无法执行维修过程,这将导致维修成本增加。因此,一个局部可修复的代码有多个修复组是至关重要的。在本文中,我们考虑强大的本地可修复的编码方案,保证存在多个不同的(不一定不相交)替代本地修复组的任何单一的故障,使故障节点仍然可以修复本地,即使一些修复组不可用。我们使用线性规划技术来建立这些代码的代码大小的上限。我们还提供了两个例子,强大的本地可修复的代码是最佳的关于我们的线性规划界。此外,我们解决了分布式数据存储网络的更新效率问题。对存储数据的任何修改都将导致更新存储节点的内容。因此,必须最小化需要通过存储数据中的任何变化来更新的节点的数量。研究了更新有效存储码的性质,建立了更新有效局部可修存储码存在的必要条件。
2019-04-06 cs.IT math.IT
Compressed Differential Erasure Codes for Efficient Archival of Versioned Data
在本文中,我们研究了在分布式存储系统中以可靠和有效的方式存储版本化数据存档的问题。我们提出了一种新的存储技术,称为差分擦除编码(DEC),其中存储的是后续版本之间的差异(增量),而不是整个对象,类似于一个典型的增量编码技术。然而,与增量编码技术不同,DEC机会主义地利用稀疏性(即,当两个连续版本之间的差异具有很少的非零条目时)在更新中使用与擦除编码一起应用的压缩感测技术来存储增量。我们首先表明,DEC提供了显着的节省版本化数据的存储大小时,更新模式的特点是就地更改。随后,我们提出了一个实用的DEC框架,以获得存储大小的好处,不仅对就地更改,而且对现实世界的更新模式,如插入和删除,改变整体数据大小。我们进行实验与几个合成的工作负载,以证明DEC的实际变体提供了显着减少存储开销(高达60\%,取决于工作负载)相比,基线存储系统,它采用了从Rsync,增量编码技术的概念,存储和同步数据在网络上。
2015-03-17 cs.DC cs.IT math.IT
Quorum Sensing for Regenerating Codes in Distributed Storage
具有复制的分布式存储系统以存储大量数据而闻名。为了提供可靠性,进行了大量的复制。这使得系统昂贵。随着时间的推移,已经提出了各种方法来降低复制程度,但提供相同的可靠性水平。最近提出的一个方案是再生代码,其中文件被分成多个部分,然后通过编码机制和网络编码来处理这些部分,以提供大量的部分。这些存储在各个节点上,每个节点上有多个部分。这些代码可以生成整个文件,并可以通过联系一些现有的节点来修复故障节点。此属性可确保节点故障时的可靠性,并使用智能复制。这也优化了带宽使用。在实际场景中,原始文件将被多次读取和更新。每次更新,我们都必须更新存储在许多节点上的数据。同时处理多个请求会带来很大的复杂性。还应防止同时对同一数据进行读写或多次写入。在本文中,我们提出了一个算法,管理和执行所有的用户的请求,降低了更新的复杂性。同时,我们也在努力保持足够的可用性。我们使用基于投票的机制,并形成读,写和修复法定人数。我们还对再生码进行了概率分析。
2013-09-28 cs.DC cs.IT math.IT
Communication Cost for Updating Linear Functions when Message Updates are Sparse: Connections to Maximally Recoverable Codes
我们考虑一个通信问题,其中更新的源消息需要传达到一个或多个远程接收器,有兴趣在保持特定的线性函数的源消息。该设置是其中更新本质上是稀疏的设置,并且其中源和接收器都不知道确切的{ \em差向量},而仅知道存在于差向量中的稀疏量。在这种情况下,我们感兴趣的是设计线性编码和解码方案,使所涉及的通信成本最小化。我们表明,这个问题的最佳解决方案是密切相关的概念,最大限度地恢复代码(MRC),这是最初介绍的存储系统编码的上下文中。在存储的上下文中,当系统被部分地约束为在存储节点之间具有本地奇偶校验关系时,MRC保证最佳擦除保护。在我们的问题中,我们证明了最优解存在的充要条件是某些类型的MRC(由所需的线性函数确定)存在。我们考虑点对点和广播版本的问题,并确定这些设置下的连接到MRC。对于点对点的设置,我们表明,我们的线性编码器为基础的可实现的计划是最佳的,即使非线性编码是允许的。该理论在更新擦除编码存储节点的上下文中示出。我们提出的例子的基础上,现代存储代码,如最小带宽再生码。
2018-08-05 cs.IT math.IT
Model Segmentation for Storage Efficient Private Federated Learning with Top $r$ Sparsification
在具有顶级$r$稀疏化的联邦学习(FL)中,数百万用户集体训练本地机器学习(ML)模型,使用他们的个人数据,仅传输更新的最重要的$r$部分,以降低通信成本。已经表明,这些选定的(稀疏的)更新的值以及索引泄露了关于用户的个人数据的信息。在这项工作中,我们研究了不同的方法来进行用户数据库通信在FL与顶级$r$稀疏有效地,同时保证信息理论的隐私用户的个人数据。这些方法产生相当大的存储成本。作为一种解决方案,我们提出了两个方案具有不同的属性,使用MDS编码存储以及模型分割机制,以减少存储成本的代价,可控量的信息泄漏,执行私人FL与顶部$r$稀疏化。
2022-12-22 cs.CR cs.IT cs.NI
How to Read and Update Coded Distributed Storage Robustly and Optimally?
本文研究稳健动态编码分布式存储(RDCDS)问题,推导出更新阈值、读取下载成本和更新上传成本的最优下界,并基于阶梯码思想构造了同时达到这些下界的方案。
2024-08-21 cs.IT math.IT
Founsure 1.0: An Erasure Code Library with Efficient Repair and Update Features
Foundure是一个开源的软件库,它实现了完全基于快速异或(XOR)逻辑的多维基于图的擦除编码。它的实现利用编译器优化和多线程来为给定的具有向量处理能力的多核CPU架构生成正确的汇编代码。Foundure具有重要的功能,这些功能将在现代数据存储、通信和联网计算机系统中找到各种应用,其中数据需要保护以防止设备、硬件和节点故障。随着数据规模达到前所未有的水平,这些系统对网络带宽、计算资源和平均功耗的需求越来越大。为了解决这一问题,所提出的库提供了一个三维设计空间,该空间权衡了计算复杂性、编码开销和数据/节点修复带宽,以满足现代分布式数据存储和处理系统的不同要求。Foundure库支持高效的编码、解码、修复/重建和更新,同时所有所需的数据存储和计算都分布在网络节点上。
2021-01-13 cs.IT math.IT
Synchronizing Edits in Distributed Storage Networks
我们考虑的问题,在分布式存储网络的编辑模型下,包括删除和插入的数据同步。我们提出了两个修改MDS,再生和本地可修复的代码,允许更新的奇偶校验值进行一轮的通信在低比特率和使用小的存储开销。我们的主要贡献是新的协议同步热和半静态数据和协议的数据重复数据删除应用程序,基于中间置换,范德蒙和柯西矩阵编码。
2014-09-04 cs.DC cs.IT math.IT
Learning-Enhanced Composite DNA Data Storage Under Sampling Randomness and IDS Errors
CentraleSupélec Rennes Campus(中央苏裴勒雷恩校区);IETR-UMR CNRS 6164;Bilkent University(比尔肯特大学)
本研究提出了一种在采样随机性、替换和插入-删除误差下稳健的复合DNA存储方法,通过建模为多项式信道并采用信道编码技术,提高了存储可靠性。
2026-09-09 cs.IT math.IT
CausalEC: A Causally Consistent Data Storage Algorithm based on Cross-Object Erasure Coding
首次提出基于跨对象纠删码的因果一致性数据存储算法CausalEC,在异步系统中通过任意线性纠删码实现本地写操作与非阻塞读操作,兼顾活性、容错性与存储效率。
2023-05-20 cs.DC cs.IT math.IT
When Can Helper Node Selection Improve Regenerating Codes? Part I: Graph-Based Analysis
再生码可以显著降低分布式存储网络的修复带宽。最初,RC的分析是基于这样的假设,即在修复过程中,新来者不区分(在所有幸存的节点中)要访问哪些节点,即,新来者不知道正在使用的助手集。这种方案被称为盲辅助选择(BHS)方案。尽管如此,在实践中,新来者应该选择只访问那些“好”的助手。在这两部分的论文中,给出了一个新的表征选择的帮助节点的存储带宽权衡的效果。具体而言,以下基本问题的答案是:在什么条件下主动选择的助手节点提高存储带宽的权衡?通过基于图形的分析,这第一部分回答了这个问题,提供了一个充分必要条件下,最佳选择良好的助手严格提高了存储带宽的权衡。一个低复杂度的助手选择解决方案,称为家庭助手选择(FHS)计划,提出了相应的存储/修复带宽曲线的特点。本文还证明了在一定的设计参数下,FHS方案确实是所有辅助选择方案中的最优方案。在第二部分的论文中,提出了一个明确的建设一个确切的修复代码,实现最小带宽再生(MBR)点的FHS计划。新的精确修复码可以看作是现有分数重复码的推广。
2016-04-27 cs.IT math.IT
When and By How Much Can Helper Node Selection Improve Regenerating Codes?
再生码可以显著降低分布式存储网络的修复带宽。最初,RC的分析是基于这样的假设,即在修复过程中,新来者不区分(在所有幸存的节点中)要访问哪些节点,即,新来者不知道正在使用的助手集。这种方案被称为盲修复(BR)方案。尽管如此,在实践中,新来者应该选择只访问那些“好”的助手。在本文中,一个新的表征选择的帮助节点的存储带宽权衡的影响。具体来说,回答以下基本问题:在什么条件下主动选择的助手节点,提高存储带宽的权衡?这种改善可以通过分析量化吗?本文回答了前一个问题,提供了一个充分必要条件下,最佳选择良好的助手严格提高了存储带宽的权衡。为了回答后一个问题,一个低复杂度的助手选择解决方案,被称为家庭修复(FR)计划,提出了相应的存储/修复带宽曲线的特点。例如,考虑具有60个节点总数的分布式存储网络,并且该网络对于50个节点故障具有弹性。如果辅助节点的数量是10,那么FR方案及其变体与BR解决方案相比,修复带宽减少了27%。本文还证明了在一定的设计参数下,FR方案确实是所有辅助选择方案中的最优方案。还提出了一个明确的建设的确切修复码,可以实现最小带宽再生点的FR计划。新的精确修复码可以看作是现有分数重复码的推广。
2014-09-05 cs.IT math.IT
Harnessing Correlations in Distributed Erasure-Coded Key-Value Stores
受分布式存储系统应用于键值存储的启发,多版本编码问题被公式化以有效地在异步分散存储系统中存储频繁更新的数据。受分布式系统中一致性要求的启发,多版本编码问题的主要目标是确保数据的最新版本是可解码的,即使数据更新尚未到达系统中的某些服务器。在本文中,我们研究的存储成本,确保一致性的情况下,数据版本是相关的,在以前的工作中,数据版本被视为独立的。我们提供了多版本的代码结构,表明存储成本可以显着小于以前的结构,这取决于相关程度,尽管是分布式和分散的性质。我们的可实现性结果基于里德-所罗门码和随机分组。通过信息理论的逆,我们表明,我们的多版本代码是接近最优的,在$2$的一个因素,在某些有趣的制度。
2019-03-09 cs.IT math.IT
Update-Efficient Error-Correcting Product-Matrix Codes
代码再生技术为分布式存储系统中故障节点的数据恢复提供了一种有效的方法。已经表明,再生代码可以被设计为最小化每个节点的存储(称为MSR)或最小化再生的通信开销(称为MBR)。在这项工作中,我们提出了新的编码方案的$[n,d]$纠错MSR和MBR码,推广我们以前的工作纠错再生码。我们表明,通过选择一个合适的对角矩阵,任何生成矩阵的$[n,α]$里德所罗门(RS)码可以集成到编码矩阵。利用$[n,k]$码和$[n,d]$ RS码的生成多项式的系数,提出了一种更新复杂度最小的MBR码编码方案。提出了一种利用$[n,α]$ RS码对MSR码进行数据重构的译码方案。所提出的解码方案具有更好的纠错能力,并招致最少的节点访问时,错误的存在。本文还针对MBR码提出了一种新的译码方案,该方案可以纠正更多的错误模式。
2014-06-25 cs.IT math.IT
Harnessing Correlations in Distributed Erasure Coded Key-Value Stores
受分布式存储系统应用于基于云的键值存储的启发,多版本编码问题最近已经被制定为在异步分散存储系统中有效地存储频繁更新的数据。受分布式系统中一致性要求的启发,多版本编码的主要目标是确保数据的最新版本是可解码的,即使数据更新尚未到达系统中的某些服务器。在本文中,我们研究的存储成本,确保一致性的情况下,数据版本是相关的,在以前的工作中,数据版本被视为独立的。我们提供了多版本的代码结构,表明存储成本可以显着小于以前的结构,这取决于不同版本的数据之间的相关程度。我们的可实现性结果基于里德-所罗门码和随机分组。通过信息论的逆,我们表明,我们的多版本码在某些制度是接近最优的。
2019-03-09 cs.IT math.IT
Optimal Locally Repairable Codes with Improved Update Complexity
对于系统纠删码,更新复杂度(UC)被定义为当某些信息块被更新时需要改变的奇偶校验块的最大数目。局部可修码(LRC)最近被提出并应用于实际的分布式存储系统中。本文研究了最优LRC码的更新复杂度,并根据码的长度(n)、维数(k)、最小距离(d)和局部性(r)给出了UC的上、下界,当(r+1)|n.此外,提出了一类具有小UC的最优LRC。我们提出的LRC可能会引起人们的兴趣,因为它们在不牺牲代码最优性的情况下提高了UC。
2016-07-14 cs.IT math.IT
Malleable Coding with Fixed Reuse
在云计算、存储区域网络、远程备份存储和类似的设置中,存储的数据用来自新版本的更新来修改。表示信息和修改表示都是昂贵的。因此,希望数据不仅被压缩,而且在更新期间容易被修改。可延展编码方案考虑了压缩效率和易于改变,促进码字重用。我们研究压缩效率和延展性成本之间的权衡-同步压缩版本的难度-作为重复使用的前缀部分的长度测量。通过编码定理,可实现的速率和延展性的区域表示为单字母优化。还描述了与常见信息问题的关系。
2011-05-09 cs.IT math.IT
Federated Split Learning with Improved Communication and Storage Efficiency
Charles L. Brown Department of Electrical and Computer Engineering, University of Virginia(弗吉尼亚大学电气与计算机工程系查尔斯·L·布朗部门)
本文提出 CSE-FSL 方法,通过辅助网络本地更新客户端权重并在服务器端保持单一模型,同时选择性传输 smashed data,以降低联邦分割学习的通信与存储开销,并在非凸损失下保证收敛。
2025-07-21 cs.IT cs.LG cs.NI
Almost Universal Hash Families are also Storage Enforcing
我们证明了几乎所有的散列函数都具有存储强制属性。几乎通用的散列函数已经找到了许多应用程序,我们表明,这种新的存储执行属性允许在广泛的远程验证任务中应用几乎通用的散列函数:(一)安全擦除证明(我们希望远程删除并安全更新内存受限对手的受损机器的代码),(ii)所有权证明(其中存储服务器想要在允许访问去重数据之前检查客户端是否具有其声称具有的数据)和(iii)数据拥有(其中客户端想要验证远程存储服务器是否正在存储其数据)。具体而言,在经典数据占有问题中的存储强制保证消除了存储服务器通过节省存储空间来欺骗客户端的任何实际动机。我们的结果的证明依赖于Kolmogorov复杂性和列表解码的自然组合。据我们所知,这是第一个结合这两种技术的作品。我们相信,新引入的几乎通用的散列函数的存储执行属性将打开令人兴奋的研究在内存有界(有界存储)的对手模型有前途的途径。
2012-05-07 cs.CC cs.IT math.IT