arXiv 2206.034682022-06-07cs.ITcs.CRcs.NIeess.SPmath.IT

联邦子模型学习中私有读更新写的率失真折衷

Rate Distortion Tradeoff in Private Read Update Write in Federated Submodel Learning

Sajani Vithana, Sennur Ulukus

摘要：

我们调查的率失真权衡私人读更新写（PRUW）联邦子模型学习（FSL）。在FSL中，机器学习（ML）模型基于用于训练的不同类型的数据被划分为多个子模型。每个用户只下载和更新与其本地数据相关的子模型。下载和更新所需的子模型，同时保证子模型索引和更新值的隐私的过程被称为PRUW。在这项工作中，我们研究如何PRUW的通信成本可以降低时，一个预先确定的失真量是允许在读取（下载）和写入（上传）阶段。我们的特点率失真权衡PRUW随着一个计划，实现了最低的通信成本，同时在给定的失真预算下工作。

英文摘要：

We investigate the rate distortion tradeoff in private read update write (PRUW) in relation to federated submodel learning (FSL). In FSL a machine learning (ML) model is divided into multiple submodels based on different types of data used for training. Each user only downloads and updates the submodel relevant to its local data. The process of downloading and updating the required submodel while guaranteeing privacy of the submodel index and the values of updates is known as PRUW. In this work, we study how the communication cost of PRUW can be reduced when a pre-determined amount of distortion is allowed in the reading (download) and writing (upload) phases. We characterize the rate distortion tradeoff in PRUW along with a scheme that achieves the lowest communication cost while working under a given distortion budget.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

异构数据库的私有读更新写（PRUW）

Private Read Update Write (PRUW) With Heterogeneous Databases

研究了联邦子模型学习中异构存储受限数据库的私有读更新写问题。在FSL中，机器学习（ML）模型根据用于训练它的不同类型的数据被划分为多个子模型。给定的用户根据用户的本地数据类型下载、更新并将更新上传回感兴趣的单个子模型。使用PRUW，执行读取（下载）和写入（上传）的过程，从而保证更新子模型索引和更新值的信息理论隐私。我们考虑的实际情况下，子模型存储在数据库中的任意（异构）存储约束，并提供一个PRUW计划的存储机制，利用子模型分区和编码，以尽量减少通信成本。

2023-02-07cs.CRcs.ITcs.NI

存储受限数据库的专用读更新写（PRUW）

Private Read Update Write (PRUW) with Storage Constrained Databases

我们研究了存储受限数据库中与联邦子模型学习（FSL）相关的私有读更新写（PRUW）问题。在PRUW中，用户私下从包含$M$子模型的$N$数据库系统中读取子模型，在本地更新它，并将更新写回数据库，而不泄露子模型索引或更新的值。在这个问题中考虑的数据库只允许存储由任意存储约束指定的给定量的信息。我们提供了一个存储机制，确定每个数据库的内容之前的应用程序的PRUW计划，使总的通信成本最小化。我们表明，所提出的存储方案实现了较低的总成本相比，通过使用\emph{coded storage}或\emph{divided storage}，以满足给定的存储约束。

2022-02-07cs.CRcs.ITcs.NI

联邦子模型学习（FSL）中的私有读更新写（PRUW）：有和没有稀疏化的通信有效方案

Private Read Update Write (PRUW) in Federated Submodel Learning (FSL): Communication Efficient Schemes With and Without Sparsification

我们研究了与私有联邦子模型学习（FSL）相关的私有读更新写（PRUW）问题，其中机器学习模型根据用于训练模型的不同类型的数据被划分为多个子模型。在PRUW中，每个用户在读取阶段下载所需的子模型而不显示其索引，并在写入阶段上传子模型的更新而不显示子模型索引或更新的值。在这项工作中，我们首先提供了一个基本的通信效率PRUW计划，并研究通过稀疏化进一步降低通信成本的手段。梯度稀疏化是学习应用中广泛使用的概念，其中仅下载和更新选定的一组参数，这显著降低了通信成本。在本文中，我们研究如何稀疏化的概念可以被纳入私人FSL的目标是降低通信成本，同时保证信息理论的隐私更新的子模型索引以及更新的值。为此，我们介绍了两种方案：PRUW与顶部$r$稀疏和PRUW与随机稀疏。前者仅在服务器和用户之间传送最重要的参数/更新，而后者传送随机选择的参数/更新集。这两个建议的计划引入了新的技术，如参数/更新（噪声）置换处理的额外来源的信息泄漏在PRUW所造成的稀疏化。这两种方案的结果显着降低通信成本相比，基本（非稀疏）PRUW计划。

2022-09-09cs.CRcs.ITcs.NI

基于稀疏化的私有联邦子模型学习

Private Federated Submodel Learning with Sparsification

University of Maryland, College Park（马里兰大学帕克分校）

研究了稀疏化联邦子模型学习中的私有读更新写问题。在FSL中，机器学习模型被划分为多个子模型，其中每个用户仅更新与用户的本地数据相关的子模型。PRUW是通过读取和写入所需的子模型而不泄露子模型索引或数据库更新值来私下执行FSL的过程。稀疏化是学习中广泛使用的概念，其中用户仅更新一小部分参数以减少通信成本。揭示这些选定（稀疏）更新的坐标会泄露用户的隐私。我们展示了如何PRUW在FSL可以进行稀疏化。我们提出了一种新的方案，私人读取和写入任意参数的任何给定的子模型，而不透露子模型索引，更新值，或坐标的稀疏更新，数据库。所提出的方案实现了显着降低读写成本相比，实现没有稀疏化。

2022-05-31cs.CRcs.ITcs.LG

具有存储受限数据库的信息论隐私联邦子模型学习

Information-Theoretically Private Federated Submodel Learning with Storage Constrained Databases

针对多非共谋数据库存储受限的联邦子模型学习，提出兼顾更新索引与更新值信息论隐私的读写及存储方案，以最小化总通信成本。

2023-07-12cs.CRcs.ITcs.NI

$X$ -安全的$T$ -具有弹性丢弃恢复能力的私有联邦子模型学习

$X$-Secure $T$-Private Federated Submodel Learning with Elastic Dropout Resilience

最近的兴趣在联邦子模型学习的动机，这项工作探讨了基本的问题，私人读取和写入数据库组成的$K$文件（子模型），存储在$N$分布式服务器根据$X$ -安全的阈值秘密共享计划。一个接一个地，各种用户希望检索他们想要的文件，本地处理信息，然后更新分布式数据库中的文件，同时保持他们想要的文件的身份对任何一组多达$T$的串通服务器是私有的。服务器的可用性随着时间的推移而变化，因此需要弹性的丢包恢复能力。这项工作的主要贡献是一个自适应方案，称为ACSA-RW，它利用所有当前可用的服务器来降低其通信成本，在每次写入操作后完全更新数据库，即使数据库由于服务器退出而只能部分访问，并确保网络的无记忆操作，在这个意义上，存储结构被保留，未来的用户可以保持对过去的遗忘服务器退出的历史记录。ACSA-RW构造建立在最初为XSTPIR引入的CSA代码的基础上，并且已被证明是安全分布式矩阵乘法问题的自然解决方案。ACSA-RW实现了所需的私有读和写功能，具有弹性的丢包恢复能力，与PIR文献中私有读的最佳结果相匹配，在私有写的可用基线基础上进行了显著改进，揭示了上传和下载成本之间的惊人对称性，并利用冗余存储尺寸来容纳高达特定阈值的任意读写丢包服务器。它还肯定地回答了Kairouz等人提出的一个开放性问题。通过利用私有读写操作的联合设计的协同收益。

2021-03-22cs.ITmath.IT

更多相关论文收起更多论文

基于私有集合联合的私有联邦子模型学习

Private Federated Submodel Learning via Private Set Union

我们考虑联邦子模型学习（FSL）问题，并提出了一种方法，客户端能够更新理论上的中央模型信息。我们的方法是基于私有集并（PSU），这是进一步基于多消息对称私有信息检索（MM-SPIR）。服务器有两个非合谋的数据库，它们以复制的方式保存模型。在我们的方案中，服务器除了了解客户端更新的子模型子集之外，不会进一步了解任何东西：服务器不知道哪个客户端更新了哪个子模型，也不知道任何关于本地客户端数据的信息。与Jia-Jafar和Vithana-Ulukus的私有FSL方案相比，我们的方案不需要在数据库中存储模型的噪声;与Zhao-Sun的安全聚合方案相比，我们的方案不需要预先分配客户端公共随机性，相反，我们的方案通过随机SPIR和一次性密码本创建所需的客户端公共随机性。该协议从公共随机性生成（CRG）阶段开始，其中两个数据库使用RSPIR和一次性密码本在客户端建立公共随机性（该阶段称为FSL-CRG）。接下来，客户端利用所建立的客户端侧公共随机性来使服务器私下确定要由客户端集体更新的子模型的索引的并集（该阶段被称为FSL-PSU）。然后，两个数据库将集合联合中的子模型的当前版本广播给客户端。客户端基于其本地训练数据更新子模型。最后，客户端使用FSL-PSU的变体将更新私下写回数据库（此阶段称为FSL-write）。我们建议的私人FSL计划是强大的客户端辍学，客户端迟到，和数据库辍学。

2023-01-18cs.CRcs.DBcs.IT

分布式存储系统中的完全鲁棒联邦子模型学习

Fully Robust Federated Submodel Learning in a Distributed Storage System

针对分布式存储FSL中的窃听与数据库故障问题，提出基于RSRC编码并结合PSU的分布式联邦子模型学习方案，兼顾安全、修复及多类掉线与主动攻击鲁棒性。

2023-06-08cs.CRcs.DBcs.IT

基于$r$稀疏化的高效联邦学习中信息泄漏可控的私有读-更新-写

Private Read-Update-Write with Controllable Information Leakage for Storage-Efficient Federated Learning with Top $r$ Sparsification

在联邦学习（FL）中，机器学习（ML）模型由大量用户使用他们在本地设备中的私有数据集体训练。通过FL中的顶级$r$稀疏化，用户仅上传更新的最重要的$r$部分，并且服务器仅向用户发送参数的最重要的$r'$部分，以便降低通信成本。然而，稀疏更新的值和索引泄漏了关于用户的私有数据的信息。在这项工作中，我们考虑FL设置，其中$N$非共谋数据库存储要训练的模型，用户从其中下载并私下更新稀疏参数，而不向数据库透露更新的值或其索引。我们提出了四种具有不同属性的方案来执行这项任务，同时实现最小的通信成本，并表明稀疏更新的值和位置的信息理论隐私可以得到保证。然而，这是以相当大的存储成本来实现的。为了缓解这一点，我们推广的计划，以这样一种方式，存储成本降低了一定量的信息泄漏的代价，使用模型分割机制。在一般情况下，我们提供的通信成本，存储成本和信息泄漏之间的权衡在私人FL与顶部$r$稀疏。

2023-03-07cs.CRcs.ITcs.NI

WOM代码何时改善了闪存中的擦除因子？

When Do WOM Codes Improve the Erasure Factor in Flash Memories?

闪存是一种只写一次的介质，其中对单元进行重新编程需要首先擦除包含它们的块。闪存的寿命是块擦除次数的函数，可以小到几千次。为了减少块擦除的数量，作为最小写入单元的页在存储器中被重写。一次写入存储器（WOM）代码是一种编码方案，其使得能够在擦除之前多次写入块。然而，这些代码具有显著的速率损失。例如，写入两次的速率（具有相同的速率）最多为0.77。在本文中，我们研究WOM码和他们之间的权衡率损失和减少块擦除的数量，当页面均匀随机写入。首先，我们引入了一个新的措施，称为擦除因子，它反映了块擦除的数量和每个块上可以写入的数据量。在我们的分析中的一个关键点是，这种权衡取决于内存中的WOM代码的具体实现。我们考虑两个系统，使用WOM代码，一个传统的计划，通常使用，和一个新的最近的设计，保留了整体的存储容量。虽然第一个系统可以提高擦除因子，只有当存储速率是最多0.6442，我们表明，第二个方案总是提高这个品质因数。

2015-04-22cs.ITmath.IT

具有最优折衷的分布式存储算法

Distributed storage algorithms with optimal tradeoffs

分布式存储系统的主要目标之一是使用大量$N$的不可靠存储节点在长持续时间内可靠地存储大量源数据，每个不可靠存储节点具有$c$位的存储容量。存储节点随时间随机失效，并被初始化为零的相等容量的节点替换，因此位以一定速率$e$擦除。为了维持源数据的可恢复性，修复器以平均速率$r$通过网络从节点连续地读取数据，并且基于所读取的数据生成数据并将数据写入节点。分布式存储源容量是可以长期可靠存储的最大源量。已有的研究表明，随着$N$和$r$的增长，分布式存储源容量渐近最多为$\left(1-\frac{e}{2 \cdot r}\right) \cdot N \cdot c$。在这项工作中，我们介绍和分析算法，使渐近的分布式存储源数据容量至少是上述方程。因此，上述等式表达了网络流量和存储开销之间的基本权衡，以可靠地存储源数据。

2021-01-13cs.DScs.IRcs.IT

顺序存取数据压缩的新算法和下界

New Algorithms and Lower Bounds for Sequential-Access Data Compression

本论文研究的是顺序存取数据压缩技术，通过从头到尾读取输入一次或多次的算法。在一章中，我们考虑自适应前缀编码，对于这种编码，我们必须逐个字符地读取输入字符，在读取下一个字符之前输出每个字符的自定界码字。我们展示了如何在恒定的最坏情况下的时间编码和解码每个字符，同时产生一个编码的长度是最坏情况下的最佳。在另一章中，我们考虑一次通过压缩与内存的字母表大小和上下文长度的限制，并证明了一个几乎紧密的权衡之间的内存量，我们可以使用和压缩的质量，我们可以实现。在第三章中，我们考虑在读/写流模型中的压缩，它允许我们在输入的大小上传递和存储多对数。我们首先展示如何实现通用压缩，只使用一个通过一个流。然后，我们表明，一个流是不足以实现良好的基于语法的压缩。最后，我们表明，两个流是必要的和充分的实现熵的唯一界限。

2009-02-01cs.ITmath.IT