首页/论文/2008.07656

arXiv 2008.076562020-08-17cs.ITmath.IT

联邦子模型学习中的信息论隐私

Information-Theoretic Privacy in Federated Submodel learning

Minchul Kim, Jungwoo Lee

备注：: 4 pages, 1 figure

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们考虑联邦子模型学习中的信息论隐私，其中全局服务器具有多个子模型。与传统联邦子模型学习中采用安全聚合来保证隐私的隐私性相比，信息论隐私性对本地机器的子模型选择提供了更强的保护。我们提出了一个可实现的计划，部分采用传统的私人信息检索（PIR）计划，实现最小的下载量。关于计算和通信开销，我们比较了可实现的计划与一个天真的方法，联邦子模型学习与信息理论的隐私。

英文摘要：

We consider information-theoretic privacy in federated submodel learning, where a global server has multiple submodels. Compared to the privacy considered in the conventional federated submodel learning where secure aggregation is adopted for ensuring privacy, information-theoretic privacy provides the stronger protection on submodel selection by the local machine. We propose an achievable scheme that partially adopts the conventional private information retrieval (PIR) scheme that achieves the minimum amount of download. With respect to computation and communication overhead, we compare the achievable scheme with a naive approach for federated submodel learning with information-theoretic privacy.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

联邦子模型学习中私有读更新写的率失真折衷

Rate Distortion Tradeoff in Private Read Update Write in Federated Submodel Learning

我们调查的率失真权衡私人读更新写（PRUW）联邦子模型学习（FSL）。在FSL中，机器学习（ML）模型基于用于训练的不同类型的数据被划分为多个子模型。每个用户只下载和更新与其本地数据相关的子模型。下载和更新所需的子模型，同时保证子模型索引和更新值的隐私的过程被称为PRUW。在这项工作中，我们研究如何PRUW的通信成本可以降低时，一个预先确定的失真量是允许在读取（下载）和写入（上传）阶段。我们的特点率失真权衡PRUW随着一个计划，实现了最低的通信成本，同时在给定的失真预算下工作。

2022-06-07cs.CRcs.ITcs.NI

基于稀疏化的私有联邦子模型学习

Private Federated Submodel Learning with Sparsification

University of Maryland, College Park（马里兰大学帕克分校）

研究了稀疏化联邦子模型学习中的私有读更新写问题。在FSL中，机器学习模型被划分为多个子模型，其中每个用户仅更新与用户的本地数据相关的子模型。PRUW是通过读取和写入所需的子模型而不泄露子模型索引或数据库更新值来私下执行FSL的过程。稀疏化是学习中广泛使用的概念，其中用户仅更新一小部分参数以减少通信成本。揭示这些选定（稀疏）更新的坐标会泄露用户的隐私。我们展示了如何PRUW在FSL可以进行稀疏化。我们提出了一种新的方案，私人读取和写入任意参数的任何给定的子模型，而不透露子模型索引，更新值，或坐标的稀疏更新，数据库。所提出的方案实现了显着降低读写成本相比，实现没有稀疏化。

2022-05-31cs.CRcs.ITcs.LG

$X$ -安全的$T$ -具有弹性丢弃恢复能力的私有联邦子模型学习

$X$-Secure $T$-Private Federated Submodel Learning with Elastic Dropout Resilience

最近的兴趣在联邦子模型学习的动机，这项工作探讨了基本的问题，私人读取和写入数据库组成的$K$文件（子模型），存储在$N$分布式服务器根据$X$ -安全的阈值秘密共享计划。一个接一个地，各种用户希望检索他们想要的文件，本地处理信息，然后更新分布式数据库中的文件，同时保持他们想要的文件的身份对任何一组多达$T$的串通服务器是私有的。服务器的可用性随着时间的推移而变化，因此需要弹性的丢包恢复能力。这项工作的主要贡献是一个自适应方案，称为ACSA-RW，它利用所有当前可用的服务器来降低其通信成本，在每次写入操作后完全更新数据库，即使数据库由于服务器退出而只能部分访问，并确保网络的无记忆操作，在这个意义上，存储结构被保留，未来的用户可以保持对过去的遗忘服务器退出的历史记录。ACSA-RW构造建立在最初为XSTPIR引入的CSA代码的基础上，并且已被证明是安全分布式矩阵乘法问题的自然解决方案。ACSA-RW实现了所需的私有读和写功能，具有弹性的丢包恢复能力，与PIR文献中私有读的最佳结果相匹配，在私有写的可用基线基础上进行了显著改进，揭示了上传和下载成本之间的惊人对称性，并利用冗余存储尺寸来容纳高达特定阈值的任意读写丢包服务器。它还肯定地回答了Kairouz等人提出的一个开放性问题。通过利用私有读写操作的联合设计的协同收益。

2021-03-22cs.ITmath.IT

具有存储受限数据库的信息论隐私联邦子模型学习

Information-Theoretically Private Federated Submodel Learning with Storage Constrained Databases

针对多非共谋数据库存储受限的联邦子模型学习，提出兼顾更新索引与更新值信息论隐私的读写及存储方案，以最小化总通信成本。

2023-07-12cs.CRcs.ITcs.NI

联邦子模型学习（FSL）中的私有读更新写（PRUW）：有和没有稀疏化的通信有效方案

Private Read Update Write (PRUW) in Federated Submodel Learning (FSL): Communication Efficient Schemes With and Without Sparsification

我们研究了与私有联邦子模型学习（FSL）相关的私有读更新写（PRUW）问题，其中机器学习模型根据用于训练模型的不同类型的数据被划分为多个子模型。在PRUW中，每个用户在读取阶段下载所需的子模型而不显示其索引，并在写入阶段上传子模型的更新而不显示子模型索引或更新的值。在这项工作中，我们首先提供了一个基本的通信效率PRUW计划，并研究通过稀疏化进一步降低通信成本的手段。梯度稀疏化是学习应用中广泛使用的概念，其中仅下载和更新选定的一组参数，这显著降低了通信成本。在本文中，我们研究如何稀疏化的概念可以被纳入私人FSL的目标是降低通信成本，同时保证信息理论的隐私更新的子模型索引以及更新的值。为此，我们介绍了两种方案：PRUW与顶部$r$稀疏和PRUW与随机稀疏。前者仅在服务器和用户之间传送最重要的参数/更新，而后者传送随机选择的参数/更新集。这两个建议的计划引入了新的技术，如参数/更新（噪声）置换处理的额外来源的信息泄漏在PRUW所造成的稀疏化。这两种方案的结果显着降低通信成本相比，基本（非稀疏）PRUW计划。

2022-09-09cs.CRcs.ITcs.NI

分层无线网络上的联邦学习：通过子模型划分最小化训练延迟

Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning

School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）

提出分层独立子模型训练（HIST）方法，通过划分全局模型为不相交分区并利用空中计算增强边缘聚合，在保证准确率的同时大幅降低训练延迟与通信成本。

2025-01-27cs.ITcs.LGeess.SP

更多相关论文收起更多论文

基于私有集合联合的私有联邦子模型学习

Private Federated Submodel Learning via Private Set Union

我们考虑联邦子模型学习（FSL）问题，并提出了一种方法，客户端能够更新理论上的中央模型信息。我们的方法是基于私有集并（PSU），这是进一步基于多消息对称私有信息检索（MM-SPIR）。服务器有两个非合谋的数据库，它们以复制的方式保存模型。在我们的方案中，服务器除了了解客户端更新的子模型子集之外，不会进一步了解任何东西：服务器不知道哪个客户端更新了哪个子模型，也不知道任何关于本地客户端数据的信息。与Jia-Jafar和Vithana-Ulukus的私有FSL方案相比，我们的方案不需要在数据库中存储模型的噪声;与Zhao-Sun的安全聚合方案相比，我们的方案不需要预先分配客户端公共随机性，相反，我们的方案通过随机SPIR和一次性密码本创建所需的客户端公共随机性。该协议从公共随机性生成（CRG）阶段开始，其中两个数据库使用RSPIR和一次性密码本在客户端建立公共随机性（该阶段称为FSL-CRG）。接下来，客户端利用所建立的客户端侧公共随机性来使服务器私下确定要由客户端集体更新的子模型的索引的并集（该阶段被称为FSL-PSU）。然后，两个数据库将集合联合中的子模型的当前版本广播给客户端。客户端基于其本地训练数据更新子模型。最后，客户端使用FSL-PSU的变体将更新私下写回数据库（此阶段称为FSL-write）。我们建议的私人FSL计划是强大的客户端辍学，客户端迟到，和数据库辍学。

2023-01-18cs.CRcs.DBcs.IT

分布式存储系统中的完全鲁棒联邦子模型学习

Fully Robust Federated Submodel Learning in a Distributed Storage System

针对分布式存储FSL中的窃听与数据库故障问题，提出基于RSRC编码并结合PSU的分布式联邦子模型学习方案，兼顾安全、修复及多类掉线与主动攻击鲁棒性。

2023-06-08cs.CRcs.DBcs.IT

PHY-Fed：无线通信中联邦学习的信息论安全聚合

PHY-Fed: An Information-Theoretic Secure Aggregation in Federated Learning in Wireless Communications

联邦学习（FL）是一种在无线边缘的分布式机器学习，它可以保护客户端数据的隐私不受对手甚至中央服务器的侵犯。现有的联邦学习方法或者使用（i）易受推断影响的安全多方计算（SMC），或者（ii）差分隐私，这可能会降低测试准确性，因为大量的参与方各自具有相对少量的数据。为了解决这个问题与现有的方法在文献中，在本文中，我们介绍了PHY-Fed，一个新的框架，确保联邦算法从信息理论的角度来看。

2022-10-30cs.ITeess.SPmath.IT

面向噪声信道上拓扑感知异构联邦边缘学习的信息论泛化分析

Information-Theoretic Generalization Analysis for Topology-aware Heterogeneous Federated Edge Learning over Noisy Channels

Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Electronic Science and Technology of China（电子科技大学）

针对噪声信道下拓扑感知的异构联邦边缘学习，提出信息论泛化分析，并设计FedGMIR正则化方法提升模型性能，数值实验验证了其有效性。

2023-12-23cs.ITcs.LGmath.IT

补充文件：面向半去中心化联邦学习的编码协作网络

Supplementary File: Coded Cooperative Networks for Semi-Decentralized Federated Learning

针对半去中心化联邦学习的落后节点问题，提出无需全网先验信息、利用无线分集的确定性编码协作网络，并给出中断与收敛速率分析及仿真验证。

2025-02-19cs.ITmath.IT

基于差分隐私的联邦推荐系统

Federated Recommendation System via Differential Privacy

City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）

在本文中，我们感兴趣的是我们所谓的联邦私人强盗框架，结合差分隐私与多代理强盗学习。我们探讨了如何差分隐私为基础的置信上限（UCB）的方法可以应用到多智能体环境中，特别是联邦学习环境中的“主工人”和“完全分散”的设置。我们提供了一个理论分析所提出的方法的隐私和遗憾的性能，并探讨这两者之间的权衡。

2020-05-16cs.ITcs.LGmath.IT

分布式与联邦学习的改进信息论泛化界

Improved Information Theoretic Generalization Bounds for Distributed and Federated Learning

Princeton University（普林斯顿大学）；New Jersey Institute of Technology（新泽西理工学院）

本文为分布式与联邦学习提出改进的信息论泛化界，在 Bregman 散度或 Lipschitz 连续损失下给出逐节点互信息上界，展现对节点数 K 的 1/K 改进依赖。

2024-01-15cs.ITcs.LGmath.IT

LoByITFL：低通信量的安全隐私联邦学习

LoByITFL: Low Communication Secure and Private Federated Learning

School of Computation, Information and Technology（计算、信息与技术学院）

针对联邦学习中数据隐私与拜占庭安全难兼顾且现有方案牺牲隐私的问题，提出通信高效的LoByITFL方案，借助小型数据集、改进FLTrust和初始化阶段一次性可信第三方，实现信息论隐私与安全，兼具理论保证与收敛性实验验证。

2025-06-12cs.CRcs.DCcs.IT

联邦学习的信息论视角

Information-Theoretic Perspective of Federated Learning

Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Monash University（莫纳什大学）

分布式机器学习的一种方法是在本地数据集上训练模型，并将这些模型聚合成单个更强大的模型。这种形式的并行化的一个流行实例是联邦学习，其中节点周期性地将其本地模型发送到协调器，该协调器聚合它们并将聚合重新分配回来以继续使用它进行训练。最常用的聚合形式是平均模型参数，例如，神经网络的权重。然而，由于神经网络的损失表面的非凸性，平均可能导致有害的影响，它仍然是一个悬而未决的问题，在何种条件下平均是有益的。在本文中，我们研究这个问题的信息论的角度来看：我们测量的互信息之间的表示和输入，以及表示和标签在本地模型，并将其与各自的信息中包含的平均模型的表示。我们的实证结果证实了之前关于神经网络平均的实际有用性的观察，即使局部数据集分布变化很大。此外，我们获得更多的见解的影响，聚合频率的信息流，从而对分布式学习的成功。这些见解将有助于改进当前的同步过程，并进一步了解模型聚合的效果。

2019-11-15cs.DCcs.ITcs.LG