Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全风险,提出结合拉格朗日编码计算等技术的ByITFL方案,基于多项式近似ReLU的信任分数实现拜占庭容错,是首个具备完整信息论隐私性的同类方案。
2025-06-12 cs.CR cs.DC cs.IT
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Argonne National Laboratory(阿贡国家实验室)
本文提出APPFL框架,利用Globus Compute和AWS实现跨云与超算的安全联邦学习,并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
WW-FL: Secure and Private Large-Scale Federated Learning
Technical University of Darmstadt(德累斯顿技术大学);Technology Innovation Institute(技术创新研究所);Royal Holloway, University of London(伦敦皇家霍洛威大学)
针对联邦学习中的安全与隐私漏洞,提出结合安全多方计算与分层联邦学习的WW-FL框架,能防模型参数投毒,并经PyTorch与CrypTen集成验证,性能鲁棒,适用于大规模安全私有联邦学习。
2025-10-14 cs.CR cs.DC cs.IT
Communication-Computation Efficient Secure Aggregation for Federated Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
联邦学习作为一种使用分布式数据来训练神经网络而不需要各个节点共享数据的方法而受到关注。不幸的是,也已经表明,对手可能能够从联邦学习期间传输的模型参数中提取本地数据内容。基于安全聚合原语的最新解决方案支持隐私保护联邦学习,但代价是大量额外的通信/计算资源。在本文中,我们提出了一个低复杂度的计划,提供数据隐私使用大大减少通信/计算资源相对于现有的安全解决方案。建议方案背后的关键思想是将秘密共享节点的拓扑结构设计为稀疏随机图,而不是与现有解决方案相对应的完整图。我们首先在图上得到了保证可靠性和隐私性的充分必要条件。然后,我们建议特别使用Erdens-Rényi图,并为所提出的方案的可靠性/隐私性提供理论保证。通过广泛的现实世界的实验,我们证明,我们的计划,只使用$20 \sim 30\%$的传统计划中所需的资源,保持几乎相同的水平的可靠性和数据隐私的实际联邦学习系统。
2021-07-12 cs.CR cs.IT cs.LG
ByzSecAgg: A Byzantine-Resistant Secure Aggregation Scheme for Federated Learning Based on Coded Computing and Vector Commitment
Department of Electrical Engineering and Computer Science, Technische Universität Berlin(电气工程与计算机科学系,柏林技术大学);Department of Electrical and Computer Engineering, University of Minnesota Twin Cities(电气与计算机工程系,明尼苏达大学双城分校)
本文提出ByzSecAgg方案,通过ramp秘密共享、编码计算和向量承诺实现联邦学习中抗拜占庭攻击且保护隐私的高效安全聚合,通信负载显著优于基线方案BREA。
2025-06-06 cs.CR cs.DC cs.IT
Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in Federated Learning
University of Southern California (USC)(南加州大学);University of California, Riverside(加州大学河滨分校);University of California, Berkeley(加州大学伯克利分校)
针对联邦学习多轮训练中因部分用户选择导致的隐私泄露问题,提出具有多轮隐私保证的安全聚合框架Multi-RoundSecAgg,通过结构化用户选择策略在保证公平性和准确率的同时实现长期隐私保护。
2023-07-27 cs.CR cs.DC cs.IT
Secure Aggregation for Buffered Asynchronous Federated Learning
University of Southern California (USC)(南加利福尼亚大学);University of California, Riverside(加州大学河滨分校)
联邦学习(FL)通常依赖于同步训练,由于离散者,这是缓慢的。虽然异步训练有效地处理了掉队者,但由于与安全聚合协议的不兼容性,它不能确保隐私。最近提出了一种称为FedBuff的缓冲异步训练协议,该协议弥合了同步和异步训练之间的差距,以减轻掉队者,同时也确保隐私。FedBuff允许用户异步发送他们的更新,同时通过将更新存储在支持可信执行环境(TEE)的私有缓冲区中来确保隐私。然而,TEE具有有限的存储器,这限制了缓冲区大小。出于这种限制,我们开发了一个缓冲的异步安全聚合(BASecAgg)协议,不依赖于TEE。传统的安全聚合协议不能应用于缓冲的异步设置中,因为缓冲器可能具有对应于不同轮次的本地模型,因此用户用来保护其模型的掩码可能不会抵消。BASecAgg通过仔细设计掩码来解决这一挑战,即使它们对应于不同的轮,它们也会相互抵消。我们的收敛性分析和实验表明,BASecAgg几乎有相同的收敛保证FedBuff不依赖于TEE。
2021-10-05 cs.CR cs.DC cs.IT
Perfectly-Private Analog Secure Aggregation in Federated Learning
Department of Electrical Engineering, Chalmers University of Technology, Sweden(瑞典查尔姆斯理工大学电子工程系);Department of Mathematics and Systems Analysis, Aalto University, Finland(芬兰阿尔托大学数学与系统分析系)
本文提出一种基于环面的联邦学习安全参数聚合方法,利用环面均匀分布实现完美隐私且避免精度损失,实验表明其性能优于有限域方案。
2025-09-17 cs.IT cs.LG math.IT
Quantum Key Distribution Secured Federated Learning for Channel Estimation and Radar Spectrum Sensing in 6G Networks
University of Stavanger (UiS)(斯塔万格大学);Old Dominion University(老 Dominion 大学);University of York(约克大学)
本文提出一种通过量子密钥分发安全保护的联邦学习框架,用于6G网络中的信道估计与雷达频谱感知,利用BB84协议抽象和成对加法掩码训练本地模型并上传掩码更新,确保服务器不观测明文参数,验证了安全性的有效性。
2026-03-05 cs.CR cs.IT cs.LG
Secure Federated Clustering
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);University of Southern California(南加州大学)
我们认为一个基本的无监督学习任务的$k$ -意味着数据聚类,在一个联邦学习(FL)设置由一个中央服务器和许多分布式客户端。我们开发了SecFC,这是一个安全的联邦聚类算法,同时实现1)通用性能:与集中式数据聚类相比,没有性能损失,无论客户端之间的数据分布如何; 2)数据隐私:每个客户端的私有数据和集群中心不会泄露给其他客户端和服务器。在SecFC中,客户端对其本地数据执行拉格朗日编码,并以信息理论上私有的方式共享编码数据;然后利用编码的代数结构,FL网络在编码数据上精确执行Lloyd的$k$ -均值启发式算法,以获得最终的聚类。在合成数据集和真实数据集上的实验结果表明,SecFC对于客户端之间的不同数据分布具有普遍的优越性能,并且对于各种系统参数组合具有计算实用性。最后,我们建议扩展SecFC,以进一步为所有数据点提供成员隐私。
2022-05-31 cs.CR cs.IT cs.LG
Practical and Light-weight Secure Aggregation for Federated Submodel Learning
Ant Group(蚂蚁集团);East China Normal University(华东师范大学)
最近,Niu,et. J.J.等人引入了联邦学习(FL)的一个新变体,称为联合子模型学习(FSL)。与传统FL不同,每个客户端本地训练子模型(例如,从服务器检索),并根据其选择将子模型上传到服务器。然后,所有客户端聚合其所有子模型并完成迭代。不可避免地,FSL引入了两个隐私保护计算任务,即,私有子模型检索(PSR)和安全子模型聚合(SSA)。现有的工作不能提供一个无损失的计划,或具有不切实际的效率。在这项工作中,我们利用分布式点函数(DPF)和布谷鸟哈希构建一个实用的和轻量级的安全FSL方案在两个服务器设置。更具体地说,我们提出了两个基本的协议与一些优化技术,这确保了我们的协议在特定的现实世界的FSL任务的实用性。实验结果表明,当权重大小为$\leq 2^{15}$时,我们提出的协议可以在1分钟内完成,并通过与现有工作的比较和实际FSL任务的处理证明了协议的有效性.
2021-11-02 cs.DC cs.LG
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置,通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而,当将联邦学习扩展到生产环境时,通信效率仍然是一个主要瓶颈,特别是由于上行链路通信期间的带宽限制。在本文中,我们正式和解决的问题,压缩客户端到服务器的模型更新下的安全聚合原语,联邦学习管道,允许服务器聚合客户端更新,而无需单独访问它们的核心组件。特别是,我们适应标准的标量量化和修剪方法安全聚合,并提出安全索引,安全聚合的一个变种,支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果,在上行链路通信中进行了多达40次$\times$压缩,与未压缩的基线相比,效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto(多伦多大学);IIT Madras(印度理工学院马德拉斯分校)
本文针对纵向联邦学习中的信息泄露问题,提出采用二次函数加密替代多输入函数加密,以安全训练广义线性模型,避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
CLIP: Client-Side Invariant Pruning for Mitigating Stragglers in Secure Federated Learning
University of Toronto(多伦多大学)
针对安全联邦学习中异构掉队客户端造成的计算与网络瓶颈,提出 CLIP 客户端不变神经元剪枝及网络感知剪枝方法,在 CIFAR10、Shakespeare、FEMNIST 上实现 13%–34% 训练加速且精度损失很小。
2025-10-19 cs.CR cs.DC cs.LG
Eluding Secure Aggregation in Federated Learning via Model Inconsistency
EPFL(洛桑联邦理工学院);Aarhus University(奥胡斯大学);George Mason University(乔治梅森大学)
安全聚合是一种加密协议,它安全地计算其输入的聚合。在联邦学习中,它是保持模型更新私密性的关键。事实上,使用安全聚合可以防止服务器了解用户提供的单个模型更新的值和来源,从而阻碍推理和数据归因攻击。在这项工作中,我们表明,恶意服务器可以很容易地逃避安全聚合,如果后者没有到位。我们设计了两种不同的攻击,能够推断个人私人训练数据集上的信息,独立于参与安全聚合的用户数量。这使得它们在大规模、真实世界的联邦学习应用中成为具体的威胁。无论使用何种安全聚合协议,攻击都是通用的,同样有效。他们利用了联邦学习协议的一个漏洞,该漏洞是由安全聚合的不正确使用和缺乏参数验证引起的。我们的工作表明,目前实现的联邦学习与安全聚合只提供了一个“虚假的安全感”。
2022-09-06 cs.CR cs.LG
FedGT: Identification of Malicious Clients in Federated Learning with Secure Aggregation
Technical University of Munich(慕尼黑工业大学);AI Sweden(瑞典AI公司);Chalmers University of Technology(查尔姆斯理工大学)
本研究提出FedGT框架,基于群测试思想利用重叠客户端分组与解码操作识别安全聚合联邦学习中的恶意客户端,在隐私与安全间取得平衡,实验验证其在多数据集投毒攻击下的识别效果与模型效用均优于现有隐私鲁棒聚合方法。
2024-07-10 cs.CR cs.IT cs.LG
FastSecAgg: Scalable Secure Aggregation for Privacy-Preserving Federated Learning
University of California Berkeley(加州大学伯克利分校)
最近对联邦学习的攻击表明,将训练数据保存在客户端设备上并不能提供足够的隐私,因为客户端共享的模型参数可能会泄露有关其训练数据的信息。“安全聚合”协议使服务器能够以保护隐私的方式聚合客户端的模型。然而,现有的安全聚合协议会产生很高的计算/通信成本,特别是当模型参数的数量大于参与迭代的客户端的数量时-这是联邦学习中的典型场景。在本文中,我们提出了一个安全的聚合协议,FastSecAgg,这是有效的计算和通信方面,和强大的客户端辍学。FastSecAgg的主要组成部分是一个新的多秘密共享方案,FastShare,基于快速傅立叶变换(FFT),这可能是独立的利益。FastShare是信息理论上安全的,并实现了秘密数量,隐私阈值和丢包容忍之间的权衡。利用FastShare的能力,我们证明了FastSecAgg(i)在诚实但好奇的情况下,可以防止服务器与客户端的某个常数部分(例如$\sim10\%$)的“任意”子集合谋;(ii)可以容忍客户端的某个常数部分(例如$\sim10\%$)的“随机”子集的丢失. FastSecAgg实现显着更小的计算成本比现有的计划,同时实现相同的(有序)的通信成本。此外,它还保证了针对自适应对手的安全性,这些对手可以在协议执行期间动态地执行客户端损坏。
2020-09-23 cs.CR cs.IT cs.LG
Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文提出缓冲异步安全聚合协议BASA,使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合,并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
Byzantine-Resilient Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
安全联邦学习是一种隐私保护框架,通过对移动用户收集的大量数据进行训练来改进机器学习模型。这是通过迭代过程实现的,在每次迭代中,用户使用其本地数据集更新全局模型。然后,每个用户通过随机密钥屏蔽其本地模型,并且在中央服务器处聚合屏蔽的模型以计算下一次迭代的全局模型。由于本地模型受到随机掩码的保护,服务器无法观察到它们的真实值。这对模型对抗敌对(拜占庭)用户的弹性提出了一个重大挑战,这些用户可以通过修改其本地模型或数据集来操纵全局模型。为了应对这一挑战,本文提出了第一个单服务器拜占庭弹性安全聚合框架(BREA)的安全联邦学习。BREA基于集成的随机量化,可验证的离群值检测和安全的模型聚合方法,以同时保证Byzantine弹性,隐私和收敛。我们提供了理论上的收敛和隐私保证,并在网络规模,用户辍学和隐私保护方面的基本权衡。我们的实验证明了拜占庭用户存在的收敛性,以及与传统联邦学习基准相当的准确性。
2021-02-20 cs.CR cs.DC cs.LG
Secure Aggregation for Privacy-Preserving Federated Learning on Clinical EEG Data
University of South-Eastern Norway(东南挪威大学)
该研究针对临床EEG数据联邦学习的隐私泄露问题,提出以掩码安全聚合为核心的隐私保护框架,经模拟医疗场景验证,半诚实变体开销低,恶意变体安全性强但开销更高。
2026-09-09 cs.CR cs.DC cs.LG
FedNC: A Secure and Efficient Federated Learning Method with Network Coding
Tsinghua University(清华大学);HKUST(香港科技大学);Huawei Technologies(华为技术有限公司)
本文从网络信息理论视角提出基于网络编码的联邦学习通信框架FedNC,通过在上传前对本地模型参数进行随机线性组合,提升了传统联邦学习在安全性、效率和鲁棒性方面的表现。
2024-01-09 cs.CR cs.IT cs.LG
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google(谷歌);California Institute of Technology(加州理工学院)
联邦学习使移动设备能够协作学习共享的推理模型,同时将所有训练数据保存在用户的设备上,从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化,从而降低用户和服务器之间的通信成本。同时,安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合,而无需观察任何单独设备的非聚合形式的贡献。在本文中,我们强调了设置安全聚合参数以实现通信效率的一些挑战,特别是在随机旋转实现的积极量化输入的背景下。然后,我们开发了一个自动调整通信高效的安全聚合的配方,基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
Provably Secure Federated Learning against Malicious Clients
Duke University(杜克大学)
联邦学习使客户端能够协作学习共享的全局模型,而无需与云服务器共享其本地训练数据。然而,恶意客户端可以破坏全局模型,以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而,这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是,给定任何基础联邦学习算法,我们使用该算法学习多个全局模型,每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时,我们在全局模型中进行多数投票。我们表明,我们的集成联邦学习与任何基础联邦学习算法是可证明的安全,对恶意客户端。具体来说,我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外,我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如,当1,000个客户端中有20个是恶意客户端时,我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
Secure Communication Model For Quantum Federated Learning: A Post Quantum Cryptography (PQC) Framework
School of Information Technology(信息技术学院);Deakin University(迪肯大学)
针对量子联邦学习的安全通信问题,提出融合后量子密码学与动态服务器选择的PQC-QFL框架,并分析其收敛性与安全条件,代码及结果已公开。
2023-04-26 cs.CR cs.LG
SecureFedYJ: a safe feature Gaussianization protocol for Federated Learning
Owkin Inc.(Owkin公司)
Yeo-Johnson(YJ)变换是一种标准的参数化每特征一维变换,通常用于在机器学习中对特征进行高斯化。在本文中,我们研究的问题,应用YJ变换在一个跨筒仓联邦学习设置下的隐私约束。第一次,我们证明了YJ负对数似然实际上是凸的,这使得我们可以用指数搜索来优化它。我们通过数值计算表明,所得算法比基于Brent最小化方法的最新方法更稳定。在这个简单的算法和安全多方计算例程的基础上,我们提出了SecureFedYJ,一种联邦算法,它执行池化等效YJ变换,而不会泄漏比最终拟合参数更多的信息。对真实数据的定量实验表明,除了安全之外,我们的方法还可以可靠地规范化各个孤岛的功能以及数据池,使其成为安全联邦特征高斯化的可行方法。
2022-10-13 cs.LG
SecureAFL: Secure Asynchronous Federated Learning
University of Louisville(路易斯维尔大学);Northeastern University(东北大学);National University of Singapore(新加坡国立大学);University of North Texas(北德克萨斯大学)
本文提出SecureAFL框架,通过检测并丢弃异常更新、估计缺失客户端贡献以及采用坐标中位数聚合技术,提升异步联邦学习的安全性与鲁棒性。
2026-04-04 cs.CR cs.DC cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont(佛蒙特大学);MassMutual(万通互惠);Raytheon(雷神公司)
联邦机器学习利用边缘计算从网络用户数据开发模型,但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题,但也带来了自己的挑战--许多技术需要可信的第三方,否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要,但计算成本高,特别是在规模上。我们提出了一个新的联邦学习协议,利用一种新的差分私有,恶意的安全聚合协议的基础上,从错误的学习技术。我们的协议优于当前最先进的技术,经验结果表明,它可以扩展到大量的缔约方,具有最佳的准确性,任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Secure Federated Submodel Learning
Shanghai Jiao Tong University(上海交通大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Alibaba Group(阿里巴巴集团)
联邦学习的提出有一个有趣的愿景,即在众多客户端之间实现协作式机器学习,而无需将其私有数据上传到云服务器。然而,传统的框架要求每个客户端利用完整的模型进行学习,这对于资源受限的客户端和大规模深度学习任务来说可能是非常低效的。因此,我们提出了一个新的框架,称为联邦子模型学习,其中客户端只下载完整模型的所需部分,即子模型,然后上传子模型更新。然而,客户真正需要的子模型的“位置”对应于她的私有数据,并且在交互期间将其披露给云服务器不可避免地打破了联邦学习的宗旨。为了整合效率和隐私,我们设计了一个安全的联邦子模型学习计划,加上一个私有集联盟协议作为基石。我们的安全方案具有随机响应,安全聚合,和布隆过滤器的属性,并赋予每个客户端一个定制的似是而非的可否认性,在本地差分隐私,对她想要的子模型的位置,从而保护她的私人数据。我们进一步实例化我们的方案与电子商务推荐场景在阿里巴巴,实现了一个原型系统,并广泛评估其性能超过30天的淘宝用户数据。分析和评估结果从模型精度和收敛性、实际通信、计算和存储开销等方面证明了该方案的可行性和可扩展性,并显示了其相对于传统联邦学习框架的显著优势。
2019-11-11 cs.CR cs.DC cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark(南丹麦大学)
联邦学习(FL)是一种隐私感知的数据采掘策略,它将私有数据保存在所有者的机器上,从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中,使用安全聚合对本地参数进行额外屏蔽,使得仅全局聚合统计数据以明文形式可用,而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中,我们调查了三个QR分解算法的适用性跨筒仓FL,并提出了一个隐私感知QR分解方案的基础上,Gram-Schmidt算法,不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
PrivacyFL: A simulator for privacy-preserving and secure federated learning
Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种使分布式客户端能够协作学习共享的机器学习模型,同时保持其训练数据本地化的技术。这降低了数据隐私风险,然而,隐私问题仍然存在,因为有可能从训练模型的权重或参数中泄露有关训练数据集的信息。建立一个联邦学习环境,特别是有安全和隐私保证的环境,是一个耗时的过程,有许多配置和参数可以操作。为了帮助客户确保协作是可行的,并检查它是否提高了他们的模型准确性,需要一个真实世界的隐私保护和安全的联邦学习模拟器。在本文中,我们介绍PrivacyFL,这是一个可扩展的,易于配置和可扩展的模拟器的联邦学习环境。它的主要特性包括延迟模拟、对客户端离开的鲁棒性、对集中式和分散式学习的支持,以及基于差分隐私和安全多方计算的可配置隐私和安全机制。在本文中,我们激发了我们的研究,描述了模拟器和相关协议的架构,并讨论了其在众多场景中的评估,这些场景强调了其广泛的功能及其优势。我们的论文解决了一个重要的现实问题:检查在各种情况下参与联邦学习环境的可行性。它还具有很强的实际影响,因为医院、银行和研究机构等拥有大量敏感数据并希望进行协作的组织将从一个能够以隐私保护和安全的方式进行协作的系统中受益匪浅。
2020-07-08 cs.CR cs.DC cs.LG
Efficient Sparse Secure Aggregation for Federated Learning
Owkin Inc.(Owkin公司)
联合学习使人们能够跨持有敏感数据集的分布式客户端联合训练机器学习模型。在现实世界中,这种方法受到昂贵的通信和隐私问题的阻碍。这两个挑战都已经得到了单独解决,从而导致了相互竞争的优化。在这篇文章中,我们第一次同时处理它们。更确切地说,我们适应基于压缩的联邦技术添加剂秘密共享,导致一个有效的安全聚合协议,具有自适应的安全级别。我们证明了它的隐私对恶意的对手和它的正确性,在半诚实的设置。在深度卷积网络上的实验表明,我们的安全协议以低通信成本实现了高准确性。与以前的安全聚合工作相比,我们的协议具有较低的通信和计算成本,类似的准确性。
2021-10-18 cs.CR cs.LG stat.ML
SecureBoost+: Large Scale and High-Performance Vertical Federated Gradient Boosting Decision Tree
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
针对现有纵向联邦GBDT算法SecureBoost训练慢、难扩展的问题,提出具备半诚实安全性的SecureBoost+框架,通过密文运算、训练机制、多分类训练等优化,实现6-35倍提速且精度不变,可支撑千万级样本与千维特征规模。
2024-06-19 cs.AI cs.LG
A Study of Secure Algorithms for Vertical Federated Learning: Take Secure Logistic Regression as an Example
National Taiwan University(台湾大学)
针对大数据下企业数据共享与隐私保护的矛盾,本文研究纵向联邦学习框架下的安全模型训练,以加密域执行的方式保障数据隐私,为合规的跨企业联合建模提供思路。
2024-10-30 cs.CR cs.LG
Large-Scale Secure XGB for Vertical Federated Learning
Ant Group(蚂蚁集团)
近年来,隐私保护机器学习受到越来越多的关注,特别是随着各种隐私保护法规的出台。在这种情况下,联邦学习(FL)似乎有助于在多方之间进行隐私保护的联合建模。虽然许多联邦算法已经被广泛研究,但仍然缺乏安全和实用的梯度树提升模型(例如,XGB)在文学中。在本文中,我们的目标是建立大规模的安全XGB垂直联邦学习设置。我们从三个方面保障数据隐私。具体来说,(i)我们采用安全的多方计算技术,以避免在训练过程中泄漏中间信息,(ii)我们以分布式方式存储输出模型,以最小化信息释放,以及(iii)我们提供了一种新的算法,用于安全的XGB预测与分布式模型。此外,通过提出安全的置换协议,我们可以提高训练效率并使框架可扩展到大数据集。我们在公共数据集和真实数据集上进行了广泛的实验,结果表明,我们提出的XGB模型不仅具有竞争力的准确性,而且具有实用性能。
2021-09-02 cs.CR cs.LG stat.ML
Post Quantum Secure Blockchain-based Federated Learning for Mobile Edge Computing
Hunan University(湖南大学);Deakin University(迪肯大学)
移动边缘计算(MEC)一直是移动数据通信和边缘处理的一种很有前途的范例。我们的目标是将联邦学习(FL)和区块链的突出功能应用到MEC架构中,例如连接的自动驾驶汽车,以同时实现完全的去中心化,不变性和奖励机制。FL对于具有受限连接的移动设备是有利的,因为它需要将模型更新传递到中心点,而不是大量的数据通信。例如,自动联网车辆中的FL可以增加数据多样性并允许模型定制,即使车辆在短时间内未连接(通过利用其本地模型),也可以进行预测。然而,现有的同步FL和区块链由于移动性引起的损害而产生极高的通信成本,并且不直接适用于MEC网络。我们提出了一个完全异步的区块链联邦学习(BFL)框架,称为BFL-MEC,其中移动客户端及其模型独立发展,但保证全局学习过程的稳定性。更重要的是,我们在BFL-MEC上使用后量子安全功能来验证客户端的身份并抵御恶意攻击。我们所有的设计假设和结果进行了广泛的模拟评估。
2023-02-26 cs.CR cs.DC cs.LG
On Using Secure Aggregation in Differentially Private Federated Learning with Multiple Local Steps
University of Helsinki(赫尔辛基大学);Telefónica Research(西班牙电信研究机构)
本文提出一种新分析方法,使联邦学习在多个本地步骤中仍能利用安全聚合,从而在有限通信轮数下实现更高实用性的模型并保证隐私保护。
2025-03-24 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Secure Bayesian Federated Analytics for Privacy-Preserving Trend Detection
Xayn AG(Xayn公司);Imperial College London(帝国理工学院)
联合分析在边缘计算中有许多应用,它的使用可以为服务提供、产品开发和用户体验带来更好的决策。我们提出了一种贝叶斯方法的趋势检测,其中一个关键字是时髦的概率,给定一个数据集,通过贝叶斯定理计算;数据集的概率,给定一个关键字是时髦的,通过安全的聚合这样的条件概率在本地数据集的用户计算。我们提出了一个名为SAFE的贝叶斯联邦分析协议,为生产级用例提供足够的隐私,并减少用户和聚合器的计算负担。我们用一个趋势检测实验来说明这种方法,并讨论如何进一步扩展这种方法,使其为生产做好准备。
2021-07-28 cs.AI cs.CR cs.LG
FedST: Secure Federated Shapelet Transformation for Time Series Classification
Harbin Institute of Technology(哈尔滨工业大学)
本文提出FedST,一种在联邦学习下基于形状let的时间序列分类框架,通过安全且高效的协议与优化,实现了高准确率和三个数量级的加速。
2024-08-17 cs.DB cs.LG
SGDE: Secure Generative Data Exchange for Cross-Silo Federated Learning
Politecnico di Milano(米兰理工大学)
GDPR等隐私监管法律将透明度和安全性作为数据处理算法的设计支柱。在这种背景下,联邦学习是隐私保护分布式机器学习最有影响力的框架之一,在许多自然语言处理和计算机视觉任务中取得了惊人的成果。一些联邦学习框架采用差分隐私来防止私有数据泄露给未经授权的方和恶意攻击者。然而,许多研究强调了标准联邦学习在中毒和推断方面的脆弱性,从而引发了对敏感数据潜在风险的担忧。为了解决这个问题,我们提出了SGDE,一个生成的数据交换协议,提高用户的安全性和机器学习性能的跨筒仓联邦。SGDE的核心是共享具有强差分隐私保证的数据生成器,这些数据生成器是在私有数据上训练的,而不是传递显式的梯度信息。这些生成器合成任意大量的数据,这些数据保留了私有样本的独特特征,但差异很大。在这项工作中,SGDE在图像和表格数据集上的跨筒仓联邦网络中进行测试,利用beta-变分自编码器作为数据生成器。从结果来看,SGDE的加入提高了任务的准确性和公平性,以及对联邦学习最有影响力的攻击的弹性。
2022-09-07 cs.AI cs.CR cs.DC
Secure Federated Learning for Cognitive Radio Sensing
Poznan University of Technology(波兹南理工大学);RIMEDO Labs(RIMEDO实验室);Princeton University(普林斯顿大学)
本文研究认知无线电中基于联邦学习的频谱感知,分析其动机、架构、算法及安全隐私威胁,并提出对策与设计建议。
2023-03-23 cs.AI cs.LG cs.SY
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
联邦学习是一种机器学习技术,它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名,因为数据永远不会离开计算设备,最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而,我们发现,尽管做出了努力,联邦学习仍然存在隐私威胁,因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁,揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归,我们通过理论分析表明,攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型,我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
Blockchain-based Secure Client Selection in Federated Learning
University of Florida(佛罗里达大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
尽管联邦学习(FL)在大规模分布式学习中具有巨大的潜力,但由于客户端训练的本地模型暴露于中央服务器,当前系统仍然受到一些隐私问题的影响。因此,FL的安全聚合协议已经被开发出来,以隐藏服务器的本地模型。然而,我们表明,通过操纵客户端的选择过程中,服务器可以绕过安全聚合学习受害者客户端的本地模型,表明安全聚合本身是不够的隐私保护。为了解决这个问题,我们利用区块链技术提出了一个可验证的客户端选择协议。由于区块链的不变性和透明性,我们提出的协议强制随机选择客户端,使服务器无法自行控制选择过程。我们目前的安全证明表明,我们的协议是安全的,对这种攻击。此外,我们在类似以太坊的区块链上进行了几次实验,以证明我们的解决方案的可行性和实用性。
2022-05-11 cs.CR cs.LG
A Secure Federated Learning Framework for Residential Short Term Load Forecasting
Deakin University(迪肯大学);Latrobe University(乐卓博大学)
智能电表测量虽然对于准确的需求预测至关重要,但也面临着一些缺点,包括消费者隐私、数据泄露问题等。最近的文献已经探索了联邦学习(FL)作为一种有前途的隐私保护机器学习替代方案,其使得能够在不暴露用于短期负荷预测的私有原始数据的情况下对模型进行协作学习。尽管有其优点,但标准FL仍然容易受到由错误和/或恶意客户端进行的称为拜占庭攻击的棘手网络威胁的影响。因此,为了提高联邦短期负荷预测对拜占庭威胁的鲁棒性,我们开发了一个最先进的差分私有安全FL的框架,确保个人智能电表的数据的隐私,同时保护FL模型和架构的安全性。我们提出的框架通过符号随机梯度下降(SignSGD)算法利用梯度量化的思想,其中客户端仅在本地模型训练后将梯度的“符号”传输到控制中心。正如我们通过涉及基准神经网络与一组拜占庭攻击模型的实验所强调的那样,我们提出的方法非常有效地减轻了这种威胁,从而优于传统的Fed-SGD模型。
2023-03-28 cs.AI cs.CR cs.DC
A Federated Random Forest Solution for Secure Distributed Machine Learning
IEETA/DETI, LASI University of Aveiro(IEETA/DETI实验室,阿维罗大学)
本文提出基于PySyft的联邦随机森林框架,通过加权平均、增量学习和本地评估,在保护隐私的前提下实现接近集中式精度的分布式树模型训练。
2025-05-12 cs.LG
SecureBoost: A Lossless Federated Learning Framework
University of California, Los Angeles(加州大学洛杉矶分校);Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
保护用户隐私是机器学习的一个重要问题,2018年5月欧盟(EU)推出的《通用数据保护条例》(GDPR)就是明证。GDPR旨在让用户更好地控制其个人数据,这促使我们探索不侵犯用户隐私的机器学习数据共享框架。为了实现这一目标,在本文中,我们提出了一种新的无损隐私保护树提升系统称为SecureBoost的设置联邦学习。SecureBoost首先在隐私保护协议下进行实体对齐,然后使用精心设计的加密策略在多方之间构建提升树。这种联邦学习系统允许学习过程在具有共同用户样本但不同特征集的多方上联合进行,这对应于垂直分区的数据集。SecureBoost的一个优点是,它提供了与非隐私保护方法相同的准确性水平,同时不会透露每个私人数据提供商的信息。我们证明了SecureBoost框架与其他需要集中数据的非联邦梯度树提升算法一样准确,因此对于信贷风险分析等工业应用来说,它具有高度的可扩展性和实用性。为此,我们讨论了协议执行过程中的信息泄漏,并提出了可证明地减少它的方法。
2021-04-07 cs.LG stat.ML
A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption
Tampere University(塔尔库大学)
本文提出将混合同态加密(HHE)集成到联邦学习中,以同时解决通信开销和数据隐私挑战,从而实现可扩展且安全的去中心化学习系统。
2025-08-07 cs.CR cs.LG
FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy
University of Waterloo(滑铁卢大学)
针对横向联邦 $k$-means 中安全计算开销高与差分隐私效用差的问题,FastLloyd 结合计算型 DP 和安全聚合,并提出新的 DP 聚类机制,实现五个数量级加速且提升聚类效用。
2025-06-10 cs.CR cs.LG
Quality Inference in Federated Learning with Secure Aggregation
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本文证明在联邦学习应用安全聚合后仍可推断个体数据集质量,并通过图像识别实验实现参与者质量排序,用于检测不当行为、稳定训练和衡量个体贡献。
2023-05-25 cs.CR cs.LG stat.ML
A Secure and Efficient Federated Learning Framework for NLP
University of Connecticut(康涅狄格大学);Duke University(杜克大学);Facebook(脸书);Microsoft(微软);Northeastern University(东北大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
在这项工作中,我们考虑的问题,设计安全和有效的联邦学习(FL)框架。现有的解决方案要么涉及可信聚合器,要么需要重量级的加密原语,这会显着降低性能。此外,许多现有的安全FL设计仅在限制性假设下工作,即没有客户端可以从训练协议中退出。为了解决这些问题,我们提出了SEFL,一个安全有效的FL框架,它(1)消除了对可信实体的需求;(2)与现有的FL设计相比,实现了类似甚至更好的模型准确性;(3)对客户端退出具有弹性。通过对自然语言处理(NLP)任务的广泛实验研究,我们证明了SEFL与现有FL解决方案相比具有相当的准确性,并且所提出的修剪技术可以将运行时性能提高13.7倍。
2022-01-28 cs.CL cs.CR cs.LG
Tazza: Shuffling Neural Network Parameters for Secure and Private Federated Learning
College of Computing, Yonsei University, Department of Mobile Systems Engineering, Dankook University(延世大学计算机学院, Dankook大学移动系统工程系)
Tazza通过神经网络参数洗牌技术,同时解决联邦学习中的安全性和隐私保护问题,提升系统鲁棒性并提高模型准确性。
2025-12-30 cs.AI cs.LG
Simeon -- Secure Federated Machine Learning Through Iterative Filtering
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院);Department of Computer Science, Purdue University(普渡大学计算机科学系)
联邦学习使得全局机器学习模型能够由分布式的、相互不信任的学习代理协作地训练,这些学习代理希望维护其训练数据和其硬件的隐私。一个全局模型被分发给客户端,客户端执行训练,并提交他们新训练的模型,以聚合成一个更好的模型。然而,联邦学习系统容易受到恶意学习代理的干扰,这些恶意学习代理可能希望阻止训练或在最终的全局模型中引起有针对性的错误分类。已经出现了一类容忍拜占庭的聚合算法,提供了不同程度的鲁棒性来对抗这些攻击,通常需要注意的是,攻击者的数量受到训练之前已知的数量的限制。本文介绍了西蒙:一种新的聚合方法,应用基于信誉的迭代过滤技术,即使在存在可能表现出任意行为的攻击者的情况下也能实现鲁棒性。我们比较Simeon国家的最先进的聚合技术,并发现Simeon实现了相当或优越的鲁棒性,各种攻击。值得注意的是,我们表明,Simeon是容忍sybil攻击,其他算法没有,提出了我们的方法的一个关键优势。
2021-03-13 cs.CR cs.DC cs.LG
Secure Federated Learning in 5G Mobile Networks
Ericsson Research(爱立信研究院);Ericsson Security Research(爱立信安全研究院);KTH Royal Institute of Technology(瑞典皇家理工学院)
机器学习(ML)是优化、保护和管理移动网络的重要推动因素。这导致从网络功能收集和处理的数据增加,这反过来又可能增加对敏感的最终用户信息的威胁。因此,需要减少对最终用户隐私的威胁的机制来充分利用ML。我们将联邦学习(FL)无缝集成到3GPP 5G网络数据分析(NWDA)架构中,并添加了多方计算(MPC)协议,以保护本地更新的机密性。我们评估了该协议,发现它比以前的工作具有更低的开销,而不会影响ML性能。
2020-09-14 cs.CR cs.LG cs.NI
Coding-Enforced Resilient and Secure Aggregation for Hierarchical Federated Learning
Department of Information Science and Engineering(信息科学与工程系)
本文提出H-SecCoGC方案,通过编码策略提升分层联邦学习在不可靠通信下的鲁棒性、隐私保护和学习效率。
2026-01-25 cs.AI cs.LG