Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文提出缓冲异步安全聚合协议BASA,使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合,并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation
Google Research(谷歌研究院)
我们考虑在分布在用户设备上的私人数据上训练模型。为了确保隐私,我们添加了设备上的噪声,并使用安全聚合,以便只有噪声和才会显示给服务器。我们提出了一个全面的端到端系统,它适当地离散化数据,并在执行安全聚合之前添加离散高斯噪声。我们提供了一个新的隐私分析的离散高斯和仔细分析的影响,数据量化和模求和算法。我们的理论保证强调了沟通、隐私和准确性之间的复杂张力。我们广泛的实验结果表明,我们的解决方案基本上是能够匹配的准确性,中央差分隐私与小于16位的精度每个值。
2022-09-08 cs.DS cs.LG stat.ML
The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning
Stanford University(斯坦福大学);Google Research(谷歌研究院)
我们考虑训练一个具有分布式差分隐私(DP)的$d$维模型的问题,其中使用安全聚合(SecAgg)来确保服务器在每个训练轮中只看到$n$模型更新的噪声和。考虑到SecAgg施加的约束,我们表征了在$\varepsilon$中央DP下(即在完全信任的服务器和无通信约束下)获得最佳精度所需的基本通信成本。我们的研究结果表明,每个客户端的$\tilde{O}\left( \min(n^2\varepsilon^2, d) \right)$位是充分的和必要的,这个基本的限制,可以通过基于稀疏随机投影的线性计划。这相对于每客户端使用$\tilde{O}(d\log(d/\varepsilon^2))$位的现有技术SecAgg分布式DP方案提供了显著的改进。从经验上讲,我们评估我们提出的计划在现实世界的联邦学习任务。我们发现,我们的理论分析是很好地匹配在实践中。特别是,我们表明,我们可以降低通信成本显着下$1.2$位每个参数在现实的隐私设置,而不降低测试时的性能。因此,我们的工作从理论上和经验上详细说明了使用SecAgg的基本价格。
2022-03-07 cs.LG stat.ML
Byzantine-Resilient Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
安全联邦学习是一种隐私保护框架,通过对移动用户收集的大量数据进行训练来改进机器学习模型。这是通过迭代过程实现的,在每次迭代中,用户使用其本地数据集更新全局模型。然后,每个用户通过随机密钥屏蔽其本地模型,并且在中央服务器处聚合屏蔽的模型以计算下一次迭代的全局模型。由于本地模型受到随机掩码的保护,服务器无法观察到它们的真实值。这对模型对抗敌对(拜占庭)用户的弹性提出了一个重大挑战,这些用户可以通过修改其本地模型或数据集来操纵全局模型。为了应对这一挑战,本文提出了第一个单服务器拜占庭弹性安全聚合框架(BREA)的安全联邦学习。BREA基于集成的随机量化,可验证的离群值检测和安全的模型聚合方法,以同时保证Byzantine弹性,隐私和收敛。我们提供了理论上的收敛和隐私保证,并在网络规模,用户辍学和隐私保护方面的基本权衡。我们的实验证明了拜占庭用户存在的收敛性,以及与传统联邦学习基准相当的准确性。
2021-02-20 cs.CR cs.DC cs.LG
Secure Communication Model For Quantum Federated Learning: A Post Quantum Cryptography (PQC) Framework
School of Information Technology(信息技术学院);Deakin University(迪肯大学)
针对量子联邦学习的安全通信问题,提出融合后量子密码学与动态服务器选择的PQC-QFL框架,并分析其收敛性与安全条件,代码及结果已公开。
2023-04-26 cs.CR cs.LG
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google(谷歌);California Institute of Technology(加州理工学院)
联邦学习使移动设备能够协作学习共享的推理模型,同时将所有训练数据保存在用户的设备上,从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化,从而降低用户和服务器之间的通信成本。同时,安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合,而无需观察任何单独设备的非聚合形式的贡献。在本文中,我们强调了设置安全聚合参数以实现通信效率的一些挑战,特别是在随机旋转实现的积极量化输入的背景下。然后,我们开发了一个自动调整通信高效的安全聚合的配方,基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont(佛蒙特大学);MassMutual(万通互惠);Raytheon(雷神公司)
联邦机器学习利用边缘计算从网络用户数据开发模型,但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题,但也带来了自己的挑战--许多技术需要可信的第三方,否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要,但计算成本高,特别是在规模上。我们提出了一个新的联邦学习协议,利用一种新的差分私有,恶意的安全聚合协议的基础上,从错误的学习技术。我们的协议优于当前最先进的技术,经验结果表明,它可以扩展到大量的缔约方,具有最佳的准确性,任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Argonne National Laboratory(阿贡国家实验室)
本文提出APPFL框架,利用Globus Compute和AWS实现跨云与超算的安全联邦学习,并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark(南丹麦大学)
联邦学习(FL)是一种隐私感知的数据采掘策略,它将私有数据保存在所有者的机器上,从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中,使用安全聚合对本地参数进行额外屏蔽,使得仅全局聚合统计数据以明文形式可用,而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中,我们调查了三个QR分解算法的适用性跨筒仓FL,并提出了一个隐私感知QR分解方案的基础上,Gram-Schmidt算法,不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
SecureBoost+: Large Scale and High-Performance Vertical Federated Gradient Boosting Decision Tree
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
针对现有纵向联邦GBDT算法SecureBoost训练慢、难扩展的问题,提出具备半诚实安全性的SecureBoost+框架,通过密文运算、训练机制、多分类训练等优化,实现6-35倍提速且精度不变,可支撑千万级样本与千维特征规模。
2024-06-19 cs.AI cs.LG
Secure Federated Submodel Learning
Shanghai Jiao Tong University(上海交通大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Alibaba Group(阿里巴巴集团)
联邦学习的提出有一个有趣的愿景,即在众多客户端之间实现协作式机器学习,而无需将其私有数据上传到云服务器。然而,传统的框架要求每个客户端利用完整的模型进行学习,这对于资源受限的客户端和大规模深度学习任务来说可能是非常低效的。因此,我们提出了一个新的框架,称为联邦子模型学习,其中客户端只下载完整模型的所需部分,即子模型,然后上传子模型更新。然而,客户真正需要的子模型的“位置”对应于她的私有数据,并且在交互期间将其披露给云服务器不可避免地打破了联邦学习的宗旨。为了整合效率和隐私,我们设计了一个安全的联邦子模型学习计划,加上一个私有集联盟协议作为基石。我们的安全方案具有随机响应,安全聚合,和布隆过滤器的属性,并赋予每个客户端一个定制的似是而非的可否认性,在本地差分隐私,对她想要的子模型的位置,从而保护她的私人数据。我们进一步实例化我们的方案与电子商务推荐场景在阿里巴巴,实现了一个原型系统,并广泛评估其性能超过30天的淘宝用户数据。分析和评估结果从模型精度和收敛性、实际通信、计算和存储开销等方面证明了该方案的可行性和可扩展性,并显示了其相对于传统联邦学习框架的显著优势。
2019-11-11 cs.CR cs.DC cs.LG
A Study of Secure Algorithms for Vertical Federated Learning: Take Secure Logistic Regression as an Example
National Taiwan University(台湾大学)
针对大数据下企业数据共享与隐私保护的矛盾,本文研究纵向联邦学习框架下的安全模型训练,以加密域执行的方式保障数据隐私,为合规的跨企业联合建模提供思路。
2024-10-30 cs.CR cs.LG
PrivacyFL: A simulator for privacy-preserving and secure federated learning
Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种使分布式客户端能够协作学习共享的机器学习模型,同时保持其训练数据本地化的技术。这降低了数据隐私风险,然而,隐私问题仍然存在,因为有可能从训练模型的权重或参数中泄露有关训练数据集的信息。建立一个联邦学习环境,特别是有安全和隐私保证的环境,是一个耗时的过程,有许多配置和参数可以操作。为了帮助客户确保协作是可行的,并检查它是否提高了他们的模型准确性,需要一个真实世界的隐私保护和安全的联邦学习模拟器。在本文中,我们介绍PrivacyFL,这是一个可扩展的,易于配置和可扩展的模拟器的联邦学习环境。它的主要特性包括延迟模拟、对客户端离开的鲁棒性、对集中式和分散式学习的支持,以及基于差分隐私和安全多方计算的可配置隐私和安全机制。在本文中,我们激发了我们的研究,描述了模拟器和相关协议的架构,并讨论了其在众多场景中的评估,这些场景强调了其广泛的功能及其优势。我们的论文解决了一个重要的现实问题:检查在各种情况下参与联邦学习环境的可行性。它还具有很强的实际影响,因为医院、银行和研究机构等拥有大量敏感数据并希望进行协作的组织将从一个能够以隐私保护和安全的方式进行协作的系统中受益匪浅。
2020-07-08 cs.CR cs.DC cs.LG
Secure Federated Matrix Factorization
Hong Kong University of Science and Technology(香港科技大学);Clustar;Peking University(北京大学);WeBank(微众银行)
为了保护用户隐私并满足法律法规的要求,联邦(机器)学习近年来受到了广泛的关注。联邦学习的关键原则是训练一个机器学习模型,而不需要知道每个用户的个人原始私人数据。在本文中,我们提出了一个安全的矩阵分解框架下的联邦学习设置,称为FedMF。首先,我们设计了一个用户级分布式矩阵分解框架,当每个用户只上传梯度信息(而不是原始偏好数据)到服务器时,可以学习模型。虽然梯度信息似乎是安全的,但我们证明它仍然可能泄漏用户的原始数据。为此,我们用同态加密增强了分布式矩阵分解框架。我们实现了FedMF的原型,并使用一个真实的电影评级数据集对其进行了测试。结果验证了FedMF的可行性。我们还讨论了在实践中应用FedMF的挑战,为未来的研究。
2019-06-12 cs.CR cs.LG
A Federated Random Forest Solution for Secure Distributed Machine Learning
IEETA/DETI, LASI University of Aveiro(IEETA/DETI实验室,阿维罗大学)
本文提出基于PySyft的联邦随机森林框架,通过加权平均、增量学习和本地评估,在保护隐私的前提下实现接近集中式精度的分布式树模型训练。
2025-05-12 cs.LG
On Using Secure Aggregation in Differentially Private Federated Learning with Multiple Local Steps
University of Helsinki(赫尔辛基大学);Telefónica Research(西班牙电信研究机构)
本文提出一种新分析方法,使联邦学习在多个本地步骤中仍能利用安全聚合,从而在有限通信轮数下实现更高实用性的模型并保证隐私保护。
2025-03-24 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
FedST: Secure Federated Shapelet Transformation for Time Series Classification
Harbin Institute of Technology(哈尔滨工业大学)
本文提出FedST,一种在联邦学习下基于形状let的时间序列分类框架,通过安全且高效的协议与优化,实现了高准确率和三个数量级的加速。
2024-08-17 cs.DB cs.LG
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置,通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而,当将联邦学习扩展到生产环境时,通信效率仍然是一个主要瓶颈,特别是由于上行链路通信期间的带宽限制。在本文中,我们正式和解决的问题,压缩客户端到服务器的模型更新下的安全聚合原语,联邦学习管道,允许服务器聚合客户端更新,而无需单独访问它们的核心组件。特别是,我们适应标准的标量量化和修剪方法安全聚合,并提出安全索引,安全聚合的一个变种,支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果,在上行链路通信中进行了多达40次$\times$压缩,与未压缩的基线相比,效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
Secure Bayesian Federated Analytics for Privacy-Preserving Trend Detection
Xayn AG(Xayn公司);Imperial College London(帝国理工学院)
联合分析在边缘计算中有许多应用,它的使用可以为服务提供、产品开发和用户体验带来更好的决策。我们提出了一种贝叶斯方法的趋势检测,其中一个关键字是时髦的概率,给定一个数据集,通过贝叶斯定理计算;数据集的概率,给定一个关键字是时髦的,通过安全的聚合这样的条件概率在本地数据集的用户计算。我们提出了一个名为SAFE的贝叶斯联邦分析协议,为生产级用例提供足够的隐私,并减少用户和聚合器的计算负担。我们用一个趋势检测实验来说明这种方法,并讨论如何进一步扩展这种方法,使其为生产做好准备。
2021-07-28 cs.AI cs.CR cs.LG
Secure short-term load forecasting for smart grids with transformer-based federated learning
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文针对智能电网短期负荷预测中的隐私问题,提出基于Transformer的联邦学习方法,在保护用户数据隐私的同时实现准确预测,并通过与集中式学习、本地学习、LSTM和CNN的对比验证其有效性。
2023-10-26 cs.LG
Blockchain-based Secure Client Selection in Federated Learning
University of Florida(佛罗里达大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
尽管联邦学习(FL)在大规模分布式学习中具有巨大的潜力,但由于客户端训练的本地模型暴露于中央服务器,当前系统仍然受到一些隐私问题的影响。因此,FL的安全聚合协议已经被开发出来,以隐藏服务器的本地模型。然而,我们表明,通过操纵客户端的选择过程中,服务器可以绕过安全聚合学习受害者客户端的本地模型,表明安全聚合本身是不够的隐私保护。为了解决这个问题,我们利用区块链技术提出了一个可验证的客户端选择协议。由于区块链的不变性和透明性,我们提出的协议强制随机选择客户端,使服务器无法自行控制选择过程。我们目前的安全证明表明,我们的协议是安全的,对这种攻击。此外,我们在类似以太坊的区块链上进行了几次实验,以证明我们的解决方案的可行性和实用性。
2022-05-11 cs.CR cs.LG
Flotta: a Secure and Flexible Spark-inspired Federated Learning Framework
IDSIA (USI-SUPSI)(IDSIA(瑞士意大利语区大学与瑞士应用科学大学卢加诺分校联合机构))
本文提出Flotta联邦学习框架,受Apache Spark启发,旨在保障多方联盟敏感数据安全,支持仅使用内部机器进行模型训练,兼具安全、灵活与易用性。
2024-09-20 cs.LG
Secure Federated Learning for Cognitive Radio Sensing
Poznan University of Technology(波兹南理工大学);RIMEDO Labs(RIMEDO实验室);Princeton University(普林斯顿大学)
本文研究认知无线电中基于联邦学习的频谱感知,分析其动机、架构、算法及安全隐私威胁,并提出对策与设计建议。
2023-03-23 cs.AI cs.LG cs.SY
Turbo-Aggregate: Breaking the Quadratic Aggregation Barrier in Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
联邦学习是一种分布式框架,用于在移动设备上的数据上训练机器学习模型,同时保护个人用户的隐私。将联邦学习扩展到大量用户的一个主要瓶颈是跨许多用户的安全模型聚合的开销。特别是,用于安全模型聚合的最新协议的开销随着用户的数量成二次方地增长。在本文中,我们提出了第一个安全的聚合框架,命名为涡轮聚合,在网络中与$N$用户实现了安全的聚合开销$O(N\log{N})$,而不是$O(N^2)$,同时容忍高达$50\%$的用户辍学率。Turbo-Aggregate采用多组循环策略进行有效的模型聚合,并利用附加秘密共享和新颖的编码技术注入聚合冗余,以处理用户退出,同时保证用户隐私。我们的实验表明,涡轮聚合实现了总的运行时间,增长几乎线性的用户数,并提供了高达$40\times$的加速比最先进的协议,高达$N=200$用户。我们的实验还展示了模型大小和带宽对Turbo-Aggregate性能的影响。
2021-02-20 cs.CR cs.DC cs.IT
Hi-SAFE: Hierarchical Secure Aggregation for Lightweight Federated Learning
Hanyang University(汉阳大学)
Hi-SAFE通过构建高效的多数投票多项式和分层子群策略,为基于符号的联邦学习提供轻量且安全的聚合框架,解决隐私和通信效率的挑战。
2025-11-24 cs.LG
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
联邦学习是一种机器学习技术,它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名,因为数据永远不会离开计算设备,最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而,我们发现,尽管做出了努力,联邦学习仍然存在隐私威胁,因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁,揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归,我们通过理论分析表明,攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型,我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
Secure Aggregation with Top-K Sparsification in Decentralized Federated Learning
Southwest Jiaotong University(西南交通大学)
针对去中心化联邦学习中带宽有限和节点不可靠的问题,提出一种结合Top-K梯度稀疏化的信息论安全聚合方案,通过离线阶段处理维度相关开销,使用随机掩码和排列保护梯度,在1%稀疏率下保持精度并显著降低通信成本。
2026-06-09 cs.CR cs.IT cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto(多伦多大学);IIT Madras(印度理工学院马德拉斯分校)
本文针对纵向联邦学习中的信息泄露问题,提出采用二次函数加密替代多输入函数加密,以安全训练广义线性模型,避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
Practical and Light-weight Secure Aggregation for Federated Submodel Learning
Ant Group(蚂蚁集团);East China Normal University(华东师范大学)
最近,Niu,et. J.J.等人引入了联邦学习(FL)的一个新变体,称为联合子模型学习(FSL)。与传统FL不同,每个客户端本地训练子模型(例如,从服务器检索),并根据其选择将子模型上传到服务器。然后,所有客户端聚合其所有子模型并完成迭代。不可避免地,FSL引入了两个隐私保护计算任务,即,私有子模型检索(PSR)和安全子模型聚合(SSA)。现有的工作不能提供一个无损失的计划,或具有不切实际的效率。在这项工作中,我们利用分布式点函数(DPF)和布谷鸟哈希构建一个实用的和轻量级的安全FSL方案在两个服务器设置。更具体地说,我们提出了两个基本的协议与一些优化技术,这确保了我们的协议在特定的现实世界的FSL任务的实用性。实验结果表明,当权重大小为$\leq 2^{15}$时,我们提出的协议可以在1分钟内完成,并通过与现有工作的比较和实际FSL任务的处理证明了协议的有效性.
2021-11-02 cs.DC cs.LG
CLIP: Client-Side Invariant Pruning for Mitigating Stragglers in Secure Federated Learning
University of Toronto(多伦多大学)
针对安全联邦学习中异构掉队客户端造成的计算与网络瓶颈,提出 CLIP 客户端不变神经元剪枝及网络感知剪枝方法,在 CIFAR10、Shakespeare、FEMNIST 上实现 13%–34% 训练加速且精度损失很小。
2025-10-19 cs.CR cs.DC cs.LG
A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption
Tampere University(塔尔库大学)
本文提出将混合同态加密(HHE)集成到联邦学习中,以同时解决通信开销和数据隐私挑战,从而实现可扩展且安全的去中心化学习系统。
2025-08-07 cs.CR cs.LG
FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy
University of Waterloo(滑铁卢大学)
针对横向联邦 $k$-means 中安全计算开销高与差分隐私效用差的问题,FastLloyd 结合计算型 DP 和安全聚合,并提出新的 DP 聚类机制,实现五个数量级加速且提升聚类效用。
2025-06-10 cs.CR cs.LG
Sparsified Secure Aggregation for Privacy-Preserving Federated Learning
University of California, Riverside(加州大学河滨分校)
安全聚合是隐私保护联邦学习中的一种流行协议,它允许模型聚合,而不会公开单个模型。另一方面,传统的安全聚合协议会产生显著的通信开销,这可能成为现实世界中带宽受限应用的主要瓶颈。为了解决这一挑战,在这项工作中,我们提出了一个轻量级的梯度稀疏化框架的安全聚合,其中服务器从大量的用户学习稀疏化的本地模型更新的聚合,但不学习个别参数。我们的理论分析表明,所提出的框架可以显着减少安全聚合的通信开销,同时确保相当的计算复杂性。我们进一步确定了由于稀疏化的隐私和通信效率之间的权衡。我们的实验表明,与传统的安全聚合基准相比,我们的框架将通信开销降低了7.8倍,同时还将挂钟训练时间加快了1.13倍。
2021-12-23 cs.CR cs.DC cs.IT
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria(奥地利科学技术研究所)
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP,可在不共享数据的前提下实现联邦学习下的标签传播,在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Tazza: Shuffling Neural Network Parameters for Secure and Private Federated Learning
College of Computing, Yonsei University, Department of Mobile Systems Engineering, Dankook University(延世大学计算机学院, Dankook大学移动系统工程系)
Tazza通过神经网络参数洗牌技术,同时解决联邦学习中的安全性和隐私保护问题,提升系统鲁棒性并提高模型准确性。
2025-12-30 cs.AI cs.LG
Coding-Enforced Resilient and Secure Aggregation for Hierarchical Federated Learning
Department of Information Science and Engineering(信息科学与工程系)
本文提出H-SecCoGC方案,通过编码策略提升分层联邦学习在不可靠通信下的鲁棒性、隐私保护和学习效率。
2026-01-25 cs.AI cs.LG
Progressive-Resolution Secure Aggregation for Federated Learning
Chalmers University of Technology(查尔姆斯理工大学)
本文提出渐进分辨率安全聚合(PSA),使客户端仅上传一次,即可在无需重新参与的情况下,按需授权获取同一聚合的逐步更精细分辨率,通过嵌套格码与附加聚合填充实现安全性。
2026-10-02 cs.CR cs.DC cs.IT
RoFL: Robustness of Secure Federated Learning
ETH Zurich(苏黎世联邦理工学院)
尽管近年来已经看到许多攻击暴露了联邦学习(FL)中的严重漏洞,但仍然缺乏对这些攻击的原因以及如何有效缓解这些攻击的全面理解。在这项工作中,我们揭开了现有(有针对性的)攻击的内部运作。我们提供了新的见解,为什么这些攻击是可能的,为什么一个明确的解决方案,FL的鲁棒性是具有挑战性的。我们表明,需要ML算法记住尾部数据有显着的影响FL的完整性。这种现象在很大程度上是在隐私的背景下研究的;我们的分析揭示了它对ML完整性的影响。我们表明,某些类别的严重攻击可以有效地减轻强制执行的约束,如客户端的更新范数界。我们研究如何有效地将这些限制到安全FL协议中的单服务器设置。在此基础上,我们提出了RoFL,一个新的安全FL系统,扩展了隐私保护输入验证的安全聚合。具体而言,RoFL可以对高维加密模型更新实施诸如$L_2$和$L_\infty$边界之类的约束。
2023-01-26 cs.CR cs.LG
Information-Theoretically Secure Aggregation for Lightweight Federated Learning: Resilient to Dropouts and Adversaries
Hanyang University(汉阳大学)
针对基于符号的联邦学习通信成本高、易受攻击等问题,提出轻量级信息理论安全聚合框架,通过单轮安全乘法计算MV多项式,引入逆形式指数约简和单轮安全乘法技术,减少通信和延迟,实现抗数据丢失和对抗行为,为安全聚合奠定实践基础。
2026-09-10 cs.LG
FastSecAgg: Scalable Secure Aggregation for Privacy-Preserving Federated Learning
University of California Berkeley(加州大学伯克利分校)
最近对联邦学习的攻击表明,将训练数据保存在客户端设备上并不能提供足够的隐私,因为客户端共享的模型参数可能会泄露有关其训练数据的信息。“安全聚合”协议使服务器能够以保护隐私的方式聚合客户端的模型。然而,现有的安全聚合协议会产生很高的计算/通信成本,特别是当模型参数的数量大于参与迭代的客户端的数量时-这是联邦学习中的典型场景。在本文中,我们提出了一个安全的聚合协议,FastSecAgg,这是有效的计算和通信方面,和强大的客户端辍学。FastSecAgg的主要组成部分是一个新的多秘密共享方案,FastShare,基于快速傅立叶变换(FFT),这可能是独立的利益。FastShare是信息理论上安全的,并实现了秘密数量,隐私阈值和丢包容忍之间的权衡。利用FastShare的能力,我们证明了FastSecAgg(i)在诚实但好奇的情况下,可以防止服务器与客户端的某个常数部分(例如$\sim10\%$)的“任意”子集合谋;(ii)可以容忍客户端的某个常数部分(例如$\sim10\%$)的“随机”子集的丢失. FastSecAgg实现显着更小的计算成本比现有的计划,同时实现相同的(有序)的通信成本。此外,它还保证了针对自适应对手的安全性,这些对手可以在协议执行期间动态地执行客户端损坏。
2020-09-23 cs.CR cs.IT cs.LG
Transparent Contribution Evaluation for Secure Federated Learning on Blockchain
Emory University(埃默里大学);Kyoto University(京都大学)
联邦学习是一种很有前途的机器学习范例,当多方合作构建高质量的机器学习模型时。尽管如此,这些政党只有在得到足够的激励时才愿意参与,比如根据他们的贡献给予公平的奖励。许多研究探索了基于Shapley值的方法来评估各方对学习模型的贡献。然而,它们通常假设一个半可信的服务器来训练模型和评估数据所有者的模型贡献,这缺乏透明度,可能会阻碍联邦学习在实践中的成功。在这项工作中,我们提出了一个基于区块链的联邦学习框架和一个协议,以透明地评估每个参与者的贡献。我们的框架在模型构建阶段保护所有参与方的隐私,并根据模型更新透明地评估贡献。在手写体数字数据集上的实验表明,该方法能够有效地评估贡献率。
2021-04-24 cs.CR cs.LG
A Secure and Efficient Federated Learning Framework for NLP
University of Connecticut(康涅狄格大学);Duke University(杜克大学);Facebook(脸书);Microsoft(微软);Northeastern University(东北大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
在这项工作中,我们考虑的问题,设计安全和有效的联邦学习(FL)框架。现有的解决方案要么涉及可信聚合器,要么需要重量级的加密原语,这会显着降低性能。此外,许多现有的安全FL设计仅在限制性假设下工作,即没有客户端可以从训练协议中退出。为了解决这些问题,我们提出了SEFL,一个安全有效的FL框架,它(1)消除了对可信实体的需求;(2)与现有的FL设计相比,实现了类似甚至更好的模型准确性;(3)对客户端退出具有弹性。通过对自然语言处理(NLP)任务的广泛实验研究,我们证明了SEFL与现有FL解决方案相比具有相当的准确性,并且所提出的修剪技术可以将运行时性能提高13.7倍。
2022-01-28 cs.CL cs.CR cs.LG
Secure Neuroimaging Analysis using Federated Learning with Homomorphic Encryption
University of Southern California(南加州大学)
联邦学习(FL)支持在各种不同的远程数据源上分布式计算机器学习模型,而无需将任何单独的数据传输到集中位置。随着更多的源和更大的数据集被添加到联邦中,这导致模型的通用性和计算的有效扩展。然而,最近的成员攻击表明,当模型参数或汇总统计数据与中央站点共享时,私人或敏感的个人数据有时会泄露或推断,需要改进的安全解决方案。在这项工作中,我们提出了一个框架,安全FL使用全同态加密(FHE)。具体来说,我们使用CKKS建设,一个近似的,浮点兼容的计划,受益于密文包装和重新缩放。在我们对大规模脑MRI数据集的评估中,我们使用我们提出的安全FL框架来训练一个深度学习模型,以从分布式MRI扫描(一个常见的基准测试任务)预测一个人的年龄,并证明加密和非加密联邦模型之间的学习性能没有下降。
2021-11-09 cs.CR cs.LG
Secure Federated Learning in 5G Mobile Networks
Ericsson Research(爱立信研究院);Ericsson Security Research(爱立信安全研究院);KTH Royal Institute of Technology(瑞典皇家理工学院)
机器学习(ML)是优化、保护和管理移动网络的重要推动因素。这导致从网络功能收集和处理的数据增加,这反过来又可能增加对敏感的最终用户信息的威胁。因此,需要减少对最终用户隐私的威胁的机制来充分利用ML。我们将联邦学习(FL)无缝集成到3GPP 5G网络数据分析(NWDA)架构中,并添加了多方计算(MPC)协议,以保护本地更新的机密性。我们评估了该协议,发现它比以前的工作具有更低的开销,而不会影响ML性能。
2020-09-14 cs.CR cs.LG cs.NI
Efficient Vertical Federated Learning with Secure Aggregation
University of Cambridge(剑桥大学)
针对纵向联邦学习中的梯度交换隐私泄露风险,提出一种利用最先进安全聚合模块实现安全高效训练的新方法,在不影响训练性能的同时比同态加密加速9.1e2至3.8e4倍。
2023-05-18 cs.AI cs.CR cs.LG
Federated Dynamic GNN with Secure Aggregation
University of Notre Dame(圣母大学)
给定来自多个个人设备或街道摄像头的视频数据,我们是否可以利用结构和动态信息来学习分布式监控等应用中对象的动态表示,而不会将数据存储在中央服务器上,从而导致侵犯用户隐私?在这项工作中,我们介绍了联邦动态图神经网络(Feddy),一个分布式的和安全的框架,学习对象表示从多用户图序列:i)它聚合的结构信息,从附近的对象在当前图以及动态信息,从那些在以前的图。它使用一种自我监督的损失来预测物体的轨迹。ii)它以联邦学习的方式进行训练。位于中央的服务器将模型发送到用户设备。各个用户设备上的本地模型学习并定期将其学习发送到中央服务器,而不会将用户的数据暴露给服务器。iii)研究表明,在服务器执行加权平均之后,聚合的参数可以在广播到客户端用于模型同步时被检查,尽管被解密。我们设计了一个合适的安全聚集原语聚集机制,可以保护联邦学习的安全性和隐私性,并具有可扩展性。在四个不同场景下的视频摄像机数据集上的实验和仿真结果表明,Feddy算法具有很好的安全性和有效性。
2020-09-15 cs.CR cs.LG
Byzantine-Robust Federated Learning Framework with Post-Quantum Secure Aggregation for Real-Time Threat Intelligence Sharing in Critical IoT Infrastructure
本文提出一种结合后量子安全聚合的联邦学习框架,用于关键物联网基础设施中实时威胁情报共享,通过自适应加权聚合和基于格的加密协议,有效防御拜占庭攻击和量子威胁。
2026-01-03 cs.CR cs.LG
Efficient Secure Federated Learning via Information-Theoretically Secure Key Distribution: A Medical Imaging Case Study
University of Trento(特伦托大学);Huawei Technologies Duesseldorf(华为技术杜塞尔多夫有限公司);Universidad Politécnica de Madrid(马德里理工大学)
本研究提出一种集成冻结骨干、知识蒸馏与量化的联邦学习框架,在真实物理密钥分配测试平台上将密钥使用量减少约35倍,同时保持预测精度,从而解决信息论安全密钥交换的吞吐量瓶颈,实现可持续的联邦学习训练。
2026-10-06 cs.CR cs.LG
ESMFL: Efficient and Secure Models for Federated Learning
Northeastern University(东北大学);Duke University(杜克大学);University of Connecticut(康涅狄格大学)
目前,深度神经网络被广泛应用于各个领域。然而,深度神经网络需要大量的数据汇集,这暴露了潜在的隐私问题,也消耗了大量的通信带宽。为了解决这些问题,我们提出了一种用于联邦学习分布式系统的隐私保护方法,该方法运行在英特尔软件防护扩展(Intel Software Guard Extensions)上,这是一组可提高应用程序代码和数据安全性的指令。同时,加密模型使传输开销较大。因此,我们通过稀疏化来降低交换成本,并且可以在不同的模型架构下实现合理的精度。
2021-03-03 cs.CR cs.CV cs.LG
Communication-Computation Efficient Secure Aggregation for Federated Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
联邦学习作为一种使用分布式数据来训练神经网络而不需要各个节点共享数据的方法而受到关注。不幸的是,也已经表明,对手可能能够从联邦学习期间传输的模型参数中提取本地数据内容。基于安全聚合原语的最新解决方案支持隐私保护联邦学习,但代价是大量额外的通信/计算资源。在本文中,我们提出了一个低复杂度的计划,提供数据隐私使用大大减少通信/计算资源相对于现有的安全解决方案。建议方案背后的关键思想是将秘密共享节点的拓扑结构设计为稀疏随机图,而不是与现有解决方案相对应的完整图。我们首先在图上得到了保证可靠性和隐私性的充分必要条件。然后,我们建议特别使用Erdens-Rényi图,并为所提出的方案的可靠性/隐私性提供理论保证。通过广泛的现实世界的实验,我们证明,我们的计划,只使用$20 \sim 30\%$的传统计划中所需的资源,保持几乎相同的水平的可靠性和数据隐私的实际联邦学习系统。
2021-07-12 cs.CR cs.IT cs.LG
Secure Aggregation for Privacy-Preserving Federated Learning on Clinical EEG Data
University of South-Eastern Norway(东南挪威大学)
该研究针对临床EEG数据联邦学习的隐私泄露问题,提出以掩码安全聚合为核心的隐私保护框架,经模拟医疗场景验证,半诚实变体开销低,恶意变体安全性强但开销更高。
2026-09-09 cs.CR cs.DC cs.LG
Towards Sparse Federated Analytics: Location Heatmaps under Distributed Differential Privacy with Secure Aggregation
Cornell Tech(康奈尔理工学院);Google(谷歌)
我们设计了一种可扩展的算法,可以在来自数百万用户设备的分散数据上私下生成位置热图。它旨在确保数据对服务提供商可见之前的差分隐私,同时保持高数据准确性并最大限度地减少用户设备上的资源消耗。为了实现这一目标,我们重新分布式差分隐私的基础上,最近的结果在安全多方计算,我们设计了一个可扩展的和自适应的分布式差分隐私的位置分析方法。对公共位置数据集的评估表明,这种方法成功地从数百万用户样本中生成了大都市规模的热图,最坏情况下的客户端通信开销明显小于现有的最先进的私有协议。
2022-06-26 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG