A Study of Secure Algorithms for Vertical Federated Learning: Take Secure Logistic Regression as an Example
National Taiwan University(台湾大学)
针对大数据下企业数据共享与隐私保护的矛盾,本文研究纵向联邦学习框架下的安全模型训练,以加密域执行的方式保障数据隐私,为合规的跨企业联合建模提供思路。
2024-10-30 cs.CR cs.LG
Privacy-preserving Graph Analytics: Secure Generation and Federated Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Arizona State University(亚利桑那州立大学)
直接从国土安全企业的安全相关的应用程序的动机,我们专注于图数据的隐私保护分析,它提供了重要的能力来表示丰富的属性和关系。特别是,我们讨论了两个方向,即隐私保护图生成和联邦图学习,这可以共同实现每个拥有私有图数据的多方之间的协作。对于每一个方向,我们都确定了“速赢”和“难题”。最后,我们展示了一个用户界面,可以促进模型的解释,解释和可视化。我们相信,在这些方向上开发的技术将大大提高国土安全企业应对和减轻各种安全风险的能力。
2022-06-30 cs.CR cs.LG
On Using Secure Aggregation in Differentially Private Federated Learning with Multiple Local Steps
University of Helsinki(赫尔辛基大学);Telefónica Research(西班牙电信研究机构)
本文提出一种新分析方法,使联邦学习在多个本地步骤中仍能利用安全聚合,从而在有限通信轮数下实现更高实用性的模型并保证隐私保护。
2025-03-24 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文提出缓冲异步安全聚合协议BASA,使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合,并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
Blockchain-based Secure Client Selection in Federated Learning
University of Florida(佛罗里达大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
尽管联邦学习(FL)在大规模分布式学习中具有巨大的潜力,但由于客户端训练的本地模型暴露于中央服务器,当前系统仍然受到一些隐私问题的影响。因此,FL的安全聚合协议已经被开发出来,以隐藏服务器的本地模型。然而,我们表明,通过操纵客户端的选择过程中,服务器可以绕过安全聚合学习受害者客户端的本地模型,表明安全聚合本身是不够的隐私保护。为了解决这个问题,我们利用区块链技术提出了一个可验证的客户端选择协议。由于区块链的不变性和透明性,我们提出的协议强制随机选择客户端,使服务器无法自行控制选择过程。我们目前的安全证明表明,我们的协议是安全的,对这种攻击。此外,我们在类似以太坊的区块链上进行了几次实验,以证明我们的解决方案的可行性和实用性。
2022-05-11 cs.CR cs.LG
A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption
Tampere University(塔尔库大学)
本文提出将混合同态加密(HHE)集成到联邦学习中,以同时解决通信开销和数据隐私挑战,从而实现可扩展且安全的去中心化学习系统。
2025-08-07 cs.CR cs.LG
FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy
University of Waterloo(滑铁卢大学)
针对横向联邦 $k$-means 中安全计算开销高与差分隐私效用差的问题,FastLloyd 结合计算型 DP 和安全聚合,并提出新的 DP 聚类机制,实现五个数量级加速且提升聚类效用。
2025-06-10 cs.CR cs.LG
Hyperparameter Optimization for SecureBoost via Constrained Multi-Objective Federated Learning
School of Computer Science, Beihang University(北京航空航天大学计算机学院);Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
针对 SecureBoost 超参数只凭启发式优化效用且存在标签泄露的问题,提出 CMOSB 约束多目标算法,联合权衡效用损失、训练成本与隐私泄露,并用 ICA 评估隐私及给出防御措施。
2024-04-06 cs.CR cs.LG
RoFL: Robustness of Secure Federated Learning
ETH Zurich(苏黎世联邦理工学院)
尽管近年来已经看到许多攻击暴露了联邦学习(FL)中的严重漏洞,但仍然缺乏对这些攻击的原因以及如何有效缓解这些攻击的全面理解。在这项工作中,我们揭开了现有(有针对性的)攻击的内部运作。我们提供了新的见解,为什么这些攻击是可能的,为什么一个明确的解决方案,FL的鲁棒性是具有挑战性的。我们表明,需要ML算法记住尾部数据有显着的影响FL的完整性。这种现象在很大程度上是在隐私的背景下研究的;我们的分析揭示了它对ML完整性的影响。我们表明,某些类别的严重攻击可以有效地减轻强制执行的约束,如客户端的更新范数界。我们研究如何有效地将这些限制到安全FL协议中的单服务器设置。在此基础上,我们提出了RoFL,一个新的安全FL系统,扩展了隐私保护输入验证的安全聚合。具体而言,RoFL可以对高维加密模型更新实施诸如$L_2$和$L_\infty$边界之类的约束。
2023-01-26 cs.CR cs.LG
Transparent Contribution Evaluation for Secure Federated Learning on Blockchain
Emory University(埃默里大学);Kyoto University(京都大学)
联邦学习是一种很有前途的机器学习范例,当多方合作构建高质量的机器学习模型时。尽管如此,这些政党只有在得到足够的激励时才愿意参与,比如根据他们的贡献给予公平的奖励。许多研究探索了基于Shapley值的方法来评估各方对学习模型的贡献。然而,它们通常假设一个半可信的服务器来训练模型和评估数据所有者的模型贡献,这缺乏透明度,可能会阻碍联邦学习在实践中的成功。在这项工作中,我们提出了一个基于区块链的联邦学习框架和一个协议,以透明地评估每个参与者的贡献。我们的框架在模型构建阶段保护所有参与方的隐私,并根据模型更新透明地评估贡献。在手写体数字数据集上的实验表明,该方法能够有效地评估贡献率。
2021-04-24 cs.CR cs.LG
Secure Neuroimaging Analysis using Federated Learning with Homomorphic Encryption
University of Southern California(南加州大学)
联邦学习(FL)支持在各种不同的远程数据源上分布式计算机器学习模型,而无需将任何单独的数据传输到集中位置。随着更多的源和更大的数据集被添加到联邦中,这导致模型的通用性和计算的有效扩展。然而,最近的成员攻击表明,当模型参数或汇总统计数据与中央站点共享时,私人或敏感的个人数据有时会泄露或推断,需要改进的安全解决方案。在这项工作中,我们提出了一个框架,安全FL使用全同态加密(FHE)。具体来说,我们使用CKKS建设,一个近似的,浮点兼容的计划,受益于密文包装和重新缩放。在我们对大规模脑MRI数据集的评估中,我们使用我们提出的安全FL框架来训练一个深度学习模型,以从分布式MRI扫描(一个常见的基准测试任务)预测一个人的年龄,并证明加密和非加密联邦模型之间的学习性能没有下降。
2021-11-09 cs.CR cs.LG
Federated Dynamic GNN with Secure Aggregation
University of Notre Dame(圣母大学)
给定来自多个个人设备或街道摄像头的视频数据,我们是否可以利用结构和动态信息来学习分布式监控等应用中对象的动态表示,而不会将数据存储在中央服务器上,从而导致侵犯用户隐私?在这项工作中,我们介绍了联邦动态图神经网络(Feddy),一个分布式的和安全的框架,学习对象表示从多用户图序列:i)它聚合的结构信息,从附近的对象在当前图以及动态信息,从那些在以前的图。它使用一种自我监督的损失来预测物体的轨迹。ii)它以联邦学习的方式进行训练。位于中央的服务器将模型发送到用户设备。各个用户设备上的本地模型学习并定期将其学习发送到中央服务器,而不会将用户的数据暴露给服务器。iii)研究表明,在服务器执行加权平均之后,聚合的参数可以在广播到客户端用于模型同步时被检查,尽管被解密。我们设计了一个合适的安全聚集原语聚集机制,可以保护联邦学习的安全性和隐私性,并具有可扩展性。在四个不同场景下的视频摄像机数据集上的实验和仿真结果表明,Feddy算法具有很好的安全性和有效性。
2020-09-15 cs.CR cs.LG
Byzantine-Robust Federated Learning Framework with Post-Quantum Secure Aggregation for Real-Time Threat Intelligence Sharing in Critical IoT Infrastructure
本文提出一种结合后量子安全聚合的联邦学习框架,用于关键物联网基础设施中实时威胁情报共享,通过自适应加权聚合和基于格的加密协议,有效防御拜占庭攻击和量子威胁。
2026-01-03 cs.CR cs.LG
Efficient Secure Federated Learning via Information-Theoretically Secure Key Distribution: A Medical Imaging Case Study
University of Trento(特伦托大学);Huawei Technologies Duesseldorf(华为技术杜塞尔多夫有限公司);Universidad Politécnica de Madrid(马德里理工大学)
本研究提出一种集成冻结骨干、知识蒸馏与量化的联邦学习框架,在真实物理密钥分配测试平台上将密钥使用量减少约35倍,同时保持预测精度,从而解决信息论安全密钥交换的吞吐量瓶颈,实现可持续的联邦学习训练。
2026-10-06 cs.CR cs.LG
Efficient Sparse Secure Aggregation for Federated Learning
Owkin Inc.(Owkin公司)
联合学习使人们能够跨持有敏感数据集的分布式客户端联合训练机器学习模型。在现实世界中,这种方法受到昂贵的通信和隐私问题的阻碍。这两个挑战都已经得到了单独解决,从而导致了相互竞争的优化。在这篇文章中,我们第一次同时处理它们。更确切地说,我们适应基于压缩的联邦技术添加剂秘密共享,导致一个有效的安全聚合协议,具有自适应的安全级别。我们证明了它的隐私对恶意的对手和它的正确性,在半诚实的设置。在深度卷积网络上的实验表明,我们的安全协议以低通信成本实现了高准确性。与以前的安全聚合工作相比,我们的协议具有较低的通信和计算成本,类似的准确性。
2021-10-18 cs.CR cs.LG stat.ML
SecureBoost Hyperparameter Tuning via Multi-Objective Federated Learning
Beihang University(北京航空航天大学);Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
针对SecureBoost超参数难以在效用、效率和隐私间取得最优平衡的问题,本文提出约束多目标SecureBoost(CMOSB)算法,通过帕累托优化同时降低效用损失、训练成本和隐私泄露,并利用实例聚类攻击度量隐私风险,实验证明其超参数优于基线且能满足联邦学习参与者的灵活需求。
2023-08-08 cs.CR cs.LG
Towards Sparse Federated Analytics: Location Heatmaps under Distributed Differential Privacy with Secure Aggregation
Cornell Tech(康奈尔理工学院);Google(谷歌)
我们设计了一种可扩展的算法,可以在来自数百万用户设备的分散数据上私下生成位置热图。它旨在确保数据对服务提供商可见之前的差分隐私,同时保持高数据准确性并最大限度地减少用户设备上的资源消耗。为了实现这一目标,我们重新分布式差分隐私的基础上,最近的结果在安全多方计算,我们设计了一个可扩展的和自适应的分布式差分隐私的位置分析方法。对公共位置数据集的评估表明,这种方法成功地从数百万用户样本中生成了大都市规模的热图,最坏情况下的客户端通信开销明显小于现有的最先进的私有协议。
2022-06-26 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
A Secure Aggregation for Federated Learning on Long-Tailed Data
University of Technology Sydney(悉尼科技大学);CSIRO(联邦科学与工业研究组织);Zhejiang Lab(之江实验室)
针对联邦学习中长尾数据分布与拜占庭模型攻击并存的问题,提出一种两层安全聚合方法,借助“智库”机制剔除恶意模型并筛选含尾类信息的有价值模型。
2023-07-17 cs.CR cs.LG
Secure Aggregation for Federated Learning in Flower
University of Cambridge(剑桥大学)
联邦学习(FL)允许各方通过将训练计算委托给客户端并聚合服务器上所有单独训练的模型来学习共享的预测模型。为了防止从本地模型中推断出私有信息,安全聚合(SA)协议用于确保服务器在聚合它们时无法检查单个训练模型。然而,当前FL框架中SA的实现具有局限性,包括易受客户端退出或配置困难的影响。在本文中,我们提出了Salvia,这是Flower FL框架中Python用户的SA实现。Salvia基于SecAgg(+)协议,用于半诚实的威胁模型,对客户端退出具有鲁棒性,并提供了与各种机器学习框架兼容的灵活且易于使用的API。我们表明,Salvia的实验性能与SecAgg(+)的理论计算和通信复杂性是一致的。
2022-05-12 cs.CR cs.LG
SLVR: Securely Leveraging Client Validation for Robust Federated Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Visa Research(Visa研究院)
针对联邦学习中隐私与鲁棒性的权衡问题,提出SLVR通用框架,通过安全多方计算利用客户端私有数据实现鲁棒性检查,无需公开验证数据,提升对模型投毒攻击的鲁棒性并适应数据分布偏移。
2025-02-12 cs.CR cs.LG
Large-Scale Secure XGB for Vertical Federated Learning
Ant Group(蚂蚁集团)
近年来,隐私保护机器学习受到越来越多的关注,特别是随着各种隐私保护法规的出台。在这种情况下,联邦学习(FL)似乎有助于在多方之间进行隐私保护的联合建模。虽然许多联邦算法已经被广泛研究,但仍然缺乏安全和实用的梯度树提升模型(例如,XGB)在文学中。在本文中,我们的目标是建立大规模的安全XGB垂直联邦学习设置。我们从三个方面保障数据隐私。具体来说,(i)我们采用安全的多方计算技术,以避免在训练过程中泄漏中间信息,(ii)我们以分布式方式存储输出模型,以最小化信息释放,以及(iii)我们提供了一种新的算法,用于安全的XGB预测与分布式模型。此外,通过提出安全的置换协议,我们可以提高训练效率并使框架可扩展到大数据集。我们在公共数据集和真实数据集上进行了广泛的实验,结果表明,我们提出的XGB模型不仅具有竞争力的准确性,而且具有实用性能。
2021-09-02 cs.CR cs.LG stat.ML
Revocable Federated Learning: A Benchmark of Federated Forest
Xidian University(西安电子科技大学);Fuzhou University(福州大学);Data 61, CSIRO(联邦科学与工业研究组织数据61所);Zhejiang University(浙江大学)
学习联邦由多个参与者组成,这些参与者使用联邦学习技术来协作训练机器学习模型,而不直接揭示本地数据。然而,现有的联邦学习框架存在一个严重的缺陷,即使某个参与者被撤销,其数据仍然被训练好的模型记住。在公司层面的合作中,允许剩下的公司使用包含被撤销公司记忆的训练模型显然是不可接受的,因为这可能导致巨大的利益冲突。为此,本文重点讨论了联邦学习的参与者撤销问题,并设计了一个可撤销的联邦随机森林(RF)框架RevFRF,进一步阐述了可撤销的联邦学习的概念。在RevFRF中,我们首先定义了一个可扩展的联邦RF要解决的安全问题。然后,设计了一套基于同态加密的安全协议,用于联邦射频的构建、预测和撤销。通过理论分析和实验,证明了该协议能够安全有效地实现RF的协同训练,并确保训练RF中被撤销参与者的记忆被安全删除。
2019-11-08 cs.CR cs.LG
Efficient and Secure Federated Learning for Financial Applications
China University of Political Science Law(中国政法大学);Xi’an Jiaotong University(西安交通大学);Ant Rongxin (Chengdu) Network Technology Co Ltd(蚂蚁融信(成都)网络科技有限公司)
传统的机器学习(ML)和深度学习方法需要与外部征信机构共享客户的敏感信息,以生成预测模型,从而为隐私泄露打开大门。这种漏损风险使金融公司的合作面临巨大挑战。联邦学习是一种可以保护数据隐私的机器学习设置,但高昂的通信代价往往是联邦系统的瓶颈,特别是对于大型神经网络。限制通信的数量和大小对于大型神经结构的实际训练是必要的。梯度稀疏化作为一种降低通信开销的方法受到越来越多的关注,它只更新重要的梯度,并在局部累积不重要的梯度。然而,安全聚合框架不能直接使用梯度稀疏化。本文提出了两种稀疏化方法,以减少联邦学习中的通信成本。一种是模型参数更新的时变分层稀疏化方法,解决了高比率稀疏化后模型精度的保持问题。它可以大大降低单次通信的成本。二是将稀疏化方法应用于安全聚合框架。我们稀疏加密掩码矩阵,以减少通信的成本,同时保护隐私。实验表明,在不同的Non-IID实验设置下,当稀疏率为0.01时,该方法可以将上传通信开销降低到传统联邦学习算法的2.9%~ 18.9%.
2023-03-15 cs.CR cs.LG
Uncovering Attacks and Defenses in Secure Aggregation for Federated Deep Learning
Purdue University(普渡大学);University of South Florida(南佛罗里达大学)
本文发现MicroSecAgg安全聚合协议存在可预测掩码值导致用户隐私泄露的安全缺陷,并提出动态不可预测掩码等防御对策。
2024-10-17 cs.CR cs.LG
FBChain: A Blockchain-based Federated Learning Model with Efficiency and Secure Communication
Beihang University(北京航空航天大学);Guangxi Normal University(广西师范大学)
针对联邦学习通信中的参数泄漏和效率低下问题,提出基于区块链的FBChain模型,利用区块链不可篡改性和PoWLS共识算法,实现安全高效通信。
2025-02-27 cs.CR cs.LG
FuSeFL: Fully Secure and Scalable Federated Learning
Department of Computer Science and Engineering(计算机科学与工程系);University of California, Riverside(加州大学河滨分校)
FuSeFL通过轻量级MPC实现去中心化训练,保障数据、模型和更新的完整保密性,同时提升训练效率和降低服务器资源消耗。
2026-02-06 cs.CR cs.LG
Scalable and Private Federated Learning Using Distributed Differential Privacy and Secure Aggregation
Université Paris Cité(巴黎Cité大学)
本文提出DDP-SA框架,结合客户端侧本地差分隐私和全阈值加法秘密共享,实现安全聚合,提供更强的端到端隐私保障且计算可行。
2026-06-06 cs.CR cs.LG
Flamingo: Multi-Round Single-Server Secure Aggregation with Applications to Private Federated Learning
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院);J.P. Morgan AI Research(摩根大通人工智能研究院);AlgoCRYPT CoE(AlgoCRYPT卓越中心)
本文提出Flamingo,一种用于联邦学习的多轮单服务器安全聚合系统,通过消除每轮设置、引入轻量级客户端退出恢复协议及本地选择客户端邻域的新方法,显著减少了交互次数与端到端运行时间,并在MNIST和CIFAR-100上实现无损精度的安全训练。
2024-10-13 cs.CR cs.LG
Secure Bayesian Federated Analytics for Privacy-Preserving Trend Detection
Xayn AG(Xayn公司);Imperial College London(帝国理工学院)
联合分析在边缘计算中有许多应用,它的使用可以为服务提供、产品开发和用户体验带来更好的决策。我们提出了一种贝叶斯方法的趋势检测,其中一个关键字是时髦的概率,给定一个数据集,通过贝叶斯定理计算;数据集的概率,给定一个关键字是时髦的,通过安全的聚合这样的条件概率在本地数据集的用户计算。我们提出了一个名为SAFE的贝叶斯联邦分析协议,为生产级用例提供足够的隐私,并减少用户和聚合器的计算负担。我们用一个趋势检测实验来说明这种方法,并讨论如何进一步扩展这种方法,使其为生产做好准备。
2021-07-28 cs.AI cs.CR cs.LG
Byzantine-Robust Federated Learning: An Overview With Focus on Developing Sybil-based Attacks to Backdoor Augmented Secure Aggregation Protocols
本文综述拜占庭鲁棒联邦学习的现有方法并分类,深入分析RoFL协议的优缺点,提出两种利用其漏洞的新型Sybil攻击,给出攻击实现细节与未来测试及框架改进方向。
2024-10-30 cs.CR cs.LG
PVBRF-ID: Private, Verifiable and Byzantine-Robust Federated Intrusion Detection for Oilfield Enterprise Networks
Daw Alfada Company(Daw Alfada 公司);University of Misan(米桑大学);University of Southern Queensland(昆士兰南部大学)
本文针对油田企业网络的入侵检测问题,提出PVBRF-ID双服务器协议,兼具隐私性、可验证性与抗拜占庭攻击能力,在Edge-IIoTset任务中优于FedAvg,可抵御多种攻击。
2026-10-12 cs.CR cs.LG
DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing
Hong Kong University of Science and Technology(香港科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
联邦学习(FL)致力于实现机器学习模型的协作训练,而无需集中收集客户的私人数据。与集中式训练不同,FL中跨客户端的本地数据集是非独立和同分布的(非IID)。此外,拥有数据的客户端可以任意退出训练过程。这些特征将显著降低训练性能。提出了一种基于拉格朗日编码计算(LCC)的丢包恢复安全联邦学习(DReS-FL)框架,以解决非IID和丢包问题。其关键思想是利用拉格朗日编码在客户端之间秘密共享私有数据集,以便每个客户端接收全局数据集的编码版本,并且在该数据集上的局部梯度计算是无偏的。为了在服务器上正确解码梯度,梯度函数必须是有限域中的多项式,因此我们构建多项式整数神经网络(PINNs)来实现我们的框架。理论分析表明,DReS-FL具有较好的客户端退出弹性,并为本地数据集提供了隐私保护。此外,我们的实验表明,DReS-FL一贯导致显着的性能增益超过基线方法。
2022-10-06 cs.CR cs.LG
Mitigating Leakage in Federated Learning with Trusted Hardware
Hong Kong University of Science & Technology(香港科技大学)
在联邦学习中,多方合作,以便在各自的数据集上训练全局模型。即使密码原语(例如,同态加密)可以帮助在这种设置中实现数据隐私,但是如果不明智地这样做,则一些部分信息仍然可能跨各方泄露。在这项工作中,我们研究了SecureBoost的联邦学习框架[Cheng et al.,FL@IJCAI'19]作为一个具体的例子,演示了泄漏滥用攻击的泄漏配置文件的基础上,并实验评估我们的攻击的有效性。然后,我们提出了两个安全的版本依赖于可信的执行环境。我们实现并对我们的协议进行基准测试,以证明它们的计算速度比SecureBoost快1.2- 5.4倍,并且需要的通信量比SecureBoost少5- 49倍。
2020-11-12 cs.CR cs.LG
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
联邦学习是一种机器学习技术,它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名,因为数据永远不会离开计算设备,最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而,我们发现,尽管做出了努力,联邦学习仍然存在隐私威胁,因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁,揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归,我们通过理论分析表明,攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型,我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
SRATTA : Sample Re-ATTribution Attack of Secure Aggregation in Federated Learning
Owkin Inc.(Owkin公司)
针对跨机构联邦学习的安全聚合机制,提出仅依赖聚合模型的SRATTA攻击,可恢复客户端样本并按客户端分组,突破安全聚合防护,同时给出应对措施,强调客户端需主动保障隐私。
2023-06-13 cs.CR cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto(多伦多大学);IIT Madras(印度理工学院马德拉斯分校)
本文针对纵向联邦学习中的信息泄露问题,提出采用二次函数加密替代多输入函数加密,以安全训练广义线性模型,避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
CLIP: Client-Side Invariant Pruning for Mitigating Stragglers in Secure Federated Learning
University of Toronto(多伦多大学)
针对安全联邦学习中异构掉队客户端造成的计算与网络瓶颈,提出 CLIP 客户端不变神经元剪枝及网络感知剪枝方法,在 CIFAR10、Shakespeare、FEMNIST 上实现 13%–34% 训练加速且精度损失很小。
2025-10-19 cs.CR cs.DC cs.LG
SecureCut: Federated Gradient Boosting Decision Trees with Efficient Machine Unlearning
Shanghai Jiao Tong University(上海交通大学);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
提出SecureCut框架,无需从头重训即可在垂直联邦学习场景下实现实例与特征级机器遗忘,兼顾隐私保证与模型性能。
2023-11-22 cs.CR cs.LG
SecureFedYJ: a safe feature Gaussianization protocol for Federated Learning
Owkin Inc.(Owkin公司)
Yeo-Johnson(YJ)变换是一种标准的参数化每特征一维变换,通常用于在机器学习中对特征进行高斯化。在本文中,我们研究的问题,应用YJ变换在一个跨筒仓联邦学习设置下的隐私约束。第一次,我们证明了YJ负对数似然实际上是凸的,这使得我们可以用指数搜索来优化它。我们通过数值计算表明,所得算法比基于Brent最小化方法的最新方法更稳定。在这个简单的算法和安全多方计算例程的基础上,我们提出了SecureFedYJ,一种联邦算法,它执行池化等效YJ变换,而不会泄漏比最终拟合参数更多的信息。对真实数据的定量实验表明,除了安全之外,我们的方法还可以可靠地规范化各个孤岛的功能以及数据池,使其成为安全联邦特征高斯化的可行方法。
2022-10-13 cs.LG
Quality Inference in Federated Learning with Secure Aggregation
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本文证明在联邦学习应用安全聚合后仍可推断个体数据集质量,并通过图像识别实验实现参与者质量排序,用于检测不当行为、稳定训练和衡量个体贡献。
2023-05-25 cs.CR cs.LG stat.ML
A Secure and Efficient Federated Learning Framework for NLP
University of Connecticut(康涅狄格大学);Duke University(杜克大学);Facebook(脸书);Microsoft(微软);Northeastern University(东北大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
在这项工作中,我们考虑的问题,设计安全和有效的联邦学习(FL)框架。现有的解决方案要么涉及可信聚合器,要么需要重量级的加密原语,这会显着降低性能。此外,许多现有的安全FL设计仅在限制性假设下工作,即没有客户端可以从训练协议中退出。为了解决这些问题,我们提出了SEFL,一个安全有效的FL框架,它(1)消除了对可信实体的需求;(2)与现有的FL设计相比,实现了类似甚至更好的模型准确性;(3)对客户端退出具有弹性。通过对自然语言处理(NLP)任务的广泛实验研究,我们证明了SEFL与现有FL解决方案相比具有相当的准确性,并且所提出的修剪技术可以将运行时性能提高13.7倍。
2022-01-28 cs.CL cs.CR cs.LG
Secure Federated Learning in 5G Mobile Networks
Ericsson Research(爱立信研究院);Ericsson Security Research(爱立信安全研究院);KTH Royal Institute of Technology(瑞典皇家理工学院)
机器学习(ML)是优化、保护和管理移动网络的重要推动因素。这导致从网络功能收集和处理的数据增加,这反过来又可能增加对敏感的最终用户信息的威胁。因此,需要减少对最终用户隐私的威胁的机制来充分利用ML。我们将联邦学习(FL)无缝集成到3GPP 5G网络数据分析(NWDA)架构中,并添加了多方计算(MPC)协议,以保护本地更新的机密性。我们评估了该协议,发现它比以前的工作具有更低的开销,而不会影响ML性能。
2020-09-14 cs.CR cs.LG cs.NI
Efficient Vertical Federated Learning with Secure Aggregation
University of Cambridge(剑桥大学)
针对纵向联邦学习中的梯度交换隐私泄露风险,提出一种利用最先进安全聚合模块实现安全高效训练的新方法,在不影响训练性能的同时比同态加密加速9.1e2至3.8e4倍。
2023-05-18 cs.AI cs.CR cs.LG
ESMFL: Efficient and Secure Models for Federated Learning
Northeastern University(东北大学);Duke University(杜克大学);University of Connecticut(康涅狄格大学)
目前,深度神经网络被广泛应用于各个领域。然而,深度神经网络需要大量的数据汇集,这暴露了潜在的隐私问题,也消耗了大量的通信带宽。为了解决这些问题,我们提出了一种用于联邦学习分布式系统的隐私保护方法,该方法运行在英特尔软件防护扩展(Intel Software Guard Extensions)上,这是一组可提高应用程序代码和数据安全性的指令。同时,加密模型使传输开销较大。因此,我们通过稀疏化来降低交换成本,并且可以在不同的模型架构下实现合理的精度。
2021-03-03 cs.CR cs.CV cs.LG
Secure Aggregation for Privacy-Preserving Federated Learning on Clinical EEG Data
University of South-Eastern Norway(东南挪威大学)
该研究针对临床EEG数据联邦学习的隐私泄露问题,提出以掩码安全聚合为核心的隐私保护框架,经模拟医疗场景验证,半诚实变体开销低,恶意变体安全性强但开销更高。
2026-09-09 cs.CR cs.DC cs.LG
Provably Secure Federated Learning against Malicious Clients
Duke University(杜克大学)
联邦学习使客户端能够协作学习共享的全局模型,而无需与云服务器共享其本地训练数据。然而,恶意客户端可以破坏全局模型,以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而,这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是,给定任何基础联邦学习算法,我们使用该算法学习多个全局模型,每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时,我们在全局模型中进行多数投票。我们表明,我们的集成联邦学习与任何基础联邦学习算法是可证明的安全,对恶意客户端。具体来说,我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外,我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如,当1,000个客户端中有20个是恶意客户端时,我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
SecureAFL: Secure Asynchronous Federated Learning
University of Louisville(路易斯维尔大学);Northeastern University(东北大学);National University of Singapore(新加坡国立大学);University of North Texas(北德克萨斯大学)
本文提出SecureAFL框架,通过检测并丢弃异常更新、估计缺失客户端贡献以及采用坐标中位数聚合技术,提升异步联邦学习的安全性与鲁棒性。
2026-04-04 cs.CR cs.DC cs.LG
Secure Aggregation with Top-K Sparsification in Decentralized Federated Learning
Southwest Jiaotong University(西南交通大学)
针对去中心化联邦学习中带宽有限和节点不可靠的问题,提出一种结合Top-K梯度稀疏化的信息论安全聚合方案,通过离线阶段处理维度相关开销,使用随机掩码和排列保护梯度,在1%稀疏率下保持精度并显著降低通信成本。
2026-06-09 cs.CR cs.IT cs.LG
Byzantine-Resilient Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
安全联邦学习是一种隐私保护框架,通过对移动用户收集的大量数据进行训练来改进机器学习模型。这是通过迭代过程实现的,在每次迭代中,用户使用其本地数据集更新全局模型。然后,每个用户通过随机密钥屏蔽其本地模型,并且在中央服务器处聚合屏蔽的模型以计算下一次迭代的全局模型。由于本地模型受到随机掩码的保护,服务器无法观察到它们的真实值。这对模型对抗敌对(拜占庭)用户的弹性提出了一个重大挑战,这些用户可以通过修改其本地模型或数据集来操纵全局模型。为了应对这一挑战,本文提出了第一个单服务器拜占庭弹性安全聚合框架(BREA)的安全联邦学习。BREA基于集成的随机量化,可验证的离群值检测和安全的模型聚合方法,以同时保证Byzantine弹性,隐私和收敛。我们提供了理论上的收敛和隐私保证,并在网络规模,用户辍学和隐私保护方面的基本权衡。我们的实验证明了拜占庭用户存在的收敛性,以及与传统联邦学习基准相当的准确性。
2021-02-20 cs.CR cs.DC cs.LG
Federated Kalman Filter for Secure IoT-based Device Monitoring Services
University of Guelph(圭尔夫大学)
本文提出一种结合联邦卡尔曼滤波器、联邦学习与私有区块链的平台,用于解决物联网设备监控服务中的隐私问题,实验证明其在基于RSSI的定位数据估计上具有显著改进潜力。
2023-04-03 cs.CR cs.LG cs.NI
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google(谷歌);California Institute of Technology(加州理工学院)
联邦学习使移动设备能够协作学习共享的推理模型,同时将所有训练数据保存在用户的设备上,从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化,从而降低用户和服务器之间的通信成本。同时,安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合,而无需观察任何单独设备的非聚合形式的贡献。在本文中,我们强调了设置安全聚合参数以实现通信效率的一些挑战,特别是在随机旋转实现的积极量化输入的背景下。然后,我们开发了一个自动调整通信高效的安全聚合的配方,基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Argonne National Laboratory(阿贡国家实验室)
本文提出APPFL框架,利用Globus Compute和AWS实现跨云与超算的安全联邦学习,并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG