Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);Tongji University(同济大学);Northeastern University(东北大学);The Hong Kong Polytechnic University(香港理工大学);East China Normal University(华东师范大学);Institute of Science Tokyo(东京科学研究所)
该研究针对现有差分隐私联邦学习系统综述的不足,提出基于隐私模型定义、保障特性与联邦场景的新分类体系,梳理相关应用,为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich(慕尼黑工业大学);Bytedance Inc.(字节跳动公司);Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种分布式机器学习框架,它支持多方协作训练,同时确保数据隐私。XGBoost是最先进的树提升框架,由于传统隐私保护方法的高成本,XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题,我们提出了两种具有隐私保证的联邦XGBoost变体:FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法,以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的,它是用噪声扰动为本地差分隐私设计的,并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类,证明通过策略性校准隐私预算,可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
PPT: A Privacy-Preserving Global Model Training Protocol for Federated Learning in P2P Networks
联邦学习(FL)的概念已经作为机器学习、信息和通信技术的融合而出现。它对机器学习的发展至关重要,预计机器学习将完全分散,隐私保护,安全和健壮。然而,一般的联邦学习设置与一个中央服务器不能满足分散的环境中的要求。在本文中,我们提出了一个分散的,安全的和隐私保护的全局模型训练协议,命名为PPT,联邦学习在对等(P2P)网络。PPT采用单跳通信方式聚合局部模型更新参数,并采用对称密码体制保证安全性。值得一提的是,PPT修改了Eschenauer-Gligor(E-G)方案来分发加密密钥。在隐私保护方面,PPT产生随机噪声干扰局部模型更新参数。最终消除了噪声,与FL中其他基于噪声的隐私保护方法(例如,差分隐私。PPT还采用了博弈论来抵抗合谋攻击。通过广泛的分析,我们证明了PPT的各种安全威胁和保护用户隐私.巧妙的实验证明了实用性和效率。
2021-08-09 cs.CR
PrivFL: Practical Privacy-preserving Federated Regressions on High-dimensional Data over Mobile Networks
联邦学习(FL)使大量用户能够共同学习由集中式服务器协调的共享机器学习(ML)模型,其中数据分布在多个设备上。这种方法使服务器或用户能够使用梯度下降来训练和学习ML模型,同时将所有训练数据保持在用户的设备上。我们考虑在移动网络上训练ML模型,其中用户辍学是一种常见现象。虽然联邦学习旨在降低数据隐私风险,但ML模型隐私并没有受到太多关注。在这项工作中,我们提出了PrivFL,这是一个隐私保护系统,用于训练(预测)线性和逻辑回归模型以及联邦设置中的不经意预测,同时保证数据和模型隐私,并确保用户退出网络的鲁棒性。基于加性同态加密(HE)方案和聚合协议,设计了两种隐私保护协议用于训练线性和逻辑回归模型。利用联邦学习的训练算法,在我们的训练协议的核心是一个安全的多方全局梯度计算活用户的数据。我们分析了我们的训练协议对半诚实的对手的安全性。只要聚合协议在聚合隐私博弈下是安全的,并且加性HE方案是语义安全的,PrivFL保证了用户对服务器的数据隐私,以及服务器对用户的回归模型隐私。我们展示了PrivFL在真实数据集上的性能,并展示了它在联邦学习系统中的适用性。
2020-04-05 cs.CR
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad(国际信息技术学院(海得拉巴))
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先,这项工作提出了一个道德的联邦学习模型,同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University(罗格斯大学);Duke University(杜克大学);University of California, Irvine(加州大学欧文分校)
本文提出融合联邦学习与差分隐私的广告个性化框架,通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术,在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Privacy-preserving Federated Learning based on Multi-key Homomorphic Encryption
本文提出基于多密钥同态加密协议xMK-CKKS的隐私保护联邦学习方案,通过聚合公钥加密模型更新并需多方协作解密,在抵御合谋的同时保持模型精度并降低计算成本,适用于物联网场景。
2021-04-14 cs.CR
Secure Aggregation Is Not All You Need: Mitigating Privacy Attacks with Noise Tolerance in Federated Learning
National Taiwan University(台湾大学)
联邦学习是一种协作方法,旨在创建AI模型的同时保护数据隐私。当前的联邦学习方法往往严重依赖于安全聚合协议来保护数据隐私。然而,在某种程度上,这样的协议假设编排联邦学习过程的实体(即,服务器)并非完全恶意或不诚实。我们调查安全聚合的漏洞,如果服务器是完全恶意的,并试图获得访问私人,潜在的敏感数据可能会出现。此外,我们还提供了一种方法来进一步防御这种恶意服务器,并证明了在联邦学习设置中重建数据的已知攻击的有效性。
2022-11-10 cs.AI cs.CR
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada(格拉纳达大学安达卢西亚数据科学与计算智能研究所)
边缘人工智能服务的高需求也保护了数据隐私,推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私,这些方法将数据保存在数据孤岛中。同样,差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布,但它们缺乏对这些技术所需的统一愿景,以及支持其使用的方法工作流程。因此,我们提出了Sherpa.ai联邦学习框架,该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究,以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Bridging Local and Federated Data Normalization in Federated Learning: A Privacy-Preserving Approach
Bilkent University(比尔肯特大学)
本文针对联邦学习中现有归一化方法的缺陷,定义联邦归一化并基于多方全同态加密提出隐私保护实现方案,可在不泄露隐私的前提下达到池化归一化的性能。
2025-11-14 cs.CR
FedFDP: Fairness-Aware Federated Learning with Differential Privacy
East China Normal University(华东师范大学);Stevens Institute of Technology(史蒂文斯理工学院);Nanyang Technological University(南洋理工大学)
FedFDP通过引入差分隐私和公平感知梯度裁剪技术,提升联邦学习在公平性和隐私保护方面的性能
2026-01-07 cs.CR
Federated Learning with Bayesian Differential Privacy
EPFL(洛桑联邦理工学院)
我们考虑的问题,加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私,放松差分隐私类似分布的数据,提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置,并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明,在图像分类任务(包括医疗应用程序)上,联邦学习的最先进的差分隐私界限具有显着的优势,使隐私预算在客户端级别低于1,在实例级别低于0.1。较低的噪声量也有利于模型的准确性,并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen(卑尔根大学)
本文通过教育数据预测实验比较联邦学习与传统非联邦方法,证明其准确率相当且在对抗攻击下更具韧性,为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
Combining Homomorphic Encryption and Differential Privacy in Federated Learning for Model Inspection and Availability
Sabancı University(萨班吉大学)
提出结合同态加密训练与差分隐私检查发布的联邦学习框架,采用贝叶斯隐私估计,在FEMNIST上相比仅差分隐私方法提升了模型效用和隐私保护。
2026-10-02 cs.CR
Comments on "Federated Learning with Differential Privacy: Algorithms and Performance Analysis"
本文指出Wei等人提出的NbAFL差分隐私联邦学习算法收敛上界(定理2)有误,并给出其正确的收敛上界形式。
2024-06-09 cs.CR cs.DC cs.PF
Local Differential Privacy for Federated Learning with Fixed Memory Usage and Per-Client Privacy
University of South Florida(南佛罗里达大学);Texas State University(德克萨斯州立大学);Virginia Tech(弗吉尼亚理工大学)
针对联邦学习中现有本地差分隐私方法资源消耗高且缺乏异步参与隐私保证的问题,提出L-RDP方法,以固定低内存使用和严格每客户端隐私保证,提升模型泛化性与合规性。
2025-10-14 cs.CR
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);University of Southern Denmark(南丹麦大学);Imperial College London(帝国理工学院)
联邦学习(FL)使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例,其中原始数据共享是不需要的,最近的研究表明,FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中,我们提出了HyFed框架,它增强了隐私的FL,同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式,其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark(南丹麦大学)
联邦学习(FL)是一种隐私感知的数据采掘策略,它将私有数据保存在所有者的机器上,从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中,使用安全聚合对本地参数进行额外屏蔽,使得仅全局聚合统计数据以明文形式可用,而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中,我们调查了三个QR分解算法的适用性跨筒仓FL,并提出了一个隐私感知QR分解方案的基础上,Gram-Schmidt算法,不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
A Privacy-Preserving Subgraph-Level Federated Graph Neural Network via Differential Privacy
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Beijing Jiaotong University(北京交通大学)
目前,联邦图神经网络(GNN)由于其在不违反隐私法规的情况下在现实中的广泛应用而引起了人们的广泛关注。在所有的隐私保护技术中,差分隐私(DP)由于其有效性和较小的计算开销是最有前途的一个。然而,基于DP的联邦GNN还没有得到很好的研究,特别是在子图级的设置,如推荐系统的场景。联邦GNN面临的最大挑战是如何在保证隐私的同时解决非独立同分布(non-IID)数据。在本文中,我们提出了DP-FedRec,一个基于DP的联邦GNN来填补这一空白。利用私有集交叉(PSI)来扩展每个客户端的局部图,从而解决非IID问题。最重要的是,DP不仅应用于PSI的权重,还应用于PSI的交集图的边缘,以充分保护客户端的隐私。测试结果表明,DP-FedRec在图形扩展方面取得了更好的性能,DP只引入了很少的计算开销。
2022-06-07 cs.AI cs.CR cs.LG
Towards Privacy-Preserving and Verifiable Federated Matrix Factorization
近年来,联邦学习(FL)迅速发展,这是一种新兴的隐私感知机器学习范式,允许在分布在多个参与者之间的孤立数据集上进行协作学习。FL的突出特点是参与者可以将其私有数据集保持在本地,并且只共享模型更新。最近,一些研究工作已经开始探索FL的矩阵分解(MF),在现代推荐系统和服务中使用的一种流行的方法的适用性。已经表明,在联邦MF中共享梯度更新会带来泄露用户个人评级的隐私风险,从而提出了保护共享梯度的需求。现有技术的局限性在于,它们会导致显著的准确性损失,或者依赖于重密码系统,并假设了弱威胁模型。在本文中,我们提出了VPFedMF,一个新的设计,旨在保护隐私和可验证的联邦MF。VPFedMF通过轻量级和安全的聚合来保证各个梯度更新的机密性。此外,VPFedMF雄心勃勃,新的支持联邦MF中的协调服务器产生的聚合结果的正确性验证。在真实世界的电影评级数据集上的实验证明了VPFedMF在计算,通信和准确性方面的实际性能。
2022-06-11 cs.CR
Privacy enabled Financial Text Classification using Differential Privacy and Federated Learning
Manipal Institute of Technology(马尼帕尔理工学院);Carnegie Mellon University(卡内基梅隆大学);Yildiz Technical University(耶尔德兹理工大学)
考虑到金融领域,隐私很重要,因为这些数据是高度机密和敏感的。自然语言处理(NLP)技术可以应用于金融领域的文本分类和实体检测目的,例如客户反馈情感分析、发票实体检测、按类型对金融文档进行分类等。由于此类数据的敏感性,需要采取隐私措施来处理和训练具有此类数据的大型模型。在这项工作中,我们提出了一个上下文化的Transformer(BERT和RoBERTa)的文本分类模型集成的隐私功能,如差分隐私(DP)和联邦学习(FL)。我们介绍了如何私下训练NLP模型和理想的隐私-效用权衡,并在金融短语银行数据集上对其进行评估。
2021-10-04 cs.CL cs.CR
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University(查尔斯特大学)
为应对COVID-19的医疗挑战,我们需要在全球范围内频繁共享健康数据、知识和资源。然而,在这个数字时代,数据隐私是一个大问题,需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中,我们介绍了差分隐私的设计(dPbD)框架,并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围,我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计,并讨论了如何差分隐私设计(dPbD)框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为,可扩展的差异私有联邦学习设计是一个很有前途的解决方案,用于建立一个安全,私有和协作的机器学习模型,如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
Privacy Threats Against Federated Matrix Factorization
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学);WeBank Co. Ltd(微众银行)
矩阵分解在实际推荐应用和电子商务中非常成功。由于数据短缺和严格的法规,很难收集足够的数据来为单个公司构建高性能的推荐系统。联邦学习提供了在不损害隐私和安全的情况下桥接数据孤岛和构建机器学习模型的可能性。共享共同用户或项目的参与者协作地在来自所有参与者的数据上构建模型。已经有一些工作探索应用联邦学习的推荐系统和协同过滤系统中的隐私问题。然而,联邦矩阵分解中的隐私威胁没有被研究。本文根据特征空间的划分将联邦矩阵分解分为三类,并分析了每类联邦矩阵分解模型的隐私威胁。我们还讨论了隐私保护方法。据我们所知,这是联邦学习框架中的矩阵分解方法的隐私威胁的第一个研究。
2020-07-03 cs.CR cs.LG stat.ML
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington(华盛顿大学)
针对电子健康记录的高敏感属性,为保障机器学习模型分析患者数据时的隐私安全,提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);College of Mathematics and Computer Science, Fuzhou University(福州大学数学与计算机科学学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
移动众测是一种新兴的感知数据汇集模式,具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外,现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护,而不是数据处理的隐私保护。为了解决MCS面临的问题,本文将联邦学习(FL)融入MCS,提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说,为了保护隐私,参与者通过联邦学习在本地处理传感数据,只上传加密的训练模型。特别地,提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销,设计了丢弃和重传策略。此外,设计了一种隐私保护的发布定价激励机制,试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明,所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私,是可行和有效的。
2021-02-20 cs.CR cs.LG
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of Hong Kong(香港大学);Florida International University(佛罗里达国际大学)
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题,提出EPAFL框架,通过三种早停技术在保持攻击成功率的同时显著降低计算开销,并公开代码。
2024-04-15 cs.CR cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架,其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩,隐私是因为用户数据通常是敏感的,压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中,我们采取了全面的问题,并设计了一个家庭的隐私意识的压缩机制,适用于任何给定的通信预算。首先,我们提出了一种机制,用于传输一个单一的实数,在一定条件下具有最佳的方差。然后,我们将展示如何将其扩展到位置隐私用例的度量差分隐私,以及向量,以应用于联邦学习。我们的实验表明,我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh(匹兹堡大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型,他们可能希望保持私有。然而,参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题,已经提出了基于差分隐私和安全多方计算(SMC)等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中,我们提出了HybridAlpha,隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单,高效,对参与者退出具有弹性。我们评估我们的方法,关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明,HybridAlpha可以将训练时间平均减少68%,数据传输量平均减少92%,同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Enhancing the Privacy of Federated Learning with Sketching
Carnegie Mellon University(卡内基梅隆大学)
为了应对日益增长的对用户隐私的担忧,联邦学习已经成为一种很有前途的工具,可以在设备网络上训练统计模型,同时保持数据本地化。联邦学习方法直接在用户设备上运行训练任务,并且不与第三方共享原始用户数据。然而,当前的方法仍然共享模型更新,其可以包含私有信息(例如,(1)身高和体重,在训练过程中旨在提高联邦学习隐私性的现有努力在以下一个或多个关键领域做出了妥协:性能(特别是通信成本),准确性或隐私性。为了更好地优化这些权衡,我们建议\textit{sketching algorithms}具有独特的优势,因为它们可以在保持准确性的同时提供隐私和性能优势。我们评估了基于草图的联邦学习的可行性与三个代表性的学习模型的原型。我们的初步研究结果表明,在不牺牲性能或准确性的情况下,为联邦学习提供强大的隐私保证是可能的。我们的工作强调,在分布式环境中,隐私和通信之间存在着根本的联系,并提出了围绕实用的私人联邦学习的理论理解,方法和系统设计的重要开放问题。
2019-11-05 cs.CR cs.LG cs.NI
Federated Visualization: A Privacy-preserving Strategy for Aggregated Visual Query
我们提出了一种新的隐私保护策略去中心化可视化。其关键思想是模仿联邦学习框架的流程图,并在联邦基础设施中重新制定可视化过程。通过利用共享的全局模块来实现可视化的联合,该全局模块在本地模块中组成数据片的转换的视觉特征的加密外部化。我们设计了两个联邦可视化的实现:一个基于预测的计划,和一个基于查询的计划。我们证明了我们的方法的有效性与一组视觉形式,并验证其鲁棒性的评价。我们报告了联合可视化在真实场景中的价值,并进行了专家评审。
2022-02-09 cs.CR cs.GR cs.HC
DP-FedLoRA: Privacy-Enhanced Federated Fine-Tuning for On-Device Large Language Models
Department of Information Technology, Kennesaw State University(信息科技系,肯纳邦大学);Department of Computer Science, Georgia State University(计算机科学系,佐治亚州立大学)
针对设备端大语言模型联邦微调中的隐私问题,提出DP-FedLoRA框架,结合LoRA与差分隐私,通过本地裁剪和加噪实现隐私保护,理论分析保证无偏性,实验验证性能与隐私兼顾。
2025-09-11 cs.AI cs.CR
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
联邦学习(FL)是一种新兴的分布式学习范式,具有默认的客户端隐私,因为客户端可以将敏感数据保存在其设备上,并且仅与联邦服务器共享本地训练参数更新。然而,最近的研究表明,FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法,该方法基于每个训练样本的客户端差分隐私,称为Fed-CDP。它有三个原创性的贡献。首先,我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁,即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法,被称为Fed-SDP,是不足以保护训练数据的隐私。其次,介绍了基于实例的客户端差分隐私算法Fed-CDP,给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析,并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三,形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡,并提出了一种动态衰减噪声注入策略,进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP(衰减)与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明,Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP,同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
真实世界的数据通常按属性划分,并分布在不同的各方。联邦学习支持协作培训,而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样,即使有一小部分损坏的数据,对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程,该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题,提出了一种基于前后向分裂算法的防御方法,在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失,同时实现了两个目标。在各种数据集上进行的大量实验表明,我们的防御方法显著减轻了隐私泄露,对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
On the Usage of Verifiable Credentials in Privacy-Preserving Federated Analytics
University of Bucharest(布加勒斯特大学);Research Institute of the University of Bucharest (ICUB)(布加勒斯特大学研究所)
本文探讨将可验证凭证与隐私保护联邦分析结合,以解决节点真实性和数据验证挑战,实现认证且保持完整性的数据模型。
2026-09-29 cs.CR cs.ET
Federated Transfer Learning with Differential Privacy
School of Mathematics, University of Birmingham(伯明翰大学数学学院);Department of Statistics, Columbia University(哥伦比亚大学统计系);Department of Biostatistics, School of Global Public Health, New York University(纽约大学全球公共卫生学院生物统计系);Department of Statistics, University of Warwick(华威大学统计系)
本文提出联邦差分隐私框架,解决分布式数据异质性和隐私保护问题,通过多源数据信息提升目标数据集学习效果,分析隐私模型的统计问题及最小最大率。
2026-04-06 cs.CR cs.LG math.ST
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
联邦学习是一种机器学习技术,它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名,因为数据永远不会离开计算设备,最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而,我们发现,尽管做出了努力,联邦学习仍然存在隐私威胁,因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁,揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归,我们通过理论分析表明,攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型,我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Lehigh University(理海大学);Samsung Research America(三星美国研究院)
在敏感用户数据上训练机器学习模型已经在许多领域引起了越来越多的隐私问题。联邦学习是一种流行的隐私保护方法,它收集局部梯度信息而不是真实数据。实现严格隐私保证的一种方法是将局部差分隐私应用到联邦学习中。然而,以前的作品没有给出一个实际的解决方案,由于三个问题。首先,噪声数据以高概率接近其原始值,增加了信息暴露的风险。第二,将大的方差引入估计的平均值,导致精度差。最后,由于深度学习模型中权重的高维性,隐私预算爆炸式增长。针对上述问题,提出了一种新的联邦学习局部差分隐私机制设计。它能够使数据与其原始值更加不同,并引入较低的方差。此外,所提出的机制通过分裂和洗牌模型更新绕过维数灾难。在MNIST、Fashion-MNIST和CIFAR-10三个常用数据集上的一系列实证评估表明,我们的解决方案不仅可以实现卓越的深度学习性能,同时还可以提供强大的隐私保障。
2021-05-21 cs.CR cs.LG
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China(中国人民大学);Kyoto University(京都大学)
随着大量数据从小型设备中产生,移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中,随机梯度下降(SGD)已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露,最近,本地差分隐私(LDP)被认为是联邦SGD中的隐私保证。然而,现有的解决方案具有维度依赖性问题:注入的噪声基本上与维度$d$成比例。在这项工作中,我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是,并非所有维度都同等重要,因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说,我们提出了三个私人维度选择机制,并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度,并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University(京都大学)
联邦学习(FL)正在成为隐私保护机器学习的一个有前途的范例,它在多个客户端之间训练算法,而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点,并分别使用局部差分隐私(LDP)和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而,目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白,这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的,因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证,证明了局部差分隐私对对抗鲁棒性既有积极的影响,也有消极的影响。
2021-06-13 cs.CR cs.LG
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology(华中科技大学)
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析,证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私,推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界,为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication
联邦学习(FL)由于其分散的结构允许私下训练大量的数据。随机梯度下降(SGD)由于其良好的经验性能而通常用于FL,但是仍然可以从FL迭代期间共享的权重更新推断敏感的用户信息。我们考虑高斯机制,以保持局部差分隐私(LDP)的用户数据在FL模型与SGD。用户隐私,全球效用和传输速率之间的权衡证明通过定义适当的指标FL与LDP。与已有的结果相比,LDP中使用的查询敏感度被定义为一个变量,并应用更严格的隐私计费方法。建议的效用界允许所有用户的异构参数。我们的界限特征有多少效用减少和传输速率增加,如果一个更强的隐私制度的目标。此外,给定一个目标隐私级别,我们的研究结果保证一个显着更大的效用和更小的传输速率相比,现有的隐私会计方法。
2021-02-09 cs.CR cs.DC cs.IT
Advances in Privacy Preserving Federated Learning to Realize a Truly Learning Healthcare System
本文提出将隐私保护联邦学习(PPFL)整合进医疗生态系统,以解决数据共享与隐私保护难题,实现医学研究所定义的真正学习型医疗系统。
2024-09-29 cs.CR cs.DC
PrivacyFL: A simulator for privacy-preserving and secure federated learning
Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种使分布式客户端能够协作学习共享的机器学习模型,同时保持其训练数据本地化的技术。这降低了数据隐私风险,然而,隐私问题仍然存在,因为有可能从训练模型的权重或参数中泄露有关训练数据集的信息。建立一个联邦学习环境,特别是有安全和隐私保证的环境,是一个耗时的过程,有许多配置和参数可以操作。为了帮助客户确保协作是可行的,并检查它是否提高了他们的模型准确性,需要一个真实世界的隐私保护和安全的联邦学习模拟器。在本文中,我们介绍PrivacyFL,这是一个可扩展的,易于配置和可扩展的模拟器的联邦学习环境。它的主要特性包括延迟模拟、对客户端离开的鲁棒性、对集中式和分散式学习的支持,以及基于差分隐私和安全多方计算的可配置隐私和安全机制。在本文中,我们激发了我们的研究,描述了模拟器和相关协议的架构,并讨论了其在众多场景中的评估,这些场景强调了其广泛的功能及其优势。我们的论文解决了一个重要的现实问题:检查在各种情况下参与联邦学习环境的可行性。它还具有很强的实际影响,因为医院、银行和研究机构等拥有大量敏感数据并希望进行协作的组织将从一个能够以隐私保护和安全的方式进行协作的系统中受益匪浅。
2020-07-08 cs.CR cs.DC cs.LG
Efficient and Privacy Preserving Group Signature for Federated Learning
Soongsil University(崇实大学)
联邦学习(FL)是一种机器学习(ML)技术,旨在减少对用户数据隐私的威胁。训练是使用用户设备(称为客户端)上的原始数据完成的,只有训练结果(称为梯度)被发送到服务器进行聚合并生成更新的模型。但是,我们不能假设服务器可以信任私有信息,例如与数据的所有者或源相关的元数据。因此,对服务器隐藏客户端信息有助于减少与隐私相关的攻击。因此,客户端身份的隐私以及客户端数据的隐私对于使此类攻击更加困难是必要的。提出了一种基于群签名的高效且隐私保护的FL协议。一种新的用于联邦学习的群签名,称为GSFL,被设计为不仅保护客户端的数据和身份的隐私,而且考虑到联邦学习的迭代过程,还显著降低了计算和通信成本。我们表明,GSFL优于现有的方法在计算,通信和信令成本。此外,我们表明,该协议可以处理各种安全攻击的联邦学习环境。
2022-07-15 cs.CR cs.LG cs.NI
Bit-efficient Numerical Aggregation and Stronger Privacy for Trust in Federated Analytics
边缘设备(从智能手机到汽车电子产品)生成的私人数据在聚合时具有高度的信息性,但在处理不当时可能会造成破坏。各种解决方案正在探索中,但尚未赢得公众的信任和移动平台的全力支持。在这项工作中,我们提出了数值聚合协议,经验上改进现有技术,同时提供可比的本地差分隐私保证。每个值共享单个私有位支持隐私计量,其实现了未被差分隐私覆盖的隐私控制和保证。我们把重点放在易于实施,与现有方法的兼容性,和令人信服的经验表现。
2021-08-03 cs.CR cs.DS
WebFed: Cross-platform Federated Learning Framework Based on Web Browser with Local Differential Privacy
The University of Aizu(会津大学);Sun Yat-sen University(中山大学)
对于数据孤岛和隐私问题,联邦学习引起了广泛的兴趣,因为它允许客户使用本地数据协作训练全球模型,而无需与第三方共享任何数据。然而,现有的联邦学习框架总是需要复杂的条件配置(例如,独立图形卡(如NVIDIA、编译环境)驱动程序配置复杂,给大规模开发和部署带来诸多不便。为了促进联邦学习的部署和相关应用的实现,我们创新性地提出了WebFed,一种新颖的基于浏览器的联邦学习框架,它利用浏览器的特性(例如,跨平台、JavaScript编程特性),并通过本地差分隐私机制增强隐私保护。最后,我们在异构设备上进行实验,以评估所提出的WebFed框架的性能。
2021-10-22 cs.AI cs.CR cs.DC
Rate-Privacy-Storage Tradeoff in Federated Learning with Top $r$ Sparsification
我们研究了在联邦学习(FL)中使用顶级$r$稀疏化的速率,隐私和存储之间的权衡,其中FL系统中的用户和服务器仅分别共享FL过程中更新和参数的最重要的$r$和$r'$部分,以降低通信成本。我们提出的计划,保证信息理论的隐私值和索引的稀疏更新发送的用户在一个较大的存储成本为代价。为此,我们推广的计划,以减少存储成本,允许一定量的信息泄漏。因此,我们提供的通信成本,存储成本和信息泄漏之间的一般权衡私人FL与顶部$r$稀疏化,沿着两个建议的计划。
2022-12-19 cs.CR cs.IT cs.NI
Private Wireless Federated Learning with Anonymous Over-the-Air Computation
在传统的联邦学习(FL)中,差分隐私(DP)保证可以通过在传输到参数服务器(PS)之前向局部模型更新注入附加噪声来获得。在无线FL的情况下,我们表明,系统的隐私可以通过利用空中计算(OAC)和匿名的传输设备。在OAC中,设备同时以未编码的方式传输其模型更新,从而更有效地使用可用频谱。我们进一步利用OAC提供匿名的传输设备。所提出的方法通过减少必须注入的噪声量来提高私有无线FL的性能。
2021-02-13 cs.CR cs.LG
A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection
National University of Singapore(新加坡国立大学);The University of Western Australia(西澳大利亚大学)
联邦学习是在隐私限制下实现不同组织间机器学习模型协同训练的一个研究热点。随着研究人员试图用不同的隐私保护方法支持更多的机器学习模型,开发系统和基础设施时需要简化各种联邦学习算法的开发。与PyTorch和TensorFlow等深度学习系统类似,联邦学习系统(FLS)同样重要,并面临来自有效性,效率和隐私等各个方面的挑战。在本调查中,我们对联邦学习系统进行了全面的综述。为了实现流畅的流程和指导未来的研究,我们介绍了联邦学习系统的定义和分析的系统组件。从数据分布、机器学习模型、隐私机制、通信结构、联邦规模和联邦动机六个方面对联邦学习系统进行了分类。正如我们的案例研究所示,分类可以帮助设计联邦学习系统。通过对现有的联邦学习系统进行系统总结,提出了联邦学习系统的设计要素、案例分析和未来的研究方向。
2021-12-05 cs.CR cs.DB cs.LG
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank(微众银行);HKUST(香港科技大学)
垂直联邦学习(VFL)允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中,私有特征和标签泄漏问题引起了广泛的研究关注。在本文中,我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass,它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力(定理1和定理2)。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性,因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology(北京理工大学)
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题,提出结合本地差分隐私与混洗技术的隐私放大算法,在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG