Survey of Privacy Threats and Countermeasures in Federated Learning
Secure System Platform Research Laboratories, NEC Corporation(NEC公司安全系统平台研究实验室)
本文综述横向、纵向和迁移联邦学习中的隐私威胁及防护对策,弥补现有研究对不同类型联邦学习共性与特有威胁缺乏系统分类的不足。
2025-08-29 cs.CR cs.LG
Anonymizing Data for Privacy-Preserving Federated Learning
IBM Research Cambridge(IBM剑桥研究院);IBM Watson Health(IBM沃森健康);IBM T. J. Watson Research Center(IBM T. J.沃森研究中心);Massachusetts Institute of Technology(麻省理工学院)
联邦学习能够从分布在多个站点的数据中训练全局机器学习模型,而无需移动数据。这在医疗保健应用中尤其重要,因为数据中充斥着个人的、高度敏感信息,并且数据分析方法必须可证明符合监管准则。尽管联邦学习阻止了原始数据的共享,但仍然有可能对训练过程中暴露的模型参数或生成的机器学习模型发起隐私攻击。在本文中,我们提出了在联邦学习的背景下提供隐私的第一种语法方法。与最先进的基于差分隐私的框架不同,我们的方法旨在最大限度地提高效用或模型性能,同时支持GDPR和HIPAA所要求的可防御的隐私级别。我们使用100万患者的真实电子健康数据对医疗保健领域的两个重要问题进行了全面的实证评估。结果表明,我们的方法在实现高模型性能,同时提供所需的隐私水平的有效性。通过比较研究,我们还表明,对于不同的数据集,实验设置和隐私预算,我们的方法在联邦学习中提供了比基于差分隐私的技术更高的模型性能。
2020-02-21 cs.AI cs.CR cs.LG
A Unified Learn-to-Distort-Data Framework for Privacy-Utility Trade-off in Trustworthy Federated Learning
Huazhong University of Science and Technology(华中科技大学)
该研究提出统一的Learn-to-Distort-Data框架,通过将隐私保护机制的失真建模为可学习变量并与模型参数联合优化,实现联邦学习的隐私-效用均衡,可结合多领域技术设计相关算法。
2024-07-09 cs.AI cs.CR cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
联邦学习(FL)是一种训练范式,其中客户端通过重复共享信息来协作学习模型,而不会对其本地敏感数据的隐私造成太大影响。在本文中,我们介绍了联邦$f$ -差分隐私,一个新的概念,专门为联邦设置,高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行:它为一个客户端数据的每个单独记录提供隐私保证,以对抗对手。然后,我们提出了一个通用的私人联邦学习框架{PriFedSync},可容纳一个大家庭的国家的最先进的FL算法,可证明实现联邦$f$差分隐私。最后,我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
Federated Deep Learning with Bayesian Privacy
WeBank(微众银行);Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)旨在通过协作学习模型而不在用户之间共享私有数据来保护数据隐私。对于具有数十亿模型参数的深度神经网络的联邦学习,现有的隐私保护解决方案不能令人满意。基于同态加密(HE)的方法提供安全的隐私保护,但是遭受极高的计算和通信开销,使得其在实践中几乎无用。具有差分隐私(DP)的深度学习被实现为以可管理的复杂度成本的实用学习算法。然而,DP是容易受到侵略性的贝叶斯恢复攻击,在文献中公开,并在这项工作的实验结果中证明。为了解决上述困惑,我们提出了一种新的贝叶斯隐私(BP)框架,使贝叶斯恢复攻击被制定为从观察到的公共信息重建私人数据的概率。具体地,所提出的BP框架通过Kullback-Leibler(KL)关于隐私数据的先验分布与基于暴露信息的恢复隐私数据的后验分布之间的分歧来准确地量化隐私损失。据我们所知,这种贝叶斯隐私分析是第一个提供安全的隐私保护能力对贝叶斯恢复攻击的理论依据。作为一个具体的用例,我们证明了一种使用私有护照层的新型联邦深度学习方法能够同时实现高模型性能,隐私保护能力和低计算复杂性。理论分析是根据信息泄漏的经验测量广泛实验了各种DNN网络的图像分类MNIST,CIFAR 10和CIFAR 100数据集。
2021-09-27 cs.AI cs.CR cs.LG
Secure Bayesian Federated Analytics for Privacy-Preserving Trend Detection
Xayn AG(Xayn公司);Imperial College London(帝国理工学院)
联合分析在边缘计算中有许多应用,它的使用可以为服务提供、产品开发和用户体验带来更好的决策。我们提出了一种贝叶斯方法的趋势检测,其中一个关键字是时髦的概率,给定一个数据集,通过贝叶斯定理计算;数据集的概率,给定一个关键字是时髦的,通过安全的聚合这样的条件概率在本地数据集的用户计算。我们提出了一个名为SAFE的贝叶斯联邦分析协议,为生产级用例提供足够的隐私,并减少用户和聚合器的计算负担。我们用一个趋势检测实验来说明这种方法,并讨论如何进一步扩展这种方法,使其为生产做好准备。
2021-07-28 cs.AI cs.CR cs.LG
Binary Federated Learning with Client-Level Differential Privacy
The Hong Kong University of Science and Technology(香港科技大学)
本文提出一种结合二值神经网络与离散噪声的联邦学习算法,在客户端级差分隐私保护下提升通信效率并改善隐私-效用权衡。
2023-08-07 cs.AI cs.CR cs.LG
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology(华中科技大学)
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析,证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私,推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界,为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);Tongji University(同济大学);Northeastern University(东北大学);The Hong Kong Polytechnic University(香港理工大学);East China Normal University(华东师范大学);Institute of Science Tokyo(东京科学研究所)
该研究针对现有差分隐私联邦学习系统综述的不足,提出基于隐私模型定义、保障特性与联邦场景的新分类体系,梳理相关应用,为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich(慕尼黑工业大学);Bytedance Inc.(字节跳动公司);Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种分布式机器学习框架,它支持多方协作训练,同时确保数据隐私。XGBoost是最先进的树提升框架,由于传统隐私保护方法的高成本,XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题,我们提出了两种具有隐私保证的联邦XGBoost变体:FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法,以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的,它是用噪声扰动为本地差分隐私设计的,并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类,证明通过策略性校准隐私预算,可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
WebFed: Cross-platform Federated Learning Framework Based on Web Browser with Local Differential Privacy
The University of Aizu(会津大学);Sun Yat-sen University(中山大学)
对于数据孤岛和隐私问题,联邦学习引起了广泛的兴趣,因为它允许客户使用本地数据协作训练全球模型,而无需与第三方共享任何数据。然而,现有的联邦学习框架总是需要复杂的条件配置(例如,独立图形卡(如NVIDIA、编译环境)驱动程序配置复杂,给大规模开发和部署带来诸多不便。为了促进联邦学习的部署和相关应用的实现,我们创新性地提出了WebFed,一种新颖的基于浏览器的联邦学习框架,它利用浏览器的特性(例如,跨平台、JavaScript编程特性),并通过本地差分隐私机制增强隐私保护。最后,我们在异构设备上进行实验,以评估所提出的WebFed框架的性能。
2021-10-22 cs.AI cs.CR cs.DC
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University(罗格斯大学);Duke University(杜克大学);University of California, Irvine(加州大学欧文分校)
本文提出融合联邦学习与差分隐私的广告个性化框架,通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术,在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
A Multivocal Literature Review on Privacy and Fairness in Federated Learning
University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
本文通过多声文献综述梳理联邦学习中隐私与公平性的整合方法,指出二者关系被忽视且存在内在张力,呼吁构建兼顾隐私、公平与性能的一体化框架。
2024-10-27 cs.AI cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);University of Southern Denmark(南丹麦大学);Imperial College London(帝国理工学院)
联邦学习(FL)使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例,其中原始数据共享是不需要的,最近的研究表明,FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中,我们提出了HyFed框架,它增强了隐私的FL,同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式,其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark(南丹麦大学)
联邦学习(FL)是一种隐私感知的数据采掘策略,它将私有数据保存在所有者的机器上,从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中,使用安全聚合对本地参数进行额外屏蔽,使得仅全局聚合统计数据以明文形式可用,而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中,我们调查了三个QR分解算法的适用性跨筒仓FL,并提出了一个隐私感知QR分解方案的基础上,Gram-Schmidt算法,不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);College of Mathematics and Computer Science, Fuzhou University(福州大学数学与计算机科学学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
移动众测是一种新兴的感知数据汇集模式,具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外,现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护,而不是数据处理的隐私保护。为了解决MCS面临的问题,本文将联邦学习(FL)融入MCS,提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说,为了保护隐私,参与者通过联邦学习在本地处理传感数据,只上传加密的训练模型。特别地,提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销,设计了丢弃和重传策略。此外,设计了一种隐私保护的发布定价激励机制,试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明,所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私,是可行和有效的。
2021-02-20 cs.CR cs.LG
Federated Learning for Privacy-Preserving Open Innovation Future on Digital Health
Australian Department of Health(澳大利亚卫生部);University of Technology Sydney(悉尼科技大学)
隐私保护是人工智能领域一个备受关注的伦理问题。联邦学习是一种新的机器学习范式,用于在用户或组织之间学习共享模型,而无需直接存取数据。它有很大的潜力成为下一个通用的AI模型训练框架,提供隐私保护,因此对数字健康和医疗保健信息学的未来具有广泛的影响。在医疗保健行业实施开放式创新框架,即开放式医疗,旨在通过与合作伙伴组织和研究界建立下一代合作框架,提高医疗保健相关组织的创新和创造能力。特别是,这个改变游戏规则的协作框架提供了来自不同数据的知识共享,同时保护了隐私。本章将讨论联邦学习如何在人工智能的支持下实现开放的健康生态系统的发展。将讨论联邦学习的现有挑战和解决方案。
2021-08-24 cs.AI cs.CR cs.DC
Privacy and Fairness in Federated Learning: on the Perspective of Trade-off
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文综述了联邦学习中隐私与公平的相互作用,分析了FL环境下的独特挑战与解决方案,并揭示了二者相互竞争的权衡关系,为公平与隐私联邦学习指明了新研究方向。
2023-06-25 cs.AI cs.CR cs.CY
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of Hong Kong(香港大学);Florida International University(佛罗里达国际大学)
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题,提出EPAFL框架,通过三种早停技术在保持攻击成功率的同时显著降低计算开销,并公开代码。
2024-04-15 cs.CR cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架,其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩,隐私是因为用户数据通常是敏感的,压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中,我们采取了全面的问题,并设计了一个家庭的隐私意识的压缩机制,适用于任何给定的通信预算。首先,我们提出了一种机制,用于传输一个单一的实数,在一定条件下具有最佳的方差。然后,我们将展示如何将其扩展到位置隐私用例的度量差分隐私,以及向量,以应用于联邦学习。我们的实验表明,我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh(匹兹堡大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型,他们可能希望保持私有。然而,参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题,已经提出了基于差分隐私和安全多方计算(SMC)等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中,我们提出了HybridAlpha,隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单,高效,对参与者退出具有弹性。我们评估我们的方法,关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明,HybridAlpha可以将训练时间平均减少68%,数据传输量平均减少92%,同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing
University of Connecticut(康涅狄格大学);University of California Irvine(加州大学欧文分校)
针对动态IoT场景下差分隐私联邦学习噪声累积致准确率下降的问题,提出融合神经符号计算与DP的FedHDPrivacy框架,主动监控累积噪声仅按需补充,在制造监测场景中性能优于主流联邦框架最高37%。
2025-03-22 cs.AI cs.CR cs.LG
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
联邦学习(FL)是一种新兴的分布式学习范式,具有默认的客户端隐私,因为客户端可以将敏感数据保存在其设备上,并且仅与联邦服务器共享本地训练参数更新。然而,最近的研究表明,FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法,该方法基于每个训练样本的客户端差分隐私,称为Fed-CDP。它有三个原创性的贡献。首先,我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁,即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法,被称为Fed-SDP,是不足以保护训练数据的隐私。其次,介绍了基于实例的客户端差分隐私算法Fed-CDP,给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析,并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三,形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡,并提出了一种动态衰减噪声注入策略,进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP(衰减)与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明,Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP,同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
真实世界的数据通常按属性划分,并分布在不同的各方。联邦学习支持协作培训,而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样,即使有一小部分损坏的数据,对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程,该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题,提出了一种基于前后向分裂算法的防御方法,在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失,同时实现了两个目标。在各种数据集上进行的大量实验表明,我们的防御方法显著减轻了隐私泄露,对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Privacy-Preserving Data Deduplication for Enhancing Federated Learning of Language Models (Extended Version)
Newcastle University(纽卡斯尔大学);Pennsylvania State University(宾夕法尼亚州立大学);University of Warwick(华威大学)
针对联邦学习中去重面临的可扩展性与隐私问题,本文提出高效隐私保护多方去重协议EP-MPD,通过模块化设计与新型私有集合交集变体实现隐私保护去重,实验证明其能显著提升大型语言模型联邦学习的困惑度并减少运行时间。
2024-12-04 cs.AI cs.CL cs.CR
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University(查尔斯特大学)
为应对COVID-19的医疗挑战,我们需要在全球范围内频繁共享健康数据、知识和资源。然而,在这个数字时代,数据隐私是一个大问题,需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中,我们介绍了差分隐私的设计(dPbD)框架,并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围,我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计,并讨论了如何差分隐私设计(dPbD)框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为,可扩展的差异私有联邦学习设计是一个很有前途的解决方案,用于建立一个安全,私有和协作的机器学习模型,如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Lehigh University(理海大学);Samsung Research America(三星美国研究院)
在敏感用户数据上训练机器学习模型已经在许多领域引起了越来越多的隐私问题。联邦学习是一种流行的隐私保护方法,它收集局部梯度信息而不是真实数据。实现严格隐私保证的一种方法是将局部差分隐私应用到联邦学习中。然而,以前的作品没有给出一个实际的解决方案,由于三个问题。首先,噪声数据以高概率接近其原始值,增加了信息暴露的风险。第二,将大的方差引入估计的平均值,导致精度差。最后,由于深度学习模型中权重的高维性,隐私预算爆炸式增长。针对上述问题,提出了一种新的联邦学习局部差分隐私机制设计。它能够使数据与其原始值更加不同,并引入较低的方差。此外,所提出的机制通过分裂和洗牌模型更新绕过维数灾难。在MNIST、Fashion-MNIST和CIFAR-10三个常用数据集上的一系列实证评估表明,我们的解决方案不仅可以实现卓越的深度学习性能,同时还可以提供强大的隐私保障。
2021-05-21 cs.CR cs.LG
FederatedNILM: A Distributed and Privacy-preserving Framework for Non-intrusive Load Monitoring based on Federated Deep Learning
University of Essex(埃塞克斯大学);Durham University(杜伦大学);University College Cork(科克大学学院)
非侵入式负载监测(NILM)通常利用机器学习方法,并有效地将智能电表读数从家庭级别分解为电器级别的消耗,可以帮助分析用户的用电行为,并实现实际的智能能源和智能电网应用。然而,智能电表是私有和分布式的,这使得NILM的实际应用具有挑战性。为此,本文提出了一种分布式隐私保护的联邦深度学习框架(FederatedNILM),将联邦学习与最先进的深度学习架构相结合,进行NILM,用于家电典型状态的分类。通过大量的对比实验,证明了所提出的FederatedNILM框架的有效性。
2021-08-08 cs.AI cs.LG eess.SP
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington(华盛顿大学)
针对电子健康记录的高敏感属性,为保障机器学习模型分析患者数据时的隐私安全,提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Federated Learning with Bayesian Differential Privacy
EPFL(洛桑联邦理工学院)
我们考虑的问题,加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私,放松差分隐私类似分布的数据,提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置,并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明,在图像分类任务(包括医疗应用程序)上,联邦学习的最先进的差分隐私界限具有显着的优势,使隐私预算在客户端级别低于1,在实例级别低于0.1。较低的噪声量也有利于模型的准确性,并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Towards Practical Federated Causal Structure Learning
The Hong Kong University of Science and Technology(香港科技大学)
本文提出联邦因果结构学习方案FedC2SL,通过联邦条件独立性检验在不收集原始数据的情况下学习因果图,并给出FedPC和FedFCI两种变体,在合成与真实数据上验证了其对数据异质性的强鲁棒性。
2023-06-19 cs.AI cs.LG stat.ME
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University(京都大学)
联邦学习(FL)正在成为隐私保护机器学习的一个有前途的范例,它在多个客户端之间训练算法,而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点,并分别使用局部差分隐私(LDP)和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而,目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白,这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的,因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证,证明了局部差分隐私对对抗鲁棒性既有积极的影响,也有消极的影响。
2021-06-13 cs.CR cs.LG
PrivFedTalk: Privacy-Aware Federated Diffusion with Identity-Stable Adapters for Personalized Talking-Head Generation
Engineering Sciences, Homi Bhabha National Institute(霍米·巴巴国立研究所工程科学系)
本文提出PrivFedTalk框架,结合条件潜在扩散模型与参数高效的身份适应,解决个性化说话头生成中的隐私问题,通过身份稳定联邦聚合和时间去噪一致性正则化提升性能。
2026-04-09 cs.AI cs.CR cs.CV
Decentralized Federated Learning: A Survey on Security and Privacy
University of Windsor(温莎大学);University of New Brunswick(新不伦瑞克大学);University of Western Ontario(西安大略大学);Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
本综述系统分析了去中心化联邦学习中的安全与隐私威胁、对手类型及防御机制,并探讨了其可信性与可验证性。
2024-01-25 cs.AI cs.CR cs.LG
Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View
研究联邦学习中隐私问题,提出将其表述为平均场隐私博弈的方法,每个客户端通过平均场统计量选隐私预算,该框架能产生可处理均衡,适应异构偏好,继承隐私保证,实验表明其实现隐私 - 效用权衡并提供个性化保证。
2026-07-28 cs.AI cs.LG
Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer Inputs of Language Models in Federated Learning
North Carolina State University(北卡罗来纳州立大学);New York University(纽约大学);Stanford University(斯坦福大学)
本文提出两阶段隐私攻击策略,利用语言模型池化层输入恢复特征方向作为监督信号,在联邦学习中显著提升攻击性能,揭示架构复杂性带来的隐私泄露风险。
2024-03-15 cs.AI cs.CL cs.CR
Federated Learning for Multi-Center Sepsis Early Prediction with Privacy-Preserving
University of Science and Technology of China(中国科学技术大学)
针对多中心医疗数据的隐私和分布式特性,提出基于联邦学习的分布式协作建模方法,实现与集中式模型相当的预测精度并避免隐私泄露。
2026-06-03 cs.CR cs.LG
Federated Latent Factor Model for Bias-Aware Recommendation with Privacy-Preserving
College of Computer and Information Science, Southwest University, Chongqing 400715, China(西南大学计算机与信息科学学院);School of Engineering, University of Western Australia, Australia(西澳大学工程学院);School of Cyber Science and Technology, Beihang University, Beijing 100191, China(北航信息科学与技术学院)
针对联邦推荐系统中因隐私保护而无法访问原始数据导致的评分偏差问题,提出联邦偏差感知潜在因子模型,将训练偏差纳入本地损失函数,在不损害隐私的前提下消除偏差,并在三个真实数据集上显著提升推荐准确性。
2025-04-21 cs.AI cs.LG
A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption
Tampere University(塔尔库大学)
本文提出将混合同态加密(HHE)集成到联邦学习中,以同时解决通信开销和数据隐私挑战,从而实现可扩展且安全的去中心化学习系统。
2025-08-07 cs.CR cs.LG
Privacy-preserving Federated Learning for Residential Short Term Load Forecasting
FINATRAX, University of Luxembourg(卢森堡大学FINATRAX);University of Luxembourg(卢森堡大学)
由于间歇性发电和动态需求模式的高水平,对住宅负荷的准确预测变得至关重要。智能电表在进行这些预测时可以发挥重要作用,因为它们提供详细的负荷数据。然而,由于数据隐私要求,使用智能电表数据进行负荷预测具有挑战性。本文研究了如何通过结合联邦学习和隐私保护技术(如差分隐私和安全聚合)来满足这些要求。在我们的分析中,我们使用了大量的住宅负载数据,并模拟了不同的联邦学习模型和隐私保护技术如何影响性能和隐私。我们的模拟表明,结合联邦学习和隐私保护技术可以确保高预测准确性和接近完全的隐私。具体来说,我们发现,这种组合使高水平的信息共享,同时确保隐私的处理负荷数据和预测模型。此外,我们确定并讨论了应用联邦学习,差分隐私和安全聚合住宅短期负荷预测的挑战。
2022-09-19 cs.AI cs.LG cs.SY
Homomorphic Encryption and Federated Learning based Privacy-Preserving CNN Training: COVID-19 Detection Use-Case
University of Stavanger(斯塔万格大学);Virginia Commonwealth University(弗吉尼亚联邦大学);Old Dominion University(奥尔多明尼昂大学);Norwegian University of Science and Technology(挪威科技大学)
医疗数据在数据隐私和安全问题方面通常非常敏感。联邦学习是机器学习技术的一种,已经开始用于提高医疗数据的隐私性和安全性。在联邦学习中,训练数据分布在多台机器上,学习过程以协作方式执行。针对深度学习(DL)模型的隐私攻击主要是为了获取敏感信息。因此,应该保护DL模型本身免受对抗攻击,特别是对于使用医疗数据的应用。针对该问题的解决方案之一是基于同态加密的模型保护以防止对手合作者。提出了一种基于同态加密的隐私保护医疗数据联邦学习算法。该算法使用安全的多方计算协议来保护深度学习模型免受攻击。在这项研究中,所提出的算法使用真实世界的医疗数据集进行评估的模型性能。
2022-04-16 cs.CR cs.LG
Byzantine-Robust Federated Learning with Optimal Statistical Rates and Privacy Guarantees
UC Berkeley(加州大学伯克利分校);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学);HKUST(香港科技大学)
我们提出了拜占庭鲁棒的联邦学习协议,具有接近最优的统计率。与以前的工作相比,我们提出的协议提高了维度依赖性,并实现了严格的统计率方面的所有参数的强凸损失。我们对竞争协议的基准,并显示所提出的协议的经验优势。最后,我们注意到,我们的协议与桶可以自然地与隐私保证程序相结合,以引入半诚实服务器的安全性。https://github.com/wanglun1996/secure-robust-federated-learning中提供了评估代码。
2023-03-18 cs.AI cs.CR cs.DC
Federated Markov Imputation: Privacy-Preserving Temporal Imputation in Multi-Centric ICU Environments
Bielefeld University(比勒菲尔德大学)
针对电子健康记录联邦学习中缺失数据及时间粒度差异问题,提出联邦马尔可夫插补(FMI),通过协作构建全局转移模型实现隐私保护的时间插补,在MIMIC-IV脓毒症预测任务上优于局部基线。
2025-09-25 cs.AI cs.LG
Privacy Amplification via Random Participation in Federated Learning
Imperial College London(伦敦帝国学院)
在子采样数据集而不是整个数据集上运行随机算法可以增强差分隐私保证。在这项工作中,在联邦设置中,除了对本地数据集进行二次采样之外,我们还考虑了客户端的随机参与。由于客户端的这种随机参与在其子采样中创建了同一客户端的样本之间的相关性,因此我们通过非均匀子采样来分析相应的隐私放大。我们表明,当本地数据集的大小是小的,通过随机参与的隐私保证是接近的集中式设置,其中整个数据集位于一个单一的主机和二次采样。另一方面,当本地数据集很大时,观察算法的输出可以以高置信度揭示采样客户端的身份。我们的分析表明,即使在这种情况下,通过随机参与的隐私保证优于那些只通过本地子采样。
2022-05-03 cs.CR cs.LG
FedDCL: a federated data collaboration learning as a hybrid-type privacy-preserving framework based on federated learning and data collaboration
University of Tsukuba(筑波大学)
FedDCL将联邦学习与数据协作分析结合,通过机构内构建降维中间表示并在组内DC服务器间进行联邦学习,解决了联邦学习在难以持续对外通信环境中的实施难题,且性能与现有联邦学习相当。
2024-09-27 cs.CR cs.LG
PrivFairFL: Privacy-Preserving Group Fairness in Federated Learning
Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);University of Washington Tacoma(华盛顿大学塔科马分校);Ghent University(根特大学)
群体公平性确保了基于机器学习(ML)的决策系统的结果不会偏向于由敏感属性(如性别或种族)定义的特定人群。在联邦学习(FL)中实现群体公平性是具有挑战性的,因为减轻偏见本质上需要使用所有客户端的敏感属性值,而FL的目的正是通过不允许访问客户端的数据来保护隐私。正如我们在本文中所示,在FL中的公平性和隐私性之间的冲突可以通过将FL与安全多方计算(MPC)和差分隐私(DP)相结合来解决。在这样做的过程中,我们提出了一种在完整和正式的隐私保证下在跨设备FL中训练组公平ML模型的方法,而不需要客户端公开其敏感属性值。
2022-08-26 cs.CR cs.LG
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China(中国人民大学);Kyoto University(京都大学)
随着大量数据从小型设备中产生,移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中,随机梯度下降(SGD)已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露,最近,本地差分隐私(LDP)被认为是联邦SGD中的隐私保证。然而,现有的解决方案具有维度依赖性问题:注入的噪声基本上与维度$d$成比例。在这项工作中,我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是,并非所有维度都同等重要,因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说,我们提出了三个私人维度选择机制,并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度,并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
In-depth Analysis of Privacy Threats in Federated Learning for Medical Data
本文提出MedPFL框架,用于分析医疗数据联邦学习中的隐私风险并制定缓解策略,通过实验证明联邦学习在处理医学图像时存在严重隐私风险,并发现添加随机噪声的防御机制并非总是有效。
2024-09-27 cs.LG
Enhancing the Privacy of Federated Learning with Sketching
Carnegie Mellon University(卡内基梅隆大学)
为了应对日益增长的对用户隐私的担忧,联邦学习已经成为一种很有前途的工具,可以在设备网络上训练统计模型,同时保持数据本地化。联邦学习方法直接在用户设备上运行训练任务,并且不与第三方共享原始用户数据。然而,当前的方法仍然共享模型更新,其可以包含私有信息(例如,(1)身高和体重,在训练过程中旨在提高联邦学习隐私性的现有努力在以下一个或多个关键领域做出了妥协:性能(特别是通信成本),准确性或隐私性。为了更好地优化这些权衡,我们建议\textit{sketching algorithms}具有独特的优势,因为它们可以在保持准确性的同时提供隐私和性能优势。我们评估了基于草图的联邦学习的可行性与三个代表性的学习模型的原型。我们的初步研究结果表明,在不牺牲性能或准确性的情况下,为联邦学习提供强大的隐私保证是可能的。我们的工作强调,在分布式环境中,隐私和通信之间存在着根本的联系,并提出了围绕实用的私人联邦学习的理论理解,方法和系统设计的重要开放问题。
2019-11-05 cs.CR cs.LG cs.NI
Multi-Objective Optimization for Privacy-Utility Balance in Differentially Private Federated Learning
Deakin University(迪肯大学);Data61, CSIRO(联邦科学与工业研究组织Data61);University of New South Wales (UNSW)(新南威尔士大学)
针对联邦学习差分隐私中裁剪范数难选的问题,提出多目标优化自适应裁剪机制,动态平衡隐私与效用,在多个数据集上优于固定裁剪基线。
2025-03-27 cs.AI cs.LG
Topological Federated Clustering via Gravitational Potential Fields under Local Differential Privacy
GFC通过引力势场拓扑持久性方法,在局部差分隐私下实现高效的隐私保护联邦聚类,提升隐私与准确性平衡。
2025-11-30 cs.AI cs.LG