Randomized Quantization is All You Need for Differential Privacy in Federated Learning
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
针对联邦学习中的隐私与通信挑战,提出随机量化机制(RQM),通过两级随机化实现Rényi差分隐私,无需显式离散噪声,在隐私-精度权衡上优于先前工作。
2023-06-20 cs.CR cs.DC cs.LG
Federated Crowdsensing: Framework and Challenges
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Shanghai University of Finance and Economics(上海财经大学)
Crowdsensing是智能城市应用的有前途的感测范例(例如,交通和环境监测),智能移动设备和先进的网络基础设施的普及。同时,由于任务是由个体来完成的,因此隐私保护是群体感知系统的关键问题之一。传统上,为了减轻用户的隐私担忧,噪声被添加到参与者的敏感数据(例如,参与者的位置)通过诸如差分隐私的技术。然而,这不可避免地导致对众测任务的质量损失。最近,联邦学习范式被提出,其目的是在机器学习中实现隐私保护,同时确保学习质量受到很小或没有损失。受联邦学习范式的启发,本文研究了联邦学习如何使众测应用受益。特别是,我们首先提出了一个联邦众测框架,它分析了每个众测阶段的隐私问题(即,任务创建、任务分配、任务执行和数据聚合),并讨论联邦学习技术如何生效。最后,我们总结了联邦众测的主要挑战和机遇。
2020-11-06 cs.CR cs.DC cs.LG
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano(米兰理工大学)
本文提出 TimberStrike 攻击,针对水平联邦树模型,利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据,揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出一种局部差分隐私联邦学习算法,通过动态分配时变噪声方差以最小化优化误差上界,在隐私预算约束下同时实现隐私保护与效用,无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
Trading Off Privacy, Utility and Efficiency in Federated Learning
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
本研究提出兼容横纵向联邦学习的统一框架,量化隐私泄露、效用损失与效率下降的权衡关系,推导NFL定理,并分析主流保护机制的相关下界,为参数选择提供指导。
2023-02-21 cs.CR cs.DC cs.LG
No Vandalism: Privacy-Preserving and Byzantine-Robust Federated Learning
Beijing Institute of Technology(北京理工大学);University of Auckland(奥克兰大学)
本文提出一种隐私保护且拜占庭鲁棒的联邦学习方案NoV,通过结合零知识证明的模型过滤器抵御数据和模型投毒攻击,并采用秘密共享实现可验证安全聚合以剔除恶意客户端,有效保护数据隐私并优于现有方案。
2024-06-03 cs.CR cs.DC cs.LG
H-FL: A Hierarchical Communication-Efficient and Privacy-Protected Architecture for Federated Learning
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)的长期目标要求严格的隐私保证和低通信开销,同时保持相对较高的模型准确性。然而,同时实现所有目标是极具挑战性的。在本文中,我们提出了一个新的框架称为分层联邦学习(H-FL)来应对这一挑战。考虑到训练数据的统计异质性会降低模型的性能,本文提出了一种运行时分布重构策略,该策略对客户端进行适当的重新分配,并利用中介器重新安排客户端的局部训练。此外,我们设计了一个压缩校正机制纳入H-FL,以减少通信开销,同时不牺牲模型的性能。为了进一步提供隐私保证,我们在执行本地训练时引入了差分隐私,这只会在完整模型的一部分中注入适量的噪声。实验结果表明,我们的H-FL框架实现了最先进的性能在不同的数据集上的真实世界的图像识别任务。
2021-06-01 cs.CR cs.DC cs.LG
PrivacyFL: A simulator for privacy-preserving and secure federated learning
Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种使分布式客户端能够协作学习共享的机器学习模型,同时保持其训练数据本地化的技术。这降低了数据隐私风险,然而,隐私问题仍然存在,因为有可能从训练模型的权重或参数中泄露有关训练数据集的信息。建立一个联邦学习环境,特别是有安全和隐私保证的环境,是一个耗时的过程,有许多配置和参数可以操作。为了帮助客户确保协作是可行的,并检查它是否提高了他们的模型准确性,需要一个真实世界的隐私保护和安全的联邦学习模拟器。在本文中,我们介绍PrivacyFL,这是一个可扩展的,易于配置和可扩展的模拟器的联邦学习环境。它的主要特性包括延迟模拟、对客户端离开的鲁棒性、对集中式和分散式学习的支持,以及基于差分隐私和安全多方计算的可配置隐私和安全机制。在本文中,我们激发了我们的研究,描述了模拟器和相关协议的架构,并讨论了其在众多场景中的评估,这些场景强调了其广泛的功能及其优势。我们的论文解决了一个重要的现实问题:检查在各种情况下参与联邦学习环境的可行性。它还具有很强的实际影响,因为医院、银行和研究机构等拥有大量敏感数据并希望进行协作的组织将从一个能够以隐私保护和安全的方式进行协作的系统中受益匪浅。
2020-07-08 cs.CR cs.DC cs.LG
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);Tongji University(同济大学);Northeastern University(东北大学);The Hong Kong Polytechnic University(香港理工大学);East China Normal University(华东师范大学);Institute of Science Tokyo(东京科学研究所)
该研究针对现有差分隐私联邦学习系统综述的不足,提出基于隐私模型定义、保障特性与联邦场景的新分类体系,梳理相关应用,为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
WebFed: Cross-platform Federated Learning Framework Based on Web Browser with Local Differential Privacy
The University of Aizu(会津大学);Sun Yat-sen University(中山大学)
对于数据孤岛和隐私问题,联邦学习引起了广泛的兴趣,因为它允许客户使用本地数据协作训练全球模型,而无需与第三方共享任何数据。然而,现有的联邦学习框架总是需要复杂的条件配置(例如,独立图形卡(如NVIDIA、编译环境)驱动程序配置复杂,给大规模开发和部署带来诸多不便。为了促进联邦学习的部署和相关应用的实现,我们创新性地提出了WebFed,一种新颖的基于浏览器的联邦学习框架,它利用浏览器的特性(例如,跨平台、JavaScript编程特性),并通过本地差分隐私机制增强隐私保护。最后,我们在异构设备上进行实验,以评估所提出的WebFed框架的性能。
2021-10-22 cs.AI cs.CR cs.DC
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich(慕尼黑工业大学);Bytedance Inc.(字节跳动公司);Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种分布式机器学习框架,它支持多方协作训练,同时确保数据隐私。XGBoost是最先进的树提升框架,由于传统隐私保护方法的高成本,XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题,我们提出了两种具有隐私保证的联邦XGBoost变体:FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法,以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的,它是用噪声扰动为本地差分隐私设计的,并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类,证明通过策略性校准隐私预算,可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
Utilizing Free Clients in Federated Learning for Focused Model Enhancement
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对优先级联邦学习中需筛选适配非优先级客户端的问题,提出FedALIGN算法,基于损失相似度选择客户端以互利协作,经收敛分析和实验验证,其收敛速度与测试准确率均优于基线。
2023-10-06 cs.AI cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University(罗格斯大学);Duke University(杜克大学);University of California, Irvine(加州大学欧文分校)
本文提出融合联邦学习与差分隐私的广告个性化框架,通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术,在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学);Microsoft(微软);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习是一个很有前途的框架,用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本,并且可以提高隐私性,因为分布式站点不必透露隐私敏感数据。在本文中,我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法(ADMM),并检查其隐私的弱点。与以前的工作,使用差分隐私或同态加密的隐私,我们开发了一个协议,控制参与者之间的通信,在每一轮的聚合,以尽量减少隐私泄漏。我们建立了隐私保证,以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式,灵感来自组合块设计理论。我们的安全聚合协议的基础上,这种新的组通信模式的设计,导致一个有效的算法,联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明,我们的算法执行的标准集中式联邦学习方法,同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);University of Southern Denmark(南丹麦大学);Imperial College London(帝国理工学院)
联邦学习(FL)使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例,其中原始数据共享是不需要的,最近的研究表明,FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中,我们提出了HyFed框架,它增强了隐私的FL,同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式,其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark(南丹麦大学)
联邦学习(FL)是一种隐私感知的数据采掘策略,它将私有数据保存在所有者的机器上,从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中,使用安全聚合对本地参数进行额外屏蔽,使得仅全局聚合统计数据以明文形式可用,而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中,我们调查了三个QR分解算法的适用性跨筒仓FL,并提出了一个隐私感知QR分解方案的基础上,Gram-Schmidt算法,不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
Federated Learning for Privacy-Preserving Open Innovation Future on Digital Health
Australian Department of Health(澳大利亚卫生部);University of Technology Sydney(悉尼科技大学)
隐私保护是人工智能领域一个备受关注的伦理问题。联邦学习是一种新的机器学习范式,用于在用户或组织之间学习共享模型,而无需直接存取数据。它有很大的潜力成为下一个通用的AI模型训练框架,提供隐私保护,因此对数字健康和医疗保健信息学的未来具有广泛的影响。在医疗保健行业实施开放式创新框架,即开放式医疗,旨在通过与合作伙伴组织和研究界建立下一代合作框架,提高医疗保健相关组织的创新和创造能力。特别是,这个改变游戏规则的协作框架提供了来自不同数据的知识共享,同时保护了隐私。本章将讨论联邦学习如何在人工智能的支持下实现开放的健康生态系统的发展。将讨论联邦学习的现有挑战和解决方案。
2021-08-24 cs.AI cs.CR cs.DC
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);College of Mathematics and Computer Science, Fuzhou University(福州大学数学与计算机科学学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
移动众测是一种新兴的感知数据汇集模式,具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外,现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护,而不是数据处理的隐私保护。为了解决MCS面临的问题,本文将联邦学习(FL)融入MCS,提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说,为了保护隐私,参与者通过联邦学习在本地处理传感数据,只上传加密的训练模型。特别地,提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销,设计了丢弃和重传策略。此外,设计了一种隐私保护的发布定价激励机制,试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明,所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私,是可行和有效的。
2021-02-20 cs.CR cs.LG
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of Hong Kong(香港大学);Florida International University(佛罗里达国际大学)
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题,提出EPAFL框架,通过三种早停技术在保持攻击成功率的同时显著降低计算开销,并公开代码。
2024-04-15 cs.CR cs.LG
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech(弗吉尼亚理工大学)
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决,即模型压缩、部分设备参与和周期性聚合,代价是增加训练方差。与传统的分布式学习系统不同,联邦学习存在数据异构性(因为设备从可能不同的分布中采样数据),这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响,而它们通常需要额外的通信资源来提供必要的控制信息。此外,数据隐私仍然是FL中的一个关键问题,因此已经有人尝试将差分隐私引入该框架,作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡,以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架,其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩,隐私是因为用户数据通常是敏感的,压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中,我们采取了全面的问题,并设计了一个家庭的隐私意识的压缩机制,适用于任何给定的通信预算。首先,我们提出了一种机制,用于传输一个单一的实数,在一定条件下具有最佳的方差。然后,我们将展示如何将其扩展到位置隐私用例的度量差分隐私,以及向量,以应用于联邦学习。我们的实验表明,我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh(匹兹堡大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型,他们可能希望保持私有。然而,参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题,已经提出了基于差分隐私和安全多方计算(SMC)等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中,我们提出了HybridAlpha,隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单,高效,对参与者退出具有弹性。我们评估我们的方法,关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明,HybridAlpha可以将训练时间平均减少68%,数据传输量平均减少92%,同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
联邦学习(FL)是一种训练范式,其中客户端通过重复共享信息来协作学习模型,而不会对其本地敏感数据的隐私造成太大影响。在本文中,我们介绍了联邦$f$ -差分隐私,一个新的概念,专门为联邦设置,高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行:它为一个客户端数据的每个单独记录提供隐私保证,以对抗对手。然后,我们提出了一个通用的私人联邦学习框架{PriFedSync},可容纳一个大家庭的国家的最先进的FL算法,可证明实现联邦$f$差分隐私。最后,我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad(国际信息技术学院(海得拉巴))
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先,这项工作提出了一个道德的联邦学习模型,同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Privacy and Trust Redefined in Federated Machine Learning
Edinburgh Napier University(爱丁堡龙比亚大学);Eight Bells LTD(八钟有限公司)
传统机器学习中的一个常见隐私问题是训练过程需要公开数据。在医疗记录等高度敏感数据的情况下,访问这些信息具有挑战性,并且通常被禁止。幸运的是,隐私保护技术已经开发出来,通过分配训练的计算并确保其所有者的数据隐私来克服这一障碍。将计算分配给多个参与实体引入了新的隐私复杂性和风险。在本文中,我们提出了一个隐私保护的分散工作流程,促进参与者之间的可信联邦学习。我们的概念验证定义了一个信任框架,该框架使用在超级账本项目Aries/Indy/Ursa下开发的分散身份技术进行实例化。只有拥有由适当机构颁发的可验证凭据的实体才能够建立安全的、经过认证的通信渠道,这些渠道被授权参与与心理健康数据相关的联邦学习工作流程。
2021-03-30 cs.CR cs.CY cs.DC
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
联邦学习(FL)是一种新兴的分布式学习范式,具有默认的客户端隐私,因为客户端可以将敏感数据保存在其设备上,并且仅与联邦服务器共享本地训练参数更新。然而,最近的研究表明,FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法,该方法基于每个训练样本的客户端差分隐私,称为Fed-CDP。它有三个原创性的贡献。首先,我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁,即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法,被称为Fed-SDP,是不足以保护训练数据的隐私。其次,介绍了基于实例的客户端差分隐私算法Fed-CDP,给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析,并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三,形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡,并提出了一种动态衰减噪声注入策略,进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP(衰减)与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明,Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP,同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen(卑尔根大学)
本文通过教育数据预测实验比较联邦学习与传统非联邦方法,证明其准确率相当且在对抗攻击下更具韧性,为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
真实世界的数据通常按属性划分,并分布在不同的各方。联邦学习支持协作培训,而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样,即使有一小部分损坏的数据,对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程,该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题,提出了一种基于前后向分裂算法的防御方法,在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失,同时实现了两个目标。在各种数据集上进行的大量实验表明,我们的防御方法显著减轻了隐私泄露,对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada(格拉纳达大学安达卢西亚数据科学与计算智能研究所)
边缘人工智能服务的高需求也保护了数据隐私,推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私,这些方法将数据保存在数据孤岛中。同样,差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布,但它们缺乏对这些技术所需的统一愿景,以及支持其使用的方法工作流程。因此,我们提出了Sherpa.ai联邦学习框架,该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究,以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Lehigh University(理海大学);Samsung Research America(三星美国研究院)
在敏感用户数据上训练机器学习模型已经在许多领域引起了越来越多的隐私问题。联邦学习是一种流行的隐私保护方法,它收集局部梯度信息而不是真实数据。实现严格隐私保证的一种方法是将局部差分隐私应用到联邦学习中。然而,以前的作品没有给出一个实际的解决方案,由于三个问题。首先,噪声数据以高概率接近其原始值,增加了信息暴露的风险。第二,将大的方差引入估计的平均值,导致精度差。最后,由于深度学习模型中权重的高维性,隐私预算爆炸式增长。针对上述问题,提出了一种新的联邦学习局部差分隐私机制设计。它能够使数据与其原始值更加不同,并引入较低的方差。此外,所提出的机制通过分裂和洗牌模型更新绕过维数灾难。在MNIST、Fashion-MNIST和CIFAR-10三个常用数据集上的一系列实证评估表明,我们的解决方案不仅可以实现卓越的深度学习性能,同时还可以提供强大的隐私保障。
2021-05-21 cs.CR cs.LG
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University(京都大学)
联邦学习(FL)正在成为隐私保护机器学习的一个有前途的范例,它在多个客户端之间训练算法,而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点,并分别使用局部差分隐私(LDP)和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而,目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白,这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的,因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证,证明了局部差分隐私对对抗鲁棒性既有积极的影响,也有消极的影响。
2021-06-13 cs.CR cs.LG
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University(查尔斯特大学)
为应对COVID-19的医疗挑战,我们需要在全球范围内频繁共享健康数据、知识和资源。然而,在这个数字时代,数据隐私是一个大问题,需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中,我们介绍了差分隐私的设计(dPbD)框架,并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围,我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计,并讨论了如何差分隐私设计(dPbD)框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为,可扩展的差异私有联邦学习设计是一个很有前途的解决方案,用于建立一个安全,私有和协作的机器学习模型,如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington(华盛顿大学)
针对电子健康记录的高敏感属性,为保障机器学习模型分析患者数据时的隐私安全,提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Federated Learning for Multi-Center Sepsis Early Prediction with Privacy-Preserving
University of Science and Technology of China(中国科学技术大学)
针对多中心医疗数据的隐私和分布式特性,提出基于联邦学习的分布式协作建模方法,实现与集中式模型相当的预测精度并避免隐私泄露。
2026-06-03 cs.CR cs.LG
A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption
Tampere University(塔尔库大学)
本文提出将混合同态加密(HHE)集成到联邦学习中,以同时解决通信开销和数据隐私挑战,从而实现可扩展且安全的去中心化学习系统。
2025-08-07 cs.CR cs.LG
Homomorphic Encryption and Federated Learning based Privacy-Preserving CNN Training: COVID-19 Detection Use-Case
University of Stavanger(斯塔万格大学);Virginia Commonwealth University(弗吉尼亚联邦大学);Old Dominion University(奥尔多明尼昂大学);Norwegian University of Science and Technology(挪威科技大学)
医疗数据在数据隐私和安全问题方面通常非常敏感。联邦学习是机器学习技术的一种,已经开始用于提高医疗数据的隐私性和安全性。在联邦学习中,训练数据分布在多台机器上,学习过程以协作方式执行。针对深度学习(DL)模型的隐私攻击主要是为了获取敏感信息。因此,应该保护DL模型本身免受对抗攻击,特别是对于使用医疗数据的应用。针对该问题的解决方案之一是基于同态加密的模型保护以防止对手合作者。提出了一种基于同态加密的隐私保护医疗数据联邦学习算法。该算法使用安全的多方计算协议来保护深度学习模型免受攻击。在这项研究中,所提出的算法使用真实世界的医疗数据集进行评估的模型性能。
2022-04-16 cs.CR cs.LG
Byzantine-Robust Federated Learning with Optimal Statistical Rates and Privacy Guarantees
UC Berkeley(加州大学伯克利分校);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学);HKUST(香港科技大学)
我们提出了拜占庭鲁棒的联邦学习协议,具有接近最优的统计率。与以前的工作相比,我们提出的协议提高了维度依赖性,并实现了严格的统计率方面的所有参数的强凸损失。我们对竞争协议的基准,并显示所提出的协议的经验优势。最后,我们注意到,我们的协议与桶可以自然地与隐私保证程序相结合,以引入半诚实服务器的安全性。https://github.com/wanglun1996/secure-robust-federated-learning中提供了评估代码。
2023-03-18 cs.AI cs.CR cs.DC
Privacy Amplification via Random Participation in Federated Learning
Imperial College London(伦敦帝国学院)
在子采样数据集而不是整个数据集上运行随机算法可以增强差分隐私保证。在这项工作中,在联邦设置中,除了对本地数据集进行二次采样之外,我们还考虑了客户端的随机参与。由于客户端的这种随机参与在其子采样中创建了同一客户端的样本之间的相关性,因此我们通过非均匀子采样来分析相应的隐私放大。我们表明,当本地数据集的大小是小的,通过随机参与的隐私保证是接近的集中式设置,其中整个数据集位于一个单一的主机和二次采样。另一方面,当本地数据集很大时,观察算法的输出可以以高置信度揭示采样客户端的身份。我们的分析表明,即使在这种情况下,通过随机参与的隐私保证优于那些只通过本地子采样。
2022-05-03 cs.CR cs.LG
FEDBUD: Joint Incentive and Privacy Optimization for Resource-Constrained Federated Learning
School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院)
本文提出FEDBUD系统,通过联合考虑数据量和噪声水平对激励策略的影响,解决联邦学习中隐私保护与激励策略设计的难题。
2026-04-12 cs.DC cs.LG
FedDCL: a federated data collaboration learning as a hybrid-type privacy-preserving framework based on federated learning and data collaboration
University of Tsukuba(筑波大学)
FedDCL将联邦学习与数据协作分析结合,通过机构内构建降维中间表示并在组内DC服务器间进行联邦学习,解决了联邦学习在难以持续对外通信环境中的实施难题,且性能与现有联邦学习相当。
2024-09-27 cs.CR cs.LG
PrivFairFL: Privacy-Preserving Group Fairness in Federated Learning
Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);University of Washington Tacoma(华盛顿大学塔科马分校);Ghent University(根特大学)
群体公平性确保了基于机器学习(ML)的决策系统的结果不会偏向于由敏感属性(如性别或种族)定义的特定人群。在联邦学习(FL)中实现群体公平性是具有挑战性的,因为减轻偏见本质上需要使用所有客户端的敏感属性值,而FL的目的正是通过不允许访问客户端的数据来保护隐私。正如我们在本文中所示,在FL中的公平性和隐私性之间的冲突可以通过将FL与安全多方计算(MPC)和差分隐私(DP)相结合来解决。在这样做的过程中,我们提出了一种在完整和正式的隐私保证下在跨设备FL中训练组公平ML模型的方法,而不需要客户端公开其敏感属性值。
2022-08-26 cs.CR cs.LG
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
联邦学习是一种机器学习技术,它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名,因为数据永远不会离开计算设备,最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而,我们发现,尽管做出了努力,联邦学习仍然存在隐私威胁,因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁,揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归,我们通过理论分析表明,攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型,我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China(中国人民大学);Kyoto University(京都大学)
随着大量数据从小型设备中产生,移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中,随机梯度下降(SGD)已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露,最近,本地差分隐私(LDP)被认为是联邦SGD中的隐私保证。然而,现有的解决方案具有维度依赖性问题:注入的噪声基本上与维度$d$成比例。在这项工作中,我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是,并非所有维度都同等重要,因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说,我们提出了三个私人维度选择机制,并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度,并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
Differential Privacy Personalized Federated Learning Based on Dynamically Sparsified Client Updates
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);No.208 Research Institute of China Ordnance Industries(中国兵器工业第二〇八研究所)
针对差分隐私个性化联邦学习中个性化不足及隐私与性能平衡欠佳的问题,提出DP-pFedDSU方法,通过重参数化和自适应范数动态稀疏化客户端更新,有效减少噪声并提升模型性能。
2025-04-27 cs.CR cs.LG
In-depth Analysis of Privacy Threats in Federated Learning for Medical Data
本文提出MedPFL框架,用于分析医疗数据联邦学习中的隐私风险并制定缓解策略,通过实验证明联邦学习在处理医学图像时存在严重隐私风险,并发现添加随机噪声的防御机制并非总是有效。
2024-09-27 cs.LG
Asymmetrical Vertical Federated Learning
Tencent(腾讯)
联邦学习是一种分布式机器学习方法,旨在保护样本特征和标签的隐私。在联邦学习系统中,通常采用基于身份的样本对齐方法,而很少对身份隐私进行保护。然而,在实际应用中,作为最强行标识符的样本ID的机密性也引起了许多参与者的关注。为了缓解他们对身份隐私的担忧,本文正式提出了非对称垂直联邦学习的概念,并说明了保护样本身份的方法。采用标准私有集交集协议实现非对称垂直联邦学习系统中的非对称ID对齐阶段。相应地,Pohlig-Hellman实现的适应协议提供。本文还提出了一种真正的虚拟方法来实现非对称联邦模型训练。为了说明其应用,联邦逻辑回归算法作为一个例子。最后通过实验验证了该方法的可行性。
2020-06-11 cs.CR cs.LG
Enhancing the Privacy of Federated Learning with Sketching
Carnegie Mellon University(卡内基梅隆大学)
为了应对日益增长的对用户隐私的担忧,联邦学习已经成为一种很有前途的工具,可以在设备网络上训练统计模型,同时保持数据本地化。联邦学习方法直接在用户设备上运行训练任务,并且不与第三方共享原始用户数据。然而,当前的方法仍然共享模型更新,其可以包含私有信息(例如,(1)身高和体重,在训练过程中旨在提高联邦学习隐私性的现有努力在以下一个或多个关键领域做出了妥协:性能(特别是通信成本),准确性或隐私性。为了更好地优化这些权衡,我们建议\textit{sketching algorithms}具有独特的优势,因为它们可以在保持准确性的同时提供隐私和性能优势。我们评估了基于草图的联邦学习的可行性与三个代表性的学习模型的原型。我们的初步研究结果表明,在不牺牲性能或准确性的情况下,为联邦学习提供强大的隐私保证是可能的。我们的工作强调,在分布式环境中,隐私和通信之间存在着根本的联系,并提出了围绕实用的私人联邦学习的理论理解,方法和系统设计的重要开放问题。
2019-11-05 cs.CR cs.LG cs.NI
Stochastic Coded Federated Learning with Convergence and Privacy Guarantees
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong Polytechnic University(香港理工大学)
联邦学习(FL)作为一种隐私保护的分布式机器学习框架已经引起了广泛的关注,其中许多客户端通过与参数服务器交换模型更新而不是共享其原始数据来协作训练机器学习模型。然而,FL训练由于客户端的异构计算资源和波动的通信速率引起的离散而收敛缓慢且性能不稳定。本文提出了一种编码的联邦学习框架,即随机编码的联邦学习(SCFL),以减轻掉队的问题。在这个框架中,每个客户端通过向其本地数据的随机线性组合添加加性噪声来生成隐私保护编码数据集。服务器从所有客户端收集编码数据集以构建复合数据集,这有助于补偿离散效应。在训练过程中,服务器和客户端执行小批量随机梯度下降(SGD),并且服务器在模型聚合中添加补充项以获得无偏梯度估计。我们用互信息差分隐私(MI-DP)来描述隐私保证,并分析了联邦学习的收敛性能。此外,通过分析隐私约束对收敛速度的影响,我们证明了所提出的SCFL方法的隐私性能折衷。最后,数值实验证实了我们的分析,并显示SCFL在实现快速收敛,同时保护数据隐私的好处。
2022-09-08 cs.DC cs.LG
Efficient and Privacy Preserving Group Signature for Federated Learning
Soongsil University(崇实大学)
联邦学习(FL)是一种机器学习(ML)技术,旨在减少对用户数据隐私的威胁。训练是使用用户设备(称为客户端)上的原始数据完成的,只有训练结果(称为梯度)被发送到服务器进行聚合并生成更新的模型。但是,我们不能假设服务器可以信任私有信息,例如与数据的所有者或源相关的元数据。因此,对服务器隐藏客户端信息有助于减少与隐私相关的攻击。因此,客户端身份的隐私以及客户端数据的隐私对于使此类攻击更加困难是必要的。提出了一种基于群签名的高效且隐私保护的FL协议。一种新的用于联邦学习的群签名,称为GSFL,被设计为不仅保护客户端的数据和身份的隐私,而且考虑到联邦学习的迭代过程,还显著降低了计算和通信成本。我们表明,GSFL优于现有的方法在计算,通信和信令成本。此外,我们表明,该协议可以处理各种安全攻击的联邦学习环境。
2022-07-15 cs.CR cs.LG cs.NI
Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge
NIST(美国国家标准与技术研究院)
本文评估差分隐私在联邦学习中对抗成员推断攻击的效果,提出堆叠攻击策略,并在不同隐私配置下验证其性能。
2026-04-15 cs.CR cs.LG
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology(北京理工大学)
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题,提出结合本地差分隐私与混洗技术的隐私放大算法,在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG