FedEM: A Privacy-Preserving Framework for Concurrent Utility Preservation in Federated Learning
本文提出FedEM算法,通过自适应噪声注入引入受控扰动,在联邦学习中有效缓解梯度泄露攻击,同时保持模型精度,实现隐私保护与效用保留的稳健平衡。
2025-03-08 cs.LG
Provably Personalized and Robust Federated Learning
University of California, Berkeley(加州大学伯克利分校);EPFL(洛桑联邦理工学院)
针对联邦学习个性化问题,论文将按聚类学习模型形式化为随机优化,提出可识别客户端聚类并训练每簇模型的迭代算法,取得最优收敛率且对 Byzantine 恶意客户端鲁棒。
2023-12-18 cs.DC cs.LG
A Simple and Provably Efficient Algorithm for Asynchronous Federated Contextual Linear Bandits
University of California, Los Angeles(加州大学洛杉矶分校);Yale University(耶鲁大学)
我们研究联邦上下文线性强盗,其中$M$代理相互合作,以解决一个全球性的上下文线性强盗问题的帮助下,一个中央服务器。我们考虑异步设置,其中所有代理独立工作,一个代理和服务器之间的通信不会触发其他代理的通信。我们提出了一个简单的算法命名为\texttt{FedLinUCB}基于乐观的原则。我们证明了\texttt{FedLinUCB}的后悔受$\tilde{O}(d\sqrt{\sum_{m=1}^M T_m})$约束,通信复杂性为$\tilde{O}(dM^2)$,其中$d$是上下文向量的维数,$T_m$是第$m$个体与环境交互的总次数.据我们所知,这是第一个可证明有效的算法,允许完全异步通信的联邦上下文线性土匪,同时实现相同的遗憾保证在单代理设置。
2022-07-07 cs.LG stat.ML
Federated Hypergraph Learning with Local Differential Privacy: Toward Privacy-Aware Hypergraph Structure Completion
School of Computer Science and Engineering(计算机科学与工程学院);Central South University(中南大学)
针对联邦超图学习中的高阶信息丢失与隐私泄露问题,提出了FedHGL框架,通过预传播超边补全机制和本地差分隐私保护,有效提升了跨客户端协同训练与隐私保护下的模型性能。
2025-09-18 cs.LG
A Survey on Blockchain-Based Federated Learning and Data Privacy
Texas Tech University(得克萨斯理工大学)
本文综述了联邦学习的隐私泄露风险,系统比较了基于区块链的联邦学习架构中各种数据隐私机制的性能与安全性,并指出了未来研究方向。
2023-06-29 cs.LG
Communication-Efficient and Privacy-Preserving Feature-based Federated Transfer Learning
Syracuse University(雪城大学)
联邦学习由于其保护了客户的隐私而引起了越来越多的关注。联邦迁移学习作为联邦学习的一种变体,利用了来自相似任务的知识,因此也得到了深入的研究。然而,由于有限的无线电频谱,通过无线链路的联邦学习的通信效率是至关重要的,因为一些任务可能需要数千TB的上行链路有效载荷。为了提高通信效率,我们在本文中提出了基于特征的联邦迁移学习作为一种创新的方法,以减少超过五个数量级的上行链路的有效载荷相比,现有的方法。我们首先介绍的系统设计中,提取的功能和输出被上传,而不是参数更新,然后确定所需的有效载荷与这种方法,并提供与现有的方法进行比较。随后,我们分析了随机洗牌方案,保护客户端的隐私。最后,我们通过一个图像分类任务的实验来评估所提出的学习方案的性能,以显示其有效性。
2022-09-12 cs.LG
Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
针对多模态LLM联邦提示学习中个性化、泛化性与隐私难以平衡的问题,提出DP-FPL方法,通过低秩分解与差异化差分隐私保护策略,在减轻隐私噪声影响的同时平衡权衡,实验效果优于基准方法。
2025-02-13 cs.LG
Privacy Risks Analysis and Mitigation in Federated Learning for Medical Images
Knight Foundation School of Computing and Information Sciences(奈特基金会计算与信息科学学院)
本文提出MedPFL框架分析并缓解医学图像联邦学习的隐私风险,证实该场景下存在严重隐私泄露风险,且传统加噪防御并非总能有效防护。
2024-01-31 cs.LG
When Differential Privacy Meets Wireless Federated Learning: An Improved Analysis for Privacy and Convergence
School of Informatics, Xiamen University, China(厦门大学信息学院,中国);Internet of Things Thrust, Hong Kong University of Science and Technology (Guangzhou), China(香港科技大学(广州)物联网研究组,中国)
本文研究了差分隐私无线联邦学习中隐私损失的精确表征及收敛性,提出通用非凸损失目标下的分析方法,明确设备选择与小批量采样影响,证明隐私损失可收敛于常数,建立梯度裁剪下的收敛保证及隐私-效用权衡。
2026-08-04 cs.LG
DP-Hype: Federated Differentially Private Hyperparameter Search
Institute of IT Security, University of Luebeck(吕贝克大学IT安全研究所)
提出DP-Hype算法,通过联邦投票基于客户端本地评估进行隐私保护超参数搜索,实现客户端级差分隐私且隐私预算与超参数数量无关,在多种数据集上展示高效用。
2026-06-16 cs.LG
Marking the Pace: A Blockchain-Enhanced Privacy-Traceable Strategy for Federated Recommender Systems
Institute of Innovation, Science, and Sustainability, Federation University Australia(澳大利亚联邦大学创新、科学与可持续发展研究所);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);Institute of Electronic Information and Network Engineering, Chongqing University of Posts and Telecommunications(重庆邮电大学电子信息与网络工程研究院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院)
本文提出隐私可追溯联邦推荐系统LIBERATE,通过区块链可追溯机制和本地差分隐私保护数据共享与模型更新中的隐私,并在真实数据集上验证了其有效性和性能。
2024-06-07 cs.LG
Communication-Efficient and Privacy-Adaptable Mechanism -- a Federated Learning Scheme with Convergence Analysis
Department of Computer Science, City University of Hong Kong(计算机科学系,香港城市大学)
本文提出了一种通信高效且隐私适应的联邦学习方案CEPAM,并通过理论分析和实验评估其隐私保障和收敛性质。
2026-01-15 cs.LG
PAPAYA Federated Analytics Stack: Engineering Privacy, Scalability and Practicality
Meta
本文提出PAPAYA联邦分析技术栈,结合可信执行环境与设备端计算优化,解决现有联邦分析系统在准确性、灵活性和扩展性上的局限,实现隐私、可扩展性与实用性的统一。
2025-03-27 cs.LG
Survey of Privacy Threats and Countermeasures in Federated Learning
Secure System Platform Research Laboratories, NEC Corporation(NEC公司安全系统平台研究实验室)
本文综述横向、纵向和迁移联邦学习中的隐私威胁及防护对策,弥补现有研究对不同类型联邦学习共性与特有威胁缺乏系统分类的不足。
2025-08-29 cs.CR cs.LG
FLCert: Provably Secure Federated Learning against Poisoning Attacks
Meta Platforms(Meta平台公司);University of Science and Technology of China(中国科学技术大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Duke University(杜克大学)
由于其分布式性质,联邦学习容易受到中毒攻击,其中恶意客户端通过操纵其本地训练数据和/或发送到云服务器的本地模型更新来中毒训练过程,使得中毒的全局模型错误分类许多不加区分的测试输入或攻击者选择的输入。现有的防御主要利用拜占庭健壮的联邦学习方法或检测恶意客户端。但是,这些防御措施不具有针对中毒攻击的可证明的安全保证,并且可能容易受到更高级的攻击。在这项工作中,我们的目标是弥合差距,提出FLCert,一个集成的联邦学习框架,这是可证明安全的中毒攻击与有限数量的恶意客户端。我们的核心思想是将客户端分成组,使用任何现有的联邦学习方法为每组客户端学习一个全局模型,并在全局模型中进行多数投票以分类测试输入。具体来说,我们考虑了两种方法来对客户端进行分组,并相应地提出了FLCert的两种变体,即,FLCert-P在每个组中随机抽样客户端,FLCert-D确定性地将客户端划分到不相交的组。我们在多个数据集上进行的大量实验表明,我们的FLCert为测试输入预测的标签可证明不受有限数量的恶意客户端的影响,无论他们使用什么中毒攻击。
2022-10-04 cs.AI cs.CR cs.LG
Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization
KAUST(阿卜杜拉国王科技大学);Inria Sierra(法国国家信息与自动化研究所塞拉实验室)
本文对联邦学习中的服务器端优化进行了理论研究。我们的研究结果是第一个表明,广泛流行的启发式扩展客户端更新与一个额外的参数是非常有用的背景下,联邦平均(FedAvg)与本地通过客户端数据。每次本地传递都使用随机重排执行,无需替换,这是我们可以显示出更高复杂性的关键原因。特别是,我们证明,每当局部步长很小,更新方向是由FedAvg与随机重排在所有客户端,可以采取一个大的飞跃,在获得的方向和提高率凸,强凸,非凸目标。特别地,在非凸区域中,我们得到了从$\mathcal{O}\left(\varepsilon^{-3}\right)$到$\mathcal{O}\left(\varepsilon^{-2}\right)$的收敛速度的增强。这个结果甚至对于在单个节点上执行的随机重排也是新的。相比之下,如果本地步长较大,我们证明了客户端采样的噪声可以通过使用一个小的服务器端步长来控制。据我们所知,这是第一次证明地方步骤有助于克服沟通瓶颈。总之,我们的研究结果的优势,大,小的服务器端步长提供了一个正式的理由的做法,自适应服务器端优化联邦学习。此外,我们认为我们的算法的一个变种,支持部分客户端的参与,这使得该方法更实用。
2022-01-26 cs.LG math.OC
Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost
The Pennsylvania State University(宾夕法尼亚州立大学)
针对联邦强化学习的线性函数近似场景,提出Fed-LSVI算法,通过压缩统计量实现对数通信成本,达到最优遗憾界,解决了通信成本高与隐私约束的问题。
2026-09-02 cs.AI cs.LG stat.ML
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);Tongji University(同济大学);Northeastern University(东北大学);The Hong Kong Polytechnic University(香港理工大学);East China Normal University(华东师范大学);Institute of Science Tokyo(东京科学研究所)
该研究针对现有差分隐私联邦学习系统综述的不足,提出基于隐私模型定义、保障特性与联邦场景的新分类体系,梳理相关应用,为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich(慕尼黑工业大学);Bytedance Inc.(字节跳动公司);Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种分布式机器学习框架,它支持多方协作训练,同时确保数据隐私。XGBoost是最先进的树提升框架,由于传统隐私保护方法的高成本,XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题,我们提出了两种具有隐私保证的联邦XGBoost变体:FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法,以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的,它是用噪声扰动为本地差分隐私设计的,并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类,证明通过策略性校准隐私预算,可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University(罗格斯大学);Duke University(杜克大学);University of California, Irvine(加州大学欧文分校)
本文提出融合联邦学习与差分隐私的广告个性化框架,通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术,在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学);Microsoft(微软);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习是一个很有前途的框架,用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本,并且可以提高隐私性,因为分布式站点不必透露隐私敏感数据。在本文中,我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法(ADMM),并检查其隐私的弱点。与以前的工作,使用差分隐私或同态加密的隐私,我们开发了一个协议,控制参与者之间的通信,在每一轮的聚合,以尽量减少隐私泄漏。我们建立了隐私保证,以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式,灵感来自组合块设计理论。我们的安全聚合协议的基础上,这种新的组通信模式的设计,导致一个有效的算法,联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明,我们的算法执行的标准集中式联邦学习方法,同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
A Multivocal Literature Review on Privacy and Fairness in Federated Learning
University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
本文通过多声文献综述梳理联邦学习中隐私与公平性的整合方法,指出二者关系被忽视且存在内在张力,呼吁构建兼顾隐私、公平与性能的一体化框架。
2024-10-27 cs.AI cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);University of Southern Denmark(南丹麦大学);Imperial College London(帝国理工学院)
联邦学习(FL)使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例,其中原始数据共享是不需要的,最近的研究表明,FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中,我们提出了HyFed框架,它增强了隐私的FL,同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式,其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark(南丹麦大学)
联邦学习(FL)是一种隐私感知的数据采掘策略,它将私有数据保存在所有者的机器上,从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中,使用安全聚合对本地参数进行额外屏蔽,使得仅全局聚合统计数据以明文形式可用,而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中,我们调查了三个QR分解算法的适用性跨筒仓FL,并提出了一个隐私感知QR分解方案的基础上,Gram-Schmidt算法,不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
Federated Diffusion Modeling with Differential Privacy for Tabular Data Synthesis
Deutsche Bundesbank(德国联邦银行);University of St.Gallen(圣加尔大学);Swiss Federal Audit Office(瑞士联邦审计局);International Computer Science Institute (ICSI)(国际计算机科学研究所)
提出 DP-FedTabDiff 框架,融合差分隐私、联邦学习与扩散模型生成高保真表格数据,并在真实数据集上验证其隐私与效用平衡。
2025-08-29 cs.LG q-fin.ST
Federated $f$-Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
联邦学习(FL)是一种训练范式,其中客户端通过重复共享信息来协作学习模型,而不会对其本地敏感数据的隐私造成太大影响。在本文中,我们介绍了联邦$f$ -差分隐私,一个新的概念,专门为联邦设置,高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行:它为一个客户端数据的每个单独记录提供隐私保证,以对抗对手。然后,我们提出了一个通用的私人联邦学习框架{PriFedSync},可容纳一个大家庭的国家的最先进的FL算法,可证明实现联邦$f$差分隐私。最后,我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);College of Mathematics and Computer Science, Fuzhou University(福州大学数学与计算机科学学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
移动众测是一种新兴的感知数据汇集模式,具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外,现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护,而不是数据处理的隐私保护。为了解决MCS面临的问题,本文将联邦学习(FL)融入MCS,提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说,为了保护隐私,参与者通过联邦学习在本地处理传感数据,只上传加密的训练模型。特别地,提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销,设计了丢弃和重传策略。此外,设计了一种隐私保护的发布定价激励机制,试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明,所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私,是可行和有效的。
2021-02-20 cs.CR cs.LG
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of Hong Kong(香港大学);Florida International University(佛罗里达国际大学)
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题,提出EPAFL框架,通过三种早停技术在保持攻击成功率的同时显著降低计算开销,并公开代码。
2024-04-15 cs.CR cs.LG
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech(弗吉尼亚理工大学)
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决,即模型压缩、部分设备参与和周期性聚合,代价是增加训练方差。与传统的分布式学习系统不同,联邦学习存在数据异构性(因为设备从可能不同的分布中采样数据),这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响,而它们通常需要额外的通信资源来提供必要的控制信息。此外,数据隐私仍然是FL中的一个关键问题,因此已经有人尝试将差分隐私引入该框架,作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡,以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架,其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩,隐私是因为用户数据通常是敏感的,压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中,我们采取了全面的问题,并设计了一个家庭的隐私意识的压缩机制,适用于任何给定的通信预算。首先,我们提出了一种机制,用于传输一个单一的实数,在一定条件下具有最佳的方差。然后,我们将展示如何将其扩展到位置隐私用例的度量差分隐私,以及向量,以应用于联邦学习。我们的实验表明,我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh(匹兹堡大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型,他们可能希望保持私有。然而,参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题,已经提出了基于差分隐私和安全多方计算(SMC)等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中,我们提出了HybridAlpha,隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单,高效,对参与者退出具有弹性。我们评估我们的方法,关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明,HybridAlpha可以将训练时间平均减少68%,数据传输量平均减少92%,同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad(国际信息技术学院(海得拉巴))
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先,这项工作提出了一个道德的联邦学习模型,同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Safeguarding Privacy: Privacy-Preserving Detection of Mind Wandering and Disengagement Using Federated Learning in Online Education
Chair of Human-Centered Technologies for Learning(人类中心学习技术教授职位)
本文提出利用联邦学习在在线教育中实现隐私保护的注意力分散和脱节检测,通过面部表情和注视特征训练模型,提升学习者参与度的同时保障数据隐私。
2026-02-10 cs.HC cs.LG
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada(格拉纳达大学安达卢西亚数据科学与计算智能研究所)
边缘人工智能服务的高需求也保护了数据隐私,推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私,这些方法将数据保存在数据孤岛中。同样,差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布,但它们缺乏对这些技术所需的统一愿景,以及支持其使用的方法工作流程。因此,我们提出了Sherpa.ai联邦学习框架,该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究,以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
联邦学习(FL)是一种新兴的分布式学习范式,具有默认的客户端隐私,因为客户端可以将敏感数据保存在其设备上,并且仅与联邦服务器共享本地训练参数更新。然而,最近的研究表明,FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法,该方法基于每个训练样本的客户端差分隐私,称为Fed-CDP。它有三个原创性的贡献。首先,我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁,即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法,被称为Fed-SDP,是不足以保护训练数据的隐私。其次,介绍了基于实例的客户端差分隐私算法Fed-CDP,给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析,并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三,形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡,并提出了一种动态衰减噪声注入策略,进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP(衰减)与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明,Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP,同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen(卑尔根大学)
本文通过教育数据预测实验比较联邦学习与传统非联邦方法,证明其准确率相当且在对抗攻击下更具韧性,为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
真实世界的数据通常按属性划分,并分布在不同的各方。联邦学习支持协作培训,而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样,即使有一小部分损坏的数据,对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程,该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题,提出了一种基于前后向分裂算法的防御方法,在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失,同时实现了两个目标。在各种数据集上进行的大量实验表明,我们的防御方法显著减轻了隐私泄露,对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Feature-based Federated Transfer Learning: Communication Efficiency, Robustness and Privacy
Syracuse University(雪城大学)
该研究提出基于特征的联邦迁移学习方法,通过上传特征与输出替代参数更新大幅降低上行负载,同时分析其鲁棒性与隐私问题,并经多任务实验验证有效性。
2024-05-15 cs.LG cs.MA
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Lehigh University(理海大学);Samsung Research America(三星美国研究院)
在敏感用户数据上训练机器学习模型已经在许多领域引起了越来越多的隐私问题。联邦学习是一种流行的隐私保护方法,它收集局部梯度信息而不是真实数据。实现严格隐私保证的一种方法是将局部差分隐私应用到联邦学习中。然而,以前的作品没有给出一个实际的解决方案,由于三个问题。首先,噪声数据以高概率接近其原始值,增加了信息暴露的风险。第二,将大的方差引入估计的平均值,导致精度差。最后,由于深度学习模型中权重的高维性,隐私预算爆炸式增长。针对上述问题,提出了一种新的联邦学习局部差分隐私机制设计。它能够使数据与其原始值更加不同,并引入较低的方差。此外,所提出的机制通过分裂和洗牌模型更新绕过维数灾难。在MNIST、Fashion-MNIST和CIFAR-10三个常用数据集上的一系列实证评估表明,我们的解决方案不仅可以实现卓越的深度学习性能,同时还可以提供强大的隐私保障。
2021-05-21 cs.CR cs.LG
Federated Learning with Bayesian Differential Privacy
EPFL(洛桑联邦理工学院)
我们考虑的问题,加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私,放松差分隐私类似分布的数据,提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置,并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明,在图像分类任务(包括医疗应用程序)上,联邦学习的最先进的差分隐私界限具有显着的优势,使隐私预算在客户端级别低于1,在实例级别低于0.1。较低的噪声量也有利于模型的准确性,并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Momentum Benefits Non-IID Federated Learning Simply and Provably
Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学);National Engineering Labratory for Big Data Analytics and Applications(国家大数据分析与应用工程实验室);AI for Science Institute, Beijing(北京科学智能研究院)
针对联邦学习中FedAvg和SCAFFOLD算法收敛依赖数据异质性有界假设等问题,研究引入动量,证明其可在无该假设下让FedAvg收敛、提升SCAFFOLD收敛速度,还开发了具备最优收敛率的方差缩减扩展版本,实验验证了理论结果。
2024-03-05 cs.LG math.OC
Privacy-preserving Federated Bayesian Learning of a Generative Model for Imbalanced Classification of Clinical Data
School of Management Engineering, Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院管理工程学院)
在临床研究中,缺乏感兴趣的事件往往需要不平衡的学习。解决这一障碍的一种方法是数据集成或共享,但由于隐私问题,这两种方法都不实用。因此,对于可以在联合环境中在其上执行分析同时保持隐私的平台的需求日益增加。然而,这是相当具有挑战性的联邦学习算法,可以同时解决隐私保护和类不平衡的问题。在这项研究中,我们引入了一个联邦生成模型学习平台,用于在数据分布式环境中生成样本,同时保护隐私。我们特别提出了近似贝叶斯计算为基础的高斯混合模型称为“联邦ABC-GMM”,它可以过采样数据在一个小类通过估计的后验分布的模型参数在整个机构的隐私保护的方式。PhysioNet 2012是一个用于预测重症监护病房(ICU)患者死亡率的数据集,用于验证所提出的方法的性能。实验结果表明,我们的方法提高了分类性能的F1得分接近理想的情况。据信,所提出的方法可以是一种新的替代解决类不平衡问题。
2020-08-29 cs.LG stat.ML
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University(京都大学)
联邦学习(FL)正在成为隐私保护机器学习的一个有前途的范例,它在多个客户端之间训练算法,而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点,并分别使用局部差分隐私(LDP)和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而,目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白,这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的,因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证,证明了局部差分隐私对对抗鲁棒性既有积极的影响,也有消极的影响。
2021-06-13 cs.CR cs.LG
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University(查尔斯特大学)
为应对COVID-19的医疗挑战,我们需要在全球范围内频繁共享健康数据、知识和资源。然而,在这个数字时代,数据隐私是一个大问题,需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中,我们介绍了差分隐私的设计(dPbD)框架,并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围,我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计,并讨论了如何差分隐私设计(dPbD)框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为,可扩展的差异私有联邦学习设计是一个很有前途的解决方案,用于建立一个安全,私有和协作的机器学习模型,如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
Training Fair Models in Federated Learning without Data Privacy Infringement
McMaster University(麦克马斯特大学);East China University of Science and Technology(华东理工大学);Huawei Technologies Canada(华为技术加拿大公司)
针对联邦学习中难以在保护隐私的前提下训练公平模型的问题,提出联邦公平性评估方法与FedFair框架,可在不侵犯隐私的同时训练高性能公平模型,经三个真实数据集验证效果优异。
2024-11-01 cs.CY cs.LG
FederatedNILM: A Distributed and Privacy-preserving Framework for Non-intrusive Load Monitoring based on Federated Deep Learning
University of Essex(埃塞克斯大学);Durham University(杜伦大学);University College Cork(科克大学学院)
非侵入式负载监测(NILM)通常利用机器学习方法,并有效地将智能电表读数从家庭级别分解为电器级别的消耗,可以帮助分析用户的用电行为,并实现实际的智能能源和智能电网应用。然而,智能电表是私有和分布式的,这使得NILM的实际应用具有挑战性。为此,本文提出了一种分布式隐私保护的联邦深度学习框架(FederatedNILM),将联邦学习与最先进的深度学习架构相结合,进行NILM,用于家电典型状态的分类。通过大量的对比实验,证明了所提出的FederatedNILM框架的有效性。
2021-08-08 cs.AI cs.LG eess.SP
Privacy Threats Against Federated Matrix Factorization
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学);WeBank Co. Ltd(微众银行)
矩阵分解在实际推荐应用和电子商务中非常成功。由于数据短缺和严格的法规,很难收集足够的数据来为单个公司构建高性能的推荐系统。联邦学习提供了在不损害隐私和安全的情况下桥接数据孤岛和构建机器学习模型的可能性。共享共同用户或项目的参与者协作地在来自所有参与者的数据上构建模型。已经有一些工作探索应用联邦学习的推荐系统和协同过滤系统中的隐私问题。然而,联邦矩阵分解中的隐私威胁没有被研究。本文根据特征空间的划分将联邦矩阵分解分为三类,并分析了每类联邦矩阵分解模型的隐私威胁。我们还讨论了隐私保护方法。据我们所知,这是联邦学习框架中的矩阵分解方法的隐私威胁的第一个研究。
2020-07-03 cs.CR cs.LG stat.ML
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington(华盛顿大学)
针对电子健康记录的高敏感属性,为保障机器学习模型分析患者数据时的隐私安全,提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
A Novel Privacy-Preserved Recommender System Framework based on Federated Learning
College of Information Science and Engineering(信息科学与工程学院);Ningbo University(宁波大学)
推荐系统是目前解决信息过载的有效方法。为了满足用户的下一次点击行为,RS需要收集用户的个人信息和行为,以实现全面而深刻的用户偏好感知。然而,这些集中收集的数据是隐私敏感的,任何泄漏都可能对用户和服务提供商造成严重问题。提出了一种新的隐私保护推荐系统框架(PPRSF),通过应用联邦学习范式,使推荐算法在不集中收集用户隐私数据的情况下进行训练和推理。PPRSF不仅能够降低隐私泄露风险,满足法律法规的要求,而且允许各种推荐算法的应用。
2020-11-11 cs.IR cs.LG
Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View
研究联邦学习中隐私问题,提出将其表述为平均场隐私博弈的方法,每个客户端通过平均场统计量选隐私预算,该框架能产生可处理均衡,适应异构偏好,继承隐私保证,实验表明其实现隐私 - 效用权衡并提供个性化保证。
2026-07-28 cs.AI cs.LG
Federated Recommendation System via Differential Privacy
City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在本文中,我们感兴趣的是我们所谓的联邦私人强盗框架,结合差分隐私与多代理强盗学习。我们探讨了如何差分隐私为基础的置信上限(UCB)的方法可以应用到多智能体环境中,特别是联邦学习环境中的“主工人”和“完全分散”的设置。我们提供了一个理论分析所提出的方法的隐私和遗憾的性能,并探讨这两者之间的权衡。
2020-05-16 cs.IT cs.LG math.IT