Secure Stateful Aggregation: A Practical Protocol with Applications in Differentially-Private Federated Learning
针对不可信单服务器下难以实现DP-FTRL的问题,提出安全有状态聚合协议,在保障隐私的同时提升了差分隐私联邦学习的效用,且开销极小。
2024-10-15 cs.CR
PrivFL: Practical Privacy-preserving Federated Regressions on High-dimensional Data over Mobile Networks
联邦学习(FL)使大量用户能够共同学习由集中式服务器协调的共享机器学习(ML)模型,其中数据分布在多个设备上。这种方法使服务器或用户能够使用梯度下降来训练和学习ML模型,同时将所有训练数据保持在用户的设备上。我们考虑在移动网络上训练ML模型,其中用户辍学是一种常见现象。虽然联邦学习旨在降低数据隐私风险,但ML模型隐私并没有受到太多关注。在这项工作中,我们提出了PrivFL,这是一个隐私保护系统,用于训练(预测)线性和逻辑回归模型以及联邦设置中的不经意预测,同时保证数据和模型隐私,并确保用户退出网络的鲁棒性。基于加性同态加密(HE)方案和聚合协议,设计了两种隐私保护协议用于训练线性和逻辑回归模型。利用联邦学习的训练算法,在我们的训练协议的核心是一个安全的多方全局梯度计算活用户的数据。我们分析了我们的训练协议对半诚实的对手的安全性。只要聚合协议在聚合隐私博弈下是安全的,并且加性HE方案是语义安全的,PrivFL保证了用户对服务器的数据隐私,以及服务器对用户的回归模型隐私。我们展示了PrivFL在真实数据集上的性能,并展示了它在联邦学习系统中的适用性。
2020-04-05 cs.CR
FLRSP: Privacy-Preserving Federated Learning Using Randomly Selected Model Parameters
Chiba University(千叶大学);Tokyo Metropolitan University(东京都立大学)
本文提出一种利用随机选择的模型参数更新全局模型的隐私保护联邦学习方法,通过实验验证其在图像分类准确性和抗攻击性方面的有效性。
2026-05-02 cs.CR
SecEmb: Sparsity-Aware Secure Federated Learning of On-Device Recommender System with Large Embedding
针对端侧大嵌入联邦推荐的通信与隐私矛盾,提出 SecEmb,借助隐私保护嵌入检索和安全更新聚合实现稀疏更新的无损保护,并大幅降低通信与计算开销。
2025-06-07 cs.CR
Secure Aggregation Is Not All You Need: Mitigating Privacy Attacks with Noise Tolerance in Federated Learning
National Taiwan University(台湾大学)
联邦学习是一种协作方法,旨在创建AI模型的同时保护数据隐私。当前的联邦学习方法往往严重依赖于安全聚合协议来保护数据隐私。然而,在某种程度上,这样的协议假设编排联邦学习过程的实体(即,服务器)并非完全恶意或不诚实。我们调查安全聚合的漏洞,如果服务器是完全恶意的,并试图获得访问私人,潜在的敏感数据可能会出现。此外,我们还提供了一种方法来进一步防御这种恶意服务器,并证明了在联邦学习设置中重建数据的已知攻击的有效性。
2022-11-10 cs.AI cs.CR
DIST-FL: Enhancing Security for TEE-based Aggregation in Federated Learning
Research Institute of Trustworthy Autonomous Systems and the Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学可信自主系统研究院与计算机科学与工程系);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
针对服务器端对手利用TEE局限性(状态回滚和I/O操纵)攻击联邦学习的问题,提出DIST-FL分布式多TEE系统,通过操作线性化和可靠服务器输入实现鲁棒聚合,性能与单TEE相当且吞吐量提升6倍。
2026-06-04 cs.CR
Understanding Byzantine Robustness in Federated Learning with A Black-box Server
Alibaba Group(阿里巴巴集团)
本研究针对联邦学习中已知聚合规则易遭针对性拜占庭攻击的问题,分析带黑盒服务器的系统的鲁棒性,通过实证与理论证明其动态防御可将最坏攻击影响从最大降至期望程度,并开源代码。
2024-08-12 cs.AI cs.CR
Robust Client-Server Watermarking for Split Federated Learning
East China Normal University(华东师范大学);Hunan University(湖南大学);China University of Petroleum(中国石油大学)
针对拆分联邦学习中客户端与服务器共同训练导致的知识产权归属模糊问题,提出RISE非对称协同水印方案,实现双方所有权验证,水印检测率超95%且抗攻击、无互扰。
2025-11-17 cs.AI cs.CR
Differentially Private Federated $k$-Means Clustering with Server-Side Data
Institute of Science;CNRS \& Universit\'e Paris Cité, Paris, France
针对分布式数据下传统聚类因隐私问题无法适用的难题,提出兼具完全联邦与差分隐私特性的FedDP-KMeans算法,利用服务端数据解决初始化难题,结合联邦DP-Lloyds算法在多基准任务上取得优异结果并给出理论界。
2025-06-11 cs.CR cs.LG
Federated Dynamic GNN with Secure Aggregation
University of Notre Dame(圣母大学)
给定来自多个个人设备或街道摄像头的视频数据,我们是否可以利用结构和动态信息来学习分布式监控等应用中对象的动态表示,而不会将数据存储在中央服务器上,从而导致侵犯用户隐私?在这项工作中,我们介绍了联邦动态图神经网络(Feddy),一个分布式的和安全的框架,学习对象表示从多用户图序列:i)它聚合的结构信息,从附近的对象在当前图以及动态信息,从那些在以前的图。它使用一种自我监督的损失来预测物体的轨迹。ii)它以联邦学习的方式进行训练。位于中央的服务器将模型发送到用户设备。各个用户设备上的本地模型学习并定期将其学习发送到中央服务器,而不会将用户的数据暴露给服务器。iii)研究表明,在服务器执行加权平均之后,聚合的参数可以在广播到客户端用于模型同步时被检查,尽管被解密。我们设计了一个合适的安全聚集原语聚集机制,可以保护联邦学习的安全性和隐私性,并具有可扩展性。在四个不同场景下的视频摄像机数据集上的实验和仿真结果表明,Feddy算法具有很好的安全性和有效性。
2020-09-15 cs.CR cs.LG
Flamingo: Multi-Round Single-Server Secure Aggregation with Applications to Private Federated Learning
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院);J.P. Morgan AI Research(摩根大通人工智能研究院);AlgoCRYPT CoE(AlgoCRYPT卓越中心)
本文提出Flamingo,一种用于联邦学习的多轮单服务器安全聚合系统,通过消除每轮设置、引入轻量级客户端退出恢复协议及本地选择客户端邻域的新方法,显著减少了交互次数与端到端运行时间,并在MNIST和CIFAR-100上实现无损精度的安全训练。
2024-10-13 cs.CR cs.LG
Differentially Private Federated Learning: Servers Trustworthiness, Estimation, and Statistical Inference
Rutgers University(罗格斯大学)
本文研究了差分隐私联邦学习中的高维估计与推断挑战,分别在不可信和可信中央服务器场景下证明了估计困难并提出了针对线性回归的新型联邦估计算法及统计推断方法。
2024-04-25 cs.CR cs.LG math.ST
DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning
The Hong Kong University of Science and Technology(香港科技大学)
本研究针对联邦学习易受后门攻击的问题,提出服务器端数据无关后门攻击模型DABS,直接修改全局模型实现攻击,实验显示其攻击成功率高于基线方法且不影响干净数据准确率。
2023-05-02 cs.CR cs.CV cs.LG
FedDCL: a federated data collaboration learning as a hybrid-type privacy-preserving framework based on federated learning and data collaboration
University of Tsukuba(筑波大学)
FedDCL将联邦学习与数据协作分析结合,通过机构内构建降维中间表示并在组内DC服务器间进行联邦学习,解决了联邦学习在难以持续对外通信环境中的实施难题,且性能与现有联邦学习相当。
2024-09-27 cs.CR cs.LG
Gradient Disaggregation: Breaking Privacy in Federated Learning by Reconstructing the User Participant Matrix
Harvard University(哈佛大学)
我们发现,聚合模型更新联邦学习可能是不安全的。不可信的中央服务器可以在给定重复观察的情况下将用户更新与跨参与者的更新的总和分离,从而使得服务器能够经由传统梯度推断攻击来恢复关于个体用户的私有训练数据的特权信息。我们的方法围绕重建参与者的信息(例如:哪些轮的培训用户参与)从聚合模型更新,利用总结信息,从设备分析通常用于监视,调试和管理联邦学习系统。我们的攻击是可并行的,我们成功地分解了多达数千名参与者的用户更新设置。我们在定量和定性上证明了对分解更新的各种推理攻击能力的显着改进。我们的攻击能够将学习到的属性归因于个人用户,违反匿名性,并表明确定的中央服务器可能会破坏安全聚合协议,从而在联邦学习中破坏个人用户的数据隐私。
2021-06-10 cs.AI cs.CR
Preserving Privacy and Security in Federated Learning
University of Florida(佛罗里达大学)
本研究提出一个原则性框架,通过同态加密安全聚合协议和零知识证明协议,在联邦学习中同时实现用户隐私保护和投毒攻击检测。
2023-08-29 cs.CR cs.LG
Concentrated Differentially Private and Utility Preserving Federated Learning
University of Texas at San Antonio(得克萨斯大学圣安东尼奥分校)
联邦学习是一种机器学习设置,其中一组边缘设备在中央服务器的编排下协作训练模型,而不共享其本地数据。在联邦学习的每一轮通信中,边缘设备使用其本地数据执行多个步骤的随机梯度下降,然后将计算结果上传到服务器进行模型更新。在此过程中,由于边缘设备和服务器之间的信息交换,当服务器不完全可信时,隐私泄露的挑战就会出现。虽然以前的一些隐私保护机制可以很容易地用于联邦学习,但它们通常在算法的收敛和学习模型的实用性方面付出很高的代价。在本文中,我们开发了一种联邦学习方法,通过局部梯度扰动,安全聚合和零集中差分隐私(zCDP)的组合,在不降低模型效用的情况下解决隐私挑战。我们提供了一个严格的端到端的隐私保证我们的方法,并分析其理论收敛速度。通过在真实数据集上的大量数值实验,我们证明了我们提出的方法的有效性,并显示了其优越的隐私和模型效用之间的权衡。
2020-09-22 cs.CR cs.LG stat.ML
Hear No Evil: Detecting Gradient Leakage by Malicious Servers in Federated Learning
University of Toronto(多伦多大学)
本文从防御者视角首次全面分析了联邦学习中恶意服务器引发的梯度泄露攻击,揭示其隐蔽性与有效性存在核心权衡,并提出一种轻量级客户端检测机制以标记可疑更新。
2026-11-02 cs.AI cs.CR cs.DC
Blockchain-based Secure Client Selection in Federated Learning
University of Florida(佛罗里达大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
尽管联邦学习(FL)在大规模分布式学习中具有巨大的潜力,但由于客户端训练的本地模型暴露于中央服务器,当前系统仍然受到一些隐私问题的影响。因此,FL的安全聚合协议已经被开发出来,以隐藏服务器的本地模型。然而,我们表明,通过操纵客户端的选择过程中,服务器可以绕过安全聚合学习受害者客户端的本地模型,表明安全聚合本身是不够的隐私保护。为了解决这个问题,我们利用区块链技术提出了一个可验证的客户端选择协议。由于区块链的不变性和透明性,我们提出的协议强制随机选择客户端,使服务器无法自行控制选择过程。我们目前的安全证明表明,我们的协议是安全的,对这种攻击。此外,我们在类似以太坊的区块链上进行了几次实验,以证明我们的解决方案的可行性和实用性。
2022-05-11 cs.CR cs.LG
CATFL: Certificateless Authentication-based Trustworthy Federated Learning for 6G Semantic Communications
Shanghai Jiao Tong University(上海交通大学);Hangzhou Normal University(杭州师范大学);Shanghai Normal University(上海师范大学)
联邦学习(FL)提供了一种用于协作训练语义通信系统的语义编码器/解码器模型的新兴方法,而无需私有用户数据离开设备。现有可信FL的研究大多以消除恶意客户端产生的数据投毒威胁为目标,但在很多情况下,消除伪服务器带来的模型投毒攻击也是一个重要目标。本文提出了一种基于无证书认证的可信联邦学习(CATFL)框架,实现了客户端和服务器端的身份相互认证。在CATFL中,每个客户端在接受交付的全局模型之前验证服务器的签名信息,以确保全局模型不是由虚假服务器交付的。相反,服务器还在接受所传递的模型更新之前验证服务器的签名信息,以确保它们是由授权的客户端提交的。与基于PKI的方法相比,CATFL可以避免过高的证书管理开销。同时,客户端的匿名性屏蔽了数据投毒攻击,而实名注册则可能遭遇用户特定隐私泄露风险。因此,在CATFL中还提出了一个假名生成策略,以实现身份可追溯性和用户匿名性之间的权衡,这是必要的,有条件地防止特定于用户的隐私泄漏。理论安全性分析和评估结果验证了CATFL的优越性。
2023-02-01 cs.CR cs.LG cs.NI
Differential Privacy in Federated Learning: Mitigating Inference Attacks with Randomized Response
本研究针对联邦学习中的推理攻击导致的数据泄露问题,应用差分隐私和Randomized Response技术,以duCBA算法为聚合方法,分析不同epsilon值下安全性与性能的权衡,发现更高隐私水平会降低模型准确率并导致预测不平衡。
2025-09-17 cs.AI cs.CR
Perfectly Accurate Membership Inference by a Dishonest Central Server in Federated Learning
Technische Universität Wien(维也纳技术大学);CSC-CONICET(阿根廷国家科学技术研究委员会);Universidad de Buenos Aires(布宜诺斯艾利斯大学);MILA - Quebec AI Institute(魁北克人工智能研究所);CNRS(法国国家科学研究中心);CentraleSupélec(中央高等电力学院)
针对联邦学习的隐私保障论断,提出不诚实中央服务器下仅需单步训练、利用ReLU特性的成员推理攻击,在多视觉数据集上实现完全准确率,还发现数据集中存在重复图像。
2023-11-09 cs.AI cs.CR cs.LG
Safely Learning with Private Data: A Federated Learning Framework for Large Language Model
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(未来区块链与隐私计算北京高精尖创新中心);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Beijing Academy of Blockchain and Edge Computing(北京区块链与边缘计算研究院)
本文提出面向LLM的联邦学习框架FL-GLM,通过本地部署输入输出块防梯度攻击、通信加密防逆向工程,并采用客户端批处理等优化提升效率,实现了与集中式chatGLM相当的性能。
2024-12-22 cs.CL cs.CR
FLVoogd: Robust And Privacy Preserving Federated Learning
Delft University of Technology(代尔夫特理工大学);University of Greenwich(格林威治大学)
在这项工作中,我们提出了FLVoogd,一个更新的联邦学习方法,其中服务器和客户端协作消除拜占庭攻击,同时保护隐私。特别是,服务器使用自动的基于密度的空间聚类的应用程序与噪声(DBSCAN)结合S2 PC集群的良性大多数,而不获取敏感的个人信息。同时,客户端建立双模型,并进行基于测试的距离控制,以调整他们的本地模型向全球之一,以实现个性化。我们的框架是自动和自适应的,服务器/客户端不需要在训练过程中调整参数。此外,我们的框架利用安全多方计算(SMPC)操作,包括乘法,加法和比较,不需要昂贵的操作,如除法和平方根。对来自图像分类领域的一些常规数据集进行评价。实验结果表明,FLVoogd在大多数情况下都能有效地拒绝恶意上传,同时避免了服务器端的数据泄露。
2022-06-24 cs.AI cs.CR cs.LG
A Graph Federated Architecture with Privacy Preserving Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
联邦学习涉及一个中央处理器,它与多个代理一起工作,以找到一个全局模型。这一过程包括反复交换估计数,从而传播与当地私人数据有关的信息。这样的方案在处理敏感数据时可能不方便,因此,需要算法的私有化。此外,连接到多个客户端的服务器的当前架构对服务器处的通信故障和计算过载高度敏感。因此,在这项工作中,我们开发了一个私人的多服务器联邦学习计划,我们称之为图联邦学习。我们使用加密和差分隐私的概念来私有化的联邦学习算法,我们扩展到图结构。我们研究了私有化的学习算法的性能一般的私人计划,可以建模为加性噪声的影响。我们的凸性和Lipschitz条件下,私有化的过程中匹配的非私有算法的性能,即使当我们增加噪声方差。
2021-04-26 cs.AI cs.CR cs.LG
Towards Trustworthy Federated Learning with Untrusted Participants
EPFL(洛桑联邦理工学院)
本文提出CafCor算法,通过参与者间共享随机性种子实现鲁棒梯度聚合与相关噪声注入,在不可信服务器和恶意参与者勾结场景下取得接近中心差分隐私的效用,同时保持对恶意攻击的鲁棒性。
2025-06-04 cs.CR cs.DC cs.LG
DSFL: A Dual-Server Byzantine-Resilient Federated Learning Framework via Group-Based Secure Aggregation
DSFL提出双服务器分组安全聚合框架,无需加密或可信假设,通过信用过滤和奖惩机制防御拜占庭客户端,在非IID数据下显著提升模型准确率并保持轻量级。
2025-09-10 cs.AI cs.CR cs.DC
DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
DisAgg通过分布式聚合器实现高效安全聚合,减少通信轮次和计算开销,提升10万维更新向量处理速度达4.6倍。
2026-05-13 cs.CR cs.DC cs.LG
Enhanced Security and Privacy via Fragmented Federated Learning
UNESCO Chair in Data Privacy(联合国教科文组织数据隐私教席);CYBERCAT Center for Cybersecurity Research of Catalonia(加泰罗尼亚网络安全研究中心(CYBERCAT));Universitat Rovira i Virgili(罗维拉-威尔吉利大学)
在联邦学习(FL)中,一组参与者与聚合器服务器共享在其本地数据上计算的更新,该聚合器服务器将更新组合到全局模型中。然而,调和准确性与隐私和安全性是一个挑战,FL。一方面,诚实的参与者发送的好的更新可能会泄露他们的私人本地信息,而恶意参与者发送的有毒更新可能会损害模型的可用性和/或完整性。另一方面,通过更新失真来增强隐私会损害准确性,而通过更新聚合来增强隐私会损害安全性,因为它不允许服务器过滤掉个别有毒更新。为了解决准确性-隐私性-安全性的冲突,我们提出了{ \em分段联邦学习}(FFL),其中参与者在将其更新发送到服务器之前随机交换和混合其更新的片段。为了实现隐私,我们设计了一个轻量级的协议,允许参与者私下交换和混合他们的更新的加密片段,使服务器既不能获得个人更新,也不能将它们链接到他们的发起人。为了实现安全性,我们设计了一个基于声誉的防御为FFL量身定制,建立信任的参与者和他们的混合更新的基础上,他们交换的片段的质量和他们发送的混合更新。由于交换的片段的参数保持其原始坐标并且攻击者可以被中和,因此服务器可以从接收到的混合更新正确地重建全局模型而不会损失准确性。在4个真实数据集上的实验表明,FFL能有效地防止半诚实服务器发起隐私攻击,并能有效地对抗投毒攻击,保持全局模型的准确性。
2022-11-19 cs.CR cs.LG
Learning to Detect Malicious Clients for Robust Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
联邦学习系统容易受到恶意客户端的攻击。由于系统中的中央服务器无法控制客户端的行为,因此流氓客户端可以通过向服务器发送恶意模型更新来发起攻击,从而降低学习性能或实施有针对性的模型中毒攻击(也称为“攻击”)。后门攻击)。因此,及时检测这些恶意模型更新和底层攻击者变得至关重要。在这项工作中,我们提出了一个新的框架,强大的联邦学习,中央服务器学习检测和删除恶意模型更新使用一个强大的检测模型,导致有针对性的防御。我们评估我们的解决方案在图像分类和情感分析任务与各种机器学习模型。实验结果表明,我们的解决方案确保了强大的联邦学习,是弹性的拜占庭攻击和有针对性的模型中毒攻击。
2020-02-01 cs.CR cs.LG stat.ML
Achieving Security and Privacy in Federated Learning Systems: Survey, Research Challenges and Future Directions
Universitat Rovira i Virgili(罗维拉-维尔吉利大学);Universitat Oberta de Catalunya (UOC)(加泰罗尼亚开放大学);Europe Cloud Service Competence Center, Huawei Technologies Oy (Finland) Co. Ltd(华为技术(芬兰)有限公司欧洲云服务能力中心)
联邦学习(FL)允许服务器跨多个分散的客户端学习机器学习(ML)模型,这些客户端私有地存储它们自己的训练数据。与集中式ML方法相比,FL将计算节省到服务器,并且不需要客户端将其私有数据外包给服务器。然而,FL并非没有问题。一方面,客户端在每个训练时期发送的模型更新可能会泄露客户端私有数据的信息。另一方面,服务器学习的模型可能会受到恶意客户端的攻击;这些安全攻击可能会毒害模型或阻止它收敛。在本文中,我们首先研究安全和隐私攻击FL和批判性调查文献中提出的解决方案,以减轻每一种攻击。之后,我们讨论了同时实现安全性和隐私保护的困难。最后,我们概述了解决这个开放问题并实现安全性和隐私性的方法。
2020-12-12 cs.AI cs.CR
Fingerprint Attack: Client De-Anonymization in Federated Learning
The University of Melbourne(墨尔本大学)
本文提出一种针对联邦学习梯度的新型指纹攻击,证明梯度聚类可轻易打破洗牌匿名化,并验证差分隐私训练可有效防御该攻击。
2023-09-12 cs.AI cs.CL cs.CR
Server-Enforced Watermarking in U-Shaped Split Federated Learning
Software Engineering Institute, East China Normal University(东华大学软件工程学院);College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);College of Control Science and Engineering, China University of Petroleum (East China)(中国石油大学(华东)控制科学与工程学院)
针对U型拆分联邦学习中能力受限服务器易遭模型窃取、现有水印方案不可用或不可行的问题,本文提出强制水印框架Sigil,通过梯度注入嵌入水印并搭配自适应梯度裁剪机制,经实验验证其具备良好的保真度、鲁棒性与隐蔽性。
2026-09-29 cs.AI cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);University of Southern Denmark(南丹麦大学);Imperial College London(帝国理工学院)
联邦学习(FL)使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例,其中原始数据共享是不需要的,最近的研究表明,FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中,我们提出了HyFed框架,它增强了隐私的FL,同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式,其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Remote Rowhammer Attack using Adversarial Observations on Federated Learning Clients
Faculty of Engineering & Applied Sciences, Cranfield University(工程与应用科学学院,克兰菲尔德大学);Queen’s University Belfast(女王大学贝尔法斯特分校)
本文提出通过攻击联邦学习客户端引发服务器内存行锤攻击,利用强化学习攻击者操控客户端传感器观测以实现高频内存更新,导致服务器DRAM位翻转,影响学习过程与权限。
2026-10-22 cs.AI cs.CR cs.LG
EFU: Enforcing Federated Unlearning via Functional Encryption
RISE Research Institutes of Sweden(瑞典RISE研究机构);Mälardalen University(马尔默大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出EFU框架,利用函数加密强制执行联邦遗忘,使客户端能在对服务器隐藏意图的情况下发起遗忘,并结合对抗样本与参数正则化掩盖模型变化,实现了安全、可验证且与底层算法无关的联邦遗忘。
2025-08-11 cs.CR cs.DC cs.LG
Poisoning Attacks and Defenses to Federated Unlearning
ShanghaiTech University(上海科技大学);Xidian University(西安电子科技大学);North Carolina State University(北卡罗来纳州立大学);University of North Texas(北德克萨斯大学);University of Louisville(路易斯维尔大学)
本文提出首个针对联邦遗忘的投毒攻击BadUnlearn及可证明鲁棒的防御框架UnlearnGuard,通过服务器估计和过滤客户端更新,确保遗忘模型接近从头训练的模型。
2025-01-29 cs.CR cs.DC cs.LG
When the Server Steps In: Calibrated Updates for Fair Federated Learning
The Pennsylvania State University(宾夕法尼亚州立大学);University of Notre Dame(圣母大学);North Carolina State University(北卡罗来纳州立大学);University of North Texas(北德克萨斯大学);University of Louisville(路易斯维尔大学)
本文提出EquFL,一种服务器端去偏方法,通过生成校准更新以减少联邦学习中的偏差,理论和实验均证明其有效性。
2026-04-01 cs.CR cs.IR cs.LG
Subspace based Federated Unlearning
National University of Defense Technology(国防科技大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学);Beijing Institute of Technology(北京理工大学)
联邦学习(FL)使多个客户端能够协作地训练机器学习模型,而无需交换其本地数据。联邦遗忘是一个逆FL过程,旨在消除特定目标客户端在FL中的贡献,以满足用户的遗忘权。大多数现有的联合学习算法要求服务器存储参数更新的历史,这不适用于服务器存储资源受限的场景。在本文中,我们提出了一种简单而有效的基于子空间的联邦非学习方法,称为SFU,它可以让全局模型在其他客户端形成的输入梯度空间的正交空间中执行梯度上升,以消除目标客户端的贡献,而无需额外的存储。具体地,服务器首先收集目标客户端进行梯度上升后生成的梯度,其余客户端在本地计算输入表示矩阵。我们还设计了一种差分隐私方法来保护表示矩阵的隐私。然后服务器合并这些表示矩阵以获得输入梯度子空间,并在输入梯度子空间的正交子空间中更新全局模型,以最小的模型性能下降来完成遗忘任务。在MNIST、CIFAR10和CIFAR100上的实验表明,SFU在各种设置下的性能都大大优于几种最先进的(SOTA)联邦非学习算法。
2023-02-24 cs.CR cs.DC cs.LG
Efficient and Privacy Preserving Group Signature for Federated Learning
Soongsil University(崇实大学)
联邦学习(FL)是一种机器学习(ML)技术,旨在减少对用户数据隐私的威胁。训练是使用用户设备(称为客户端)上的原始数据完成的,只有训练结果(称为梯度)被发送到服务器进行聚合并生成更新的模型。但是,我们不能假设服务器可以信任私有信息,例如与数据的所有者或源相关的元数据。因此,对服务器隐藏客户端信息有助于减少与隐私相关的攻击。因此,客户端身份的隐私以及客户端数据的隐私对于使此类攻击更加困难是必要的。提出了一种基于群签名的高效且隐私保护的FL协议。一种新的用于联邦学习的群签名,称为GSFL,被设计为不仅保护客户端的数据和身份的隐私,而且考虑到联邦学习的迭代过程,还显著降低了计算和通信成本。我们表明,GSFL优于现有的方法在计算,通信和信令成本。此外,我们表明,该协议可以处理各种安全攻击的联邦学习环境。
2022-07-15 cs.CR cs.LG cs.NI
Beyond Inferring Class Representatives: User-Level Privacy Leakage From Federated Learning
Wuhan University(武汉大学);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
联邦学习,即,用于深度学习的移动边缘计算框架是隐私保护机器学习的最新进展,其中模型由客户端以分散的方式训练,即,数据管理员,防止服务器直接访问来自客户端的这些私有数据。这种学习机制极大地挑战了来自服务器端的攻击。尽管结合生成对抗网络(GANs)的先进性的最先进的攻击技术可以在所有客户端之间构建全局数据分布的类代表,但是可预测地攻击特定客户端(即,用户级隐私泄露),这是从特定客户端精确恢复私人数据的更强隐私威胁。本文首次尝试通过恶意服务器的攻击来研究针对联邦学习的用户级隐私泄露问题。我们提出了一个框架,将GAN与多任务的识别,同时区分类别,现实和客户端身份的输入样本。新的客户端身份的歧视,使发电机恢复用户指定的私人数据。与现有的作品往往会干扰联邦学习的训练过程不同,所提出的方法在服务器端“看不见”地工作。实验结果表明,该攻击方法是有效的,优于现有的攻击方法。
2018-12-05 cs.CR cs.CV cs.LG
Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning
Princeton University(普林斯顿大学)
在移动网络上操作的机器学习算法可以被表征为三个不同的类别。第一种是经典的情况,其中终端用户设备将其数据发送到中央服务器,在中央服务器中该数据用于训练模型。第二种是分布式设置,其中每个设备训练自己的模型并将其模型参数发送到中央服务器,在中央服务器中,这些模型参数被聚合以创建一个最终模型。第三种是联邦学习设置,其中,在任何给定时间$t$,一定数量的活动终端用户利用其自己的本地数据以及由中央服务器提供的反馈进行训练,然后将其新估计的模型参数发送到中央服务器。然后,服务器聚合这些新参数,更新自己的模型,并将更新后的参数反馈给所有最终用户,继续这个过程,直到它收敛。这项工作的主要目标是提供一个信息理论的框架,所有上述的学习范式。此外,使用所提供的框架,我们开发的泛化误差的上限和下限与隐私泄漏的经典,分布式和联邦学习设置的界限。关键词:联邦学习,分布式学习,机器学习,模型聚合。
2020-05-05 cs.CR cs.DC cs.LG
FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(卢森堡大学安全、可靠性与跨学科研究中心(SnT));Carnegie Mellon University(卡内基梅隆大学);Edith Cowan University(埃迪斯科文大学);TU Berlin(柏林工业大学)
FedLNS是一种服务器端联邦学习框架,通过层归一化签名筛选恶意更新,在200个客户端、40%目标操纵下,对三类模型均实现优于基线的测试困惑度。
2026-08-20 cs.CR cs.DC cs.LG
FedLess: Secure and Scalable Federated Learning Using Serverless Computing
Technische Universität München(慕尼黑工业大学)
传统的以云为中心的深度学习(DL)方法需要在中央服务器上收集和处理训练数据,这在医疗保健等隐私敏感领域通常具有挑战性。为此,一个新的学习范式称为联邦学习(FL)已被提出,带来了DL的潜力,这些领域,同时解决隐私和数据所有权问题。FL使远程客户端能够学习共享的ML模型,同时将数据保持在本地。然而,传统的FL系统面临着几个挑战,例如可扩展性,复杂的基础设施管理,以及由于空闲客户端而浪费的计算和产生的成本。FL系统的这些挑战与无服务器计算和功能即服务(FaaS)平台旨在解决的核心问题密切相关。这些优势包括快速的可扩展性、无需基础设施管理、空闲客户端自动缩放到零,以及按使用付费的计费模式。为此,我们提出了一个新的系统和框架,无服务器FL,称为FedLess。我们的系统支持多个商业和自托管FaaS提供商,可以部署在云中,机构数据中心的内部部署和边缘设备上。据我们所知,我们是第一个在异构FaaS提供商的大型结构中启用FL的公司,同时提供安全性和差分隐私等重要功能。我们通过全面的实验证明,使用我们的系统可以轻松地成功训练DNN,用于多达200个客户端功能的不同任务。此外,我们通过与传统FL系统进行比较,证明了我们的方法的实际可行性,并表明它可以更便宜,更节省资源。
2021-11-05 cs.CR cs.DC cs.LG
Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning
Amirkabir University(阿米尔卡比尔理工大学);Virginia Tech(弗吉尼亚理工大学)
在联邦学习(FL)中,机器学习模型以分散的方式在多个节点上训练,同时保持数据本地化,不与其他节点共享。然而,FL要求节点还将关于模型参数的信息发送到中央服务器以进行聚合。然而,从节点发送到服务器的信息可能会泄露每个节点本地数据的一些细节,从而引发隐私问题。此外,从节点到服务器的重复上行链路传输可能导致通信开销和网络拥塞。为了解决这两个问题,本文提出了一种新的两比特聚合算法,保证差分隐私和减少上行链路通信开销。大量实验表明,该算法在MNIST、Fashion MNIST、CIFAR-10和CIFAR-100等数据集上可以达到与现有方法相同的性能,同时保证了差分隐私,提高了通信效率.
2021-10-06 cs.CR cs.DC cs.LG