Intellectual Property Protection for Deep Learning Models: Taxonomy, Methods, Attacks, and Evaluations
深度学习模型的训练和创建通常是昂贵的,因此它可以被视为模型创建者的知识产权(IP)。然而,恶意用户在获得高性能模型后,可能会在未经许可的情况下非法复制、重新分发或滥用模型。为了应对这种安全威胁,近年来已经提出了一些深度神经网络(DNN)IP保护方法。本文试图提供一个现有的DNN IP保护工作的回顾和展望。首先,我们提出了DNN IP保护方法的第一个分类法,分为六个属性:场景,机制,容量,类型,功能和目标模型。然后,我们提出了一个调查现有的DNN IP保护工作的上述六个属性,特别是侧重于这些方法所面临的挑战,这些方法是否可以提供主动保护,以及他们的抵抗不同级别的攻击。然后从模型修改、规避攻击和主动攻击等方面分析了DNN IP保护方法可能受到的攻击。此外,DNN IP保护方法的基本功能指标,攻击抵抗指标,并针对不同的应用场景定制指标的系统评估方法。最后,提出了DNN IP保护未来的研究机遇和挑战。
2021-07-15 cs.CR
Deciphering the Interplay between Attack and Protection Complexity in Privacy-Preserving Federated Learning
Huazhong University of Science(华中科技大学);The Hong Kong Polytechnic University, China(香港理工大学)
本文提出理论框架,通过定义攻击复杂度和保护复杂度并推导其界限,定量揭示隐私保护联邦学习中隐私、效用与攻防代价之间的权衡。
2025-08-16 cs.AI cs.CR
Protection against Source Inference Attacks in Federated Learning using Unary Encoding and Shuffling
针对联邦学习中的源推断攻击,提出利用可信洗牌器结合一元编码与量化,在不降低联合模型准确率的前提下有效防御攻击。
2024-11-10 cs.CR
Effective Ambiguity Attack Against Passport-based DNN Intellectual Property Protection Schemes through Fully Connected Layer Substitution
由于训练深度神经网络(DNN)的成本很高,因此经过良好训练的深度模型可以被视为有价值的知识产权(IP)资产。近年来,与深度模型相关的IP保护受到越来越多的关注。基于护照的方法,用护照层取代规范化层,是少数几个声称可以抵御高级攻击的保护解决方案之一。在这项工作中,我们解决了评估基于护照的IP保护方法的安全性的问题。我们提出了一种新颖有效的基于护照的模糊攻击方法,能够成功地伪造多个有效的护照与一个小的训练数据集。这是通过在护照参数之前插入一个专门设计的附件块来实现的。在使用不到10%的训练数据的情况下,使用伪造护照时,该模型与授权护照相比表现出几乎不可区分的性能差异(小于2%)。此外,它表明,我们的攻击策略可以很容易地推广到攻击其他基于水印嵌入的IP保护方法。还给出了潜在的补救解决方案的方向。
2023-03-21 cs.CR
Research on Large Language Model Cross-Cloud Privacy Protection and Collaborative Training based on Federated Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大语言模型跨云部署与训练中的隐私和数据安全挑战,本文提出基于联邦学习的协同训练框架,融合密码学原语、动态聚合、跨云数据协调与混合聚合方案,提升安全性、效率、可扩展性及模型性能。
2025-03-15 cs.AI cs.CR
FedRight: An Effective Model Copyright Protection for Federated Learning
Zhejiang University of Technology(浙江工业大学);TÜV SÜD Asia Pacific Pte. Ltd.(南德意志集团亚太私人有限公司)
联邦学习(FL)是一种有效的分布式机器学习框架,它在实现模型训练的同时保护本地数据隐私。由于其良好的性能和可观的经济效益,它已被广泛应用于各种实践领域。模型归谁所有,如何保护版权已成为一个现实问题。直观地说,现有的集中式场景下的产权保护方法(例如,水印嵌入和模型指纹)是FL的可能解决方案。但是它们仍然受到FL在无数据共享、参数聚集和联邦训练设置方面的分布式特性的挑战。本文首次对FL的版权保护问题进行了形式化描述,提出了基于模型指纹的FedRight模型版权保护方法,即:通过生成对抗性示例作为模型指纹来提取模型特征。FedRight在四个关键方面优于以前的工作:(i)有效性:它提取模型特征生成可转移的指纹,训练检测器来验证模型的版权。(ii)保真度:它对联邦训练的影响是不可感知的,从而保证了良好的主任务性能。(iii)鲁棒性:它对版权保护的恶意攻击具有经验鲁棒性,即,微调、模型修剪和自适应攻击。(iv)黑盒:它在黑盒取证场景中有效,其中只有对模型的应用程序编程接口调用可用。对3个数据集和9个模型结构的广泛评估证明了FedRight卓越的保真度,有效性和鲁棒性。
2023-03-18 cs.AI cs.CR
Threats, Protection and Attribution of Cyber Attacks on Critical Infrastructures
随着关键国家基础设施变得越来越容易受到网络攻击,它们的保护对于任何组织和国家来说都成为一个重要问题。此外,指认能力是避免网络空间有罪不罚现象的一个重要因素。在这篇文章中,我们提出了关键基础设施的主要威胁,以及一个国家可以采取的保护措施,并根据法律,技术,组织,能力建设和合作方面进行分类。最后,我们提供了一个关于网络归属和网络和平维护的当前方法和实践的概述
2019-01-12 cs.CR
DOPA: Stealthy and Generalizable Backdoor Attacks from a Single Client under Challenging Federated Constraints
针对联邦学习现有后门攻击在现实约束下效果不佳的问题,提出DOPA框架,通过模拟异质训练动态并利用轨迹共识构建触发器,在单客户端等严格约束下仍实现高效隐蔽攻击,为防御设计提供新视角。
2025-08-20 cs.CR
Cross-Cloud Data Privacy Protection: Optimizing Collaborative Mechanisms of AI Systems by Integrating Federated Learning and LLMs
College of Computing and Information Science(计算与信息科学学院);Siebel School of Computing and Data Science(计算与数据科学学院);Cornell University(康奈尔大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);New York, USA(美国纽约);Champaign, Illinois, USA(美国伊利诺伊州香槟)
针对跨云环境数据共享的隐私保护与协作优化难题,提出融合联邦学习与大语言模型的跨云AI协作架构,新增安全通信层,在保护隐私的同时提升模型准确率与收敛速度。
2025-05-19 cs.AI cs.CR
Prover and Verifier Based Password Protection: PVBPP
在当今世界,密码大多用于身份验证。这使得它们容易受到各种攻击,如字典式攻击。字典式攻击是一种通过系统地将字典中的每个单词作为密码输入来破解密码的方法。此攻击会导致服务器过载,从而导致拒绝服务攻击。本文提出了一个协议,以减少字典式攻击的速度,通过使用一个证明器和一个验证器系统。该系统使得攻击者难以通过计算密集型来证明其为有效用户。尝试的次数也减少了,从而限制了拒绝服务攻击。
2012-12-25 cs.CR
Membership Inference Attacks and Defenses in Federated Learning: A Survey
本文针对联邦学习场景下成员推理攻击与防御研究缺乏全面最新综述的空白,对相关攻击与防御策略分类梳理,分析不同方法优劣并提出未来研究方向。
2024-12-09 cs.CR
Securing Federated Learning: A Covert Communication-based Approach
联邦学习网络(FLN)已经被设想为一个有前途的范例,以协作训练模型之间的移动设备,而不暴露他们的本地隐私数据。由于需要频繁的模型更新和通信,FLN容易受到各种攻击(例如,窃听攻击、推断攻击、中毒攻击和后门攻击)。平衡隐私保护与高效的分布式模型训练是FLN的关键挑战。现有的对策产生高计算成本,并且仅针对FLN上的特定攻击而设计。在本文中,我们提出了基于隐蔽通信的联邦学习(CCFL)方法来弥合这一差距。基于隐蔽通信的通信安全技术,隐藏了无线通信活动的存在,CCFL可以降低攻击者从FLN训练协议中提取有用信息的能力,这是大多数现有攻击的基本步骤,从而从整体上增强了FLN的隐私性。我们的实验评估CCFL广泛的现实世界的设置下,FL的延迟进行了优化,根据给定的安全要求。数值结果表明,所提出的方法在训练效率和通信安全方面的显着有效性。
2021-10-05 cs.CR
Practical Privacy Attacks on Vertical Federated Learning
联邦学习(FL)是一种隐私保护的学习范式,允许多个奇偶校验联合训练一个强大的机器学习模型,而无需共享他们的私有数据。根据协作形式的不同,FL又可分为水平联邦学习(HFL)和垂直联邦学习(VFL)。在HFL中,参与者共享相同的特征空间并在数据样本上进行协作,而在VFL中,参与者共享相同的样本ID并在特征上进行协作。VFL的应用范围更广,可以说更适合大型企业之间的联合模型训练。在本文中,我们专注于VFL和调查潜在的隐私泄漏在现实世界中的VFL框架。我们设计并实现了两种实用的隐私攻击:针对逻辑回归VFL协议的反向乘法攻击和针对XGBoost VFL协议的反向求和攻击。我们的经验表明,这两种攻击是(1)有效的-对手可以成功地窃取私人训练数据,即使当中间输出加密,以保护数据隐私;(2)规避-攻击不偏离协议规范,也不恶化目标模型的准确性;以及(3)容易-对手几乎不需要关于目标参与者的数据分布的先验知识。我们还表明,泄漏的信息是有效的原始训练数据在训练一个替代分类。我们进一步讨论了潜在的对策和挑战,我们希望这可以导致几个有前途的研究方向。
2022-07-22 cs.CR
Shakedown: compiler-based moving target protection for Return Oriented Programing attacks on an industrial IoT device
网络犯罪分子使用面向返回的编程技术来攻击系统和物联网设备。虽然已经开发了防御措施,但并非所有防御措施都适用于受限设备。我们介绍了Shakedown,这是一个编译时随机构建工具,它创建了几个版本的二进制文件,每个版本都有不同的内存布局。针对一个设备开发的攻击不会在具有不同内存布局的另一个设备上起作用。我们在一个工业物联网设备上测试了Shakedown,结果表明,在阻止漏洞利用的同时,其正常功能保持不变。
2018-10-11 cs.CR
When Federated Learning meets Watermarking: A Comprehensive Overview of Techniques for Intellectual Property Protection
Thales SIX GTS(泰雷兹SIX GTS);Inserm(法国国家健康与医学研究院);IMT Atlantique(大西洋国立高等矿业电信学校)
本文综述联邦学习场景下的深度神经网络水印技术,梳理其在分布式训练与隐私约束下保护模型知识产权的最新方法、挑战与机遇。
2023-08-07 cs.CR cs.LG
Evaluation Methodologies in Software Protection Research
本文系统综述了571篇混淆保护论文的评估方法论,收集113个评估维度,揭示当前软件保护评估的不足,识别九项挑战并提出改进建议。
2024-04-30 cs.CR
Sniper Backdoor: Single Client Targeted Backdoor Attack in Federated Learning
联邦学习(FL)支持深度学习(DL)模型的协作训练,其中数据保留在本地。像DL一样,FL也有严重的安全漏洞,攻击者可以利用这些漏洞,例如,模型反转和后门攻击。模型反演攻击从训练数据集重建数据,而后门只对包含特定属性的类进行错误分类,例如,像素图案。后门在FL中很突出,旨在毒害每个客户端模型,而模型反演攻击甚至可以针对单个客户端。本文介绍了一种新的技术,允许后门攻击是客户端为目标,损害一个单一的客户端,而其余的保持不变。该攻击利用了最先进的模型反转和后门攻击。准确地说,我们利用生成对抗网络来执行模型反演。之后,我们对FL网络进行影子训练,在其中,使用暹罗神经网络,我们可以识别,定位和后门受害者的模型。我们的攻击已经在不同的设置下使用MNIST、F-MNIST、EMNIST和CIFAR-100数据集进行了验证--在源(干净)和目标(后门)类上都达到了高达99%的准确率,并且可以抵御最先进的防御,例如,Neural Cleanse,开启了一个未来需要考虑的新型威胁模型。
2023-02-28 cs.CR
Membership Information Leakage in Federated Contrastive Learning
研究联邦对比学习(FCL)中常被忽视的成员信息泄露隐私风险,提出被动与主动两种成员推理攻击方法,验证了FCL范式的固有隐私风险。
2024-03-06 cs.CR
Malicious web script-based cyber attack protection technology
最近基于Web的网络攻击正在演变成一种新的攻击形式,例如利用网页内的JavaScript的私人信息窃取和DDoS攻击。这些攻击可以通过访问网站进行,而不会分发恶意代码和感染。基于脚本的网络攻击很难被传统的安全设备(如防火墙和IPS)检测到,因为它们会在正常Web请求的响应消息中注入恶意脚本。此外,它们很难追踪,因为DDoS等攻击可以通过访问网页进行。由于这些原因,预计它们可能导致直接损害和巨大的连锁反应。为了应对这些问题,在这篇文章中,提出了一个建议的技术,用于检测恶意脚本,通过实时的Web内容分析,并自动生成检测签名的恶意JavaScript。
2015-02-13 cs.CR
FIDELIS: Blockchain-Enabled Protection Against Poisoning Attacks in Federated Learning
Department of Computer Science Saint Mary's College of California(计算机科学系圣玛丽学院);Department of Computer Science North Carolina State University(计算机科学系北卡罗来纳州立大学);Department of Computer Science Boise State University(计算机科学系博伊州立大学)
本文提出FIDELIS,一种基于区块链的联邦学习中毒检测框架,通过去中心化全局服务器角色并引入经共识验证的判别模型来检测模型更新中的数据中毒,实现对攻击的鲁棒性和可扩展性。
2025-08-11 cs.AI cs.CR
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习容易受到各种攻击,如模型中毒和后门攻击,即使使用一些现有的防御策略。为了应对这一挑战,我们提出了一种攻击自适应聚合策略,以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制,学习联邦学习模型的脆弱性,从一组看似合理的攻击。据我们所知,我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中,我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Data Poisoning Attacks on Federated Machine Learning
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Rochester(罗切斯特大学)
联合机器学习使得资源受限的节点设备(例如,移动电话和IoT设备)学习共享模型,同时保持训练数据本地,可以通过设计有效的通信协议来提供隐私、安全和经济效益。然而,不同节点之间的通信协议可以被攻击者利用来发起数据投毒攻击,这已经被证明是对大多数机器学习模型的巨大威胁。在本文中,我们试图探讨联邦机器学习的脆弱性。更具体地说,我们专注于攻击一个联邦多任务学习框架,这是一个联邦学习框架,通过采用一个通用的多任务学习框架来处理统计挑战。我们制定了联邦多任务学习的最佳中毒攻击的计算问题作为一个双层计划,是适应于任意选择的目标节点和源攻击节点。然后提出了一种新的系统感知优化方法ATTack on联邦学习(AT2FL),该方法可以有效地推导出中毒数据的隐式梯度,并进一步计算联邦机器学习中的最优攻击策略。我们的工作是一个早期的研究,考虑数据投毒攻击的问题,联邦学习。最后,在真实数据集上的实验结果表明,联邦多任务学习模型对投毒攻击非常敏感,无论攻击者是直接投毒目标节点,还是利用通信协议间接投毒相关节点。
2020-04-19 cs.CR cs.LG
Balancing Privacy Protection and Interpretability in Federated Learning
联邦学习(FL)的目标是通过将模型参数从本地客户端共享到中央服务器,以分布式方式协作训练全局模型,从而潜在地保护用户的私有信息。然而,最近的研究表明,FL仍然遭受信息泄漏,因为对手试图通过分析来自本地客户端的共享参数来恢复训练数据。为了解决这个问题,差分隐私(DP)被用来添加噪声的局部模型的梯度聚集之前。然而,它导致基于梯度的可解释性方法的性能较差,因为一些权重捕获的显着区域的特征地图将被扰动。为了克服这个问题,我们提出了一个简单而有效的自适应差分隐私(ADP)机制,选择性地添加噪声扰动的梯度客户端模型在FL。我们还从理论上分析了梯度扰动对模型可解释性的影响。最后,在IID和非IID数据上的实验表明,所提出的ADP可以在FL中实现隐私性和可解释性之间的良好权衡。
2023-02-16 cs.CR cs.LG
On Model Protection in Federated Learning against Eavesdropping Attacks
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Tata Consultancy Services Research(塔塔咨询服务研究中心)
本研究探讨了联邦学习抵御窃听攻击的模型保护问题,通过理论分析和数值实验评估了客户端选择、目标函数及聚合等因素对保护水平的影响,并指出差分隐私方法在该特定背景下的局限性。
2025-04-02 cs.AI cs.CR cs.LG
Label Leakage and Protection from Forward Embedding in Vertical Federated Learning
Bytedance Inc.(字节跳动公司)
近年来,垂直联邦学习(vFL)得到了广泛的关注,并被用于解决机器学习问题和数据隐私问题。然而,最近的一些工作表明,vFL很容易受到隐私泄露的影响,即使只有前向中间嵌入(而不是原始特征)和反向传播梯度(而不是原始标签)在参与者之间进行通信。由于原始标签通常包含高度敏感信息,因此最近提出了一些工作来有效地防止vFL中来自反向传播梯度的标签泄漏。然而,这些工作仅识别和防御来自反向传播梯度的标签泄漏的威胁。这些工作都没有注意到从中间包埋的标签泄漏的问题。本文提出了一种实用的标签推理方法,该方法在使用标签差分隐私和梯度扰动等现有保护方法的情况下,仍能有效地从共享中间嵌入中窃取私有标签。标签攻击的有效性与中间嵌入和相应私有标签之间的相关性密不可分。为了减轻前向嵌入的标签泄漏问题,我们在标签方添加了一个额外的优化目标,通过最小化中间嵌入和相应的私有标签之间的距离相关性来限制对手的标签窃取能力。我们进行了大量的实验来证明我们提出的保护方法的有效性。
2022-05-25 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University(迪肯大学)
联邦学习(FL)能够在分布式客户端之间训练模型,而不会损害训练数据集的隐私,但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估,以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection
National University of Singapore(新加坡国立大学);The University of Western Australia(西澳大利亚大学)
联邦学习是在隐私限制下实现不同组织间机器学习模型协同训练的一个研究热点。随着研究人员试图用不同的隐私保护方法支持更多的机器学习模型,开发系统和基础设施时需要简化各种联邦学习算法的开发。与PyTorch和TensorFlow等深度学习系统类似,联邦学习系统(FLS)同样重要,并面临来自有效性,效率和隐私等各个方面的挑战。在本调查中,我们对联邦学习系统进行了全面的综述。为了实现流畅的流程和指导未来的研究,我们介绍了联邦学习系统的定义和分析的系统组件。从数据分布、机器学习模型、隐私机制、通信结构、联邦规模和联邦动机六个方面对联邦学习系统进行了分类。正如我们的案例研究所示,分类可以帮助设计联邦学习系统。通过对现有的联邦学习系统进行系统总结,提出了联邦学习系统的设计要素、案例分析和未来的研究方向。
2021-12-05 cs.CR cs.DB cs.LG
Blinder: End-to-end Privacy Protection in Sensing Systems via Personalized Federated Learning
University of Alberta(阿尔伯塔大学)
本文提出基于个性化联邦学习的传感器数据匿名化模型Blinder,通过变分自编码器与判别器对抗训练及元学习适配用户分布,在IMU数据集上实现端到端隐私保护,兼顾低开销与实时边缘部署。
2023-10-06 cs.CR cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University(杜克大学)
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而,这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中,我们提出了第一个基于假客户端的模型中毒攻击,称为MPAF。具体来说,我们假设攻击者将假客户端注入联邦学习系统,并在训练期间将精心制作的假本地模型更新发送到云服务器,这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标,我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说,在每一轮联邦学习中,假客户端都会制作指向基础模型的假本地模型更新,并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明,MPAF可以显着降低测试精度的全球模型,即使采用经典的防御和范数裁剪,突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
Secure Aggregation Is Not All You Need: Mitigating Privacy Attacks with Noise Tolerance in Federated Learning
National Taiwan University(台湾大学)
联邦学习是一种协作方法,旨在创建AI模型的同时保护数据隐私。当前的联邦学习方法往往严重依赖于安全聚合协议来保护数据隐私。然而,在某种程度上,这样的协议假设编排联邦学习过程的实体(即,服务器)并非完全恶意或不诚实。我们调查安全聚合的漏洞,如果服务器是完全恶意的,并试图获得访问私人,潜在的敏感数据可能会出现。此外,我们还提供了一种方法来进一步防御这种恶意服务器,并证明了在联邦学习设置中重建数据的已知攻击的有效性。
2022-11-10 cs.AI cs.CR
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of Hong Kong(香港大学);Florida International University(佛罗里达国际大学)
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题,提出EPAFL框架,通过三种早停技术在保持攻击成功率的同时显著降低计算开销,并公开代码。
2024-04-15 cs.CR cs.LG
Hardening Confidential Federated Compute against Side-channel Attacks
Google(谷歌)
本文识别了保密联邦计算平台中可能被内部人员利用的侧信道,展示差分隐私如何缓解其中两个侧信道。
2026-03-23 cs.CR cs.DS
Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis
Huazhong University of Science and Technology(华中科技大学)
与数据中心的服务器相比,联邦学习中的边缘设备通常具有更有限的计算和通信资源。最近,先进的模型压缩方法,如彩票假设,已经在联邦学习上实现,以减少模型大小和通信成本。然而,后门攻击可能会危及其在联邦学习场景中的实现。恶意边缘设备使用中毒的私有数据训练客户端模型,并将参数上传到中心,在不知情的聚合优化后向全局共享模型嵌入后门。在推理阶段,带有后门的模型将具有特定触发器的样本分类为一个目标类别,而清洁样本的推理精度略有下降。在这项工作中,我们的经验表明,彩票模型同样容易受到后门攻击的原始密集模型,和后门攻击可以影响提取的门票的结构。基于票据之间的相似性,我们为联邦学习提供了一种可行的防御后门攻击的各种数据集。
2021-09-22 cs.CR cs.LG
Characterizing Internal Evasion Attacks in Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
本文首次表征了联邦学习中对抗性客户端在测试时发起的内部规避攻击,发现对抗训练防御效果有限,但将其与个性化联邦学习框架结合可使相对鲁棒性提升60%。
2023-10-21 cs.CR cs.LG
Over-the-Air Federated Learning with Enhanced Privacy
联邦学习(FL)已经成为一种很有前途的学习范式,其中只有局部模型参数(梯度)是共享的。私人用户数据永远不会离开本地设备,从而保护数据隐私。然而,最近的研究表明,即使用户从不共享本地数据,在没有保护的情况下交换模型参数也会泄露私人信息。此外,在无线系统中,模型参数的频繁传输会造成巨大的带宽消耗和网络拥塞时,模型是大的。为了解决这个问题,我们提出了一个新的FL框架,有效的空中参数聚合和强大的隐私保护的用户数据和模型。我们通过在终端设备上引入成对可消除的随机人工噪声(PCR-AN)来实现这一点。与现有的基于空中计算(AirComp)的FL方案相比,我们的设计提供了更强的隐私保护。我们分析了所提出的无线FL聚合算法的保密能力和收敛速度。
2022-12-22 cs.CR eess.SP
On Using Secure Aggregation in Differentially Private Federated Learning with Multiple Local Steps
University of Helsinki(赫尔辛基大学);Telefónica Research(西班牙电信研究机构)
本文提出一种新分析方法,使联邦学习在多个本地步骤中仍能利用安全聚合,从而在有限通信轮数下实现更高实用性的模型并保证隐私保护。
2025-03-24 cs.CR cs.LG
Modeling an Asynchronous Circuit Dedicated to the Protection Against Physical Attacks
异步电路对于安全应用有几个优点,特别是它们对攻击的良好抵抗力。在本文中,我们报告的实验建模,在不同的抽象层次,专利异步电路检测物理攻击,如切割电线或产生短路。
2020-04-28 cs.CR cs.LO
Leveraging Soft Prompts for Privacy Attacks in Federated Prompt Tuning
CISE, University of Florida, FL, USA(佛罗里达大学计算机与信息科学系);North Carolina State University, NC, USA(北卡罗来纳州立大学);Washington State University, WA, USA(华盛顿州立大学);Seoul National University of Science and Technology, South Korea(韩国科学技术大学)
本文提出PromptMIA,一种针对联邦提示微调的隐私攻击方法,揭示了该方法在隐私保护方面的潜在风险。
2026-11-05 cs.CR cs.LG
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST(韩国科学技术院计算机学院);Samsung Research(三星研究院);Data Science Group, Institute for Basic Science(基础科学研究院数据科学组);Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本文提出FedMID,一种无数据防御方法,通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击,实验证明其在多种计算条件和高级攻击下具有鲁棒性,促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
FEDLAD: Federated Evaluation of Deep Leakage Attacks and Defenses
University Of Surrey(萨里大学)
本文提出 FEDLAD 统一基准,在现实联邦学习场景中评估多种深度泄漏攻击与防御方法,揭示隐私与模型准确率的权衡并提升可复现性。
2025-01-05 cs.CR cs.CV
SAB:A Stealing and Robust Backdoor Attack based on Steganographic Algorithm against Federated Learning
Guizhou Normal University(贵州师范大学)
本文提出SAB,一种基于隐写算法的联邦学习后门攻击方法,通过图像隐写构建全尺寸触发器、多重损失联合计算、bottom-95%梯度更新及Sparse-update机制,提升了后门隐蔽性、鲁棒性与泛化能力,有效规避现有防御。
2024-08-25 cs.AI cs.CR
Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor Attacks in Federated Learning
University of Maryland(马里兰大学);Google(谷歌);Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
联邦学习特别容易受到模型中毒和后门攻击的影响,因为个人用户可以直接控制训练数据和模型更新。与此同时,单个用户的攻击能力是有限的,因为他们的更新很快就会被许多其他用户的更新淹没。现有的攻击不考虑其他用户的未来行为,因此需要多次连续更新,其影响很快就会被消除。我们提出了一种攻击,它可以预测和解释整个联邦学习管道,包括其他客户端的行为,并确保后门快速有效,即使在多轮社区更新后也能持续存在。我们表明,这种新的攻击是有效的,在现实的情况下,攻击者只贡献了一小部分的随机抽样轮,并证明这种攻击的图像分类,下一个词的预测,和情感分析。
2022-10-17 cs.CR cs.LG
Exploring adversarial attacks in federated learning for medical imaging
Harvard University(哈佛大学);Google(谷歌);University Medical Center Groningen(格罗宁根大学医学中心);University of Groningen(格罗宁根大学)
本文评估联邦学习在医学图像分析中面对对抗性攻击的脆弱性,发现领域特定配置可显著提高攻击成功率,强调亟需有效防御机制并重新评估现有安全协议。
2023-10-10 cs.CR cs.LG eess.IV
Poisoning Attacks in Federated Edge Learning for Digital Twin 6G-enabled IoTs: An Anticipatory Study
Technology Innovation Institute(技术创新研究院);University of Ottawa(渥太华大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
联合边缘学习对于支持数字孪生6 G物联网(IoT)环境中的隐私保护、人工智能(AI)活动至关重要。然而,我们还需要考虑针对底层AI系统的攻击的可能性(例如,攻击者试图在本地更新期间破坏物联网设备上的数据或破坏模型更新);因此,在本文中,我们提出了一项针对支持数字孪生6 G的物联网环境的联合边缘学习中的中毒攻击的预期研究。具体来说,我们研究了对手对数字孪生6 G物联网环境中联邦学习模型的训练和开发的影响。我们证明了攻击者可以在两种不同的学习环境中进行中毒攻击,即:集中式学习和联邦学习,成功的攻击会严重降低模型的准确性。针对非独立同分布(Non-IID)数据和独立同分布(IID)数据,利用三个深度神经网络,对一个面向物联网应用的新型网络安全数据集进行了攻击评估。在攻击分类问题上,中毒攻击可以导致IID数据的准确率从94.93%下降到85.98%,而非IID数据的准确率从94.18%下降到30.04%。
2023-03-21 cs.AI cs.CR
Towards Achieving Near-optimal Utility for Privacy-Preserving Federated Learning via Data Generation and Parameter Distortion
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
本研究针对隐私保护联邦学习的效用优化问题,推导效用损失上界与隐私-效用权衡上界,为通过数据生成和参数失真实现近最优效用提供理论依据与参数设计指导。
2024-03-07 cs.AI cs.CR cs.LG
Securing Genomic Data Against Inference Attacks in Federated Learning Environments
Independent Researcher(独立研究者)
本研究在合成基因组数据上模拟联邦学习,评估MIA、基于梯度的MIA和LIA三类推理攻击,发现基于梯度的MIA效果最强(精确率0.79、F1为0.87),揭示梯度泄漏风险并呼吁更强的基因组隐私保护机制。
2025-05-12 cs.CL cs.CR
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学);IBM
联邦学习本质上容易受到模型中毒攻击,因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中,攻击者通过上传“中毒”更新来降低模型在目标子任务(例如将飞机分类为鸟类)上的性能。在这份报告中,我们介绍了\algoname{},一种新的防御,使用全局top-k更新稀疏化和设备级梯度裁剪,以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击,并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性,我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
More is Better (Mostly): On the Backdoor Attacks in Federated Graph Neural Networks
Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学)
该研究首次探究联邦图神经网络的后门攻击鲁棒性,对比中心化与分布式两类后门攻击的性能及影响因素,发现两类攻击对现有防御均具抗性,需定制化防御方案。
2024-12-09 cs.CR cs.LG
Leak and Learn: An Attacker's Cookbook to Train Using Leaked Data from Federated Learning
Purdue University(普渡大学)
本文从利用泄漏数据训练模型的视角探索联邦学习中的数据重建攻击,证明GI和LLL攻击能利用泄漏数据比良性策略更准确地训练模型,并揭示了其在下游训练中的局限性。
2024-03-26 cs.CR cs.CV
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University(罗格斯大学);Duke University(杜克大学);University of California, Irvine(加州大学欧文分校)
本文提出融合联邦学习与差分隐私的广告个性化框架,通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术,在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
DV-FSR: A Dual-View Target Attack Framework for Federated Sequential Recommendation
针对联邦序列推荐中现有定向攻击效果有限的问题,本文提出双视图攻击框架DV-FSR,结合采样显式策略与对比学习隐式梯度策略协同攻击,并设计对应防御机制,在代表性序列模型上验证了其有效性。
2024-12-30 cs.CR cs.IR
Mitigating Sybil Attacks on Differential Privacy based Federated Learning
在联邦学习中,机器学习和深度学习模型在分布式设备上进行全局训练。联邦学习背景下最先进的隐私保护技术是用户级差分隐私。然而,这样的机制容易受到一些特定的模型中毒攻击,如Sybil攻击。恶意攻击者可以创建多个假客户端或在Sybil攻击中串通受损设备,以安装直接的模型更新操作。最近的工作对模型中毒攻击的新的防御是很难检测的Sybil攻击时,利用差分隐私,因为它掩盖了客户端的模型更新与扰动。在这项工作中,我们实现了第一个Sybil攻击差分隐私的联邦学习架构,并显示其对模型收敛的影响。我们随机妥协的一些客户端通过操纵不同的噪声水平所反映的本地隐私预算的差分隐私对这些Sybil客户端的本地模型更新,使全局模型收敛速度下降,甚至导致发散。我们将我们的攻击应用于两个最近的聚合防御机制,称为Krum和Trimmed Mean。我们在MNIST和CIFAR-10数据集上的评估结果表明,我们的攻击有效地减缓了全局模型的收敛速度。然后,我们提出了一种方法,以保持监测的平均损失的所有参与者在每一轮的收敛异常检测和防御我们的Sybil攻击的基础上,从每个客户端报告的预测成本。我们的实证研究表明,我们的防御方法有效地减轻了我们的Sybil攻击模型收敛的影响。
2020-10-20 cs.CR cs.DC
FedSecurity: Benchmarking Attacks and Defenses in Federated Learning and Federated LLMs
University of California, Irvine(加州大学欧文分校);University of Southern California(南加州大学);TensorOpera Inc.(TensorOpera公司);Lehigh University(理海大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Texas A&M University(德克萨斯农工大学);Carnegie Mellon University(卡内基梅隆大学);Zhejiang University(浙江大学);USC(南加州大学)
本文提出端到端基准FedSecurity,作为FedML库的补充,包含攻击与防御两大组件,支持多模型、多优化器及灵活配置,可用于联邦学习及联邦大语言模型的攻防模拟与验证。
2024-06-21 cs.AI cs.CR