Defending against Data Poisoning Attacks in Federated Learning via User Elimination
针对联邦学习中的数据投毒攻击,提出一种通过战略性地消除对抗性用户来防御的框架,利用本地训练元数据与差分隐私结合检测异常,实验证明能显著降低投毒风险并保持隐私与性能平衡。
2024-04-19 cs.CR
Logit Poisoning Attack in Distillation-based Federated Learning and its Countermeasures
本研究针对基于蒸馏的联邦学习中现有投毒攻击效率低的问题,提出两阶段logit投毒攻击方案,同时设计了基于向量距离计算的高效防御算法,并通过实验验证了攻击威胁与防御有效性。
2024-01-31 cs.CR
Federated Learning based on Defending Against Data Poisoning Attacks in IoT
物联网(IoT)设备数量的迅速增长产生了大量的数据,但物联网设备中的数据隐私和安全暴露,特别是在自动驾驶系统中。联邦学习(FL)是一种通过集成基于分布式节点的全局模型来解决数据隐私、安全性、访问权限和对异构消息的访问问题的范例。然而,对FL的数据投毒攻击可能会破坏这些好处,破坏全局模型的可用性并中断模型训练。为了避免上述问题,我们建立了一个层次化防御数据投毒(HDDP)系统框架来防御FL中的数据投毒攻击,通过异常检测来监控各个节点的本地模型,从而清除恶意客户端。无论中毒防御服务器是否具有可信测试数据集,我们设计了\underline{l}局部\underline{m}模型\underline{t} est \underline{v} oting(LMTV)和\underline{k} ullback- \underline{l} eibler divergence \underline{a} normaly parameters \underline{d} etection(KLAD)算法来防御标签翻转中毒攻击。具体而言,可信测试数据集被用来获得每个分类的评估结果,以识别LMTV中的恶意客户端。更重要的是,我们采用kullback leibler散度来衡量KLAD中没有可信测试数据集的局部模型之间的相似性。最后,通过广泛的评估,针对各种标签翻转中毒攻击,LMTV和KLAD算法在不同…
2022-09-14 cs.CR
Unilateral Antidotes to DNS Cache Poisoning
我们调查防御DNS缓存中毒的机制,可以很容易地部署单方面的解决组织,最好是在一个单一的网关或代理。DNS中毒(仍然)是互联网安全的主要威胁;坚定的欺骗攻击者通常能够绕过当前部署的解毒剂,如端口随机化。DNSSEC的采用将阻止DNS中毒,这仍然是一个长期的挑战。我们讨论了突出的解析器防御的局限性,主要是端口和IP随机化,0x 20编码和生日保护。然后,我们提出了两个新的(单边)防御:三明治解毒剂和NAT解毒剂。该防御简单、有效且高效,并且可以在将解析器连接到Internet的网关中实现。三明治解毒剂由两个阶段组成:中毒-攻击检测和预防。NAT解毒剂通过将解析器的IP地址切换到随机地址(属于同一自治系统)来向DNS请求添加熵。最后,我们展示了如何在网关中实现生日保护机制,从而允许将具有相同查询的DNS请求的数量限制为1,即使解析器不支持此功能。
2012-09-07 cs.CR
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University(迪肯大学)
联邦学习(FL)能够在分布式客户端之间训练模型,而不会损害训练数据集的隐私,但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估,以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
Knowledge Base Poisoning Attacks and Defense for Policy-Aware LLM-RAG Framework
Tennessee Tech University(田纳西科技大学);University of North Carolina at Pembroke(北卡罗来纳大学彭布罗克分校);Texas A&M University - Central Texas(德克萨斯农工大学中央德州分校)
研究针对战场物联网任务控制的PA-LLM-RAG框架的对抗安全。提出查询无关语义检索中毒攻击,能注入规则致大语言模型上下文损坏。还提出CLD-KB防御框架,在检测中毒和知识保存方面性能优异。
2026-07-07 cs.CR
DeSMP: Differential Privacy-exploited Stealthy Model Poisoning Attacks in Federated Learning
联邦学习(FL)由于其在保护客户机密信息方面的有效性而成为近年来新兴的机器学习技术。然而,尽管存在固有的和附加的隐私保护机制(例如,差分隐私、安全多方计算等),FL模型仍然容易受到各种隐私侵犯和安全性妥协攻击(例如,数据或模型中毒),这是由于它们的大量攻击向量,这又使得模型无效或次优。现有的对抗模型专注于无目标的模型中毒攻击,由于其相互冲突的性质(大规模攻击更容易检测,反之亦然),因此,在这种对抗学习范式中仍然是一个未解决的研究问题。考虑到这一点,在本文中,我们分析了FL设置中的这种对抗性学习过程,并表明可以利用差分噪声进行隐形和持久的模型中毒攻击。更具体地说,我们开发了一个前所未有的DP利用隐形模型中毒(DeSMP)攻击FL模型。我们使用两个流行的数据集对分类和回归任务进行的实证分析反映了所提出的DeSMP攻击的有效性。此外,我们开发了一种新的强化学习(RL)为基础的防御策略,对这种模型中毒攻击,可以智能和动态地选择FL模型的隐私级别,以最大限度地减少DeSMP攻击面,并促进攻击检测。
2021-09-21 cs.CR
Defense Strategies Toward Model Poisoning Attacks in Federated Learning: A Survey
分布式机器学习的进步可以增强未来的通信和网络。联邦学习(FL)的出现为分布式机器学习提供了一个有效的框架,但它仍然面临着许多安全挑战。其中,模型中毒攻击对FL的安全性和性能有着重要的影响。鉴于已经有许多研究专注于防御模型中毒攻击,有必要对现有工作进行调查,并提供见解,以启发未来的研究。在本文中,我们首先将模型中毒攻击的防御机制分为两类:局部模型更新的评估方法和全局模型的聚合方法。然后,我们详细分析了现有的一些防御策略。我们还讨论了一些潜在的挑战和未来的研究方向。据我们所知,我们是第一个调查模型中毒攻击在FL的防御方法。
2022-02-13 cs.CR cs.DC
Model Poisoning Attacks to Federated Learning via Multi-Round Consistency
针对现有联邦学习投毒攻击在防御下效果欠佳且需真实客户端知识的问题,提出PoisonedFL,通过强制恶意客户端模型更新的多轮一致性实现无需额外知识的攻击,突破了多种防御机制,揭示FL系统鲁棒性不足。
2025-08-13 cs.CR
Poisoning Prevention in Federated Learning and Differential Privacy via Stateful Proofs of Execution
针对联邦学习与本地差分隐私易受投毒攻击的问题,提出基于状态化执行证明(PoSX)的系统级防御方法SLAPP,利用ARM TrustZoneM安全扩展绑定数据与使用,实现强健安全保证并验证低开销。
2025-01-25 cs.CR
An Investigation of Data Poisoning Defenses for Online Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
数据投毒攻击--攻击者可以修改一小部分训练数据,目的是迫使训练好的分类器丢失大量数据--在许多应用中是机器学习的一个重要威胁。虽然先前的工作已经开发了攻击和防御,但对于各种攻击和防御何时有效并没有太多的一般性理解。在这项工作中,我们进行了严格的研究防御数据投毒的在线学习。首先,我们在一个强大的威胁模型中研究了四种标准防御,并提供了它们可以允许或抵抗快速中毒的条件。然后,我们考虑一个较弱的和更现实的威胁模型,并表明,对手的成功存在的数据投毒防御依赖于“轻松”的学习问题。
2020-02-19 cs.CR cs.LG stat.ML
Poster: FedWM-Guard: Thwarting Imagination Poisoning in Federated World Model-based Autonomous Driving
KTH Royal Institute of Technology(皇家理工学院)
针对联邦世界模型自动驾驶中的想象投毒攻击,提出FedWM-Guard防御方法,通过金丝雀场景筛选和未来审计保护规划器安全。
2026-09-25 cs.CR
Blockchain-based Federated Learning with SMPC Model Verification Against Poisoning Attack for Healthcare Systems
针对联邦学习易受恶意更新与投毒攻击且难以兼顾隐私保护的问题,本文提出结合区块链、SMPC 加密推理验证和安全聚合的医疗系统框架,并在多个医学数据集上评估。
2023-04-26 cs.CR
Data Poisoning Attacks on Federated Machine Learning
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Rochester(罗切斯特大学)
联合机器学习使得资源受限的节点设备(例如,移动电话和IoT设备)学习共享模型,同时保持训练数据本地,可以通过设计有效的通信协议来提供隐私、安全和经济效益。然而,不同节点之间的通信协议可以被攻击者利用来发起数据投毒攻击,这已经被证明是对大多数机器学习模型的巨大威胁。在本文中,我们试图探讨联邦机器学习的脆弱性。更具体地说,我们专注于攻击一个联邦多任务学习框架,这是一个联邦学习框架,通过采用一个通用的多任务学习框架来处理统计挑战。我们制定了联邦多任务学习的最佳中毒攻击的计算问题作为一个双层计划,是适应于任意选择的目标节点和源攻击节点。然后提出了一种新的系统感知优化方法ATTack on联邦学习(AT2FL),该方法可以有效地推导出中毒数据的隐式梯度,并进一步计算联邦机器学习中的最优攻击策略。我们的工作是一个早期的研究,考虑数据投毒攻击的问题,联邦学习。最后,在真实数据集上的实验结果表明,联邦多任务学习模型对投毒攻击非常敏感,无论攻击者是直接投毒目标节点,还是利用通信协议间接投毒相关节点。
2020-04-19 cs.CR cs.LG
Fed-LSAE: Thwarting Poisoning Attacks against Federated Cyber Threat Detection System via Autoencoder-based Latent Space Inspection
本文提出Fed-LSAE防御框架,利用倒数第二层潜在空间表示和自编码器识别并剔除恶意客户端,在CIC-ToN-IoT和N-BaIoT数据集上验证了其抵御投毒攻击、构建鲁棒联邦网络威胁检测系统的有效性,所有指标提升约98%。
2023-09-20 cs.CR
APBench: A Unified Benchmark for Availability Poisoning Attacks and Defenses
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Macau(澳门大学)
APBench通过统一9种投毒攻击、8种防御算法和4种数据增强技术的评估基准,系统检验了可用性投毒在不同投毒比例、多数据集和跨模型架构下的攻防能力,揭示了现有攻击在隐私保护上的不足。
2023-08-07 cs.CR cs.CV
Take up DNSSEC When Needed
缓存中毒攻击的威胁在很大程度上刺激了DNSSEC的部署。作为一种强大但要求苛刻的密码防御,DNSSEC的普遍采用预计将经历一个漫长的过渡。因此,DNSSEC从业者呼吁一个安全而轻量级的解决方案,以加快DNSSEC部署,同时提供可接受的DNSSEC般的防御。本文提出了一种新的防御缓存中毒攻击,仍然使用,但轻微使用DNSSEC。在该解决方案中,DNS在DNSSEC不经意模式下运行,除非检测到潜在的攻击并触发切换到DNSSEC感知模式。分析和验证了该防御的性能。模型检验结果表明,只需要很小的DNSSEC查询负载,以确保足够小的缓存中毒成功率。
2016-02-26 cs.CR
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学);IBM
联邦学习本质上容易受到模型中毒攻击,因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中,攻击者通过上传“中毒”更新来降低模型在目标子任务(例如将飞机分类为鸟类)上的性能。在这份报告中,我们介绍了\algoname{},一种新的防御,使用全局top-k更新稀疏化和设备级梯度裁剪,以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击,并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性,我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
FIDELIS: Blockchain-Enabled Protection Against Poisoning Attacks in Federated Learning
Department of Computer Science Saint Mary's College of California(计算机科学系圣玛丽学院);Department of Computer Science North Carolina State University(计算机科学系北卡罗来纳州立大学);Department of Computer Science Boise State University(计算机科学系博伊州立大学)
本文提出FIDELIS,一种基于区块链的联邦学习中毒检测框架,通过去中心化全局服务器角色并引入经共识验证的判别模型来检测模型更新中的数据中毒,实现对攻击的鲁棒性和可扩展性。
2025-08-11 cs.AI cs.CR
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明,这样的学习者是抵抗数据投毒攻击时,对手只能中毒少量的项目。然而,这种保护会随着对手毒害更多数据而降低。为了说明这一点,我们设计了针对目标和输出扰动学习器的攻击算法,这是差分私有机器学习的两种标准方法。实验表明,我们的方法是有效的,当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
SPFL: A Self-purified Federated Learning Method Against Poisoning Attacks
本文提出自净化联邦学习方法 SPFL,通过注意力引导的自知识蒸馏让良性客户端利用本地净化模型的历史特征监督聚合模型训练,在不限制通信协议和聚合器的前提下有效抵御投毒攻击并提升模型质量。
2023-09-19 cs.CR
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST(韩国科学技术院计算机学院);Samsung Research(三星研究院);Data Science Group, Institute for Basic Science(基础科学研究院数据科学组);Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本文提出FedMID,一种无数据防御方法,通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击,实验证明其在多种计算条件和高级攻击下具有鲁棒性,促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
Sybil-based Virtual Data Poisoning Attacks in Federated Learning
Department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学);Sony AI(索尼人工智能)
针对联邦学习现有投毒攻击成本高的问题,提出基于Sybil的虚拟数据投毒攻击,结合梯度匹配虚拟数据生成与三类目标模型获取方案,可在非独立同分布数据下高效实现更强的全局投毒效果。
2025-05-15 cs.CR cs.LG
Local Environment Poisoning Attacks on Federated Reinforcement Learning
本文提出了一种针对联邦强化学习(FRL)的局部环境投毒攻击通用框架,将其建模为优化问题,并通过大量实验证明该框架能有效降低FRL系统性能,揭示了其脆弱性。
2024-01-04 cs.CR cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University(杜克大学)
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而,这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中,我们提出了第一个基于假客户端的模型中毒攻击,称为MPAF。具体来说,我们假设攻击者将假客户端注入联邦学习系统,并在训练期间将精心制作的假本地模型更新发送到云服务器,这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标,我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说,在每一轮联邦学习中,假客户端都会制作指向基础模型的假本地模型更新,并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明,MPAF可以显着降低测试精度的全球模型,即使采用经典的防御和范数裁剪,突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
A Framework of Randomized Selection Based Certified Defenses Against Data Poisoning Attacks
Shanghai JiaoTong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学)
神经网络分类器容易受到数据投毒攻击,因为攻击者可以通过仅几个训练样本的投毒来降低甚至操纵它们的预测。然而,启发式防御的鲁棒性很难衡量。基于随机选择的防御可以通过对分类器对从训练集中采样的子数据集的预测求平均值来实现经过认证的鲁棒性。提出了一种基于随机选择的数据投毒攻击认证防御框架。具体地说,我们证明了满足一定条件的随机选择方案对数据投毒攻击是鲁棒的。我们还导出了合格随机选择方案的认证半径的解析形式。我们的框架导出的bagging的认证半径比以前的工作更紧。我们的框架允许用户通过利用关于训练集和中毒模型的先验知识来提高鲁棒性。在更高的先验知识水平下,我们可以在理论和实践上获得更高的认证精度。在MNIST 1/7、MNIST和CIFAR-10三个基准数据集上的实验表明,该方法的性能优于现有方法。
2020-10-13 cs.CR cs.LG stat.ML
Defending Against Beta Poisoning Attacks in Machine Learning Models
Department of Computer Engineering Acıbadem University Istanbul, Turkiye(计算机工程系 阿克萨德梅大学 伊斯坦布尔,土耳其);Department of Computer Engineering Koç University Istanbul, Turkiye(计算机工程系 科大学 伊斯坦布尔,土耳其)
针对Beta投毒攻击,提出四种防御策略(KPB、NCC、CBD、MDT),基于投毒样本邻近性和均值中心特征,实验表明KPB和MDT达完美性能,CBD和NCC亦强效。
2025-08-02 cs.AI cs.CR
SecureLearn -- An Attack-agnostic Defense for Multiclass Machine Learning Against Data Poisoning Attacks
College of Computing, Birmingham City University, Birmingham, United Kingdom(计算学院,伯明翰城市大学,伯明翰,英国)
针对多类机器学习模型的数据投毒攻击,提出两层与攻击无关的防御SecureLearn,结合数据清洗与特征对抗训练,在多种算法和数据集上保持高准确率与鲁棒性。
2025-10-25 cs.CR cs.LG
Breaking the De-Pois Poisoning Defense
对机器学习模型的攻击,从它们的概念开始,就一直是一个非常持久和回避的问题,就像一个无休止的猫捉老鼠游戏。这种攻击的一个主要变体是中毒攻击,它可以间接操纵ML模型。多年来已经观察到,大多数提出的有效防御模型仅在攻击者不知道它们被使用时才有效。在本文中,我们表明,攻击不可知的德布瓦防御几乎是一个例外,这一规则。事实上,我们证明了它的脆弱性,最简单的白盒和黑盒攻击的攻击者知道的De-Pois防御模型的结构。从本质上讲,De-Pois防御依赖于批评者模型,该模型可用于在将有毒数据传递给目标模型之前检测有毒数据。在我们的工作中,我们通过复制批评者模型,然后同时对批评者和目标模型执行组合梯度符号攻击来打破这个中毒保护层-允许我们绕过批评者防火墙来毒害目标模型。
2022-04-03 cs.CR cs.LG
Stealth by Conformity: Evading Robust Aggregation through Adaptive Poisoning
针对联邦学习鲁棒聚合的投毒攻击,提出CHAMP自适应逃避策略,利用聚合侧信道反馈动态调整损失,在两个数据集上对九种防御平均提升攻击成功率47.07%。
2025-09-03 cs.CR
Detection and Prevention Against Poisoning Attacks in Federated Learning
AI Sweden(瑞典人工智能);Beacom College(比科姆学院);Dakota State University(达科他州立大学)
本文提出并研究了一种新的方法来检测和防止几种不同类型的中毒攻击影响集中式联邦学习模型通过平均精度偏差检测(AADD)。通过将每个客户端的准确度与所有客户端的平均准确度进行比较,AADD可以检测出存在准确度偏差的客户端。该实现还能够将被认为中毒的客户端列入黑名单,从而保护全局模型不受中毒节点的影响。所提出的实施方案显示出可喜的成果,在检测中毒的客户端和防止全球模型的准确性恶化。
2022-10-24 cs.AI cs.CR cs.LG
SteganoBackdoor: Evading Data-Poisoning Defenses via Steganographic Backdoors
UC San Diego(圣迭戈大学)
SteganoBackdoor通过隐写学方法在流畅句子中隐蔽地植入后门,实现对语言模型的高效隐蔽攻击。
2026-09-21 cs.CL cs.CR cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology(华中科技大学);Wuhan University of Technology(武汉理工大学);Georgia Institute of Technology(佐治亚理工学院)
机器学习技术已经广泛应用于各种应用。然而,它们可能容易受到数据投毒攻击,其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的:它们是针对一种特定类型的攻击而设计的,但不适用于其他类型,主要是由于它们遵循的不同原则。然而,很少有一般的防御战略已经制定。在本文中,我们提出了De-Pois,一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型,其目的是模仿目标模型的行为。我们利用生成对抗网络(GANs)来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异,De-Pois因此能够区分中毒样本和干净样本,而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击,并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明,De-Pois算法能够有效地检测出四种类型的中毒攻击,其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Poisoning Attacks in Federated Edge Learning for Digital Twin 6G-enabled IoTs: An Anticipatory Study
Technology Innovation Institute(技术创新研究院);University of Ottawa(渥太华大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
联合边缘学习对于支持数字孪生6 G物联网(IoT)环境中的隐私保护、人工智能(AI)活动至关重要。然而,我们还需要考虑针对底层AI系统的攻击的可能性(例如,攻击者试图在本地更新期间破坏物联网设备上的数据或破坏模型更新);因此,在本文中,我们提出了一项针对支持数字孪生6 G的物联网环境的联合边缘学习中的中毒攻击的预期研究。具体来说,我们研究了对手对数字孪生6 G物联网环境中联邦学习模型的训练和开发的影响。我们证明了攻击者可以在两种不同的学习环境中进行中毒攻击,即:集中式学习和联邦学习,成功的攻击会严重降低模型的准确性。针对非独立同分布(Non-IID)数据和独立同分布(IID)数据,利用三个深度神经网络,对一个面向物联网应用的新型网络安全数据集进行了攻击评估。在攻击分类问题上,中毒攻击可以导致IID数据的准确率从94.93%下降到85.98%,而非IID数据的准确率从94.18%下降到30.04%。
2023-03-21 cs.AI cs.CR
Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks Without an Accuracy Tradeoff
University of Maryland, College Park(马里兰大学帕克分校);University of Siegen(锡根大学)
数据投毒和后门攻击通过恶意修改训练数据来操纵受害者模型。鉴于这一日益严重的威胁,最近对行业专业人士进行的一项调查显示,私营部门对数据投毒的担忧加剧。许多以前的中毒防御要么在面对越来越强大的攻击时失败,要么它们显着降低性能。然而,我们发现强大的数据增强,如mixup和CutMix,可以显着减少中毒和后门攻击的威胁,而不会牺牲性能。我们进一步验证了这种简单的防御自适应中毒方法的有效性,我们比较基线,包括流行的差分私有SGD(DP-SGD)防御。在后门的背景下,CutMix大大减轻了攻击,同时将验证准确率提高了9%。
2020-11-18 cs.CR cs.LG
Adversarial Poisoning Attacks and Defense for General Multi-Class Models Based On Synthetic Reduced Nearest Neighbors
University of California Merced(加州大学默塞德分校);Tagliatela College of Engineering(塔利亚泰拉工程学院);University of New Haven(纽黑文大学)
最先进的机器学习模型容易受到旨在破坏模型完整性的数据投毒攻击。然而,目前关于数据投毒攻击的文献主要集中在仅适用于特定机器学习模型的ad hoc技术上。此外,文献中现有的数据投毒攻击仅限于二进制分类器或基于梯度的算法。为了解决这些局限性,本文首先提出了一种新的无模型标签翻转攻击的基础上的多模态的数据,其中对手的目标是集群的类,而受标签翻转预算。我们提出的攻击算法的复杂性是线性的时间超过数据集的大小。此外,所提出的攻击可以增加错误高达两倍的相同的攻击预算。其次,提出了一种基于综合简化最近邻(SRNN)模型的防御技术。防御技术可以在训练过程中检测和排除翻转的样本。通过大量的实验分析,我们证明了(i)所提出的攻击技术可以大大降低几个模型的准确性,以及(ii)在所提出的攻击下,所提出的防御技术在恢复目标模型的准确性方面显着优于其他传统的机器学习模型。
2021-02-11 cs.CR cs.LG
Poisoning Attacks and Defenses in Recommender Systems: A Survey
本综述从攻击者视角系统梳理了推荐系统中的投毒攻击流程(含设定目标、评估能力、分析架构与实施策略),并将防御策略分为数据过滤与鲁棒训练,指出了现有局限与未来方向。
2024-06-05 cs.CR cs.IR
FedNIA: Noise-Induced Activation Analysis for Mitigating Data Poisoning in Federated Learning
University of Windsor(温莎大学);University of New Brunswick(新不伦瑞克大学)
针对联邦学习中的数据投毒攻击,提出无需中央测试集的FedNIA防御框架,通过注入噪声并分析逐层激活模式来识别恶意客户端,实验验证其对多种攻击有效。
2026-09-23 cs.AI cs.CR cs.LG
With Great Dispersion Comes Greater Resilience: Efficient Poisoning Attacks and Defenses for Linear Regression Models
East China Normal University(华东师范大学);The University of New South Wales(新南威尔士大学);CSIRO-Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Adelaide(阿德莱德大学);Northeastern University(东北大学)
随着机器学习管道中第三方的兴起,“机器学习即服务”(MLaaS)中的服务提供商,或在线学习中的外部数据贡献者,或现有模型的再训练,确保所产生的机器学习模型的安全性的需求已经成为越来越重要的话题。安全社区已经证明,如果数据和生成的模型不透明,就会存在许多潜在的安全风险,并且不断发现新的风险。在本文中,我们关注这些安全风险之一-中毒攻击。具体来说,我们分析了攻击者如何通过毒化训练数据集来干扰回归学习的结果。为此,我们分析并开发了一种新的中毒攻击算法。我们的攻击,称为Nopt,与以前的中毒攻击算法相比,可以产生更大的错误与相同比例的中毒数据点。此外,我们还通过将干净数据点的概率估计概念纳入算法,显着改进了Jagielsk等人提出的最先进的防御算法TRIM(IEEE S&P 2018)。我们的新防御算法,称为普罗达,证明了通过优化集成模型,减少中毒数据集所产生的错误的有效性。我们强调,TRIM的时间复杂度还没有估计,但是,我们推断,从他们的工作,TRIM可以采取指数时间复杂度在最坏的情况下,超过普罗达的对数时间。我们提出的攻击和防御算法的性能在房价,贷款,医疗保健和自行车共享服务的四个真实数据集上进行了广泛的评估。我们希望我们的工作将启发未来的研究,以开发更强大的学习算法免疫中毒攻击。
2021-05-19 cs.CR cs.LG
Defense against Poisoning Attacks under Shuffle-DP
Nanyang Technological University(南洋理工大学);OceanBase, Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
本文提出一种通用防御框架,可将任意Shuffle-DP协议转换为抗污染攻击的版本,同时保持高分析结果的效用。
2026-05-01 cs.CR cs.DB
On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks
University of Maryland(马里兰大学)
本文针对数据投毒攻击,评估了Deep Partition Aggregation等聚合防御的实践表现,提出了提升模型扩展效率的方法,并揭示了投毒过拟合现象是增强鲁棒性的关键机制。
2023-06-28 cs.AI cs.CR cs.CV
A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning
Deakin University(迪肯大学);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
针对联邦学习中难以检测的边缘情况模型投毒攻击,提出DataDefense方法,结合外部防御数据集与交替最小化策略训练检测器和客户端重要性模型,以极少样本实现显著的攻击成功率降低。
2024-08-14 cs.CR cs.LG
Certified Defenses for Data Poisoning Attacks
Stanford University(斯坦福大学)
根据用户提供的数据进行训练的机器学习系统容易受到数据投毒攻击,恶意用户注入虚假的训练数据,目的是破坏学习的模型。虽然最近的工作已经提出了一些攻击和防御,很少有人知道在面对一个坚定的攻击者的最坏情况下的防御损失。我们通过构建一个广泛的攻击家族的损失的近似上限来解决这个问题,首先进行离群值删除,然后进行经验风险最小化的防御者。我们的近似依赖于两个假设:(1)数据集足够大,足以保持训练和测试误差之间的统计集中,以及(2)干净(非中毒)数据中的离群值不会对模型产生强烈影响。我们的边界与通常几乎匹配上限的候选攻击配对,为我们提供了一个强大的工具来快速评估给定数据集的防御。从经验上讲,我们发现即使在简单的防御下,MNIST-1-7和Dogfish数据集也能抵御攻击,而相比之下,IMDB情感数据集只需添加3%的中毒数据,就可以将测试错误从12%提高到23%。
2017-11-24 cs.CR cs.LG
SoK: Benchmarking Poisoning Attacks and Defenses in Federated Learning
Shanghai Jiao Tong University(上海交通大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tsinghua University(清华大学);Jinan University(暨南大学)
本文提出统一基准FLPoison,系统分类并对比评估联邦学习中15种投毒攻击与17种防御策略,揭示其单独及相互有效性,为该领域提供设计原则与研究基础。
2025-02-06 cs.AI cs.CR cs.LG
PCDM: A Diffusion-Based Data Poisoning Attack Against Federated Learning Systems
Beijing Jiaotong University(北京交通大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
本文提出基于扩散的数据污染框架,通过Poisoning-Oriented Conditional Diffusion Model实现对联邦学习系统中局部数据污染的精细控制,同时保证攻击效果与隐蔽性。
2026-05-15 cs.CR cs.DC
RFLPA: A Robust Federated Learning Framework against Poisoning Attacks with Secure Aggregation
National University of Singapore(新加坡国立大学)
针对安全聚合与投毒防御不兼容问题,本文提出RFLPA框架,利用余弦相似度、可验证打包Shamir秘密共享和新型点积聚合实现鲁棒防御,并较BREA降低逾75%开销。
2024-10-26 cs.AI cs.CR
PPFPL: Cross-silo Privacy-preserving Federated Prototype Learning Against Data Poisoning Attacks
本文提出PPFPL框架,通过原型更新和同态加密安全聚合,在保护隐私的同时提升跨孤岛联邦学习对投毒Non-IID数据的鲁棒性。
2025-09-22 cs.CR cs.DC
Federated Learning in Adversarial Environments: Testbed Design and Poisoning Resilience in Cybersecurity
Department of Information Science and Technology(信息科学与技术系);Technology University at Albany, SUNY, New York, USA(阿尔巴尼州立大学技术学院,纽约,美国)
本文设计实现了一个联邦学习测试床,用于网络安全应用,评估其对污染攻击的鲁棒性。通过案例研究展示了测试床在检测异常和保护关键基础设施方面的能力。
2025-04-03 cs.CR cs.DC cs.LG
Stealthy Poisoning Attacks Bypass Defenses in Regression Settings
IBM Research Europe, Portal, First Floor Trinity Business School, Trinity College Dublin(IBM欧洲研究院,波特尔大楼,特里尼蒂商务学校,特里尼蒂学院都柏林);Imperial College London, South Kensington Campus(伦敦帝国理工学院,南肯辛顿校区);Universidad de Alcalá de Henares, Escuela Politécnica Superior(阿尔卡萨大学,工程技术学院);Defence Science and Technology Laboratory (DSTL), Porton Down, Salisbury(国防科学与技术实验室(DSTL),波特恩道,萨里)
本文提出了一种隐秘污染攻击的新方法,并开发了BayesClean防御机制,以提升回归模型在面对隐秘攻击时的鲁棒性。
2026-03-02 cs.AI cs.CR cs.LG
Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院)
虽然最近的研究表明,联邦学习(FL)可能容易受到受损害的客户端的中毒攻击,但它们对生产FL系统的真正影响尚未完全了解。在这项工作中,我们的目标是通过列举所有可能的威胁模型,中毒的变化和对手的能力,对FL中毒攻击开发一个全面的系统化。我们特别把重点放在无针对性的中毒攻击上,因为我们认为它们与生产FL部署密切相关。我们提出了一个批判性的分析,无针对性的中毒攻击在实际的,生产FL环境下,仔细描述了一套现实的威胁模型和对抗能力。我们的研究结果是相当令人惊讶的:与既定的信念相反,我们表明,FL是非常强大的实践中,即使使用简单,低成本的防御。我们甚至更进一步,提出了新颖的,最先进的数据和模型中毒攻击,并通过在三个基准数据集上进行的一系列广泛的实验,展示了在存在简单防御机制的情况下,有效的中毒攻击是如何进行的。我们的目标是纠正以前的误解,并提供具体的指导方针,对这个主题进行更准确(和更现实)的研究。
2021-12-13 cs.CR cs.DC cs.LG
Securing Federated Sensitive Topic Classification against Poisoning Attacks
针对GDPR敏感URL联邦分类易受投毒攻击的问题,提出基于主观逻辑与残差检测的鲁棒聚合方案,并通过理论、仿真和真实用户实验验证其高准确率与抗攻击能力。
2022-10-28 cs.CR cs.DC
Poisoning Attacks and Defenses to Federated Unlearning
ShanghaiTech University(上海科技大学);Xidian University(西安电子科技大学);North Carolina State University(北卡罗来纳州立大学);University of North Texas(北德克萨斯大学);University of Louisville(路易斯维尔大学)
本文提出首个针对联邦遗忘的投毒攻击BadUnlearn及可证明鲁棒的防御框架UnlearnGuard,通过服务器估计和过滤客户端更新,确保遗忘模型接近从头训练的模型。
2025-01-29 cs.CR cs.DC cs.LG
Tracing Back the Malicious Clients in Poisoning Attacks to Federated Learning
Duke University(杜克大学);University of Louisville(路易斯维尔大学);University of California, Los Angeles(加州大学洛杉矶分校)
针对联邦学习投毒攻击,提出首个投毒取证方法FLForensics,在训练防御失效后追溯恶意客户端,理论保证区分良恶,实验验证五个基准数据集上的有效性。
2025-10-14 cs.CR cs.CV
Covert Communication Based on the Poisoning Attack in Federated Learning
Sichuan Normal University(四川师范大学)
针对联邦学习模型聚合破坏客户端嵌入信息的问题,提出一种基于投毒攻击的隐蔽通信方法,实现两客户端间100%准确传输,并证明其隐蔽、鲁棒且现有防御难以应对。
2023-06-02 cs.CR cs.LG