Virus: Harmful Fine-tuning Attack for Large Language Models Bypassing Guardrail Moderation
Georgia Institute of Technology(佐治亚理工学院)
本文提出名为Virus的有害微调攻击方法,通过微调修改有害数据绕过护栏审核,泄漏率达100%且攻击性能优异,揭示了依赖护栏审核无法解决LLMs固有的安全问题。
2025-01-29 cs.AI cs.CL cs.CR
A Survey on Model Extraction Attacks and Defenses for Large Language Models
University of Notre Dame(圣约翰大学);Florida State University(佛罗里达州立大学);Northwestern University(西北大学);Duke University(杜克大学);University of Southern California(南加州大学)
本综述系统梳理了针对大型语言模型的模型提取攻击与防御方法,提出分类体系与评估指标,并指出集成攻击与自适应防御等未来研究方向。
2025-06-26 cs.AI cs.CR cs.LG
SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses
University of Connecticut(康涅狄格大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Independent(独立研究者)
研究大语言模型提示安全问题,提出相关分类法,形式化评估元数据,发布模块化平台,通过匹配评估揭示多种因素对安全结论有重大影响,支持可重复、成本感知且基于分类法的评估。
2026-10-20 cs.AI cs.CR
LLM Security: Vulnerabilities, Attacks, Defenses, and Countermeasures
Department of Computer Science and Artificial Intelligence, University of Granada(计算机科学与人工智能系,格拉纳达大学)
本综述系统分类了LLMs在训练与部署阶段面临的攻击及基于预防与检测的防御机制,评估了防御有效性,为保护LLMs提供了结构化框架并指出了未来研究方向。
2025-05-02 cs.AI cs.CR cs.LG
Attack and defense techniques in large language models: A survey and new perspectives
School of Computer Engineering, Jimei University, Xiamen, China(集美大学计算机工程学院);College of Science, Mathematics and Technology, Wenzhou-Kean University, Wenzhou, China(温州市凯恩大学科学、数学与技术学院);School of Smart Education, Jiangsu Normal University, Xuzhou, China(江苏师范大学智能教育学院)
本文系统综述了大型语言模型中的攻击与防御技术,将攻击分为对抗提示、优化攻击、模型窃取及应用攻击,并分析了基于预防和检测的防御策略,指出了自适应防御、可解释安全技术和标准化评估等开放性问题。
2025-05-02 cs.AI cs.CL cs.CR
An Embarrassingly Simple Defense Against LLM Abliteration Attacks
King Abdullah University of Science and Technology(卡布斯大学)
提出一种通过构建扩展拒绝数据集并微调模型,将拒绝信号分散至多个标记位置,从而有效抵御abliteration攻击,保持高拒绝率并增强鲁棒性的简单防御方法。
2025-10-07 cs.AI cs.CL cs.LG
A Critical Evaluation of Defenses against Prompt Injection Attacks
Duke University(杜克大学);The Pennsylvania State University(宾夕法尼亚州立大学);UC Berkeley(伯克利大学)
本文批判性评估提示注入攻击防御,提出从有效性和通用实用性两个维度评估,发现现有防御措施在原则性方法下并不如先前报告成功,为未来防御评估提供基础。
2025-05-23 cs.AI cs.CR
Safety Anchor: Defending Harmful Fine-tuning via Geometric Bottlenecks
Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出安全瓶颈正则化(SBR),通过几何瓶颈层限制有害查询的隐藏状态,以对抗有害微调攻击,实验表明单个安全锚即可显著降低有害分数。
2026-05-08 cs.AI cs.CL cs.CR
May I have your Attention? Breaking Fine-Tuning based Prompt Injection Defenses using Architecture-Aware Attacks
UC San Diego(加州大学圣迭戈分校)
本文提出一种基于注意力的攻击算法,揭示了现有白盒提示注入防御的不足,攻击成功率高达85-95%
2025-12-17 cs.AI cs.CL cs.CR
SafeSteer: A Decoding-level Defense Mechanism for Multimodal Large Language Models
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Kuaishou Technology(快手科技);School of Computer Science and Technology, Beihang University(北航计算机科学与技术学院);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Chongqing University(重庆大学);Wuhan University(武汉大学)
本文提出SafeSteer,通过解码阶段的轻量探针和模态语义对齐向量,提升多模态大语言模型的安全性,实验表明其能提升33.40%的安全性而不需微调。
2026-05-12 cs.AI
Large Language Models are Vulnerable to Bait-and-Switch Attacks for Generating Harmful Content
Stanford University(斯坦福大学)
本文揭示了大型语言模型的安全输出可通过简单的查找替换事后操纵转化为有害内容,指出仅关注逐字输出安全性不足,需同时考虑事后转换风险。
2024-02-21 cs.AI cs.CL
Learn to Disguise: Avoid Refusal Responses in LLM's Defense via a Multi-agent Attacker-Disguiser Game
College of Computer, National University of Defense Technology(国防科技大学计算机学院);School of Information Science and Technology, Guangdong University of Foreign Studies(广东外语外贸大学信息科学与技术学院);College of Science, National University of Defense Technology(国防科技大学理学院)
针对大模型拒绝式防御易被攻击者识别的问题,本文提出多智能体攻击者-伪装者博弈框架,通过博弈策略优化和课程学习隐藏防御意图,并可适配任意黑盒大模型。
2024-04-03 cs.AI cs.CL
MetaDefense: Defending Finetuning-based Jailbreak Attack Before and During Generation
Chinese University of Hong Kong(香港中文大学)
MetaDefense提出两阶段防御框架,在生成前和生成中检测有害查询与部分响应,显著优于现有方法,有效防御基于微调的越狱攻击。
2025-10-09 cs.AI cs.CL cs.CR
Safer Content or Firmer Refusals? A Hybrid Perturbation Defense for Alignment under Harmful Fine-tuning
University of Louisville(路易斯维尔大学)
针对有害微调攻击,提出VaccineBooster混合防御,结合嵌入扰动与梯度衰减,在Llama-2-7B上实现最低有害内容评分0.315,同时揭示内容安全与拒绝保留之间的权衡。
2026-09-30 cs.AI cs.CR cs.IR
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University(密歇根州立大学)
在对抗攻击下,时间序列回归和分类是脆弱的。另一方面,对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中,各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行,具有三个对抗攻击和一个对抗防御。根据调查结果,所有模型,特别是GRU和RNN,似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley(加州大学伯克利分校)
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现,我们可以构建对抗性的例子,只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
How Jailbreak Defenses Work and Ensemble? A Mechanistic Investigation
Fudan University(复旦大学);University of Southern California(南加州大学)
本文将越狱防御重构为二分类问题,识别安全偏移与有害性判别两种机制,并提出机制间与机制内集成策略,在 LLaVA-1.5 上提升安全性或优化安全-有用性权衡。
2025-02-20 cs.AI cs.CL cs.CR
SAFEGuard: Detect Optimization-Based Jailbreak Attacks Through Harmful Semantic Analysis and Fluency Measurement
Australian Institute for Machine Learning(澳大利亚机器学习研究所);Adelaide University(阿德莱德大学);Monash University(莫纳什大学)
SAFEGuard通过混合流畅度测量和有害语义分析,统一检测基于优化的越狱攻击,显著提升检测准确性。
2026-09-09 cs.AI cs.CR cs.LG
Mitigating Gradient-based Adversarial Attacks via Denoising and Compression
Purdue University(普渡大学)
对深度神经网络的基于恶意的对抗攻击构成了严重的威胁,因为它们可以通过向任何网络的测试数据添加不可察觉的扰动来部署,并且它们引入的风险无法通过网络的原始训练性能来评估。去噪和降维是两种不同的方法,已经被独立地研究来对抗这种攻击。虽然去噪提供了针对攻击的特定性质定制防御的能力,但降维提供了潜在地去除先前看不见的扰动的优势,同时减少了被防御网络的训练时间。我们提出的战略,结合这两种防御机制的优势。首先,我们提出了级联防御,其中包括去噪,然后降维。为了减少防御的训练时间,在性能上进行小的权衡,我们提出了隐藏层防御,它涉及将去噪自动编码器的编码器的输出馈送到网络中。此外,我们讨论了如何适应攻击这些防御可能会变得显着薄弱时,使用替代防御,或当没有使用防御。在这种情况下,我们提出了一个新的度量来评估防御措施的自适应攻击的敏感性修改的防御。最后,我们提出了一个指导方针,建立一个有序的剧目防御,又名。防御基础设施,在攻击策略不确定的情况下,适应有限的计算资源。
2021-04-03 cs.AI cs.CR cs.LG
Towards a Defense Against Federated Backdoor Attacks Under Continuous Training
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
在联邦学习(FL)中,后门攻击是危险且难以预防的,其中训练数据长时间来自不受信任的客户端。出现这些困难的原因是:(a)FL中的防御者无法访问原始训练数据,以及(b)我们发现的一种称为后门泄漏的新现象导致不断训练的模型最终由于防御机制中的累积错误而遭受后门。我们提出了影子学习,一个框架,用于抵御后门攻击在FL设置下的远程训练。影子学习并行训练两个模型:主干模型和影子模型。骨干是在没有任何防御机制的情况下训练的,以获得在主要任务上的良好表现。影子模型将恶意客户端的过滤与早期停止相结合,以控制攻击成功率,即使数据分布发生变化。我们从理论上激励我们的设计和实验表明,我们的框架显着提高现有的防御后门攻击。
2023-01-31 cs.AI cs.CR cs.LG
Open-Weight LLM Fine-Tuning Defenses are Susceptible to Simple Attacks
Carnegie Mellon University(卡内基梅隆大学);Simons Institute, UC Berkeley(Simons研究所,伯克利大学)
本文发现针对开源权重大语言模型的防御措施易受abliteration和prefilling等低成本攻击,并提出abliteration-resistant tuning (ART) 方法将攻击成功率降低10%-20%。
2026-10-08 cs.CR cs.LG
BaThe: Defense against the Jailbreak Attack in Multimodal Large Language Models by Treating Harmful Instruction as Backdoor Trigger
针对多模态大语言模型易受图像注入有害内容越狱攻击的问题,提出BaThe方法,将有害指令视为后门触发器并嵌入虚拟拒绝提示,实现有效防御且对模型性能影响小。
2025-04-22 cs.CR
A Partial Break of the Honeypots Defense to Catch Adversarial Attacks
Google Brain(谷歌大脑)
最近的一项防御建议将“蜜罐”注入神经网络,以检测对抗攻击。我们通过将检测真阳性率降低到0%和检测AUC降低到0.02来打破这种防御的基线版本,保持原始的失真界限。原始论文的作者已经修改了CCS'20论文中的辩护,以减轻这种攻击。为了帮助进一步的研究,我们在https://nicholas.carlini.com/code/ccs_honeypot_break上发布了完整的2.5小时逐行扫描屏幕记录的攻击过程。
2020-09-23 cs.CR cs.LG
Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院)
近年来,已经提出了几种对抗对抗ML攻击的移动目标防御(MTD)。MTD声称通过定期改变防御的某些元素(例如循环配置)来增加攻击者进行攻击的难度。为了检验这些说法,我们首次研究了几种最新的MTD对应用于恶意软件检测领域的对抗性ML攻击的有效性。在不同的威胁模型下,我们证明了可转移性和查询攻击策略可以通过跨Android和Windows的现有和新颖的攻击策略来实现对这些防御的高水平规避。我们还表明,指纹识别和侦察是可能的,并演示了攻击者如何获得关键的防御超参数以及如何产生预测的信息。基于我们的研究结果,我们提出了关键的建议,为今后的工作,有效的MTD的对抗攻击在ML为基础的恶意软件检测。
2023-02-01 cs.CR cs.LG
The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections
OpenAI;Anthropic;Google DeepMind(谷歌DeepMind);HackAPrompt;Northeastern University(东北大学);ETH Zürich(苏黎世联邦理工学院);AI Sequrity Company(AI安全公司);MATS Main contributors(MATS主要贡献者)
本文指出当前语言模型防御评估存在缺陷,通过系统调整和扩展通用优化技术构建自适应攻击,成功绕过12种近期防御(成功率多超90%),证明未来防御工作必须考虑更强攻击才能可靠验证鲁棒性。
2025-10-10 cs.CR cs.LG
Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nirma University(尼尔玛大学)
本文评估了针对 LLM 智能体间接提示注入攻击的八种防御机制,发现自适应攻击能绕过所有防御并保持超 50% 成功率,揭示了现有防御的脆弱性,强调了引入自适应攻击评估的必要性。
2025-03-04 cs.CR cs.LG
Dashed Line Defense: Plug-And-Play Defense Against Adaptive Score-Based Query Attacks
Harbin Institute of Technology(哈尔滨工业大学)
本文提出Dashed Line Defense,一种即插即用的后处理方法,有效抵御自适应分数查询攻击,通过引入损失与对抗强度的模糊性,阻止攻击者适应策略,提升模型安全性。
2026-02-09 cs.CR cs.LG
Adversarial Attack and Defense on Point Sets
Shanghai Jiao Tong University(上海交通大学);Huawei Hisilicon(华为海思);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
3D点云数据在安全关键视觉任务中的实用性的出现(例如,ADAS)敦促研究人员更加关注3D表示和深度网络的鲁棒性。为此,我们开发了一个攻击和防御计划,致力于3D点云数据,防止3D点云操纵,以及追求噪声容忍的3D表示。通过逐点梯度扰动和对抗性点连接/分离,提出了一组新的3D点云攻击操作。然后,我们开发了一个灵活的扰动测量方案的三维点云数据检测潜在的攻击数据或噪声传感数据。值得注意的是,所提出的防御方法甚至可以有效地检测由直接针对防御的概念验证攻击生成的对抗性点云。针对对抗攻击在多个点云网络之间的可转移性问题,提出了一种动量增强的逐点梯度算法来提高攻击的可转移性.我们进一步分析了从对抗点云到网格CNN和逆的可转移性。在常见点云基准上的大量实验结果证明了所提出的3D攻击和防御框架的有效性。
2021-05-31 cs.AI cs.CR cs.CV
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley(加州大学伯克利分校);DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的,并且一旦训练就保持不变,即使攻击发生变化。我们认为,模型应该反击,并在测试时优化其对攻击的防御。我们提出了动态防御,以适应模型和测试过程中的输入,防御熵最小化(登特)。登特改变了测试,但没有训练,与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是,在$ε_\infty$ = 8/255的CIFAR-10上,Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
Evaluating Gradient Inversion Attacks and Defenses in Federated Learning
Princeton University(普林斯顿大学);Adobe Research(Adobe研究院)
梯度反转攻击(Gradient Inversion Attack)是联邦学习安全性和隐私保护面临的一种新威胁,恶意窃听者或协议参与者可以利用梯度反转攻击恢复(部分)客户端的隐私数据。本文评估了现有的攻击和防御。我们发现,一些攻击对设置做出了强烈的假设。放松这些假设可以大大削弱这些攻击。然后,我们评估了三个建议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄露和数据效用的权衡,并发现以适当的方式将它们结合起来会使攻击变得不那么有效,即使在最初的强假设下。我们还估计了每个评估防御下单个图像的端到端恢复的计算成本。我们的研究结果表明,目前可以通过轻微的数据实用程序损失来防御最先进的攻击,如潜在策略列表所示。我们的代码可在https://github.com/Princeton-SysML/GradAttack上获得。
2021-11-30 cs.CR cs.LG
Membership Inference Attacks and Defenses in Classification Models
Purdue University(普渡大学)
我们研究了对分类器的成员推理(MI)攻击,攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估,我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后,我们提出了一种针对MI攻击的防御方法,旨在通过故意降低训练精度来缩小差距。更具体地说,训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度,该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明,将这种方法与另一种简单的防御(混合训练)相结合,可以显着提高对MI攻击的最先进的防御能力,同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
StratDef: Strategic Defense Against Adversarial Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院)
提出基于移动目标防御的 StratDef 系统,通过动态策略化选择模型降低攻击可迁移性,并在多威胁级别下证明其优于现有恶意软件检测防御。
2023-04-24 cs.CR cs.LG
A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning
Deakin University(迪肯大学);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
针对联邦学习中难以检测的边缘情况模型投毒攻击,提出DataDefense方法,结合外部防御数据集与交替最小化策略训练检测器和客户端重要性模型,以极少样本实现显著的攻击成功率降低。
2024-08-14 cs.CR cs.LG
On Configurable Defense against Adversarial Example Attacks
The Chinese University of Hong Kong(香港中文大学)
基于深度神经网络(DNN)的机器学习系统已在许多应用中获得主流采用。然而,最近,DNN被证明容易受到对抗性示例攻击,并且对输入进行轻微扰动。现有的针对此类攻击的防御机制试图提高系统的整体鲁棒性,但它们不能区分不同的目标攻击,即使相应的影响可能会有很大的不同。为了解决这个问题,我们提出了一种新的可配置的防御机制,在这项工作中,我们能够灵活地调整系统的鲁棒性对不同的有针对性的攻击,以满足应用程序的要求。这是通过使用攻击敏感矩阵来细化DNN损失函数以表示不同目标攻击的影响来实现的。在CIFAR-10和GTSRB数据集上的实验结果证明了该方法的有效性。
2018-12-06 cs.CR cs.LG
Ellipsoid Control: A White-list Jailbreak Defense via Benign Latent Modeling
University of Technology Sydney(悉尼科技大学)
提出一种基于白名单视角的测试时防御方法Ellipsoid Control,通过拟合良性数据的各向异性椭球约束投影梯度下降,在任意输入上触发拒绝同时最小化良性潜在几何的扭曲,从而在增强安全性的同时保持模型效用。
2026-05-23 cs.CR
SHIELD: An Auto-Healing Agentic Defense Framework for LLM Resource Exhaustion Attacks
The University of Sydney(悉尼大学);Western Sydney University(西部悉尼大学);University of New South Wales(新南威尔士大学);University of Wollongong(沃林戈大学)
SHIELD通过多代理自愈机制有效应对LLM资源耗尽攻击,整合语义检索、模式匹配和LLM推理,实现动态知识更新和防御优化。
2026-01-27 cs.AI cs.CR
Data Reconstruction Attacks and Defenses: A Systematic Evaluation
Stanford University(斯坦福大学);New York University(纽约大学);Peking University(北京大学)
该研究将机器学习数据重构攻击问题视为逆问题,推导了两层神经网络重构误差的算法上界与匹配的信息论下界,定义了效用-隐私权衡评估指标,并提出强重构攻击以更新对防御方法强度的认知。
2025-03-22 cs.CR cs.LG
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland(萨尔大学)
后门攻击旨在将隐藏的后门嵌入到深度神经网络(DNN)中,使得被攻击的模型在良性样本上表现良好,而如果隐藏的后门被攻击者定义的触发器激活,则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下,例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击,已经有很多研究和不同的防御方法,其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中,我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
Attacks on the neural network and defense methods
本文研究针对音频神经网络的白盒攻击与数据投毒,考察FGSM、PGD、CW等方法,并基于Art-IBM和advertorch库探讨防御手段及准确率表现。
2024-12-29 cs.AI cs.CR
Attack and Defense of Deep Learning Models in the Field of Web Attack Detection
Chinatelecom Research Institute(中国电信研究院);School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院)
针对Web攻击检测领域深度学习模型的后门攻击研究空白,提出5种后门攻击方法及对应防御策略,测试显示攻击成功率超87%且可通过微调降低,为该领域攻防研究提供参考。
2024-06-18 cs.CR cs.LG
Textual Backdoor Attacks Can Be More Harmful via Two Simple Tricks
Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Jiangsu Normal University(江苏师范大学);Chongqing University(重庆大学)
后门攻击是深度学习中一种突发的安全威胁。在注入后门后,深度神经模型将在标准输入上正常运行,但一旦输入包含特定的后门触发器,则会给出对手指定的预测。在本文中,我们发现两个简单的技巧,可以使现有的文本后门攻击更有害。第一个技巧是在受害者模型的训练过程中增加一个额外的训练任务来区分中毒数据和干净数据,第二个技巧是使用所有干净的训练数据,而不是删除与中毒数据对应的原始干净数据。这两个技巧普遍适用于不同的攻击模型。我们在三种困难的情况下进行实验,包括干净的数据微调,低中毒率,标签一致性攻击。实验结果表明,这两种技巧可以显著提高攻击性能。本文展示了后门攻击的巨大潜在危害性。所有的代码和数据都可以在\url{https://github.com/thunlp/StyleAttack}上获得。
2022-10-19 cs.AI cs.CL cs.CR
Robust Multivariate Time-Series Forecasting: Adversarial Attacks and Defense Mechanisms
AWS AI Labs(亚马逊云科技人工智能实验室);Washington State University(华盛顿州立大学)
本文研究多元时间序列预测中的对抗攻击与防御,提出稀疏对抗攻击模式,并通过随机平滑扩展和对抗训练算法提升模型鲁棒性,实验验证其攻击有效且防御优于基线。
2023-04-14 cs.CR cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University(迪肯大学)
联邦学习(FL)能够在分布式客户端之间训练模型,而不会损害训练数据集的隐私,但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估,以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
Attack-Defense Quantification Based On Game-Theory
随着网络攻防技术的发展,网络环境越来越复杂。由于缺乏对网络攻防行为更准确的量化评估,无法对网络安全态势做出准确的评估。针对这一情况,提出了一个攻防随机博弈模型(ADSGM),分析了不同防御机制的不同安全性,并给出了相应的效用计算方法。通过一个案例分析,展示了主动防御的影响和攻击暴露的风险,证明了本文方法对攻防行为量化的有效性。本文填补了在攻防措施定量评估方面的空白,使攻防定量评估更加全面、准确。
2019-02-27 cs.CR
Certified Defenses for Data Poisoning Attacks
Stanford University(斯坦福大学)
根据用户提供的数据进行训练的机器学习系统容易受到数据投毒攻击,恶意用户注入虚假的训练数据,目的是破坏学习的模型。虽然最近的工作已经提出了一些攻击和防御,很少有人知道在面对一个坚定的攻击者的最坏情况下的防御损失。我们通过构建一个广泛的攻击家族的损失的近似上限来解决这个问题,首先进行离群值删除,然后进行经验风险最小化的防御者。我们的近似依赖于两个假设:(1)数据集足够大,足以保持训练和测试误差之间的统计集中,以及(2)干净(非中毒)数据中的离群值不会对模型产生强烈影响。我们的边界与通常几乎匹配上限的候选攻击配对,为我们提供了一个强大的工具来快速评估给定数据集的防御。从经验上讲,我们发现即使在简单的防御下,MNIST-1-7和Dogfish数据集也能抵御攻击,而相比之下,IMDB情感数据集只需添加3%的中毒数据,就可以将测试错误从12%提高到23%。
2017-11-24 cs.CR cs.LG
Random Noise Defense Against Query-Based Black-Box Attacks
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent AI Lab(腾讯人工智能实验室)
基于查询的黑盒攻击在实际应用中对机器学习模型造成了严重的威胁。在这项工作中,我们研究了一种轻量级的防御方法,称为随机噪声防御(RND),它添加适当的高斯噪声到每个查询。从理论上分析了RND算法对基于查询的黑盒攻击和相应的自适应攻击的有效性。我们的理论结果表明,RND的防御性能是由RND引起的噪声和攻击者的梯度估计或局部搜索添加的噪声之间的幅度比。大的幅度比导致RND更强的防御性能,这也是抵御自适应攻击的关键。基于我们的分析,我们进一步建议将RND与合理的高斯增强微调(RND-GF)相结合。它使RND能够向每个查询添加更大的噪声,同时保持干净的准确性,以在干净的准确性和防御性能之间获得更好的权衡。此外,RND可以灵活地与现有的防御方法相结合,以进一步提高对抗性鲁棒性,例如对抗性训练(AT)。在CIFAR-10和ImageNet上的大量实验验证了我们的理论发现以及RND和RND-GF的有效性。
2021-10-30 cs.CR cs.LG
Breaking the De-Pois Poisoning Defense
对机器学习模型的攻击,从它们的概念开始,就一直是一个非常持久和回避的问题,就像一个无休止的猫捉老鼠游戏。这种攻击的一个主要变体是中毒攻击,它可以间接操纵ML模型。多年来已经观察到,大多数提出的有效防御模型仅在攻击者不知道它们被使用时才有效。在本文中,我们表明,攻击不可知的德布瓦防御几乎是一个例外,这一规则。事实上,我们证明了它的脆弱性,最简单的白盒和黑盒攻击的攻击者知道的De-Pois防御模型的结构。从本质上讲,De-Pois防御依赖于批评者模型,该模型可用于在将有毒数据传递给目标模型之前检测有毒数据。在我们的工作中,我们通过复制批评者模型,然后同时对批评者和目标模型执行组合梯度符号攻击来打破这个中毒保护层-允许我们绕过批评者防火墙来毒害目标模型。
2022-04-03 cs.CR cs.LG
Downscaling Attack and Defense: Turning What You See Back Into What You Get
Center for Security and Emerging Technology, Georgetown University(乔治敦大学安全与新兴技术中心);Georgetown University(乔治敦大学)
作为计算机视觉系统预处理的一部分,图像的嵌入易受攻击。可以创建图像,使得图像在机器视觉尺度下与其他尺度下完全不同,并且一些常见计算机视觉和机器学习系统的默认设置容易受到攻击。我们表明,防御是存在的,是微不足道的管理提供防御者意识到的威胁。这些攻击和防御有助于确立输入净化在机器学习中的作用。
2020-10-07 cs.AI cs.CR cs.CV
A Multi-Model Hybrid Defense Approach Against White-box Adversarial Attacks in Computer Network Traffic
Aligarh Muslim University(阿里格尔穆斯林大学)
研究针对计算机网络流量白盒对抗攻击,提出多模型混合防御方法,结合对抗训练和高斯数据增强,有效减轻FGSM和C&W攻击影响,提升攻击后NIDS准确率,为对抗机器学习安全研究提供方向。
2026-07-21 cs.CR cs.LG
PredCoin: Defense against Query-based Hard-label Attack
UT Dallas(德克萨斯大学达拉斯分校)
近年来,针对深度神经网络(DNN)提出了许多对抗攻击和防御方法。虽然它们中的大多数都处于白盒设置中,这是不切实际的,但一类新的基于查询的硬标签(QBHL)黑盒攻击对现实世界的应用构成了重大威胁(例如,Google Cloud、腾讯API)。到目前为止,还没有普遍的和实用的方法来防御这种攻击。本文提出并评估了PredCoin,这是一种实用且可推广的方法,可提供对QBHL攻击的鲁棒性。PredCoin毒化了梯度估计步骤,这是大多数QBHL攻击的重要组成部分。PredCoin成功识别了攻击者精心制作的梯度估计查询,并为输出引入了不确定性。大量的实验表明,PredCoin成功地抵御了四种最先进的QBHL攻击,同时保持了目标模型的整体准确性。PredCoin也被证明是强大和有效的,可以抵御几种防御感知攻击,这些攻击可能完全了解PredCoin的内部机制。
2021-02-04 cs.AI cs.CR
The best defense is a good offense: Countering black box attacks by predicting slightly wrong labels
ETH Zurich(苏黎世联邦理工学院)
对机器学习模型的黑盒攻击发生在攻击者尽管无法访问模型的内部工作原理,但可以通过模型盗窃成功地进行攻击。攻击者将训练模仿要攻击的模型的自己的替代模型。然后可以使用替代品来设计针对原始模型的攻击,例如通过对抗性样本。我们站在防御者的立场上,提出了一种方法,可以通过反击成功避免模型盗窃。具体来说,对于任何传入的查询,我们都会以一种使替代训练不可行的方式稍微扰动我们的输出标签分布。我们证明,扰动不影响我们的模型的正常使用,但结果在一个有效的防御攻击的基础上模型盗窃。
2017-11-15 cs.CR cs.LG
Adversarial Machine Learning: Attacks, Defenses, and Open Challenges
AI Solutions Architect Expertise in Scalable Web Systems, Database Architecture, API Development
本文针对AI系统易受输入或训练数据操纵的脆弱性,全面分析对抗性机器学习的规避与投毒攻击,形式化防御机制并探讨自适应威胁模型下的挑战,还指出认证稳健性等开放问题。
2025-02-08 cs.AI cs.CR
Adversarial Learning Inspired Emerging Side-Channel Attacks and Defenses
对计算系统的脆弱性的不断发展的攻击需要新颖的防御策略来跟上更新的攻击。本报告讨论了以前关于侧信道攻击(SCA)以及针对缓存和物理邻近攻击的防御工作。然后,我们讨论了所提出的熵盾作为对定时SCA的防御,并解释了我们如何将其扩展到基于硬件的加密应用程序的实现,如“熵盾FPGA”。然后,我们讨论为什么我们要建立新的攻击,希望提出更好的防御策略。
2021-04-08 cs.CR
PECAN: A Deterministic Certified Defense Against Backdoor Attacks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出 PECAN,通过对互不相交数据分区上训练的模型集合使用现成测试时规避认证,实现高效确定性后门防御,并在图像与恶意软件任务上显著提升防御强度、效率并降低攻击成功率。
2024-05-20 cs.CR cs.LG