Using Intuition from Empirical Properties to Simplify Adversarial Training Defense
New Jersey Institute of Technology（新泽西理工学院）；QCRI（卡塔尔计算研究所）；Hamad bin Khalifa University（哈马德·本·哈利法大学）
由于神经网络分类器对复杂分布具有惊人的良好表示能力，因此被广泛应用于自然语言处理、计算机视觉和网络安全等领域。在最近的作品中，人们注意到了对抗性例子的存在。这些对抗性的例子打破了NN分类器的基本假设，即环境是无攻击的，并且很容易误导经过充分训练的NN分类器，而不会发生明显的变化。在防御方法中，对抗性训练是一种流行的选择。然而，使用单步对抗性示例（Single-Adv）的原始对抗性训练不能防御迭代对抗性示例。虽然使用迭代对抗示例的对抗训练（Iter-Adv）可以防御迭代对抗示例，但它消耗太多的计算能力，因此不可扩展。在本文中，我们分析了Iter-Adv技术，并确定了它们的两个经验性质。基于这些属性，我们提出了改进方案，增强了Single-Adv的竞争力。通过初步评估，我们表明，所提出的方法提高了最先进的（SOTA）Single-Adv防御方法对迭代对抗示例的测试准确率高达16.93%，同时降低了28.75%的训练成本。
2019-06-27 cs.CR cs.CV cs.LG
Transforming Cyber Defense: Harnessing Agentic and Frontier AI for Proactive, Ethical Threat Intelligence
本文探讨智能体AI与前沿AI如何通过重构网络杀伤链、增强威胁情报及嵌入伦理治理，构建融合实时监控与自动化响应的主动、弹性网络防御体系。
2025-02-28 cs.CR
Breaking the False Sense of Security in Backdoor Defense through Re-Activation Attack
National University of Singapore（新加坡国立大学）
本文发现现有后门防御策略仅使后门休眠而未消除，提出通过再激活攻击利用微小扰动重新激活休眠后门，揭示了防御模型的虚假安全感，强调了设计更鲁棒防御机制的紧迫性。
2024-05-30 cs.CV
Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense
University of Sydney（悉尼大学）；Seoul National University（首尔大学）
针对MIM预训练模型易受对抗攻击的问题，本文提出基于噪声图像建模的De³防御方法，利用预训练解码器去噪，通过随机采样噪声超参数实现准确率与鲁棒性的可调权衡，性能与对抗训练相当且更具可调性。
2023-11-09 cs.CV
Improved Adversarial Robustness via Logit Regularization Methods
University of Auckland（奥克兰大学）
虽然在使神经网络有效地处理各种视觉任务方面取得了很大进展，但大多数模型都非常脆弱。这种脆弱性表现为对输入的小的、精心选择的扰动，称为对抗性示例，这代表了野外学习视觉模型的安全威胁--在计算机视觉的安全关键型应用中，应该负责任地防御这种威胁。在本文中，我们倡导并实验性地研究了使用一系列logit正则化技术作为对抗性防御，该技术可以与其他方法结合使用，以很少或没有边际成本的方式创建对抗性鲁棒性。我们还证明了最近的一种对抗性防御机制的有效性实际上可以归因于logit正则化，并展示了如何提高其对白盒和黑盒攻击的防御能力，在此过程中创建更强大的黑盒攻击。我们在三个数据集上验证了我们的方法，包括无梯度攻击和基于梯度的迭代攻击的结果，这些攻击多达1,000步。
2019-06-10 cs.CR cs.LG stat.ML
Your Out-of-Distribution Detection Method is Not Robust!
Sharif University of Technology（谢里夫理工大学）
由于识别域外样本在可靠性和安全性方面的重要性，分布外（OOD）检测最近获得了大量关注。尽管OOD检测方法已经有了很大的进步，但它们仍然容易受到对抗性示例的影响，这违背了它们的目的。为了缓解这个问题，最近提出了几种防御措施。然而，这些努力仍然无效，因为它们的评估是基于小扰动大小或弱攻击。在这项工作中，我们重新检查这些防御措施，以防止对具有较大扰动大小的输入/输出数据的端到端PGD攻击，例如CIFAR-10数据集的常用$ε=8/255$。令人惊讶的是，几乎所有这些防御在对抗性设置下的表现都比随机检测差。接下来，我们的目标是提供一个强大的OOD检测方法。在理想的防御中，训练应该使模型暴露于几乎所有可能的对抗性扰动，这可以通过对抗性训练来实现。也就是说，这种训练扰动应该基于分布内和分布外样本。因此，与标准设置中的OOD检测不同，访问OOD以及分布中的样本在对抗训练设置中听起来是必要的。这些提示引导我们采用生成式OOD检测方法，例如OpenGAN，作为基线。随后，我们提出了逆向训练鉴别器（ATD），它利用预先训练的鲁棒模型来提取鲁棒特征，并利用生成器模型来创建OOD样本。使用ATD与CIFAR-10和CIFAR-100作为分布内数据，我们可以显着优于所有以前的方法在鲁棒的AUROC，同时保持高标准的AUROC和分类精度。代码存储库可在https://github.com/rohban-lab…
2022-09-30 cs.CV cs.LG
Pelta: Shielding Transformers to Mitigate Evasion Attacks in Federated Learning
University of Neuchâtel（纳沙泰尔大学）；University of Rennes 1（雷恩第一大学）；Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究所雷恩分所）
本文提出Pelta，利用可信执行环境屏蔽Transformer反向传播部分链式法则，以防御联邦学习中的恶意对抗样本探测，并在集成模型上验证了其对自注意力梯度攻击的有效性。
2023-08-08 cs.CR cs.CV cs.LG
Bag of Tricks for Adversarial Training
Tsinghua University（清华大学）
对抗性训练（AT）是提高模型鲁棒性的最有效策略之一。然而，最近的基准测试表明，大多数提出的改进AT的效果不如简单地提前停止训练过程。这个违反直觉的事实促使我们研究数十种AT方法的实现细节。令人惊讶的是，我们发现基本设置（例如，权重衰减、训练时间表等）在这些方法中使用的是高度不一致的。在这项工作中，我们对CIFAR-10进行了全面的评估，重点关注了大多数被忽视的训练技巧和超参数对对抗训练模型的影响。我们的经验观察表明，对抗鲁棒性对一些基本训练设置比我们想象的要敏感得多。例如，稍微不同的权重衰减值可以使模型鲁棒准确度降低超过7%，这可能会抵消由所提出的方法引起的潜在提升。我们总结了一个基线训练设置，并重新实施以前的防御，以实现新的最先进的结果。这些事实也呼吁在基准测试防御时更多地关注被忽视的混杂因素。
2021-03-31 cs.CV cs.LG stat.ML
Attention Eclipse: Manipulating Attention to Bypass LLM Safety-Alignment
University of California, Riverside（加州大学河滨分校）；Queen’s University Belfast（贝尔法斯特女王大学）
该研究提出名为Attention Eclipse的越狱攻击方法，通过操纵大语言模型注意力、利用注意力损失增强现有越狱算法效果，提升攻击成功率并降低生成成本，为模型安全防御提供参考。
2025-02-21 cs.AI cs.CR cs.LG
TriQDef: Disrupting Semantic and Gradient Alignment to Prevent Adversarial Patch Transferability in Quantized Neural Networks
NYU Abu Dhabi（纽约大学阿布扎赫尔分校）；Technology Innovation Institute（技术创新研究所）
TriQDef提出三层量化感知防御框架，通过特征失对齐、梯度感知不协调和联合训练破坏对抗补丁跨比特宽度迁移，在CIFAR-10和ImageNet上将ASR降低超40%并保持高干净准确率。
2025-08-16 cs.CR cs.CV
Combating Adversarial Misspellings with Robust Word Recognition
Carnegie Mellon University（卡内基梅隆大学）
为了对抗对抗性拼写错误，我们建议在下游分类器之前放置一个单词识别模型。我们的单词识别模型建立在RNN半字符架构的基础上，引入了几种新的退避策略来处理罕见和不可见的单词。训练识别随机添加，下降，交换和键盘错误损坏的单词，我们的方法实现了32%的相对（和3.3%的绝对）错误减少香草半字符模型。值得注意的是，我们的管道赋予下游分类器鲁棒性，优于对抗训练和现成的拼写检查器。与针对情感分析进行微调的BERT模型相比，单个敌对选择的字符攻击将准确率从90.3%降低到45.8%。我们的防御系统可以将准确率恢复到75%。令人惊讶的是，更好的单词识别并不总是需要更强的鲁棒性。我们的分析表明，鲁棒性还取决于一个量，我们表示的灵敏度。
2019-08-29 cs.CL cs.CR cs.LG
Adversarial Examples Are a Natural Consequence of Test Error in Noise
Google Brain（谷歌大脑）
在过去的几年里，对抗性示例的现象-欺骗训练过的机器学习模型的恶意构造的输入-已经引起了研究界的注意，特别是当对手仅限于对正确处理的输入进行小修改时。不那么令人惊讶的是，图像分类器在随机损坏的图像上也缺乏人类水平的性能，例如具有加性高斯噪声的图像。在本文中，我们提供了经验和理论证据，这是同一个潜在现象的两种表现形式，建立了对抗鲁棒性和腐败鲁棒性研究计划之间的密切联系。这表明，提高对抗性鲁棒性应该与在更普遍和现实的图像损坏情况下提高性能齐头并进。根据我们的研究结果，我们建议未来的对抗性防御考虑使用Imagenet-C等基准来评估其方法对分布偏移的鲁棒性。
2019-01-29 cs.CV cs.LG stat.ML
A simple way to make neural networks robust against diverse image corruptions
University of Tübingen（蒂宾根大学）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）
人类的视觉系统对各种自然发生的变化和破坏（如雨或雪）非常强大。相比之下，现代图像识别模型的性能大大降低时，以前看不见的腐败进行评估。在这里，我们证明了一个简单但经过适当调整的加性高斯和斑点噪声训练可以令人惊讶地很好地推广到看不见的腐败，很容易达到腐败基准ImageNet-C（使用ResNet 50）和MNIST-C的最新技术水平。我们建立在这些强大的基线结果之上，并表明针对不相关的最坏情况噪声分布的识别模型的对抗性训练会导致性能的额外提高。这种正则化可以与以前提出的防御方法相结合，以进一步改进。
2020-07-22 cs.CV cs.LG stat.ML
A Theoretical View of Linear Backpropagation and Its Convergence
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文从理论角度分析了线性反向传播LinBP在对抗攻击和模型训练等任务中的收敛性，发现在相同超参数设置下LinBP比传统BP收敛更快，并通过大量实验验证了该理论结果。
2024-01-10 cs.CR cs.CV cs.LG
The Cyber Immune System: Harnessing Adversarial Forces for Security Resilience
本文借鉴环境流行病学和网络安全，将寄生虫和网络利用者视为系统压力测试者，强调对抗性参与对强化安全框架的必要性，并以DOGE网站入侵事件为案例。
2025-02-24 cs.CR cs.SY eess.SY
Certified Defenses for Adversarial Patches
University of Maryland, College Park（马里兰大学帕克分校）；Cornell University（康奈尔大学）
对抗性补丁攻击是针对现实世界计算机视觉系统的最实用的威胁模型之一。本文研究了针对补丁攻击的认证和经验防御。我们从一组实验开始，这些实验表明，大多数现有的防御系统，通过预处理输入图像来减轻对抗性补丁，很容易被简单的白盒对手破坏。基于这一发现，我们提出了第一个针对补丁攻击的认证防御，并提出了更快的训练方法。此外，我们用不同的补丁形状进行测试，获得了令人惊讶的良好的鲁棒性转移的形状，并提出了初步的结果认证防御稀疏攻击。我们的完整实现可以在https://github.com/Ping-C/certifiedpatchdefense上找到。
2020-09-25 cs.CR cs.LG stat.ML
Domain Knowledge Alleviates Adversarial Attacks in Multi-Label Classifiers
University of Siena（锡耶纳大学）；University of Florence（佛罗伦萨大学）；University of Cagliari（卡利亚里大学）
对基于机器学习的分类器的对抗攻击以及防御机制已在单标签分类问题的背景下得到广泛研究。在本文中，我们将注意力转移到多标签分类，其中关于所考虑的类别之间的关系的领域知识的可用性可以提供一种自然的方式来发现不连贯的预测，即，与位于训练数据分布之外的对抗性示例相关联的预测。我们探索这种直觉的一个框架中，一阶逻辑知识转换为约束，并注入到一个半监督学习问题。在这种设置下，约束分类器学习满足边缘分布上的领域知识，并且可以自然地拒绝具有不一致预测的样本。尽管我们的方法在训练过程中没有利用任何攻击知识，但我们的实验分析令人惊讶地揭示了领域知识约束可以有效地帮助检测对抗性示例，特别是如果攻击者不知道这些约束。
2021-12-29 cs.CR cs.LG stat.ML
Adversarial Robustness of Stabilized NeuralODEs Might be from Obfuscated Gradients
Hong Kong University of Science and Technology（香港科技大学）；University of California at Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
在本文中，我们介绍了一个可证明稳定的神经常微分方程（ODE）的架构，实现了非平凡的对抗性鲁棒性下的白盒对抗攻击，即使网络是自然训练。现有的大多数防御方法在抵御强白盒攻击时，为了提高神经网络的鲁棒性，需要对它们进行对抗性训练，从而在自然准确性和对抗性鲁棒性之间进行权衡。受动力系统理论的启发，我们设计了一个稳定的神经ODE网络SONet，它的ODE块是反对称的，并且被证明是输入输出稳定的。通过自然训练，SONet可以实现与最先进的对抗性防御方法相当的鲁棒性，而不会牺牲自然的准确性。即使用这样的ODE块仅替换ResNet的第一层也可以表现出鲁棒性的进一步改进，例如，在PGD-20（$\ell_\infty=0.031$）攻击下，对CIFAR-10数据集的自然准确率和鲁棒准确率分别为91.57%和62.35%，而用TRADES训练的ResNet对应结构的自然准确率和鲁棒准确率分别为76.29%和45.24%.为了理解这一令人惊讶的好结果背后的可能原因，我们进一步探索了这种对抗性鲁棒性背后的可能机制。我们表明，自适应步长数值ODE求解器，DOPRI 5，有梯度掩蔽效应，失败的PGD攻击，这是敏感的梯度信息的训练损失;另一方面，它不能欺骗CW攻击的强大梯度和SPSA攻击是梯度自由。这提供了一个新的解释，基于ODE网络的对抗性鲁棒性主要来自数值ODE求解器中的混淆梯度。
2021-06-02 cs.LG stat.ML
From Internal Diagnosis to External Auditing: A VLM-Driven Paradigm for Data-Free Online Backdoor Defense
The Chinese University of Hong Kong, Hong Kong（香港中文大学）；Sun Yat-sen University, China（中山大学）；Zhejiang University, China（浙江大学）
提出一种从内部诊断到外部语义审计的范式转变，利用通用视觉语言模型（VLM）作为外部语义门控，通过PRISM框架（原型精炼与统计监控检查）实现数据自由的在线后门防御，在17个数据集和11种攻击类型上达到最先进性能。
2026-05-29 cs.CR cs.LG
Opening the Doors to Dynamic Camouflaging: Harnessing the Power of Polymorphic Devices
广泛的全球化时代导致整个IC供应链出现了以硬件为中心的安全威胁。先前的防御措施，如逻辑锁定、布局加密和分割制造，已经被广泛研究，以在不同阶段防止知识产权（IP）盗版。在这项工作中，我们提出了一种新的技术，以阻止知识产权逆向工程在所有阶段的供应链，即，铸造厂、测试设施和最终用户。为此，我们利用多功能，制造后的可重构性，和运行时的多态性的自旋为基础的设备，特别是磁电自旋轨道（MESO）设备。利用这些独特的属性，动态封装被证明是最先进的分析SAT为基础的攻击和测试数据挖掘攻击的弹性。由于操作的根本差异，在CMOS中不提供这种动态可重新配置性。对于这种基于MESO的封装，由于MESO器件的节能电场驱动反转，我们还预计与其他基于自旋的封装方案相比，在功率、性能和面积方面会有巨大的节省。基于全面的实验，我们概述了动态封装在确保供应链端到端的承诺，以及一个案例研究，证明了动态封装在确保容错图像处理IP的有效性。
2020-07-08 cond-mat.mes-hall cs.CR cs.ET
One Prompt Word is Enough to Boost Adversarial Robustness for Pre-trained Vision-Language Models
King’s College London（伦敦国王学院）；Imperial College London（帝国理工学院）
本文提出APT，通过为冻结的CLIP等VLM学习仅含一个额外词的鲁棒文本提示，在15个数据集和多种数据稀疏设置下显著提升准确率与对抗鲁棒性。
2024-03-04 cs.AI cs.CV cs.LG
DistillGuard: Evaluating Defenses Against LLM Knowledge Distillation
DistillGuard通过系统评估发现，现有输出层面防御措施在对抗大语言模型知识蒸馏时效果有限，尤其在数学推理任务中表现突出，揭示了防御措施的依赖性和任务特定性。
2026-03-08 cs.AI cs.CL cs.CR
Harnessing Task Overload for Scalable Jailbreak Attacks on Large Language Models
School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院）；Center for Long-term Artificial Intelligence（长期人工智能中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
该研究提出一种通过字符映射表查找解码的资源密集前置任务占用LLM计算资源的可扩展越狱攻击，无需梯度与人工提示工程即有高成功率，揭示了LLM安全设计的资源相关漏洞。
2024-10-05 cs.CL cs.CR
A Static-Loop-Current Attack against the KLJN Secure Key Exchange System
提出了一种针对Kirchhoff定律-Johnson-Noise（KLJN）密钥分发系统的新的攻击方法。该攻击是基于利用寄生直流电压源的环路。在实际系统中，由于接地回路和/或电磁干扰（EMI），在低频限制下经常存在相关情况，特别是当通信距离较远时。令人惊讶的是，通常的基于电流/电压比较的防御方法暴露了主动攻击或寄生特征（例如允许信息泄漏的导线电阻），但在这里不起作用。攻击被成功证明。提出了针对它的防御方法。
2018-10-03 cs.CR
Dissecting Distribution Inference
University of Virginia（弗吉尼亚大学）；University of Michigan（密歇根大学）
本文提出一种在多数场景下优于已知最佳白盒攻击的新型黑盒分布推断攻击，并据此评估不同攻击者知识假设及防御，发现简单重采样防御高度有效。
2024-04-05 cs.AI cs.CR cs.LG
Password Strength Signaling: A Counter-Intuitive Defense Against Password Cracking
我们引入密码强度信息信令作为一种新颖的，但反直觉的，防御机制，对密码破解攻击。最近的违规行为使数十亿用户密码暴露在离线密码破解攻击的危险威胁中。离线攻击者可以快速检查数百万（有时数十亿/万亿）的密码猜测，方法是将其哈希值与从被破坏的身份验证服务器窃取的哈希值进行比较。攻击者只受到他愿意投入的资源的限制。我们的关键思想是让认证服务器存储一个关于每个用户密码强度的（噪声）信号，以便离线攻击者找到。令人惊讶的是，我们表明，信号的噪声分布往往可以调整，使一个理性的（利润最大化）攻击者将破解更少的密码。信令方案利用了密码破解不是零和游戏的事实，即，攻击者的利润是由破解的密码的值减去总猜测成本给出的。因此，一个定义良好的信令策略将鼓励攻击者通过破解更少的密码来减少他的猜测成本。我们使用进化算法来计算最佳的信号方案的后卫。作为一个概念验证，我们评估我们的机制在几个密码数据集，并表明它可以减少破解密码的总数高达$12\%$（分别。$5\%$）的所有用户在防御离线（分别为在线）攻击。
2021-08-16 cs.CR cs.GT
A Review of the Duality of Adversarial Learning in Network Intrusion: Attacks and Countermeasures
本文综述了网络入侵中对抗学习的攻击与防御，涵盖数据投毒、测试时规避和逆向工程，并指出真实攻击数据稀缺等研究空白，为构建韧性网络防御奠定基础。
2024-12-18 cs.CR cs.ET
PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs
Northwestern University（西北大学）；University of the Chinese Academy of Sciences（中国科学院大学）
本文提出 PROMPTFUZZ 框架，利用模糊测试技术系统评估大型语言模型抵御提示注入攻击的鲁棒性，在真实竞赛中取得前 0.14% 的成绩，并构建数据集微调模型，揭示了持续进行鲁棒性测试的重要性。
2025-04-03 cs.AI cs.CR
A Direct Approach to Robust Deep Learning Using Adversarial Networks
Stevens Institute of Technology（史蒂文斯理工学院）；Nokia Bell Labs（诺基亚贝尔实验室）
深度神经网络已被证明在许多经典的机器学习问题中表现良好，特别是在图像分类任务中。然而，研究人员发现，神经网络很容易被愚弄，而且它们对人类无法察觉的小扰动出奇地敏感。精心制作的输入图像（对抗性示例）可以迫使训练有素的神经网络提供任意输出。在训练过程中包含对抗性示例是一种流行的对抗对抗攻击的防御机制。在生成对抗网络（GAN）框架下提出了一种新的防御机制。我们使用生成网络对对抗性噪声进行建模，并将其与分类判别网络一起训练为极小极大博弈。我们的经验表明，我们的对抗网络方法可以很好地抵御黑盒攻击，其性能与最先进的方法相当，例如集成对抗训练和带有投影梯度下降的对抗训练。
2019-05-23 cs.CR cs.CV cs.LG
DRSM: De-Randomized Smoothing on Malware Classifier Providing Certified Robustness
University of Maryland - College Park（马里兰大学帕克分校）
本文提出 DRSM，通过窗口消融的去随机化平滑为恶意软件静态检测提供认证鲁棒性，并发布 PACE 良性可执行文件数据集。
2023-10-03 cs.CR cs.LG
Towards Backdoor Stealthiness in Model Parameter Space
Radboud University（拉德博德大学）；Delft University of Technology（代尔夫特理工大学）；Radboud University, Nijmegen, The Netherlands（拉德博德大学）；University of Zagreb Faculty of Electrical Engineering and Computing（Zagreb 工程与计算学院）
本文提出Grond攻击，通过参数空间隐蔽性增强，有效对抗多种后门防御。
2025-12-12 cs.AI cs.CR
A LLM Assisted Exploitation of AI-Guardian
Google DeepMind（谷歌DeepMind）
本文研究利用 GPT-4 辅助攻破 IEEE S&P 2023 提出的对抗样本防御 AI-Guardian，发现其鲁棒性未提升，并分享了 LLM 辅助安全研究的经验与评估警示。
2023-07-20 cs.AI cs.CR cs.LG
Cyber Deception for Mission Surveillance via Hypergame-Theoretic Deep Reinforcement Learning
Department of Computer Science, Virginia Tech（弗吉尼亚理工大学计算机科学系）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；Department of Computer Science, North Carolina State University（北卡罗来纳州立大学计算机科学系）；US Army Research Laboratory（美国陆军研究实验室）
本文提出基于超博弈深度强化学习的网络欺骗策略，通过诱饵无人机有效防御DDoS攻击，提升任务性能并降低能耗。
2026-03-21 cs.AI cs.CR cs.GT
Enhancing Cross-task Black-Box Transferability of Adversarial Examples with Dispersion Reduction
Syracuse University（雪城大学）；University of Michigan（密歇根大学）；UCLA（加州大学洛杉矶分校）；Duke University（杜克大学）
众所周知，神经网络容易受到精心制作的对抗性样本的攻击，这些恶意样本通常会转移，即，它们甚至对其他模式也持敌对态度。虽然已经深入研究了跨模型的可转移性，但令人惊讶的是，很少关注跨任务的可转移性，这代表了现实世界的网络犯罪的情况，其中需要同时规避不同的防御/检测机制。在本文中，我们研究了对抗性示例在各种现实计算机视觉任务中的可移植性，包括图像分类、对象检测、语义分割、显式内容检测和文本检测。我们提出的攻击最大限度地减少了内部特征映射的“分散”，这克服了现有攻击需要特定于任务的损失函数和/或探测目标模型的限制。我们对开源检测和分割模型以及Google Cloud Vision（GCV）API提供的四种不同的计算机视觉任务进行了评估，以展示我们的方法如何通过仅使用适度扰动linf=16大幅降低多个CV任务的性能来优于现有攻击。
2019-11-22 cs.CR cs.CV cs.LG
Machine Unlearning Meets Adversarial Robustness via Constrained Interventions on LLMs
Department of Computer Science, Université Paris-Dauphine（巴黎-索邦大学计算机科学系）；Institute of Mathematics, EPFL（苏黎世联邦理工学院数学研究所）；Computational Engineering Lab, Empa（Empa计算工程实验室）
本文提出一种基于约束干预的LLM遗忘与对抗鲁棒性统一方法，通过最小权重调整实现敏感信息遗忘和越狱攻击防御，无需预言机分类器，性能优于现有方法。
2025-10-16 cs.CL cs.CR cs.CY
Two Can Play That Game: An Adversarial Evaluation of a Cyber-alert Inspection System
University of Michigan（密歇根大学）；Army Research Lab（陆军研究实验室）
网络安全是一个重要的社会问题。网络攻击的数量和每次攻击造成的破坏程度都有所增加。大型组织运营着网络安全运营中心（CSOC），构成了网络防御的第一道防线。检查网络警报是CSOC业务的一个关键部分。最近与美国陆军研究实验室合作的一项工作提出了一种基于强化学习（RL）的方法，以防止网络警报队列长度变大并压倒防御者。鉴于这种方法可能部署到美国国防机构运营的CSOC，我们对这种方法进行了红队（对抗性）评估。此外，随着最近对学习系统的攻击，测试这种RL方法的局限性变得更加重要。为此，我们学习了对抗警报生成策略，该策略是对防御者检查策略的最佳响应。令人惊讶的是，我们发现防御者的政策是相当强大的攻击者的最佳对策。为了解释这一观察结果，我们将早期的RL模型扩展到一个博弈模型，并表明存在防御者策略，可以对任何对抗性策略都具有鲁棒性。我们还从博弈论模型中推导出一个竞争基线，并将其与RL方法进行比较。然而，我们进一步利用RL模型中的MDP中的假设，并发现攻击者策略可以攻击防御者。我们使用一个双预言的方法来重新训练的防御者从这个发现的攻击者政策的插曲。这使得防御者对发现的攻击者策略具有鲁棒性，并且没有发现进一步的有害攻击者策略。总体而言，对抗性强化学习和强化学习中的双预言方法是适用于对抗性环境中其他强化学习使用的通用技术。
2018-10-13 cs.AI cs.CR cs.GT
Injecting Falsehoods: Adversarial Man-in-the-Middle Attacks Undermining Factual Recall in LLMs
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个基于提示注入的LLM事实记忆攻击评估框架Xmera，通过扰动输入在封闭书本和事实基础QA场景中降低响应正确性并评估生成过程的不确定性，提出基于响应不确定性的随机森林分类器作为防御机制。
2026-03-24 cs.AI cs.CL cs.CR
Better Safe than Sorry: Pre-training CLIP against Targeted Data Poisoning and Backdoor Attacks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出 SAFECLIP，通过单模态对比学习预热、基于高斯混合模型划分安全与风险数据，并在预训练中逐步扩大安全集合，从而在不损害 CLIP 性能的前提下将定向数据投毒和后门攻击成功率降至 0%。
2024-06-10 cs.AI cs.CR cs.CV
Bones of Contention: Exploring Query-Efficient Attacks against Skeleton Recognition Systems
本文提出两种高效查询攻击方法ISAAC-K和ISAAC-N，针对骨架识别系统的脆弱性，通过扰动关键关节和替换无关骨架来提升攻击效率，并提出四种自适应防御以增强模型鲁棒性。
2025-12-02 cs.CR
