Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples
University of Cagliari（卡利亚里大学）；Pluribus One；University of Genoa（热那亚大学）；Google（谷歌）；CINI（意大利国家信息学大学联盟）
评估机器学习模型对对抗性样本的鲁棒性是一个具有挑战性的问题。许多防御已经被证明通过导致基于梯度的攻击失败来提供虚假的鲁棒性，并且它们已经在更严格的评估下被打破。尽管已经提出了一些指导方针和最佳实践来改进当前的对抗性鲁棒性评估，但由于缺乏自动测试和调试工具，很难系统地应用这些建议。在这项工作中，我们克服了这些限制：（i）分类攻击失败的基础上，他们如何影响基于梯度的攻击的优化，同时也揭示了两个新的失败影响许多流行的攻击实现和过去的评估;（ii）提出了六个新的失败指标，自动检测攻击优化过程中存在这样的失败;以及（iii）建议系统性协议以应用相应的修复。我们广泛的实验分析，涉及3个不同应用领域的15个模型，表明我们的失败指标可用于调试和改进当前的对抗鲁棒性评估，从而为自动化和系统化提供了第一个具体步骤。我们的开源代码可以在https://github.com/pralab/IndicatorsOfAttackFailure上找到。
2022-10-11 cs.CR cs.CV cs.LG
Efficient Adversarial Training With Data Pruning
University of Cambridge（剑桥大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）
神经网络容易受到对抗性样本的影响--小的输入扰动会导致模型失败。对抗性训练是停止对抗性示例的解决方案之一;模型在训练期间暴露于攻击，并学会对它们具有弹性。然而，这样一个过程目前是昂贵的，它需要很长的时间来生产和训练模型与敌对的样本，更糟糕的是，它偶尔会失败。在本文中，我们展示了数据修剪-一种通过数据子采样提高对抗训练效率的方法。我们的经验表明，数据修剪导致对抗训练的收敛性和可靠性的改善，尽管有不同程度的效用退化。例如，我们观察到，使用CIFAR 10的随机子采样来丢弃40%的数据，我们会损失8%的对抗准确性，而使用20%的数据，我们会损失14%的对抗准确性，并将运行时间减少3倍。有趣的是，我们发现在某些情况下，数据修剪可以从两个方面带来好处-它既提高了对抗准确性又提高了训练时间。
2022-07-01 cs.LG
Toward Understanding Adversarial Distillation: Why Robust Teachers Fail
School of Electrical Engineering, KAIST, Daejeon, Korea（韩国科学技术院电子工程学院）
本文研究了对抗蒸馏中鲁棒教师与学生鲁棒性之间的关系，揭示了教师监督信心与学生表示限制之间的不匹配导致鲁棒过拟合现象，并提出了理论框架和实验验证。
2026-05-21 cs.LG
On Norm-Agnostic Robustness of Adversarial Training
Duke University（杜克大学）；University at Buffalo, the State University of New York（纽约州立大学布法罗分校）
对抗性示例是精心扰动的输入，用于愚弄机器学习模型。对抗性训练是一种公认的防御方法，将对抗性示例注入训练数据以提高鲁棒性。在本文中，我们提出了一种新的攻击来揭示最先进的对抗训练的一个不希望的属性，即它不能同时获得对$\ell_2$和$\ell_\infty$范数扰动的鲁棒性。我们讨论了这个问题的可能解决方案及其局限性。
2019-05-15 cs.CR cs.LG stat.ML
Defending Against Unforeseen Failure Modes with Latent Adversarial Training
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
针对AI系统存在未预见有害故障模式、现有对抗训练难以防御未知攻击的问题，提出利用潜在对抗训练（LAT），基于网络潜在表示在无触发样本下清除后门、防御未知攻击，在多任务中相较AT同时提升鲁棒性与干净数据性能。
2025-07-29 cs.AI cs.CR cs.LG
Expressivity of Graph Neural Networks Through the Lens of Adversarial Robustness
TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Technical University of Munich（慕尼黑工业大学）
本文首次从对抗鲁棒性角度研究比MPNN更强大的GNN，通过子图计数任务揭示其理论表达力与实际表现之间的显著差距，并证明这些模型对微小图结构扰动和分布外图均缺乏泛化能力。
2024-07-03 cs.LG
Comment on "Biologically inspired protection of deep networks from adversarial attacks"
University of Tübingen（图宾根大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
最近的一篇论文表明，通过将网络激活驱动到高度饱和状态，可以保护深度神经网络免受基于梯度的对抗性扰动。在这里，我们分析这样的饱和网络，并表明攻击失败，由于梯度计算的数值限制。梯度估计的简单稳定使得能够成功和有效地攻击。因此，尚待证明的是，在高度饱和的网络中观察到的鲁棒性不仅仅是由于数值限制。
2017-04-05 cs.LG q-bio.NC stat.ML
Failure Modes in Machine Learning Systems
Microsoft（微软公司）；Berkman Klein Center for Internet and Society at Harvard（哈佛大学伯克曼 Klein 互联网与社会中心）；Harvard Law School（哈佛法学院）
在过去的两年里，有200多篇论文是关于机器学习（ML）系统如何因为算法和数据上的对抗攻击而失败的;如果我们将涵盖非对抗失败模式的论文纳入其中，这个数字就会膨胀。大量的论文使得ML从业者很难跟上ML系统的攻击和防御，更不用说工程师、律师和政策制定者了。然而，随着这些系统变得越来越普遍，了解它们是如何失败的，无论是对手的手还是由于系统的固有设计，只会变得更加紧迫。为了让软件开发人员、安全事件响应者、律师和政策制定者能够用一种通用的语言来谈论这个问题，我们开发了一个框架，将故障分为“故意故障”和“无意故障”，其中，“故意故障”是由活跃的对手试图颠覆系统以实现其目标造成的;“无意故障”是因为ML系统产生了固有的不安全结果。在去年开发了分类法的初始版本之后，我们与微软的安全和ML团队、23个外部合作伙伴、标准组织和政府合作，以了解利益相关者将如何使用我们的框架。在整个论文中，我们试图从技术和政策的角度强调机器学习故障模式与传统软件故障有何不同。
2019-11-25 cs.CR cs.LG stat.ML
Understanding Adversarial Transfer: Why Representation-Space Attacks Fail Where Data-Space Attacks Succeed
ETH Zürich（苏黎世联邦理工学院）；Stanford CS（斯坦福大学计算机科学系）
该研究针对图像越狱在视觉语言模型间难以迁移的现象，提出攻击可迁移性取决于作用域的假设，通过理论与四类实验验证了数据空间攻击可迁移、表征空间攻击需表征几何对齐才可迁移的结论，为构建更鲁棒的模型提供关键洞见。
2025-10-03 cs.AI cs.LG
Instance adaptive adversarial training: Improved accuracy tradeoffs in neural nets
Facebook AI Research（Facebook人工智能研究院）；University of Maryland（马里兰大学）；Georgia Institute of Technology（佐治亚理工学院）
对抗性训练是迄今为止提高神经网络对对抗攻击鲁棒性的最成功的策略。尽管对抗性训练作为一种防御机制是成功的，但它不能很好地推广到未受干扰的测试集。我们假设这种较差的泛化能力是对抗训练的结果，每个训练样本周围的扰动半径都是均匀的。接近决策边界的样本可以在小的扰动预算下变形为不同的类，并且在这些样本周围强制执行大的裕度产生概括性差的差的决策边界。基于这一假设，我们提出了实例自适应对抗训练--一种在每个训练样本周围强制执行样本特定扰动裕度的技术。我们表明，使用我们的方法，未扰动样本的测试精度提高了鲁棒性的边际下降。在CIFAR-10、CIFAR-100和Imagenet数据集上的实验证明了该方法的有效性。
2019-10-17 cs.CV cs.LG stat.ML
Curriculum Adversarial Training
Nanjing University（南京大学）；University of Utah（犹他大学）；UC Berkeley（加州大学伯克利分校）
最近，深度学习已被应用于许多安全敏感的应用，例如面部认证。对抗性例子的存在阻碍了这种应用。最先进的防御结果表明，对抗性训练可以应用于训练MNIST上的对抗性示例的鲁棒模型;但它未能在更复杂的任务（如CIFAR-10和SVHN）上实现高的经验最差情况准确度。在我们的工作中，我们提出了课程对抗训练（CAT）来解决这个问题。其基本思想是开发一个由具有广泛优势的攻击生成的对抗性示例课程。通过两种技术来减轻遗忘和泛化问题，我们证明了CAT可以在CIFAR-10上提高25%的大幅度经验最差情况准确度，在SVHN上提高35%。同时，该模型在非对抗性输入上的性能与最先进的模型相当。
2018-05-13 cs.CR cs.LG stat.ML
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University（北京大学）；New York University（纽约大学）
尽管在许多任务中取得了令人印象深刻的成功，但深度学习模型被证明依赖于虚假特征，当推广到分布外（OOD）数据时，这些特征将灾难性地失败。不变风险最小化算法（Invariant Risk Minimization，简称RISK）通过提取面向对象的领域不变特征来解决这一问题。然而，最近的工作表明，双折射仅对特定类型的分布偏移有效（例如，相关偏移）而对于其它情况则失败（例如，多样性转移）。与此同时，另一种方法，对抗训练（AT），表现出更好的域转移性能，这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性，通过探索的相似性之间的竞争和AT目标。受这种联系的启发，我们提出了域对抗训练（DAT），这是一种AT启发的方法，用于减轻特定于域的扰动引起的分布偏移。大量的实验表明，我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
Using Single-Step Adversarial Training to Defend Iterative Adversarial Examples
New Jersey Institute of Technology（新泽西理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）
对抗性样本已经成为机器学习模型，特别是神经网络分类器面临的最大挑战之一。这些对抗性的例子打破了无攻击场景的假设，并以对人类无意义的扰动欺骗了最先进的（SOTA）分类器。到目前为止，研究人员在利用对抗性训练作为防御方面取得了很大进展。然而，压倒性的计算成本降低了它的适用性，并没有做什么来克服这个问题。单步的【形】对抗训练方法已被提出作为计算上可行的解决方案，但它们仍然无法防御迭代对抗示例。在这项工作中，我们首先实验分析了几种不同的SOTA防御方法对抗性的例子。然后，基于实验观察，提出了一种新的单步的【形】对抗训练方法，该方法可以同时防御单步的【形】对抗和迭代对抗。最后，通过广泛的评估，我们证明了我们提出的方法优于SOTA单步的【形】和迭代对抗训练防御。在CIFAR 10数据集上，与单步的【形】方法相比，该方法的测试精度提高了35.67%，训练时间减少了19.14%.在CIFAR 10数据集上，与使用BIM或Madry示例的方法（迭代法）相比，该方法节省了高达76.03%的训练时间，测试精度下降不到3.78%。
2020-02-27 cs.CR cs.LG stat.ML
Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training
Booz Allen Hamilton（博思艾伦汉密尔顿）；Jura Bio, Inc.（朱拉生物公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
不确定性的量化对于机器学习的采用非常重要，特别是将分布外（OOD）数据拒绝回人类专家进行审查。然而，进展缓慢，因为必须在计算效率和不确定性估计的质量之间取得平衡。出于这个原因，许多人使用神经网络的深度集成或蒙特卡罗丢弃，以相对最小的计算和内存进行合理的不确定性估计。令人惊讶的是，当我们关注$\leq 1\%$假阳性率（FPR）的现实世界适用约束时，现有方法无法可靠地检测OOD样本本身。值得注意的是，即使是高斯随机噪声也无法触发这些流行的OOD技术。我们通过设计一个简单的对抗训练方案来帮助缓解这个问题，该方案结合了对辍学合奏预测的认知不确定性的攻击。我们证明了这种方法提高了标准数据上的OOD检测性能（即，非对抗性制作），并将标准化部分AUC从接近随机猜测性能提高到$\geq 0.75$。
2022-09-09 cs.LG
Excessive Invariance Causes Adversarial Vulnerability
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Bremen（不来梅大学）；Center for Industrial Mathematics（工业数学中心）；University of Tübingen（图宾根大学）
尽管深度神经网络具有令人印象深刻的性能，但它们在分布外输入上表现出惊人的失败。对抗性样本研究的一个核心思想是揭示神经网络在这种分布偏移下的错误。我们将这些误差分解为两个互补的来源：灵敏度和不变性。我们发现，深度网络不仅对与任务无关的输入变化过于敏感，正如从ε对抗性示例中所知的那样，而且对广泛的任务相关变化过于不变，从而使输入空间中的广大区域容易受到对抗攻击的影响。我们表明这种过度的不变性发生在各种任务和架构类型。在MNIST和ImageNet上，人们可以操纵几乎任何图像的类特定内容，而无需更改隐藏的激活。我们确定了不足的标准交叉熵损失作为这些失败的原因。此外，我们基于信息理论分析扩展了这一目标，因此它鼓励模型在决策中考虑所有任务相关的特征。这提供了第一种明确定制的方法，以克服过度的不变性和由此产生的漏洞。
2020-07-12 cs.AI cs.CV cs.LG
Area is all you need: repeatable elements make stronger adversarial attacks
Novi Labs（诺维实验室）
该研究发现对抗攻击成功率提升主要源于攻击规模增大，提出用可重复元素构建最大尺寸对抗补丁的方法，在YOLOv2、YOLOv3检测规避上达新SOTA，同时指出部分已有攻击方法难以复现并探讨可复现性问题。
2023-06-13 cs.CR cs.CV cs.LG
Adversarial Training for High-Stakes Reliability
UC Berkeley（加州大学伯克利分校）；Redwood Research（红杉研究）
在未来，强大的人工智能系统可能会部署在高风险环境中，其中一个单一的故障可能是灾难性的。在高风险环境中提高人工智能安全性的一种技术是对抗训练，它使用对手生成示例进行训练，以实现更好的最坏情况性能。在这项工作中，我们使用了一个安全的语言生成任务（"避免伤害“）作为通过对抗训练实现高可靠性的测试平台。我们创建了一系列对抗性训练技术--包括一个帮助人类对手的工具--来发现和消除分类器中的故障，该分类器过滤生成器建议的文本完成。在我们的任务中，我们确定我们可以设置非常保守的分类器阈值，而不会显著影响过滤输出的质量。我们发现，对抗性训练提高了我们训练的对抗攻击的鲁棒性--让我们的承包商在使用我们的工具（从13分钟到26分钟）和不使用我们的工具（从20分钟到44分钟）的情况下找到对抗性示例的时间增加了一倍--而不会影响分发性能。我们希望在高风险的可靠性环境中看到进一步的工作，包括增强人类对手的更强大的工具和更好的方法来衡量高水平的可靠性，直到我们可以自信地排除强大模型的灾难性部署时间故障的可能性。
2022-11-10 cs.AI cs.CL cs.LG
On the Adversarial Robustness of Causal Algorithmic Recourse
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
医疗追索权旨在为个人提供可操作的建议，以克服自动决策系统的不利分类结果。在理想的情况下，追索建议应该对寻求追索的个人特征中合理的小不确定性具有鲁棒性。在这项工作中，我们制定了对抗强大的追索权问题，并表明，追索权的方法，提供最低成本的追索权失败是强大的。然后，我们提出的方法生成对抗性强的追索权的线性和可微分类。最后，我们表明，正规化的决策分类器的行为局部线性，并更强烈地依赖于可操作的功能，有利于存在对抗性强的追索权。
2022-06-13 cs.LG
Understanding and Improving Fast Adversarial Training
EPFL（洛桑联邦理工学院）；Theory of Machine Learning Lab（机器学习理论实验室）
最近的一项工作重点是使对抗训练在计算上有效地用于深度学习模型。特别是，Wong等人（2020）表明，$\ell_\infty$ -使用快速梯度符号方法（FGSM）的对抗训练可能会由于一种称为“灾难性过拟合”的现象而失败，当模型在单个训练时期内迅速失去鲁棒性时。我们表明，如Wong等人（2020）提出的那样，向FGSM添加随机步骤并不能防止灾难性的过拟合，并且随机性本身并不重要-其主要作用只是降低扰动的幅度。此外，我们证明了灾难性的过拟合不是深度和过参数化网络所固有的，而是可能发生在具有几个滤波器的单层卷积网络中。在极端情况下，即使是单个滤波器也会使网络局部高度非线性，这是FGSM训练失败的主要原因。基于这一观察，我们提出了一种新的正则化方法，GradAlign，通过显式地最大化扰动集内的梯度对齐来防止灾难性的过拟合，并提高了FGSM解决方案的质量。因此，GradAlign允许成功地将FGSM训练应用于更大的$\ell_\infty$扰动，并减少与多步对抗训练的差距。我们的实验代码可在https://github.com/tml-epfl/understanding-fast-adv-training上获得。
2020-10-24 cs.CR cs.CV cs.LG
On the Properties of Adversarially-Trained CNNs
University of Padova（帕多瓦大学）
对抗性训练已被证明是一种有效的训练范式，可以在现代神经网络架构中增强对抗性示例的鲁棒性。尽管做出了许多努力，但对支撑对抗训练有效性的基本原则的解释仍然有限，远未被深度学习社区广泛接受。在本文中，我们描述了对抗训练模型的惊人特性，揭示了实现对抗对抗攻击的鲁棒性的机制。此外，我们强调的限制和故障模式影响这些模型，没有讨论过以前的作品。我们对各种架构和数据集进行了广泛的分析，并在健壮模型和自然模型之间进行了深入的比较。
2022-03-17 cs.CV cs.LG
Preference-Guided Adversarial Policy Optimization for Long-Tail Robust Driving
The Hong Kong Polytechnic University, Hong Kong SAR, China（香港理工大学）；Tongji University, Shanghai, China（同济大学）；McGill University, Montreal, QC, Canada（麦吉尔大学）
本文提出ADV-0框架，通过闭环极小-极大优化，将驾驶策略与对抗 agent 的交互视为零和马尔可夫博弈，提升自动驾驶对长尾场景的鲁棒性。
2026-11-06 cs.AI cs.LG
Increasing Confidence in Adversarial Robustness Evaluations
University of Tübingen（图宾根大学）；Google（谷歌）
已经提出了数百种防御措施，以使深度神经网络对最小（对抗性）输入扰动具有鲁棒性。然而，这些防御中只有少数人坚持了他们的主张，因为正确评估鲁棒性是非常具有挑战性的：弱攻击通常无法找到对抗性的例子，即使它们在不知不觉中存在，从而使脆弱的网络看起来很健壮。在本文中，我们提出了一个测试来识别弱攻击，从而弱防御评估。我们的测试稍微修改了一个神经网络，以保证每个样本都存在对抗性样本。因此，任何正确的攻击都必须成功地破坏这个修改过的网络。在之前发布的13个防御中，有11个防御的原始评估没有通过我们的测试，而破坏这些防御的更强大的攻击通过了它。我们希望攻击单元测试--比如我们的--将成为未来鲁棒性评估的主要组成部分，并增加对一个目前充满怀疑的经验领域的信心。
2022-06-28 cs.CR cs.CV cs.LG
Localized Adversarial Training for Increased Accuracy and Robustness in Image Classification
Ohio State University（俄亥俄州立大学）；California State Polytechnic University, Pomona（加州州立理工大学波莫纳分校）
当今最先进的图像分类器无法正确分类精心操纵的对抗图像。在这项工作中，我们开发了一种新的，本地化的对抗攻击，通过不知不觉地改变正常图像的背景来生成对抗的例子。我们首先使用这种攻击来突出神经网络对图像背景变化的不必要的敏感性，然后将其用作新训练技术的一部分：局部对抗训练。通过在训练集中包含局部对抗性图像，我们能够创建一个分类器，该分类器在自然输入和对抗性输入上的损失都小于非对抗性训练的对应模型。在MNIST和CIFAR-10数据集上对我们的本地化对抗训练算法进行的评估显示，自然图像的准确性损失降低，对抗对抗输入的鲁棒性增强。
2019-09-10 cs.CR cs.CV cs.LG
A Computationally Efficient Method for Defending Adversarial Deep Learning Attacks
Purdue University（普渡大学）
近年来，对深度学习算法的依赖显著增长。然而，这些模型非常容易受到对抗攻击的攻击，这些攻击会在测试数据中引入视觉上无法感知的扰动，从而导致错误分类。文献已经提出了几种方法来对抗这种对抗攻击，但每种方法要么在高扰动值下失败，要么需要过多的计算能力，或者两者兼而有之。这封信提出了一种计算效率高的方法，通过同时去噪和压缩数据来防御快速梯度符号（FGS）对抗攻击。具体来说，我们提出的防御依赖于训练一个完全连接的多层去噪自动编码器（DAE），并使用其编码器作为对对抗攻击的防御。我们的研究结果表明，使用这种降维方案不仅在减轻FGS攻击在多个威胁模型中的影响方面非常有效，而且与针对相同攻击提供类似鲁棒性的防御策略相比，它还提供了2.43倍的加速。
2019-06-13 cs.CR cs.CV cs.LG
In-distribution adversarial attacks on object recognition models using gradient-free search
Harvard University（哈佛大学）；Fujitsu Limited（富士通有限公司）；UCSD（加州大学圣地亚哥分校）；Fujitsu Research of America（美国富士通研究院）；Tokyo Metropolitan, Chuo-Johoku Vocational Skills Development Center / Japan Electronics College（东京都中央城北职业技能开发中心 / 日本电子专门学校）
本研究挑战了模型对扰动样本分类失败源于数据集偏差的观点，提出基于无梯度进化策略的CMA-Search方法，在训练数据分布内成功搜索到对抗样本，揭示了分布内对抗攻击的严重安全隐患。
2025-01-30 cs.CV cs.LG
PROWL: Prioritized Regret-Driven Optimization for World Model Learning
University College London AI Centre（伦敦大学学院人工智能中心）；Odyssey；University of Basel（巴塞尔大学）
提出一种KL约束的对抗课程，通过训练策略暴露扩散世界模型的高误差轨迹并持续微调，结合优先对抗轨迹缓冲区，解决被动数据中罕见关键转换的鲁棒性问题。
2026-05-29 cs.AI cs.LG
Tolerating Adversarial Attacks and Byzantine Faults in Distributed Machine Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；OpenKneck Inc（OpenKneck 公司）；University of Miami（迈阿密大学）
对抗攻击试图破坏大规模分布式机器学习系统中人工智能和机器学习模型的训练、再训练和利用。这会给其预测结果带来安全风险。例如，攻击者试图通过呈现不准确的错误数据或更改模型的参数来毒害模型。此外，分布式系统中存在的软件、硬件、网络等拜占庭故障也会对预测结果产生负面影响。在本文中，我们提出了一种新的分布式训练算法，部分同步随机梯度下降（ParSGD），防御对抗攻击和/或容忍拜占庭故障。我们证明了我们的算法在三种常见的对抗攻击下的有效性，再次ML模型和拜占庭故障在训练阶段。我们的研究结果表明，使用ParSGD，ML模型仍然可以产生准确的预测，就好像它没有受到攻击，也没有失败，当几乎一半的节点被破坏或失败时。我们将报告的实验评估ParSGD与其他算法相比。
2021-09-05 cs.AI cs.CR cs.LG
Using Mechanistic Interpretability to Craft Adversarial Attacks against Large Language Models
Thales（泰勒斯）
研究利用机制可解释性对大语言模型进行对抗攻击，通过识别接受子空间，用梯度优化使嵌入重新路由，降低计算成本，在多种模型上快速实现高成功率攻击，为攻防研究开辟新方向。
2026-07-07 cs.AI cs.LG
Adversarial Attack Against Image-Based Localization Neural Networks
Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防务系统有限公司）
在本文中，我们提出了一个概念证明的对抗攻击的自主车辆的基于图像的定位模块。这种攻击旨在使车辆执行错误的导航决策，并阻止其在模拟的城市环境中到达所需的预定义目的地。渲染图像的数据库使我们能够训练一个深度神经网络，该网络执行定位任务，并实施、开发和评估对抗模式。我们的测试表明，使用这种对抗攻击，我们可以防止车辆在给定的十字路口转弯。这是通过操纵车辆的导航模块来错误地估计其当前位置，从而无法初始化转弯程序，直到车辆错过在给定十字路口执行安全转弯的最后机会。
2022-10-11 cs.CV cs.LG
Conflict-Aware Adversarial Training
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对对抗训练中标准损失与对抗损失梯度冲突导致加权平均方法权衡不佳的问题，提出冲突感知对抗训练CA-AT，通过引入冲突感知因子改进损失凸组合，在多种训练设置下实现标准性能与对抗鲁棒性的更优权衡。
2024-10-21 cs.AI cs.LG
Target-free Latent Safety Alignment
University of Technology Sydney（悉尼科技大学）；Southeast University（东南大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
针对现有对抗训练生成有害行为同质化的问题，提出无目标对抗训练框架，通过放大潜在空间行为偏移生成语义多样对抗样本，以语义熵度量多样性，提升对越狱攻击的鲁棒性。
2026-10-06 cs.AI cs.LG
Model-agnostic Adversarial Attack and Defense for Vision-Language-Action Models
The University of Auckland（奥克兰大学）；King Abdullah University of Science and Technology（国王 Abdullah 科学与技术大学）；Tokyo University of Science（东京科学大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
针对视觉-语言-动作模型，提出模型无关的对抗补丁攻击EDPA及对抗微调防御，在LIBERO基准上显著提升任务失败率并有效防御。
2025-10-15 cs.CV cs.LG
Adversarial Machine Learning for Cybersecurity and Computer Vision: Current Developments and Challenges
Purdue University（普渡大学）
我们提供了对抗性机器学习的全面概述，重点关注两个应用领域，即，网络安全和计算机视觉。对抗性机器学习的研究解决了机器学习技术广泛应用的重大威胁-它们容易受到恶意对手精心设计的攻击。例如，深度神经网络无法正确分类对抗性图像，这些图像是通过向干净图像添加不可感知的扰动而生成的。我们首先讨论针对机器学习技术的三大类攻击--中毒攻击、规避攻击和隐私攻击。然后介绍了相应的防御方法以及现有防御方法的不足和局限性。我们注意到网络安全和计算机视觉中的对抗性样本是根本不同的。虽然网络安全中的对抗性样本与训练数据相比通常具有不同的属性/分布，但计算机视觉中的对抗性图像是通过微小的输入扰动创建的。这进一步使鲁棒学习技术的开发复杂化，因为鲁棒学习技术必须承受不同类型的攻击。
2021-06-30 cs.CR cs.LG
Time-To-Inconsistency: A Survival Analysis of Large Language Model Robustness to Adversarial Attacks
Carnegie Mellon University（卡内基梅隆大学）
本研究通过生存分析方法评估大型语言模型在多轮对话中的鲁棒性，发现语义漂移对不一致风险的影响，并提出轻量级模型用于提前检测失败对话。
2026-02-04 cs.AI cs.CL cs.LG
Gameplay Filters: Robust Zero-Shot Safety through Adversarial Imagination
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）
针对现有腿式机器人安全过滤器依赖降阶模型、鲁棒性不足的问题，本文提出gameplay filter，通过与虚拟对手的对抗推演预判风险，实现了36自由度四足机器人的全阶安全过滤，在大扰动下零样本安全性更优。
2025-01-16 cs.LG cs.RO
Adversarial Robustness of Activation Steering in Large Language Models
Independent Researcher（独立研究员）；Indiana University（印第安纳大学）
研究激活引导在对抗性文本扰动下的鲁棒性，发现所有方法、模型和设置中方向鲁棒性下降高达64%，置信度崩溃，层选择脆弱，揭示其结构性脆弱性。
2026-11-03 cs.AI cs.LG
Statistical Adversaries: Natural Backdoor-like Adversarial Features in Clean Vision Datasets
Neurint, LLC（Neurint有限责任公司）；U.S. Army Cyber Corps（美国陆军网络部队）；Northwestern State University of Louisiana（路易斯安那西北州立大学）；Automata（Automata公司）；AGH University of Krakow（克拉科夫AGH大学）
研究视觉数据中自然出现的类似后门的统计信号（统计对手），通过分析ImageNet找相关模式，用统计控制去除随机相关性，证明其可改变模型预测，表明漏洞受数据集结构驱动，建议审核数据集时重视虚假结构。
2026-08-18 cs.AI cs.CR cs.CV
Closing the Distribution Gap in Adversarial Training for LLMs
Technical University of Munich, Germany（慕尼黑技术大学）
本文提出DAT方法，通过扩散模型近似真实分布，提升大语言模型对抗鲁棒性。
2026-02-18 cs.AI cs.CR cs.LG
Improving Adversarial Robustness with Hypersphere Embedding and Angular-based Regularizations
Iowa State University（爱荷华州立大学）
对抗训练（AT）方法已被发现有效对抗对深度神经网络的对抗攻击。已经提出了AT的许多变体以提高其性能。Pang等人。[1]最近表明，将超球嵌入（HE）纳入现有的AT过程中可以增强鲁棒性。我们观察到，现有的AT程序不是为HE框架设计的，因此无法充分学习HE框架中可用的角度判别信息。在本文中，我们建议将他整合到AT与正则化项，利用丰富的角度信息，在他的框架。具体来说，我们的方法，称为angular-AT，增加了正则化条款AT显式地执行权重特征紧凑性和类间分离;所有表示的角度特征。实验结果表明，angular-AT进一步提高了对抗鲁棒性。
2023-03-15 cs.AI cs.CV cs.LG
Where Classification Fails, Interpretation Rises
Lehigh University（理海大学）
深度神经网络的一个有趣的特性是它们对对抗性输入的固有脆弱性，这严重阻碍了它们在安全关键领域的应用。大多数现有的检测方法试图使用精心设计的模式来区分敌对输入与其真正的对应物，然而，这通常可以被适应性对手所规避。在这项工作中，我们通过利用对抗性输入的定义采取了一条完全不同的路线：虽然对深度神经网络进行了欺骗，但它们对人类视觉几乎无法辨别。基于可解释模型的最新进展，我们构建了一个新的检测框架，该框架将输入的解释与其分类进行对比。我们通过使用基准数据集和攻击的大量实验来验证该框架的有效性。我们相信这项工作为设计对抗性输入检测方法开辟了新的方向。
2017-12-02 cs.LG stat.ML
When Vision Fails: Text Attacks Against ViT and OCR
University of Cambridge Cambridge United Kingdom；University of Oxford Oxford United Kingdom；University of Toronto \& Vector Institute Toronto Canada；University of Cambridge；University of Oxford；University of Toronto \& Vector Institute
本文揭示了基于OCR的视觉防御无法抵御基于Unicode的文本对抗攻击，提出一种利用遗传算法在黑盒下生成视觉对抗样本的攻击方法，能大幅降低OCR等视觉模型准确率且不影响人类理解。
2025-10-11 cs.CR cs.LG
Generative Adversarial Networks for Failure Prediction
Hitachi America Ltd（日立美国有限公司）
预测与健康管理（PHM）是一门新兴的工程学科，它关注的是设备健康和性能的分析和预测。PHM中的关键挑战之一是准确预测设备中即将发生的故障。近年来，故障预测的解决方案已经从构建复杂的物理模型发展到使用利用设备生成的数据的机器学习算法。然而，故障预测问题提出了一系列独特的挑战，使得直接应用传统的分类和预测算法不切实际。这些挑战包括高度不平衡的训练数据、收集更多故障样本的极高成本以及故障模式的复杂性。传统的过采样技术将不能捕获这样的复杂性，并且因此导致过拟合训练数据。本文提出了一种新的故障预测算法，使用生成对抗网络（GAN-FP）来解决这些挑战。GAN-FP首先利用两个GAN网络同时生成训练样本，并构建一个推理网络，用于预测新样本的故障。GAN-FP首先采用infoGAN生成真实的故障和非故障样本，并初始化推理网络前几层的权重。然后，通过仅使用真实故障和非故障样本优化加权损失目标来调整推理网络。使用第二GAN进一步调整推理网络，第二GAN的目的是保证所生成的样本与对应的标签之间的一致性。GAN-FP也可以用于其他不平衡分类问题。
2019-10-04 cs.CV cs.LG stat.ML
Why Adversarial Reprogramming Works, When It Fails, and How to Tell the Difference
Northwestern Polytechnical University（西北工业大学）；University of Cagliari（卡利亚里大学）；University of Genoa（热那亚大学）
对抗性重新编程允许重新利用机器学习模型来执行不同的任务。例如，一个被训练来识别动物的模型可以被重新编程，通过在作为输入提供的数字图像中嵌入对抗程序来识别数字。最近的工作表明，对抗性重编程不仅可以用于滥用作为服务提供的机器学习模型，而且还可以在训练数据稀缺时有益地改善迁移学习。然而，影响其成功的因素在很大程度上仍然无法解释。在这项工作中，我们开发了一个对抗性重编程的一阶线性模型，以表明其成功本质上取决于平均输入梯度的大小，当输入梯度更加对齐时，以及当输入具有更高的维度时，平均输入梯度会增长。我们的实验分析的结果，涉及14个不同的重编程任务，表明上述因素与对抗性重编程的成功和失败相关。
2023-03-11 cs.LG
Boltzmann Encoded Adversarial Machines
Unlearn.AI, Inc.（Unlearn.AI公司）
受限玻尔兹曼机（RBM）是一类生成神经网络，其通常被训练以最大化对数似然目标函数。我们认为，基于似然的训练策略可能会失败，因为目标没有充分惩罚那些在训练数据分布概率较低的区域中放置高概率的模型。为了克服这个问题，我们引入了玻尔兹曼编码对抗机器（BEAM）。BEAM是针对对手训练的RBM，对手使用RBM的隐藏层激活来区分训练数据和模型生成的概率分布。我们提出的实验表明，BEAM在多个基准测试中优于RBM和GANs。
2018-04-23 cs.LG stat.ML
Forecasting Fails: Unveiling Evasion Attacks in Weather Prediction Models
LLNL（劳伦斯利弗莫尔国家实验室）
本文提出WAAPO框架，用于生成针对天气预测模型的隐蔽对抗扰动，揭示了AI预测模型在面对小扰动时的脆弱性。
2025-12-09 cs.LG
Adversarial Reinforcement Learning for Observer Design in Autonomous Systems under Cyber Attacks
The Ohio State University（俄亥俄州立大学）
复杂的自主控制系统会受到传感器故障、网络攻击、传感器噪声、通信信道故障等的影响，这些都会在测量中引入误差。损坏的信息，如果用于决策，可能会导致性能下降。我们开发了一个框架，用于使用对抗性深度强化学习来设计对信息通道中的对抗性错误具有鲁棒性的观察者策略。我们进一步通过仿真研究表明，学习的观察策略表现得非常好，当对手的注入错误在某种意义上是有界的。我们在我们的研究中使用神经网络作为函数逼近器，并理解任何其他合适的函数逼近类都可以在我们的框架内使用。
2018-09-15 cs.CR cs.LG math.OC
Effective Dynamics of Generative Adversarial Networks
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
生成对抗网络（GANs）是一类机器学习模型，它使用对抗训练来生成具有与训练样本相同（可能非常复杂）统计数据的新样本。训练失败的一种主要形式，称为模式崩溃，涉及生成器未能再现目标概率分布中的全部模式多样性。在这里，我们提出了一个有效的GAN训练模型，它通过在输出空间中用粒子集合替换生成器神经网络来捕获学习动态;粒子由对某些宽神经网络和高维输入有效的通用内核耦合。我们的简化模型的通用性，使我们能够研究模式崩溃发生的条件。实际上，改变发生器的有效核的实验揭示了模式崩溃过渡，其形状可以通过频率原理与振荡的类型相关。此外，我们发现，梯度正则化的中间强度可以最佳地产生收敛通过临界阻尼的发电机动态。因此，我们有效的GAN模型为理解和改进对抗训练提供了一个可解释的物理框架。
2022-12-08 cond-mat.dis-nn cs.LG stat.ML
Multiple Organ Failure Prediction with Classifier-Guided Generative Adversarial Imputation Networks
University of California, Santa Barbara（加州大学圣巴巴拉分校）；UC, Davis Health（加州大学戴维斯分校医疗中心）
多器官功能衰竭（MOF）是重症监护病房（ICU）患者中的一种严重综合征，死亡率高。早期和精确的检测对于临床医生及时做出决定至关重要。将机器学习模型应用于电子健康记录（EHR）的一个重要挑战是缺失值的普遍存在。大多数现有的插补方法都涉及数据预处理阶段，无法捕捉数据和下游预测结果之间的关系。在本文中，我们提出了用于MOF预测的分类器引导的生成对抗性填补网络Classifier-GAIN，通过结合观察数据和标签信息来弥合这一差距。具体而言，分类器从生成器（输入器）获取输入值以预测任务结果，并通过联合训练向生成器提供额外的监督信号。分类器引导生成器在训练过程中使用标签意识来填补缺失值，从而提高分类器在推理过程中的性能。我们进行了大量的实验，表明我们的方法在一系列缺失数据场景和评估指标中始终优于经典和最先进的神经基线。
2021-06-22 cs.AI cs.LG
An improved CTGAN for data processing method of imbalanced disk failure
School of Information Science and Engineering, University of Jinan（济南大学信息科学与工程学院）；National Skills University Islamabad（伊斯兰堡国家技能大学）
针对磁盘故障数据不足和类别不平衡问题，提出改进CTGAN的RCTGAN模型，利用残差网络增强判别器，合成故障数据以平衡数据集，提升分类器故障诊断准确率。
2023-10-10 cs.LG
Unique properties of adversarially trained linear classifiers on Gaussian data
University College London（伦敦大学学院）
机器学习模型容易受到对抗性扰动的影响，当添加到输入时，可能会导致高置信度的错误分类。对抗性学习研究社区在理解对抗性扰动的根本原因方面取得了显着进展。然而，对于安全关键任务中的机器学习的部署，人们可能认为重要的是要解决的大多数问题涉及难以表征和研究的高维复杂流形。在简单问题上发展对抗性强的学习理论是很常见的，希望这些见解能转移到“现实世界的知识库”。在这项工作中，我们讨论了这种方法失败的设置。特别是，我们用线性分类器证明，在训练过程中，在任意对抗性腐败水平下，总是可以解决高斯数据的二进制分类问题，并且在CIFAR-10数据集上的非线性分类器中没有观察到这种特性。
2020-06-06 cs.CR cs.LG stat.ML
Post-Hoc Explanations Fail to Achieve their Purpose in Adversarial Contexts
University of Tübingen（蒂宾根大学）
现有和计划中的立法规定了提供有关机器学习算法及其功能的信息的各种义务，通常被解释为“解释”的义务。许多研究人员建议使用事后解释算法来实现这一目的。在本文中，我们结合法律，哲学和技术参数表明，事后解释算法是不适合实现法律的目标。事实上，大多数要求解释的情况都是对抗性的，这意味着解释的提供者和接受者有相反的利益和动机，因此提供者可能会为了自己的目的而操纵解释。我们表明，这一根本冲突无法解决，因为高度的模糊性的事后解释在现实的应用场景。因此，事后解释算法不适合实现法律规范所固有的透明度目标。相反，有必要更明确地讨论“可解释性”义务所依据的目标，因为这些目标往往可以通过其他机制更好地实现。特别是鉴于目前正在就欧洲联盟《人工智能法》草案进行谈判，迫切需要就对抗性背景下的事后解释的潜力和局限性进行更公开和诚实的讨论。
2022-05-10 cs.AI cs.LG
Surprising Negative Results for Generative Adversarial Tree Search
Caltech（加州理工学院）；Stanford University（斯坦福大学）；UC Davis（加州大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
虽然深度强化学习（RL）的许多最新进展依赖于无模型方法，但基于模型的方法仍然具有利用无监督数据学习环境模型的潜力。在这项工作中，我们对RL环境的深度生成模型的设计进行了广泛的研究，并提出了一种样本高效和鲁棒的方法来学习Atari环境的模型。我们部署了这个模型，并提出了生成对抗树搜索（GATS），这是一种深度RL算法，可以学习环境模型，并在学习的模型上实现蒙特卡罗树搜索（MCTS）以进行规划。虽然学习模型上的MCTS在计算上是昂贵的，类似于AlphaGo，但GATS遵循深度有限的MCTS。GATS采用深度Q网络（DQN），并学习Q函数为MCTS中的树的叶子赋值。我们从理论上分析了GATS的偏差-方差权衡，并表明GATS能够减轻Q估计中的最坏情况误差。虽然我们期望GATS能够拥有更好的样本复杂性，并更快地收敛到更好的政策，但令人惊讶的是，GATS未能超越DQN。我们提供了一个研究，我们表明为什么深度有限的MCTS无法执行理想的。
2019-09-05 cs.AI cs.LG stat.ML
Adversarial Active Exploration for Inverse Dynamics Model Learning
National Tsing Hua University（国立清华大学）
我们提出了一种对抗性的主动探索逆动力学模型学习，这是一种简单而有效的学习方案，可以在没有任何人为干预的情况下激励环境中的探索。我们的框架由一个深度强化学习（DRL）代理和一个逆动力学模型相互竞争。前者为后者收集训练样本，目标是最大化后者的误差。后者使用前者收集的样本进行训练，当前者未能预测前者采取的实际行动时，后者会为前者生成奖励。在这样的竞争环境中，DRL代理学习生成逆动力学模型无法正确预测的样本，而逆动力学模型学习适应具有挑战性的样本。我们进一步提出了一个奖励结构，确保DRL代理只收集中等难度的样本，但不会过于困难，防止逆模型有效地预测。我们评估了我们的方法对多个基线模型的机器人手臂和手操作任务的有效性。实验结果表明，我们的方法是与那些直接训练与专家演示，优于其他基线，即使没有任何人类先验。
2020-03-17 cs.AI cs.LG stat.ML
Adaptive Stress Testing for Adversarial Learning in a Financial Environment
Stanford University（斯坦福大学）
我们展示了自适应压力测试的使用，以检测和解决金融环境中的潜在漏洞。我们开发了一个简化的信用卡欺诈检测模型，该模型利用基于历史支付交易数据的线性回归分类器，再加上业务规则。然后，我们应用被称为自适应压力测试的强化学习模型来训练一个可以被认为是潜在欺诈者的代理，以找到最有可能导致系统故障的路径-成功地欺骗系统。我们展示了这个最有可能的故障路径和分类器的限制之间的联系，并讨论了如何进一步增强欺诈检测系统的业务规则，以减轻这些故障模式。
2021-07-08 cs.AI cs.LG q-fin.CP
