Streaming Adversarial Robustness in Fuzzy ARTMAP: Mechanism-Aligned Evaluation, Progressive Training, and Interpretable Diagnostics
Department of Electrical and Computer Engineering（电气与计算机工程系）；Kummer Institute Center for Artificial Intelligence and Autonomous Systems (KICAIAS)（人工智能与自主系统中心（KICAIAS））；Missouri University of Science and Technology（密苏里科技大学）
本文研究模糊ARTMAP在流式学习中的对抗鲁棒性，提出WB-Softmax攻击代理，并展示渐进两阶段选择训练在无回放鲁棒性上的优势，同时通过显式类别几何实现可解释的诊断。
2026-05-07 cs.LG
Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification
National Taiwan University（台湾大学）
从未标记的文本数据中学习连续表示已被越来越多地研究，以利于半监督学习。虽然解释离散表示相对容易，但由于训练的困难，学习未标记文本数据的离散表示尚未得到广泛探索。这项工作提出了TIGAN，它学习将文本编码成两个分离的表示，包括离散代码和连续噪声，其中离散代码表示可解释的主题，而噪声控制主题内的方差。TIGAN学习的离散代码可用于无监督文本分类。与其他无监督基线相比，建议的TIGAN在六个不同的语料库上取得了优异的性能。此外，性能与最近提出的弱监督文本分类方法相当。提取的代表潜在主题的主题词表明，TIGAN学习连贯和高度可解释的主题。
2020-04-28 cs.CL cs.IR cs.LG
Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training
Hosei University（法政大学）
尽管注意力机制已被应用于各种深度学习模型，并已被证明可以提高预测性能，但据报道，注意力机制容易受到机制扰动的影响。为了克服机制中对扰动的脆弱性，我们受到对抗训练（AT）的启发，这是一种强大的正则化技术，用于增强模型的鲁棒性。在本文中，我们提出了一个通用的自然语言处理任务的训练技术，包括注意力AT（Attention AT）和更可解释的注意力AT（Attention iAT）。所提出的技术提高了预测性能和模型的可解释性，利用与AT的机制。特别是，注意力iAT通过引入对抗扰动来增强这些优势，这增强了句子注意力的差异。使用10个开放数据集的评估实验显示，注意力机制的AT，特别是Attention iAT，表现出（1）在十个任务中的九个任务中表现最好，（2）更多的可解释注意力（即，所得到的注意力与基于梯度的单词重要性更强地相关）。此外，所提出的技术是（3）少得多的依赖于在AT的扰动大小。我们的代码可在https://github.com/shunk031/attention-meets-perturbation上获得
2021-07-01 cs.AI cs.CL cs.LG
Towards Interpretable Adversarial Examples via Sparse Adversarial Attack
University of Delaware（德克萨斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of West Florida（西弗吉尼亚大学）
本文提出一种基于l0约束的稀疏对抗攻击方法，通过理论参数化技术近似NP难优化问题，并设计新损失函数，实现快速、可迁移且强力的攻击，产生更稀疏的对抗样本以解释DNNs脆弱性。
2025-06-08 cs.AI cs.LG
Explanation-Guided Adversarial Training for Robust and Interpretable Models
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Fuzhou University（福州大学）；NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences（神经网络与模式识别实验室、机器学习与智能系统研究所、自动化研究所，中国科学院）
EGAT结合对抗训练和解释引导学习，提升模型的预测性能、鲁棒性和解释质量，通过生成对抗示例并施加解释约束，在保持效率的同时增强模型的稳健性和可解释性。
2026-03-02 cs.AI cs.LG
Unveiling the Vulnerability of Graph-LLMs: An Interpretable Multi-Dimensional Adversarial Attack on TAGs
Beijing Institute of Technology（北京理工大学）；Shandong University（山东大学）；Shenzhen Institute of Technology（深圳理工大学）
提出可解释多维图攻击（IMDGA），统一扰动图结构与文本特征，揭示Graph-LLM的语义脆弱性，提升可解释性与攻击效果。
2025-10-14 cs.LG
AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large Language Models
University of Maryland, College Park（马里兰大学帕克分校）；Adobe Research（奥多比研究院）
针对现有LLM安全防御方案的局限性，提出融合两类攻击优势的AutoDAN梯度对抗攻击方法，生成高成功率、可读可解释的越狱提示，具备强泛化迁移性，为红队测试和越狱机制研究提供新路径。
2023-12-14 cs.AI cs.CL cs.CR
Adversarial Training Improves Joint Energy-Based Generative Modelling
MIPT（莫斯科物理技术学院）；ITMO（圣光机大学）；Artificial Intelligence Research Institute（人工智能研究所）
我们提出了新的框架生成建模使用混合能源为基础的模型。在我们的方法中，我们结合了鲁棒分类器和Langevin动力学的可解释输入梯度进行采样。使用对抗训练，我们不仅提高了训练的稳定性，而且提高了联合能量模型的鲁棒性和生成建模。
2022-07-18 cs.LG
Leveraging Information Consistency in Frequency and Spatial Domain for Adversarial Attacks
The University of Sydney（悉尼大学）；Suzhou Yierqi（苏州亿尔齐）；University of Malaya（马来亚大学）；Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
本文提出了一种利用频域和空间域信息一致性的简单高效可扩展的基于梯度的对抗攻击算法，实验证明其在不同模型上达到了最先进的攻击效果。
2024-08-22 cs.AI cs.LG
Improving Adversarial Robustness via Unlabeled Out-of-Domain Data
Harvard University（哈佛大学）；Rutgers University（罗格斯大学）；Stanford University（斯坦福大学）
通过合并来自多个域的廉价未标记数据的数据增强是改进预测的强大方法，特别是在标记数据有限的情况下。在这项工作中，我们研究了如何通过利用域外未标记数据来增强对抗鲁棒性。我们证明，广泛的类分布和分类器，标准和强大的分类之间存在着一个样本的复杂性差距。我们通过提供上界和下界来量化通过利用来自移动域的未标记样本可以在多大程度上弥补这一差距。此外，我们展示了当未标记数据来自移位域而不是与标记数据相同的域时，我们实现更好的对抗鲁棒性的设置。我们还研究了如何利用域外数据时，一些结构信息，如稀疏性，标记和未标记的域之间共享。在实验中，我们增加了两个对象识别数据集（CIFAR-10和SVHN），易于获得和未标记的域外数据，并证明了该模型对原始域上的$\ell_\infty$对抗攻击的鲁棒性的实质性改善。
2021-02-21 cs.LG stat.ML
LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition
University of Maryland（马里兰大学）；US Naval Academy（美国海军学院）
面部识别系统越来越多地被私营公司、政府机构和承包商部署，用于消费者服务和大规模监控项目。这些系统通常通过抓取用户图像的社交媒体配置文件来构建。对抗性扰动已经被提出用于绕过面部识别系统。然而，现有的方法在全规模系统和商业API上失败。我们开发了我们自己的对抗过滤器，它占了整个图像处理管道，并且对包括人脸检测和大规模数据库在内的工业级管道有效。此外，我们还发布了一个易于使用的Web工具，可以显著降低Amazon Rekognition和Microsoft Azure Face Recognition API的准确性，将其准确性降低到1%以下。
2021-01-25 cs.CR cs.CV cs.LG
Resilience of Bayesian Layer-Wise Explanations under Adversarial Attacks
University of Trieste（的里雅斯特大学）；Saarland University（萨尔大学）；University of Edinburgh（爱丁堡大学）；SISSA（国际高等研究学院）
我们考虑了在分类任务中基于显著性的解释在对抗攻击下的神经网络预测的稳定性问题。确定性神经网络的显着性解释是非常脆弱的，即使在攻击失败时，即对于不改变分类标签的攻击。我们的经验表明，贝叶斯神经网络提供的解释是相当稳定的对抗扰动下的输入，甚至在直接攻击的解释。通过利用最近的结果，我们还提供了一个理论解释的数据流形的几何形状的这一结果。此外，我们还讨论了网络内部各层输入的高级表示的解释的稳定性。我们的研究结果表明，贝叶斯方法，除了更强大的对抗攻击，有潜力提供更稳定和可解释的评估神经网络预测。
2022-05-05 cs.LG stat.ML
Robust Partial-Label Learning by Leveraging Class Activation Values
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对偏标签学习在噪声、分布外及对抗扰动下预测不稳健的问题，提出基于主观逻辑与类别激活值的新方法，并采用最优标签权重再分配策略，实验证明其鲁棒性更优。
2025-02-17 cs.LG stat.ML
L-AutoDA: Leveraging Large Language Models for Automated Decision-based Adversarial Attacks
City University of Hong Kong（香港城市大学）；CityU Shenzhen Research Institute（香港城市大学深圳研究院）
L-AutoDA利用大型语言模型在进化框架中自动设计基于决策的对抗性攻击，在CIFAR-10上显著提升成功率与计算效率。
2024-05-22 cs.AI cs.CR cs.CV
A Little Robustness Goes a Long Way: Leveraging Robust Features for Targeted Transfer Attacks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Santa Fe Institute（圣塔菲研究所）
已知神经网络图像分类器的对抗性示例是可转移的：被源分类器错误分类的优化示例通常也被具有不同架构的分类器错误分类。然而，有针对性的对抗性示例（被优化为被分类为选定的目标类）往往不太容易在架构之间转移。虽然以前的研究构建可转移的有针对性的攻击集中在改善优化过程中，在这项工作中，我们研究的作用的源分类器。在这里，我们表明，训练源分类器“稍微健壮”-即对小规模对抗性示例的健壮性-大大提高了针对类和针对表示的对抗攻击的可转移性，即使是在卷积神经网络和Transformers等不同的架构之间。我们提出的结果提供了深入了解对抗性例子的性质以及所谓的“鲁棒”分类器的机制。
2021-10-25 cs.CR cs.LG
OTI: A Model-free and Visually Interpretable Measure of Image Attackability
Faculty of Science and Technology, University of Macau（澳门大学科技学院）；Chongqing Key Laboratory of Image Cognition, Chongqing University of Posts and Telecommunications（重庆邮电大学图像认知重点实验室）
本文提出OTI，一种无需模型且具有视觉解释性的图像攻击性度量方法，通过测量图像语义对象的纹理强度来评估图像攻击性，具有高效且可解释的优势。
2026-01-24 cs.CV cs.LG
Perturbations in the Wild: Leveraging Human-Written Text Perturbations for Realistic Adversarial Attack and Defense
Penn State University（宾夕法尼亚州立大学）；Yahoo Research（雅虎研究院）
我们提出了一种新的算法，ANTHRO，归纳提取超过600 K人类写的文本扰动在野生环境中，并利用它们现实的对抗攻击。与现有的基于字符的攻击，往往演绎假设一套操纵策略，我们的工作是基于从现实世界的文本的实际观察。我们发现ANTHRO生成的对抗性文本在（1）攻击成功率，（2）原始文本的语义保留和（3）隐秘性之间实现了最佳权衡-即与人类文字无法区分，因此更难被标记为可疑。具体来说，我们的攻击在BERT和RoBERTa上分别实现了大约83%和91%的攻击成功率。此外，当由外行和专业人类工作者评估时，它在语义保留和隐蔽性方面的表现优于TextBugger基线，分别增加了50%和40%。与Perspective API相比，ANTHRO可以通过对抗训练进一步增强BERT分类器在理解人类编写的有毒文本的不同变化方面的性能。
2022-03-19 cs.CL cs.CR cs.LG
Breaking the Illusion of Security via Interpretation: Interpretable Vision Transformer Systems under Attack
Department of Computer Science and Engineering, Sungkyunkwan University（计算机科学与工程系，全州大学）；Department of Computer Science, Loyola University（计算机科学系，洛伊拉大学）
本文提出AdViT攻击方法，可同时欺骗视觉Transformer模型及其耦合解释模型，在白盒和黑盒场景下均达到100%攻击成功率，同时保持解释准确性以逃避检测。
2025-07-18 cs.AI cs.CR cs.CV
Bridging Adversarial Robustness and Gradient Interpretability
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Satrec Initiative（Satrec Initiative公司）；SI Analytics
对抗性训练是一种训练方案，旨在通过使用对抗性示例增强训练数据集来对抗对抗攻击。令人惊讶的是，一些研究已经观察到，来自对抗训练的DNN的损失梯度比来自标准DNN的损失梯度在视觉上更容易解释。虽然这种现象很有趣，但只有少数作品提供了解释。在本文中，我们试图弥合对抗鲁棒性和梯度可解释性之间的差距。为此，我们确定了来自对抗训练的DNN的损失梯度与人类感知更好地对齐，因为对抗训练限制了更接近图像流形的梯度。然后，我们证明了对抗性训练导致损失梯度具有定量意义。最后，我们证明了在对抗训练框架下，测试准确性和损失梯度可解释性之间存在经验权衡，并提出了两种解决这种权衡的潜在方法。
2019-04-19 cs.AI cs.LG stat.ML
On the Connection Between Adversarial Robustness and Saliency Map Interpretability
University of Bremen（不来梅大学）；University of Cambridge（剑桥大学）
最近关于神经网络对抗性脆弱性的研究表明，经过训练对对抗性攻击更具鲁棒性的模型比非鲁棒模型表现出更多可解释的显着性图。我们的目标是通过考虑输入图像和显着图之间的对齐来量化这种行为。我们假设，随着到决策边界的距离增加，对齐也会增加。这种联系在线性模型的情况下是严格正确的。我们通过基于局部Lipschitz正则化训练的模型的实验证实了这些理论发现，并确定了神经网络的非线性性质削弱了这种关系。
2019-05-10 cs.CV cs.LG stat.ML
Leveraging Domain Features for Detecting Adversarial Attacks Against Deep Speech Recognition in Noise
Aalborg University（奥尔堡大学）
近年来，基于深度模型的自动语音识别（ASR）取得了重大进展，导致其在现实世界中的广泛部署。同时，针对深度ASR系统的对抗性攻击非常成功。已经提出了各种方法来保护ASR系统免受这些攻击。然而，现有的基于分类的方法专注于深度学习模型的设计，而缺乏对领域特定特征的探索。这项工作利用基于滤波器组的特征来更好地捕获攻击的特征，以改进检测。此外，本文分析了分别使用语音和非语音部分检测对抗性攻击的潜力。最后，考虑到ASR系统可能部署的不利环境，我们研究了各种类型的声学噪声和信噪比的影响。大量的实验表明，逆滤波器组的功能通常在清洁和噪声环境中表现得更好，检测是有效的，无论是使用语音或非语音部分，和声学噪声可以大大降低检测性能。
2022-11-03 cs.CR cs.LG cs.SD
Robust and Interpretable COVID-19 Diagnosis on Chest X-ray Images using Adversarial Training
University of Southern California（南加州大学）；Keck School of Medicine（凯克医学院）；USC Stevens Neuroimaging and Informatics Institute（南加州大学史蒂文斯神经影像与信息学研究所）
本研究针对COVID-19胸部X光图像AI诊断缺乏鲁棒性和可解释性的问题，训练了21个CNN模型并引入对抗训练，显著提升了模型在扰动图像上的分类性能，同时增强了临床特征定位与专家诊断的一致性。
2023-11-23 cs.CV cs.LG eess.IV
Adaptive Intrusion Detection System Leveraging Dynamic Neural Models with Adversarial Learning for 5G/6G Networks
University of Newcastle（纽卡斯尔大学）；Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）
本文提出利用动态神经网络和对抗学习的适应性入侵检测系统，通过增量学习减少重新训练需求，提升5G/6G网络的实时威胁检测与响应能力。
2025-12-13 cs.CR cs.LG
IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces
University of Padova（帕多瓦大学）
学习复杂数据的有用表示多年来一直是广泛研究的主题。随着深度神经网络的普及，变分自编码器获得了大量关注，因为它们基于编码器/解码器架构提供了数据分布的显式模型，该架构能够生成图像并在低维子空间中对其进行编码。然而，潜在的空间是不容易解释和生成能力显示出一些限制，因为图像通常看起来模糊，缺乏细节。在本文中，我们提出了内省变分分类器（IntroVAC），该模型通过利用来自附加标签的信息来学习可解释的潜在子空间，并通过对抗训练策略来提高图像质量。我们表明，IntroVAC能够学习潜在空间中有意义的方向，从而实现对图像属性的细粒度操作。我们在CelebA数据集上验证了我们的方法。
2020-09-14 cs.CV cs.LG stat.ML
The Definitions of Interpretability and Learning of Interpretable Models
Tsinghua University（清华大学）
随着机器学习算法在越来越多的应用中被采用，解释已经成为一个至关重要的需求。在本文中，我们提出了人类可解释模型的数学定义。特别是，我们定义了两个信息处理系统之间的可解释性。如果预测模型可由人类识别系统基于上述可解释性定义解释，则预测模型被定义为完全人类可解释的模型。我们进一步设计了一个实用的框架，通过用户交互训练一个完全人类可解释的模型。在图像数据集上的实验表明，该模型具有两个方面的优势：1）完全人类可解释的模型可以提供人类可理解的整个决策过程; 2）完全人类可解释的模型对对抗攻击具有更强的鲁棒性。
2021-05-29 cs.HC cs.LG
Genetic Adversarial Training of Decision Trees
University of Padova（帕多瓦大学）
我们提出了一种新的学习方法集成的决策树的遗传算法的基础上，它是能够训练的决策树，以最大限度地提高其准确性和鲁棒性对抗扰动。这种学习算法内部利用了一个完整的形式化验证技术的鲁棒性的决策树的基础上抽象的解释，一个众所周知的静态程序分析技术。我们在一个名为Meta-Silencer（MS）的工具中实现了这种遗传对抗训练算法，并在对抗训练中使用的一些参考数据集上进行了实验评估。实验结果表明，MS是能够训练强大的模型，竞争，并经常改善目前的最先进的对抗训练的决策树，而更紧凑，因此可解释和有效的树模型。
2020-12-21 cs.LG
Improving the Adversarial Robustness and Interpretability of Deep Neural Networks by Regularizing their Input Gradients
Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学保尔森工程与应用科学学院）
深度神经网络已经被证明在解决许多分类问题方面非常有效，但最近因两个主要弱点而受到批评：预测背后的原因无法解释，预测本身经常被小的对抗性扰动所愚弄。这些问题为神经网络在需要安全性或透明性的领域中的采用造成了主要障碍。在这项工作中，我们评估了防御的有效性，这些防御对输入中的微小变化改变模型预测的程度进行了不同程度的惩罚。在多个攻击、架构、防御和数据集中，我们发现用这种输入梯度正则化训练的神经网络对为欺骗所有其他模型而生成的转移对抗性示例表现出鲁棒性。我们还发现，为欺骗梯度正则化模型而生成的对抗性示例同样能很好地欺骗所有其他模型，实际上会导致人们评价的更“合理”、更可解释的错误分类（我们在人类受试者实验中证实了这一点）。最后，我们证明了正则化输入梯度使它们更自然地解释为模型预测的依据。最后，我们讨论了深度神经网络中的可解释性和鲁棒性之间的关系。
2017-11-26 cs.CR cs.CV cs.LG
DistriBlock: Identifying adversarial audio samples by leveraging characteristics of the output distribution
Ruhr University Bochum（波鸿鲁尔大学）；Technische Universität Berlin（柏林工业大学）
提出DistriBlock，利用ASR输出概率分布的特征，通过二元分类器高效检测对抗性音频样本，在多个ASR系统上达到99%和97%的AUC，且自适应攻击更易被滤波检测。
2024-11-06 cs.CR cs.LG cs.SD
DI-AA: An Interpretable White-box Attack for Fooling Deep Neural Networks
Beijing Key Laboratory of Security and Privacy in Intelligent Transportation, Beijing Jiaotong University（北京交通大学智能交通安全与隐私北京市重点实验室）；University of Zaragoza（萨拉戈萨大学）
针对深度神经网络（DNN）的白盒对抗性示例（AE）攻击在AE策略领域具有比黑盒AE攻击更强的破坏能力。然而，几乎所有的白盒方法都缺乏从DNN的角度进行解释。也就是说，攻击者没有从可解释特征的角度来调查攻击，这些方法中很少考虑DNN实际学习的特征。本文提出了一种可解释的白盒AE攻击方法DI-AA，该方法利用深度Taylor分解的可解释方法选择最有贡献的特征，并采用Logit输出和L_p范数的拉格朗日松弛优化来进一步减小扰动。我们在三个数据集上将DI-AA与六种基线攻击（包括最先进的攻击AutoAttack）进行了比较。实验结果表明，该方法可以1）以相对较低的扰动攻击非鲁棒模型，其中扰动接近或低于AutoAttack方法; 2）以最高的成功率破坏TRADES对抗训练模型; 3）在黑箱传输攻击中，生成的AE可以将鲁棒黑箱模型的鲁棒准确率降低16%至31%。
2021-10-14 cs.CR cs.LG
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab（Criteo人工智能实验室）；Amazon（亚马逊）；Meta AI Research（Meta人工智能研究院）
在本文中，我们研究了神经网络（NN）拓扑结构对对抗鲁棒性的影响。具体来说，我们研究了当输入遍历NN的所有层时产生的图，并表明这些图对于干净的和对抗性的输入是不同的。我们发现，来自干净输入的图形更集中在高速公路边缘，而来自对手的图形则更分散，利用了优化不足的边缘。通过在各种数据集和架构上的实验，我们证明了这些优化不足的边缘是对抗性脆弱性的来源，它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明，以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外，我们还表明，通过强制深度神经网络（DNN）在变换后的输入和特征空间中保持线性，可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数，进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法，并在MNIST，CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中，我们还提出了一种新的对抗图像生成方法，该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Leveraging Generalizability of Image-to-Image Translation for Enhanced Adversarial Defense
Kyushu Institute of Technology（九州工业大学）；The University of Kitakyushu（北九州大学）；Kyushu University（九州大学）
本研究提出一种结合残差块的图像到图像翻译防御模型，仅需训练单个模型即可有效抵御多种未见对抗攻击，将分类准确率从近零恢复至平均72%，并在不同目标模型间具备良好可迁移性。
2025-04-02 cs.CV cs.LG
Massif: Interactive Interpretation of Adversarial Attacks on Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；GTRI（佐治亚技术研究所）
深度神经网络（DNN）越来越多地为自动驾驶汽车和医疗保健等高风险应用提供动力;然而，在这些应用中，DNN通常被视为“黑匣子”。最近的研究还表明，DNN极易受到对抗攻击的攻击，这引起了人们对在现实世界中部署DNN的严重担忧。为了克服这些缺陷，我们正在开发Massif，这是一种用于破译对抗攻击的交互式工具。Massif识别并交互式可视化DNN内被对抗攻击强烈激活或抑制的神经元及其连接。Massif提供了攻击对DNN影响的高层次、可解释的概述，以及受影响神经元的低层次、详细描述。Massif中的这些紧密耦合的视图帮助人们更好地了解哪些输入特征对于正确的预测最脆弱或最重要。
2020-02-16 cs.CR cs.LG stat.ML
Towards Feature Space Adversarial Attack
我们提出了一种新的针对深度神经网络的对抗攻击，用于图像分类。与大多数直接干扰输入像素的现有攻击不同，我们的攻击侧重于干扰抽象特征，更具体地说，表示样式的特征，包括可解释的样式，如鲜艳的颜色和清晰的轮廓，以及不可解释的样式。它通过优化过程注入不可察觉的风格变化来诱导模型错误分类。我们表明，我们的攻击可以生成比最先进的无界攻击更自然的对抗样本。实验还表明，现有的像素空间对抗攻击检测和防御技术很难保证在风格相关特征空间的鲁棒性。
2020-12-16 cs.CV cs.LG eess.IV
Consensus-based Interpretable Deep Neural Networks with Application to Mortality Prediction
Florida State University（佛罗里达州立大学）；Tallahassee Memorial Hospital（塔拉哈西纪念医院）
深度神经网络在各种具有挑战性的任务中取得了显著的成功。然而，这种网络的黑盒性质对于关键应用（例如医疗保健）是不可接受的。特别是，对抗性例子的存在及其对不相关的、高置信度的分布外输入的过度泛化使得很难（如果不是不可能的话）解释这种网络的决策。在本文中，我们分析了深度神经网络泛化的底层机制，并提出了一种（$n$，$k$）共识算法，该算法对对抗性样本不敏感，可以可靠地拒绝分布外的样本。此外，共识算法能够通过使用多个训练的深度神经网络来提高分类准确性。为了处理深度神经网络的复杂性，我们对单个模型的线性近似进行聚类，并识别不同模型之间高度相关的聚类，以鲁棒地捕获特征重要性，从而提高可解释性。出于建立准确和可解释的医疗保健预测模型的重要性，我们在ICU数据集上的实验结果表明，我们的算法在提高深度神经网络模型对一年患者死亡率预测的预测准确性和可解释性方面是有效的。特别是，虽然所提出的方法保持了与传统的浅层模型（如逻辑回归）相似的可解释性，但它显着提高了预测精度。
2019-09-11 cs.AI cs.CV cs.LG
Interpretable Deep Learning under Fire
Pennsylvania State University（宾夕法尼亚州立大学）；University of California Irvine（加州大学欧文分校）；Zhejiang University（浙江大学）；Alibaba-ZJU Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Hong Kong Polytechnic University（香港理工大学）
为深度神经网络（DNN）模型提供解释对于它们在安全敏感领域的使用至关重要。已经提出了大量的解释模型来帮助用户理解DNN的内部工作：DNN如何对给定的输入做出特定的决策？改进的可解释性被认为通过使人参与决策过程来提供安全感。然而，由于其数据驱动的性质，可解释性本身可能容易受到恶意操纵，迄今为止对此知之甚少。在这里，我们通过对可解释深度学习系统（IDLS）的安全性进行首次系统研究来弥合这一差距。我们发现，现有的\imlses是非常容易受到对抗性操纵。具体来说，我们提出了ADV^2，这是一类新的攻击，它生成的对抗性输入不仅会误导目标DNN，还会欺骗它们的耦合解释模型。通过对基准数据集和安全关键型应用程序（例如，皮肤癌诊断），我们证明了ADV^2的对手能够任意指定输入的预测和解释。此外，通过分析和经验证据，我们将预测-解释差距确定为这种脆弱性的根本原因之一-DNN及其解释模型通常不一致，导致同时利用两种模型的可能性。最后，我们探索了针对ADV^2的潜在对策，包括利用其低可移植性并将其纳入对抗性训练框架。我们的研究结果揭示了设计和操作IDLSes在一个更安全和信息丰富的方式，导致几个有前途的研究方向。
2019-09-18 cs.CR cs.LG
Adversarial Defense Through Network Profiling Based Path Extraction
Shanghai Jiao Tong University（上海交通大学）；University of Rochester（罗切斯特大学）
最近，研究人员开始根据语义或功能分解深度神经网络模型。最近的工作已经表明了分解功能块在防御对抗攻击方面的有效性，这些攻击向输入图像添加了小的输入扰动以欺骗DNN模型。本文提出了一种基于剖析的方法，将DNN模型分解为不同的功能块，从而得到有效的路径，作为探索DNN内部组织的一种新方法。具体地说，每个图像的有效路径可以聚合到类级有效路径，通过它我们观察到，敌对图像激活不同于正常图像的有效路径。我们提出了一种有效的基于路径相似性的方法来检测具有可解释模型的对抗图像，该方法比最先进的技术具有更好的准确性和更广泛的适用性。
2019-05-09 cs.CR cs.CV cs.LG
MF-CLIP: Leveraging CLIP as Surrogate Models for No-box Adversarial Attacks
Hong Kong University of Science and Technology（香港科技大学）；University of Naples Federico II（那不勒斯费德里科二世大学）；Singapore Management University（新加坡管理大学）；Beijing Jiaotong University（北京交通大学）；National Lab of Pattern Recognition（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对无盒对抗攻击研究不足的问题，提出MF-CLIP框架，通过边际感知特征空间优化提升CLIP作为替代模型的攻击效能，实验证明其显著优于现有基线。
2025-03-24 cs.AI cs.CR cs.LG
SPADE: A Spectral Method for Black-Box Adversarial Robustness Evaluation
Stevens Institute of Technology（史蒂文斯理工学院）；Cornell University（康奈尔大学）
提出了一种评估机器学习（ML）模型对抗鲁棒性的黑盒谱方法。我们的方法，命名为SPADE，利用双射距离映射之间的输入/输出图构造近似对应的输入/输出数据的流形。利用广义Courant-Fischer定理，提出了一种用于评估给定模型对抗鲁棒性的SPADE评分，并证明了该评分是流形环境下最佳Lipschitz常数的上界.为了揭示最不健壮的数据样本极易受到对抗攻击，我们开发了一个谱图嵌入过程，利用占主导地位的广义特征向量。这个嵌入步骤允许为每个数据样本分配一个鲁棒性分数，可以进一步利用该分数进行更有效的对抗训练。我们的实验表明，所提出的SPADE方法导致有前途的经验结果的神经网络模型，对抗训练的MNIST和CIFAR-10数据集。
2021-06-13 cs.AI cs.CV cs.LG
Adversarially robust segmentation models learn perceptually-aligned gradients
University of Maryland（马里兰大学）
对抗性训练对语义分割网络的影响尚未得到深入研究。虽然以前的工作已经表明，经过逆向训练的图像分类器可以用于执行图像合成，但我们还没有了解如何最好地利用经过逆向训练的分割网络来完成同样的工作。使用一个简单的优化器，我们证明了对抗训练的语义分割网络可用于执行图像修补和生成。我们的实验表明，经过逆向训练的分割网络更健壮，并且确实表现出感知对齐的梯度，这有助于产生合理的图像修补。我们试图在以下假设背后放置额外的权重：对抗性鲁棒模型表现出与人类视觉更感知一致的梯度。通过图像合成，我们认为，感知对齐梯度促进更好地理解神经网络的学习表示，并有助于使神经网络更可解释。
2022-04-03 cs.CV cs.LG
Unveiling Vulnerabilities in Interpretable Deep Learning Systems with Query-Efficient Black-box Attacks
Sungkyunkwan University（成均馆大学）；Loyola University Chicago（芝加哥洛约拉大学）
针对可解释深度学习系统易受攻击的问题，提出一种无需目标模型先验知识、结合迁移与分数方法的查询高效微生物遗传算法黑盒攻击，实验证明其成功率高且难检测，凸显提升该类系统安全性的必要性。
2023-07-21 cs.CR cs.CV cs.LG
Adversarial Attacks on Hyperbolic Networks
University of Amsterdam（阿姆斯特丹大学）；Czech Technical University in Prague（布拉格捷克技术大学）
本文提出 FGM 与 PGD 的双曲对抗攻击版本，并通过合成基准和真实数据集实验比较欧氏与完全双曲网络的鲁棒性差异。
2024-12-02 cs.AI cs.LG
Learning Interpretable Disentangled Representations using Adversarial VAEs
Technische Universität München（慕尼黑工业大学）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）；Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）
学习医学应用中的可解释表示对于将数据驱动模型应用于临床实践变得至关重要。最近的研究表明，学习一个解纠缠的特征表示对于数据的更紧凑和可解释的表示是很重要的。在本文中，我们引入了一种新的对抗性的变分自编码器与总相关约束，以执行独立的潜在表示，同时保持重建保真度。我们提出的方法在公开的数据集上进行了验证，表明学习的解纠缠表示不仅是可解释的，而且优于最先进的方法。我们报告了一个相对的改善81.50%的解纠缠，11.60%的聚类，和2%的监督分类与少量的标记数据。
2019-04-17 cs.LG stat.ML
Ensemble everything everywhere: Multi-scale aggregation for adversarial robustness
Google DeepMind（谷歌DeepMind）
该研究提出基于多分辨率输入与CrossMax动态自集成的对抗鲁棒方法，无需对抗训练即可在CIFAR数据集上取得优异鲁棒性，结合对抗训练进一步刷新SOTA，还可用于生成可控图像与构造可迁移攻击。
2024-08-08 cs.CV cs.LG
Leveraging Large Language Models through Natural Language Processing to provide interpretable Machine Learning predictions of mental deterioration in real time
University of Vigo（维戈大学）
本文提出一种结合大型语言模型与自然语言处理的聊天机器人系统，通过提示工程、流式特征处理和实时分类，实现可解释的认知衰退预测，分类指标超过80%，心理衰退类召回率约85%。
2024-09-05 cs.AI cs.CL cs.LG
When Interpretability Becomes a Liability: Adversarial Attacks on CBM Concept Layers
Independent Researcher（独立研究者）
本文系统研究了概念瓶颈模型（CBM）中概念层的对抗性脆弱性，提出了一种基于语义扰动的稳定性正则化防御方法SPECTRA，显著提高了攻击所需的最小扰动范数，同时保持了分类精度。
2026-05-25 cs.CR cs.CV cs.LG
Boosting Adversarial Attacks by Leveraging Decision Boundary Information
University of Electronic Science and Technology of China（电子科技大学）
由于替代模型和受害者模型之间的间隙，从替代模型生成的基于梯度的噪声对于受害者模型可能具有低的可传递性，因为它们的梯度不同。受不同模型的决策边界差别不大这一事实的启发，我们进行了实验，发现不同模型的梯度在决策边界上比在原始位置上更相似。此外，由于输入图像附近的决策边界在大多数方向上是平坦的，我们推测边界梯度可以帮助找到一个有效的方向来穿过受害者模型的决策边界。在此基础上，我们提出了一个边界拟合攻击，以提高可移植性。具体来说，我们引入了一种方法来获得一组边界点，并利用这些点的梯度信息来更新对抗性示例。值得注意的是，我们的方法可以与现有的基于梯度的方法相结合。大量的实验证明了我们的方法的有效性，即，与最先进的基于传输的攻击相比，针对正常训练的CNN的成功率平均提高了5.6%，针对防御CNN的成功率平均提高了14.9%。此外，我们比较了Transformers和CNN，结果表明，Transformers比CNN更强大。然而，我们的方法在攻击Transformers时仍然优于现有的方法。具体来说，当使用CNN作为替代模型时，我们的方法获得了58.2%的平均攻击成功率，比其他最先进的基于传输的攻击高出10.8%。
2023-03-10 cs.CR cs.CV cs.LG
InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
UC Berkeley（加州大学伯克利分校）；OpenAI
本文描述了InfoGAN，这是生成对抗网络的信息理论扩展，能够以完全无监督的方式学习解缠表示。InfoGAN是一个生成对抗网络，它还最大化了一小部分潜变量和观测值之间的互信息。我们推导出一个下界的互信息的目标，可以有效地优化，并表明我们的训练过程可以被解释为一个变化的唤醒-睡眠算法。具体来说，InfoGAN成功地从MNIST数据集上的数字形状中分离出书写风格，从3D渲染图像的照明中分离出姿势，从SVHN数据集上的中心数字中分离出背景数字。它还发现了视觉概念，包括发型，眼镜的存在/不存在以及CelebA面部数据集上的情绪。实验表明，InfoGAN学习可解释的表示，与现有的完全监督方法学习的表示竞争。
2016-06-12 cs.LG stat.ML
SafeAMC: Adversarial training for robust modulation recognition models
EPFL（洛桑联邦理工学院）；armasuisse Science&Technology（瑞士联邦国防采购局科学技术部）
在通信系统中，有许多任务（如调制识别）依赖于深度神经网络（DNN）模型。然而，这些模型已被证明容易受到对抗性扰动的影响，即难以察觉的加性噪声，以诱导错误分类。这引发了人们对安全性的质疑，也引发了人们对模型预测的普遍信任。我们建议使用对抗性训练，包括用对抗性扰动微调模型，以提高自动调制识别（AMC）模型的鲁棒性。我们表明，目前最先进的模型受益于对抗训练，这减轻了一些调制家族的鲁棒性问题。我们使用对抗扰动来可视化学习到的特征，我们发现在鲁棒模型中，信号符号会向星座空间中最近的类移动，就像最大似然方法一样。这证实了鲁棒模型不仅更安全，而且更具可解释性，在与调制识别相关的信号统计数据上建立决策。
2021-05-28 cs.LG eess.SP
Language-Driven Anchors for Zero-Shot Adversarial Robustness
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Chinese Institute for Brain Research（中国脑科学研究院）
针对零样本对抗鲁棒性研究空白，提出语言驱动的基于锚点的对抗训练策略LAAT，通过文本编码器类别特征作锚点训练，结合扩展算法与对齐交叉熵损失解决特征相似度高的问题，显著提升零样本对抗鲁棒性，适用于无标注数据场景。
2024-03-10 cs.AI cs.CV cs.LG
Factor Graph-based Interpretable Neural Networks
Dalian University of Technology（大连理工大学）；Jilin University（吉林大学）；RMIT University（皇家墨尔本理工大学）
本文提出 AGAIN，利用因子图表达解释与类别间的逻辑规则，并在推理时交互式纠正不合逻辑的解释，从而在未知扰动下生成可理解解释。
2025-02-20 cs.AI cs.LG
On Saliency Maps and Adversarial Robustness
IIT Hyderabad（海得拉巴印度理工学院）
最近出现的一种趋势是将可解释性和对抗性鲁棒性的概念结合起来，这与早期的努力不同，早期的努力只关注良好的解释或对抗对手的鲁棒性。工作表明，对抗训练的模型比非鲁棒的模型表现出更多可解释的显着性图，并且这种行为可以通过考虑输入图像和显着性图之间的对齐来量化。在这项工作中，我们为这种耦合提供了一个不同的视角，并提供了一种方法，基于显着性的对抗训练（SAT），使用显着性图来提高模型的对抗鲁棒性。特别是，我们表明，使用注释，如边界框和分割掩模，已经提供了一个数据集，作为弱显着性图，足以提高对抗鲁棒性，没有额外的努力来生成扰动本身。我们在CIFAR-10、CIFAR-100、Tiny ImageNet和Flower-17数据集上的实证结果一致地证实了我们的说法，即使用我们的方法提高了对抗鲁棒性。显着图。我们还展示了如何使用更精细、更强大的显着性图来构建更强大的模型，以及如何将SAT与现有的对抗训练方法相结合，进一步提高这些现有方法的性能。
2020-07-13 cs.CV cs.LG
Toward Reliable and Explainable Nail Disease Classification: Leveraging Adversarial Training and Grad-CAM Visualization
East West University（东西大学）
本文提出基于对抗训练和Grad-CAM可视化的机器学习模型，用于可靠且可解释的指甲疾病分类，提升诊断准确性与效率。
2026-02-04 cs.AI cs.CV cs.LG
Adversarial Attacks on Knowledge Graph Embeddings via Instance Attribution Methods
Trinity College Dublin（都柏林三一学院）；TU Dublin（都柏林理工大学）；Accenture Labs（埃森哲实验室）
尽管知识图谱嵌入（KGE）被广泛使用，但人们对可能破坏其预期行为的安全漏洞知之甚少。我们研究了针对链接预测的KGE模型的数据投毒攻击。这些攻击在训练时进行对抗性的添加或删除，从而在测试时导致模型失败。为了选择对抗性删除，我们建议使用来自可解释机器学习的模型不可知的实例归因方法，该方法识别对神经模型对测试实例的预测最有影响的训练实例。我们使用这些有影响力的三元组作为对抗性删除。我们进一步提出了一个探试法来替换每个有影响力的三元组中的两个实体之一，以生成对抗性添加。我们的实验表明，所提出的策略优于最先进的数据投毒攻击KGE模型，并改善MRR下降，由于攻击高达62%的基线。
2021-11-04 cs.AI cs.CL cs.LG
