On the robustness of randomized classifiers to adversarial examples
Facebook AI Research（Facebook人工智能研究院）；LAMSADE, Université Paris-Dauphine（巴黎多芬大学LAMSADE实验室）；Institut LIST, CEA, Université Paris-Saclay（巴黎萨克雷大学CEA LIST研究所）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文研究了抵抗对抗攻击的鲁棒性理论。我们专注于随机分类器（输出随机变量的\emph{i.e.}分类器），并通过统计学习理论和信息论的视角对其行为进行深入分析。为此，我们引入了一个新的概念，随机分类器的鲁棒性，强制执行本地Lipschitzness使用概率度量。根据这一定义，我们做出了两个新的贡献。第一个是在设计一个新的上限的对抗性推广差距的随机分类器。更准确地说，我们设计的泛化差距和对抗差距（\emph{i.e.}之间的差距的风险和攻击下的最坏情况下的风险）的随机分类的界限。第二个贡献提出了一个简单但有效的噪声注入方法来设计强大的随机分类器。我们表明，我们的研究结果适用于广泛的机器学习模型在温和的假设。我们使用深度神经网络对标准图像数据集（即CIFAR-10和CIFAR-100）进行实验，进一步证实了我们的发现。我们训练的所有鲁棒模型都可以同时达到最先进的精度（超过CIFAR-10上的$0.82$干净精度），并享受\emph{guaranteed}鲁棒的精度范围（$0.45$对抗CIFAR-10上具有$0.5$量级的$\ell_2$对手）。
2021-02-22 cs.LG
Adversarial Perturbations Are Not So Weird: Entanglement of Robust and Non-Robust Features in Neural Network Classifiers
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Santa Fe Institute（圣塔菲研究所）
众所周知，在视觉数据上训练的神经网络容易受到通常难以察觉的对抗性扰动的影响。这种脆弱性的原因仍在文献中辩论。最近Ilyas等人（2019）表明，这种漏洞的出现部分是因为神经网络分类器依赖于高度预测但脆弱的“非鲁棒”特征。在本文中，我们扩展了Ilyas等人的工作。通过研究产生这些功能的输入模式的性质。特别是，我们假设在以标准方式训练的神经网络中，非鲁棒特征响应于小的“非语义”模式，这些模式通常与更大的鲁棒模式纠缠在一起，已知更易于人类解释，而不是仅仅响应数据集中的统计伪影。因此，对抗性的例子可以通过对这些小的纠缠模式的最小扰动来形成。此外，我们还证明了我们假设的一个推论：鲁棒分类器比标准（非鲁棒）分类器更有效，可以在非目标和目标环境中生成可转移的对抗性示例。我们在本文中提出的结果提供了新的见解的性质负责对抗性的弱点神经网络分类器的非鲁棒功能。
2021-02-09 cs.LG
Adversarial Detector with Robust Classifier
Tokyo Metropolitan University（东京都立大学）
众所周知，深度神经网络（DNN）模型很容易通过使用具有小扰动的输入图像（称为对抗性示例）对预测结果进行错误分类。在本文中，我们提出了一种新的对抗检测器，它由一个强大的分类器和一个简单的，高度检测敌对的例子。建议的对抗性检测器进行按照普通和强大的分类器的logits。在一个实验中，所提出的检测器被证明优于一个国家的最先进的检测器没有任何强大的分类。
2022-02-05 cs.CV cs.LG
Guardian of the Ensembles: Introducing Pairwise Adversarially Robust Loss for Resisting Adversarial Attacks in DNN Ensembles
Centre for Computational and Data Sciences, IIT Kharagpur（印度理工学院克勒格布尔分校计算与数据科学中心）；Computer Science and Engineering Department, IIT Kharagpur（印度理工学院克勒格布尔分校计算机科学与工程系）；Center for Cyber Security, New York University Abu Dhabi（纽约大学阿布扎比分校网络安全中心）；Department of Artificial Intelligence, IIT Kharagpur（印度理工学院克勒格布尔分校人工智能系）；Computer Science and Engineering Department, IIT Patna（印度理工学院巴特那分校计算机科学与工程系）
针对对抗攻击的可迁移性问题，本文提出成对对抗鲁棒损失（PARL）训练DNN集成，通过同时利用集成内分类器各层输出与梯度生成决策边界多样的集成，提升黑盒迁移攻击鲁棒性，在保持干净准确率的同时使鲁棒准确率提升24.8%。
2024-12-03 cs.LG
Adversarial Attacks in Weight-Space Classifiers
Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）；Bar-Ilan University（巴伊兰大学）；Ben-Gurion University of the Negev（贝加尔大学）；Institute of Science and Technology（科学与技术研究所）
本研究分析了权重空间分类器在对抗攻击下的鲁棒性，发现参数空间模型比传统分类器更抗攻击，并归因于优化过程中的梯度混淆现象。
2026-03-03 cs.LG
Adversarial attacks for mixtures of classifiers
LAMSADE（LAMSADE实验室）；CNRS（法国国家科学研究中心）；Université Paris Dauphine - PSL（巴黎多芬大学-PSL）
针对现有攻击不适用于分类器混合模型的问题，本文提出攻击的有效性和最大性两个理想属性，设计了具备二元线性场景理论保证的lattice climber attack，经实验验证了其性能。
2023-07-20 cs.LG
DANCin SEQ2SEQ: Fooling Text Classifiers with Adversarial Text Example Generation
Stanford University（斯坦福大学）
机器学习模型功能强大，但也容易出错。生成对抗性示例-故意制作的输入，以导致模型错误分类或其他错误-可以对模型假设和漏洞产生重要的洞察力。尽管最近针对图像分类器的对抗性示例生成的工作很重要，但探索文本分类器的对抗性示例生成的工作相对较少;此外，许多现有的对抗性示例生成算法需要完全访问目标模型参数，这使得它们对于许多现实世界的攻击来说不切实际。在这项工作中，我们引入了DANC in SEQ 2SEQ，这是一种受GAN启发的算法，用于生成对抗性文本示例，主要针对黑盒文本分类器。我们将对抗性文本示例生成重新定义为一个强化学习问题，并证明我们的算法为在真实攻击场景中生成语义上有意义的对抗性文本示例提供了初步但有希望的步骤。
2017-12-14 cs.CR cs.LG
Target Training Does Adversarial Training Without Adversarial Samples
Aalto University（阿尔托大学）
神经网络分类器很容易受到对抗性样本错误分类的影响，对此，当前最好的防御方法是使用对抗性样本训练分类器。然而，基于对抗性攻击核心的最小化，对抗性样本对于引导攻击收敛不是最佳的。最小化扰动项可以通过用重复的原始样本替换训练中的对抗样本而朝向$0$最小化，所述重复的原始样本仅针对训练被不同地标记。仅使用原始样本，目标训练消除了生成对抗样本的需要，以针对最小化扰动的所有攻击进行训练。在低容量分类器和不使用对抗样本的情况下，目标训练超过了默认的CIFAR10准确度（$84.3$ %）和当前最佳防御准确度（低于$25$ %），其中针对CW-L $_2$（$κ=0$）攻击的$84.8$为$84.8$ %，针对DeepFool攻击的$86.6$为$86.6$ %。使用对抗性样本对抗未最小化扰动的攻击，目标训练在CIFAR10中超过当前最佳防御（$69.1$ %），其中$76.4$ %对抗CW-L $_2$（$κ=40$）。
2021-02-09 cs.LG
Lattice Climber Attack: Adversarial attacks for randomized mixtures of classifiers
LAMSADE, CNRS, Université Paris Dauphine - PSL（LAMSADE、CNRS、巴黎第十一大学-PSL）
针对现有攻击方法不适用于分类器随机混合模型的问题，本文提出具备有效性与极大性的lattice climber attack攻击方法，该方法在二元线性设置下有理论保证，且经实验验证性能优异。
2025-06-12 cs.LG
Understanding and Improving Ensemble Adversarial Defense
The University of Manchester（曼彻斯特大学）
本文建立解释集成对抗防御鲁棒性的误差理论，并据此提出 iGAT，通过全局对抗样本概率分配和弱点正则化，在白盒与黑盒攻击下显著提升现有方法。
2023-11-02 cs.LG
Improving Robustness of Malware Classifiers using Adversarial Strings Generated from Perturbed Latent Representations
Czech Technical University in Prague（布拉格捷克理工大学）
在恶意软件行为分析中，访问和创建的文件列表通常指示所检查的文件是恶意的还是良性的。然而，恶意软件作者试图通过生成随机文件名和/或用新版本的恶意软件修改使用的文件名来避免检测。这些变化代表了现实世界的对抗性例子。这项工作的目标是生成真实的对抗性示例，并提高分类器对这些攻击的鲁棒性。我们的方法以无监督的方式学习输入字符串的潜在表示，并在潜在域中使用基于梯度的对抗攻击方法来生成输入域中的对抗示例。我们使用这些例子来提高分类器的鲁棒性，通过训练生成的对抗性字符串集。与只在扰动的潜在向量上训练的分类器相比，我们的方法产生的分类器明显更鲁棒，而不会在标准精度上有很大的权衡。
2021-10-22 cs.CR cs.LG
Designing Adversarially Resilient Classifiers using Resilient Feature Engineering
University of Michigan（密歇根大学）
我们提供了一种方法，弹性特征工程，用于创建adversarially弹性分类器。根据现有的工作，对抗攻击识别分类器在训练期间学习的弱相关或非预测特征，并设计对抗噪声以利用这些特征。因此，在分类过程中应首先使用高度预测性的特征，以确定可能的输出标签集。我们的方法集中在弹性分类器的设计问题，这些高度预测功能的弹性特征提取器的设计问题。我们提供了两个定理，支持我们的方法。串行组合弹性和并行组合弹性定理表明，对抗弹性特征提取器的输出可以组合起来创建一个同样弹性的分类器。基于我们的理论结果，我们概述了一个adversarially弹性分类器的设计。
2018-12-17 cs.CR cs.LG stat.ML
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University（浙江大学）
最近，一些工作发现了一个有趣的现象，对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象，并提供了一个新的解释。我们重新制定了对抗性示例生成，对抗性训练和图像生成的能量函数。我们发现，对抗性训练有助于获得一个平坦的能量函数，并且在真实数据周围具有较低的能量，这是生成能力的关键。基于我们的新理解，我们进一步提出了一种更好的对抗训练方法，联合能量对抗训练（JEAT），它可以生成高质量的图像，并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分（CIFAR-10）为8.80，远远优于原始的鲁棒分类器（7.50）。
2021-09-14 cs.CV cs.LG
Adversarial Consistency and the Uniqueness of the Adversarial Bayes Classifier
Mathematics, Courant Institute, New York, USA（数学，Courant研究所，纽约，美国）
本文研究对抗学习中的凸替代损失一致性，发现其等价于对抗贝叶斯分类器的唯一性，为鲁棒分类器设计提供理论指导。
2024-10-21 cs.LG math.ST stat.ML
Playing to Learn Better: Repeated Games for Adversarial Learning with Multiple Classifiers
U. S. Naval Research Laboratory（美国海军研究实验室）
我们考虑在对抗性学习环境中通过称为学习者的机器学习算法进行预测的问题。学习器的任务是正确地预测作为查询传递给它的数据的类别。然而，除了包含干净数据的查询外，学习者还可能收到来自对手的恶意或敌对查询。对手的目标是通过发送导致学习者错误的类预测的对抗查询来逃避学习者的预测机制，而学习者的目标是在不降低干净查询的预测质量的情况下减少这些对抗查询的不正确预测。我们提出了一种基于博弈论的技术，称为重复贝叶斯序贯博弈，学习者反复与对手的模型进行交互，使用自我游戏来确定对抗性查询与干净查询的分布。然后，它从一组预先训练的分类器中策略性地选择一个分类器，该分类器平衡了查询的正确预测的可能性以及降低使用分类器的成本。我们已经使用基于深度神经网络的分类器使用干净和对抗性文本数据评估了我们提出的技术，并表明学习者可以选择与查询类型（干净或对抗性）相称的适当分类器，同时仍然知道使用分类器的成本。
2020-02-10 cs.LG stat.ML
A Geometric Perspective on the Transferability of Adversarial Directions
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
最先进的机器学习模型经常对以对抗方式扰动的输入进行错误分类。针对给定输入和特定分类器生成的对抗性扰动通常似乎对其他输入甚至不同的分类器有效。换句话说，对抗性扰动似乎在不同的输入、模型甚至不同的神经网络架构之间转移。在这项工作中，我们证明了在线性分类器和双层ReLU网络的背景下，可以证明存在同时引起许多分类器和数据点对抗性扰动的方向。我们证明了这些“可转移的对抗方向”对于给定集合的线性分离器是保证存在的，并且对于在来自相同分布的独立集合上训练的线性分类器将以很高的概率存在。我们将我们的结果扩展到大类的双层ReLU网络。我们进一步表明，ReLU网络的对抗方向转移到线性分类器，而相反的方向不需要保持，这表明更复杂模型的对抗扰动更有可能转移到其他分类器。我们通过经验验证了我们的发现，即使是更深层次的ReLU网络。
2018-11-08 cs.LG stat.ML
Adversarial Attacks on Brain-Inspired Hyperdimensional Computing-Based Classifiers
UC Riverside（加州大学河滨分校）
作为一类新兴的存内计算架构，脑启发超维计算（HDC）模仿脑认知并利用随机超向量（即，具有数千甚至更多维度的向量）来表示特征并执行分类任务。独特的超向量表示使HDC分类器能够表现出高能效、低推理延迟和对硬件引起的比特错误的强大鲁棒性。因此，它们越来越被认为是传统深度神经网络（DNN）的有吸引力的替代或甚至替代，用于本地设备分类，特别是在低功耗物联网设备上。尽管如此，与DNN不同的是，HDC分类器的最新设计大多是安全性无关的，这让人怀疑它们的安全性和对抗性输入的免疫力。在本文中，我们首次研究了对HDC分类器的对抗攻击，并强调HDC分类器即使在最小干扰的对抗样本下也很脆弱。具体而言，以手写数字分类为例，我们构建了一个HDC分类器，并制定了一个灰箱攻击问题，其中攻击者的目标是误导目标HDC分类器产生错误的预测标签，同时保持尽可能少的扰动噪声量。然后，我们提出了一种改进的遗传算法，以产生对抗样本内的一个合理的少量的查询。我们的研究结果表明，由我们的算法生成的对抗图像可以成功地误导HDC分类器以高概率产生错误的预测标签（即，78%，当HDC分类器使用固定多数规则进行决策时）。最后，我们还提出了两种防御策略-对抗训练和再训练-以加强HDC分类器的安全性。
2020-06-10 cs.CR cs.LG
A Notion of Uniqueness for the Adversarial Bayes Classifier
Courant Institute（Courant研究所）
本文提出对抗贝叶斯分类器唯一性的新概念，给出计算一维分布下所有此类分类器的简单程序，并证明扰动半径增大可改善其正则性，为理解贝叶斯与对抗贝叶斯分类器关系提供工具。
2025-09-26 cs.LG math.ST stat.ML
Are Generative Classifiers More Robust to Adversarial Attacks?
Microsoft Research Cambridge（微软研究院剑桥分院）；University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Eberhard Karls University of Tübingen（图宾根大学）
随着先进的攻击和防御技术的积极开发，人们对研究深度神经网络分类器对对手的鲁棒性越来越感兴趣。然而，最近的工作主要集中在判别分类器上，它只对给定输入的标签的条件分布进行建模。在本文中，我们提出并研究了深度贝叶斯分类器，它改进了经典的朴素贝叶斯与条件深度生成模型。我们进一步开发了对抗性示例的检测方法，这些方法在生成模型下拒绝低可能性的输入。实验结果表明，深度贝叶斯分类器比深度判别分类器更强大，并且所提出的检测方法对许多最近提出的攻击是有效的。
2019-05-27 cs.LG stat.ML
A practical approach to evaluating the adversarial distance for machine learning classifiers
Federal Institute for Occupational Safety and Health (BAuA)（联邦职业安全与健康研究所（BAuA））；University of Stuttgart（斯图加特大学）
本文提出一种结合迭代对抗攻击与认证方法估计对抗距离上下界的实用评估方法，并通过可视化与消融研究验证其有效性，旨在推动更具信息量的ML分类器鲁棒性评估。
2024-09-05 cs.CV cs.LG
Explaining Classifiers using Adversarial Perturbations on the Perceptual Ball
Uni. of Glasgow/Turing Institute（格拉斯哥大学/图灵研究所）；UCL/Turing Institute（伦敦大学学院/图灵研究所）；Amazon Tübingen（亚马逊图宾根）
我们提出了一个简单的正则化的对抗扰动的感知损失的基础上。虽然所产生的扰动对人眼来说仍然是不可感知的，但它们与现有的对抗性扰动的不同之处在于它们是半稀疏的改变，突出显示感兴趣的对象和区域，同时保持背景不变。作为一种语义上有意义的逆扰动，它在意象空间的反事实解释和逆扰动之间架起了一座桥梁。我们评估我们的方法在几个标准的可解释性基准，即，弱本地化，插入删除，和指向游戏证明，感知正则化的反事实是一个有效的解释基于图像的分类。
2021-03-30 cs.CV cs.LG
Semantic Adversarial Attacks: Parametric Transformations That Fool Deep Classifiers
Iowa State University（爱荷华州立大学）
深度神经网络已经被证明对被不可感知的扰动破坏的对抗性输入图像表现出有趣的脆弱性。然而，大多数对抗攻击都假设对图像像素空间进行全局的细粒度控制。在本文中，我们考虑一个不同的设置：如果对手只能改变输入图像的特定属性会发生什么？这些将生成可能明显不同的输入，但仍然看起来很自然，足以欺骗分类器。我们提出了一种新的方法来生成这样的“语义”对抗的例子，通过优化一个特定的对抗损失的范围空间的参数条件生成模型。我们展示了我们对在人脸图像上训练的二进制分类器的攻击的实现，并表明存在这种看起来自然的语义对抗示例。我们评估我们的攻击的有效性合成和真实的数据，并与现有的攻击方法进行了详细的比较。我们补充我们的经验结果与理论界证明存在这样的参数对抗的例子。
2019-08-15 cs.CV cs.LG
Provably Robust Deep Learning via Adversarially Trained Smoothed Classifiers
Microsoft Research AI（微软研究院人工智能部门）
最近的工作已经显示了随机平滑作为用于构建基于神经网络的分类器的可扩展技术的有效性，所述基于神经网络的分类器可证明对$\ell_2$范数对抗性扰动是鲁棒的。在本文中，我们采用对抗训练来提高随机平滑的性能。我们为平滑分类器设计了一种自适应攻击，并展示了这种攻击如何用于对抗性训练环境，以提高平滑分类器的可证明鲁棒性。我们通过大量的实验证明，我们的方法在ImageNet和CIFAR-10上始终优于所有现有的可证明的$\ell_2$ -鲁棒分类器，为可证明的$\ell_2$ -防御建立了最先进的技术。此外，我们发现预训练和半监督学习进一步提高了逆向训练的平滑分类器。我们的代码和训练模型可以在http://github.com/Hadisalman/smoothing-adversarial上找到。
2020-01-10 cs.CR cs.LG stat.ML
On the Generalization of Adversarially Trained Quantum Classifiers
Department of Computer Science, University of Birmingham, UK（英国伯明翰大学计算机科学系）；KCLIP Lab Centre for Intelligent Information Processing Systems (CIIPS) Department of Engineering, King’s College London, UK（伦敦国王学院工程系智能信息处理系统中心）
本文研究对抗训练量子分类器的泛化误差，建立了受扰动约束对手下的新界限，证明额外误差随样本量按1/√m缩放，并揭示嵌入维度对样本复杂度的影响，且经数值实验验证。
2025-04-24 cs.LG quant-ph
Adversarial Classifier for Imbalanced Problems
Sharif University of Technology（谢里夫理工大学）
在过去的几年中，对抗性方法被广泛用于数据生成。然而，这种方法尚未被广泛用于分类器训练。在本文中，我们提出了一个用于分类器训练的对抗框架，该框架也可以处理不平衡数据。事实上，网络是通过对抗性方法训练的，以给大多数类的样本赋予权重，这样所获得的分类问题对神经网络来说变得更具挑战性，从而提高了其分类能力。除了一般的不平衡分类问题之外，所提出的方法还可以用于诸如图表示学习的问题，其中期望区分相似节点和不相似节点。在不平衡数据分类和图链接预测等任务上的实验结果表明了该方法的优越性。
2018-11-21 cs.LG stat.ML
Differentiable Language Model Adversarial Attacks on Categorical Sequence Classifiers
Skoltech（斯科尔科沃科学技术研究院）
对抗攻击范式探索了深度学习模型脆弱性的各种场景：输入的微小变化可能导致模型失败。大多数最先进的框架都专注于图像和其他结构化模型输入的对抗攻击，但不是分类序列模型。对分类序列的分类器的成功攻击是具有挑战性的，因为模型输入是来自有限集合的令牌，因此分类器得分相对于输入是不可微的，并且基于梯度的攻击不适用。常见的方法在令牌级别处理这个问题，而手头的离散优化问题需要大量的资源来解决。相反，我们使用对抗攻击的语言模型作为对抗示例的生成器。为了优化模型，我们定义了一个可微分损失函数，该函数取决于代理分类器得分和评估近似编辑距离的深度学习模型。因此，我们控制生成序列的可逆性及其与初始序列的相似性。因此，我们获得了语义上更好的样本。此外，它们对对抗性训练和对抗性检测器具有抵抗力。我们的模型适用于银行交易，电子健康记录和NLP数据集的各种数据集。
2020-06-19 cs.LG stat.ML
Block-Sparse Adversarial Attack to Fool Transformer-Based Text Classifiers
EPFL（洛桑联邦理工学院）；Armasuisse S+T（瑞士联邦国防采购局科学技术部）
最近，有研究表明，尽管深度神经网络在不同领域表现出色，但它们很容易受到对抗性样本的影响。在本文中，我们提出了一个基于梯度的对抗攻击对基于transformer的文本分类器。在我们的方法中，对抗性扰动被施加为块稀疏的，因此得到的对抗性示例与原始句子只有几个单词不同。由于文本数据的离散性，我们执行梯度投影来找到我们提出的优化问题的最小值。实验结果表明，虽然我们的对抗攻击保持了句子的语义，但它可以将GPT-2在不同数据集（AG News，MNLI和Yelp Reviews）上的准确率降低到5%以下。此外，所提出的优化问题的块稀疏性约束导致对抗性示例中的小扰动。
2022-03-11 cs.CL cs.LG
On the human-recognizability phenomenon of adversarially trained deep image classifiers
Software Engineering Institute（软件工程研究所）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们研究了这样一种现象，即鲁棒图像分类器具有人类可识别的特征-通常称为可解释性-通过其得分函数的输入梯度及其随后的对抗性扰动来揭示。特别是，我们证明了最先进的对抗训练方法包含两个术语-一个是通过最小化预期损失来定向决策边界，另一个是通过惩罚局部Lipschitz常数来诱导分类器决策表面的平滑度。通过这个演示，我们提供了一个统一的讨论梯度和雅可比正则化，已被用来鼓励对抗鲁棒性在以前的作品。在此讨论之后，我们给出了定性的证据表明，耦合的光滑度和方向的决策边界是足以引起上述人类可识别的现象。
2020-12-18 cs.CV cs.LG
Average Margin Regularization for Classifiers
University of California, Berkeley（加利福尼亚大学伯克利分校）
对抗鲁棒性已经成为一个重要的研究课题，给出了深度神经网络缺乏鲁棒性的经验证明。不幸的是，最近的理论结果表明，对抗训练在分类准确性和对抗鲁棒性之间产生了严格的权衡。在本文中，我们提出并研究了一种新的正则化方法，用于任何边缘分类器或深度神经网络。我们激励这种正则化的一个新的泛化界，表现出在分类器的准确性之间的权衡最大化其利润率和平均利润率。因此，我们将我们的方法称为平均间隔（AM）正则化，它由添加到目标的线性项组成。我们从理论上表明，对于某些分布AM正则化可以提高分类器的准确性和鲁棒性的对抗攻击。我们得出结论，使用合成和真实数据的经验表明，AM正则化可以严格提高支持向量机（SVM）的准确性和鲁棒性，相对于非正则化分类器和逆向训练分类器。
2020-03-24 cs.LG stat.ML
ATRO: Adversarial Training with a Rejection Option
RIKEN（理化学研究所）；Waseda University（早稻田大学）
本文提出了一种带有拒绝选项的分类框架，以减轻对抗性样本造成的性能恶化。虽然最近的机器学习算法实现了高预测性能，但它们在经验上容易受到对抗性示例的影响，这些示例是被错误分类的轻微扰动的数据样本。在现实世界的应用中，使用这种对抗性示例的对抗攻击可能会导致严重的问题。为此，提出了各种方法来获得对对抗性示例具有鲁棒性的分类器。对抗训练就是其中之一，它训练分类器以最小化对抗攻击下的最坏情况损失。为了获得更可靠的分类器来抵抗对抗攻击，本文提出了带有拒绝选项的对抗训练方法（ATRO）。将对抗训练目标同时应用于分类器和拒绝函数，当ATRO训练的分类器对测试数据点分类的置信度不足时，可以选择放弃分类。我们研究的框架使用代理最大铰链损失的可行性，并建立了线性模型的泛化界。此外，我们使用各种模型和真实世界的数据集，从经验上证实了ATRO的有效性。
2020-10-24 cs.LG stat.ML
Code-Bridged Classifier (CBC): A Low or Negative Overhead Defense for Making a CNN Classifier Robust Against Adversarial Attacks
在本文中，我们提出了代码桥接分类器（CBC），这是一个框架，用于使卷积神经网络（CNN）对对抗攻击具有鲁棒性，而不会增加甚至降低整个模型的计算复杂性。更具体地说，我们提出了一种堆叠的编码器卷积模型，其中输入图像首先由去噪自动编码器的编码器模块编码，然后将所得的潜在表示（未被解码）馈送到复杂度降低的CNN进行图像分类。我们说明，该网络不仅是更强大的对抗性的例子，但也有一个显着较低的计算复杂性相比，现有技术的防御。
2020-01-16 cs.CV cs.LG stat.ML
Adversarial and Clean Data Are Not Twins
Auburn University（奥本大学）
对抗攻击给深度神经网络的巨大成功蒙上了阴影。尽管在视觉上与干净的数据几乎相同，但对抗性图像可以以非常高的置信度欺骗深度神经网络进行错误的预测。然而，在本文中，我们证明了我们可以建立一个简单的二元分类器，将对抗性数据与干净数据分开，准确率超过99%。我们还经验表明，二进制分类器是强大的第二轮对抗攻击。换句话说，很难伪装对抗样本以绕过二元分类器。此外，我们实证研究的泛化限制，徘徊在所有当前的防御方法，包括二元分类器的方法。我们假设这是对抗性手工算法的内在属性的结果。
2017-04-17 cs.LG cs.NE
A survey on practical adversarial examples for malware classifiers
Rensselaer Polytechnic Institute（伦斯勒理工学院）
基于机器学习的解决方案在解决处理大量数据的问题方面非常有帮助，例如恶意软件检测和分类。然而，深度神经网络被发现容易受到对抗性示例的影响，或者输入被故意扰动以导致不正确的标签。研究人员已经证明，这个漏洞可以被利用来创建规避恶意软件样本。然而，许多提出的攻击不生成可执行文件，而是生成特征向量。为了充分理解对抗性示例对恶意软件检测的影响，我们回顾了针对恶意软件分类器的实际攻击，这些分类器生成可执行的对抗性恶意软件示例。我们还讨论了目前在这一领域的研究，以及改进和未来的研究方向的建议面临的挑战。
2020-11-06 cs.CR cs.LG
Provably Safeguarding a Classifier from OOD and Adversarial Samples: an Extreme Value Theory Approach
Thales（泰勒斯公司）；Paris-Saclay University（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LISN（巴黎南部大学信息科学实验室）
本研究提出基于极值理论的SPADE方法，通过分类器潜在空间的GEV模型构建可证明规避OOD和对抗样本的弃权分类器，在多架构和多数据集上验证了其优于现有方法的性能。
2025-01-17 cs.LG stat.ML
Adversarial Examples for Cost-Sensitive Classifiers
The RAND Corporation（兰德公司）
出于安全关键分类问题的动机，我们研究了对成本敏感分类器的对抗攻击。我们使用当前最先进的抗对抗神经网络分类器[1]作为基础模型。然后通过网络前馈评估中的最终处理步骤实现成本敏感预测。我们评估了成本敏感分类器对各种攻击的有效性，并介绍了一种新的成本敏感攻击，在某些情况下，它的性能优于有针对性的攻击。我们还探讨了防御者可以采取的措施，以限制他们对这些攻击的脆弱性。这种攻击者/防御者的情况下，自然是一个两个球员的零和有限的游戏，我们用博弈论分析。
2019-10-04 cs.CR cs.LG stat.ML
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN
Seoul National University（首尔国立大学）
本文提出利用生成对抗网络交替训练生成器和分类器，以增强神经网络对对抗扰动的鲁棒性，并在CIFAR数据集上显著降低泛化误差，优于Dropout等正则化方法。
2023-07-04 cs.LG stat.ML
Defending Quantum Classifiers against Adversarial Perturbations through Quantum Autoencoders
University of Florida, Gainesville, Florida, USA（佛罗里达大学，盖恩斯维尔，佛罗里达州，美国）
本文提出一种无需对抗训练的防御框架，利用量子自编码器净化对抗样本，提升预测准确性，对抗攻击下性能提升达68%。
2026-04-30 cs.LG quant-ph
Unique properties of adversarially trained linear classifiers on Gaussian data
University College London（伦敦大学学院）
机器学习模型容易受到对抗性扰动的影响，当添加到输入时，可能会导致高置信度的错误分类。对抗性学习研究社区在理解对抗性扰动的根本原因方面取得了显着进展。然而，对于安全关键任务中的机器学习的部署，人们可能认为重要的是要解决的大多数问题涉及难以表征和研究的高维复杂流形。在简单问题上发展对抗性强的学习理论是很常见的，希望这些见解能转移到“现实世界的知识库”。在这项工作中，我们讨论了这种方法失败的设置。特别是，我们用线性分类器证明，在训练过程中，在任意对抗性腐败水平下，总是可以解决高斯数据的二进制分类问题，并且在CIFAR-10数据集上的非线性分类器中没有观察到这种特性。
2020-06-06 cs.CR cs.LG stat.ML
Playing it Safe: Adversarial Robustness with an Abstain Option
University of Maryland（马里兰大学）
我们探讨对抗鲁棒性的设置中，它是可以接受的分类弃权-也就是说，输出没有类-对对抗的例子。对抗性示例是对分类器的正常输入的小扰动，导致分类器给出不正确的输出;它们对机器学习系统提出了安全性和安全性挑战。在许多安全关键型应用中，分类器放弃对抗性示例比为它们提供不正确的输出成本更低。首先，我们引入了一个新的目标函数的对抗性鲁棒性与弃权选项，其特征在于一个明确的鲁棒性和准确性之间的权衡。然后，我们提出了一个简单的基线，其中一个adversarially-trained分类器弃权的决策边界，我们理论和实验评估的一定距离内的所有输入。最后，我们提出了联合弃权鲁棒性学习（CARL），一种联合学习分类器和它应该弃权的输入空间区域的方法。我们探讨了在弃权设置中对CARL的PGD和DeepFool对抗攻击的不同变化。通过对这些攻击的评估，我们证明了使用CARL进行训练会产生比基线更准确，更强大和更有效的分类器。
2019-11-25 cs.AI cs.LG stat.ML
Adversarial Patterns: Building Robust Android Malware Classifiers
Rochester Institute of Technology（罗切斯特理工学院）
该综述针对全球应用最广的Android系统的恶意软件分类器易受对抗攻击的问题，全面梳理相关背景、攻防最新进展，给出鲁棒分类器设计指南与未来研究方向。
2024-04-12 cs.CR cs.LG
Analysis of classifiers' robustness to adversarial perturbations
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；ENS de Lyon（里昂高等师范学院）；Université de Lyon（里昂大学）
本文的目标是分析最近在深度网络中发现的一个有趣的现象，即它们对对抗性扰动的不稳定性（Szegedy et.例如，2014年）。我们提供了一个理论框架来分析分类器对对抗扰动的鲁棒性，并给出了分类器鲁棒性的基本上界。具体来说，我们建立了一个一般的上限分类器对抗扰动的鲁棒性，然后说明了线性和二次分类器的家庭所获得的上限。在这两种情况下，我们的上限都取决于可区分性度量，该度量捕捉了分类任务难度的概念。我们对这两类的研究结果表明，在涉及小的可扩展性的任务中，即使达到了良好的准确性，在所考虑的集合中也没有分类器对对抗性扰动具有鲁棒性。此外，我们的理论框架表明，对抗性不稳定的现象是由于分类器的灵活性低，相比分类任务的难度（由可识别性捕获）。此外，我们展示了分类器对随机噪声的鲁棒性和对对抗性扰动的鲁棒性之间存在明显的区别。具体地，前者被示出为比后者大一个因子，该因子与线性分类器的\sqrt{d}（其中d是信号维度）成比例。这一结果给出了一个理论解释的差异，这两个鲁棒性之间的高维问题，这是经验观察的上下文中的神经网络。据我们所知，我们的研究结果提供了第一个理论工作，解决了最近在深度网络中观察到的对抗性不稳定现象。我们的分析得到了控制和真实世界数据的实验结果的补充。
2016-03-28 cs.CV cs.LG stat.ML
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University（比勒费尔德大学）
近年来，机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度，但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具，并在最近的对抗鲁棒性出版物中使用。在这项工作中，我们使用最近提出的鲁棒性曲线表明，逐点测量未能捕获重要的全局属性，这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法，并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外，我们的特点规模作为一种方式来区分小的和大的扰动，并将其与数据集的固有属性，表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验，其中包括一个Python模块，用于计算任意数据集和分类器的鲁棒性曲线，支持许多框架，包括TensorFlow，PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Universal Adversarial Perturbations and Image Spam Classifiers
San Jose State University（圣何塞州立大学）
顾名思义，图像垃圾邮件是嵌入图像中的垃圾电子邮件。图像垃圾邮件是为了逃避基于文本的过滤器而开发的。现代基于深度学习的分类器在检测野外常见的典型图像垃圾邮件方面表现良好。在本章中，我们评估了许多对抗性技术，以攻击基于深度学习的图像垃圾邮件分类器。测试的技术，我们发现，普遍扰动性能最好。使用通用的对抗扰动，我们提出并分析了一种新的基于转换的对抗攻击，使我们能够在图像垃圾邮件中创建量身定制的“自然扰动”。由此产生的垃圾邮件图像受益于集中的自然特征和普遍的对抗性扰动的存在。我们表明，该技术优于现有的对抗攻击的准确性降低，每个例子的计算时间，和扰动距离。我们应用我们的技术来创建一个对抗性垃圾邮件图像的数据集，它可以作为未来图像垃圾邮件检测研究的挑战数据集。
2021-03-07 cs.CR cs.CV cs.LG
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
人工智能中最有趣的挑战之一是训练条件生成器，这些条件生成器能够提供从特定分布中提取的标记对抗样本。在这项工作中，提出了一种新的框架，通过将分类器与鉴别器并行放置来训练深度条件生成器，并通过生成器网络反向传播分类误差。该方法是通用的，适用于生成对抗网络（GAN）实现的任何变化，并且与类似方法相比也给出了优越的结果。
2018-06-18 cs.CV cs.LG eess.IV
Certified Robustness of Quantum Classifiers against Adversarial Examples through Quantum Noise
National Taiwan University（国立台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
针对量子分类器易受对抗攻击的问题，本文首次从理论上证明添加量子随机旋转噪声可提升其鲁棒性，关联差分隐私定义并推导可认证鲁棒性界，经IBM 7量子比特设备噪声模拟实验验证有效。
2023-04-28 cs.LG cs.NE eess.SP
Universal Adversarial Examples and Perturbations for Quantum Classifiers
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
量子机器学习探索了机器学习和量子物理学之间的相互作用，这可能会为这两个领域带来前所未有的前景。事实上，最近的研究已经证明，量子计算机在解决某些值得注意的机器学习任务方面可以胜过经典计算机。然而，量子学习系统也可能受到脆弱性问题的困扰：向合法输入数据添加一个精心制作的微小扰动会导致系统在非常高的置信度下做出错误的预测。在本文中，我们研究了量子分类器的对抗样本和扰动的普适性。通过涉及现实生活中的图像和物质的量子相的分类的具体例子，我们表明存在可以欺骗一组不同的量子分类器的通用对抗性例子。我们证明了对于一组$k$分类器，每个分类器接收$n$量子比特的输入数据，扰动强度的$O(\frac{\ln k} {2^n})$增加足以确保适度的通用对抗风险。此外，对于一个给定的量子分类器，我们表明，存在普遍的对抗性扰动，它可以添加到不同的合法样本，使他们成为对抗性的分类器的例子。我们的研究结果揭示了量子机器学习系统对抗性攻击的普遍性，这对于近期和未来量子技术在解决机器学习问题方面的实际应用至关重要。
2021-02-15 cond-mat.dis-nn cs.LG quant-ph
NAttack! Adversarial Attacks to bypass a GAN based classifier trained to detect Network intrusion
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
随着人工智能和机器学习的最新发展，可以使用机器学习方法来检测网络流量中的异常。在机器学习兴起之前，可能意味着攻击的网络异常是使用精心设计的规则来检测的。具有网络防御领域知识的攻击者可以进行有根据的猜测，有时可以准确预测网络防御机制正在关注的网络流量数据的哪些特定特征。有了这些信息，攻击者就可以绕过基于规则的网络防御系统。然而，随着机器学习在网络异常方面的进步，人类很难理解如何绕过网络防御系统。最近，对抗攻击已经变得越来越普遍，以击败机器学习算法。在本文中，我们表明，即使我们建立了一个分类器，并训练它与网络数据的对抗性的例子，我们可以使用对抗攻击，并成功地打破了系统。我们提出了一种基于生成对抗网络（GAN）的算法来生成数据，以训练一个高效的基于神经网络的分类器，然后我们使用对抗攻击来打破系统。
2020-02-20 cs.CR cs.LG
Constructing a provably adversarially-robust classifier from a high accuracy one
EPFL（洛桑联邦理工学院）
具有非常高精度的现代机器学习模型已被证明容易受到输入的小的、不利选择的扰动的影响。鉴于黑盒访问一个高精度的分类器$f$，我们展示了如何构建一个新的分类器$g$，具有高精度，也是强大的对抗$\ell_2$有界扰动。我们的算法建立在\textit{randomized smoothing}的框架，最近已被证明优于所有以前的防御$\ell_2$有界的对手。使用随机分区和双倍维数等技术，我们能够根据最佳误差限制$g$的对抗误差。在本文中，我们专注于我们的概念贡献，但我们提出了两个例子来说明我们的框架。我们将论证，在某些假设下，我们的界对于这些情况是最优的。
2019-12-16 cs.DS cs.LG stat.ML
On Security and Sparsity of Linear Classifiers for Adversarial Settings
University of Cagliari（卡利亚里大学）
机器学习技术广泛应用于与安全相关的应用程序，如垃圾邮件和恶意软件检测。然而，在这样的环境中，它们已被证明容易受到对抗攻击，包括在测试时故意操纵数据以逃避检测。在这项工作中，我们专注于逃避攻击的线性分类器的脆弱性。这可以被认为是一个相关的问题，因为线性分类器由于其低处理时间和存储器要求而越来越多地用于嵌入式系统和移动设备中。我们利用最新的研究结果在强大的优化调查之间的联系，根据攻击的类型，正则化和线性分类器的安全性。我们还分析了特征权重的稀疏性，这是为了减少处理成本，和线性分类器的安全性之间的关系。我们进一步提出了一种新的八角正则化，使我们能够实现它们之间的适当权衡。最后，我们经验表明，这个正则化可以提高分类器的安全性和稀疏性在现实世界中的应用程序的例子，包括垃圾邮件和恶意软件检测。
2017-08-31 cs.CR cs.LG
Scalable Optimal Classifiers for Adversarial Settings under Uncertainty
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
我们考虑在对抗环境中找到最佳分类器的问题，其中第1类数据是由攻击者生成的，其目标是防御者不知道的-这是现实应用的关键，但迄今为止在文献中被忽视的一个方面。为了模拟这种情况，我们提出了一个贝叶斯博弈框架，防守者选择一个分类器，没有先验限制的一组可能的分类。所提出的框架中的关键困难在于，可能的分类器的集合在可能的数据的集合中是指数的，而可能的数据的集合本身在用于分类的特征的数量上是指数的。为了解决这个问题，我们首先表明，贝叶斯纳什均衡可以完全通过功能阈值分类器的参数少的特点。然后，我们表明，这种低维表征，使开发一种训练方法来计算可证明的近似最优分类器在一个可扩展的方式，并开发一个学习算法的在线设置与低遗憾（都独立于可能的数据集的维度）。我们通过模拟来说明我们的结果。
2021-10-25 cs.GT cs.LG
Multiple Organ Failure Prediction with Classifier-Guided Generative Adversarial Imputation Networks
University of California, Santa Barbara（加州大学圣巴巴拉分校）；UC, Davis Health（加州大学戴维斯分校医疗中心）
多器官功能衰竭（MOF）是重症监护病房（ICU）患者中的一种严重综合征，死亡率高。早期和精确的检测对于临床医生及时做出决定至关重要。将机器学习模型应用于电子健康记录（EHR）的一个重要挑战是缺失值的普遍存在。大多数现有的插补方法都涉及数据预处理阶段，无法捕捉数据和下游预测结果之间的关系。在本文中，我们提出了用于MOF预测的分类器引导的生成对抗性填补网络Classifier-GAIN，通过结合观察数据和标签信息来弥合这一差距。具体而言，分类器从生成器（输入器）获取输入值以预测任务结果，并通过联合训练向生成器提供额外的监督信号。分类器引导生成器在训练过程中使用标签意识来填补缺失值，从而提高分类器在推理过程中的性能。我们进行了大量的实验，表明我们的方法在一系列缺失数据场景和评估指标中始终优于经典和最先进的神经基线。
2021-06-22 cs.AI cs.LG
When Should You Defend Your Classifier -- A Game-theoretical Analysis of Countermeasures against Adversarial Examples
Management Center Innsbruck（因斯布鲁克管理中心）；Department of Computers and Engineering, Czech Technical University in Prague（布拉格捷克理工大学计算机与工程系）
对抗性机器学习，即，增加机器学习算法对所谓的对抗性示例的鲁棒性现在是一个已建立的领域。然而，新提出的方法进行评估和比较不切实际的情况下，对手和防守者的成本不被考虑，无论是所有样本或没有样本的adversarially扰动。我们仔细研究了这些假设，并提出了先进的对抗分类游戏，它包含了对手和防守者的所有相关参数。特别是，我们考虑到双方的经济因素，以及迄今为止针对对抗性示例提出的所有对策都会降低良性样本的准确性。详细分析了两个玩家都有两个纯策略的场景，我们确定了所有最佳对策，并得出结论，在实际环境中，最有影响力的因素可能是对抗性例子的最大数量。
2021-09-27 cs.GT cs.LG
Adversarially Learned Abnormal Trajectory Classifier
Polytechnique Montréal（蒙特利尔高等理工学院）
我们解决的问题异常事件检测轨迹数据。在本文中，提出了一种新的对抗性方法，用于构建一个深度神经网络二元分类器，以无监督的方式训练，可以区分正常和异常的基于概率的事件，而无需设置手动检测阈值。受生成对抗网络（GAN）框架的启发，我们的GAN版本是一个有区别的版本，其中训练了神经网络来区分由深度自动编码器给出的正常和异常轨迹重建错误。与城市交通视频及其相关的轨迹，我们提出的方法给出了最好的准确性异常轨迹检测。此外，我们的模型可以很容易地推广到基于异常概率的事件检测，并且仍然可以产生最好的行为检测结果，如CAVIAR数据集所示。
2019-04-03 cs.LG stat.ML
GanDef: A GAN based Adversarial Training Defense for Neural Network Classifier
New Jersey Institute of Technology（新泽西理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）
机器学习模型，特别是神经网络（NN）分类器，被广泛用于包括自然语言处理、计算机视觉和网络安全的许多应用中。它们在无攻击场景的假设下提供高准确性。然而，这一假设已经被引入对抗性示例所挑战-精心扰动的输入样本通常被错误分类。许多研究人员试图开发一种防御对抗性例子的方法;然而，我们离实现这一目标还很远。在本文中，我们设计了一个基于生成对抗网络（GAN）的对抗训练防御，称为GanDef，它利用竞争游戏来调节训练过程中的特征选择。我们分析表明，GanDef可以训练分类器，使其能够抵御对抗性的例子。通过对不同白盒对抗示例的广泛评估，GanDef训练的分类器显示出与最先进的对抗训练防御训练的分类器相同的测试准确度。更重要的是，GanDef的变体GanDef-Comb可以利用GanDef来实现正确分类原始示例和对抗示例之间的动态权衡。因此，当对抗性示例的比例超过41.7%时，它实现了最高的整体测试准确率。
2019-03-06 cs.CR cs.CV cs.LG
