Evaluating Adversarial Attacks on ImageNet: A Reality Check on Misclassification Classes
Ghent University(根特大学);University of Cagliari(卡利亚里大学);University of Liège(列日大学)
虽然ImageNet最初是作为计算机视觉领域性能基准测试的数据集提出的,但它也使各种其他研究工作成为可能。对抗性机器学习就是这样一种研究成果,它使用欺骗性输入来愚弄模型,使其做出错误的预测。为了评估对抗性机器学习领域的攻击和防御,ImageNet仍然是最常用的数据集之一。然而,一个有待研究的主题是对抗性示例被错误分类的类别的性质。在本文中,我们对这些错误分类类进行了详细的分析,利用ImageNet类层次结构,并测量了上述类型的类在对抗性示例的未扰动起源中的相对位置。我们发现,实现模型到模型对抗性可转移性的对抗性示例中的$71\%$被错误地分类到针对底层源图像预测的前5类中的一个。我们还发现,一个大的子集,无针对性的错误分类,事实上,错误分类到语义相似的类。基于这些发现,我们讨论了在评估非目标对抗成功时考虑ImageNet类层次结构的必要性。此外,我们主张未来的研究工作,将分类信息。
2021-11-22 cs.CR cs.CV cs.LG
Imbalanced Adversarial Training with Reweighting
Michigan State University(密歇根州立大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
对抗性训练已被经验证明是对抗对抗攻击最有效、最可靠的防御方法之一。然而,几乎所有关于对抗训练的现有研究都集中在平衡数据集上,其中每个类都有等量的训练样本。使用不平衡训练数据集进行对抗训练的研究相当有限。作为研究这个问题的初步努力,我们揭示了这样一个事实,即对抗训练模型在不平衡数据集中表现出两种与自然训练模型不同的行为:(1)与自然训练相比,当训练数据集非常不平衡时,对抗训练模型在代表性不足的类上的性能会差得多。(2)传统的权重调整策略可能会失去处理对抗训练不平衡问题的有效性。例如,增加代表性不足的类的权重将严重损害模型在代表性良好的类上的性能,因此,找到最佳的重新加权值可能具有极大的挑战性。在本文中,为了进一步理解我们的观察结果,我们从理论上证明了数据可分性差是导致代表性不足和代表性良好的类之间存在强烈紧张关系的一个关键原因。基于这一发现,我们提出了可分离的重新加权对抗训练(SRAT),通过学习不同类别的更多可分离特征,来促进不平衡场景下的对抗训练。在各种数据集上进行的大量实验验证了所提出框架的有效性。
2021-07-28 cs.CR cs.LG
DAFA: Distance-Aware Fair Adversarial Training
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学)
针对对抗训练放大类别间准确率差异的鲁棒公平性问题,本文提出DAFA,依据类别相似性分配损失权重与对抗裕度,在保持平均鲁棒准确率的同时显著提升最差类别鲁棒准确率。
2024-01-23 cs.AI cs.LG
Improving Adversarial Robustness via Joint Classification and Multiple Explicit Detection Classes
Bosch Center for AI(博世人工智能中心);USC(南加州大学);Amazon Alexa AI(亚马逊Alexa人工智能部门);CMU(卡内基梅隆大学)
本研究提出一种通过多个显式弃权类提升对抗鲁棒性的方法,解决模型退化问题,并实现更优的准确率与鲁棒性权衡。
2023-05-10 cs.AI cs.CV cs.LG
Shift Invariance Can Reduce Adversarial Robustness
Univeristy of Maryland(马里兰大学);Weizmann Institute of Science(魏茨曼科学研究所)
移位不变性是CNN的一个关键属性,可以提高分类性能。然而,我们发现,循环移位的不变性也会导致对对抗攻击更敏感。我们首先描述了当使用平移不变线性分类器时类之间的间隔。我们表明,裕度只能依赖于信号的直流分量。然后,使用无限宽网络的结果,我们表明,在一些简单的情况下,完全连接和移位不变的神经网络产生线性决策边界。利用这一点,我们证明了神经网络中的移位不变性产生了两个类的简单情况下的对抗性例子,每个类由一个图像组成,在灰色背景上有一个黑色或白色的点。这不仅仅是一种好奇心;我们通过经验证明,对于真实的数据集和现实的架构,移位不变性会降低对抗的鲁棒性。最后,我们描述了使用合成数据来探测这种连接的来源的初始实验。
2021-11-22 cs.LG
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University(本-古里安大学);Purdue University(普渡大学)
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性,证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习,凸函数类可适当学习,而非凸函数类需要不适当学习,并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Directional Adversarial Training for Cost Sensitive Deep Learning Classification Applications
University of Padova(帕多瓦大学);University of Pennsylvania(宾夕法尼亚大学)
在机器学习的许多实际应用中,不仅要提供准确的预测,而且要确保一定程度的鲁棒性,这一点至关重要。对抗训练是一种训练过程,旨在提供对预定义点周围的最坏情况扰动具有鲁棒性的模型。不幸的是,对抗训练中的一个主要问题是鲁棒性w.r.t.基于梯度的攻击总是以预测精度为代价来实现的。提出了一种新的对抗训练算法Wasserstein投影梯度下降(WPGD)。WPGD提供了一种简单的方法来获得成本敏感的鲁棒性,从而更好地控制鲁棒性-精度权衡。此外,WPGD解决了网络输出空间上的最优传输问题,并且可以有效地发现需要鲁棒性的方向,从而可以控制准确性和鲁棒性之间的方向权衡。建议的WPGD验证在这项工作中的图像识别任务与不同的基准数据集和架构。此外,类似真实世界的数据集往往是不平衡的:本文表明,在处理此类数据集时,对抗训练的性能主要受到标准准确度的影响。
2019-10-08 cs.CV cs.LG stat.ML
WAT: Improve the Worst-class Robustness in Adversarial Training
School of Computer Science, Wuhan University(武汉大学计算机学院)
深度神经网络(DNN)已被证明容易受到对抗性示例的影响。对抗性训练(AT)是防御对抗攻击的一种流行而有效的策略。最近的作品(Benz等人,2020年; Xu等人,2021; Tian等人,2021)已经表明,通过AT良好训练的鲁棒模型在类别之间表现出显着的鲁棒性差异,并提出了各种方法来获得跨类别的一致的鲁棒精度。不幸的是,这些方法牺牲了大量的平均鲁棒精度。因此,本文提出了一种新的最差类对抗训练框架,并利用无悔动力学来解决这个问题。我们的目标是获得一个分类器具有很大的性能在最坏的类和牺牲只是一个小的平均鲁棒精度在同一时间。然后,我们严格分析了我们提出的算法的理论特性,和泛化误差界的最坏类的鲁棒风险。此外,我们提出了一个测量来评估所提出的方法的平均和最差的类的准确性。在各种数据集和网络上的实验表明,我们提出的方法优于最先进的方法。
2023-02-08 cs.LG
Revisiting adversarial training for the worst-performing class
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
尽管对抗训练(AT)取得了进展,但在许多数据集中,表现最好和表现最差的类之间存在着巨大的差距。例如,在CIFAR10上,最好和最差类的准确率分别为74%和23%。我们认为,这种差距可以通过显式优化性能最差的类,从而在一个最小最大最大优化配方减少。我们的方法,称为类集中的在线学习(CFOL),包括最坏的类损失的高概率收敛保证,可以很容易地集成到现有的训练设置与最小的计算开销。我们证明了CIFAR10的最差类准确性提高了32%,并且我们观察到CIFAR100和STL 10的一致行为。我们的研究强调了超越平均精度的重要性,这在安全关键型应用中尤为重要。
2023-02-17 cs.LG
Data Decisions and Theoretical Implications when Adversarially Learning Fair Representations
Google Research(谷歌研究院)
当我们不知道分类器的输入是否属于受保护的组时,我们如何学习对受保护的或敏感的组“公平”的分类器?当受保护组的数据难以获得时,我们如何训练这样的分类器?在许多设置中,即使在模型训练期间,找出敏感的输入属性也可能非常昂贵,并且有时在模型服务期间是不可能的。例如,在推荐系统中,如果我们想预测用户是否会点击给定的推荐,我们通常不知道用户的许多属性,例如,种族或年龄,并且内容的许多属性难以确定,例如,语言或主题。因此,使用基于敏感属性的知识校准的不同分类器是不可行的。在这里,我们使用对抗训练过程来从神经网络学习的潜在表示中删除有关敏感属性的信息。特别是,我们研究了对抗训练的数据选择如何影响所产生的公平性。我们发现了两个有趣的结果:训练这些对抗性模型只需要少量的数据,而数据分布经验地驱动了对手的公平概念。
2017-07-07 cs.CY cs.LG
Fairness via Adversarial Attribute Neighbourhood Robust Learning
Dalian University of Technology(大连理工大学);The University of Iowa(爱荷华大学);Netflix(奈飞公司);Texas A&M University(得克萨斯农工大学)
提高特权和低特权敏感属性组(例如,{种族,性别})之间的公平性吸引了大量的关注。为了提高模型在不同敏感属性中的一致性,我们提出了一个原则性的\underline{R} obust \underline{A} dversarial \underline{A} tribute \underline{N} neighbourhood(RAAN)损失,以消除分类头的偏差,并促进不同敏感属性组之间更公平的表示分布。RAAN的核心思想是通过为每个样本分配一个对抗性鲁棒权值来消除不同敏感属性组之间有偏表示的差异,该权值定义在对抗性属性邻居(即来自不同保护组的样本)的表示上。为了提供有效的优化算法,我们铸造的RAAN到一个耦合的组合函数的总和,并提出了一个随机自适应(亚当式)和非自适应(SGD式)的算法框架SCRAAN与可证明的理论保证。在公平性相关基准数据集上的大量实证研究验证了该方法的有效性。
2022-10-12 cs.AI cs.CV cs.LG
FraudBench: Protocol-Sensitive Benchmarking of Adversarial Robustness for Financial Risk Assessment
FraudBench是面向金融风险评估的协议敏感型对抗鲁棒性基准,通过三种匹配协议评估不同模型,发现鲁棒性结论具协议敏感性,提出应将领域约束纳入攻击生成。
2026-08-26 cs.AI cs.LG
Improving Robust Fairness via Balance Adversarial Training
SenseTime Research(商汤科技研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Beihang University(北京航空航天大学)
对抗性训练(AT)方法对对抗攻击是有效的,但它们在不同类别之间引入了严重的准确性和鲁棒性差异,称为鲁棒公平性问题。先前提出的公平鲁棒学习(FRL)自适应地重新加权不同的类,以提高公平性。然而,性能较好的类的性能下降,导致性能大幅下降。在本文中,我们观察到对抗训练过程中的两个不公平现象:从每个类生成对抗示例的难度不同(源类公平性),以及生成对抗示例时目标类倾向不同(目标类公平性)。根据观察结果,我们提出了平衡对抗训练(BAT)来解决鲁棒公平性问题。在源类公平性方面,通过调整各类的攻击强度和难度,在决策边界附近生成样本,使模型学习更容易、更公平;在目标类公平性方面,通过引入均匀分布约束,鼓励具有公平倾向的类进行对抗性样本生成。在多个数据集(CIFAR-10,CIFAR-100和ImageNette)上进行的大量实验表明,我们的方法在缓解鲁棒公平性问题方面可以显着优于其他基线(最差类准确率为+5-10\%)
2022-09-15 cs.AI cs.CR cs.LG
Adversarial Examples for Extreme Multilabel Text Classification
Aalto University(阿尔托大学)
极端多标签文本分类(XMTC)是一个文本分类问题,其中(i)输出空间非常大,(ii)每个数据点可能有多个正标签,(iii)数据遵循强烈不平衡的分布。随着在推荐系统和网络文档自动标注中的应用,XMTC的研究集中在提高预测精度和处理不平衡数据上。然而,基于深度学习的XMTC模型对对抗性示例的鲁棒性在很大程度上尚未得到充分研究。在本文中,我们研究XMTC模型在对抗攻击下的行为。为此,首先,我们定义了多标签文本分类问题中的对抗攻击。我们将攻击多标签文本分类器分类为(a)正目标,其中目标正标签应该落在前k个预测标签之外,以及(b)负目标,其中目标负标签应该在前k个预测标签中。然后,通过在APLC-XLNet和AttentionXML上的实验,我们证明了XMTC模型对正目标攻击非常脆弱,但对负目标攻击更鲁棒。此外,我们的实验表明,积极的目标对抗攻击的成功率具有不平衡的分布。更确切地说,尾部类非常容易受到对抗攻击的攻击,攻击者可以生成与实际数据点具有高度相似性的对抗样本。为了克服这个问题,我们探索了XMTC中重新平衡的损失函数的效果,它们不仅提高了尾类的准确性,而且还提高了这些类对对抗攻击的鲁棒性。我们的实验代码可以在https://github.com/xmc-aalto/adv-xmtc上找到
2021-12-14 cs.AI cs.LG
CFA: Class-wise Calibrated Fair Adversarial Training
Peking University(北京大学)
对抗性训练被广泛认为是提高深度神经网络(DNN)对抗性鲁棒性的最有效方法。到目前为止,大多数现有的工作集中在提高整体模型的鲁棒性,在训练和测试阶段平等对待每个类。虽然揭示了类之间鲁棒性的差异,但很少有作品试图在不牺牲整体鲁棒性的情况下使对抗训练在类级别上公平。在本文中,我们是第一个从理论和经验上研究不同类别的对抗配置,包括扰动裕度,正则化和加权平均的偏好。受此启发,我们进一步提出了一个\textbf{C} lass-wise校准\textbf{F}空气\textbf{A}对抗训练框架,命名为CFA,它自定义特定的训练配置为每个类自动。基准数据集上的实验表明,我们提出的CFA可以提高整体的鲁棒性和公平性显着超过其他国家的最先进的方法。代码可从\url{https://github.com/PKU-ML/CFA}获得。
2023-03-25 cs.CV cs.LG
Utilizing a null class to restrict decision spaces and defend against neural network adversarial attacks
Binary Cognition, LLC(二进制认知有限责任公司)
尽管最近取得了进展,但深度神经网络通常仍然容易受到所谓的对抗性示例的影响-输入图像具有小的扰动,可能导致输出分类的变化,尽管对人类观众的语义含义没有这种变化。即使对于像MNIST数字分类任务这样看似简单的挑战也是如此。在某种程度上,这表明这些网络并不依赖于人类用来进行这些分类的同一组对象特征。在本文中,我们研究了一个额外的,而且在很大程度上未被探索的,这种现象背后的原因-即,使用传统的训练范式,其中整个输入空间被包裹在训练类。由于这种范式,学习的决策空间的个别类跨越输入空间的过大的区域,并包括图像,没有语义相似性的图像在训练集中。在这项研究中,我们训练模型,包括一个空类。也就是说,模型可以“选择退出”将输入图像分类为数字类别之一。在训练过程中,通过各种方法创建空图像,试图为数字类创建更紧密和更有语义意义的决策空间。表现最好的模型将几乎所有对抗性样本分类为null,而不是将它们误认为是不正确的数字类的成员,同时在未扰动的测试集上保持高准确性。空类的使用和本文提出的训练范例可以为某些应用提供针对对抗攻击的有效防御。复制本研究的代码将在https://github.com/mattroos/null_class_adversarial_defense上提供。
2020-02-24 cs.CV cs.LG
Representation Quality Of Neural Networks Links To Adversarial Attacks and Defences
Kyushu University(九州大学);Kyushu Institute of Technology(九州工业大学)
神经网络已经被证明容易受到各种对抗算法的攻击。理解这种鲁棒性缺乏的原因的关键一步是评估神经网络表示对现有特征进行编码的潜力。在这里,我们提出了一种方法来理解的神经网络的表示质量使用一种新的测试的基础上零样本学习,题为原始Zero-Shot。其主要思想是,如果算法学习了丰富的特征,则这些特征应该能够将“未知”类解释为之前学习的特征的集合。这是因为未知类通常与已识别类共享几个常规特征,因为所学习的特征足够普遍。我们进一步引入两个指标来评估这些学习到的特征,以解释未知的类。一种是基于聚类间验证技术(Davies-Bouldin指数),另一种是基于近似地面实况的距离。实验表明,对抗性防御提高了分类器的表示,进一步表明,为了提高分类器的鲁棒性,还必须提高表示质量。实验还揭示了指标和对抗攻击之间的强关联(高Pearson相关性和低p值)。有趣的是,结果表明,动态路由网络(如CapsNet)具有更好的表示性,而当前更深的神经网络正在权衡表示质量和准确性。代码可在http://bit.ly/RepresentationMetrics获得。
2020-07-16 cs.CV cs.LG cs.NE
Learning Fair Robustness via Domain Mixup
University of Arizona(亚利桑那大学)
本文提出将 mixup 与对抗训练结合,通过混合同类输入来学习公平鲁棒分类器,理论证明和实验均表明该方法能减少类别间自然风险与对抗风险的差异。
2024-11-21 cs.CR cs.CY cs.LG
FAIR-TAT: Improving Model Fairness Using Targeted Adversarial Training
University of Mannheim(曼海姆大学);MPI for Informatics(信息研究所)
针对对抗训练中模型鲁棒性提升常伴随类别公平性下降、现有研究忽略非扰动数据准确率且模型难应对多样威胁的问题,提出FAIR-TAT公平定向对抗训练方法,用定向攻击替代非定向攻击实现对抗公平性更优权衡,经实验验证有效。
2025-06-14 cs.CV cs.LG
Improving Adversarial Robustness via Probabilistically Compact Loss with Logit Constraints
Wayne State University(韦恩州立大学)
卷积神经网络(CNN)在计算机视觉的各种任务上都取得了最先进的性能。然而,最近的研究表明,这些模型很容易受到精心制作的对抗样本的影响,并且在预测它们时会出现显着的性能下降。已经提出了许多方法来提高对抗鲁棒性(例如,对抗训练和新的损失函数以学习对抗鲁棒的特征表示)。在这里,我们对CNN的预测行为提供了一个独特的见解,即它们往往会将对抗样本错误分类为最可能的错误类别。这启发我们提出了一种新的具有logit约束的概率紧凑(PC)损失,它可以用作交叉熵(CE)损失的替代品,以提高CNN的对抗鲁棒性。具体地说,PC损失扩大了真类和假类之间的概率差距,同时logit约束防止差距被一个小的扰动融化。我们在白盒和黑盒攻击下使用大规模数据集将我们的方法与最先进的方法进行了广泛比较,以证明其有效性。源代码可从以下URL获得:https://github.com/xinli0928/PC-LC。
2020-12-14 cs.CV cs.LG
Multi-attacks: Many images $+$ the same adversarial attack $\to$ many target labels
本文提出“多重攻击”方法,用单一对抗扰动同时改变数百张图像到不同目标类别,并揭示了像素空间中类别决策边界的巨大冗余性及其对防御策略的挑战。
2023-08-04 cs.CR cs.CV cs.LG
Defending against adversarial attacks on medical imaging AI system, classification or detection?
Wayne State University(韦恩州立大学)
疾病分类和分割等医学成像AI系统越来越多地受到基于计算机视觉的AI系统的启发和改造。尽管已经开发了一系列对抗性训练和/或基于损失函数的防御技术,并证明其在计算机视觉中是有效的,但由于以下独特的挑战,在医学图像上防御对抗攻击在很大程度上仍然是一个未知的领域:1)医学图像中的标签稀缺性显著限制了AI系统的对抗性泛化能力; 2)医学图像中的前、背景具有极大的相似性和优势性,这使得学习不同疾病类别之间的区分特征成为困难的样本;和3)与聚焦的器官目标相反,添加到整个医学图像中的精心制作的对抗性噪声可以使干净和对抗性的样本更具辨别力不同疾病类别之间的差异。在本文中,我们提出了一种新的基于半监督对抗训练(SSAT)和无监督对抗检测(UAD)的强大医学成像AI框架,然后设计了一种新的评估系统对抗风险的措施。我们使用基准OCT成像数据集,系统地展示了我们强大的医学成像AI系统在各种现实世界对抗攻击环境下与现有对抗性防御技术相比的优势。
2020-06-24 cs.CV cs.LG eess.IV
A3T: Adversarially Augmented Adversarial Training
Montreal Institute of Learning Algorithms(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
最近的研究表明,深度神经网络对所谓的对抗性扰动高度敏感,对抗性扰动是输入数据的微小扰动,旨在欺骗机器学习分类器。大多数分类模型,包括深度学习模型,都极易受到对抗攻击的攻击。在这项工作中,我们研究了一种通过增强表示不变性来提高深度神经网络对抗鲁棒性的方法。其思想是训练分类器与附加到其隐藏层之一的过滤器联合,并训练过滤对抗性噪声。我们进行了初步实验来测试该方法的可行性,并将其与其他标准对抗训练方法进行比较。
2018-01-12 cs.LG stat.ML
Exploring the role of Input and Output Layers of a Deep Neural Network in Adversarial Defense
深度神经网络是一种学习模型,在预测、计算机视觉、语言处理等多个领域都取得了最先进的性能。然而,研究表明,某些输入通常不会欺骗人类,但可能会完全误导模型。这些输入被称为对抗性输入。当这些模型用于现实世界的应用程序时,这些输入构成了高度的安全威胁。在这项工作中,我们分析了三种不同类型的全连接密集网络对很少测试的基于非梯度的对抗攻击的抵抗力。这些类是通过操作输入和输出层创建的。我们已经通过经验证明,由于网络的某些特性,它们对这些攻击具有很高的鲁棒性,并且可以用于微调其他模型,以增加对对抗攻击的防御。
2020-06-02 cs.CV cs.LG stat.ML
To compress or not to compress: Understanding the Interactions between Adversarial Attacks and Neural Network Compression
University of Cambridge(剑桥大学)
随着深度神经网络(DNN)的广泛使用,修剪和量化模型在边缘设备上变得无处不在;这种压缩的DNN因降低计算要求而流行。与此同时,最近的研究表明,对抗性样本可以有效地使DNN错误分类。因此,我们研究对抗样本在未压缩和压缩DNN之间的可转移程度。我们发现,对抗样本仍然可转移的修剪和量化模型。对于修剪,从严重修剪的模型生成的对抗样本在未压缩的模型上仍然有效。对于量化,我们发现对抗样本的可转移性对整数精度高度敏感。
2020-04-16 cs.CR cs.LG
GAT: Generative Adversarial Training for Adversarial Example Detection and Robust Classification
University of Virginia(弗吉尼亚大学);HRL Laboratories, LLC.(HRL实验室有限责任公司)
深度神经网络对抗对抗性示例的脆弱性已经成为在敏感领域部署这些模型的重要问题。设计针对此类攻击的明确防御被证明是具有挑战性的,并且依赖于检测对抗性样本的方法仅在攻击者不注意检测机制时才有效。在本文中,我们提出了一个原则性的对抗性的例子检测方法,可以抵御范数约束的白盒攻击。受one-versus-the-rest分类的启发,在K类分类问题中,我们训练K个二元分类器,其中第i个二元分类器用于区分类别i的干净数据和其他类别的反向扰动样本。在测试时,我们首先使用一个训练好的分类器来获得输入的预测标签(比如k),然后使用第k个二元分类器来确定输入是干净的样本(k类)还是被干扰的样本(其他类)。我们进一步设计了一种生成方法来检测/分类对抗性的例子,通过解释每个二元分类器作为类条件数据的非归一化密度模型。我们对上述对抗性示例检测/分类方法进行了全面评估,并展示了它们的竞争性能和引人注目的特性。
2022-10-01 cs.CR cs.LG stat.ML
Confusion-Geometry Rebalancing for Long-Tailed Adversarial Training
针对长尾对抗训练的双重失衡问题,提出即插即用框架CGRm,通过定向鲁棒误差等技术提升脆弱类鲁棒性,在长尾基准上实现鲁棒性能提升。
2026-08-11 cs.AI cs.LG
Extending Adversarial Attacks to Produce Adversarial Class Probability Distributions
University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU));Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心(BCAM))
尽管深度学习模型在广泛的人工智能任务中具有出色的性能和泛化水平,但已经证明,这些模型很容易被添加到自然输入中的不可感知但恶意的扰动所欺骗。这些改变的输入在文献中被称为对抗性示例。在本文中,我们提出了一种新的概率框架来推广和扩展对抗攻击,以便在将攻击方法应用于大量输入时为类产生所需的概率分布。这种新颖的攻击范例为对手提供了对目标模型的更大控制,从而在广泛的场景中暴露了传统范例无法进行的针对深度学习模型的威胁。我们介绍了四种不同的策略来有效地产生这样的攻击,并通过扩展多个对抗攻击算法来说明我们的方法。我们还通过实验验证了我们的方法的口述命令分类任务和推文情感分类任务,两个典型的机器学习问题,在音频和文本域,分别。我们的研究结果表明,我们可以接近任何概率分布的类,同时保持较高的欺骗率,甚至防止被检测到的标签移位检测方法的攻击。
2023-01-25 cs.LG stat.ML
Double Targeted Universal Adversarial Perturbations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
尽管深度神经网络(DNN)具有令人印象深刻的性能,但众所周知,它容易受到对抗攻击的攻击,这使得将其部署在安全敏感的应用中具有挑战性,例如自动驾驶。依赖于图像的扰动可以欺骗一个特定图像的网络,而通用的对抗性扰动能够欺骗所有类别的样本的网络,而无需选择。我们引入了一个双目标通用对抗扰动(DT-UAPs),以弥合实例判别图像相关扰动和通用通用扰动之间的差距。这种通用扰动攻击一个目标源类到sink类,同时对其他非目标源类具有有限的对抗效果,以避免引起怀疑。同时攻击源类和目标类,我们称之为双目标攻击(DTA)。这为攻击者提供了对DNN模型进行精确攻击的自由,同时几乎不会引起怀疑。我们在广泛的数据集上展示了所提出的DTA算法的有效性,并展示了其作为物理攻击的潜力。
2020-10-07 cs.CR cs.CV cs.LG
Vulnerability-Aware Instance Reweighting For Adversarial Training
Iowa State University(爱荷华州立大学)
针对对抗训练对样本和类别影响不均的问题,本文提出一种依据自然样本脆弱性及攻击导致信息损失进行实例级重加权的方法,显著提升对白盒与黑盒攻击的鲁棒性。
2023-07-14 cs.AI cs.CV cs.LG
On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them
EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
我们分析了对抗性训练对机器学习模型损失景观的影响。为此,我们首先提供了分析研究的性质的对抗损失函数在不同的对抗预算。然后,我们证明,由于曲率增加和梯度更加分散,对抗性损失景观对优化不太有利。我们的结论得到了数值分析的验证,结果表明,在大的对抗预算下训练会阻止从次优随机初始化中逃脱,导致非零梯度,并使模型找到更尖锐的最小值。基于这些观察,我们表明,周期性对抗调度(PAS)策略可以有效地克服这些挑战,产生比香草对抗训练更好的结果,同时对学习率的选择不太敏感。
2020-11-02 cs.LG stat.ML
Sy-FAR: Symmetry-based Fair Adversarial Robustness
Tel Aviv University(特拉维夫大学)
Sy-FAR通过引入对称性概念,提升人脸识别系统在对抗攻击下的公平鲁棒性,同时提高效率和一致性。
2026-01-19 cs.AI cs.CR cs.CV
Adversarial Attacks on Leakage Detectors in Water Distribution Networks
Bielefeld University(比勒费尔德大学)
该研究针对供水管网机器学习泄漏检测器易受对抗攻击的问题,提出攻击分类体系,聚焦最不敏感点攻击并通过三种算法求解,在两个基准管网完成评估,为提升模型鲁棒性提供支撑。
2023-05-25 cs.CR cs.LG
Reverse KL-Divergence Training of Prior Networks: Improved Uncertainty and Adversarial Robustness
Yandex(扬达克斯);University of Cambridge(剑桥大学)
最近,用于不确定性估计的包围方法已被应用于误分类检测、分布外输入检测和对抗性攻击检测等任务。先验网络已经被提出作为一种方法,通过参数化输出分布上的狄利克雷先验分布来有效地\emph{emulate}用于分类的模型的集合。这些模型已被证明优于其他集成方法,如蒙特卡洛辍学,在任务的分布外输入检测。然而,使用最初提出的训练标准,将先验网络扩展到具有许多类的复杂数据集是困难的。本文有两个贡献。首先,我们证明了先验网络的适当训练准则是Dirichlet分布之间的\emph{reverse}库尔贝克-莱布勒散度。这解决了训练数据目标分布性质的问题,使先前的网络能够成功地训练任意多个类别的分类任务,并提高分布外检测性能。其次,利用这种新的训练准则,本文研究了使用先验网络检测对抗性攻击,并提出了一种广义形式的对抗性训练。结果表明,构建成功的\emph{adaptive}白盒攻击,影响预测和逃避检测,对先验网络训练CIFAR-10和CIFAR-100使用所提出的方法需要更大的计算量比对网络防御使用标准的对抗性训练或MC-辍学。
2019-12-02 cs.LG stat.ML
Learning Private Representations through Entropy-based Adversarial Training
SAP SE(SAP股份有限公司)
提出一种基于focal entropy的对抗表示学习方法,在多个基准上实现了高目标效用与适度隐私泄露的平衡。
2025-07-14 cs.AI cs.CV cs.LG
L 1-norm double backpropagation adversarial defense
Normandie Univ INSA Rouen UNIROUEN UNIHAVRE LITIS(诺曼底大学 鲁昂国立应用科学学院 鲁昂大学 勒阿弗尔大学 LITIS实验室);UCA - LIMOS UMR 6158 CNRS(克莱蒙奥弗涅大学 - 计算机科学、数学与运筹学实验室 法国国家科学研究中心联合研究单位6158);PobRun(波布伦)
对抗样本是深度神经网络的一个具有挑战性的开放问题。在本文中,我们建议添加一个惩罚项,迫使决策函数在输入空间的某些区域中处于,这样它至少在局部对攻击不那么敏感。我们的主张是有理论依据的,并且在第一组仔细进行的实验中表明,单独使用时它的行为符合预期,并且在与对抗训练结合使用时似乎很有希望。
2019-03-05 cs.LG cs.NE
THAT: Two Head Adversarial Training for Improving Robustness at Scale
Fudan University(复旦大学);Facebook AI(Facebook人工智能研究院);University of Maryland(马里兰大学)
已经提出了许多对抗训练的变体,大多数研究都集中在相对较少的类的问题上。在本文中,我们提出了Two Head Adversarial Training(THAT),这是一种双流对抗学习网络,旨在处理大规模多类ImageNet数据集。所提出的方法训练一个网络有两个头和两个损失函数;一个是最小化自然图像和对抗图像之间的特征空间域偏移,另一个是提高分类精度。这种组合提供了一个强化的网络,可以实现最先进的鲁棒准确性,同时在ImageNet上保持高的自然准确性。通过大量的实验,我们证明了所提出的框架在标准和“免费”对抗训练设置下都优于其他方法。
2021-03-25 cs.CV cs.LG
Fast-Slow Co-advancing Optimizer: Toward Harmonious Adversarial Training of GAN
School of Ocean Engineering(海洋工程学院);Harbin Institute of Technology(哈尔滨工业大学);Technical Center, Bogie Development Department(技术中心,转向架开发部);CRRC Qingdao Sifang Locomotive and Rolling Stock Co., Ltd(CRRC 青岛四方机车车辆有限公司)
针对GAN训练对超参数敏感导致振荡和收敛困难的问题,提出一种基于强化学习的快慢协同推进优化器(FSCO),通过智能体控制步长和可变学习率提升稳定性,并在三个基准数据集上验证有效性。
2025-04-21 cs.AI cs.LG
Tracing the Origin of Adversarial Attack for Forensic Investigation and Deterrence
National University of Singapore(新加坡国立大学);Huawei International(华为国际)
深度神经网络容易受到对抗攻击的攻击。在本文中,我们扮演了调查者的角色,他们想要追踪攻击并识别源,即生成对抗性示例的特定模型。由此产生的技术将有助于对袭击事件进行法医调查,并对潜在的袭击起到威慑作用。我们考虑买家-卖家设置,其中机器学习模型将被分发给各个买家,每个买家收到具有相同功能的略有不同的副本。恶意购买者从特定副本$\mathcal{M}_i$生成对抗性示例,并使用它们攻击其他副本。从这些对抗性的例子中,研究者想要确定来源$\mathcal{M}_i$。为了解决这个问题,我们提出了一个两阶段的分离和跟踪框架。模型分离阶段为同一分类任务生成模型的多个副本。这个过程将独特的特征注入到每个副本中,以便生成的对抗性示例具有独特且可追溯的特征。我们给出了一个并行结构,它在每个副本中嵌入一个“跟踪器”,以及一个对噪声敏感的训练损失来实现这个目标。跟踪阶段接受对抗性示例和一些候选模型,并识别可能的来源。基于对噪声敏感的损失函数所引入的独特特征,我们可以通过考虑每个跟踪器的输出logits来有效地跟踪潜在的对抗副本。实证结果表明,可以追踪对抗性示例的起源,并且该机制可以应用于广泛的架构和数据集。
2022-12-31 cs.CR cs.CV cs.LG
Denoising Diffusion Probabilistic Models as a Defense against Adversarial Attacks
Harvard University(哈佛大学)
神经网络对输入中的小扰动非常敏感,这使得它们容易受到对抗攻击。该项目评估了去噪扩散概率模型(DDPM)作为一种净化技术来抵御对抗攻击的性能。它的工作原理是在通过扩散模型的逆过程去除噪声之前,向对抗性示例添加噪声。我们评估的方法上的PatchCamelyon数据集的淋巴结切片的组织病理学扫描,并找到了高达88%的原始模型的准确性,构成了相当大的改进香草模型和我们的基线的鲁棒准确性的提高。项目代码位于https://github.com/ankile/Adversarial-Diffusion。
2023-01-17 cs.CR cs.CV cs.LG
Semantics-Preserving Adversarial Training
Seoul National University(首尔国立大学);Seoul, Korea(韩国首尔(注意:根据要求,地址信息不应提取为机构,此处可能是误判,正确机构应为Seoul National University相关部分))
对抗训练是一种防御技术,通过在训练数据中包含对抗示例来提高深度神经网络(DNN)的对抗鲁棒性。在本文中,我们发现了一个被忽视的对抗性训练问题,因为这些对抗性示例通常具有与原始数据不同的语义,从而在模型中引入了意想不到的偏差。我们假设,这种非语义保持(和结果模糊)的对抗性数据损害目标模型的鲁棒性。为了减轻对抗性示例的这种意外语义变化,我们提出了语义保持对抗性训练(SPAT),它鼓励在训练阶段生成对抗性示例时对所有类之间共享的像素进行扰动。实验结果表明,SPAT提高了对抗鲁棒性,并在CIFAR-10和CIFAR-100中取得了最好的效果。
2020-09-23 cs.CV cs.LG stat.ML
Are adversarial examples inevitable?
已经提出了各种各样的防御措施来加强神经网络对对抗攻击的防御。然而,出现了一种模式,即大多数对抗性防御很快被新的攻击打破。鉴于在生成强大防御方面缺乏成功,我们不禁要问一个基本问题:对抗攻击是不可避免的吗?本文从理论的角度分析了对抗性的例子,并确定了分类器对对抗攻击敏感性的基本界限。我们表明,对于某些类别的问题,对抗性的例子是不可避免的。通过实验,我们探索了理论保证对现实世界问题的影响,并讨论了维度和图像复杂性等因素如何限制分类器对对抗性示例的鲁棒性。
2020-02-03 cs.CV cs.LG stat.ML
FAIR: Fair Adversarial Instance Re-weighting
University of Belgrade - Faculty of Organizational Sciences(贝尔格莱德大学组织科学学院);University of Belgrade - Faculty of Mathematics(贝尔格莱德大学数学学院)
随着人们对人工智能的社会影响的日益认识,公平性已经成为机器学习算法的一个重要方面。问题是,人类对某些群体的偏见,由种族和性别等敏感特征定义,通过数据汇集和标记引入训练数据。公平性保证研究的两个重要方向集中在(i)实例加权,以减少更有偏见的实例的影响和(ii)对抗性训练,以构建目标变量的数据表示信息,但不提供敏感属性的信息。在本文中,我们提出了一种公平对抗性实例重新加权(FAIR)方法,该方法使用对抗性训练来学习实例加权函数,以确保公平的预测。合并这两种范式,它继承了两者的理想属性-重新加权的可解释性和对抗训练的端到端可训练性。我们提出了四种不同的变体的方法,除其他外,演示了如何在一个完全概率的框架中铸造的方法。此外,FAIR模型的性质的理论分析也得到了广泛的研究。我们比较FAIR模型与其他7个相关和国家的最先进的模型,并证明FAIR是能够实现更好的准确性和不公平之间的权衡。据我们所知,这是第一个通过加权函数合并重新加权和对抗方法的模型,该加权函数可以提供有关单个实例公平性的可解释信息。
2020-11-15 cs.AI cs.LG stat.ML
Enhancing Robust Representation in Adversarial Training: Alignment and Exclusion Criteria
针对对抗训练忽略学习鲁棒特征的问题,提出基于排斥和对齐准则的通用框架,通过非对称负对比推开异类样本、反向注意力拉近同类样本,在三个基准数据集上实现了最先进的对抗鲁棒性。
2023-11-20 cs.AI cs.CV cs.LG
On the Fairness ROAD: Robust Optimization for Adversarial Debiasing
AXA Group Operations(安盛集团运营部);Stanford University(斯坦福大学);TRAIL, Sorbonne Université(索邦大学TRAIL);LERIA, Université d’Angers(昂热大学LERIA);Polish Academy of Science(波兰科学院)
本文提出ROAD方法,将分布鲁棒优化与公平对抗学习相结合,通过实例级重加权优先处理局部不公平输入,在三个数据集上实现了局部公平性与准确性的帕累托支配并提升分布偏移下的公平性泛化。
2023-10-27 cs.AI cs.LG stat.ML
Adversarial Resilience in Sequential Prediction via Abstention
University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学);Technion(以色列理工学院);Google Research, Israel(谷歌研究院(以色列));University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出介于随机与完全对抗之间的序列预测模型,允许对干净标签对抗样本无成本弃权,并给出依赖 VC 维而非 Littlestone 维的学习器及不确定性度量。
2024-01-25 cs.DS cs.LG stat.ML
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos(阿托斯公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管人工神经网络具有很好的性能,但对于大多数工业应用来说,它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制,以防止各种干扰,包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略,称为M-TLAT,旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法,称为目标标记对抗训练(TLAT)。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明,M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性,而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Is current research on adversarial robustness addressing the right problem?
Quintic AI
简短的回答:是的,详细的回答:不!事实上,对对抗鲁棒性的研究带来了宝贵的见解,帮助我们理解和探索问题的不同方面。在过去的几年里,已经提出了许多攻击和防御。然而,这一问题在很大程度上仍未解决,而且人们对此知之甚少。在这里,我认为,目前的问题的提法服务于短期目标,需要修改,我们实现更大的收益。具体地说,扰动的界限创造了一个有点人为的设置,需要放松。这误导了我们,让我们把注意力集中在一开始就不够表达的模型类上。相反,受人类视觉的启发,以及我们更依赖于形状、顶点和前景对象等鲁棒特征而不是纹理等非鲁棒特征的事实,我们应该努力寻找显著不同的模型类别。也许我们不应该缩小对不可感知的对抗性扰动的范围,而是应该解决一个更普遍的问题,即找到同时对可感知的扰动、几何变换(例如旋转、缩放)、图像失真(照明、模糊)等(例如遮挡、阴影)具有鲁棒性的架构。只有这样,我们才有可能解决对抗性弱点的问题。
2022-08-04 cs.AI cs.CR cs.CV
UNICAD: A Unified Approach for Attack Detection, Noise Reduction and Novel Class Identification
Lancaster University(兰卡斯特大学)
针对深度神经网络易受对抗攻击、难处理未见类别的问题,提出集成多技术的UNICAD框架,结合基于原型与相似度的DNNs及去噪自编码器,在CIFAR-10上的表现优于传统模型。
2024-06-24 cs.AI cs.CV cs.LG
CIGAN: A Python Package for Handling Class Imbalance using Generative Adversarial Networks
George Washington University(乔治华盛顿大学)
机器学习中的一个关键挑战是类不平衡,其中某些类(多数类)的样本量远远高于其他类(少数类)。如果我们直接在不平衡数据上训练分类器,则分类器更有可能将新样本预测为多数类之一。在极端情况下,分类器可以完全忽略少数类。这可能对医疗保健产生严重的社会学影响,因为少数群体通常是疾病群体(例如,死亡或阳性临床试验结果)。在本文中,我们介绍了一个软件,使用生成对抗网络过采样少数类,以改善下游分类。据我们所知,这是第一个允许多类分类的工具(目标可以有任意数量的类)。该工具的代码在我们的github存储库(https://github.com/yuxiaohuang/research/tree/master/gwu/working/cigan/code)中公开提供。
2022-08-04 cs.LG
Semi-FairVAE: Semi-supervised Fair Representation Learning with Adversarial Variational Autoencoder
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
对抗学习是公平表示学习中广泛使用的一种技术,用于消除数据表示中敏感属性的偏差。它通常需要将敏感属性标签作为预测目标。然而,在许多场景下,许多样本的敏感属性标签可能是未知的,并且很难基于具有观察到的属性标签的稀缺数据训练一个强的分类器,这可能导致产生不公平的表示。本文提出了一种基于对抗性变分自编码器的半监督公平表示学习方法,该方法可以减少对抗性公平模型对带有标签敏感属性的数据的依赖。更具体地说,我们使用一个偏见感知模型,通过准确地预测敏感属性从输入数据捕捉敏感属性的固有偏见信息,我们使用一个无偏见的模型,学习去偏见的公平表示,通过使用对抗学习,以消除偏见信息。由两个模型学习的隐藏表示被正则化为正交的。此外,两个模型预测的软标签被进一步集成到一个半监督的变分自编码器中,以重建输入数据,我们应用了一个额外的熵正则化,以鼓励从无偏模型推断的属性标签是高熵的。通过这种方式,如果输入数据被很好地重构,则偏差感知模型可以更好地捕获属性信息,而无偏差模型对敏感属性的区分性较低。在两个不同任务的数据集上进行的大量实验验证了该方法在有限数据和敏感属性标签的情况下可以实现良好的表示学习公平性。
2022-04-01 cs.LG
Cost-Sensitive Robustness against Adversarial Examples
University of Virginia(弗吉尼亚大学)
最近的几项工作已经开发出了训练分类器的方法,这些分类器对范数有界的对抗性扰动具有可证明的鲁棒性。这些方法假设所有的对抗变换都同样重要,这在现实世界的应用中很少发生。我们提倡成本敏感的鲁棒性作为衡量分类器的性能的标准,其中一些对抗性的转换比其他更重要的任务。我们将每个对抗性变换的潜在危害编码在成本矩阵中,并提出了一个通用目标函数来适应Wong & Kolter(2018)的鲁棒训练方法,以优化成本敏感的鲁棒性。我们的实验上简单的MNIST和CIFAR10模型与各种成本矩阵表明,该方法可以产生模型,大大降低成本敏感的鲁棒性错误,同时保持分类精度。
2019-03-05 cs.CR cs.LG stat.ML
Rethinking Cost-sensitive Classification in Deep Learning via Adversarial Data Augmentation
University of Michigan - Ann Arbor(密歇根大学安娜堡分校);American University of Beirut(贝鲁特美国大学);College of Pharmacy, University of Michigan - Ann Arbor(密歇根大学安娜堡分校药学院)
本文提出代价敏感对抗性数据增强框架CSADA,通过生成针对关键误分类的对抗样本训练过度参数化深度模型,从而在保持整体准确率的同时有效降低总体代价和关键错误。
2022-08-24 cs.LG stat.ML
RL-FAT: Reinforcement Learning for Fair Adversarial Training
University of Mannheim(曼海姆大学);MPI for Informatics(马克斯·普朗克信息学研究所)
针对对抗训练存在的类别鲁棒性失衡问题,提出受强化学习启发的RL-FAT框架,结合强化驱动自适应与公平强调正则化,在提升鲁棒性的同时大幅降低类别鲁棒性失衡。
2026-09-01 cs.LG