A Boundary-Aware Non-parametric Granular-Ball Classifier Based on Minimum Description Length
Department of Mathematics and Computer Science, Gannan Normal University(数学与计算机科学学院,赣南师范大学);Key Laboratory of Data Science and Artificial Intelligence of Jiangxi Education Institutes, Gannan Normal University(江西省数据科学与人工智能重点实验室,赣南师范大学);Department of Computer Science and Technology, Tongji University(计算机科学与技术学院,同济大学);Department of Electrical and Computer Engineering, University of Alberta(电气与计算机工程学院,阿尔伯塔大学)
本文提出基于最小描述长度原理的粒球分类器MDL-GBC,通过局部模型选择解决传统粒球分类方法的透明性问题,实现边界敏感区域的显式建模,实验表明其在多个数据集上表现优异。
2026-05-12 cs.LG
Out-of-Distribution Detection using BiGAN and MDL
University of Hawaii at Manoa(夏威夷大学马诺阿分校);John A. Burns School of Medicine(约翰·A·伯恩斯医学院)
我们考虑以下问题:我们有一个大的正常数据集。我们现在得到一组新的、可能相当小的数据,我们要判断这些数据是正常的,还是表明了一种新的现象。这是新颖性检测或分布外检测问题。一个例子是在医学中,正常数据是没有已知疾病的人,而新的数据集是有症状的人。另一个例子可能是安全。我们通过在正常数据上训练双向生成对抗网络(BiGAN)并使用高斯图模型对输出进行建模来解决这个问题。然后,我们使用通用信源编码,或最小描述长度(MDL)的输出,以确定它是否是一个新的分布,在实施柯尔莫哥洛夫和马丁-洛夫随机性。我们将该方法应用于MNIST数据和健康和川崎病患者的真实心电图(ECG)数据集,并在ROC曲线方面表现出比类似方法更好的性能。
2022-06-03 cs.IT cs.LG math.IT
Multi-Domain Adversarial Learning
Department of Pharmaceutical ChemistryUCSF(加州大学旧金山分校药学化学系);INRIA-CNRS-UPSud-UPSaclayTAU, U. Paris-Sud(巴黎-萨克雷大学(U. Paris-Sud))
多域学习(MDL)的目标是获得一个跨多个域的平均风险最小的模型。我们的经验动机是自动显微镜数据,其中培养的细胞在暴露于已知和未知的化学扰动后成像,并且每个数据集都显示出显着的实验偏差。本文提出了一种多域对抗学习方法MuLANN,用于在半监督环境中利用具有重叠但不同类集的多个数据集。我们的贡献包括:i)使用H-发散获得的MDL中平均和最差域风险的界限; ii)适应半监督多域学习和域适应的新损失; iii)该方法的实验验证,改进了两个标准图像基准和一个新的生物图像数据集Cell的最新技术水平。
2019-03-21 cs.LG stat.ML
Unified Multi-Domain Learning and Data Imputation using Adversarial Autoencoder
New York University(纽约大学);Pontifical Catholic University of Parana(巴拉那天主教大学);Federal University of Parana(巴拉那联邦大学)
我们提出了一个新的框架,可以结合多域学习(MDL),数据填补(DI)和多任务学习(MTL),以提高性能的分类和回归任务在不同的领域。我们的方法的核心是一个对抗性的自动编码器,它可以:(1)学习产生域不变的嵌入,以减少域之间的差异;(2)学习每个域的数据分布,并正确地对丢失的数据执行数据填补。对于MDL,我们使用最大平均离散度(MMD)测量来对齐域分布。对于DI,我们使用一种对抗性方法,其中生成器填充缺失数据的信息,而计算器尝试区分真实值和估算值。最后,使用通用特征表示的嵌入,我们训练分类器使用MTL给定的输入从任何领域,可以预测标签的所有领域。我们证明了我们的方法相比,其他国家的最先进的方法在三个不同的设置,DG-DI在图像识别与非结构化数据,MTL-DI在等级估计与结构化数据和MDMTL-DI在选择过程中使用混合数据的优越性能。
2020-03-15 cs.LG stat.ML
Adversarial Risk via Optimal Transport and Optimal Couplings
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现代机器学习算法在对抗性操作的数据上表现不佳。对抗风险量化了分类器在对抗环境中的错误;对抗分类器最小化了对抗风险。在本文中,我们从最优传输的角度分析了对抗风险和对抗分类器。我们证明了具有0-1损失的二进制分类的最优对抗风险由两个类的概率分布之间的最优运输成本决定。我们开发最佳的运输计划(概率耦合)的单变量分布,如正常的,均匀的,和三角分布。我们还在这些设置中获得了最佳对抗分类器。我们的分析导致了对抗风险的算法独立的基本限制,我们为几个真实世界的数据集计算。在凸性和光滑性假设下,我们将结果推广到一般的损失函数。
2020-12-23 cs.IT cs.LG math.IT
Sparsity-based Defense against Adversarial Attacks on Linear Classifiers
University of California, Santa Barbara(加州大学圣巴巴拉分校)
深度神经网络代表了越来越多领域的机器学习的最新技术水平,包括视觉、语音和自然语言处理。然而,最近的工作提出了关于这种架构的鲁棒性的重要问题,通过表明有可能通过微小的,几乎察觉不到的扰动引起分类错误。这种“对抗性攻击”或“对抗性示例”的脆弱性已被证实是由于深度网络的过度线性。在本文中,我们研究了这种现象的设置中的线性分类器,并表明,它是可能的,利用自然数据中的稀疏性,以打击$\ell_{\infty}$有界对抗扰动。具体来说,我们证明了一个稀疏化前端通过合奏平均分析,MNIST手写数字数据库的实验结果的有效性。据我们所知,这是第一个表明稀疏性为防御对抗性攻击提供了理论上严格的框架的工作。
2018-06-19 cs.IT cs.LG math.IT
An Information-Theoretic Explanation for the Adversarial Fragility of AI Classifiers
University of Iowa(爱荷华大学);Hogwarts School of Witchcraft and Wizardry(霍格沃茨魔法学校)
我们提出了一个关于人工智能(AI)分类器的压缩特性的简单假设,并提出了理论论据,以表明这一假设成功地解释了观察到的AI分类器对小对抗扰动的脆弱性。我们还提出了一种新的方法,用于检测小输入扰动引起的分类器错误,并显示理论保证这种检测方法的性能。我们目前的实验结果与话音识别系统来证明这种方法。本文中的想法是由AI分类器和通信系统的标准香农模型之间的简单类比激发的。
2019-01-27 cs.IT cs.LG eess.SP
Designing Adversarially Resilient Classifiers using Resilient Feature Engineering
University of Michigan(密歇根大学)
我们提供了一种方法,弹性特征工程,用于创建adversarially弹性分类器。根据现有的工作,对抗攻击识别分类器在训练期间学习的弱相关或非预测特征,并设计对抗噪声以利用这些特征。因此,在分类过程中应首先使用高度预测性的特征,以确定可能的输出标签集。我们的方法集中在弹性分类器的设计问题,这些高度预测功能的弹性特征提取器的设计问题。我们提供了两个定理,支持我们的方法。串行组合弹性和并行组合弹性定理表明,对抗弹性特征提取器的输出可以组合起来创建一个同样弹性的分类器。基于我们的理论结果,我们概述了一个adversarially弹性分类器的设计。
2018-12-17 cs.CR cs.LG stat.ML
Adversarial Consistency and the Uniqueness of the Adversarial Bayes Classifier
Mathematics, Courant Institute, New York, USA(数学,Courant研究所,纽约,美国)
本文研究对抗学习中的凸替代损失一致性,发现其等价于对抗贝叶斯分类器的唯一性,为鲁棒分类器设计提供理论指导。
2024-10-21 cs.LG math.ST stat.ML
Playing to Learn Better: Repeated Games for Adversarial Learning with Multiple Classifiers
U. S. Naval Research Laboratory(美国海军研究实验室)
我们考虑在对抗性学习环境中通过称为学习者的机器学习算法进行预测的问题。学习器的任务是正确地预测作为查询传递给它的数据的类别。然而,除了包含干净数据的查询外,学习者还可能收到来自对手的恶意或敌对查询。对手的目标是通过发送导致学习者错误的类预测的对抗查询来逃避学习者的预测机制,而学习者的目标是在不降低干净查询的预测质量的情况下减少这些对抗查询的不正确预测。我们提出了一种基于博弈论的技术,称为重复贝叶斯序贯博弈,学习者反复与对手的模型进行交互,使用自我游戏来确定对抗性查询与干净查询的分布。然后,它从一组预先训练的分类器中策略性地选择一个分类器,该分类器平衡了查询的正确预测的可能性以及降低使用分类器的成本。我们已经使用基于深度神经网络的分类器使用干净和对抗性文本数据评估了我们提出的技术,并表明学习者可以选择与查询类型(干净或对抗性)相称的适当分类器,同时仍然知道使用分类器的成本。
2020-02-10 cs.LG stat.ML
A Notion of Uniqueness for the Adversarial Bayes Classifier
Courant Institute(Courant研究所)
本文提出对抗贝叶斯分类器唯一性的新概念,给出计算一维分布下所有此类分类器的简单程序,并证明扰动半径增大可改善其正则性,为理解贝叶斯与对抗贝叶斯分类器关系提供工具。
2025-09-26 cs.LG math.ST stat.ML
A Geometric Perspective on the Transferability of Adversarial Directions
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
最先进的机器学习模型经常对以对抗方式扰动的输入进行错误分类。针对给定输入和特定分类器生成的对抗性扰动通常似乎对其他输入甚至不同的分类器有效。换句话说,对抗性扰动似乎在不同的输入、模型甚至不同的神经网络架构之间转移。在这项工作中,我们证明了在线性分类器和双层ReLU网络的背景下,可以证明存在同时引起许多分类器和数据点对抗性扰动的方向。我们证明了这些“可转移的对抗方向”对于给定集合的线性分离器是保证存在的,并且对于在来自相同分布的独立集合上训练的线性分类器将以很高的概率存在。我们将我们的结果扩展到大类的双层ReLU网络。我们进一步表明,ReLU网络的对抗方向转移到线性分类器,而相反的方向不需要保持,这表明更复杂模型的对抗扰动更有可能转移到其他分类器。我们通过经验验证了我们的发现,即使是更深层次的ReLU网络。
2018-11-08 cs.LG stat.ML
Are Generative Classifiers More Robust to Adversarial Attacks?
Microsoft Research Cambridge(微软研究院剑桥分院);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Eberhard Karls University of Tübingen(图宾根大学)
随着先进的攻击和防御技术的积极开发,人们对研究深度神经网络分类器对对手的鲁棒性越来越感兴趣。然而,最近的工作主要集中在判别分类器上,它只对给定输入的标签的条件分布进行建模。在本文中,我们提出并研究了深度贝叶斯分类器,它改进了经典的朴素贝叶斯与条件深度生成模型。我们进一步开发了对抗性示例的检测方法,这些方法在生成模型下拒绝低可能性的输入。实验结果表明,深度贝叶斯分类器比深度判别分类器更强大,并且所提出的检测方法对许多最近提出的攻击是有效的。
2019-05-27 cs.LG stat.ML
Provably Robust Deep Learning via Adversarially Trained Smoothed Classifiers
Microsoft Research AI(微软研究院人工智能部门)
最近的工作已经显示了随机平滑作为用于构建基于神经网络的分类器的可扩展技术的有效性,所述基于神经网络的分类器可证明对$\ell_2$范数对抗性扰动是鲁棒的。在本文中,我们采用对抗训练来提高随机平滑的性能。我们为平滑分类器设计了一种自适应攻击,并展示了这种攻击如何用于对抗性训练环境,以提高平滑分类器的可证明鲁棒性。我们通过大量的实验证明,我们的方法在ImageNet和CIFAR-10上始终优于所有现有的可证明的$\ell_2$ -鲁棒分类器,为可证明的$\ell_2$ -防御建立了最先进的技术。此外,我们发现预训练和半监督学习进一步提高了逆向训练的平滑分类器。我们的代码和训练模型可以在http://github.com/Hadisalman/smoothing-adversarial上找到。
2020-01-10 cs.CR cs.LG stat.ML
Feature compression is the root cause of adversarial fragility in neural network classifiers
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Iowa(爱荷华大学)
本文从矩阵理论角度解释了神经网络分类器的对抗脆弱性,证明其对抗鲁棒性随输入维度增加而退化,仅达最优分类器的 $1/\sqrt{d}$,且与基于信息论的特征压缩解释一致。
2025-11-03 cs.CR cs.IT cs.LG
Adversarial Classifier for Imbalanced Problems
Sharif University of Technology(谢里夫理工大学)
在过去的几年中,对抗性方法被广泛用于数据生成。然而,这种方法尚未被广泛用于分类器训练。在本文中,我们提出了一个用于分类器训练的对抗框架,该框架也可以处理不平衡数据。事实上,网络是通过对抗性方法训练的,以给大多数类的样本赋予权重,这样所获得的分类问题对神经网络来说变得更具挑战性,从而提高了其分类能力。除了一般的不平衡分类问题之外,所提出的方法还可以用于诸如图表示学习的问题,其中期望区分相似节点和不相似节点。在不平衡数据分类和图链接预测等任务上的实验结果表明了该方法的优越性。
2018-11-21 cs.LG stat.ML
Code-Bridged Classifier (CBC): A Low or Negative Overhead Defense for Making a CNN Classifier Robust Against Adversarial Attacks
在本文中,我们提出了代码桥接分类器(CBC),这是一个框架,用于使卷积神经网络(CNN)对对抗攻击具有鲁棒性,而不会增加甚至降低整个模型的计算复杂性。更具体地说,我们提出了一种堆叠的编码器卷积模型,其中输入图像首先由去噪自动编码器的编码器模块编码,然后将所得的潜在表示(未被解码)馈送到复杂度降低的CNN进行图像分类。我们说明,该网络不仅是更强大的对抗性的例子,但也有一个显着较低的计算复杂性相比,现有技术的防御。
2020-01-16 cs.CV cs.LG stat.ML
Differentiable Language Model Adversarial Attacks on Categorical Sequence Classifiers
Skoltech(斯科尔科沃科学技术研究院)
对抗攻击范式探索了深度学习模型脆弱性的各种场景:输入的微小变化可能导致模型失败。大多数最先进的框架都专注于图像和其他结构化模型输入的对抗攻击,但不是分类序列模型。对分类序列的分类器的成功攻击是具有挑战性的,因为模型输入是来自有限集合的令牌,因此分类器得分相对于输入是不可微的,并且基于梯度的攻击不适用。常见的方法在令牌级别处理这个问题,而手头的离散优化问题需要大量的资源来解决。相反,我们使用对抗攻击的语言模型作为对抗示例的生成器。为了优化模型,我们定义了一个可微分损失函数,该函数取决于代理分类器得分和评估近似编辑距离的深度学习模型。因此,我们控制生成序列的可逆性及其与初始序列的相似性。因此,我们获得了语义上更好的样本。此外,它们对对抗性训练和对抗性检测器具有抵抗力。我们的模型适用于银行交易,电子健康记录和NLP数据集的各种数据集。
2020-06-19 cs.LG stat.ML
Average Margin Regularization for Classifiers
University of California, Berkeley(加利福尼亚大学伯克利分校)
对抗鲁棒性已经成为一个重要的研究课题,给出了深度神经网络缺乏鲁棒性的经验证明。不幸的是,最近的理论结果表明,对抗训练在分类准确性和对抗鲁棒性之间产生了严格的权衡。在本文中,我们提出并研究了一种新的正则化方法,用于任何边缘分类器或深度神经网络。我们激励这种正则化的一个新的泛化界,表现出在分类器的准确性之间的权衡最大化其利润率和平均利润率。因此,我们将我们的方法称为平均间隔(AM)正则化,它由添加到目标的线性项组成。我们从理论上表明,对于某些分布AM正则化可以提高分类器的准确性和鲁棒性的对抗攻击。我们得出结论,使用合成和真实数据的经验表明,AM正则化可以严格提高支持向量机(SVM)的准确性和鲁棒性,相对于非正则化分类器和逆向训练分类器。
2020-03-24 cs.LG stat.ML
ATRO: Adversarial Training with a Rejection Option
RIKEN(理化学研究所);Waseda University(早稻田大学)
本文提出了一种带有拒绝选项的分类框架,以减轻对抗性样本造成的性能恶化。虽然最近的机器学习算法实现了高预测性能,但它们在经验上容易受到对抗性示例的影响,这些示例是被错误分类的轻微扰动的数据样本。在现实世界的应用中,使用这种对抗性示例的对抗攻击可能会导致严重的问题。为此,提出了各种方法来获得对对抗性示例具有鲁棒性的分类器。对抗训练就是其中之一,它训练分类器以最小化对抗攻击下的最坏情况损失。为了获得更可靠的分类器来抵抗对抗攻击,本文提出了带有拒绝选项的对抗训练方法(ATRO)。将对抗训练目标同时应用于分类器和拒绝函数,当ATRO训练的分类器对测试数据点分类的置信度不足时,可以选择放弃分类。我们研究的框架使用代理最大铰链损失的可行性,并建立了线性模型的泛化界。此外,我们使用各种模型和真实世界的数据集,从经验上证实了ATRO的有效性。
2020-10-24 cs.LG stat.ML
Adversarial Examples for Cost-Sensitive Classifiers
The RAND Corporation(兰德公司)
出于安全关键分类问题的动机,我们研究了对成本敏感分类器的对抗攻击。我们使用当前最先进的抗对抗神经网络分类器[1]作为基础模型。然后通过网络前馈评估中的最终处理步骤实现成本敏感预测。我们评估了成本敏感分类器对各种攻击的有效性,并介绍了一种新的成本敏感攻击,在某些情况下,它的性能优于有针对性的攻击。我们还探讨了防御者可以采取的措施,以限制他们对这些攻击的脆弱性。这种攻击者/防御者的情况下,自然是一个两个球员的零和有限的游戏,我们用博弈论分析。
2019-10-04 cs.CR cs.LG stat.ML
Unique properties of adversarially trained linear classifiers on Gaussian data
University College London(伦敦大学学院)
机器学习模型容易受到对抗性扰动的影响,当添加到输入时,可能会导致高置信度的错误分类。对抗性学习研究社区在理解对抗性扰动的根本原因方面取得了显着进展。然而,对于安全关键任务中的机器学习的部署,人们可能认为重要的是要解决的大多数问题涉及难以表征和研究的高维复杂流形。在简单问题上发展对抗性强的学习理论是很常见的,希望这些见解能转移到“现实世界的知识库”。在这项工作中,我们讨论了这种方法失败的设置。特别是,我们用线性分类器证明,在训练过程中,在任意对抗性腐败水平下,总是可以解决高斯数据的二进制分类问题,并且在CIFAR-10数据集上的非线性分类器中没有观察到这种特性。
2020-06-06 cs.CR cs.LG stat.ML
Adversarial Detector with Robust Classifier
Tokyo Metropolitan University(东京都立大学)
众所周知,深度神经网络(DNN)模型很容易通过使用具有小扰动的输入图像(称为对抗性示例)对预测结果进行错误分类。在本文中,我们提出了一种新的对抗检测器,它由一个强大的分类器和一个简单的,高度检测敌对的例子。建议的对抗性检测器进行按照普通和强大的分类器的logits。在一个实验中,所提出的检测器被证明优于一个国家的最先进的检测器没有任何强大的分类。
2022-02-05 cs.CV cs.LG
Playing it Safe: Adversarial Robustness with an Abstain Option
University of Maryland(马里兰大学)
我们探讨对抗鲁棒性的设置中,它是可以接受的分类弃权-也就是说,输出没有类-对对抗的例子。对抗性示例是对分类器的正常输入的小扰动,导致分类器给出不正确的输出;它们对机器学习系统提出了安全性和安全性挑战。在许多安全关键型应用中,分类器放弃对抗性示例比为它们提供不正确的输出成本更低。首先,我们引入了一个新的目标函数的对抗性鲁棒性与弃权选项,其特征在于一个明确的鲁棒性和准确性之间的权衡。然后,我们提出了一个简单的基线,其中一个adversarially-trained分类器弃权的决策边界,我们理论和实验评估的一定距离内的所有输入。最后,我们提出了联合弃权鲁棒性学习(CARL),一种联合学习分类器和它应该弃权的输入空间区域的方法。我们探讨了在弃权设置中对CARL的PGD和DeepFool对抗攻击的不同变化。通过对这些攻击的评估,我们证明了使用CARL进行训练会产生比基线更准确,更强大和更有效的分类器。
2019-11-25 cs.AI cs.LG stat.ML
Analysis of classifiers' robustness to adversarial perturbations
Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院);ENS de Lyon(里昂高等师范学院);Université de Lyon(里昂大学)
本文的目标是分析最近在深度网络中发现的一个有趣的现象,即它们对对抗性扰动的不稳定性(Szegedy et.例如,2014年)。我们提供了一个理论框架来分析分类器对对抗扰动的鲁棒性,并给出了分类器鲁棒性的基本上界。具体来说,我们建立了一个一般的上限分类器对抗扰动的鲁棒性,然后说明了线性和二次分类器的家庭所获得的上限。在这两种情况下,我们的上限都取决于可区分性度量,该度量捕捉了分类任务难度的概念。我们对这两类的研究结果表明,在涉及小的可扩展性的任务中,即使达到了良好的准确性,在所考虑的集合中也没有分类器对对抗性扰动具有鲁棒性。此外,我们的理论框架表明,对抗性不稳定的现象是由于分类器的灵活性低,相比分类任务的难度(由可识别性捕获)。此外,我们展示了分类器对随机噪声的鲁棒性和对对抗性扰动的鲁棒性之间存在明显的区别。具体地,前者被示出为比后者大一个因子,该因子与线性分类器的\sqrt{d}(其中d是信号维度)成比例。这一结果给出了一个理论解释的差异,这两个鲁棒性之间的高维问题,这是经验观察的上下文中的神经网络。据我们所知,我们的研究结果提供了第一个理论工作,解决了最近在深度网络中观察到的对抗性不稳定现象。我们的分析得到了控制和真实世界数据的实验结果的补充。
2016-03-28 cs.CV cs.LG stat.ML
Provably Safeguarding a Classifier from OOD and Adversarial Samples: an Extreme Value Theory Approach
Thales(泰勒斯公司);Paris-Saclay University(巴黎萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);LISN(巴黎南部大学信息科学实验室)
本研究提出基于极值理论的SPADE方法,通过分类器潜在空间的GEV模型构建可证明规避OOD和对抗样本的弃权分类器,在多架构和多数据集上验证了其优于现有方法的性能。
2025-01-17 cs.LG stat.ML
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN
Seoul National University(首尔国立大学)
本文提出利用生成对抗网络交替训练生成器和分类器,以增强神经网络对对抗扰动的鲁棒性,并在CIFAR数据集上显著降低泛化误差,优于Dropout等正则化方法。
2023-07-04 cs.LG stat.ML
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University(比勒费尔德大学)
近年来,机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度,但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具,并在最近的对抗鲁棒性出版物中使用。在这项工作中,我们使用最近提出的鲁棒性曲线表明,逐点测量未能捕获重要的全局属性,这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法,并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外,我们的特点规模作为一种方式来区分小的和大的扰动,并将其与数据集的固有属性,表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验,其中包括一个Python模块,用于计算任意数据集和分类器的鲁棒性曲线,支持许多框架,包括TensorFlow,PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Constructing a provably adversarially-robust classifier from a high accuracy one
EPFL(洛桑联邦理工学院)
具有非常高精度的现代机器学习模型已被证明容易受到输入的小的、不利选择的扰动的影响。鉴于黑盒访问一个高精度的分类器$f$,我们展示了如何构建一个新的分类器$g$,具有高精度,也是强大的对抗$\ell_2$有界扰动。我们的算法建立在\textit{randomized smoothing}的框架,最近已被证明优于所有以前的防御$\ell_2$有界的对手。使用随机分区和双倍维数等技术,我们能够根据最佳误差限制$g$的对抗误差。在本文中,我们专注于我们的概念贡献,但我们提出了两个例子来说明我们的框架。我们将论证,在某些假设下,我们的界对于这些情况是最优的。
2019-12-16 cs.DS cs.LG stat.ML
DANCin SEQ2SEQ: Fooling Text Classifiers with Adversarial Text Example Generation
Stanford University(斯坦福大学)
机器学习模型功能强大,但也容易出错。生成对抗性示例-故意制作的输入,以导致模型错误分类或其他错误-可以对模型假设和漏洞产生重要的洞察力。尽管最近针对图像分类器的对抗性示例生成的工作很重要,但探索文本分类器的对抗性示例生成的工作相对较少;此外,许多现有的对抗性示例生成算法需要完全访问目标模型参数,这使得它们对于许多现实世界的攻击来说不切实际。在这项工作中,我们引入了DANC in SEQ 2SEQ,这是一种受GAN启发的算法,用于生成对抗性文本示例,主要针对黑盒文本分类器。我们将对抗性文本示例生成重新定义为一个强化学习问题,并证明我们的算法为在真实攻击场景中生成语义上有意义的对抗性文本示例提供了初步但有希望的步骤。
2017-12-14 cs.CR cs.LG
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN), Multi Class Scenarios
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
条件生成器学习多类场景中每个类的数据分布,并在给定潜在空间的正确输入的情况下为特定类生成样本。在这项工作中,被称为“多功能辅助分类器与生成对抗网络“的多类场景的方法。在这种技术中,生成对抗网络(GAN)的生成器通过将多类分类器与PNN网络并行放置并通过生成器反向传播分类错误而变成条件生成器。这种技术是通用的,足以应用于任何GAN实现。在两个数据库上的结果以及与其他方法的比较。
2018-06-19 cs.LG eess.IV stat.ML
GanDef: A GAN based Adversarial Training Defense for Neural Network Classifier
New Jersey Institute of Technology(新泽西理工学院);Qatar Computing Research Institute(卡塔尔计算研究所)
机器学习模型,特别是神经网络(NN)分类器,被广泛用于包括自然语言处理、计算机视觉和网络安全的许多应用中。它们在无攻击场景的假设下提供高准确性。然而,这一假设已经被引入对抗性示例所挑战-精心扰动的输入样本通常被错误分类。许多研究人员试图开发一种防御对抗性例子的方法;然而,我们离实现这一目标还很远。在本文中,我们设计了一个基于生成对抗网络(GAN)的对抗训练防御,称为GanDef,它利用竞争游戏来调节训练过程中的特征选择。我们分析表明,GanDef可以训练分类器,使其能够抵御对抗性的例子。通过对不同白盒对抗示例的广泛评估,GanDef训练的分类器显示出与最先进的对抗训练防御训练的分类器相同的测试准确度。更重要的是,GanDef的变体GanDef-Comb可以利用GanDef来实现正确分类原始示例和对抗示例之间的动态权衡。因此,当对抗性示例的比例超过41.7%时,它实现了最高的整体测试准确率。
2019-03-06 cs.CR cs.CV cs.LG
Channel-Aware Adversarial Attacks Against Deep Learning-Based Wireless Signal Classifiers
University of Maryland(马里兰大学);Intelligent Automation, a BlueHalo Company(Intelligent Automation(BlueHalo 旗下公司));Virginia Tech(弗吉尼亚理工大学)
本文提出了针对基于深度学习的无线信号分类器的信道感知对抗攻击。有一种发射机,它发射具有不同调制类型的信号。在每个接收器处使用深度神经网络来将其空中接收信号分类为调制类型。同时,对手发送对抗性扰动(受到功率预算的影响)以欺骗接收器在将接收到的信号分类为发送信号和对抗性扰动的叠加时出错。首先,这些规避攻击失败时,不考虑设计对抗扰动的渠道。然后,现实的攻击,提出了考虑从对手到每个接收机的信道效应。在表明信道感知攻击是选择性的(即,它只影响其信道在扰动设计中被考虑的接收机),通过制作共同的对抗性扰动以同时欺骗不同接收机处的分类器来呈现广播对抗性攻击。调制分类器对空中对抗攻击的主要脆弱性通过考虑关于信道、发射机输入和分类器模型的不同水平的可用信息来显示。最后,一个认证的防御随机平滑的基础上,增加训练数据与噪声的调制分类器鲁棒对抗扰动。
2021-12-20 cs.LG cs.NI eess.SP
Adversarially Learned Abnormal Trajectory Classifier
Polytechnique Montréal(蒙特利尔高等理工学院)
我们解决的问题异常事件检测轨迹数据。在本文中,提出了一种新的对抗性方法,用于构建一个深度神经网络二元分类器,以无监督的方式训练,可以区分正常和异常的基于概率的事件,而无需设置手动检测阈值。受生成对抗网络(GAN)框架的启发,我们的GAN版本是一个有区别的版本,其中训练了神经网络来区分由深度自动编码器给出的正常和异常轨迹重建错误。与城市交通视频及其相关的轨迹,我们提出的方法给出了最好的准确性异常轨迹检测。此外,我们的模型可以很容易地推广到基于异常概率的事件检测,并且仍然可以产生最好的行为检测结果,如CAVIAR数据集所示。
2019-04-03 cs.LG stat.ML
An Auxiliary Classifier Generative Adversarial Framework for Relation Extraction
University of California, Santa Barbara(加州大学圣巴巴拉分校)
关系抽取模型受到有限的合格训练数据的影响。使用人类注释器来标记句子太昂贵,并且不能很好地扩展,特别是在处理大型数据集时。在本文中,我们使用辅助分类器生成对抗网络(AC-GANs)来生成高质量的关系语句,并提高端到端模型中关系分类器的性能。在AC-GAN中,递归不仅给出了真实源的概率分布,而且给出了关系标签的概率分布。这有助于生成有意义的关系句子。实验结果表明,我们提出的数据增强方法显着提高性能的关系抽取相比,国家的最先进的方法
2019-09-06 cs.CL cs.LG stat.ML
Classifier-independent Lower-Bounds for Adversarial Robustness
Criteo AI Lab(Criteo人工智能实验室)
我们从理论上分析了在分类中对测试时对抗性和噪声样本的鲁棒性的限制。我们的工作重点是推导出统一适用于所有分类器(即从特征到标签的所有可测量函数)的边界。我们的贡献是双重的。(1)我们使用最优传输理论推导出贝叶斯最优错误分类器可以在给定的分类问题,受到对抗性攻击的变分公式。最优对抗攻击是针对特定攻击模型引起的特定二进制成本函数的最优传输计划,并且可以通过基于二分图上的最大匹配的简单算法来计算。(2)我们推导出明确的贝叶斯最优错误的情况下,流行的基于距离的攻击的下界。这些界限是通用的,因为它们依赖于数据的类条件分布的几何形状,而不是特定的分类器。我们的研究结果与现有文献形成鲜明对比,其中分类器的对抗脆弱性是由于非零的普通测试误差而产生的。
2020-11-10 cs.CV cs.LG cs.NE
On adversarial training and the 1 Nearest Neighbor classifier
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文对比了对抗训练与简单的1最近邻分类器,证明1NN对训练图像的任意微小扰动具有鲁棒性,且在多组实验中其对抗鲁棒性优于TRADES等现代对抗训练方法。
2024-07-28 cs.LG
Adversarial Attack Type I: Cheat Classifiers by Significant Changes
Shanghai Jiao Tong University(上海交通大学)
尽管深度神经网络取得了巨大的成功,但对抗攻击可以通过小的排列来欺骗一些训练有素的分类器。在本文中,我们提出了另一种类型的对抗攻击,可以欺骗分类器的显着变化。例如,我们可以显著地改变一张脸,但训练有素的神经网络仍然可以将敌对的和原始的例子识别为同一个人。从统计学上看,现有的对抗攻击增加了第二类错误,而提出的攻击则针对第一类错误,因此分别将其命名为第二类和第一类对抗攻击。这两种类型的攻击同样重要,但本质上是不同的,这是直观的解释和数值评估。为了实现所提出的攻击,监督变异自动编码器的设计,然后分类器进行攻击,通过更新的潜在变量使用梯度信息。{此外,使用预训练的生成模型,还研究了对潜在空间的I型攻击。实验结果表明,该方法在大规模图像数据集上生成I类对抗样本是实用和有效的。这些生成的例子中的大多数可以通过为防御II型攻击而设计的检测器,并且加强策略仅对特定类型的攻击有效,这两者都意味着I型和II型攻击的根本原因是不同的。
2019-07-22 cs.CV cs.LG stat.ML
Tricking Adversarial Attacks To Fail
Aalto University(阿尔托大学)
最近的对抗性防御方法失败了。无针对性的基于梯度的攻击会导致分类器选择任何错误的类。我们新颖的白盒防御技巧使非目标攻击成为针对指定目标类的攻击。从这些目标类中,我们可以派生出真正的类。我们的目标训练防御欺骗了无目标的、基于梯度的对抗攻击核心的最小化:最小化(1)扰动和(2)分类器对抗损失的总和。目标训练最小程度地改变分类器,并使用标记有指定类的额外重复点(距离为0)对其进行训练。这些不同标记的复制样本使最小化的项(1)和(2)两者最小化,从而将攻击收敛引导到指定类别的样本,从中导出正确的分类。重要的是,目标训练消除了了解攻击的需要,以及生成对抗性攻击样本的开销,从而最大限度地减少干扰。我们在CIFAR 10中获得了CW-L2(置信度=0)的86.2%的准确率,甚至超过了非对抗性样本的不安全分类器准确率。目标训练提出了对抗性防御策略的根本变化。
2020-06-08 cs.LG stat.ML
AutoGAN: Robust Classifier Against Adversarial Attacks
Rutgers University(罗格斯大学);Perspecta Labs(Perspecta实验室)
分类器不能正确地分类输入图像,这些图像已经被有目的地和不可察觉地扰动以引起误分类。这种可解释性已被证明是一致的分类器,无论其类型,架构或参数。针对对抗攻击的常见防御通过对以各种方式创建的额外对抗示例进行训练来修改分类器边界。在本文中,我们介绍了AutoGAN,它通过增强由训练数据定义的低维流形并将扰动数据点投影到其上来对抗对抗攻击。AutoGAN减少了对攻击类型和大小的了解以及对攻击的对抗样本的需求。我们的方法使用了一个生成对抗网络(GAN),它具有一个自动编码器生成器和一个也用作分类器的编码器。我们测试了AutoGAN与最先进的快速梯度符号方法(FGSM)生成的对抗样本以及随机高斯噪声生成的样本,两者都使用MNIST数据集。对于训练和测试中不同程度的扰动,AutoGAN可以在使用FGSM扰动的样本上超过FGSM方法的精度高达25个点。在没有增强训练数据集的情况下,AutoGAN在FGSM测试对抗样本上的准确率为89%,而FGSM方法仅为1%。
2018-12-08 cs.CR cs.CV cs.LG
On the Existence of the Adversarial Bayes Classifier (Extended Version)
Google Research(谷歌研究院);Courant Institute(库朗研究所)
本文研究对抗鲁棒性中的贝叶斯最优分类器存在性问题,给出通用充分条件,并修正原论文错误,将结果扩展到所有范数。
2023-08-29 cs.LG stat.ML
Understanding and Quantifying Adversarial Examples Existence in Linear Classification
Northeastern University(东北大学)
最先进的深度神经网络(DNN)容易受到对抗性示例的攻击:精心设计的对输入的微小扰动,人类无法察觉,可能会误导DNN。为了了解对抗性示例的根本原因,我们量化了线性分类器的对抗性示例存在的概率。以前的对抗性示例的数学定义只涉及整体扰动量,我们提出了一个更实用的强对抗性示例的相关定义,该定义还单独限制了沿信号方向的扰动。我们表明,线性分类器可以强大的对抗性的例子攻击的情况下,没有对抗性的强大的线性分类器存在之前的定义。通过线性支持向量机(SVM)分类器的数值实验,验证了定量公式的正确性.结果表明,设计一般的强对抗性鲁棒学习系统是可行的,但只有通过结合人类知识的基本分类问题。
2019-10-27 cs.CR cs.LG stat.ML
Adversarial vulnerability for any classifier
Univ Lyon(里昂大学);ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);UCBL(里昂第一大学);DeepMind(深度思维);University of Cambridge(剑桥大学)
尽管取得了令人印象深刻的性能,最先进的分类器仍然非常容易受到小的,难以察觉的,对抗性的扰动。经验证明,这种脆弱性非常难以解决。在本文中,我们研究了对抗性扰动的现象,假设数据是由一个光滑的生成模型。我们推导出对任何分类函数扰动的鲁棒性的基本上界,并证明了对抗性扰动的存在,这些扰动可以在不同的分类器之间以较小的风险转移。我们对鲁棒性的分析还提供了对生成模型的关键属性的见解,例如它们的平滑性和潜在空间的维数。我们的结论与数值实验结果表明,我们的界限提供了信息基线的最大可实现的鲁棒性在几个数据集。
2018-11-30 cs.CR cs.CV cs.LG
Breaking certified defenses: Semantic adversarial examples with spoofed robustness certificates
University of Maryland(马里兰大学)
为了转移对抗攻击,已经提出了一系列“认证”分类器。除了标记图像之外,认证分类器还(在可能的情况下)生成证书,保证输入图像不是$\ell_p$有界对抗示例。我们提出了一种新的攻击,不仅利用分类器的标签功能,但也证书生成器。该方法应用大的扰动,将图像放置在远离类边界的地方,同时保持对抗性示例的不可感知性。提出的“影子攻击”导致可证明鲁棒性的网络错误标记图像,同时产生一个“欺骗”的鲁棒性证书。
2020-03-19 cs.LG stat.ML
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg(弗赖堡大学)
在本文中,我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数,该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息,以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络(GAN)框架的自然推广,或者作为正则化信息最大化(RIM)框架的扩展,以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络(或CatGAN)-在合成数据以及具有挑战性的图像分类任务上,证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度,并确定了CatGAN目标和判别聚类算法(如RIM)之间的联系。
2016-04-30 cs.LG stat.ML
Inductive Bias of Gradient Descent based Adversarial Training on Separable Data
Georgia Institute of Technology(佐治亚理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
对抗训练是训练鲁棒神经网络的一种原则性方法。尽管在实践中取得了巨大的成功,但其理论特性仍然在很大程度上未被探索。在本文中,我们提供了新的理论见解梯度下降为基础的对抗训练,通过研究其计算特性,特别是其归纳偏见。我们以线性可分数据上的二进制分类任务为例,当参数沿某些方向发散到无穷大时,损失渐近达到其下确界。具体来说,我们表明,当训练过程中的对抗扰动有界$\ell_2$ -范数,分类器学习梯度下降基于对抗训练收敛的方向上的最大$\ell_2$ -范数利润分类器的速度为$\tilde{\mathcal{O}}(1/\sqrt{T})$,显着快于速度$\mathcal{O}(1/\log T)$的训练与干净的数据。此外,当训练期间的对抗性扰动具有针对某些$q\ge 1$的有界$\ell_q$范数时,所得到的分类器在方向上收敛到最大混合范数边缘分类器,其具有鲁棒性的自然解释,作为在对数据的最坏情况$\ell_q$范数扰动下的最大$\ell_2$范数边缘分类器。我们的研究结果为对抗训练提供了理论支持,它确实提高了对抗干扰的鲁棒性。
2019-07-26 cs.LG stat.ML
ManiGen: A Manifold Aided Black-box Generator of Adversarial Examples
New Jersey Institute of Technology(新泽西理工学院);King Faisal University(费萨尔国王大学);Alfaisal University(费萨尔大学)
机器学习模型,特别是神经网络(NN)分类器,具有可接受的性能和准确性,这导致它们在我们日常生活的不同方面被广泛采用。基本假设是这些模型是在无攻击场景中生成和使用的。然而,已经表明,基于神经网络的分类器容易受到对抗性示例的影响。对抗样本是具有特殊扰动的输入,这些扰动被人眼忽略,但会误导NN分类器。大多数现有的方法产生这样的扰动需要一定程度的知识的目标分类器,这使得他们不是很实用。例如,一些生成器需要了解pre-softmax logits,而其他生成器则使用预测分数。在本文中,我们设计了一个实用的黑盒对抗示例生成器,称为ManiGen。ManiGen不需要目标分类器内部状态的任何知识。它通过沿着流形搜索来生成对抗性示例,流形是输入数据的简洁表示。通过对不同数据集进行广泛的实验,我们表明:(1)ManiGen生成的对抗性示例可以与最先进的白盒生成器Carlini一样成功,从而误导独立分类器,以及(2)ManiGen生成的对抗性示例可以更有效地攻击具有最先进防御的分类器。
2020-07-11 cs.CR cs.LG stat.ML
Evading classifiers in discrete domains with provable optimality guarantees
EPFL(洛桑联邦理工学院);University College London(伦敦大学学院);University of California, Berkeley(加州大学伯克利分校)
机器人、恶意软件或垃圾邮件检测等安全关键型应用程序的机器学习模型在受约束的离散域中运行。这些应用程序将受益于针对对抗性示例的可证明保证。然而,现有的关于模型的可证明对抗鲁棒性的文献只关注图像等领域对基于梯度的攻击的鲁棒性。这些攻击对对抗成本进行建模,例如,应用于图像的失真量,作为$p$ -范数。我们认为,这种方法并不适合在约束域中建模对抗成本,因为并非所有的例子都是可行的。我们引入了一个图形框架,(1)概括了现有的攻击在离散域,(2)可以容纳复杂的成本函数超出$p$规范,包括财务成本时,攻击分类器,(3)有效地产生有效的对抗性的例子,保证最小的对抗性成本。这些保证直接转化为对抗鲁棒性的概念,考虑到域约束和对手的能力。我们展示了我们的框架如何通过制作对抗性示例来评估安全性,这些示例以可证明的最小数量的更改来逃避Twitter机器人检测分类器;并通过制作对抗性示例来构建隐私防御,这些示例逃避隐私入侵网站指纹分类器。
2019-07-01 cs.CR cs.LG stat.ML
Adversarial Robustness May Be at Odds With Simplicity
Harvard University(哈佛大学)
机器学习中的当前技术到目前为止还不能学习对对抗性扰动鲁棒的分类器。然而,即使在存在随机扰动的情况下,它们也能够以非常高的精度学习非鲁棒分类器。为了解释这一差距,我们强调的假设,$\textit{robust classification may require more complex classifiers (i.e. more capacity) than standard classification.}$在这篇文章中,我们表明,这一假设确实是可能的,通过给出几个理论的分类任务和“简单”的分类器集的例子,其中:(1)存在一个简单的分类器具有高标准的准确性,并在随机$\ell_\infty$噪声下的高精度。(2)任何简单的分类器都不是鲁棒的:在$\ell_\infty$扰动的情况下,它必须具有高对抗损失。(3)鲁棒分类是可能的,但仅使用更复杂的分类器(在一些示例中,指数地更复杂)。此外,$\textit{there is a quantitative trade-off between robustness and standard accuracy among simple classifiers.}$这表明了对这种现象的另一种解释,这种现象出现在实践中:权衡可能不是因为分类任务固有地需要这样的权衡(如[Tsipras-Santurkar-Engstrom-Turner-Ma…
2019-01-02 cs.CC cs.LG stat.ML
Improved Network Robustness with Adversary Critic
School of Electrical and Electronic Engineering(电气与电子工程学院);Nanyang Technological University(南洋理工大学)
理想情况下,让神经网络感到困惑的东西应该让人类感到困惑。然而,最近的实验表明,微小的、不可感知的扰动可以改变网络预测。为了解决这个差距的看法,我们提出了一种新的方法来学习强大的分类器。我们的主要思想是:用于鲁棒分类器的对抗性样本应该与对抗性目标的常规数据不可区分。我们在生成对抗网络(GAN)的框架下提出了一个学习鲁棒分类器的问题,其中对分类器的对抗攻击充当生成器,批评者网络学习区分常规图像和对抗图像。分类器的成本增加的目标,其对抗性的例子应该混淆对手的批评。为了提高对抗映射的稳定性,我们引入对抗循环一致性约束,保证对抗样本的对抗映射接近原始映射。在实验中,我们证明了我们的防御的有效性。我们的方法在用对抗训练训练的鲁棒性网络方面超越了。此外,我们在MTurk上与人类注释者的实验中验证了对抗性示例确实在视觉上令人困惑。该项目的代码可在https://github.com/aam-at/adversary_critic上查阅。
2018-10-30 cs.CV cs.LG stat.ML
Variance Regularizing Adversarial Learning
我们引入了一种新的方法来训练对抗模型,通过在真实/虚假的指标变量上用双峰高斯分布来代替真实分数。为了做到这一点,我们训练高斯分类器,通过元对抗训练隐式地匹配目标双峰分布。我们假设这种方法确保了生成器的非零梯度,即使在完美分类器的限制下。我们对标准基准图像数据集测试了我们的方法,并显示分类器输出分布是平滑的,并且在真实模式和伪模式之间有重叠。
2018-08-19 cs.LG stat.ML
Mitigation of Adversarial Examples in RF Deep Classifiers Utilizing AutoEncoder Pre-training
Perspecta Labs Inc.
图像机器学习中的对抗性示例被广泛宣传和探索。由轻微扰动的输入引起的错误分类的示例是丰富的并且是众所周知的(例如,一张熊猫的照片被不知不觉地扰乱,以欺骗分类器将其错误地标记为熊猫)。对射频(RF)信号深度学习(DL)的类似攻击及其缓解策略在已发表的工作中几乎没有涉及。然而,具有最小波形扰动的RF对抗性示例(AdEx)可能导致严重的、有针对性的误分类结果,特别是针对频谱感测/调查应用(例如,BPSK被误认为8-PSK)。我们对深度学习AdEx和拟议防御机制的研究是以RF为中心的,并结合了物理世界,空中(OTA)效应。我们在这里提出的防御机制的基础上预训练的目标分类器使用自动编码器。我们的研究结果验证了这种方法是一种可行的缓解方法,可以颠覆针对基于深度学习的通信和雷达传感系统的对抗性攻击。
2019-02-16 cs.LG eess.SP stat.ML
Tight Certificates of Adversarial Robustness for Randomly Smoothed Classifiers
MIT Computer Science and Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
强有力的理论保证的鲁棒性,可以给输入随机化产生的分类器的合奏。具体地,$\ell_2$有界对手不能改变由加性各向同性高斯噪声生成的总体预测,其中对手的半径取决于分布的方差以及感兴趣点处的总体裕度。我们在广泛的发行版类别上建立并大大扩展了这项工作。特别是,我们提供了对抗的鲁棒性保证和相关算法的离散情况下,对手是$\ell_0$有界的。此外,我们讨论了如何保证可以收紧与特定的假设分类器的功能类,如决策树。我们凭经验说明了这些结果,在图像和分子数据集上有和没有功能限制。
2020-02-26 cs.LG stat.ML
Improving Robustness of Malware Classifiers using Adversarial Strings Generated from Perturbed Latent Representations
Czech Technical University in Prague(布拉格捷克理工大学)
在恶意软件行为分析中,访问和创建的文件列表通常指示所检查的文件是恶意的还是良性的。然而,恶意软件作者试图通过生成随机文件名和/或用新版本的恶意软件修改使用的文件名来避免检测。这些变化代表了现实世界的对抗性例子。这项工作的目标是生成真实的对抗性示例,并提高分类器对这些攻击的鲁棒性。我们的方法以无监督的方式学习输入字符串的潜在表示,并在潜在域中使用基于梯度的对抗攻击方法来生成输入域中的对抗示例。我们使用这些例子来提高分类器的鲁棒性,通过训练生成的对抗性字符串集。与只在扰动的潜在向量上训练的分类器相比,我们的方法产生的分类器明显更鲁棒,而不会在标准精度上有很大的权衡。
2021-10-22 cs.CR cs.LG