Adversarial Learning with Cost-Sensitive Classes
Shenzhen University(深圳大学)
在对抗性学习中,有必要提高某些特殊类的性能,或者特别保护它们免受攻击。本文提出了一种结合成本敏感分类和对抗学习的框架,训练一个模型,可以区分受保护和不受保护的类,使受保护的类不容易受到对抗的例子。在这个框架中,我们发现了深度神经网络训练过程中的一个有趣现象,称为Min-Max特性,即卷积层中大多数参数的绝对值接近于零,而少数参数的绝对值明显变大。在此基础上,从随机分布的角度对Min-Max性质进行了分析,并进一步建立了一种新的对抗性样本防御模型,以提高对抗性样本的鲁棒性。所建模型的一个优点是它的性能优于标准模型,并且可以与对抗训练相结合,以实现更好的性能。实验证实,关于所有类的平均准确度,我们的模型几乎是相同的现有模型时,攻击没有发生,是优于现有的模型时,攻击发生。具体而言,关于受保护类的准确性,当攻击发生时,所提出的模型比现有的模型好得多。
2022-06-23 cs.LG
Fairness via Adversarial Attribute Neighbourhood Robust Learning
Dalian University of Technology(大连理工大学);The University of Iowa(爱荷华大学);Netflix(奈飞公司);Texas A&M University(得克萨斯农工大学)
提高特权和低特权敏感属性组(例如,{种族,性别})之间的公平性吸引了大量的关注。为了提高模型在不同敏感属性中的一致性,我们提出了一个原则性的\underline{R} obust \underline{A} dversarial \underline{A} tribute \underline{N} neighbourhood(RAAN)损失,以消除分类头的偏差,并促进不同敏感属性组之间更公平的表示分布。RAAN的核心思想是通过为每个样本分配一个对抗性鲁棒权值来消除不同敏感属性组之间有偏表示的差异,该权值定义在对抗性属性邻居(即来自不同保护组的样本)的表示上。为了提供有效的优化算法,我们铸造的RAAN到一个耦合的组合函数的总和,并提出了一个随机自适应(亚当式)和非自适应(SGD式)的算法框架SCRAAN与可证明的理论保证。在公平性相关基准数据集上的大量实证研究验证了该方法的有效性。
2022-10-12 cs.AI cs.CV cs.LG
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos(阿托斯公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管人工神经网络具有很好的性能,但对于大多数工业应用来说,它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制,以防止各种干扰,包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略,称为M-TLAT,旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法,称为目标标记对抗训练(TLAT)。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明,M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性,而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Enhancing Adversarial Attacks via Parameter Adaptive Adversarial Attack
The University of Technology Sydney(悉尼科技大学);Suzhou Yierqi(苏州伊尔其)
针对现有对抗攻击忽略模型内在参数、扰动可进一步优化的问题,将对抗过程拆分为方向监督与优化阶段,提出参数自适应的P3A方法,通过微调模型参数提升攻击效果,经实验验证有效。
2024-08-14 cs.CR cs.LG
A3T: Adversarially Augmented Adversarial Training
Montreal Institute of Learning Algorithms(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
最近的研究表明,深度神经网络对所谓的对抗性扰动高度敏感,对抗性扰动是输入数据的微小扰动,旨在欺骗机器学习分类器。大多数分类模型,包括深度学习模型,都极易受到对抗攻击的攻击。在这项工作中,我们研究了一种通过增强表示不变性来提高深度神经网络对抗鲁棒性的方法。其思想是训练分类器与附加到其隐藏层之一的过滤器联合,并训练过滤对抗性噪声。我们进行了初步实验来测试该方法的可行性,并将其与其他标准对抗训练方法进行比较。
2018-01-12 cs.LG stat.ML
Adversarial Attacks on Deep Learning Based mmWave Beam Prediction in 5G and Beyond
University of Maryland(马里兰大学);Intelligent Automation, Inc.(智能自动化公司)
深度学习提供了强大的手段,可以从频谱数据中学习,并解决5G及更高版本中的复杂任务,例如毫米波通信中初始接入(IA)的波束选择。为了在基站(例如,在用于定向传输的基站(例如,gNodeB)和用户设备(UE)中,深度神经网络(DNN)可以通过使用来自可能的窄波束的子集的接收信号强度(RSS)来预测最佳地倾斜到每个UE的波束。与扫描所有波束的传统IA相比,虽然提高了波束选择的延迟和可靠性,但DNN本身容易受到对抗性攻击。我们提出了一种对抗性攻击,通过生成对抗性扰动来操纵空中捕获的RSS作为DNN的输入。与具有高斯或均匀噪声的干扰攻击相比,这种攻击显著降低了IA性能,并欺骗DNN选择具有小RSS的波束。
2021-03-25 cs.LG cs.NI eess.SP
How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness
Department of Excellence in Robotics \& AI, Scuola Superiore Sant'Anna, Pisa, Italy
本文通过概率分析探讨对抗攻击与扰动鲁棒性之间的联系,提出浓度因子κ量化风险,并通过实验揭示对抗攻击在不同扰动模型下的有效性。
2026-01-25 cs.AI cs.LG
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
Seoul National University(首尔国立大学)
深度学习容易受到对抗性样本的影响。许多基于随机神经网络的防御方法已经被提出来解决这个问题,但未能实现对使用代理梯度的攻击的鲁棒性,例如变换期望(EOT)攻击。我们研究了使用代理梯度的对抗攻击对随机神经网络的影响,并证明了它高度依赖于随机神经网络的损失梯度的方向分布。我们特别表明,代理梯度是不太有效的梯度时,更分散。为此,我们提出了梯度多样性(GradDiv)正则化,最大限度地减少梯度的浓度,以建立一个强大的随机神经网络。我们在MNIST,CIFAR10和STL 10上的实验表明,我们提出的GradDiv正则化提高了随机神经网络对各种最先进的攻击方法的对抗鲁棒性。此外,我们的方法有效地减少了随机神经网络样本模型之间的可移植性。
2021-07-06 cs.LG
Data Decisions and Theoretical Implications when Adversarially Learning Fair Representations
Google Research(谷歌研究院)
当我们不知道分类器的输入是否属于受保护的组时,我们如何学习对受保护的或敏感的组“公平”的分类器?当受保护组的数据难以获得时,我们如何训练这样的分类器?在许多设置中,即使在模型训练期间,找出敏感的输入属性也可能非常昂贵,并且有时在模型服务期间是不可能的。例如,在推荐系统中,如果我们想预测用户是否会点击给定的推荐,我们通常不知道用户的许多属性,例如,种族或年龄,并且内容的许多属性难以确定,例如,语言或主题。因此,使用基于敏感属性的知识校准的不同分类器是不可行的。在这里,我们使用对抗训练过程来从神经网络学习的潜在表示中删除有关敏感属性的信息。特别是,我们研究了对抗训练的数据选择如何影响所产生的公平性。我们发现了两个有趣的结果:训练这些对抗性模型只需要少量的数据,而数据分布经验地驱动了对手的公平概念。
2017-07-07 cs.CY cs.LG
Interpretable Adversarial Training for Text
University of Maryland(马里兰大学)
在文本域中生成高质量和可解释的对抗性示例比在图像域中更艰巨。这部分是由于文本的离散性,部分是由于确保对抗性示例仍然是可能的和可解释的问题,部分是由于在输入扰动下保持标签不变性的问题。为了解决其中的一些挑战,我们引入了稀疏投影梯度下降(SPGD),这是一种为文本制作可解释的对抗性示例的新方法。SPGD通过将输入扰动投影到具有最高余弦相似度的附近词嵌入的方向上来对输入扰动施加方向正则化约束。该约束确保扰动在可解释的方向上移动每个词嵌入(即,朝向另一个附近的词嵌入)。此外,SPGD施加稀疏性约束的扰动在句子层面上忽略词嵌入扰动的范数低于一定的阈值。这个约束确保我们的方法每个序列只改变几个单词,从而产生更高质量的对抗性示例。我们对IMDB电影评论数据集的实验表明,与最先进的方法相比,所提出的SPGD方法提高了对抗性示例的可解释性和似然性(通过平均每个单词的困惑度进行评估),同时在训练性能方面几乎没有损失。
2019-05-30 cs.CL cs.LG stat.ML
On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them
EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
我们分析了对抗性训练对机器学习模型损失景观的影响。为此,我们首先提供了分析研究的性质的对抗损失函数在不同的对抗预算。然后,我们证明,由于曲率增加和梯度更加分散,对抗性损失景观对优化不太有利。我们的结论得到了数值分析的验证,结果表明,在大的对抗预算下训练会阻止从次优随机初始化中逃脱,导致非零梯度,并使模型找到更尖锐的最小值。基于这些观察,我们表明,周期性对抗调度(PAS)策略可以有效地克服这些挑战,产生比香草对抗训练更好的结果,同时对学习率的选择不太敏感。
2020-11-02 cs.LG stat.ML
Towards Transferable Adversarial Attacks with Centralized Perturbation
Beijing Institute of Technology(北京理工大学)
提出一种在频域动态集中扰动于主导频率系数的对抗攻击方法,以增强对抗样本的迁移性并绕过防御。
2023-12-23 cs.CR cs.CV cs.LG
FraudBench: Protocol-Sensitive Benchmarking of Adversarial Robustness for Financial Risk Assessment
FraudBench是面向金融风险评估的协议敏感型对抗鲁棒性基准,通过三种匹配协议评估不同模型,发现鲁棒性结论具协议敏感性,提出应将领域约束纳入攻击生成。
2026-08-26 cs.AI cs.LG
Learning Private Representations through Entropy-based Adversarial Training
SAP SE(SAP股份有限公司)
提出一种基于focal entropy的对抗表示学习方法,在多个基准上实现了高目标效用与适度隐私泄露的平衡。
2025-07-14 cs.AI cs.CV cs.LG
Tracing the Origin of Adversarial Attack for Forensic Investigation and Deterrence
National University of Singapore(新加坡国立大学);Huawei International(华为国际)
深度神经网络容易受到对抗攻击的攻击。在本文中,我们扮演了调查者的角色,他们想要追踪攻击并识别源,即生成对抗性示例的特定模型。由此产生的技术将有助于对袭击事件进行法医调查,并对潜在的袭击起到威慑作用。我们考虑买家-卖家设置,其中机器学习模型将被分发给各个买家,每个买家收到具有相同功能的略有不同的副本。恶意购买者从特定副本$\mathcal{M}_i$生成对抗性示例,并使用它们攻击其他副本。从这些对抗性的例子中,研究者想要确定来源$\mathcal{M}_i$。为了解决这个问题,我们提出了一个两阶段的分离和跟踪框架。模型分离阶段为同一分类任务生成模型的多个副本。这个过程将独特的特征注入到每个副本中,以便生成的对抗性示例具有独特且可追溯的特征。我们给出了一个并行结构,它在每个副本中嵌入一个“跟踪器”,以及一个对噪声敏感的训练损失来实现这个目标。跟踪阶段接受对抗性示例和一些候选模型,并识别可能的来源。基于对噪声敏感的损失函数所引入的独特特征,我们可以通过考虑每个跟踪器的输出logits来有效地跟踪潜在的对抗副本。实证结果表明,可以追踪对抗性示例的起源,并且该机制可以应用于广泛的架构和数据集。
2022-12-31 cs.CR cs.CV cs.LG
Denoising Diffusion Probabilistic Models as a Defense against Adversarial Attacks
Harvard University(哈佛大学)
神经网络对输入中的小扰动非常敏感,这使得它们容易受到对抗攻击。该项目评估了去噪扩散概率模型(DDPM)作为一种净化技术来抵御对抗攻击的性能。它的工作原理是在通过扩散模型的逆过程去除噪声之前,向对抗性示例添加噪声。我们评估的方法上的PatchCamelyon数据集的淋巴结切片的组织病理学扫描,并找到了高达88%的原始模型的准确性,构成了相当大的改进香草模型和我们的基线的鲁棒准确性的提高。项目代码位于https://github.com/ankile/Adversarial-Diffusion。
2023-01-17 cs.CR cs.CV cs.LG
FAIR: Fair Adversarial Instance Re-weighting
University of Belgrade - Faculty of Organizational Sciences(贝尔格莱德大学组织科学学院);University of Belgrade - Faculty of Mathematics(贝尔格莱德大学数学学院)
随着人们对人工智能的社会影响的日益认识,公平性已经成为机器学习算法的一个重要方面。问题是,人类对某些群体的偏见,由种族和性别等敏感特征定义,通过数据汇集和标记引入训练数据。公平性保证研究的两个重要方向集中在(i)实例加权,以减少更有偏见的实例的影响和(ii)对抗性训练,以构建目标变量的数据表示信息,但不提供敏感属性的信息。在本文中,我们提出了一种公平对抗性实例重新加权(FAIR)方法,该方法使用对抗性训练来学习实例加权函数,以确保公平的预测。合并这两种范式,它继承了两者的理想属性-重新加权的可解释性和对抗训练的端到端可训练性。我们提出了四种不同的变体的方法,除其他外,演示了如何在一个完全概率的框架中铸造的方法。此外,FAIR模型的性质的理论分析也得到了广泛的研究。我们比较FAIR模型与其他7个相关和国家的最先进的模型,并证明FAIR是能够实现更好的准确性和不公平之间的权衡。据我们所知,这是第一个通过加权函数合并重新加权和对抗方法的模型,该加权函数可以提供有关单个实例公平性的可解释信息。
2020-11-15 cs.AI cs.LG stat.ML
Generating Label Cohesive and Well-Formed Adversarial Claims
University of Copenhagen(哥本哈根大学)
对抗攻击揭示了训练模型的重要弱点和缺陷。一种有效的攻击类型是通用对抗触发器,它是单独的n-gram,当附加到受攻击的类的实例时,可以欺骗模型预测目标类。然而,对于诸如事实检查之类的推理任务,这些触发器经常会无意中颠倒它们所插入的实例的含义。此外,这种攻击会产生语义上无意义的输入,因为它们只是将触发器连接到现有样本。在这里,我们研究如何生成针对事实检查系统的对抗攻击,这些事实检查系统保留了地面真值含义并且在语义上是有效的。我们扩展了HotFlip攻击算法用于通用触发器生成,通过联合最小化目标类损失的事实检查模型和蕴涵类损失的辅助自然语言推理模型。然后,我们训练一个条件语言模型来生成语义上有效的语句,其中包括找到的通用触发器。我们发现,所产生的攻击保持的方向性和语义有效性的索赔比以前的工作。
2020-09-17 cs.CL cs.LG
On the Fairness ROAD: Robust Optimization for Adversarial Debiasing
AXA Group Operations(安盛集团运营部);Stanford University(斯坦福大学);TRAIL, Sorbonne Université(索邦大学TRAIL);LERIA, Université d’Angers(昂热大学LERIA);Polish Academy of Science(波兰科学院)
本文提出ROAD方法,将分布鲁棒优化与公平对抗学习相结合,通过实例级重加权优先处理局部不公平输入,在三个数据集上实现了局部公平性与准确性的帕累托支配并提升分布偏移下的公平性泛化。
2023-10-27 cs.AI cs.LG stat.ML
To compress or not to compress: Understanding the Interactions between Adversarial Attacks and Neural Network Compression
University of Cambridge(剑桥大学)
随着深度神经网络(DNN)的广泛使用,修剪和量化模型在边缘设备上变得无处不在;这种压缩的DNN因降低计算要求而流行。与此同时,最近的研究表明,对抗性样本可以有效地使DNN错误分类。因此,我们研究对抗样本在未压缩和压缩DNN之间的可转移程度。我们发现,对抗样本仍然可转移的修剪和量化模型。对于修剪,从严重修剪的模型生成的对抗样本在未压缩的模型上仍然有效。对于量化,我们发现对抗样本的可转移性对整数精度高度敏感。
2020-04-16 cs.CR cs.LG
Real-World Image Super Resolution via Unsupervised Bi-directional Cycle Domain Transfer Learning based Generative Adversarial Network
Lakehead University(湖首大学);Western University(韦仕敦大学);Harbin Institute of Technology(哈尔滨工业大学);Nanjing University of Information Science and Technology(南京信息工程大学);Tianjin University(天津大学);Okanagan College(奥肯那根学院);The University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
深度卷积神经网络(DCNN)在图像超分辨率任务中表现出令人印象深刻的性能。然而,这些基于深度学习的超分辨率方法在现实世界的超分辨率任务中表现不佳,其中成对的高分辨率和低分辨率图像不可用,并且低分辨率图像被复杂和未知的内核降级。为了打破这些限制,我们提出了基于无监督双向循环域迁移学习的生成对抗网络(UBCDTL-GAN),它由无监督双向循环域转移网络(UBCDTN)和语义编码器引导的超分辨率网络(SESRN)组成。首先,UBCDTN能够通过将LR图像从人工退化域转移到真实世界LR图像域来产生近似真实的LR图像。其次,SESRN具有将近似真实的LR图像超分辨率为照片般逼真的HR图像的能力。在未配对的真实世界图像基准数据集上进行的大量实验表明,与现有方法相比,该方法具有更好的性能。
2023-01-03 cs.CV cs.LG eess.IV
HEART-PFL: Stable Personalized Federated Learning under Heterogeneity with Hierarchical Directional Alignment and Adversarial Knowledge Transfer
Promedius Inc.(Promedius公司)
HEART-PFL通过分层方向对齐和对抗性知识转移,提升在异质分布下的个性化联邦学习效果,实现高准确率和稳定性,适用于CIFAR-100、Flowers-102和Caltech-101数据集。
2026-03-25 cs.CV cs.LG
ToxiGAN: Toxic Data Augmentation via LLM-Guided Directional Adversarial Generation
Freie Universität Berlin(弗里德里希-莱布尼茨柏林大学);Fraunhofer-Institut für Offene Kommunikationssysteme(弗劳恩霍夫开放通信系统研究所);Institut für Angewandte Informatik(应用信息研究所);Stanford University(斯坦福大学)
ToxiGAN通过LLM引导的定向对抗生成方法,提升有毒数据增强的可控性和类别特定性,有效增强分类器鲁棒性。
2026-01-06 cs.AI cs.CL cs.LG
Cost-Sensitive Robustness against Adversarial Examples
University of Virginia(弗吉尼亚大学)
最近的几项工作已经开发出了训练分类器的方法,这些分类器对范数有界的对抗性扰动具有可证明的鲁棒性。这些方法假设所有的对抗变换都同样重要,这在现实世界的应用中很少发生。我们提倡成本敏感的鲁棒性作为衡量分类器的性能的标准,其中一些对抗性的转换比其他更重要的任务。我们将每个对抗性变换的潜在危害编码在成本矩阵中,并提出了一个通用目标函数来适应Wong & Kolter(2018)的鲁棒训练方法,以优化成本敏感的鲁棒性。我们的实验上简单的MNIST和CIFAR10模型与各种成本矩阵表明,该方法可以产生模型,大大降低成本敏感的鲁棒性错误,同时保持分类精度。
2019-03-05 cs.CR cs.LG stat.ML
Time-series Imputation and Prediction with Bi-Directional Generative Adversarial Networks
University of Delaware(特拉华大学)
多变量时间序列数据被用于许多分类和回归预测任务,并且递归模型已被广泛用于此类任务。大多数常见的递归模型假设时间序列数据元素是等长的,并且按规则的间隔记录有序的观测值。然而,真实世界的时间序列数据既没有类似的长度,也没有相同数量的观测值。它们也有缺失的条目,这阻碍了预测任务的执行。在本文中,我们通过提出一个模型来处理这些问题,该模型用于对不规则观测和长度变化的缺失条目时间序列数据进行插补和预测。我们提出的模型(Bi-GAN)在生成对抗环境中使用双向递归网络。生成器是一个双向递归网络,它接收实际的不完整数据并估算缺失值。计数器试图区分发生器输出中的实际值和估算值。我们的模型学习如何在输入时间步之间(插补)或输入时间步之外(预测)估算缺失的元素,因此可以作为时间序列数据的有效预测工具。与现有的方法相比,该方法具有三个优点:(a)单一模型可同时用于插补和预测任务;(b)可对具有缺失数据的变长度时间序列进行预测任务;(c)在训练期间不需要知道观察和预测时间窗,这为长期和短期预测提供了灵活的预测窗长度。我们在两个公共数据集和另一个大型真实世界电子健康记录数据集上评估了我们的模型,以估算和预测儿童的体重指数(BMI)值,并在这两种情况下显示出其优越的性能。
2020-09-18 cs.LG stat.ML
Rethinking Cost-sensitive Classification in Deep Learning via Adversarial Data Augmentation
University of Michigan - Ann Arbor(密歇根大学安娜堡分校);American University of Beirut(贝鲁特美国大学);College of Pharmacy, University of Michigan - Ann Arbor(密歇根大学安娜堡分校药学院)
本文提出代价敏感对抗性数据增强框架CSADA,通过生成针对关键误分类的对抗样本训练过度参数化深度模型,从而在保持整体准确率的同时有效降低总体代价和关键错误。
2022-08-24 cs.LG stat.ML
Risk-Sensitive Generative Adversarial Imitation Learning
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院);DeepMind(深度思维)
我们研究风险敏感的模仿学习,代理的目标是执行至少以及专家的风险概况。我们首先制定我们的风险敏感的模仿学习设置。我们考虑生成对抗方法的模仿学习(GAIL),并推导出我们的配方,我们称之为风险敏感GAIL(RS-GAIL)的优化问题。然后,我们推导出两个不同版本的RS-GAIL优化问题,旨在匹配的代理和专家w.r.t.的风险配置文件。Jensen-Shannon(JS)发散度和Wasserstein距离,并基于这些优化问题开发风险敏感的生成对抗模仿学习算法。我们评估了我们的算法的性能,并将其与GAIL和风险规避模仿学习(RAIL)算法在两个MuJoCo和两个OpenAI经典控制任务中进行了比较。
2018-12-24 cs.AI cs.LG stat.ML
BACE-RUL: A Bi-directional Adversarial Network with Covariate Encoding for Machine Remaining Useful Life Prediction
School of Software Engineering, Sun Yat-Sen University(中山大学软件学院);School of Computer Science and Technology, China University of Mining and Technology(中国矿业大学计算机科学与技术学院);National University of Singapore(新加坡国立大学)
本文提出BACE-RUL模型,通过双向对抗网络和协变量编码,利用当前传感器数据预测机器剩余寿命,优于现有方法。
2026-03-05 cs.AI cs.LG
Approaching Machine Learning Fairness through Adversarial Network
Purdue University(普渡大学)
公平正成为w.r.t.日益关注的问题。机器学习模型性能。特别是对于刑事司法和贷款决策等敏感领域,消除对特定人群(具有种族和性别等敏感特征)的预测歧视对于提高模型的可信度至关重要。在本文中,我们提出了一个新的通用框架,以提高机器学习的公平性。我们的模型的目标是从数据输入和预测模型的角度最大限度地减少敏感特征的影响。为了实现这一目标,我们通过去除敏感信息来重构数据输入,并通过最小化敏感特征的边际贡献来增强模型公平性。我们建议通过在特征之间采样来学习非敏感输入,并设计一个对抗网络来最小化重构输入与敏感信息之间的依赖性。在三个基准数据集上的大量实验表明,我们的模型在公平性度量和预测性能方面都比相关的最先进的方法取得了更好的结果。
2019-09-06 cs.LG stat.ML
Connectivity-informed Drainage Network Generation using Deep Convolution Generative Adversarial Networks
Water Resources Research Center(水资源研究中心);University of Hawai’i at Mānoa(夏威夷大学马诺阿分校);Yeungnam University(岭南大学);Sandia National Laboratories(桑迪亚国家实验室)
随机网络建模通常受到高计算成本的限制,无法生成足够多的网络进行有意义的统计评估。在这项研究中,深度卷积生成对抗网络(DCGAN)被应用于从已经生成的网络样本中快速重现排水网络,而无需对随机网络模型(Gibb模型)进行重复的长时间建模。特别是,我们开发了一种新的连通性知情的方法,将排水网络图像转换为排水网络的每个节点上的流的方向信息,然后将其转换为多个二进制层中存储的排水网络中的节点之间的连接约束。比较了用三种不同类型的训练样本训练的DCGAN; 1)原始排水网络图像,2)仅对应的方向信息,以及3)连通性通知的方向信息。生成的图像的比较表明,新的连通性通知的方法优于其他两种方法,更有效地训练DCGAN和更好地再现准确的排水网络,由于其紧凑的网络复杂性和连通性的表示。这项工作强调了DCGAN可以适用于地球和材料科学中常见的高对比度图像,其中网络,裂缝和其他高对比度特征很重要。
2020-06-16 cs.LG eess.SP physics.geo-ph
A Noise-Sensitivity-Analysis-Based Test Prioritization Technique for Deep Neural Networks
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
深度神经网络在自然语言处理、计算机视觉、图像识别等领域有着广泛的应用。但有几项研究表明,深度神经网络很容易被带有一些扰动的人工示例所愚弄,这些示例被广泛称为对抗性示例。对抗性示例可用于攻击深度神经网络或提高深度神经网络的鲁棒性。生成对抗性示例的一种常见方法是首先生成一些噪声,然后将它们添加到原始示例中。在实际应用中,不同的例子对噪声的敏感度不同。为了生成有效的对抗性示例,可能需要向低噪声敏感示例添加大量噪声,这可能使对抗性示例变得毫无意义。在本文中,我们提出了一个基于噪声敏感性分析的测试优先级技术,挑选出他们的噪声敏感性的例子。我们构造了一个实验来验证我们的方法在四个图像集和两个DNN模型,这表明,例子是敏感的噪声和我们的方法可以有效地挑选出的例子,他们的噪声敏感性。
2019-01-20 cs.CV cs.LG stat.ML
Diversity-Sensitive Conditional Generative Adversarial Networks
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
我们提出了一种简单而高效的方法,解决了条件生成对抗网络(cGAN)中的模式崩溃问题。虽然条件分布是多模态的(即,在实践中,大多数cGAN方法倾向于学习过度简化的分布,其中输入总是被映射到单个输出,而不管潜在代码的变化。为了解决这个问题,我们建议显式地正则化生成器,以根据潜在代码产生不同的输出。所提出的正则化是简单的,一般的,并且可以很容易地集成到大多数条件GAN目标。此外,生成器上的显式正则化允许我们的方法控制视觉质量和多样性之间的平衡。我们证明了我们的方法在三个条件生成任务:图像到图像的翻译,图像修补,和未来的视频预测的有效性。我们表明,简单地将我们的正则化添加到现有模型中会导致令人惊讶的多样化生成,大大优于以前在每个单独任务中专门设计的多模态条件生成方法。
2019-01-25 cs.LG stat.ML
Don't Judge Me by My Face : An Indirect Adversarial Approach to Remove Sensitive Information From Multimodal Neural Representation in Asynchronous Job Video Interviews
EASYRECRUE;LIMSI-LISN;CNRS(法国国家科学研究中心);Paris-Sud University(巴黎南大学);Paris-Saclay University(巴黎萨克雷大学);Télécom-Paris(巴黎电信学院);IP-Paris(巴黎理工学院)
用于自动分析求职面试视频的机器学习的SE最近引起了越来越多的兴趣。尽管关于候选人的性别或种族等敏感信息的输出公平,但目前的方法很少提供无偏见决策的证据,或者没有使用敏感信息。最近,对抗方法已被证明可以有效地从神经网络的潜在表示中去除敏感信息。然而,这些方法依赖于使用明确标记的受保护变量(例如性别),在某些国家(例如法国)的招募背景下无法收集这些变量。在这篇文章中,我们提出了一种新的对抗性方法,从神经网络的潜在表示中删除敏感信息,而不需要收集任何敏感变量。只使用几帧面试,我们训练我们的模型,使其无法在模型的内层中找到与工作面试相关的候选人的面孔。这反过来又允许我们从这些层中删除相关的私人信息。将我们的方法与带有性别和种族注释的公共数据集上的标准基线进行比较,我们表明它有效地从主网络中删除了敏感信息。此外,据我们所知,这是对抗技术在视频面试中获得多模态公平表示的第一次应用。总之,我们的贡献旨在提高即将推出的自动系统处理求职面试视频的公平性,以实现就业选择的平等。
2021-10-18 cs.CL cs.CV cs.HC
Semi-FairVAE: Semi-supervised Fair Representation Learning with Adversarial Variational Autoencoder
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
对抗学习是公平表示学习中广泛使用的一种技术,用于消除数据表示中敏感属性的偏差。它通常需要将敏感属性标签作为预测目标。然而,在许多场景下,许多样本的敏感属性标签可能是未知的,并且很难基于具有观察到的属性标签的稀缺数据训练一个强的分类器,这可能导致产生不公平的表示。本文提出了一种基于对抗性变分自编码器的半监督公平表示学习方法,该方法可以减少对抗性公平模型对带有标签敏感属性的数据的依赖。更具体地说,我们使用一个偏见感知模型,通过准确地预测敏感属性从输入数据捕捉敏感属性的固有偏见信息,我们使用一个无偏见的模型,学习去偏见的公平表示,通过使用对抗学习,以消除偏见信息。由两个模型学习的隐藏表示被正则化为正交的。此外,两个模型预测的软标签被进一步集成到一个半监督的变分自编码器中,以重建输入数据,我们应用了一个额外的熵正则化,以鼓励从无偏模型推断的属性标签是高熵的。通过这种方式,如果输入数据被很好地重构,则偏差感知模型可以更好地捕获属性信息,而无偏差模型对敏感属性的区分性较低。在两个不同任务的数据集上进行的大量实验验证了该方法在有限数据和敏感属性标签的情况下可以实现良好的表示学习公平性。
2022-04-01 cs.LG
Generating Fair Universal Representations using Adversarial Models
Arizona State University(亚利桑那州立大学);Google Research(谷歌研究院)
我们提出了一个数据驱动的框架,学习公平的通用表示(FUR),保证统计公平的任何学习任务,可能不知道先验。我们的框架利用对抗学习的最新进展,允许数据持有者学习表示,其中一组敏感属性与数据集的其余部分解耦。我们制定这作为一个受约束的极小极大的游戏之间的编码器和对手的约束,确保了衡量的有用性(实用程序)的表示。由此产生的问题是审查,即,在给定效用约束的情况下,找到关于敏感属性的信息最少的表示。对于适当选择的对抗性损失函数,我们的审查框架精确地阐明了针对强信息理论对手的最佳对抗策略;它还实现了对所产生的约束表示的人口均等的公平性度量。我们评估了我们提出的框架在合成和公开数据集上的性能。对于这些数据集,我们使用了两个权衡措施:审查与表示保真度和公平性与下游任务的效用,以充分证明多个敏感特征可以有效地审查,即使所得的公平表示确保多个下游任务的准确性。
2022-05-12 cs.LG stat.ML
Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning
The University of Iowa(爱荷华大学);Texas A&M University(德克萨斯农工大学)
本文针对自监督学习中仅少量数据带敏感属性标注的场景,提出可证明收敛的随机算法 SoFCLR,通过求解非凸非凹极小极大博弈实现对抗性公平表示学习,并在八种公平性概念的下游分类中验证其有效性。
2024-06-09 cs.CV cs.CY cs.LG
Random Directional Attack for Fooling Deep Neural Networks
the University of Science and Technology of China(中国科学技术大学);the School of Computer Science and Technology(计算机科学与技术学院)
深度神经网络(DNN)在图像处理、语音识别等领域得到了广泛的应用,但其易受对抗性样本的攻击,这是一个值得关注的安全问题。由于DNN的训练过程通过沿着梯度下降方向更新权重来收敛损失,因此许多基于梯度的方法试图通过在梯度方向上添加扰动来破坏DNN模型。不幸的是,由于模型在大多数情况下是非线性的,在梯度方向上增加扰动并不一定会增加损失。因此,本文提出了一种随机定向攻击(RDA)来生成对抗性示例。RDA不是限制梯度方向来产生攻击,而是基于爬山搜索攻击方向,并使用多种策略来避免导致攻击失败的局部最优。与现有的基于梯度的方法相比,RDA的攻击性能具有很强的竞争力。此外,RDA可以在没有模型内部知识的情况下进行攻击,并且在黑盒攻击下的性能在大多数情况下与白盒攻击相似,这是现有的基于梯度的攻击方法难以实现的。
2019-08-06 cs.CR cs.LG cs.NE
Certifying Lower Bounds for Risk-Sensitive Reinforcement Learning under Adversarial State Perturbations
University of Houston(休斯顿大学)
本文针对风险敏感强化学习,在对抗状态扰动下通过凸优化和phi散度松弛推导认证下界,实验表明风险厌恶训练提升下界,但过度风险厌恶会降低性能。
2026-09-11 cs.LG math.OC
Adversarial representation learning for synthetic replacement of private attributes
AI Sweden(瑞典人工智能研究院)
数据隐私是许多现实世界中越来越重要的方面。包含敏感信息的数据源可能具有巨大的潜力,可以使用正确的隐私增强转换来解锁,但当前的方法通常无法产生令人信服的输出。此外,在隐私和实用性之间找到正确的平衡往往是一个棘手的权衡。在这项工作中,我们提出了一种新的方法,数据私有化,其中包括两个步骤:在第一步,它删除了敏感信息,并在第二步,它取代了一个独立的随机样本的信息。我们的方法建立在对抗性表示学习的基础上,通过训练模型来欺骗越来越强大的对手,从而确保强大的隐私。虽然以前的方法只针对混淆的敏感信息,我们发现,添加新的随机信息在其位置加强了所提供的隐私,并提供更好的实用程序在任何给定的隐私级别。其结果是一种方法,可以提供更强的私有化的图像数据,但保留域和输入的效用,完全独立于下游的任务。
2021-02-08 cs.CR cs.LG stat.ML
Adversarial Reprogramming of Text Classification Neural Networks
University of California San Diego(加州大学圣地亚哥分校)
对抗性重编程已经成功地利用预先训练的神经网络分类器进行替代分类任务,而无需修改原始网络。这种攻击场景中的对手训练对输入的附加贡献,以将神经网络重新用于新的分类任务。虽然这种重编程方法适用于具有连续输入空间(例如图像)的神经网络,但它不直接适用于针对文本分类等任务训练的神经网络,其中输入空间是离散的。重新使用这样的分类网络需要攻击者学习一个对抗程序,将输入从一个离散空间映射到另一个离散空间。在这项工作中,我们引入了一个基于上下文的词汇重映射模型来重新编程神经网络训练的特定序列分类任务,一个新的序列分类任务所需的对手。我们提出了在白盒和黑盒设置中的对抗程序的训练程序。我们通过逆向地重新利用各种文本分类模型(包括LSTM、双向LSTM和CNN)来演示我们的模型的应用,以用于替代分类任务。
2019-08-15 cs.CR cs.LG stat.ML
Adversarial representation learning for private speech generation
Chalmers University of Technology(查尔姆斯理工大学);RISE Research Institutes of Sweden(瑞典RISE研究院)
随着越来越多的数据在组织、公司和国家的各种环境中被收集,用户隐私的需求也在增加。因此,开发用于数据分析的隐私保护方法是一个重要的研究领域。在这项工作中,我们提出了一个基于生成对抗网络(GANs)的模型,该模型学习模糊语音数据中的特定敏感属性。我们训练一个模型,它学会在数据中隐藏敏感信息,同时保留话语中的含义。该模型分为两步进行训练:首先过滤频谱图域中的敏感信息,然后生成独立于过滤后的信息的新的私人信息。该模型是基于一个U-Net CNN,采取梅尔频谱作为输入。MelGAN用于将频谱图反转回原始音频波形。我们表明,通过生成新的数据来隐藏敏感信息(如性别)是可能的,这些数据经过对抗训练以保持实用性和现实性。
2020-06-17 cs.LG cs.SD eess.AS
Improving Transferability of Adversarial Patches on Face Recognition with Generative Models
RealAI(瑞莱智慧);Ant Financial(蚂蚁金服);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Nanyang Technological University(南洋理工大学)
深度卷积神经网络(CNN)极大地提高了人脸识别。最近,这些人脸识别模型已被用于安全敏感应用中的身份认证。然而,深度CNN很容易受到对抗补丁的攻击,这些补丁在物理上是可实现的,并且是隐形的,这对这些模型的实际应用提出了新的安全问题。在本文中,我们使用基于可转移性的对抗补丁来评估人脸识别模型的鲁棒性,其中攻击者对目标模型的可访问性有限。首先,我们扩展了现有的基于转移的攻击技术,以生成可转移的对抗补丁。然而,我们观察到的可转移性是敏感的初始化和退化时的扰动幅度是大的,表示过拟合的替代模型。其次,我们提出了在低维数据流形上正则化对抗补丁。流形由在合法人脸图像上预训练的生成模型表示。通过在流形上进行优化,使用人脸特征作为对抗性扰动,我们表明替代模型和目标模型的响应之间的差距显着减小,表现出更好的可移植性。大量的数字世界的实验进行了证明所提出的方法在黑箱设置的优越性。我们也将所提出的方法应用于物理世界。
2021-08-30 cs.CV cs.LG
DYSAN: Dynamically sanitizing motion sensor data against sensitive inferences through adversarial networks
Project-Teams Privatics(Privatics项目团队)
随着量化自我运动的广泛采用,越来越多的用户依赖于移动应用程序通过智能手机监测他们的身体活动。授予应用程序对传感器数据的直接存取权限会使用户面临隐私风险。事实上,通常这些运动传感器数据被传输到托管在云上的分析应用程序,利用机器学习模型向用户提供关于其健康状况的反馈。然而,没有什么可以阻止服务提供商推断关于用户的私人和敏感信息,例如健康或人口统计属性。在本文中,我们提出了DySan,一个隐私保护框架,用于对不需要的敏感推断(即,提高隐私性)同时限制身体活动监测的准确性损失(即,维护数据实用程序)。为了确保效用和隐私之间的良好权衡,DySan利用生成对抗网络(GAN)的框架来净化传感器数据。更确切地说,通过以竞争的方式学习几个网络,DySan能够建立模型,根据对指定敏感属性(例如,性别),同时保持活动识别的高准确性。此外,DySan根据传入数据动态选择最大化隐私的消毒模型。在真实数据集上进行的实验表明,DySan可以将性别推断限制在47%,而活动识别的准确率仅降低3%。
2020-10-08 cs.AI cs.CR cs.LG
Adversarial Representation Learning With Closed-Form Solvers
Michigan State University(密歇根州立大学)
对抗性表示学习旨在学习目标任务的数据表示,同时去除不需要的敏感信息。现有方法通过随机梯度下降-上升迭代学习模型参数,在实际应用中往往不稳定、不可靠。为了克服这一挑战,我们采用封闭形式的求解对手和目标任务。我们将它们建模为核岭回归,并分析确定最佳表示维度的上限。我们的解决方案,被称为OptNet-ARL,减少到一个稳定的一次性优化问题,可以可靠和有效地解决。OptNet-ARL可以很容易地推广到多目标任务和敏感属性的情况。在小型和大型数据集上的数值实验表明,从优化的角度来看,OptNet-ARL是稳定的,收敛速度快三到五倍。在性能方面,当目标和敏感属性是相关的时,OptNet-ARL学习表示,这些表示在(a)公平分类的效用和偏见以及(b)通过减少私人信息的泄漏来减少私人信息之间提供更好的权衡。
2021-09-12 cs.LG
Adversarial Graph Embeddings for Fair Influence Maximization over Social Networks
Monash University(莫纳什大学);RMIT University(皇家墨尔本理工大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
影响力最大化是网络科学中广泛研究的主题,其目标是达到最大可能数量的节点,同时只针对一小部分初始个体。它在许多领域都有重要的应用,包括病毒式营销、信息传播、新闻传播和疫苗接种。然而,该目标通常不考虑受影响的节点的最终集合是否相对于敏感属性(例如种族或性别)是公平的。在这里,我们讨论公平的影响力最大化,旨在更公平地接触少数群体。我们引入了对抗图嵌入:我们共同训练了一个用于图嵌入的自动编码器和一个识别敏感属性的编码器。这导致了类似地分布在敏感属性之间的嵌入。然后我们通过聚类嵌入找到一个好的初始集合。我们相信,我们是第一个使用嵌入的任务,公平的影响力最大化。虽然公平性和影响力最大化目标之间通常存在权衡,但我们在合成和真实世界数据集上的实验表明,我们的方法大大减少了差异,同时与最先进的影响力最大化方法保持竞争力。
2020-05-11 cs.LG cs.SI stat.ML
Adversarial Explanations for Understanding Image Classification Decisions and Improved Neural Network Robustness
Portland State University(波特兰州立大学)
对于敏感问题,如医学成像或欺诈检测,神经网络(NN)的采用一直很慢,由于其可靠性的关注,导致一些算法来解释他们的决定。神经网络也被发现容易受到一类不可感知的攻击,称为对抗性示例,它可以任意改变网络的输出。在这里,我们证明了这些攻击可以使先前解释NN决策的尝试无效,并且对于非常强大的网络,攻击本身可以作为对模型更忠实的解释。我们表明,引入一种新的正则化技术的启发Lipschitz约束,以及其他提出的改进,大大提高了NN的抵抗对抗性的例子。在ImageNet分类任务中,我们展示了一个准确性-鲁棒性区域(ARA)为0.0053的网络,ARA比以前的最新技术水平高2.4倍。改进NN决策的理解机制是在敏感领域建立信任和更多地了解NN响应的刺激的重要方向。
2019-08-06 cs.CR cs.LG stat.ML
Causal Adversarial Perturbations for Individual Fairness and Robustness in Heterogeneous Data Spaces
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);McGill University(麦吉尔大学)
本文提出因果对抗扰动与对抗训练正则化方法,利用结构因果模型和敏感属性构建公平度量,在异构数据空间中同时提升分类器的个体公平性、对抗鲁棒性和因果意识。
2023-08-17 cs.CY cs.LG
Fair Classification via Domain Adaptation: A Dual Adversarial Learning Approach
Illinois Institute of Technology(伊利诺伊理工学院)
本文提出一种双对抗学习框架,利用源域敏感属性通过域自适应实现目标域公平分类,在目标域无敏感属性时仍保持有效。
2023-05-30 cs.AI cs.LG
Who's Afraid of Adversarial Transferability?
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
对抗可转移性,即对抗扰动同时愚弄多个学习模型的能力,长期以来一直是对抗机器学习的“大坏蛋”。成功的基于可转移性的攻击不需要事先知道被攻击模型的参数或训练数据,在过去已经被证明了无数次,这意味着机器学习模型对现实生活中的系统构成了固有的安全威胁。然而,在这一领域进行的所有研究都将可转移性视为概率属性,并试图估计在给定一些预定义的评估集的情况下可能误导目标模型的对抗性示例的百分比。因此,这些研究忽略了一个事实,即现实生活中的对手往往对失败攻击的成本高度敏感。我们认为,忽视这种敏感性导致了对可转移性威胁的夸大认识,而实际上现实生活中基于可转移性的攻击是不太可能的。通过将理论推理与一系列实证结果相结合,我们表明,实际上不可能预测给定的对抗性示例是否可转移到黑盒设置中的特定目标模型,因此质疑对抗性可转移性作为现实攻击工具的有效性对于对失败攻击的成本敏感的对手来说。
2022-10-06 cs.CR cs.LG
Bi-Directional Recurrent Neural Ordinary Differential Equations for Social Media Text Classification
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
由于文本的嘈杂和简短性质,对Twitter等社交媒体中的帖子进行分类是困难的。基于递归神经网络(RNN)的序列分类模型对于分类本质上是连续的帖子是流行的。RNN假设隐藏的表示动态以离散的方式演化,并且不考虑发布的确切时间。在这项工作中,我们建议使用递归神经常微分方程(RNODE)进行社交媒体帖子分类,考虑发布时间,并允许隐藏表示的计算以时间敏感的连续方式发展。此外,我们提出了一种新的模型,双向RNODE(Bi-RNODE),它可以考虑在两个方向上的信息流的张贴时间预测后标签。我们的实验表明,RNODE和Bi-RNODE是有效的社会媒体中的谣言的立场分类的问题。
2021-12-23 cs.CL cs.LG
Can you hear me $\textit{now}$? Sensitive comparisons of human and machine perception
Johns Hopkins University(约翰斯·霍普金斯大学)
处理感官输入的机器学习系统的兴起带来了人类和机器感知之间的比较。但这样的比较面临着一个挑战:虽然机器对某些刺激的感知通常可以通过直接和明确的测量来探索,但人类的大部分感知知识是潜在的,不完整的,或者无法进行明确的报告。在这里,我们将探讨这种不对称性如何导致这种比较错误估计人类和机器感知的重叠。作为一个案例研究,我们考虑人类对\textit{adversarial speech}的感知-合成音频命令,自动语音识别系统将其识别为有效消息,但据报道,人类听众听到的是毫无意义的噪音。在五个实验中,我们从人类心理物理学文献中改编了任务设计,以表明即使受试者不能自由地转录这样的语音命令,(以前人类理解的基准),他们往往可以证明其他形式的理解,包括区分敌对的语音从密切匹配的非语音(实验1- 2),完成在对抗性语言中开始的常见短语(实验3- 4),并解决对抗性语言中提出的简单数学问题(实验5)-即使是以前描述为人类听众无法理解的刺激。我们建议在比较人类和机器的感知时采用这种“敏感测试”,我们讨论了这种方法评估系统之间重叠的更广泛的后果。
2022-08-03 cs.CL cs.LG cs.SD
FairVFL: A Fair Vertical Federated Learning Framework with Contrastive Adversarial Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Sony AI(索尼人工智能);USTC(中国科学技术大学);Shenzhen University(深圳大学);Zhongguancun Laboratory(中关村实验室)
垂直联邦学习(Vertical Federated Learning,VFL)是一种隐私保护的机器学习范式,它可以以隐私保护的方式从分布在不同平台上的特征中学习模型。由于在现实世界的应用程序中,数据可能包含对公平敏感特征的偏见(例如,性别),VFL模型可能从训练数据继承偏差,并且对于某些用户组变得不公平。然而,现有的公平机器学习方法通常依赖于公平敏感特征的集中存储来实现模型公平性,这通常不适用于联邦场景。本文提出了一种公平的垂直联邦学习框架(FairVFL),该框架可以提高VFL模型的公平性。FairVFL的核心思想是以隐私保护的方式基于分散的特征字段学习样本的统一和公平表示。具体来说,每个具有公平性不敏感特征的平台首先从本地特征学习本地数据表示。然后,这些本地表示被上传到服务器,并聚合成目标任务的统一表示。为了学习公平的统一表示,我们将其发送到存储公平敏感特征的每个平台,并应用对抗学习来消除从有偏差数据继承的统一表示中的偏差。此外,为了保护用户隐私,我们进一步提出了一种对比对抗学习方法,在将隐私信息发送到保持公平敏感特征的平台之前,将隐私信息从服务器的统一表示中删除。在三个真实数据集上的实验表明,该方法能有效地提高模型的公平性,同时很好地保护用户隐私。
2022-10-31 cs.CR cs.CY cs.LG
DLA: Dense-Layer-Analysis for Adversarial Example Detection
Fraunhofer Institute for Applied and Integrated Security(弗劳恩霍夫应用与综合安全研究所)
近年来,深度神经网络(DNN)取得了令人瞩目的成果,甚至在广泛的领域显示出超人的能力。这使得人们信任DNN的分类和由此产生的操作,即使在自动驾驶等安全敏感的环境中也是如此。尽管DNN取得了令人印象深刻的成就,但众所周知,DNN容易受到对抗性示例的影响。这些输入包含小的扰动,以故意欺骗被攻击的模型。在本文中,我们提出了一种新的端到端的框架来检测这种攻击在分类过程中,而不影响目标模型的性能。受最近神经元覆盖引导测试研究的启发,我们发现DNN的密集层携带安全敏感信息。通过二级DNN,我们在分类运行时分析密集层的激活模式,从而实现对抗性示例的有效和实时检测。我们的原型实现成功地检测了图像,自然语言和音频处理中的对抗性示例。因此,我们涵盖了各种目标DNN,包括长短期记忆(LSTM)架构。此外,为了有效地防御最先进的攻击,我们的方法在不同的对抗性示例集之间进行了推广。因此,我们的方法最有可能使我们能够检测到未来,但未知的攻击。最后,在白盒自适应攻击中,我们证明了我们的方法不能被轻易绕过。
2019-11-05 cs.CR cs.LG