Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London(伦敦国王学院)
深度神经网络很容易被欺骗,通过对抗性扰动(人类无法感知的人工噪声)破坏输入来做出错误的预测。到目前为止,对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练,以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现,在训练过程中,通过牺牲相当大比例的训练样本来更容易受到对抗攻击,从而导致数据中对抗脆弱性的不均匀分布,从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在,更重要的是,与对抗训练中的过度拟合有关。基于这一观察,我们提出了一种新的对抗训练方法:实例自适应平滑增强对抗训练(ISEAT)。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观,以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明,我们的方法优于现有的防御方法。值得注意的是,我们的方法,结合最新的数据增强和半监督学习技术,实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据,和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
Adversarial Instance Generation and Robust Training for Neural Combinatorial Optimization with Multiple Objectives
LIACS, Leiden University, Leiden, The Netherlands(莱顿大学LIACS研究所,莱顿,荷兰);Eindhoven University of Technology, Eindhoven, The Netherlands(埃因霍温理工大学,埃因霍温,荷兰)
提出面向多目标组合优化问题的偏好条件深度强化学习鲁棒性框架,通过偏好对抗攻击生成困难实例并量化影响,结合硬度感知偏好选择的对抗训练提升泛化性,在MOTSP、MOCVRP、MOKP上验证了攻击与防御的有效性。
2026-06-06 cs.AI cs.LG
On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training
Hong Kong University of Science and Technology(香港科技大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);City University of Hong Kong(香港城市大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究从训练实例难度视角揭示对抗训练过拟合源于拟合硬对抗实例,理论证明硬实例训练泛化更差且差距随对抗预算增大,并提出自适应数据使用等缓解方案。
2024-12-17 cs.LG
FAIR: Fair Adversarial Instance Re-weighting
University of Belgrade - Faculty of Organizational Sciences(贝尔格莱德大学组织科学学院);University of Belgrade - Faculty of Mathematics(贝尔格莱德大学数学学院)
随着人们对人工智能的社会影响的日益认识,公平性已经成为机器学习算法的一个重要方面。问题是,人类对某些群体的偏见,由种族和性别等敏感特征定义,通过数据汇集和标记引入训练数据。公平性保证研究的两个重要方向集中在(i)实例加权,以减少更有偏见的实例的影响和(ii)对抗性训练,以构建目标变量的数据表示信息,但不提供敏感属性的信息。在本文中,我们提出了一种公平对抗性实例重新加权(FAIR)方法,该方法使用对抗性训练来学习实例加权函数,以确保公平的预测。合并这两种范式,它继承了两者的理想属性-重新加权的可解释性和对抗训练的端到端可训练性。我们提出了四种不同的变体的方法,除其他外,演示了如何在一个完全概率的框架中铸造的方法。此外,FAIR模型的性质的理论分析也得到了广泛的研究。我们比较FAIR模型与其他7个相关和国家的最先进的模型,并证明FAIR是能够实现更好的准确性和不公平之间的权衡。据我们所知,这是第一个通过加权函数合并重新加权和对抗方法的模型,该加权函数可以提供有关单个实例公平性的可解释信息。
2020-11-15 cs.AI cs.LG stat.ML
Vulnerability-Aware Instance Reweighting For Adversarial Training
Iowa State University(爱荷华州立大学)
针对对抗训练对样本和类别影响不均的问题,本文提出一种依据自然样本脆弱性及攻击导致信息损失进行实例级重加权的方法,显著提升对白盒与黑盒攻击的鲁棒性。
2023-07-14 cs.AI cs.CV cs.LG
Adversarial Attacks on Knowledge Graph Embeddings via Instance Attribution Methods
Trinity College Dublin(都柏林三一学院);TU Dublin(都柏林理工大学);Accenture Labs(埃森哲实验室)
尽管知识图谱嵌入(KGE)被广泛使用,但人们对可能破坏其预期行为的安全漏洞知之甚少。我们研究了针对链接预测的KGE模型的数据投毒攻击。这些攻击在训练时进行对抗性的添加或删除,从而在测试时导致模型失败。为了选择对抗性删除,我们建议使用来自可解释机器学习的模型不可知的实例归因方法,该方法识别对神经模型对测试实例的预测最有影响的训练实例。我们使用这些有影响力的三元组作为对抗性删除。我们进一步提出了一个探试法来替换每个有影响力的三元组中的两个实体之一,以生成对抗性添加。我们的实验表明,所提出的策略优于最先进的数据投毒攻击KGE模型,并改善MRR下降,由于攻击高达62%的基线。
2021-11-04 cs.AI cs.CL cs.LG
Imbalanced Adversarial Training with Reweighting
Michigan State University(密歇根州立大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
对抗性训练已被经验证明是对抗对抗攻击最有效、最可靠的防御方法之一。然而,几乎所有关于对抗训练的现有研究都集中在平衡数据集上,其中每个类都有等量的训练样本。使用不平衡训练数据集进行对抗训练的研究相当有限。作为研究这个问题的初步努力,我们揭示了这样一个事实,即对抗训练模型在不平衡数据集中表现出两种与自然训练模型不同的行为:(1)与自然训练相比,当训练数据集非常不平衡时,对抗训练模型在代表性不足的类上的性能会差得多。(2)传统的权重调整策略可能会失去处理对抗训练不平衡问题的有效性。例如,增加代表性不足的类的权重将严重损害模型在代表性良好的类上的性能,因此,找到最佳的重新加权值可能具有极大的挑战性。在本文中,为了进一步理解我们的观察结果,我们从理论上证明了数据可分性差是导致代表性不足和代表性良好的类之间存在强烈紧张关系的一个关键原因。基于这一发现,我们提出了可分离的重新加权对抗训练(SRAT),通过学习不同类别的更多可分离特征,来促进不平衡场景下的对抗训练。在各种数据集上进行的大量实验验证了所提出框架的有效性。
2021-07-28 cs.CR cs.LG
Sharpness-Aware Minimization with Dynamic Reweighting
University of Southern California(南加州大学);University of Cambridge(剑桥大学);Carnegie Mellon University(卡内基梅隆大学)
深度神经网络通常是过度参数化的,可能不容易实现模型泛化。对抗性训练通过在对抗性选择的扰动之上正则化损失的变化来提高泛化能力。最近提出的锐度感知最小化(SAM)算法进行对抗性权重扰动,鼓励模型收敛到平坦的最小值。SAM发现每个批次的共同对抗性权重扰动。虽然每实例对抗性权重扰动是更强的对手,并且可能导致更好的泛化性能,但它们的计算成本非常高,因此不可能在SAM中有效地使用每实例扰动。在本文中,我们解决了这个效率瓶颈,并提出了清晰度感知最小化与动态重新加权(delta-SAM)。我们的理论分析表明,有可能使用重新加权的每批次权重扰动来接近更强的每实例对抗性权重扰动。delta-SAM根据理论上有原则的加权因子动态地对每个批内的扰动进行重新加权,作为对每个实例扰动的良好近似。在各种自然语言理解任务上的实验证明了delta-SAM的有效性。
2022-12-06 cs.CL cs.LG
ABLE: Using Adversarial Pairs to Construct Local Models for Explaining Model Predictions
University of Texas at Arlington(德克萨斯大学阿灵顿分校);National Institute of Standards and Technology(美国国家标准与技术研究院)
ABLE通过生成对抗对构建局部模型,提高模型预测解释的稳定性和保真度。
2025-11-26 cs.AI cs.LG
Instance adaptive adversarial training: Improved accuracy tradeoffs in neural nets
Facebook AI Research(Facebook人工智能研究院);University of Maryland(马里兰大学);Georgia Institute of Technology(佐治亚理工学院)
对抗性训练是迄今为止提高神经网络对对抗攻击鲁棒性的最成功的策略。尽管对抗性训练作为一种防御机制是成功的,但它不能很好地推广到未受干扰的测试集。我们假设这种较差的泛化能力是对抗训练的结果,每个训练样本周围的扰动半径都是均匀的。接近决策边界的样本可以在小的扰动预算下变形为不同的类,并且在这些样本周围强制执行大的裕度产生概括性差的差的决策边界。基于这一假设,我们提出了实例自适应对抗训练--一种在每个训练样本周围强制执行样本特定扰动裕度的技术。我们表明,使用我们的方法,未扰动样本的测试精度提高了鲁棒性的边际下降。在CIFAR-10、CIFAR-100和Imagenet数据集上的实验证明了该方法的有效性。
2019-10-17 cs.CV cs.LG stat.ML
Measuring the Contribution of Multiple Model Representations in Detecting Adversarial Instances
University of Pittsburgh(匹兹堡大学)
深度学习模型已经被用于各种各样的任务。它们普遍存在于计算机视觉、自然语言处理、语音识别和其他领域。虽然这些模型在许多情况下都能很好地工作,但已经表明它们容易受到对抗攻击的攻击。这导致了对如何识别和/或防御此类攻击的研究激增。我们的目标是探索使用多个底层模型进行对抗性实例检测的贡献。我们的论文描述了两种方法,它们结合了多个模型的表示来检测对抗性示例。我们设计控制实验来测量检测的影响,逐步利用其他模型。对于我们考虑的许多场景,结果表明,性能随着用于提取表示的底层模型的数量而增加。
2022-02-12 cs.CR cs.LG
GANStrument: Adversarial Instrument Sound Synthesis with Pitch-invariant Instance Conditioning
Sony Computer Science Laboratories(索尼计算机科学实验室)
我们提出了GANStrument,一个用于乐器声音合成的生成对抗模型。给定单次声音作为输入,它能够在交互时间内生成反映输入音色的音调乐器声音。通过利用实例条件,GANStrument实现了更好的合成声音的保真度和多样性以及对各种输入的泛化能力。此外,我们引入了一个对抗性的训练方案,用于一个音高不变的特征提取器,显着提高了音高准确性和音色一致性。实验结果表明,GANStrument在生成质量和输入可编辑性方面优于不使用实例条件的强基线。定性例子可在网上查阅。
2023-03-07 cs.LG cs.SD eess.AS
Robustness Evaluation and Adversarial Training of an Instance Segmentation Model
General Motors Company(通用汽车公司)
为了评估非分类器模型的鲁棒性,我们提出了概率局部等价,基于随机平滑的概念,作为一种定量评估任意函数的鲁棒性的方法。此外,为了了解对抗训练对非分类器的影响,并研究在不降低训练分布性能的情况下可以获得的鲁棒性水平,我们将Fast is Better than Free对抗训练与TRADES鲁棒损失一起应用于实例分割网络的训练。在这个方向上,我们能够在TuSimple车道检测挑战中实现0.85的对称最佳骰子得分,优于标准训练网络的0.82得分。此外,我们能够在操作输入上获得0.49的F测量值,而标准训练网络的分数为0。我们证明了概率局部等价能够成功区分标准训练模型和逆向训练模型,提供了逆向训练模型鲁棒性提高的另一种观点。
2022-06-02 cs.CV cs.LG
Fast Adversarial Training with Adaptive Step Size
The Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
虽然对抗性训练及其变体已被证明是防御对抗攻击的最有效算法,但它们极其缓慢的训练过程使得它很难扩展到像ImageNet这样的大型数据集。最近加速对抗训练的工作的关键思想是用多步攻击(例如,PGD)与单步攻击(例如,FGSM)。然而,这些单步方法遭受灾难性的过拟合,在训练过程中,对PGD攻击的准确率突然下降到接近0%,破坏了网络的鲁棒性。在这项工作中,我们从训练实例的角度来研究这一现象。我们表明,灾难性的过拟合是依赖于实例和拟合实例具有较大的梯度范数更有可能导致灾难性的过拟合。基于我们的研究结果,我们提出了一种简单但有效的方法,自适应步长的对抗训练(ATAS)。ATAS学习与其梯度范数成反比的实例自适应步长。理论分析表明,ATAS比通常采用的非自适应算法收敛得更快。从经验上讲,ATAS始终可以减轻灾难性的过拟合,并在CIFAR10、CIFAR100和ImageNet上实现更高的鲁棒准确性。
2022-06-06 cs.LG
AROID: Improving Adversarial Robustness Through Online Instance-Wise Data Augmentation
King’s College London(伦敦国王学院);Imperial College London(帝国理工学院);University of Luxembourg(卢森堡大学)
本研究提出首个针对对抗鲁棒性的自动化数据增强方法AROID,通过在线逐实例学习增强策略,大幅降低搜索成本,在多种架构和数据集上优于现有方法,还可与先进对抗训练结合进一步提升鲁棒性。
2024-08-14 cs.AI cs.CV cs.LG
AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, CAS(中国科学院信息工程研究所);Alibaba Group(阿里巴巴集团);Peng Cheng Laboratory(鹏城实验室)
众所周知,深度学习模型容易受到对抗性样本的影响。对抗性训练的现有研究已经取得了很大的进展,对这一挑战。作为一个典型的特征,他们经常假设阶级分布是总体平衡的。然而,长尾数据集在广泛的应用中是普遍存在的,其中头类实例的数量大于尾类。在这种情况下,AUC是比准确性更合理的度量,因为它对类分布不敏感。受此启发,我们提出了一个早期试验,以探索对抗性训练方法来优化AUC。主要的挑战在于,积极和消极的例子是紧密耦合的目标函数。作为一个直接的结果,如果没有对数据集进行全面扫描,就无法生成对抗性示例。为了解决这个问题,基于一个正则化方案,我们将AUC优化问题重新表述为鞍点问题,其中目标变为实例函数。这导致了端到端的培训协议。此外,我们提供了所提出的算法的收敛性保证。我们的分析与现有的研究不同,因为该算法被要求通过计算最小-最大问题的梯度来生成对抗性示例。最后,在三个长尾数据集上的实验结果表明了该算法的性能和鲁棒性。
2022-06-24 cs.AI cs.LG
Identifying a Training-Set Attack's Target Using Renormalized Influence Estimation
University of Oregon(俄勒冈大学)
有针对性的训练集攻击将恶意实例注入训练集中,导致训练模型错误标记一个或多个特定的测试实例。这项工作提出了目标识别的任务,它确定一个特定的测试实例是否是训练集攻击的目标。目标识别可以与敌对实例识别相结合,以发现(并删除)攻击实例,从而在对其他预测影响最小的情况下减轻攻击。我们不是专注于单一的攻击方法或数据模式,而是建立在影响估计的基础上,它量化了每个训练实例对模型预测的贡献。我们发现,现有的影响估计的实际性能差,往往来自于他们的过度依赖于训练实例和迭代与大的损失。我们的重正化影响估计器解决了这个弱点;它们在对抗和非对抗环境中识别有影响力的训练样本组方面远远优于原始估计器,甚至可以找到100%的对抗训练实例,没有干净的数据误报。然后,目标识别简化为检测具有异常影响值的测试实例。我们展示了我们的方法在各种数据域(包括文本,视觉和语音)的后门和中毒攻击上的有效性,以及针对灰盒,自适应攻击者的有效性,该攻击者专门优化了对抗性实例以逃避我们的方法。我们的源代码可在https://github.com/ZaydH/target_identification上获得。
2022-09-05 cs.CR cs.LG
Probabilistic Margins for Instance Reweighting in Adversarial Training
Hong Kong Baptist University(香港浸会大学);University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学);Nanjing University of Science and Technology(南京理工大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Tokyo(东京大学)
最近已经证明,在训练期间重新加权对抗数据可以提高对抗鲁棒性,其中更接近当前决策边界的数据被认为是更关键的,并被赋予更大的权重。然而,现有的测量接近度的方法不是非常可靠:它们是离散的并且只能取几个值,并且它们是路径依赖的,即,它们可以在给定具有不同攻击路径的相同起点和终点的情况下改变。在本文中,我们提出了三种类型的概率边际(PM),它们是连续的和路径无关的,用于测量上述接近度和重新加权对抗数据。具体地,PM被定义为两个估计的类后验概率之间的差,例如,例如,给定一些自然数据,真实标签的概率减去最令人困惑的标签的概率。虽然不同的PM捕获不同的几何属性,但所有三种PM都与数据的脆弱性呈负相关:具有较大/较小PM的数据更安全/风险更大,并且应该具有较小/较大的权重。实验表明,PM是可靠的测量和PM为基础的重新加权方法优于国家的最先进的方法。
2022-03-17 cs.LG
Dynamic Epsilon Scheduling: A Multi-Factor Adaptive Perturbation Budget for Adversarial Training
本文提出动态epsilon调度方法,通过多因素自适应调整扰动预算,提升对抗训练的鲁棒性和准确率。
2025-11-26 cs.CV cs.LG
Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles
Dalhousie University(达尔豪斯大学);Universidade de São Paulo(圣保罗大学)
随着神经网络成为解决我们社会中越来越多问题的首选工具,对抗攻击变得至关重要。生成故意设计来欺骗网络分析的数据实例的可能性可能会产生灾难性的后果。最近的工作表明,常用的模型训练方法往往会导致脆弱的抽象表示,特别容易受到这种攻击。本文提出了一个可视化的框架来研究神经网络模型的对抗性的例子,揭示模型的感知的对抗性数据的不同,从常规的数据实例,以及它们与类感知的关系。通过不同的用例,我们展示了观察这些元素如何快速查明模型中的漏洞,从而进一步研究输入数据中的脆弱特征,并作为改进模型训练和架构的指南。
2021-03-18 cs.LG
Universal Adversarial Attack on Deep Learning Based Prognostics
TCS Research(TCS研究院)
基于深度学习的时间序列模型正在工程和制造业中广泛用于过程控制和优化、资产监控、诊断和预测性维护。这些模型在预测工业设备的剩余使用寿命(RUL)方面有很大的改进,但存在固有的对抗攻击脆弱性。这些攻击很容易被利用,并可能导致关键工业设备的灾难性故障。通常,针对输入数据的每个实例计算不同的对抗性扰动。然而,由于更高的计算要求和缺乏对输入数据的不间断访问,这对于攻击者来说难以实时的实现。因此,我们提出了通用对抗性扰动的概念,这是一种特殊的不可感知的噪声,用于欺骗基于回归的RUL预测模型。攻击者可以很容易地利用通用对抗扰动进行实时攻击,因为连续访问输入数据和对抗扰动的重复计算不是其先决条件。我们使用NASA涡轮风扇发动机数据集评估通用对抗攻击的效果。我们发现,除了普遍对抗扰动的任何情况下的输入数据增加了模型预测的输出误差。据我们所知,我们是第一个研究普遍对抗扰动对时间序列回归模型的影响。我们进一步证明了扰动强度的变化对RUL预测模型的影响,并发现模型精度随着通用对抗攻击扰动强度的增加而降低。我们还展示了通用对抗扰动可以在不同的模型中转移。
2021-09-15 cs.AI cs.CR cs.LG
Adversarial Defense by Latent Style Transformations
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);Monash University(莫纳什大学)
机器学习模型已经证明了对对抗攻击的脆弱性,更具体地说,是对对抗示例的错误分类。在本文中,我们研究了一个攻击不可知防御对抗攻击的高分辨率图像检测可疑输入。我们的方法背后的直觉是,正常图像的基本特征通常与非基本样式转换一致,例如,稍微改变人像的面部表情。相反,对抗性示例通常对这种转换敏感。在我们的方法来检测敌对的情况下,我们提出了一个在\underline{V} ertible \underline{A} utoencoder的基础上的\underline{S} tyleGAN2生成器通过\underline{A}对抗训练(VASA),以逆图像解开潜在代码,揭示层次风格。然后,我们建立了一组编辑的副本与非必要的风格转换,通过执行潜在的移位和重建,基于潜代码和风格转换之间的对应关系。这些编辑副本的基于分类的一致性用于区分对抗实例。
2022-02-22 cs.CV cs.LG
Towards Fair Class-wise Robustness: Class Optimal Distribution Adversarial Training
Institute of Information Technology, Information Engineering University(信息工程大学信息技术研究所)
针对对抗训练中类别鲁棒性不均的问题,本文提出CODAT min-max框架,通过分布鲁棒优化和闭式解联合优化类别权重与模型参数,提升鲁棒公平性。
2025-01-08 cs.CV cs.LG
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University(罗文大学)
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声,例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实,但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型,该模型将实例相关噪声推广到多个标签,基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下,标签噪声表现在两种模式下:善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量,更准确地反映了在现实世界中可能遇到的标签噪声,并证明了在我们的多模态噪声标签模型下,对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后,我们提出了一个多阶段的,标签感知的,模型不可知的框架,可靠地过滤噪声标签,利用知识,哪些数据分区被标记的标签,并表明我们提出的框架仍然是强大的,即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
Multiple Source Domain Adaptation with Adversarial Training of Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(里斯本高等理工学院)
领域自适应是近年来研究的热点,但大多数理论成果和算法都集中在单源单目标自适应设置上。在多源领域自适应问题上简单地应用这样的算法可能导致次优解。作为弥合差距的一步,我们提出了一个新的泛化界领域自适应时,有多个源域的标记实例和一个目标域的未标记的实例。与已有的界相比,新的界不需要关于目标分布的专家知识,也不需要多目标域的最优组合规则。有趣的是,我们的理论还导致了一个有效的学习策略,使用对抗性神经网络:我们展示了如何将其解释为学习特征表示,这些特征表示对多个域的变化是不变的,同时仍然对学习任务具有区分性。为此,我们提出了两个模型,我们都称之为多域对抗网络(MDAN):第一个模型直接优化了我们的边界,而第二个模型是第一个模型的平滑近似,从而产生了一个更有效的数据和任务自适应模型。这两个模型的优化任务都是极大极小鞍点问题,可以通过对抗训练进行优化。为了证明MDAN的有效性,我们进行了大量的实验,显示出优越的适应性能的三个现实世界的数据集:情感分析,数字分类,车辆计数。
2017-10-27 cs.AI cs.LG stat.ML
Adaptive Adversarial Training Does Not Increase Recourse Costs
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本研究探讨自适应对抗训练对算法追索成本的影响,发现其鲁棒性提升几乎不增加追索成本,为追索关键领域提供了经济可行的鲁棒性方案。
2023-09-05 cs.CR cs.LG
Modeling Adversarial Noise for Adversarial Training
Xidian University(西安电子科技大学);Hong Kong Baptist University(香港浸会大学);The University of Sydney(悉尼大学)
深度神经网络已被证明易受对抗性噪声的影响,促进了防御对抗攻击的发展。受对抗性噪声包含良好的泛化特征以及对抗性数据和自然数据之间的关系可以帮助推断自然数据并做出可靠预测的事实的启发,本文我们研究通过学习对抗标签之间的转换关系来建模对抗噪声。(即用于生成对抗数据的翻转标签)和自然标签(即自然数据的地面真实标签)。具体来说,我们引入了一个依赖于实例的转移矩阵来关联对抗标签和自然标签,这些标签可以无缝地嵌入目标模型(使我们能够对更强的自适应对抗噪声进行建模)。实验结果表明,该方法可以有效地提高对抗准确率。
2022-07-17 cs.LG
Mixup Regularized Adversarial Networks for Multi-Domain Text Classification
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
使用共享私有范式和对抗训练显著提高了多域文本分类(MDTC)模型的性能。然而,现有方法存在两个问题。首先,来自多个域的实例对于域不变的特征提取是不够的。其次,在边缘分布上对齐可能导致致命的失配。在本文中,我们提出了一个混合正则化对抗网络(MRAN)来解决这两个问题。更具体地说,引入域和类别混合正则化来丰富共享潜在空间中的内在特征,并在训练实例之间执行一致的预测,使得学习的特征可以更具域不变性和区分性。我们在两个基准上进行实验:亚马逊评论数据集和FDU-MTL数据集。我们在这两个数据集上的方法分别产生了87.64%和89.0%的平均准确率,优于所有相关基线。
2021-01-31 cs.CL cs.LG
UniNet: A Unified Scene Understanding Network and Exploring Multi-Task Relationships through the Lens of Adversarial Attacks
NavInfo Europe(四维图新欧洲公司)
场景理解是自治系统在现实世界中运行的关键。单任务视觉网络仅基于场景的某些方面提取信息。另一方面,在多任务学习(MTL)中,这些单个任务是联合学习的,从而为任务提供了共享信息和获得更全面理解的机会。为此,我们开发了UniNet,一个统一的场景理解网络,可以准确有效地推断重要的视觉任务,包括目标检测,语义分割,实例分割,单目深度估计和单目实例深度预测。由于这些任务查看不同的语义和几何信息,因此它们可以相互补充或冲突。因此,了解任务间的关系可以提供有用的线索,使互补的信息共享。我们通过对抗攻击的视角来评估UniNet中的任务关系,其基础是它们可以利用神经网络中的学习偏差和任务交互。在Cityscapes数据集上进行的大量实验,使用无目标和有目标的攻击,揭示了语义任务之间的强烈交互,几何任务也是如此。此外,我们表明,语义和几何任务之间的关系是不对称的,它们的相互作用变得越来越弱,因为我们走向更高层次的表示。
2022-08-12 cs.AI cs.CV cs.LG
On the Adversarial Robustness of Spiking Neural Networks Trained by Local Learning
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);The Pennsylvania State University(宾夕法尼亚州立大学);University Park, PA 16802, USA
针对局部学习训练的SNN对抗鲁棒性研究不足,本文分析梯度攻击失效原因,并提出利用对抗样本可迁移性的混合攻击方法,在多种攻击与非脉冲场景下验证其优越性。
2026-11-10 cs.CR cs.LG cs.NE
Generating Label Cohesive and Well-Formed Adversarial Claims
University of Copenhagen(哥本哈根大学)
对抗攻击揭示了训练模型的重要弱点和缺陷。一种有效的攻击类型是通用对抗触发器,它是单独的n-gram,当附加到受攻击的类的实例时,可以欺骗模型预测目标类。然而,对于诸如事实检查之类的推理任务,这些触发器经常会无意中颠倒它们所插入的实例的含义。此外,这种攻击会产生语义上无意义的输入,因为它们只是将触发器连接到现有样本。在这里,我们研究如何生成针对事实检查系统的对抗攻击,这些事实检查系统保留了地面真值含义并且在语义上是有效的。我们扩展了HotFlip攻击算法用于通用触发器生成,通过联合最小化目标类损失的事实检查模型和蕴涵类损失的辅助自然语言推理模型。然后,我们训练一个条件语言模型来生成语义上有效的语句,其中包括找到的通用触发器。我们发现,所产生的攻击保持的方向性和语义有效性的索赔比以前的工作。
2020-09-17 cs.CL cs.LG
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness
Technical University of Munich(慕尼黑工业大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
端到端(几何)深度学习在近似解决组合优化问题方面取得了第一次成功。然而,在NP难/完全任务领域生成数据带来了实践和理论挑战,导致评估协议过于乐观。具体来说,大多数数据集只捕获一个更简单的子问题,并可能遭受虚假特征。我们通过研究对抗鲁棒性(一种局部泛化特性)来研究这些影响,以揭示硬的、特定于模型的实例和虚假特征。为此,我们推导出SAT和TSP的扰动模型。与其他应用程序不同,扰动模型是围绕主观的不可感知性概念设计的,我们的扰动模型是有效的和健全的,使我们能够确定扰动样本的真实标签,而无需求解器。令人惊讶的是,在这样的扰动下,一个足够有表现力的神经求解器不会受到监督学习中常见的准确性-鲁棒性权衡的限制。虽然这样强大的求解器存在,我们经验表明,评估神经求解器不概括以及w.r.t.问题实例的小扰动。
2022-03-21 cs.LG
GOLD: Graph Out-of-Distribution Detection via Implicit Adversarial Latent Generation
The University of Queensland(昆士兰大学)
GOLD框架通过隐式对抗潜在生成,在不依赖预训练生成模型和真实OOD数据的情况下合成伪OOD实例,用于图神经网络的分布外检测,并在多个基准数据集上取得优于现有方法的性能。
2025-04-10 cs.LG
Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers
New York University(纽约大学);LG AI Research(LG人工智能研究院);Seoul National University(首尔大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文研究预训练模型的实例级遗忘问题,提出利用对抗样本和权重重要性度量两种方法,在删除指定实例信息的同时减少对剩余数据的遗忘,并在多种图像分类基准上验证了其有效性。
2024-01-15 cs.LG
Defending Adversarial Attacks via Semantic Feature Manipulation
CSIRO(联邦科学与工业研究组织);Monash University(莫纳什大学);University of Melbourne(墨尔本大学)
机器学习模型已经证明了对对抗攻击的脆弱性,更具体地说,是对对抗示例的错误分类。在本文中,我们提出了一个一次性的和攻击不可知的特征操作(FM)-防御,以可解释和有效的方式检测和净化对抗性示例。直觉是,正常图像的分类结果通常抵抗不显著的固有特征变化,例如,不同粗细的手写数字。相反,对抗性的例子对这种变化很敏感,因为扰动缺乏可转移性。为了能够操纵的功能,组合变分自编码器被应用于学习解开的潜在代码,揭示语义特征。通过改变和重构潜码得到的变形对分类变化的抵抗力用于检测可疑输入。此外,通过考虑类共享和类唯一特征,对combo-VAE进行了增强,以净化具有良好质量的对抗性示例。我们经验证明了检测的有效性和净化实例的质量。我们在三个数据集上的实验表明,FM-Defense可以检测到由不同的最先进的对抗攻击产生的几乎$100\%$的对抗示例。它实现了超过$99\%$的整体净化精度的可疑的情况下,关闭正常的例子的歧管。
2020-04-22 cs.CR cs.LG stat.ML
AugMax: Adversarial Composition of Random Augmentations for Robust Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院)
数据增强是提高深度神经网络(DNN)鲁棒性的一种简单而有效的方法。多样性和硬度是数据增强实现鲁棒性的两个互补维度。例如,AugMix探索了一组不同增强的随机组合,以增强更广泛的覆盖范围,而对抗性训练则生成对抗性的硬样本来发现弱点。出于这一动机,我们提出了一个数据增强框架,称为AugMax,统一的多样性和硬度的两个方面。AugMax首先随机采样多个增强算子,然后学习所选算子的对抗混合。作为一种更强大的数据增强形式,AugMax导致显著增强的输入分布,这使得模型训练更具挑战性。为了解决这个问题,我们进一步设计了一个被称为DuBIN(Dual-Batch-and-Instance Normalization)的解纠缠规范化模块,该模块可以解纠缠AugMax产生的实例特征异质性。实验表明,AugMax-DuBIN显著提高了分布外鲁棒性,在CIFAR 10-C、CIFAR 100-C、Tiny ImageNet-C和ImageNet-C上的性能分别优于现有技术3.03%、3.49%、1.82%和0.71%。代码和预训练模型可在https://github.com/VITA-Group/AugMax上找到。
2022-01-01 cs.CV cs.LG
Delving into the pixels of adversarial samples
Aalto University(阿尔托大学)
尽管对对抗攻击进行了广泛的研究,但我们不知道对抗攻击如何影响图像像素。了解图像像素如何受到对抗攻击的影响有可能引导我们更好地进行对抗防御。受我们发现的强攻击不会转移的实例的启发,我们深入研究了像素级的对抗示例,以仔细研究对抗攻击如何影响图像像素值。我们考虑了几种ImageNet架构,InceptionV3,VGG19和ResNet50,以及几种强大的攻击。我们发现,攻击可以有不同的效果,在像素级取决于分类器架构。特别是,输入预处理在攻击对像素的影响中起着以前被忽视的作用。基于像素级检查的见解,我们找到了新的方法来检测一些最强的当前攻击。
2021-06-21 cs.CV cs.LG
Improving Hierarchical Adversarial Robustness of Deep Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
所有的对抗性例子都有相同的结果吗?自动驾驶系统将行人误认为汽车可能会导致比汽车更危险甚至可能致命的行为。为了更好地解决这一重要问题,我们引入了分层对抗鲁棒性的概念。给定一个数据集,其类可以被分组到粗级别标签中,我们将分层对抗示例定义为导致粗级别错误分类的示例。为了提高神经网络对分层攻击的抵抗力,我们引入了一种分层对抗鲁棒(HAR)网络设计,该设计将单个分类任务分解为一个粗分类任务和多个细分类任务,然后通过对抗防御技术进行专门训练。作为端到端学习方法的替代方案,我们证明了HAR显着提高了网络对CIFAR-10和CIFAR-100数据集上的$\ell_2$和$\ell_{\infty}$有界分层攻击的鲁棒性。
2021-02-17 cs.LG
The Curse of Concentration in Robust Learning: Evasion and Poisoning Attacks from Concentration of Measure
University of Virginia(弗吉尼亚大学)
许多现代机器学习分类器被证明是容易受到对抗扰动的实例。尽管有大量的工作集中在使分类器健壮,但这项任务似乎相当具有挑战性。在这项工作中,通过理论研究,我们研究了分类器的对抗风险和鲁棒性,并将其与度量测度空间中的测度集中现象联系起来。我们表明,如果度量概率空间的测试实例是集中的,任何分类器与一些初始的恒定误差是固有的对抗性扰动。一类集中度量概率空间是包含许多自然分布的所谓Levy族。在这种特殊情况下,我们的攻击只需要最多扰动测试实例$O(\sqrt n)$,使其被错误分类,其中$n$是数据维度。利用我们关于Levy实例空间的一般结果,我们首先将先前证明的关于对抗实例存在性的一些结果作为特例恢复。然而,更多的利维家族是已知的(例如,汉明距离下的乘积分布),我们立即获得新的攻击,发现距离$O(\sqrt n)$的对抗性例子。最后,我们表明,产品空间的措施浓度意味着存在形式的“中毒”攻击,对手篡改的训练数据的目标是降低分类器。特别是,我们表明,对于任何使用$m$训练样本的学习算法,都有一个对手可以增加任何“坏属性”的概率(例如,在特定的测试实例上失败),通过用其他(仍然正确标记的)示例替换仅$\tilde{O}(\sqrt m)$的示例,最初以不可忽略的概率发生到$\approx 1$。
2018-11-06 cs.CC cs.CR cs.LG
Trace-Norm Adversarial Examples
University of Central Florida(中佛罗里达大学);École Normale Supérieure(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所)
白盒对抗性扰动是通过迭代优化算法来寻求的,最常见的是最小化原始图像的$l_p$邻域(所谓的失真集)上的对抗性损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里,我们探索几个失真集与结构增强算法。对抗性示例的这些新结构,在优化中普遍存在,例如,对于对抗性理论认证来说是一个挑战,该理论认证再次仅提供$l_p$证书。由于对抗鲁棒性仍然是一个经验领域,防御机制也应该合理地评估不同结构的攻击。此外,这些结构化对抗扰动可以允许比它们的$l_p$对应部分更大的失真大小,同时保持不可感知或可感知为图像的自然轻微失真。最后,它们允许对对抗性扰动的生成进行一些控制,如(局部)模糊。
2020-07-02 cs.CV cs.LG stat.ML
To be Robust or to be Fair: Towards Fairness in Adversarial Training
Michigan State University(密歇根州立大学)
对抗性训练算法已被证明是可靠的,以提高机器学习模型对对抗性样本的鲁棒性。然而,我们发现对抗性训练算法往往会在不同数据组之间引入严重的准确性和鲁棒性差异。例如,在CIFAR-10上PGD逆向训练的ResNet 18模型在类“汽车”上具有93%的干净准确度和67%的PGD 1-infty-8鲁棒准确度,但在类“猫”上仅具有65%和17%。这种现象发生在平衡的数据集中,并且在仅使用干净样本的自然训练模型中不存在。在这项工作中,我们从经验和理论上证明了这种现象可以在一般对抗训练算法下发生,这些算法可以最大限度地减少DNN模型的鲁棒性错误。受这些发现的启发,我们提出了一个公平鲁棒学习(FRL)框架,以减轻在进行对抗性防御时的不公平问题。实验结果验证了FRL的有效性。
2021-05-18 cs.LG stat.ML
Estimating Principal Components under Adversarial Perturbations
Google(谷歌);Rutgers University(罗格斯大学);Northwestern University(西北大学)
鲁棒性是广泛部署机器学习算法的关键要求,并且在统计学和计算机科学中都受到了广泛关注。我们研究了高维统计估计问题的鲁棒性的自然模型,我们称之为对抗扰动模型。攻击者可以任意扰动每个样本,直到以某个$\ell_q$范数(例如$\ell_\infty$)测量的指定幅度$δ$。我们的模型受到新兴范例的激励,如低精度机器学习和对抗训练。研究了对抗扰动模型下高维高斯协方差矩阵的顶$r$主子空间的经典估计问题。我们设计了一个计算效率高的算法,给定损坏的数据,恢复估计的顶部$r$主子空间的错误,取决于我们确定的鲁棒性参数$κ$。该参数对应于投影到主子空间上的$q \to 2$算子范数,并推广了稀疏性的分析概念。此外,在没有腐败的情况下,我们的算法保证恢复现有的边界的问题,如稀疏PCA及其更高的排名类似物。我们还证明了上述依赖于参数$κ$几乎是最优的渐近,不只是在极大极小的意义上,但显着的问题的每一个实例。该实例最优保证表明子空间的$q \to 2$算子范数本质上表征了对抗扰动下的估计误差。
2020-06-02 cs.DS cs.LG stat.ML
Unifying Adversarial Training Algorithms with Flexible Deep Data Gradient Regularization
The Pennsylvania State University(宾夕法尼亚州立大学)
许多以前针对深度神经网络对抗训练的建议包括直接修改梯度,在原始和对抗样本的混合上进行训练,使用收缩惩罚,以及近似优化约束对抗目标函数。在本文中,我们展示了这些建议实际上都是优化一个通用的正则化目标的实例,我们称之为DataGrad。我们提出的DataGrad框架可以被视为逐层压缩自动编码器惩罚的深度扩展,它干净地简化了先前的工作,并轻松地允许扩展,例如具有多任务提示的对抗训练。在我们的实验中,我们发现DataGrad的深度梯度正则化(也有L1和L2正则化)在原始数据集和对抗集上的性能优于其他正则化形式,包括经典的L1,L2和多任务。此外,我们发现将多任务优化与DataGrad对抗训练相结合可以获得最强大的性能。
2016-07-29 cs.LG cs.NE
Adversarial Regression with Doubly Non-negative Weighting Matrices
RIKEN AIP(理化学研究所先进智能项目中心);Akron University(阿克伦大学);Kyoto University(京都大学);Stanford University(斯坦福大学);VinAI Research(越南人工智能研究院)
许多涉及预测输出响应的机器学习任务可以通过训练加权回归模型来解决。不幸的是,这种类型的模型的预测能力可能会严重恶化下低样本量或协变量扰动。对训练样本进行重新加权是一种有效的缓解策略。在本文中,我们提出了一个新的和连贯的计划,核加权回归重新参数化的样本权重使用一个双非负矩阵。当加权矩阵被限制在一个不确定性集使用的对数行列式的分歧或Bures-瓦瑟斯坦距离,我们表明,逆向加权估计可以有效地解决使用一阶方法。数值实验表明,我们的重新加权策略在许多数据集上提供了有希望的结果。
2021-09-30 cs.LG math.OC stat.ML
Availability Adversarial Attack and Countermeasures for Deep Learning-based Load Forecasting
Imperial College London(伦敦帝国学院)
电力负荷预测是电力系统规划和运行的基础。最近,深度学习的进步使得预测更加准确。然而,深度神经网络容易受到对抗攻击。虽然大多数文献都集中在基于完整性的攻击,本文提出了基于可用性的对抗攻击,它可以更容易地实现的攻击者。对于每个预测实例,通过人工神经网络的混合整数重构优化求解可用攻击位置。为了解决这种攻击,提出了一种对抗性训练算法。在仿真中,一个现实的负载预测数据集被认为是和攻击性能进行比较,基于完整性的攻击。同时,对抗性训练算法显着提高了对可用性攻击的鲁棒性。所有代码都可以在https://github.com/xuwkk/AAA_Load_Forecast上找到。
2023-01-04 cs.CR cs.LG cs.SY
A General Retraining Framework for Scalable Adversarial Classification
Vanderbilt University(范德堡大学);Shanghai Jiaotong University(上海交通大学)
传统的分类算法假设训练数据和测试数据来自相似的分布。这种假设在对抗性设置中被违反,其中恶意行为者修改实例以逃避检测。针对对抗性规避攻击和鲁棒学习,已经开发了许多自定义方法。我们提出了第一个系统和通用的再训练框架,它可以:a)提高\emph{arbitrary}学习算法的鲁棒性,面对b)比任何现有方法更广泛的对抗模型。我们证明了,在自然条件下,再训练框架最小化了最优对抗风险的上限,并展示了如何将这一结果扩展到规避攻击的近似值。广泛的实验评估表明,我们的再训练方法与最先进的优化对抗风险的算法几乎没有区别,但更通用,可扩展性更强。实验还证实,如果没有再训练,我们的对抗框架会大大降低学习的有效性。相比之下,再训练显著提高了对规避攻击的鲁棒性,而不会显著影响整体准确性。
2016-11-26 cs.GT cs.LG stat.ML
Generalizable Adversarial Attacks with Latent Variable Perturbation Modelling
McGill University(麦吉尔大学);Mila
对深度神经网络的对抗攻击传统上依赖于约束优化范式,其中优化过程用于获得给定输入示例的单个对抗性扰动。在这项工作中,我们将问题定义为学习对抗性扰动的分布,使我们能够在给定未扰动输入的情况下生成不同的对抗性分布。我们表明,这个框架是域不可知的,在相同的框架可以用来攻击不同的输入域,以最小的修改。在三个不同的领域-图像,文本和图形-我们的方法生成白盒攻击的成功率是有竞争力的或优于现有的方法,与一个新的国家的最先进的实现在图形域。最后,我们证明了我们的框架可以有效地生成一个不同的攻击集为一个单一的输入,甚至能够攻击\textit{unseen}测试实例中的zero-shot的方式,表现出攻击泛化。
2020-01-20 cs.CR cs.LG stat.ML
Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization
University of Texas at Austin(德克萨斯大学奥斯汀分校);The Ohio State University(俄亥俄州立大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出 IR-DRO 框架,在持续预训练和指令微调中动态重加权中高损失的信息性样本,显著提升 LLM 在多基准上的泛化性能。
2024-03-01 cs.LG
Alternating Iteratively Reweighted Minimization Algorithms for Low-Rank Matrix Factorization
如今,大规模数据在不同的应用领域中的可用性促使部署复杂的工具,以便从这些海量信息中提取有价值的知识。在这种情况下,寻求数据低维嵌入的低秩表示(LRR)自然出现了。为了降低计算复杂性并提高估计性能,已经通过矩阵分解(MF)的视角来观察LRR。最近,已经提出了低秩MF(LRMF)方法来解决MF的固有弱点,即,不知道数据所在的低维空间的维度。在此,受秩最小化迭代加权方案优点的启发,我们提出了一个通用的低秩提升正则化函数。然后,专注于它的一个特定的实例,我们提出了一个正则化,共同施加列稀疏的两个矩阵因子,从MF的结果,从而促进低秩的优化问题。去噪,矩阵完成和非负矩阵分解(NMF)的问题被重新定义,根据新的LRMF制定和解决有效的牛顿型算法与证明的理论保证,其收敛性和收敛到稳定点的速度。在不同的模拟和真实数据实验中验证了所提出的算法的有效性。
2017-10-05 cs.LG
Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously
University of Southern California(南加州大学);The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们开发的线性强盗算法,自动适应不同的环境。通过将新的损失估计器插入到表征实例最优策略的优化问题中,我们的第一个算法不仅在随机环境中实现了接近实例最优的遗憾,而且还在损坏的环境中工作,额外的遗憾是损坏的量,而现有技术(Li et al.,2019)既没有实现实例最优性,也没有实现对腐败量的最优依赖性。此外,通过为该算法配备对抗组件和精心设计的测试,我们的第二个算法在完全对抗的环境中还享有最小最大最优遗憾,这是我们所知的第一个此类算法。最后,我们所有的保证都具有很高的概率,而现有的实例最优保证仅在预期中有效。
2021-06-14 cs.LG
Evaluating the Robustness of Deep-Learning Algorithm-Selection Models by Evolving Adversarial Instances
Edinburgh Napier University(爱丁堡龙比亚大学)
针对深度循环网络作为装箱领域算法选择器的鲁棒性未知问题,本研究用演化算法生成对抗扰动样本,发现最高56%的原始实例可被攻击,同时揭示了训练实例脆弱性及影响因素,还为鲁棒模型训练提供了新数据。
2024-06-24 cs.AI cs.LG cs.NE
Feature Distillation With Guided Adversarial Contrastive Learning
Nanyang Technological University(南洋理工大学)
深度学习模型被证明容易受到对抗性示例的影响。虽然对抗性训练可以增强模型的鲁棒性,但典型的方法在计算上是昂贵的。最近的研究提出了通过软标签将对对抗攻击的鲁棒性转移到不同的任务或模型上,与软标签相比,特征包含了丰富的语义信息,具有应用于不同下游任务的潜力。在本文中,我们提出了一种新的方法,称为引导对抗对比蒸馏(GACD),有效地将对抗鲁棒性从教师转移到具有特征的学生。我们首先将这一目标表述为对比学习,并将其与互信息联系起来。有了一个训练有素的教师模型作为锚点,学生们有望提取出与教师相似的特征。然后考虑到教师可能造成的误差,提出了样本重加权估计,以消除教师的负面影响。通过GACD,学生不仅学会了提取鲁棒的特征,而且还从老师那里获取了结构知识。通过在CIFAR-10、CIFAR-100和STL-10等流行数据集上的大量实验,我们证明了我们的方法可以有效地在不同模型甚至不同任务之间传递鲁棒性,并取得与现有方法相当或更好的结果。此外,我们提供了各种方法的详细分析,表明我们的方法产生的学生从教师那里捕获更多的结构知识,并在对抗攻击下学习到更多的鲁棒特征。
2020-09-21 cs.LG stat.ML
Generating Adversarial Examples With Conditional Generative Adversarial Net
近年来,深度神经网络在各个领域都取得了重大进展和成功应用,但发现它们容易受到攻击实例的攻击,例如,敌对的例子。现有的攻击方法可以通过向源图像添加小的扰动来生成攻击图像。这些攻击图像可以欺骗分类器,但对人的影响很小。因此,这样的攻击实例难以通过搜索特征空间来生成。如何设计一种有效的、鲁棒的生成方法已成为研究的热点。受对抗实例的启发,本文提出了两种新的生成模型,采用条件生成对抗网络,设计了不同的训练策略,直接生成自适应攻击实例。与常用的方法如快速梯度符号法相比,该模型可以降低生成成本,提高鲁棒性,并且生成攻击实例的运行时间约为五分之一。
2019-03-18 cs.LG stat.ML
ADVERSARIALuscator: An Adversarial-DRL Based Obfuscator and Metamorphic Malware SwarmGenerator
Microsoft R&D(微软研发中心);BITS Pilani(比尔拉理工学院皮拉尼校区)
高级变形恶意软件和勒索软件通过使用混淆,可以在每次攻击中改变其内部结构。如果这种恶意软件甚至可以入侵任何物联网网络,那么即使原始恶意软件实例被检测到,到那时它仍然可以感染整个网络。获得这种规避恶意软件的训练数据是具有挑战性的。因此,在本文中,我们提出了ADVERSARIALuscator,一个新的系统,使用专门的对抗性DRL混淆恶意软件在操作码级别,并创建多个变形的实例相同。据我们所知,ADVERSARIALuscator是有史以来第一个采用基于马尔可夫决策过程的方法来转换并找到在操作码级别创建单个混淆问题的解决方案的系统。这一点很重要,因为机器语言级别是可以保留功能的最低级别,以便有效地模拟实际攻击。ADVERSARIALuscator也是有史以来第一个使用高效连续动作控制的系统,能够进行深度强化学习代理,如网络安全领域的近端策略优化。实验结果表明,ADVERSARIALuscator可以将恶意软件语料库的变形概率提高>0.45。此外,ADVERSARIALuscator生成的变形实例中有超过33%能够避开最强大的IDS。如果这种恶意软件甚至可以入侵任何物联网网络,那么即使原始恶意软件实例被检测到,到那时它仍然可以感染整个网络。因此,ADVERSARIALuscator可以用来生成代表一群非常强大和协调的基于AI的变形恶意软件攻击的数据。如此生成的数据和模拟可用于加强IDS对高级…
2021-09-23 cs.AI cs.CR cs.LG