AIM: Adversarial Information Masking for Faithfulness Evaluation of Saliency Maps
National Yang Ming Chiao Tung University(阳明交通大学)
本文提出AIM方法,通过对抗性信息遮蔽框架评估显著图的忠实性及遮蔽操作的可靠性,通过对比不同遮蔽方式下的退化效果,减少遮蔽诱导的偏差,并揭示不同模态下符号和非符号归因之间的差异。
2026-05-16 cs.CV cs.LG
MRCert: Towards Post-deployment Patch Robustness Certification for Adversarially Patched Samples via Type-specific Masking
City University of Hong Kong(香港城市大学);The Education University of Hong Kong(香港教育大学)
MRCert是首个基于掩码的认证恢复防御者,通过类型特定设计实现部署后对抗性修补样本的鲁棒性认证,在ImageNet修补尺寸16像素时获35.1%对抗性认证准确率,优于SOTA的PatchCURE。
2026-10-09 cs.AI cs.CR cs.LG
Generating Adversarial Examples with Better Transferability via Masking Unimportant Parameters of Surrogate Model
Tsinghua University(清华大学);RealAI(瑞莱智慧)
本文提出通过掩蔽代理模型中不重要参数(MUP)来精炼预训练模型,从而提升基于迁移攻击所生成对抗样本的迁移性,并可结合现有梯度优化器进一步增强攻击效果。
2023-04-14 cs.CR cs.CV cs.LG
Improving self-supervised representation learning via sequential adversarial masking
Carnegie Mellon University(卡内基梅隆大学);Amazon Web Services(亚马逊云科技);Amazon(亚马逊)
最近的自监督学习方法已经证明,基于掩蔽的借口任务超出了NLP,在计算机视觉中作为有用的预训练目标。然而,现有的方法应用随机或特设掩蔽策略,限制重建任务的难度,因此,学习表示的强度。我们提出了一个新的框架,该框架以顺序的方式生成面具,并对对手进行不同的约束,从而改进了目前在学习对抗面具方面的最先进的工作。这导致各种下游任务的性能提高,例如ImageNet 100,STL 10和CIFAR 10/100的分类以及Pascal VOC的分割。我们的研究结果进一步证明了在计算机视觉中基于掩蔽的SSL方法的有前途的能力。
2022-12-16 cs.CV cs.LG
PatchGuard: A Provably Robust Defense against Adversarial Patches via Small Receptive Fields and Masking
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学)
局部对抗补丁旨在通过任意修改图像的受限区域内的像素来诱导机器学习模型中的误分类。这种攻击可以在物理世界中通过将对抗补丁附加到要被错误分类的对象来实现,并且防御这种攻击是一个未解决的/开放的问题。在本文中,我们提出了一个名为PatchGuard的通用防御框架,它可以实现高可证明的鲁棒性,同时保持对本地化对抗补丁的高准确性。PatchGuard的基石涉及使用具有小感受野的CNN来限制被对抗补丁破坏的特征数量。给定有界数量的损坏特征,设计对抗性补丁防御的问题简化为设计安全特征聚合机制的问题。为此,我们提出了我们强大的掩蔽防御,鲁棒地检测和掩蔽损坏的功能,以恢复正确的预测。值得注意的是,我们可以证明我们的防御对我们的威胁模型中的任何对手的鲁棒性。我们对ImageNet,ImageNet(ImageNet的10类子集)和CIFAR-10数据集的广泛评估表明,我们的防御在可证明的鲁棒准确性和干净准确性方面都达到了最先进的性能。
2021-03-31 cs.CR cs.CV cs.LG
Gradient Masking Causes CLEVER to Overestimate Adversarial Perturbation Size
Google Brain(谷歌大脑)
对抗性实例研究中的一个关键问题是,对抗性实例的脆弱性通常通过运行攻击算法来衡量。由于攻击算法不是最优的,攻击算法容易高估欺骗目标模型所需的扰动大小。换句话说,基于攻击的方法提供了一个可以欺骗模型的扰动大小的上限,但安全保证需要一个下限。CLEVER是一种用于估计下限的建议评分方法。不幸的是,对界限的估计并不是界限。在这份报告中,我们表明,梯度掩蔽,一个常见的问题,导致攻击方法只提供一个非常宽松的上限,导致CLEVER高估的扰动的大小需要欺骗模型。换句话说,CLEVER并没有解决基于攻击的方法的关键问题,因为它没有提供一个下限。
2018-04-21 cs.LG stat.ML
Adversarial Defense via Neural Oscillation inspired Gradient Masking
University of Canterbury(坎特伯雷大学)
脉冲神经网络(SNN)由于其低功耗、低延迟和生物相容性而受到广泛关注。随着它们被广泛部署在用于低功耗脑启发计算的神经形态设备中,安全问题变得越来越重要。然而,与深度神经网络(DNN)相比,SNN目前缺乏专门设计的针对对抗攻击的防御方法。受神经膜电位振荡的启发,我们提出了一种新的神经模型,它结合了生物启发的振荡机制,以提高SNN的安全性。我们的实验表明,神经振荡神经元的SNN有更好的抵抗对抗攻击比普通的SNN与LIF神经元在各种架构和数据集。此外,我们提出了一种防御方法,通过替换振荡的形式来改变模型的梯度,这隐藏了原始的训练梯度,并混淆了攻击者使用“假”神经元的梯度来生成无效的对抗样本。我们的实验表明,所提出的防御方法可以有效地抵抗单步和迭代攻击,具有可比的防御效果和更少的计算成本比对抗性的DNN训练方法。据我们所知,这是第一个通过在SNN上掩蔽代理梯度来建立对抗性防御的工作。
2022-11-04 cs.LG cs.NE
Adversarial Masking for Self-Supervised Learning
University of Oxford(牛津大学);The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
我们提出了ADIOS,一个用于自监督学习的掩蔽图像模型(MIM)框架,它同时学习掩蔽函数和使用对抗目标的图像编码器。训练图像编码器以最小化原始图像的表示与掩蔽图像的表示之间的距离。相反,掩蔽函数的目的是最大化该距离。ADIOS在各种任务和数据集上不断改进最先进的自监督学习(SSL)方法-包括ImageNet 100和STL 10上的分类,CIFAR 10/100、Flowers 102和iNaturalist上的迁移学习,以及在背景挑战上评估的鲁棒性(Xiao et al.,2021)--同时生成语义上有意义的掩码。与MAE、BEiT和iBOT等现代MIM模型不同,ADIOS不依赖于视觉Transformer的图像补丁标记化构造,并且可以使用卷积骨干实现。我们进一步证明了ADIOS学习的掩码在改进SSL方法的表示学习方面比流行的MIM模型中使用的掩码方案更有效。代码可在https://github.com/YugeTen/adios上获得。
2022-07-06 cs.CV cs.LG
MASKDROID: Robust Android Malware Detection with Masked Graph Representations
National University of Singapore(新加坡国立大学)
本文提出 MASKDROID,通过在 GNN 框架中引入图掩码重建机制和对比学习模块,增强安卓恶意软件检测器对对抗攻击的鲁棒性和判别能力。
2024-09-29 cs.AI cs.CR cs.SE
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher(独立研究者)
研究了自我对战强化学习中的对抗性动作遮蔽,发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性,揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
A Learning and Masking Approach to Secure Learning
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
深度神经网络(DNN)已被证明容易受到对抗性示例的攻击,这些示例是巧妙构建的数据点,用于欺骗分类器。这种攻击在实践中可能是毁灭性的,特别是当DNN被应用于越来越多的关键任务时,如自动驾驶中的图像识别。在本文中,我们介绍了一个新的角度对这个问题。我们首先定义分类器对对抗性利用的鲁棒性。接下来,我们证明了对抗性示例生成问题可以被视为学习问题。我们还将文献中的攻击分为高扰动攻击和低扰动攻击;众所周知的攻击,如快速梯度符号法(FGSM)和我们的攻击产生更高的扰动对抗性示例,而更有效但计算效率低下的Carlini-Wagner(CW)攻击是低扰动攻击。接下来,我们证明了攻击学习问题的对偶方法可以作为一种防御技术,对高扰动攻击有效。最后,我们证明了一个分类器的掩蔽方法,通过添加噪声的神经网络的logit输出,防止低失真攻击,如CW攻击。我们还表明,我们的学习和掩蔽防御可以同时工作,以防止多种攻击。我们通过实验MNIST和CIFAR-10数据集证明了我们的技术的有效性。
2018-01-27 cs.CR cs.CV cs.LG
Guidance Through Surrogate: Towards a Generic Diagnostic Attack
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);Qualcomm(高通公司);Linköping University(林雪平大学)
对抗性训练是使深度神经网络对对抗攻击具有鲁棒性的有效方法。最近,提出了不同的对抗性训练防御,不仅保持了高的准确率,而且对流行的和研究充分的对抗攻击(如PGD)表现出显着的鲁棒性。如果攻击无法找到对抗梯度方向,也会出现高对抗鲁棒性,这种现象称为“梯度掩蔽”。在这项工作中,我们分析了标签平滑对对抗训练的影响,这是梯度掩蔽的潜在原因之一。然后,我们开发了一个引导机制,以避免局部极小值在攻击优化,导致一种新的攻击被称为引导投影梯度攻击(G-PGA)。我们的攻击方法是基于“匹配和欺骗”的损失,通过代理模型的指导找到最佳的对抗方向。我们的修改后的攻击不需要随机重启,大量的攻击迭代或搜索一个最佳的步长。此外,我们提出的G-PGA是通用的,因此它可以与集成攻击策略相结合,因为我们证明了自动攻击的情况下,导致效率和收敛速度的提高。G-PGA不仅是一种有效的攻击,还可以用作诊断工具,以揭示对抗防御中梯度掩蔽导致的难以捉摸的鲁棒性。
2022-12-30 cs.AI cs.CR cs.CV
GANSER: A Self-supervised Data Augmentation Framework for EEG-based Emotion Recognition
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Department of Computing, The Hong Kong Polytechnic University(香港理工大学电子计算学系)
基于脑电(EEG)的情感计算中的数据稀缺问题导致难以使用机器学习算法特别是深度学习模型来构建具有高精度和稳定性的有效模型。数据增强最近已经为深度学习模型实现了相当大的性能改进:提高了准确性、稳定性并减少了过度拟合。在本文中,我们提出了一种新的数据增强框架,即基于生成对抗网络的自监督数据增强(GANSER)。作为第一个将对抗训练与自监督学习相结合用于基于EEG的情感识别的框架,所提出的框架可以生成高质量和高多样性的模拟EEG样本。特别是,我们利用对抗训练来学习EEG生成器,并迫使生成的EEG信号近似真实样本的分布,确保增强样本的质量。变换函数被用来屏蔽部分EEG信号,并迫使发生器基于剩余部分来合成潜在的EEG信号,以产生各种各样的样本。在转换过程中的掩蔽可能性被引入作为先验知识,以指导提取可区分的特征的模拟EEG信号和推广的分类器的扩增的样本空间。最后,大量的实验表明,我们提出的方法可以帮助情感识别的性能增益,并取得了最先进的结果。
2021-09-08 cs.AI cs.HC cs.LG
Adversarial Purification of Information Masking
Nanjing University of Science and Technology(南京理工大学)
本文提出一种名为 IMPure 的新型对抗净化方法,通过掩蔽并重构图像块及混合样本等策略彻底消除对抗扰动,在 ImageNet 数据集上抵御九种攻击达到最先进水平。
2023-11-26 cs.CR cs.CV cs.LG
LTD: Low Temperature Distillation for Gradient Masking-free Adversarial Training
National Tsing Hua University(国立清华大学)
本文提出LTD方法,通过低温蒸馏优化标签表示,提升模型鲁棒性并避免梯度屏蔽问题。
2025-11-26 cs.CV cs.LG
Attribution-driven Causal Analysis for Detection of Adversarial Examples
SRI International(斯坦福国际研究院);University of Central Florida(中佛罗里达大学);University of Wisconsin(威斯康星大学);U.S. Army Research Laboratory(美国陆军研究实验室)
已经开发了归因方法来解释机器学习模型对给定输入的决策。我们使用集成梯度方法来寻找属性,通过增量掩蔽高属性特征来定义输入的因果邻域。我们研究了机器学习模型在这个邻域中对良性和对抗性输入的鲁棒性。我们的研究表明,良性输入对高属性特征的掩蔽是鲁棒的,但由最先进的对抗攻击方法(如DeepFool,FGSM,CW和PGD)生成的对抗输入对这种掩蔽不鲁棒。此外,我们的研究表明,这种导致错误决策的高归因特征的集中在物理上可实现的对抗性示例中更为明显。良性输入和敌对输入的属性差异可用于检测敌对示例。这样的防御方法是独立的训练数据和攻击方法,我们证明了其有效性的数字和物理可实现的扰动。
2019-03-14 cs.LG stat.ML
Auto-ART: Structured Literature Synthesis and Automated Adversarial Robustness Testing
Independent Researcher(独立研究者)
本文提出Auto-ART框架,通过结构化文献综合和自动化对抗鲁棒性测试,填补了领域内的知识空白,实现了多规范评估和合规性映射。
2026-04-22 cs.CR cs.LG
A Novel Perturb-ability Score to Mitigate Evasion Adversarial Attacks on Flow-Based ML-NIDS
本文提出可扰动性评分(PS)量化NIDS特征受操纵风险,通过PS引导的特征选择与掩蔽,在保持检测性能的同时显著降低规避对抗攻击的脆弱性。
2025-06-18 cs.AI cs.CR cs.LG
EdgeMask-DG*: Learning Domain-Invariant Graph Structures via Adversarial Edge Masking
EdgeMask-DG*通过对抗性边掩码学习领域不变的图结构,结合自适应对抗性拓扑搜索与特征增强图,实现新的最佳性能。
2026-02-05 cs.LG
Masking Radar Cognition under Adversarial Surveillance: A Distributional Privacy Framework
National Institute of Technology Calicut(卡利卡特国家理工学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本文提出一种基于分布隐私的在线电子反对抗措施框架,通过vMF分布建模雷达效用并开发WDPCH-SU和WDPCH-DU算法,实现认知雷达决策的隐私掩蔽,在6G场景中具有应用价值。
2026-09-09 cs.LG eess.SP
MUTEN: Boosting Gradient-Based Adversarial Attacks via Mutant-Based Ensembles
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科中心)
深度神经网络(DNN)容易受到对抗性样本的攻击,这对安全关键型应用程序造成了严重威胁。这激发了许多关于提供机制以使模型对对抗攻击更鲁棒的研究。不幸的是,大多数防御措施(例如梯度掩蔽)都可以通过不同的攻击手段轻松克服。在本文中,我们提出了MUTEN,这是一种低成本的方法,可以提高针对梯度掩蔽模型的知名攻击的成功率。我们的想法是将攻击应用于通过在训练后突变原始模型元素而构建的集成模型。由于我们发现突变体的多样性是提高成功率的一个关键因素,我们设计了一个贪心算法来有效地产生多样的突变体。在MNIST、SVHN和CIFAR 10上的实验结果表明,MUTEN可以将四次攻击的成功率提高高达0.45。
2021-09-27 cs.CR cs.CV cs.LG
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence(海军人工智能应用研究中心);U.S. Naval Research Laboratory(美国海军研究实验室)
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类:梯度掩蔽,鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分:(1)增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性,(2)边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题,我们提供了一个新的视角,可以深入了解能够训练更强大的网络的潜在因素,并有助于激发新的解决方案。此外,在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的,或者鲁棒性和准确性之间的权衡,但是,根据这个建议的分类法,我们假设这不是普遍的。我们在分类法的基础上,对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
SkipConvGAN: Monaural Speech Dereverberation using Generative Adversarial Networks via Complex Time-Frequency Masking
University of Texas at Dallas(德克萨斯大学达拉斯分校)
随着深度学习方法的进步,语音增强系统在存在背景噪声的情况下的性能已经显示出显着的改善。然而,提高系统对混响的鲁棒性仍然是一项正在进行的工作,因为混响往往会由于时间和频率上的拖尾效应而导致共振峰结构的损失。各种基于深度学习的系统要么增强幅度响应并重新使用失真相位,要么使用复杂的时频掩模增强复杂的频谱图。虽然这些方法已经证明了令人满意的性能,但它们不能直接解决由混响引起的共振峰结构丢失。我们相信,共振峰结构的检索可以帮助提高现有系统的效率。在这项研究中,我们提出了SkipConvGAN-我们以前的工作SkipConvNet的扩展。所提出的系统的发电机网络试图估计一个有效的复杂的时间-频率掩模,而在驱动发电机恢复丢失的共振峰结构的ESTA网络的援助。我们评估我们提出的系统的性能,从单通道任务的REVERB挑战语料库的混响语音的模拟和真实录音。与其他基于深度学习的生成对抗框架相比,该系统在多个房间配置中表现出一致的改进。
2022-11-22 cs.LG cs.SD eess.AS
Spatial-frequency channels, shape bias, and adversarial robustness
New York University(纽约大学)
该研究通过临界带掩蔽实验对比人类与神经网络的物体识别空间频率通道,发现网络通道远宽于人类,且对抗训练会进一步拓宽通道,提出窄通道网络或更具鲁棒性。
2023-11-05 cs.CV cs.LG eess.IV
When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture
Peking University(北京大学);The University of Tokyo(东京大学)
视觉Transformer(ViTs)最近在宽视觉任务中实现了具有竞争力的性能。不幸的是,在流行的威胁模型上,自然训练的ViT并不比卷积神经网络(CNN)提供更多的对抗鲁棒性。对抗性训练仍然是必要的,以抵御这种对抗攻击。在本文中,我们通过对基准数据集上的各种训练技术进行广泛评估,首次全面研究了ViTs的对抗性训练方法。我们发现预训练和SGD优化器对于ViTs的对抗训练是必要的。进一步考虑ViT作为一种新型的模型架构,我们从其独特的架构组件的角度研究其对抗鲁棒性。我们发现,当在对抗性训练期间随机掩蔽来自某些注意力块的梯度或掩蔽某些补丁上的扰动时,ViTs的对抗性鲁棒性可以显着提高,这可能会开辟一条探索新设计的模型(如ViTs)内部架构信息的工作路线。我们的代码可在https://github.com/mo666666/When-Adversarial-Training-Meets-Vision-Transformers上获得。
2022-10-14 cs.CV cs.LG
A Mask-Based Adversarial Defense Scheme
Jinan University(暨南大学)
对抗攻击通过对输入的细微扰动进行干预,阻碍了深度神经网络(DNN)的功能和准确性。在这项工作中,我们提出了一种新的基于掩码的对抗性防御方案(MAD),用于DNN,以减轻对抗攻击的负面影响。准确地说,我们的方法通过随机掩蔽一部分潜在的对抗图像来提高DNN的鲁棒性,因此,DNN的%分类结果输出对微小的输入扰动变得更加宽容。与现有的对抗性防御技术相比,我们的方法不需要任何额外的去噪结构,也不需要对DNN的设计进行任何更改。我们已经测试了这种方法对各种数据集的DNN模型的集合,实验结果证实,该方法可以有效地提高防御能力的DNN对所有测试的对抗攻击方法。在某些情况下,与给定对抗性输入的原始模型相比,使用MAD训练的DNN模型的分类准确率提高了20%至90%。
2022-04-21 cs.AI cs.CR cs.LG
Regularizers for Single-step Adversarial Training
Indian Institute of Science(印度科学学院)
过去十年的进展使机器学习模型在计算机视觉的各种任务中取得了令人印象深刻的性能。然而,大量的工作已经证明了这些模型对对抗样本的敏感性。对抗性训练程序已经被提出来防御这种对抗攻击。对抗性训练方法用对抗性样本来增强小批量,并且通常使用单步的【形】(非迭代)方法来生成这些对抗性样本。然而,使用单步的【形】对抗训练训练的模型收敛到退化最小值,其中模型只是看起来很健壮。这些模型的伪鲁棒性是由于梯度掩蔽效应。虽然多步对抗训练有助于学习鲁棒模型,但由于使用迭代法来生成对抗样本,因此难以扩展。为了解决这些问题,我们提出了三种不同类型的正则化器,这些正则化器有助于使用单步的【形】对抗训练方法来学习鲁棒模型。所提出的正则化器通过利用区分鲁棒模型和伪鲁棒模型的属性来减轻梯度掩蔽的影响。使用所提出的正则化器训练的模型的性能与使用计算昂贵的多步对抗训练方法训练的模型相当。
2020-02-03 cs.CV cs.LG
CR-UTP: Certified Robustness against Universal Text Perturbations on Large Language Models
University of Central Florida(中佛罗里达大学)
本文研究语言模型对通用文本扰动(UTP)的认证鲁棒性问题,提出优越提示搜索与集成技术,在大量掩盖下维持高认证准确率,首次实现针对UTP和ISTP的最先进认证效果。
2024-06-05 cs.CL cs.CR cs.LG
Scaleable input gradient regularization for adversarial robustness
McGill University(麦吉尔大学)
在这项工作中,我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先,我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次,我们实现了一个可扩展版本的输入梯度正则化,避免了双重反向传播:对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后,我们通过实验和理论证明,输入梯度正则化与对抗训练具有竞争力。此外,我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
Demystifying Adversarial Robustness in Diffusion Models: Compression, Randomness, and Geometry
UT Austin(德克萨斯大学)
本研究揭秘扩散模型提升对抗鲁棒性的机制,否定纯化使样本更接近干净样本的假设,指出鲁棒性提升源于随机性引发的梯度掩码和图像空间压缩,并揭示压缩能力与鲁棒性增益的关联及理论解释,为对抗纯化系统开发提供指导。
2026-08-12 cs.AI cs.LG
Single-step Adversarial training with Dropout Scheduling
Indian Institute of Science(印度科学学院)
深度学习模型在包括医疗诊断和自动驾驶在内的一系列计算机视觉应用中表现出令人印象深刻的性能。这些模型面临的主要问题之一是它们对对抗攻击的敏感性。意识到这个问题的重要性,越来越多的研究人员正在努力开发受对抗攻击影响较小的健壮模型。对抗性训练方法在这方面显示出很好的效果。在对抗训练机制中,模型是用对抗样本增强的小批量训练的。快速和简单的方法(例如,单步的【形】梯度上升)用于生成对抗样本,以降低计算复杂性。结果表明,采用单步的【形】对抗训练方法(对抗样本采用非迭代法生成)训练的模型是伪鲁棒的。此外,这种伪鲁棒性的模型归因于梯度掩蔽效应。然而,现有的工作未能解释梯度掩蔽效应何时以及为何在单步的【形】对抗训练中发生。在这项工作中,(i)我们证明了使用单步的【形】对抗训练方法训练的模型可以学习防止单步的【形】对抗的生成,这是由于在训练的初始阶段模型的过度拟合,以及(ii)为了减轻这种影响,我们提出了一种带有辍学调度的单步的【形】对抗训练方法。与使用现有的单步的【形】对抗训练方法训练的模型不同,使用所提出的单步的【形】对抗训练方法训练的模型对单步的【形】和多步的对抗攻击都是鲁棒的,并且在白盒和黑盒设置中,性能与使用计算昂贵的多步对抗训练方法训练的模型相当。
2020-04-18 cs.CV cs.LG
Revisiting Role of Autoencoders in Adversarial Settings
KAIST(韩国科学技术院)
为了对抗对抗攻击,自编码器结构被广泛用于执行被认为是梯度掩蔽的去噪。在本文中,我们重新审视了自动编码器在对抗环境中的作用。通过综合实验结果和分析,本文提出了自编码器对抗鲁棒性的内在特性。我们还发现,自动编码器可能会使用强大的功能,导致固有的对抗鲁棒性。我们相信,我们的发现的对抗性鲁棒性的自动编码器可以提供线索,未来的研究和应用的对抗性防御。
2020-05-21 cs.CV cs.LG
Adversarial Robustness Overestimation and Instability in TRADES
Georgia Institute of Technology(佐治亚理工学院);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
本文针对对抗训练方法TRADES存在的鲁棒性高估问题,分析了影响该不稳定现象的参数因素,明确其根源为梯度掩蔽,并提出了基于FOSC阈值添加高斯噪声等缓解方案,以提升鲁棒性评估的可靠性。
2024-10-10 cs.AI cs.LG
Learning Generative Deception Strategies in Combinatorial Masking Games
Washington University(华盛顿大学);Army Research Laboratory(陆军研究实验室);University of Texas, Dallas(德克萨斯大学达拉斯分校)
欺骗是网络防御中的一个重要工具,使防御者能够利用其信息优势来降低成功攻击的可能性。欺骗的一种方式是通过模糊或掩盖一些关于系统如何配置的信息,增加攻击者对其目标的不确定性。我们提出了一种新的博弈论模型,由此产生的防御者-攻击者的相互作用,防御者选择一个子集的属性来屏蔽,而攻击者通过选择一个漏洞来执行。两个参与者的策略都具有复杂信息依赖的组合结构,因此即使表示这些策略也不是微不足道的。首先,我们证明了计算零和防御者-攻击者博弈的平衡的问题可以表示为一个线性规划与系统配置变量和约束的组合数,并开发了一个约束生成方法来解决这个问题。接下来,我们提出了一种新的高度可扩展的方法来近似解决这样的游戏,代表双方球员的策略作为神经网络。其关键思想是使用深度神经网络生成器来表示防御者的混合策略,然后使用交替梯度下降上升算法,类似于生成对抗网络的训练。我们的实验,以及案例研究,证明了所提出的方法的有效性。
2022-06-17 cs.AI cs.CR cs.GT
Certified Defences Against Adversarial Patch Attacks on Semantic Segmentation
Bosch Center for Artificial Intelligence, Robert Bosch GmbH(罗伯特·博世有限公司博世人工智能中心);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
对抗性补丁攻击是现实世界深度学习应用的一种新兴安全威胁。我们提出了Demasked平滑,第一种方法(据我们所知)来证明这种威胁模型的语义分割模型的鲁棒性。以前的工作证明防御补丁攻击主要集中在图像分类任务,并经常需要在模型架构和额外的训练,这是不可取的和计算昂贵的变化。在Demasked Smoothing中,可以应用任何分割模型,而无需特定的训练,微调或架构限制。使用不同的掩蔽策略,解掩蔽平滑可以应用于认证检测和认证恢复。在广泛的实验中,我们表明,Demasked Smoothing在检测任务中平均可以证明64%的像素预测为1%的补丁,在ADE 20K数据集上的恢复任务中,平均可以证明48%的像素预测为0.5%的补丁。
2023-02-21 cs.AI cs.CR cs.CV
Minimally distorted Adversarial Examples with a Fast Adaptive Boundary Attack
University of Tübingen(图宾根大学)
对基于神经网络的分类器的对抗性操纵的鲁棒性的评估主要用经验攻击来测试,因为用于精确计算的方法,即使可用,也不能扩展到大型网络。针对$p \in \{1,2,\infty\}$提出了一种新的基于$l_p$ -范数的白盒对抗攻击,目的是寻找改变给定输入的类所需的最小扰动.它具有直观的几何意义,快速产生高质量的结果,最大限度地减少扰动的大小(因此,它在每个阈值处都可以通过单次运行返回鲁棒精度)。它表现得更好或类似于部分专用于一个$l_p$ -范数的最先进的攻击,并且对梯度掩蔽现象具有鲁棒性。
2020-07-20 cs.CR cs.CV cs.LG
Disentangling Representations of Text by Masking Transformers
Northeastern University(东北大学);University of Amsterdam(阿姆斯特丹大学)
来自大型预训练模型(如BERT)的表示将一系列特征编码为单一向量,在众多下游任务中提供强大的预测准确性。在本文中,我们将探讨是否有可能通过识别预训练模型中编码不同的互补方面表示的现有子网络来学习解纠缠表示。具体地说,我们通过Transformer权重或隐藏单元学习二进制掩码,以揭示与特定变异因子相关的特征子集;这消除了为特定任务从头开始训练解纠缠模型的需要。我们评估这种方法的能力,从电影评论中的类型,从方言的“毒性”,从语义和句法的情感表示解开。通过将掩蔽与幅度修剪相结合,我们发现我们可以识别BERT内对特定方面进行强烈编码的稀疏子网络(例如,毒性)而仅弱编码其它(例如,种族)。此外,尽管只学习掩码,我们发现通过掩码的解纠缠执行得和以前提出的基于变分自编码器和对抗训练的方法一样好,而且往往更好。
2021-09-10 cs.CL cs.LG
Robust Infidelity: When Faithfulness Measures on Masked Language Models Are Misleading
University of Ottawa(渥太华大学);American University(美利坚大学)
本文指出基于迭代掩码计算忠实度指标来比较神经文本分类器可解释性存在陷阱,该属性更适合描述为“对迭代掩码的敏感性”,并发现其会导致分布外嵌入和不可预测行为,从而为解释该指标提供指导。
2024-05-31 cs.CL cs.LG
Adversarial Training and Robustness for Multiple Perturbations
Stanford University(斯坦福大学)
对抗性示例的防御,例如对抗性训练,通常针对单个扰动类型(例如,小$\ell_\infty$噪声)。对于其他扰动,这些防御措施不能提供任何保证,有时甚至会增加模型的脆弱性。我们的目的是了解这种鲁棒性权衡的原因,并训练模型,同时强大的多种扰动类型。我们证明了权衡不同类型的$\ell_p$有界和空间扰动的鲁棒性必须存在于一个自然和简单的统计设置。我们证实了我们的正式分析,证明类似的鲁棒性权衡MNIST和CIFAR10。建立在新的多扰动对抗训练方案,和一种新的有效的攻击,寻找$\ell_1$有界的对抗的例子,我们表明,没有模型训练对多个攻击实现鲁棒性的竞争力与每个攻击单独训练的模型。特别是,我们发现了MNIST上的一个有害的梯度掩蔽现象,它导致一阶$\ell_\infty, \ell_1$和$\ell_2$对手的对抗训练仅达到$50\%$的准确性。我们的研究结果质疑扩展对抗鲁棒性和对抗训练到多种扰动类型的可行性和计算可扩展性。
2019-10-18 cs.CR cs.LG stat.ML
Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination
Northwest Institute of Nuclear Technology(西北核技术研究所);Tsinghua University(清华大学)
本文揭示对抗脆弱性与大语言模型幻觉的共同几何起源,提出神经不确定性原理,通过输入与损失梯度的不确定性界限,提供统一的可靠性分析框架。
2026-03-27 cs.IT cs.LG math.IT
Simultaneous Adversarial Training - Learn from Others Mistakes
Lite-On Singapore Pte. Ltd(新加坡光宝私人有限公司);Imperial College London(帝国理工学院)
对抗性示例是恶意调整的图像,可以很容易地欺骗机器学习技术,例如神经网络,但它们通常在视觉上无法区分人类。解决这个问题的主要方法之一是使用这些对抗性示例重新训练网络,即对抗性训练。然而,标准对抗训练实际上可能不会改变决策边界,但会导致梯度掩蔽问题,从而导致生成对抗示例的能力较弱。因此,它不能缓解黑盒攻击的问题,其中从其他网络生成的对抗性示例可以转移到目标网络。为了减少黑盒攻击的问题,我们提出了一种新的方法,允许两个网络从彼此的对抗性示例中学习,并对黑盒攻击具有弹性。我们还将此方法与一个简单的领域自适应相结合,以进一步提高性能。
2018-09-10 cs.CV cs.LG stat.ML
Not All Adversarial Examples Require a Complex Defense: Identifying Over-optimized Adversarial Examples with IQR-based Logit Thresholding
Ghent University(根特大学);Ghent University Global Campus(根特大学全球校区)
检测对抗性样本目前是深度学习领域最大的挑战之一。产生对抗性示例的对抗攻击增加了目标类对特定数据点的预测可能性。在这个过程中,对抗性示例可以进一步优化,即使它已经被错误地分类为100%置信度,从而使对抗性示例更难以检测。对于这种对抗性示例,我们称之为过度优化的对抗性示例,我们发现模型的logits为手头的数据点是对抗性的还是真实的提供了可靠的线索。在这种情况下,我们首先讨论softmax函数对预测的掩蔽效应,并解释为什么模型的logits在检测过度优化的对抗性示例时更有用。为了在实践中识别这种类型的对抗性示例,我们提出了一种依赖于四分位距的非参数和计算效率高的方法,随着图像分辨率的增加,这种方法变得更加有效。我们通过对不同数据集(MNIST,CIFAR-10和ImageNet)和几种架构的详细实验来支持我们在整篇论文中的观察。
2019-07-30 cs.CR cs.CV cs.LG
Adaptive Randomized Smoothing: Certified Adversarial Robustness for Multi-Step Defences
University of British Columbia(不列颠哥伦比亚大学);Google DeepMind(谷歌DeepMind)
提出ARS方法,利用 $f$-差分隐私认证多步防御的自适应组合,通过高维输入依赖掩码提升模型对有界 $L_{\infty}$ 对抗样本的鲁棒性,在多个基准上显著提升了准确率。
2025-07-10 cs.CR cs.LG
PriMask: Cascadable and Collusion-Resilient Data Masking for Mobile Cloud Inference
Nanyang Technological University(南洋理工大学)
移动云卸载对于基于大规模深度模型的推理任务是必不可少的。然而,将隐私丰富的推理数据传输到云端会引起担忧。本文提出了一种称为PriMask的系统的设计,在该系统中,移动终端使用一个秘密的小规模神经网络称为MaskNet的数据屏蔽传输前。PriMask显著削弱了云恢复数据或提取某些私有属性的能力。MaskNet是可扩展的,因为移动设备可以无缝地选择加入或退出其使用,而无需对云的推理服务进行任何修改。此外,移动设备使用不同的MaskNet,使得云和一些移动设备之间的勾结不会削弱对其他移动设备的保护。我们设计了一种{ \em分裂对抗学习}方法来训练一个神经网络,该网络在运行时间快速(在两秒内)生成一个新的MaskNet。我们将PriMask应用于三种具有不同模态和复杂性的移动传感应用,即,人类活动识别、城市环境人群感知和驾驶员行为识别。结果显示PriMask在所有三种应用中的有效性。
2022-11-12 cs.CR cs.DC cs.LG
Adversarial Attacks and Defenses in Machine Learning-Powered Networks: A Contemporary Survey
Beijing University of Posts and Telecommunications(北京邮电大学);Commonwealth Science and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织(CSIRO));University of Manitoba(曼尼托巴大学);Princeton University(普林斯顿大学)
由于深度学习在互联网及相关场景中的应用迅速增长,机器学习和深度神经网络中的对抗攻击和防御受到了极大的关注。本调查全面概述了对抗攻击和防御技术领域的最新进展,重点关注基于深度神经网络的分类模型。具体来说,我们进行了全面的分类,最近的对抗攻击方法和最先进的对抗防御技术的攻击原理的基础上,并提出他们在视觉上吸引人的表格和树形图。这是基于对现有作品的严格评估,包括对其优势和局限性的分析。我们还将这些方法分为反击检测和鲁棒性增强,特别关注基于正则化的方法来增强鲁棒性。还探索了新的攻击途径,包括基于搜索,基于决策,基于丢弃和物理世界的攻击,并提供了最新防御方法的分层分类,突出了平衡训练成本与性能,保持干净的准确性,克服梯度掩蔽效应和确保方法可移植性的挑战。最后,总结了经验教训和面临的挑战,并提出了未来的研究机会。
2023-03-11 cs.AI cs.LG
Domain-Aware Pruning: Sparsity and Domain Generalization via Regularized Probabilistic Masking
University of Tehran(德黑兰大学)
本研究提出算法无关的领域感知剪枝框架,通过正则化概率掩码识别领域不变子网络,在实现高稀疏性的同时,提升分布外鲁棒性与对抗鲁棒性,且模型可解释性强。
2026-08-11 cs.LG
Robustness and Transferability of Universal Attacks on Compressed Models
Imperial College London(伦敦帝国学院);DataSpartan
修剪和量化等神经网络压缩方法对于在边缘设备上有效部署深度神经网络(DNN)非常有效。然而,DNN仍然容易受到对抗性示例的影响,这些示例是专门设计用来欺骗这些模型的不显眼的输入。特别地,通用对抗扰动(Universal Adversarial Perturbations,UAP)是一类强大的对抗攻击,其创建可以在大的输入集合上概括的对抗扰动。在这项工作中,我们分析了各种压缩技术对UAP攻击的影响,包括不同形式的修剪和量化。我们测试了压缩模型对白盒和传输攻击的鲁棒性,并将其与CIFAR-10和SVHN数据集上的未压缩模型进行了比较。我们的评估揭示了修剪方法之间的明显差异,包括软过滤和训练后修剪。我们观察到,修剪和完整模型之间的UAP传输攻击是有限的,这表明这些模型的系统漏洞是不同的。这一发现具有实际意义,因为使用不同的压缩技术可以削弱黑盒传输攻击的有效性。我们表明,在某些情况下,量化可以产生梯度掩蔽,给人一种虚假的安全感。最后,我们的研究结果表明,压缩模型对UAP攻击的鲁棒性的结论是依赖于应用程序的,在我们的实验中使用的两个数据集中观察到不同的现象。
2020-12-10 cs.AI cs.CR cs.LG
Investigating Human-Identifiable Features Hidden in Adversarial Perturbations
University of Texas at Austin(德克萨斯大学奥斯汀分校);National Taiwan University(台湾大学)
本文通过三个数据集上的五种攻击算法,识别对抗扰动中的人类可识别特征,揭示无目标攻击的掩蔽效应与有目标攻击的生成效应,并分析跨算法扰动相似性及可迁移性。
2023-09-28 cs.AI cs.CV cs.LG
Localize and Neutralize: Gradient-guided Token Suppression against Visual Prompt Injection Attack
School of Advanced Interdisciplinary Sciences, UCAS(UCAS交叉学科研究院);School of Electronic, Electrical and Communication Engineering, UCAS(UCAS电子电气与通信工程学院);State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(中国科学院计算技术研究所人工智能安全国家重点实验室);Alibaba Group(阿里巴巴集团);School of Computer Science and Technology, UCAS(UCAS计算机科学与技术学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Key Laboratory of Big Data Mining and Knowledge Management, UCAS(UCAS大数据挖掘与知识管理重点实验室)
针对多模态大语言模型的视觉提示注入攻击,提出梯度令牌掩码(GTM)方法,通过梯度分析定位关键图像令牌并掩码中和,将攻击成功率降至接近零且计算开销极小。
2026-08-25 cs.LG
Impact of Low-bitwidth Quantization on the Adversarial Robustness for Embedded Neural Networks
CEA Tech(法国原子能与替代能源委员会技术中心);Mines Saint-Etienne(圣埃蒂安矿业学院)
随着将神经网络模型部署在嵌入式系统上的意愿的增长,并且考虑到相关的存储器占用和能量消耗问题,寻找更轻的解决方案来存储神经网络,例如权重量化和更有效的推理方法成为主要的研究主题。与此同时,对抗性机器学习最近兴起,引起了令人印象深刻的关注,揭示了机器学习模型的一些关键缺陷,特别是神经网络。特别是,被称为对抗性示例的扰动输入已被证明可以欺骗模型做出错误的预测。在这篇文章中,我们研究了对抗鲁棒性的量化神经网络在不同的威胁模型下的经典监督图像分类任务。我们发现,量化不提供任何强大的保护,在严重的形式的梯度掩蔽的结果,并提出一些假设来解释它。然而,我们实验观察到穷人的可转移能力,我们解释的量化值移位现象和梯度错位,并探讨如何利用这些结果与基于集合的防御。
2020-07-06 cs.LG stat.ML
Few-Shot Learning with Adaptive Weight Masking in Conditional GANs
Tulane University(杜兰大学);Northeastern University(东北大学);Washington University in St. Louis(华盛顿大学圣路易斯分校);New York University(纽约大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对少样本场景下标注数据不足与过拟合问题,本文提出RWM-CGAN,通过残差生成器和权重掩码判别器进行受控数据增强,显著提升公开数据集上的检测与分类性能。
2024-12-04 cs.CV cs.LG
Explainability-Guided Defense: Attribution-Aware Model Refinement Against Adversarial Data Attacks
本文提出属性感知模型细化方法,通过LIME引导训练以提升对抗鲁棒性和分布外泛化能力。
2026-01-02 cs.LG
Sample Efficient Training in Multi-Agent Adversarial Games with Limited Teammate Communication
TCS Research(塔塔咨询服务公司研究部);IIT Bombay(印度理工学院孟买分校)
我们描述了Pommerman TeamRadio的解决方案,这是一个与NeurIPS 2019相关的竞争环境。我们的算法的定义特征是在有限的计算预算内实现样本效率,同时击败前几年的学习代理。所提出的算法(i)使用模仿学习来播种策略,(ii)明确定义两个队友之间的通信协议,(iii)在训练期间塑造奖励以向每个代理提供更丰富的反馈信号,以及(iv)对灾难性的不良行为使用掩蔽。我们描述了针对基线的广泛测试,包括2019年竞争排行榜的测试,以及对学习策略的具体调查以及每次修改对性能的影响。我们表明,所提出的方法能够在50万场比赛的训练中达到有竞争力的表现,明显快于文献中的其他研究。
2020-11-01 cs.LG cs.MA
Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks
The University of Hong Kong(香港大学);Fudan University(复旦大学);Xihua University(西华大学);Southwest Jiaotong University(西南交通大学);Tsinghua University(清华大学)
提出自适应梯度掩码强化(AGMR)攻击,通过动态识别关键状态维度并优化对抗策略,有效降低DRL智能体性能并增强其鲁棒性。
2025-03-26 cs.AI cs.LG cs.NI