Regional Homogeneity: Towards Learning Transferable Universal Adversarial Perturbations Against Defenses
Johns Hopkins University(约翰斯·霍普金斯大学);University of Oxford(牛津大学);Kuaishou Technology(快手科技);ByteDance Research(字节跳动研究院)
本文的重点是学习可转移的对抗性示例,特别是针对防御模型(防御对抗攻击的模型)。特别是,我们表明,一个简单的普遍扰动可以愚弄一系列国家的最先进的防御。由现有攻击生成的对抗性示例通常很难转移到防御模型中。我们观察到的属性的区域均匀性对抗扰动,并建议防御是不太强大的区域均匀扰动。因此,我们提出了一个有效的转换范式和定制的梯度Transformer模块,将现有的扰动转换为区域均匀的。在没有明确地强制扰动是通用的情况下,我们观察到一个训练有素的梯度Transformer模块倾向于输出与输入无关的梯度(因此是通用的),这得益于欠拟合现象。彻底的实验表明,我们的工作显着优于现有技术的攻击算法(无论是图像相关的或通用的)的平均改善14.0%,当攻击9防御在基于传输的攻击设置。除了跨模型的可移植性,我们还验证了区域均匀扰动可以很好地跨不同的视觉任务(攻击与语义分割任务和测试上的目标检测任务)。代码可以在这里找到:https://github.com/LiYingwei/Regional-Homogeneity。
2020-07-31 cs.CV
Adversarial Examples on Segmentation Models Can be Easy to Transfer
University of Munich(慕尼黑大学);University of Oxford(牛津大学)
基于深度神经网络的图像分类可能会被具有小的和准不可感知的扰动的对抗性示例误导。此外,在一个分类模型上创建的对抗性示例也可以欺骗另一个不同的模型。对抗性示例的可转移性最近引起了越来越多的兴趣,因为它使得对分类模型的黑盒攻击变得可行。语义分割作为分类方法的一种扩展,其对抗鲁棒性也受到了广泛关注。然而,分割模型上的对抗性示例的可移植性尚未得到系统的研究。在本书中,我们深入研究了这一主题。首先,我们探讨了分类和分割模型上对抗性样本的过拟合现象。与对分类模型的观察相反,可转移性受到源模型过拟合的限制,我们发现分割上的对抗性示例并不总是过拟合源模型。即使没有过拟合,对抗性例子的可移植性也是有限的。我们将限制归因于分割模型的架构特征,即,多尺度目标识别然后,我们提出了一个简单而有效的方法,称为动态缩放,以克服限制。通过我们的方法实现的高可移植性表明,与以前的工作中的观察相反,分割模型上的对抗性示例可以很容易地转移到其他分割模型。我们的分析和建议得到了大量实验的支持。
2021-11-22 cs.CV eess.IV
Learning Transferable 3D Adversarial Cloaks for Deep Trained Detectors
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种新的基于补丁的对抗攻击管道,在三维人体网格上训练对抗补丁。我们在参考人体网格上采样三角形面部,并在这些面部上创建对抗性纹理图谱。对抗性纹理被转移到各种姿势的人类网格中,这些网格被渲染到真实世界背景图像的集合上。与传统的基于补丁的对抗攻击相反,先前的工作试图使用附加的对抗补丁来欺骗训练的对象检测器,这种新形式的攻击被映射到3D对象世界,并通过可微分渲染反向传播到纹理图谱。因此,对抗补丁在与真实世界材料一致的变形下进行训练。此外,与现有的对抗补丁不同,我们的新3D对抗补丁被证明可以在不同的视图下稳健地欺骗最先进的深度对象检测器,这可能导致在物理世界中持续强大的攻击方案。
2021-04-22 cs.AI cs.CV
OmniPatch: A Universal Adversarial Patch for ViT-CNN Cross-Architecture Transfer in Semantic Segmentation
Data Science Group, Indian Institute of Technology Roorkee(数据科学组,印度理工学院罗里克分校)
本文提出OmniPatch,一种能跨图像和ViT-CNN架构通用的对抗补丁训练框架,无需目标模型参数即可提升语义分割的鲁棒性。
2026-03-21 cs.AI cs.CV cs.LG
Category-wise Attack: Transferable Adversarial Examples for Anchor Free Object Detection
CuraCloud Corporation(库拉云公司);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校);Chengdu University of Information Technology(成都信息工程大学)
深度神经网络已被证明易受对抗攻击的影响:细微的扰动可以完全改变分类结果。它们的脆弱性导致了这方面的研究激增。然而,大多数作品致力于攻击基于锚点的目标检测模型。在这项工作中,我们的目标是提出一个有效的和高效的算法来生成对抗性的例子来攻击基于两种方法的无锚对象模型。首先,我们对对象检测器进行类别攻击而不是实例攻击。其次,我们利用高级语义信息来生成对抗性示例。令人惊讶的是,生成的对抗性示例不仅能够有效地攻击目标无锚对象检测器,而且还可以转移到攻击其他对象检测器,甚至是基于锚点的检测器,例如Faster R-CNN。
2020-06-23 cs.CR cs.CV cs.LG
Efficient Generation of Targeted and Transferable Adversarial Examples for Vision-Language Models Via Diffusion Models
提出AdvDiffVLM,利用扩散模型和分数匹配生成自然、定向且可迁移的对抗样本,显著提升生成速度与迁移性,并能黑盒攻击商业VLM如GPT-4V。
2024-12-15 cs.CV
On the Transferability of Adversarial Examples between Encrypted Models
Tokyo Metropolitan University(东京都立大学);National Institute of Informatics (NII)(国立信息学研究所)
众所周知,深度神经网络(DNN)容易受到对抗性示例(AE)的影响。此外,AE具有对抗性可转移性,即,为源模型生成的AE欺骗其他(目标)模型。在本文中,我们调查的可转移性模型加密对抗鲁棒防御首次。为了客观地验证模型的可移植性,采用一种称为AutoAttack的基准攻击方法对模型的鲁棒性进行了评估。在图像分类实验中,加密模型的使用被证实不仅对AE是鲁棒的,而且在模型的可转移性方面也减少了AE的影响。
2022-09-07 cs.CV
Boosting the Transferability of Video Adversarial Examples via Temporal Translation
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University(复旦大学计算机科学技术学院上海市智能信息处理重点实验室);Shanghai Collaborative Innovation Center on Intelligent Visual Computing(上海智能视觉计算协同创新中心)
尽管基于深度学习的视频识别模型取得了显著的成功,但它们容易受到对抗性示例的影响,这些示例是通过在干净的视频样本上添加人类无法感知的扰动而生成的。正如最近的研究所表明的那样,对抗性示例是可转移的,这使得黑盒攻击在现实世界中的应用变得可行。然而,现有的大多数对抗攻击方法在攻击其他视频模型时具有较差的可移植性,并且对视频模型的基于移植的攻击仍然是未被探索的。为此,我们建议提高视频对抗示例的可转移性,以用于对视频识别模型的黑盒攻击。通过大量的分析,我们发现,不同的视频识别模型依赖于不同的歧视性时间模式,导致视频对抗性的例子的可移植性差。这促使我们引入一种时间翻译攻击方法,该方法优化了一组时间翻译视频片段上的对抗性扰动。通过在翻译的视频上生成对抗性示例,生成的对抗性示例对被攻击的白盒模型中存在的时间模式不太敏感,因此可以更好地传输。在Kinetics-400数据集和UCF-101数据集上的大量实验表明,我们的方法可以显着提高视频对抗示例的可移植性。针对视频识别模型的基于传输的攻击,它在Kinetics-400上的平均攻击成功率为61.56%,在UCF-101上的平均攻击成功率为48.60%。代码可在https://github.com/zhipeng-wei/TT上获得。
2021-12-28 cs.CV
Exploring Transferable and Robust Adversarial Perturbation Generation from the Perspective of Network Hierarchy
Beihang University(北京航空航天大学)
对抗样本的可移植性和鲁棒性是黑盒对抗攻击的两个重要特性。本文从网络层次结构的角度探讨了提高这两种能力的有效机制,典型的网络可分为输出阶段、中间阶段和输入阶段。由于源模型过于特殊化,在输出阶段很难提高对抗性扰动的可传递性和鲁棒性。因此,我们在本文中集中在中间和输入阶段,并提出了一个可转移的和强大的对抗扰动生成(TRAP)方法。具体来说,我们提出了动态引导机制,以不断计算精确的方向性指导扰动产生的中间阶段。在输入阶段,而不是在现有的方法中采用的单一形式的变换增广,我们利用多种形式的仿射变换增广,以进一步丰富输入的多样性和提高对抗扰动的鲁棒性和可转移性。大量的实验表明,我们的TRAP实现了令人印象深刻的可移植性和对某些干扰的高鲁棒性。
2021-08-16 cs.CV
Sample-wise Adaptive Weighting for Transfer Consistency in Adversarial Distillation
本文提出SAAD方法,通过基于样本的自适应加权对抗蒸馏提升对抗鲁棒性转移效果。
2025-12-11 cs.CV
An Adaptive Model Ensemble Adversarial Attack for Boosting Adversarial Transferability
Fuzhou University(福州大学);Yuan Ze University(元智大学)
本文提出自适应集成攻击AdaEA,通过监测各模型贡献差异比率自适应融合输出并引入差异缩减滤波器,从而显著提升对抗样本在不同架构模型间的迁移性。
2023-08-05 cs.CV
StyLess: Boosting the Transferability of Adversarial Examples
The Hong Kong Polytechnic University(香港理工大学)
针对可迁移攻击混淆风格与内容特征的问题,本文提出 StyLess,利用经自适应实例归一化扰动的风格化代理模型生成不依赖非鲁棒风格特征的对抗扰动,显著提升黑盒攻击可迁移性。
2023-04-23 cs.CV
Boosting Adversarial Transferability of MLP-Mixer
Beijing Institute of Technology(北京理工大学)
基于MLP-Mixer和ViTs等新体系结构的模型的安全性亟待研究。然而,目前的研究主要是针对针对ViTs的对抗攻击,针对MLP-mixer的对抗研究还相对较少。我们提出了一种针对MLP混合器的对抗攻击方法,称为麦克斯韦恶魔攻击(MA)。MA通过控制MLP Mixer各层Mixer的部分输入,打破MLP Mixer的通道混合和标记混合机制,干扰MLP Mixer获取图像的主要信息。我们的方法可以屏蔽Mixer层的部分输入,避免对抗性示例对源模型的过拟合,并提高跨架构的可移植性。广泛的实验评估表明,所提出的MA的有效性和优越的性能。我们的方法可以很容易地与现有的方法相结合,并可以提高高达38.0%的基于MLP的ResMLP的可移植性。通过我们的方法在MLP-Mixer上生成的对抗性示例能够超过使用DenseNet生成的对抗性示例对CNN的可移植性。据我们所知,我们是第一个研究MLP-混合器的对抗可转移性的工作。
2022-04-26 cs.CV
Reliable Evaluation of Adversarial Transferability
Wuhan University(武汉大学);University of Oxford(牛津大学)
针对现有对抗迁移性评估仅在CNN架构间验证、存在架构偏差导致结果不可靠的问题,研究重新评估12种攻击方法,提出含3种协议的可靠基准,证实对抗迁移性被高估并开源相关资源。
2023-06-14 cs.CV
Boosting the Local Invariance for Better Adversarial Transferability
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
本文提出LI-Boost方法,通过提升对抗扰动的局部不变性来增强模型间对抗迁移性,实验表明其在多种攻击类型上均有效。
2026-10-09 cs.CV
Towards Transferable Unrestricted Adversarial Examples with Minimum Changes
Peking University(北京大学);University of Waterloo(滑铁卢大学)
基于转移的对抗示例是最重要的一类黑盒攻击。然而,在对抗性扰动的可转移性和不可感知性之间存在权衡。在这个方向上的先前工作通常需要固定但大的$\ell_p$范数扰动预算以达到良好的传输成功率,从而导致可感知的对抗性扰动。另一方面,目前大多数旨在生成语义保持扰动的无限制对抗攻击都存在向目标模型的可转移性较弱的问题。在这项工作中,我们提出了一个几何感知框架,以生成具有最小变化的可转移对抗性示例。类似于统计机器学习中的模型选择,我们利用验证模型来选择$\ell_{\infty}$范数和无限制威胁模型下每个图像的最佳扰动预算。我们提出了一种原则性的方法,通过鼓励组内多样性,同时惩罚组外相似性来划分训练和验证模型。大量实验验证了我们的框架在平衡精心制作的对抗性示例的不可感知性和可移植性方面的有效性。该方法是我们参加CVPR'21 Security AI Challenger的基础:ImageNet上的无限制对抗攻击,我们在1,559个团队中排名第一,并在最终得分和平均图像质量水平方面分别超过亚军4.59%和23.91%。代码可在https://github.com/Equationliu/GA-Attack上获得。
2022-12-27 cs.CV
Improving Visual Quality and Transferability of Adversarial Attacks on Face Recognition Simultaneously with Adversarial Restoration
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
提出对抗修复(AdvRestore)方法,利用人脸修复潜扩散模型同时提升对抗人脸样本的视觉质量与可迁移性,实验验证其有效性。
2024-03-19 cs.CV
Transfer Attack for Bad and Good: Explain and Boost Adversarial Transferability across Multimodal Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));University of Oxford(牛津大学);Drexel University(德雷塞尔大学);Beijing University of Technology(北京理工大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Xi’an Jiaotong University(西安交通大学)
本文分析多模态大语言模型间对抗迁移性的关键因素,提出AIP和TATM两种语义级数据增强方法以提升对抗样本迁移性,并通过有害内容插入与信息保护任务验证其现实影响。
2025-07-21 cs.CV
Face Transfer with Generative Adversarial Network
Shanghai Jiao Tong University(上海交通大学)
面部转移由源演员在目标视频中动画化角色的面部表演。传统的方法通常基于人脸建模。提出了一种基于生成对抗网络的端到端人脸传输方法。具体来说,我们利用CycleGAN生成目标角色的面部图像,并具有相应的头部姿势和面部表情。为了提高生成视频的质量,我们采用了PatchGAN,并探讨了不同感受野大小对生成图像的影响。
2017-10-17 cs.CV
Unsupervised Visual Attribute Transfer with Reconfigurable Generative Adversarial Networks
SK T-Brain
学习传递视觉属性需要监督数据集。学习传递函数需要具有相同身份的不同属性值的对应图像。这在很大程度上限制了它们的应用,因为捕获它们通常是一项艰巨的任务。为了解决这个问题,我们提出了一个无监督的方法来学习转移视觉属性。所提出的方法可以学习的传递函数没有任何对应的图像。通过对多个无监督属性迁移任务的可视化结果进行检验,验证了该方法的有效性。
2017-07-31 cs.CV
Rethinking Model Ensemble in Transfer-based Adversarial Attacks
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院);RealAI
本文重新审视迁移对抗攻击中的模型集成,从损失景观平坦性和局部最优邻近性定义共同弱点,并提出CWA以显著提升对抗样本跨模型迁移与黑盒攻击能力。
2024-03-04 cs.CV
Evolvement Constrained Adversarial Learning for Video Style Transfer
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);JD Finance AI Lab(京东金融人工智能实验室);GE Global Research(通用电气全球研究中心)
视频风格转移对于诸如增强现实、非真实感渲染和交互式游戏之类的应用是有用的组件。许多现有的方法使用光流来保持合成视频的时间平滑性。然而,光流的估计对遮挡和快速运动敏感。因此,在这项工作中,我们引入了一种新的进化同步损失计算的进化,以取代光流。使用这种进化同步损失,我们建立了一个对抗学习框架,称为视频风格传输生成对抗网络(VST-GAN),它改进了MGAN图像风格传输方法,以实现更有效的视频风格传输。我们对我们的方法进行了广泛的实验评估,并显示了对最先进方法的定量和定性改进。
2018-11-06 cs.CV
TRAIL: Transferable Robust Adversarial Images via Latent diffusion
Tongji University(同济大学);Microsoft Research Asia(微软亚洲研究院)
TRAIL提出一种基于潜在扩散的测试时自适应框架,通过更新扩散U-Net权重以对齐对抗特征分布,生成可迁移的鲁棒对抗图像,显著提升跨模型攻击可迁移性。
2025-05-22 cs.CV
Beyond Deceptive Flatness: Dual-Order Solution for Strengthening Adversarial Transferability
School of Cyber Science and Engineering(网络安全科学与工程学院);College of Electronics and Information Engineering(电子信息工程学院);Company of Frost Drill Intellectual Software Pte. Ltd(冰钻智能软件私人有限公司);School of Future Technology(未来技术学院)
针对欺骗性平坦导致对抗迁移性次优的问题,提出基于双阶信息的AFA攻击与MCAS采样方法,有效提升对抗样本在未知模型及API上的迁移能力。
2025-11-03 cs.CV
An Image Is Worth 1000 Lies: Adversarial Transferability across Prompts on Vision-Language Models
University of Oxford(牛津大学)
针对视觉语言模型依赖提示适应任务的特点,提出跨提示攻击(CroPA),利用可学习提示更新视觉扰动,显著提升对抗样本跨提示的迁移性,并在Flamingo、BLIP-2和InstructBLIP上验证有效性。
2024-03-14 cs.CV
Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack
University of Chinese Academy of Sciences(中国科学院大学);Northeastern University(东北大学);Sun Yat-sen University(中山大学)
提出语义对齐对抗演化三角形方法,通过采样对抗轨迹上的历史与当前样本增强多样性,并在语义子空间生成对抗样本,以提高视觉语言模型攻击的迁移性。
2024-11-04 cs.CV
LFAA: Crafting Transferable Targeted Adversarial Examples with Low-Frequency Perturbations
The Chinese University of Hong Kong(香港中文大学)
本文提出 LFAA,通过条件生成器生成目标对抗扰动并加入图像低频分量,以利用高频脆弱性提升目标对抗样本的跨模型迁移率。
2023-11-01 cs.CV
Shape-aware Generative Adversarial Networks for Attribute Transfer
Kansas State University(堪萨斯州立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
生成对抗网络(GANs)已成功应用于许多领域的视觉属性传输,包括人脸图像。这一成功部分归因于人脸具有相似的形状以及眼睛,鼻子和嘴巴的位置在不同的人之间是固定的。当源域和目标域共享不同的形状时,属性传递更具挑战性。在本文中,我们介绍了一个形状感知的GAN模型,能够保持形状时,属性转移,并提出其应用到一些现实世界的领域。与其他最先进的基于GAN的图像到图像翻译模型相比,我们提出的模型能够生成更具视觉吸引力的结果,同时保持迁移学习的结果质量。
2020-10-11 cs.CV
Adaptive Image Transformations for Transfer-based Adversarial Attack
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Intelligent Computing Technology, Suzhou, CAS(中国科学院苏州智能计算技术研究所)
对抗攻击为研究深度学习模型的鲁棒性提供了一种很好的方法。基于迁移的黑盒攻击中的一类方法利用多个图像变换操作来提高对抗样本的迁移性,虽然有效,但没有考虑到输入图像的具体特征。在这项工作中,我们提出了一种新的架构,称为自适应图像变换学习器(AITL),它将不同的图像变换操作合并到一个统一的框架中,以进一步提高对抗性示例的可移植性。与现有作品中使用的固定组合变换不同,我们精心设计的变换学习器自适应地选择特定于输入图像的图像变换的最有效组合。在ImageNet上进行的大量实验表明,我们的方法在各种设置下显着提高了正常训练模型和防御模型的攻击成功率。
2022-09-28 cs.CV
Harnessing the Computation Redundancy in ViTs to Boost Adversarial Transferability
University of Rochester(罗切斯特大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本研究探究ViTs中的计算冗余对对抗迁移性的影响,提出利用数据级与模型级冗余的技术(如注意力操纵、幽灵MoE多样化等),在ImageNet-1k上验证其在迁移性和通用性上显著优于现有基线。
2025-11-15 cs.CV
GraphRectify: Graph-Based Transfer of Adversarial Example Detectors Across Neural Networks
University of New Brunswick(新不伦瑞克大学)
GraphRectify通过图结构学习分类器中间特征表示,实现对抗样本检测器在不同骨干网络间的有效迁移,在多数情况下优于从头训练,尤其在不同架构家族间迁移时增益显著。
2026-10-08 cs.CV
Improving the Transferability of Adversarial Examples with Restructure Embedded Patches
Beijing Institute of Technology(北京理工大学)
视觉Transformer(ViTs)在各种计算机视觉任务中表现出令人印象深刻的性能。然而,由ViTs生成的对抗性示例很难转移到具有不同结构的其他网络。现有的攻击方法没有考虑ViTs结构和自注意力机制的特殊性,导致ViTs生成的对抗样本的可移植性差。我们通过重构输入的嵌入补丁来攻击ViTs中独特的自我注意力机制。重构后的嵌入贴片使自我注意力机制能够获得更多样的贴片连接,并帮助ViT保持对象上的感兴趣区域。因此,我们提出了一种针对ViTs中独特的自我注意力机制的攻击方法,称为自我注意补丁重组(SAPR)。我们的方法是简单的实现,但有效的,适用于任何自注意力为基础的网络和梯度转移为基础的攻击方法。我们评估了不同结构的黑盒模型上的攻击可转移性。结果表明,我们的方法在白盒ViTs上生成的对抗性示例具有更高的可移植性和更高的图像质量。我们的研究推进了对ViTs的黑盒传输攻击的发展,并证明了使用白盒ViTs攻击其他黑盒模型的可行性。
2022-04-27 cs.CV
Transferable Physical-World Adversarial Patches Against Object Detection in Autonomous Driving
Huazhong University of Science(华中科技大学)
本文提出AdvAD方法,通过统一框架优化多检测模型的对抗性补丁,提升其在不同架构中的鲁棒性和转移性,实验表明其在性能和可转移性上优于现有方法。
2026-04-25 cs.CV
Feature Importance-aware Transferable Adversarial Attacks
Zhejiang University(浙江大学);Wuhan University(武汉大学);Adobe Research(奥多比研究院)
对抗性示例的可转移性对于攻击未知模型至关重要,这有助于在更实际的场景中进行对抗攻击,例如,黑盒攻击现有的可转移攻击倾向于通过不加区别地扭曲特征来制作对抗性示例,以降低源模型中的预测准确性,而不知道图像中对象的内在特征。我们认为,这种暴力退化会将模型特定的局部最优引入对抗性示例,从而限制了可移植性。相比之下,我们提出了特征重要性感知攻击(FIA),它破坏了重要的对象感知特征,这些特征一直主导着模型决策。更具体地说,我们通过引入聚合梯度来获得特征重要性,该聚合梯度相对于源模型的特征图对梯度进行平均,该梯度是在原始干净图像的一批随机变换上计算的。梯度将与感兴趣的对象高度相关,并且这种相关性在不同模型之间呈现不变性。此外,随机变换将保留对象的内在特征并抑制模型特定的信息。最后,特征重要性指导搜索对抗性示例,以破坏关键特征,实现更强的可移植性。广泛的实验评估表明,所提出的FIA,即,与最先进的可转移攻击相比,对正常训练模型的成功率提高了9.5%,对防御模型的成功率提高了12.8%。代码可在:https://github.com/hcguoO0/FIA
2022-02-24 cs.CV
Adversarial Example Soups: Improving Transferability and Stealthiness for Free
Information Engineering University(信息工程大学);School of Cyber Science and Engineering, Xi’an Jiaotong University(西安交通大学网络空间安全学院)
本文提出对抗样本汤(AES)方法,通过平均优化过程中被丢弃的次优对抗样本,在不增加推理时间下提升对抗样本的可迁移性与隐蔽性,最高提升13%攻击成功率。
2025-04-02 cs.CV
Towards Transferable Adversarial Attack against Deep Face Recognition
Beijing University of Posts and Telecommunications(北京邮电大学)
由于深度学习方法的发展,人脸识别在最近五年取得了巨大的成功。然而,已经发现深度卷积神经网络(DCNN)容易受到对抗性示例的影响。特别是,可转移对抗性示例的存在可能严重阻碍DCNN的鲁棒性,因为这种类型的攻击可以以完全黑盒的方式应用,而无需对目标系统进行查询。在这项工作中,我们首先研究了可转移的对抗攻击在人脸识别中的特点,通过显示的优势,特征级的方法比标签级的方法。然后,为了进一步提高特征级对抗示例的可移植性,我们提出了DFANet,这是一种用于卷积层的基于丢弃的方法,它可以增加代理模型的多样性并获得类似集合的效果。在各种训练数据库、损失函数和网络结构的最新人脸模型上进行的大量实验表明,该方法可以显着增强现有攻击方法的可移植性。最后,通过将DFANet应用于LFW数据库,我们生成了一组新的对抗性人脸对,可以成功攻击四个商业API,而无需任何查询。这个TALFW数据库可用于促进深度人脸识别的鲁棒性和防御的研究。
2020-11-23 cs.CV
Boosting Transferability in Vision-Language Attacks via Diversification along the Intersection Region of Adversarial Trajectory
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Nankai University(南开大学);Nanyang Technological University(南洋理工大学)
针对现有视觉-语言对抗攻击方法易过拟合受害模型、可迁移性受限的问题,提出沿对抗轨迹交叉区域多样化、文本引导样本选择及对抗文本偏离策略,有效提升了跨VLP模型和下游任务的攻击可迁移性。
2024-07-14 cs.CV
SegTrans: Transferable Adversarial Examples for Segmentation Models
School of Cyber Science and Engineering, Huazhong University of Science and Technology(电子科学与工程学院,华中科技大学);School of Computer Science and Technology, Huazhong University of Science and Technology(计算机科学与技术学院,华中科技大学);School of Software Engineering, Huazhong University of Science and Technology(软件工程学院,华中科技大学);School of Information and Communication Technology, Griffith University(信息与通信技术学院,格里菲斯大学)
本文提出了一种新颖的迁移攻击框架SegTrans,通过将输入样本划分为多个局部区域并重映射其语义信息以生成增强样本,仅利用局部语义信息优化扰动,显著提升了对抗样本在不同分割模型间的迁移成功率,同时大幅提高了计算效率。
2025-10-10 cs.CV
Rethinking the Backward Propagation for Adversarial Transferability
Huawei Singular Security Lab(华为奇异安全实验室);School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
针对非线性层在反向传播中截断梯度导致对抗迁移性下降的问题,提出Backward Propagation Attack(BPA)方法,通过改进ReLU和max-pooling的导数以减少信息损失,显著提升了对抗样本的迁移性。
2023-11-21 cs.CV
Logit Margin Matters: Improving Transferable Targeted Adversarial Attack by Logit Calibration
Xiamen University(厦门大学);University of Trento(特伦托大学)
以前的工作已经广泛研究了非目标黑盒场景中对抗样本的可转移性。然而,它仍然是具有挑战性的工艺有针对性的对抗性的例子比非目标的更高的可转移性。最近的研究表明,由于梯度消失的问题,传统的交叉熵(CE)损失函数不足以学习可转移的目标对抗样本。在这项工作中,我们提供了一个全面的调查CE损失函数,并发现目标和非目标类之间的logit利润率将迅速获得饱和CE,这在很大程度上限制了可转移性。因此,在本文中,我们致力于不断增加的logit裕度沿优化的目标,以处理饱和问题,并提出了两个简单而有效的logit校准方法,这是通过降尺度的logits与温度因子和自适应裕度,分别实现。这两种方法都能有效地鼓励优化,以产生更大的logit裕度,并导致更高的可转移性。此外,我们还证明了最小化对抗性样本与目标类的分类器权重之间的余弦距离可以进一步提高可转移性,这得益于通过L2归一化进行的降尺度logits。在ImageNet数据集上进行的实验验证了所提出方法的有效性,在黑盒攻击中优于最先进的方法。源代码可从\href{https://github.com/WJJLL/Target-Attack/}{Link}获得
2023-03-07 cs.CV
Adversarial Transfer Learning for Cross-domain Visual Recognition
Chongqing University(重庆大学)
在许多实际的视觉识别场景中,源域和目标域的特征分布一般是不同的,这就导致了一般跨域视觉识别问题的出现。为了解决视觉域不匹配的问题,提出了一种新的半监督对抗性迁移学习方法,称为耦合对抗性迁移领域自适应(CatDA),用于两个域之间的分布对齐。所提出的CatDA方法受到cycleGAN的启发,但利用了多个浅层多层感知器(MLP)而不是深层网络。具体来说,我们的CatDA由两个对称和苗条的子网络组成,这样就形成了耦合对抗学习框架。利用两个发生器的这种对称性,来自源/目标域的输入数据可以被馈送到MLP网络中用于目标/源域生成,由两个面向对抗的耦合鉴别器监督。值得注意的是,为了避免在领域对抗训练期间特征提取函数的高容量的关键缺陷,在每个生成器中提出了领域特定损失和领域知识保真度损失,使得所提出的传递网络的有效性得到保证。此外,与cycleGAN的本质区别在于,我们的方法旨在为领域自适应和迁移学习生成域不可知和对齐的特征,而不是合成逼真的图像。我们在一些基准数据集上进行了实验,所提出的方法在最先进的领域自适应和迁移学习方法上取得了有竞争力的性能。
2019-12-24 cs.CV
Cycle-consistent Generative Adversarial Networks for Neural Style Transfer using data from Chang'E-4
Iris Lunar Rover(虹膜月球车);Carnegie Mellon(卡内基梅隆大学)
生成对抗网络(GANs)在计算机视觉中有着巨大的应用。然而,在空间科学和行星探索方面,重大进展的大门是敞开的。我们介绍了处理嫦娥四号任务行星数据的工具,并提出了一个使用渲染图像的周期一致性进行神经风格转换的框架。这些实验是在Iris Lunar Rover的背景下进行的,Iris Lunar Rover是一种纳米漫游车,将于2021年部署在月球地形中,作为卡内基梅隆大学的旗舰,是美国第一个登上月球的无人漫游车。
2020-11-23 cs.CV
Disentangled Makeup Transfer with Generative Adversarial Network
Shanghai Jiao Tong University(上海交通大学)
脸部化妆转移是一种广泛使用的技术,其目的是将化妆风格从参考脸部图像转移到非化妆脸部。现有的文献利用对抗损失,使生成的脸是高质量的和真实的,但只能产生固定的输出。受解纠缠表示最新进展的启发,本文提出了DMT(解纠缠化妆转移),一个统一的生成对抗网络,以实现不同的化妆转移场景。我们的模型包含一个身份编码器,以及化妆编码器解开个人身份和化妆风格的任意人脸图像。基于两个编码器的输出,解码器被用来重建原始人脸。我们还应用了一个识别器来区分真实的面孔和虚假的面孔。因此,我们的模型不仅可以从一个或多个参考人脸图像的化妆风格转移到一个非化妆的脸与可控的强度,但也产生各种输出的风格采样从先验分布。大量的实验表明,我们的模型是优于现有的文献,通过生成高质量的结果,为不同的情况下化妆转移。
2019-07-02 cs.CV
Efficient Adversarial Training with Transferable Adversarial Examples
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
对抗性训练是保护分类模型免受对抗攻击的有效防御方法。然而,这种方法的一个局限性是,由于在训练期间生成强对抗性示例的成本很高,它可能需要几个数量级的额外训练时间。在本文中,我们首先证明了在同一个训练过程中,来自相邻时期的模型之间具有很高的可移植性,即,来自一个时期的对抗性示例在随后的时期中继续是对抗性的。利用这一特性,我们提出了一种新的方法,可转移对抗性示例的对抗性训练(ATTA),它可以增强训练模型的鲁棒性,并通过历元积累对抗性扰动来大大提高训练效率。与最先进的对抗训练方法相比,ATTA在CIFAR 10上将对抗准确率提高了7.2%,在MNIST和CIFAR 10数据集上需要的训练时间减少了12~ 14倍,模型鲁棒性相当。
2020-07-02 cs.CV cs.LG
Bag of Tricks to Boost Adversarial Transferability
Huazhong University of Science and Technology(华中科技大学)
本文提出一系列技巧(如动量初始化、调度步长、双示例、频谱输入变换和集成策略)以提升对抗样本在不同模型间的可迁移性,并在ImageNet上验证了其有效性。
2024-07-20 cs.CV cs.LG
Uncovering the Connections Between Adversarial Transferability and Knowledge Transferability
the University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
知识可转移性或迁移学习已被广泛采用,以允许源域中的预训练模型有效地适应目标域中的下游任务。因此,探讨和了解影响知识转移的因素是非常重要的。本文首先分析和论证了知识可转移性与另一个重要现象--对抗性可转移性(\emph{i.e.})之间的关系,即针对一个模型生成的对抗性实例可以转移到其他模型上进行攻击。我们的理论研究表明,对抗性转移表明知识转移,反之亦然。此外,基于理论的见解,我们提出了两个实用的对抗性可转移性指标来表征这一过程,作为对抗性和知识可转移性之间的双向指标。我们在不同的数据集上针对不同的场景进行了广泛的实验,显示了对抗性可转移性和知识可转移性之间的正相关性。我们的研究结果将有助于未来有效知识迁移学习和对抗性迁移分析的研究。
2021-07-08 cs.AI cs.CV cs.LG
Boosting Adversarial Transferability with Spatial Adversarial Alignment
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学);College of Computer Science and Artificial Intelligence, Fudan University(计算机科学与人工智能学院,复旦大学);China Southern Power Grid Artificial Intelligence Technology Co., Ltd.(中国南方电网人工智能技术有限公司);School of Computer Science, Peking University(北京大学计算机学院);vivo Mobile Communication Co., Ltd.(vivo移动通信有限公司)
提出空间对抗对齐(SAA)方法,通过空间与对抗感知对齐微调替代模型,增强对抗样本跨架构(如CNN到ViT)的可迁移性,实验验证其在ImageNet上的有效性。
2025-10-24 cs.CR cs.CV
Improving the Transferability of Adversarial Examples via Direction Tuning
Qingdao University(青岛大学)
本文提出方向调优攻击,通过在大步长下减小更新偏差并在小步长下缓解更新振荡,同时结合网络剪枝平滑决策边界,显著提升了对抗样本在多个模型上的可迁移性。
2023-08-11 cs.CV cs.LG
Generating Adversarial Examples with Better Transferability via Masking Unimportant Parameters of Surrogate Model
Tsinghua University(清华大学);RealAI(瑞莱智慧)
本文提出通过掩蔽代理模型中不重要参数(MUP)来精炼预训练模型,从而提升基于迁移攻击所生成对抗样本的迁移性,并可结合现有梯度优化器进一步增强攻击效果。
2023-04-14 cs.CR cs.CV cs.LG
NeRFTAP: Enhancing Transferability of Adversarial Patches on Face Recognition using Neural Radiance Fields
Nanjing University(南京大学)
本文提出NeRFTAP攻击方法,利用基于NeRF的3D-GAN生成新视角人脸图像并结合风格一致性损失,同时提升对抗补丁向FR模型和受害者人脸图像的迁移性,实验证明其优于现有攻击技术。
2023-11-29 cs.CR cs.CV
Common Knowledge Learning for Generating Transferable Adversarial Examples
Beihang University(北京航空航天大学);University of Macau(澳门大学)
针对不同DNN架构间对抗样本迁移性差的问题,提出公共知识学习框架,通过多教师知识蒸馏和梯度约束学习通用网络权重,显著提升了黑盒对抗攻击的迁移性。
2023-07-01 cs.CV cs.LG
Transferable Adversarial Face Attack with Text Controlled Attribute
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
本文提出文本控制属性攻击方法TCA$^2$,利用自然语言引导、类别级softmax向量及数据与模型增强策略,结合StyleGAN生成高迁移性的逼真对抗冒充人脸,并在多个数据集和商用系统上验证了有效性。
2025-02-02 cs.AI cs.CV
Query-Free Adversarial Transfer via Undertrained Surrogates
Dartmouth College(达特茅斯学院)
深度神经网络容易受到对抗性样本的影响--在模型输入中添加微小的扰动,导致模型输出错误的预测。我们引入了一种新的方法,通过欠训练产生攻击的代理模型来提高黑盒环境中对抗攻击的效率。使用两个数据集和五个模型架构,我们表明这种方法在架构之间传输良好,并且远远优于最先进的方法。我们解释我们的方法的有效性作为一个功能的减少代理模型损失函数曲率和增加的普遍梯度特性,并表明我们的方法减少了存在的局部损失最大值,阻碍了可转移性。我们的研究结果表明,寻找强单代理模型是一种高效,简单的方法来产生可转移的对抗攻击,这种方法代表了一个有价值的路线,为未来的研究在这一领域。
2020-11-28 cs.CV cs.LG
Transferable Adversarial Attack based on Integrated Gradients
Nanyang Technological University(南洋理工大学)
深度神经网络对对抗性样本的脆弱性引起了社区的极大关注。三种方法,优化标准目标函数,利用注意力地图和平滑决策表面,通常用于制作对抗性示例。通过将这三种方法紧密结合,本文提出了一种新的简单算法TAIG(Transferable Attack based on Integrated Concentrants),该算法能够发现高可转移性的对抗性黑盒攻击样本。与以往的方法使用多个计算项或与其他方法相结合,TAIG集成了三种方法到一个单一的术语。两个版本的TAIG计算其积分梯度的直线路径和随机分段线性路径进行了研究。这两个版本都提供了很强的可移植性,并且可以与以前的方法无缝地协同工作。实验结果表明,TAIG优于国家的最先进的方法。该代码将在https://github.com/yihuang2016/TAIG上提供
2022-05-26 cs.CV cs.LG