Generating Adversarial Examples with Better Transferability via Masking Unimportant Parameters of Surrogate Model
Tsinghua University(清华大学);RealAI(瑞莱智慧)
本文提出通过掩蔽代理模型中不重要参数(MUP)来精炼预训练模型,从而提升基于迁移攻击所生成对抗样本的迁移性,并可结合现有梯度优化器进一步增强攻击效果。
2023-04-14 cs.CR cs.CV cs.LG
Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness
University of Notre Dame(圣母大学)
本研究发现对抗样本生成时小批量大小增加会降低样本有效性,这与梯度消失有关,通过设计特定损失函数可消除该影响,避免低估攻击强度或高估模型鲁棒性。
2023-03-30 cs.CR cs.CV cs.LG
CAG: A Real-time Low-cost Enhanced-robustness High-transferability Content-aware Adversarial Attack Generator
Rutgers University - School of Engineering(罗格斯大学工程学院);MIT-IBM Watson AI Lab, IBM Research(IBM研究院麻省理工学院-IBM沃森人工智能实验室)
尽管深度神经网络(DNN)在许多人工智能领域取得了巨大的成功,但它很容易受到对抗攻击的攻击。对抗攻击是一种通过向合法输入添加不可感知的扰动来引起预期的误分类的方法。研究人员已经开发出多种类型的对抗攻击方法。然而,从实际部署的角度来看,这些方法遭受的几个缺点,如攻击生成时间长,内存成本高,鲁棒性不足和低可移植性。提出了一种基于内容的对抗攻击生成器(CAG),以实现实时的【形】、低成本、增强鲁棒性和高可移植性的对抗攻击。首先,作为一种基于生成模型的攻击,与PGD和C\&W等最先进的攻击相比,CAG在生成对抗性示例方面表现出显着的加速(至少500倍)。CAG只需要一个生成模型就可以对任何目标类进行有针对性的攻击。由于CAG将标签信息编码到可训练的嵌入层中,因此它不同于先前的基于生成模型的对抗攻击,后者针对$n$不同的目标类使用生成模型的$n$不同副本。因此,CAG显著降低了生成对抗性示例所需的内存成本。CAG可以通过在训练过程中整合类激活图信息来生成专注于输入关键区域的对抗性扰动,从而提高CAG攻击对最新对抗性防御的鲁棒性。此外,通过在生成扰动的过程中引入随机丢弃,CAG在黑盒攻击场景中表现出在不同DNN分类器模型之间的高可移植性。在不同数据集和DNN模型上的大量实验已经验证了CAG的实时的【形】、低成本、增强的鲁棒性和高可移植性的优点。
2019-12-16 cs.CR cs.CV
Generating Adversarial Examples with Adversarial Networks
University of California, Berkeley(加州大学伯克利分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Massachusetts Institute of Technology(麻省理工学院)
深度神经网络(DNN)已被发现易受对抗性示例的影响,这些示例是通过向输入添加小幅度扰动而产生的。这样的对抗性示例可能会误导DNN产生对抗性选择的结果。已经提出了不同的攻击策略来生成对抗性示例,但如何生成具有高感知质量和更有效的示例需要更多的研究工作。在本文中,我们提出了AdvGAN来生成具有生成对抗网络(GANs)的对抗示例,它可以学习和近似原始实例的分布。对于AdvGAN,一旦生成器被训练,它就可以为任何实例有效地生成对抗性扰动,从而潜在地加速对抗性训练作为防御。我们在半白盒和黑盒攻击设置中应用AdvGAN。在半白盒攻击中,与传统的白盒攻击相比,在生成器被训练之后不需要访问原始目标模型。在黑盒攻击中,我们动态训练一个蒸馏模型的黑盒模型,并优化相应的发生器。与其他攻击相比,AdvGAN在不同目标模型上生成的对抗示例在最先进的防御下具有较高的攻击成功率。我们的攻击在公开的MNIST黑盒攻击挑战中以92.76%的准确率排名第一。
2019-02-14 cs.CR cs.CV stat.ML
Generating Band-Limited Adversarial Surfaces Using Neural Networks
Technion, Israel Institute of Technology(以色列理工学院)
生成对抗性示例是一种创造噪声的艺术,该噪声被添加到分类神经网络的输入信号中,从而改变网络的分类,同时保持噪声尽可能微弱。虽然该主题在2D领域中得到了很好的研究,但在3D领域中却落后于3D领域,即攻击在3D点云或网格上工作的分类网络,例如,对人的3D扫描的姿势进行分类。到目前为止,绝大多数描述这种机制下的对抗攻击的论文都是通过优化方法进行的。在这份技术报告中,我们提出了一种生成攻击的神经网络。该网络利用PointNet的架构进行了一些修改。虽然我们工作所基于的前几篇文章必须单独优化每个形状,即在没有任何学习的情况下从头开始为每个输入量身定制攻击,但我们试图创建一个统一的模型,可以通过一次向前运行来推导出所需的对抗性示例。
2021-11-14 cs.CR cs.CV cs.LG
NaturalFinger: Generating Natural Fingerprint with Generative Adversarial Networks
Wuhan University(武汉大学)
本文提出NaturalFinger,利用GAN生成自然指纹并对决策差异区域进行标记,在FingerBench上达到0.91 ARUC,超过最优基线17%以上。
2023-05-29 cs.CR cs.CV
CLIP is Strong Enough to Fight Back: Test-time Counterattacks towards Zero-shot Adversarial Robustness of CLIP
University of Trento(特伦托大学);Xi’an Jiaotong University(西安交通大学)
针对CLIP对抗扰动脆弱性,提出无需训练的测试时反攻范式,利用预训练视觉编码器在推理时反击对抗图像,在16个数据集上稳定提升零样本鲁棒性且不损害干净图像性能。
2025-03-05 cs.CV
Adversarial Color Enhancement: Generating Unrestricted Adversarial Images by Optimizing a Color Filter
Radboud University(拉德堡德大学)
我们介绍了一种使用滤色器增强图像的方法,以创建对抗效果,从而欺骗神经网络进行错误分类。我们的方法,对抗性颜色增强(ACE),通过优化颜色过滤器通过梯度下降,生成不受限制的对抗性图像。ACE的新颖之处在于它以透明的方式纳入了图像增强的既定做法。实验结果验证了ACE的白盒对抗能力和黑盒可移植性。一系列的例子证明了ACE产生的图像的感知质量。ACE对最近的工作做出了重要贡献,该工作超越了$L_p$的不可感知性,并专注于产生大的可感知扰动但对人眼保持非可疑的无限制对抗性修改。基于过滤器的对手的未来潜力也在两个方向上进行了探索:用常见的增强实践(例如,Instagram的过滤器)对特定的有吸引力的图像风格和适应ACE图像语义。代码可在https://github.com/ZhengyuZhao/ACE上获得。
2020-08-09 cs.CV
AdvDiff: Generating Unrestricted Adversarial Examples using Diffusion Models
The Hong Kong Polytechnic University(香港理工大学)
针对现有无限制对抗攻击方法生成样本不真实、缺乏理论支撑的问题,提出AdvDiff方法,通过两种对抗引导技术在扩散模型逆向生成过程中实现对抗采样,在攻击性能和生成质量上超越现有最优方法。
2024-07-14 cs.CV cs.LG
Discrete Point-wise Attack Is Not Enough: Generalized Manifold Adversarial Attack for Face Recognition
Eastern Institute for Advanced Study(东方理工高等研究院)
针对点式对抗攻击泛化差易防御的问题,提出广义流形对抗攻击(GMAA),通过将攻击目标从单点扩展至多点并利用连续表情流形,结合双重监督机制,显著提升了对抗样本的泛化能力、攻击效果与视觉质量。
2023-04-08 cs.CV
Generating 3D Adversarial Point Clouds
Shanghai Jiao Tong University(上海交通大学);Facebook AI Research(脸书人工智能研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
众所周知,深度神经网络容易受到对抗性示例的攻击,这些示例是精心制作的实例,会导致模型做出错误的预测。虽然2D图像和CNN的对抗性示例已经得到了广泛的研究,但对点云等3D数据的关注较少。考虑到许多安全关键型3D应用(如自动驾驶),研究对抗性点云如何影响当前的深度3D模型非常重要。在这项工作中,我们提出了几种新的算法来制作对抗PointNet的对抗点云,PointNet是一种广泛使用的用于点云处理的深度神经网络。我们的算法以两种方式工作:对抗点扰动和对抗点生成。对于点扰动,我们可以忽略不计地移动现有的点。对于点生成,我们生成一组独立和分散的点或少量(1-3)具有有意义形状的点簇,如球和飞机,它们可能隐藏在人类的心灵中。此外,我们制定了六个扰动测量指标量身定制的攻击点云,并进行了广泛的实验,以评估所提出的算法的ModelNet 40三维形状分类数据集。总体而言,我们的攻击算法对所有目标攻击的成功率均高于99%
2019-07-12 cs.CR cs.CV cs.LG
Fast Local Attack: Generating Local Adversarial Examples for Object Detectors
Chengdu University of Information Technology(成都信息工程大学);CuraCloud Corporation(库拉云公司);SUNY Albany(纽约州立大学奥尔巴尼分校)
深度神经网络容易受到对抗性样本的攻击。在图像中添加难以察觉的对抗性扰动足以使它们失败。大多数现有研究都集中在攻击图像分类器或基于锚点的对象检测器上,但它们会对整个图像产生全局扰动,这是不必要的。在我们的工作中,我们利用更高层次的语义信息,产生高侵略性的局部扰动锚无对象检测器。因此,它的计算量较小,并实现了较高的黑盒攻击以及转移攻击性能。该方法生成的对抗样本不仅能够攻击无锚点的对象检测器,而且能够转移到攻击基于锚点的对象检测器。
2020-10-27 cs.CV
Generating Image Adversarial Examples by Embedding Digital Watermarks
China University of Geosciences(中国地质大学);University of Melbourne(墨尔本大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出一种基于数字水印的图像对抗样本生成方法,通过改进的DWT和DCT Patchwork算法将水印特征嵌入宿主图像以破坏DNN识别能力,在CIFAR-10上攻击成功率达95.47%且生成高效。
2022-08-03 cs.CR cs.CV
Generating images with recurrent adversarial networks
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学);York University(约克大学)
Gatys et al.(2015)表明,优化像素以匹配卷积网络中的特征与参考图像特征,是渲染高视觉质量图像的一种方法。我们表明,展开这种基于梯度的优化产生了一个经常性的计算,通过增量添加到一个视觉“画布”上创建图像。我们提出了一个受这种观点启发的递归生成模型,并证明它可以使用对抗训练来训练,以生成非常好的图像样本。我们还提出了一种通过让这些网络的生成器和鉴别器相互竞争来定量比较对抗网络的方法。
2016-12-13 cs.CV cs.LG
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University(首尔大学)
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络(GAN)成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型,它揭示了具有多个生成器的图像的复杂结构,其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如,它可以在人脸数据集上训练后,使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的,没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性,通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
Generating Multi-view Adversarial Examples for Visual Geometry Grounded Transformer
Hong Kong Baptist University(香港浸会大学)
本研究针对3D基础模型VGGT的安全漏洞,提出MVAP-G多视角对抗扰动生成器,通过跨视角对抗对齐机制生成一致扰动,可无需迭代优化即可显著降低VGGT性能,为3D视觉系统鲁棒性研究提供了新方向。
2026-08-24 cs.CV
Structure-Preserving Transformation: Generating Diverse and Transferable Adversarial Examples
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tulane University, USA(杜兰大学(美国))
对抗性示例是被设计用于欺骗机器学习模型的扰动输入。针对图像分类的对抗性示例的最新工作集中于直接修改具有微小扰动的像素。所有这些工作中的一个共同要求是恶意扰动应该足够小(由某个p的L_p范数测量),以便人类无法感知它们。然而,小的扰动可能是不必要的限制,并限制了生成的对抗性示例的多样性。此外,基于L_p范数的距离度量忽略了隐藏在图像中对人类感知很重要的重要结构模式。因此,即使在最近的作品中引入了微小的扰动,也常常使对抗性的例子对人类来说不那么自然。更重要的是,它们通常不能很好地转移,因此在攻击黑盒模型时效率较低,特别是对于那些受防御机制保护的模型。在本文中,我们提出了一种结构保持变换(SPT),用于生成具有极高可移植性的自然和多样的对抗性示例。我们的方法的关键思想是允许在对抗性示例中出现可感知的偏差,同时保持对人类分类器至关重要的结构模式。在MNIST和Fashion-MNIST数据集上的实证结果表明,通过我们的方法生成的对抗性示例可以轻松绕过强对抗性训练。此外,它们可以很好地转移到其他目标模型,而不会损失或损失很少的成功攻击率。
2018-12-22 cs.AI cs.CR cs.CV
imdpGAN: Generating Private and Specific Data with Generative Adversarial Networks
IIIT - Delhi(德里印度理工学院)
生成对抗网络(GAN)及其变体在生成合成数据方面显示出有希望的结果。然而,GANs的问题是:(i)学习围绕训练样本进行,模型通常最终会记住它们,因此,损害了单个样本的隐私-当GANs应用于包括个人身份信息的训练数据时,这成为一个主要问题,(ii)生成数据的随机性-无法控制生成样本的特异性。为了解决这些问题,我们提出了imdpGAN -一个信息最大化差异私有生成对抗网络。它是一个端到端的框架,同时实现隐私保护和学习潜在的表示。通过在MNIST数据集上的实验,我们证明了imdpGAN保护了单个数据点的隐私,并学习了潜在代码来控制生成样本的特异性。我们对数字对进行二进制分类,以显示效用与隐私的权衡。随着我们在框架中增加隐私级别,分类精度会降低。我们还通过实验表明,imdp GAN的训练过程是稳定的,但与其他GAN框架相比,时间增加了10倍。最后,我们将imdpGAN框架扩展到CelebA数据集,以展示如何使用隐私和学习表示来控制输出的特异性。
2020-09-29 cs.AI cs.CR cs.CV
Generating Diverse and Accurate Visual Captions by Comparative Adversarial Learning
University of Washington(华盛顿大学);Microsoft Research(微软研究院);JD AI Research(京东人工智能研究院)
我们研究如何生成字幕,不仅准确地描述图像,但也区分不同的图像。这个问题既基本又有趣,因为大多数机器生成的字幕,尽管在过去几年中取得了惊人的研究进展,但都是以非常单调和无特色的格式表示的。虽然这些字幕通常是准确的,但它们往往缺乏人类语言的重要特征-每个字幕的独特性和不同图像的多样性。为了解决这个问题,我们提出了一种新的条件生成对抗网络,用于在图像中生成不同的字幕。所提出的比较对抗学习框架不是仅在一张图像上估计字幕的质量,而是通过比较图像-字幕联合空间内的一组字幕来更好地评估字幕的质量。通过与人类书写字幕和图像不匹配字幕的对比,字幕生成器有效地利用了人类语言的固有特性,生成了更具鉴别力的字幕。我们表明,我们提出的网络能够在图像中产生准确和多样化的字幕。
2019-03-10 cs.CV
Generating Unrestricted 3D Adversarial Point Clouds
The Hong Kong Polytechnic University(香港理工大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
利用3D点云数据已成为面部识别和自动驾驶等许多领域部署人工智能的迫切需求。然而,3D点云的深度学习仍然容易受到对抗攻击的攻击,例如,迭代攻击、点变换攻击和生成攻击。这些攻击需要将对抗性示例的扰动限制在严格的范围内,从而导致不切实际的对抗性3D点云。在本文中,我们提出了一个对抗图卷积生成对抗网络(AdvGCGAN)从头开始生成视觉上逼真的对抗3D点云。具体来说,我们使用一个图卷积生成器和一个带有辅助分类器的卷积器来生成逼真的点云,它从真实的3D数据中学习潜在的分布。在GAN的特殊对抗训练中加入了无限制的对抗攻击损失,使生成器能够生成对抗样本来欺骗目标网络。实验结果表明,与现有的攻击方法相比,本文提出的无限制对抗攻击方法具有更高的攻击成功率和更好的视觉效果。此外,所提出的AdvGCGAN可以实现更好的性能对防御模型和更好的可移植性比现有的攻击方法具有较强的伪装。
2021-11-19 cs.CV eess.IV
Generating Clear Images From Images With Distortions Caused by Adverse Weather Using Generative Adversarial Networks
我们提出了一种方法来改善计算机视觉任务的图像受不利的天气条件,包括附着雨滴造成的失真。克服将计算机视觉应用于受恶劣天气条件影响的图像的挑战对于使用RGB摄像头的自动驾驶汽车至关重要。为此,我们训练了一个适当的生成对抗网络,并证明了它在图像重建和计算机视觉任务的背景下有效地消除了失真的影响。我们发现,物体识别是自动驾驶车辆的一项重要任务,它完全受到粘附雨滴造成的扭曲和遮挡的影响,并且可以通过我们的去雨模型恢复性能。本文所描述的方法可以适用于所有不利的天气条件。
2022-11-01 cs.CV
Generating Out of Distribution Adversarial Attack using Latent Space Poisoning
Bharati Vidyapeeth’s College of Engineering(巴拉蒂维迪佩斯工程学院);IIT Delhi(印度理工学院德里分校)
传统的对抗攻击依赖于由来自网络的梯度生成的扰动,这些扰动通常由梯度引导搜索来保护,以向网络提供对抗对应物。在本文中,我们提出了一种新的生成对抗性示例的机制,其中实际图像没有被损坏,而是利用其潜在空间表示来篡改图像的固有结构,同时保持感知质量不变,并作为合法的数据样本。与基于梯度的攻击相反,潜在空间中毒利用分类器对训练数据集的独立和相同分布进行建模的倾向,并通过产生分布样本来欺骗它。我们训练一个解开的变分自编码器(β-VAE)来模拟潜在空间中的数据,然后我们使用类条件分布函数添加噪声扰动的潜在空间的约束下,它是错误分类的目标标签。我们在MNIST,SVHN和CelebA数据集上的实证结果验证了生成的对抗性示例可以很容易地欺骗使用可证明的鲁棒防御机制设计的鲁棒l_0,l_2,l_inf范数分类器。
2022-03-05 cs.CV cs.LG
Generating Unrestricted Adversarial Examples via Three Parameters
Sharif University of Technology(谢里夫理工大学)
深度神经网络已被证明容易受到故意构建的对抗性示例的影响,这些示例用于对受害者模型进行错误分类。由于大多数对抗性示例都将其扰动限制在$L_{p}$ -范数范围内,因此现有的防御方法都集中在这些类型的扰动上,而对不受限制的对抗性示例关注较少;这些示例可以创建更真实的攻击,能够欺骗模型而不影响人类预测。为了解决这个问题,所提出的对抗攻击生成一个不受限制的对抗的例子,具有有限数量的参数。该攻击在输入图像上选择三个点,并根据它们的位置将图像转换为对抗性示例。通过限制这三个点的移动范围和位置,并使用判别网络,所提出的无限制对抗性示例保留了图像外观。实验结果表明,在MNIST和SVHN数据集上,所提出的对抗性示例在人类评估方面的平均成功率为93.5%。它还将MNIST,FMNIST,SVHN,CIFAR 10,CIFAR 100和ImageNet六个数据集的模型准确性平均降低了73%。应该注意的是,在攻击的情况下,受害者模型中的较低准确度表示更成功的攻击。攻击的对抗性训练也提高了模型对随机变换图像的鲁棒性。
2021-03-13 cs.CV cs.LG
Structure Matters: Towards Generating Transferable Adversarial Images
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tulane University(杜兰大学)
最近的工作对抗的图像分类的例子集中在直接修改像素与微小的扰动。施加小扰动要求是为了确保生成的对抗性示例对人类来说是自然和现实的,然而,这限制了攻击空间,从而限制了攻击能力和可移植性,特别是对于受防御机制保护的系统。在本文中,我们提出了结构模式和结构感知扰动的新概念,放松了小扰动约束,同时仍然保持图像的自然。我们的方法的关键思想是允许在对抗性示例中出现可感知的偏差,同时保持对人类分类器至关重要的结构模式。基于这些概念,我们提出了一个\emph{structure-preserving attack (SPA)},用于生成具有极高可移植性的自然对抗性示例。在MNIST和CIFAR10数据集上的实验结果表明,SPA在白盒和黑盒环境下都表现出很强的攻击能力,即使采取了防御措施。而且,融合了PGD或CW攻击,在白盒设置下攻击能力大幅提升,又不失SPA继承的优秀可移植性。
2020-08-14 cs.CV cs.LG
Generating Transferable and Stealthy Adversarial Patch via Attention-guided Adversarial Inpainting
Hong Kong Polytechnic University(香港理工大学);Hunan University(湖南大学)
针对现有对抗补丁易察觉、跨模型迁移性弱的问题,提出两阶段Adv-Inpainting攻击方法,通过注意力引导融合特征并优化补丁,实现了更隐蔽、可迁移性更强的人脸识别对抗攻击。
2023-10-01 cs.AI cs.CV
The Missing Data Encoder: Cross-Channel Image Completion\\with Hide-And-Seek Adversarial Network
Sorbonne Université(索邦大学)
图像补全是从片段生成完整图像的问题。它包括修复(在给定其周围的情况下生成一个补丁),反向修复/外推(在给定中心补丁的情况下生成外围)以及着色(在给定其他通道的情况下生成一个或多个通道)。在本文中,我们使用深度网络来执行图像完成,具有对抗性训练以及感知和完成损失,并将其称为“缺失数据编码器”(MDE)。我们考虑几种配置的基础上如何选择的种子片段。我们表明,训练MDE的“随机外推和着色”(MDE-REC),即使用随机通道独立的片段,可以更好地捕捉图像的语义和几何形状。MDE训练利用了一种新的“隐藏和寻找”对抗性损失,其中搜索器寻找原始的非掩蔽区域,而生成器试图隐藏它们。我们在几个数据集上定性和定量地验证了我们的模型,显示了他们对图像完成,无监督表示学习以及面部遮挡处理的兴趣。
2019-05-06 cs.CV
Patch is Enough: Naturalistic Adversarial Patch against Vision-Language Pre-training Models
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);National University of Singapore(新加坡国立大学);Guangdong Testing Institute of Product Quality Supervision(广东省产品质量监督检验研究院)
针对视觉语言预训练模型,提出仅用图像补丁进行自然对抗攻击的方法,利用扩散模型先验和交叉注意力优化补丁放置,实现100%攻击成功率。
2024-10-07 cs.AI cs.CV
Generating Diffusion MRI scalar maps from T1 weighted images using generative adversarial networks
Linköping University(林雪平大学);Center for Medical Image Science and Visualization (CMIV)(医学影像科学与可视化中心(CMIV));Lund University(隆德大学)
扩散磁共振成像(扩散MRI)是一种非侵入性的微观结构评估技术。量化微结构组织性质的标量测量,诸如FA(分数各向异性)和MD(平均扩散率),可以使用扩散模型和数据处理流水线来获得。然而,收集高质量的扩散数据是昂贵且耗时的。因此,在这里,我们演示了如何使用生成对抗网络(GANs)在单个优化步骤中从结构T1加权图像生成合成扩散标量度量。具体来说,我们训练流行的CycleGAN模型来学习将T1图像映射到FA或MD,反之亦然。作为一个应用程序,我们表明,合成FA图像可以用作非线性配准的目标,以纠正扩散MRI中常见的几何失真。
2019-04-09 cs.CV
PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管深度神经网络(DNN)在基于视觉的自动驾驶系统中得到了广泛应用,但它们被发现容易受到对抗攻击的攻击,在测试期间对输入的小幅度扰动会导致输出的剧烈变化。虽然最近的大多数攻击方法都针对数字世界的对抗场景,但目前还不清楚它们在物理世界中的表现,更重要的是,这些方法下产生的扰动将覆盖整个驾驶场景,包括那些固定的背景图像,如天空,使它们不适用于物理世界的实现。我们提出了PhysGAN,它以连续的方式生成物理世界弹性对抗示例,用于误导自动驾驶系统。我们通过广泛的数字和现实世界的评估显示了PhysGAN的有效性和鲁棒性。数字实验表明,PhysGAN对各种转向模型和场景都是有效的,在各种场景下,平均转向角的误导高达23.06度。现实世界的研究进一步证明,PhysGAN在实践中具有足够的弹性,这会误导平均转向角高达19.17度。我们将PhysGAN与一组最先进的基线方法进行比较,包括我们自行设计的几种方法,这进一步证明了我们方法的鲁棒性和有效性。我们还表明,PhysGAN的性能优于最先进的基线方法。据我们所知,PhysGAN可能是第一种生成现实和物理世界弹性对抗示例的技术,用于攻击常见的自动驾驶场景。
2021-05-11 cs.CV
Generating Structured Adversarial Attacks Using Frank-Wolfe Method
University of Central Florida(中佛罗里达大学);Centre de Recherche INRIA de Paris(法国国家信息与自动化研究所巴黎研究中心)
白盒对抗扰动是通过迭代优化算法生成的,最常见的是通过最小化原始图像的$\ell_p$邻域(所谓的失真集)上的对抗损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里,我们探索几个失真集与结构增强算法。对抗性示例的这些新结构可能会为可证明和经验性的鲁棒机制带来挑战。由于对抗鲁棒性仍然是一个经验领域,防御机制也应该合理地评估不同结构的攻击。此外,这些结构化对抗扰动可以允许比它们的$\ell_p$对应部分更大的失真大小,同时保持不可感知或可感知为图像的自然失真。我们将在这项工作中证明,所提出的结构化对抗性示例可以显着降低对抗性训练分类器的分类准确性,同时显示低$\ell_2$失真率。例如,在ImagNet数据集上,结构化攻击将对抗模型的准确性降低到接近零,只有50%的$\ell_2$失真使用白盒攻击(如PGD)生成。作为副产品,我们在结构化对抗性示例上的发现可以用于模型的对抗性正则化,以使模型更鲁棒或提高其在结构不同的数据集上的泛化性能。
2021-02-15 cs.AI cs.CV cs.LG
A Perceptual Distortion Reduction Framework: Towards Generating Adversarial Examples with High Perceptual Quality and Attack Success Rate
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
当攻击强度相对较高时,大多数对抗攻击方法遭受较大的感知失真,例如可见伪影。这些感知失真包含了对攻击成功率贡献较小的部分。这部分失真是由不必要的修改和缺乏适当的感知失真约束引起的,是所提出的框架的目标。在本文中,我们提出了一个感知失真减少框架,从两个角度来解决这个问题。首先,我们提出了一个感知失真约束,并将其添加到目标函数,以联合优化感知失真和攻击成功率。其次,我们提出了一个自适应惩罚因子$λ$来平衡不同样本之间的差异。由于SGD和Momentum-SGD不能优化我们复杂的非凸问题,我们在优化中利用Adam。大量的实验验证了我们提出的框架的优越性。
2021-10-20 cs.CR cs.CV cs.LG
What Is It Like Down There? Generating Dense Ground-Level Views and Image Features From Overhead Imagery Using Conditional Generative Adversarial Networks
University of California, Merced(加州大学默塞德分校)
本文研究了条件生成对抗网络(cGANs),以克服使用地理标记媒体进行地理发现的基本限制,即其稀疏和不均匀的空间分布。我们训练cGAN以生成给定俯视图像的位置的地面视图。我们展示了“假”地面图像是自然的,并且在结构上与真实图像相似。更重要的是,我们显示生成的图像代表了位置,并且cGAN学习的表示是信息丰富的。特别是,我们表明,使用我们的框架生成的密集的特征地图是更有效的土地覆盖分类比空间插值从稀疏的地面图像中提取的特征的方法。据我们所知,我们是第一个使用cGAN生成地面视图的工作,并探索了学习表示的好处。
2018-09-23 cs.CV
Generating Visually Realistic Adversarial Patch
Huawei Singular Security Lab(华为奇安安全实验室);Chinese University of Hong Kong(香港中文大学)
针对现有对抗补丁视觉突兀的问题,提出 VRAP 攻击,通过真实图像邻域约束、最差位置优化及可打印性增强生成逼真补丁,并在 ImageNet 上验证其数字与物理攻击效果。
2023-12-05 cs.CV
SD-NAE: Generating Natural Adversarial Examples with Stable Diffusion
Duke Kunshan University(昆山杜克大学);Duke University(杜克大学)
本研究提出SD-NAE方法,利用Stable Diffusion通过扰动指定类别token嵌入、以目标分类器损失梯度引导的方式主动合成自然对抗样本,经实验验证可有效生成实用的NAEs,助力模型鲁棒性评估与漏洞识别。
2024-05-14 cs.CV
Generating Adversarial yet Inconspicuous Patches with a Single Image
Nanyang Technological University(南洋理工大学)
深度神经网络已经被证明容易受到对抗补丁的攻击,其中外来模式可能导致模型错误预测。然而,现有的对抗性补丁生成方法很少考虑补丁与图像背景之间的上下文一致性,导致这种补丁很容易被检测到,从而导致对抗攻击失败。另一方面,这些方法需要大量的数据进行训练,这在计算上是昂贵的。为了克服这些挑战,我们提出了一种方法来生成对抗性但不显眼的补丁与一个单一的图像。在我们的方法中,对抗补丁是以一种由粗到细的方式产生的,具有多个尺度的生成器和鉴别器。在Min-Max训练过程中对上下文信息进行编码,以使匹配与环境一致。补丁位置的选择是基于受害者模型的感知灵敏度。通过大量的实验,我们的方法显示出强大的攻击能力,在白盒和黑盒设置。显著性检测实验和用户评价实验表明,该方法能有效地避免人工观察,具有较好的隐蔽性。最后,我们证明了我们的方法保留了物理世界中的攻击能力。
2021-04-21 cs.AI cs.CV
Toward Generating Synthetic CT Volumes using a 3D-Conditional Generative Adversarial Network
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);National Institutes of Health Clinical Center(美国国立卫生研究院临床中心);Networking Health;OpenKneck Inc(OpenKneck公司)
我们提出了一种新的条件生成对抗网络(cGAN)架构,该架构能够从噪声和/或像素化近似中生成体素中的3D计算机断层扫描,并有可能生成完整的合成3D扫描体积。我们认为条件cGAN是一种生成3D CT体积的易处理方法,尽管由于GPU内存限制,生成全分辨率深度伪影的问题目前是不切实际的。我们提出了自动编码器,去噪和去像素化任务的结果,这些任务在两个新的COVID 19 CT数据集上进行了训练和测试。我们的评估指标,峰值信噪比(PSNR)范围从12.53 - 46.46 dB,结构相似性指数(SSIM)范围从0.89到1。
2021-04-02 cs.CV cs.LG eess.IV
One Prompt Word is Enough to Boost Adversarial Robustness for Pre-trained Vision-Language Models
King’s College London(伦敦国王学院);Imperial College London(帝国理工学院)
本文提出APT,通过为冻结的CLIP等VLM学习仅含一个额外词的鲁棒文本提示,在15个数据集和多种数据稀疏设置下显著提升准确率与对抗鲁棒性。
2024-03-04 cs.AI cs.CV cs.LG
ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds
Uber ATG(优步先进技术集团);University of Michigan(密歇根大学);University of Toronto(多伦多大学)
我们引入了ShapeAdv,这是一个新的框架,用于研究反映潜在形状变化的形状感知对抗扰动(例如,几何变形和结构差异)。我们通过利用点云自动编码器的学习潜在空间来开发形状感知的对抗性3D点云攻击,其中对抗性噪声应用于潜在空间。具体来说,我们提出了三种不同的变体,包括一个基于范例的变体,通过辅助数据引导形状变形,使得生成的点云类似于同一类别中对象之间的形状变形。与以前的作品不同,所得到的对抗性3D点云反映了3D点云空间中的形状变化,同时仍然接近原始点云。此外,在ModelNet40基准测试上的实验评估表明,我们的对手更难以用现有的点云防御方法进行防御,并且在分类器之间表现出更高的攻击可转移性。我们的形状感知对抗攻击与现有的基于点云的攻击正交,并揭示了3D深度神经网络的脆弱性。
2020-05-24 cs.CV cs.LG eess.IV
Common Knowledge Learning for Generating Transferable Adversarial Examples
Beihang University(北京航空航天大学);University of Macau(澳门大学)
针对不同DNN架构间对抗样本迁移性差的问题,提出公共知识学习框架,通过多教师知识蒸馏和梯度约束学习通用网络权重,显著提升了黑盒对抗攻击的迁移性。
2023-07-01 cs.CV cs.LG
Adv3D: Generating 3D Adversarial Examples for 3D Object Detection in Driving Scenarios with NeRF
Artificial Intelligence Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)人工智能学科);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科技大学计算机科学与工程学系)
本文提出 Adv3D,首次将对抗样本建模为 NeRF,并通过基元感知采样与语义引导正则化生成可物理实现的 3D 伪装纹理补丁,攻击驾驶场景中的 3D 检测器。
2024-08-06 cs.CV
Adversarial Training for Free!
University of Maryland(马里兰大学);Cornell University(康奈尔大学);United States Naval Academy(美国海军学院)
对抗性训练,即在对抗性样本上训练网络,是少数几种能够抵御强大攻击的对抗攻击防御方法之一。不幸的是,生成强对抗性示例的成本很高,使得标准对抗性训练对于ImageNet等大规模问题来说不切实际。我们提出了一种算法,通过回收更新模型参数时计算的梯度信息来消除生成对抗性示例的开销。我们的“免费”对抗训练算法在CIFAR-10和CIFAR-100数据集上实现了与PGD对抗训练相当的鲁棒性,与自然训练相比,额外成本可以忽略不计,并且可以比其他强对抗训练方法快7到30倍。使用带有4个P100 GPU和2天运行时间的单个工作站,我们可以为大规模ImageNet分类任务训练一个强大的模型,该模型在PGD攻击下保持40%的准确率。该代码可在https://github.com/ashafahi/free_adv_train上获得。
2019-11-20 cs.CR cs.CV cs.LG
Generating Image Sequence from Description with LSTM Conditional GAN
Illinois Institute of Technology(伊利诺伊理工学院)
从文字描述生成图像是一项具有挑战性的任务。生成对抗网络(GANs)被证明能够生成现实生活中物体的逼真图像。在本文中,我们提出了一种新的LSTM条件生成对抗网络的神经网络架构,以生成现实生活中对象的图像。我们提出的模型在Oxford-102 Flowers and Caltech-UCSD Birds-200-2011数据集上进行了训练。我们证明,我们提出的模型产生了更好的结果超过其他国家的最先进的方法。
2018-06-08 cs.CV
A principled approach for generating adversarial images under non-smooth dissimilarity metrics
McGill University(麦吉尔大学)
深度神经网络在现实世界的数据上表现良好,但容易受到对抗性扰动:输入的微小变化很容易导致错误分类。在这项工作中,我们提出了一种攻击方法,不仅用于由$\ell_p$规范测量扰动的情况下,但实际上任何敌对的相异性度量与封闭的近端形式。这包括但不限于$\ell_1, \ell_2$和$\ell_\infty$扰动; $\ell_0$计数“范数”(即,真稀疏);以及总变差范数,其是测量局部像素变化的(非$\ell_p$)卷积相异性。我们的方法是最近的对抗攻击方法的自然扩展,并消除了度量的可微性要求。我们在MNIST、CIFAR 10和ImageNet-1 k数据集上演示了我们的算法ProxLogBarrier。我们考虑不设防和设防模型,并表明我们的算法很容易转移到各种数据集。我们观察到ProxLogBarrier优于许多专门针对$\ell_0$案例的现代对抗攻击。此外,通过改变图像的总变差,我们揭示了一类新的扰动,利用相邻像素信息。
2019-10-08 cs.CV cs.LG stat.ML
Generating Natural Adversarial Examples
University of California(加利福尼亚大学)
由于其复杂的性质,很难描述机器学习模型在部署时可能行为不端或被利用的方式。最近关于对抗性示例的工作,即具有微小扰动的输入导致显著不同的模型预测,有助于通过暴露它们失败的对抗性场景来评估这些模型的鲁棒性。然而,这些恶意扰动通常是不自然的,没有语义意义,并且不适用于复杂的领域,如语言。在本文中,我们提出了一个框架,通过在密集和连续数据表示的语义空间中搜索,利用生成对抗网络的最新进展,生成位于数据流形上的自然且清晰的对抗示例。我们提出了生成的对手,以证明所提出的黑盒分类器的方法的潜力,广泛的应用,如图像分类,文本蕴涵,和机器翻译。我们包括实验表明,生成的对手是自然的,易读的人类,并在评估和分析黑盒分类器有用。
2018-02-23 cs.AI cs.CL cs.CV
ScoreAdv: Score-based Targeted Generation of Natural Adversarial Examples via Diffusion Models
Nanjing University of Science and Technology(南京理工大学);Peking University(北京大学)
尽管深度学习在各个领域都取得了成功,但它仍然容易受到对抗攻击的影响。虽然许多现有的对抗攻击方法实现了高成功率,但它们通常依赖于$\ell_{p}$范数扰动约束,这与人类的感知能力不一致。因此,研究人员将重点转向生成自然的、无限制的对抗性示例(UAE)。基于GAN的方法受到固有限制,例如由于不稳定和模式坍塌导致的图像质量差。同时,扩散模型已被用于UAE生成,但它们仍然依赖于迭代PGD扰动注入,而没有充分利用其中央去噪能力。在本文中,我们介绍了一种新的方法来产生UAE的基础上扩散模型,名为ScoreAdv。该方法结合了一个可解释的对抗性指导机制,逐渐将采样分布向对抗性分布转移,同时使用一个可解释的显着图将参考图像的视觉信息注入到生成的样本中。值得注意的是,我们的方法能够生成无限数量的自然对抗性示例,不仅可以攻击分类模型,还可以攻击检索模型。我们在ImageNet和CelebA数据集上进行了广泛的实验,验证了ScoreAdv在黑盒和白盒设置下的十个目标模型上的性能。我们的研究结果表明,ScoreAdv实现了最先进的攻击成功率和图像质量,同时保持了推理效率。此外,去噪和对抗性扰动之间的动态平衡使ScoreAdv即使在防御措施下也能够保持稳健。
2025-10-30 cs.CV
Editable Generative Adversarial Networks: Generating and Editing Faces Simultaneously
Yonsei University(延世大学)
我们提出了一个新的框架,同时生成和操纵所需属性的人脸图像。虽然最先进的属性编辑技术在创建逼真的属性效果方面取得了令人印象深刻的性能,但它们仅解决图像编辑问题,使用输入图像作为模型的条件。最近,一些研究试图使用单一的解决方案来解决新的人脸生成和属性编辑问题。然而,其图像质量仍然不令人满意。我们的目标是开发一个统一的模型,可以同时创建和编辑具有所需属性的高质量人脸图像。我们的工作的一个关键思想是,我们将图像分解成低维表示的潜在和属性向量,然后利用GAN框架将低维表示映射到图像。通过这种方式,我们可以通过学习生成器来解决生成和编辑问题。对于定性和定量评估,该算法优于最近的算法解决同样的问题。此外,我们表明,我们的模型可以实现具有竞争力的性能与国家的最先进的属性编辑技术的属性编辑质量。
2018-07-20 cs.CV
Towards Face Encryption by Generating Adversarial Identity Masks
Tsinghua University(清华大学);Pazhou Lab(琶洲实验室);RealAI;Alibaba Group(阿里巴巴集团)
随着数十亿的个人数据通过社交媒体和网络共享,数据隐私和安全性越来越受到关注。已经进行了几次尝试来减轻来自面部照片的身份信息的泄漏,例如,图像模糊技术。然而,大多数目前的结果是感知不满意或对人脸识别系统无效。我们在本文中的目标是开发一种技术,可以加密的个人照片,这样他们就可以保护用户未经授权的人脸识别系统,但保持视觉上相同的原始版本的人。为了实现这一点,我们提出了一个有针对性的身份保护迭代法(TIP-IM),以产生对抗性的身份面具,可以覆盖在面部图像,这样,原始身份可以被隐藏,而不牺牲视觉质量。大量的实验表明,TIP-IM提供了95%以上的保护成功率对各种国家的最先进的人脸识别模型在实际的测试场景。此外,我们还展示了我们的方法在商业API服务上的实用性和有效性。
2021-08-16 cs.CR cs.CV cs.LG
Adaptive Generation of Unrestricted Adversarial Inputs
Department of Computer Science, University of Oxford(牛津大学计算机科学系(注:这里按要求提取到大学级别,实际机构是牛津大学,其下的计算机科学系作为所属机构))
神经网络容易受到其输入的逆向构造扰动的影响。到目前为止,大多数研究都考虑了在某些$l_p$范数下的固定大小的扰动。虽然研究这些攻击是有价值的,但人们越来越关注无限制攻击的构建(和鲁棒性),这些攻击不限于所有可能的对抗性输入的一个小的、相当人工的子集。我们引入了一种新的算法来生成这种不受限制的对抗性输入,与以前的工作不同,它是自适应的:它能够将其攻击调整到目标分类器。它还提供了一个400- 2000倍的加速比现有的最先进的。我们证明了我们的方法,通过生成不受限制的对抗性输入,欺骗分类器鲁棒性扰动为基础的攻击。我们还表明,凭借自适应和不受限制,我们的攻击能够击败对抗训练。
2019-10-01 cs.CR cs.CV cs.LG
A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds
University of Texas at Arlington(得克萨斯大学阿灵顿分校)
在本文中,我们介绍了一种新的条件生成对抗网络,它可以以无监督的方式为各类对象创建密集的3D点云。为了克服在高分辨率下捕获复杂细节的困难,我们提出了一个点Transformer,它通过使用图形卷积来逐步增长网络。该网络由一个叶输出层和一组初始分支组成。每次训练迭代都将点向量演化为分辨率不断提高的点云。在固定次数的迭代之后,通过复制最后一个分支来增加分支的数量。实验结果表明,我们的网络能够学习和模仿3D数据分布,并在多个分辨率下生成具有精细细节的彩色点云。
2020-10-12 cs.AI cs.CV cs.LG
Paired 3D Model Generation with Conditional Generative Adversarial Networks
Middle East Technical University(中东技术大学)
生成对抗网络(GANs)被证明在生成包括3D对象模型在内的新的真实样本方面是成功的。条件GAN是GANs的变体,允许在给定条件下生成样本。然而,为每个条件生成的对象是不同的,并且它不允许在不同条件下生成相同的对象。在本文中,我们首先适应条件GAN,这是最初设计的二维图像生成,在不同的旋转生成三维模型的问题。然后,我们提出了一种新的方法来引导网络以不同且可控的旋转角度(样本对)生成相同的3D样本。与以前的研究不同,该方法不需要修改标准的条件GAN架构,它可以集成到任何条件GAN的训练步骤。实验结果和三维模型的视觉比较表明,该方法是成功的,在不同的条件下生成模型对。
2019-03-15 cs.CV
LoGAN: Generating Logos with a Generative Adversarial Neural Network Conditioned on color
Maastricht University(马斯特里赫特大学)
对任何设计师来说,设计一个标志都是一个漫长、复杂和昂贵的过程。然而,生成算法的最新进展提供了可以提供可能解决方案的模型。逻各斯是多模态的,几乎没有范畴属性,也没有连续的潜空间。然而,有条件的生成对抗网络可以用来生成徽标,帮助设计师进行创作。我们建议Logan:改进的辅助分类器Wasserstein生成对抗神经网络(具有梯度惩罚),能够生成以十二种不同颜色为条件的徽标。在生成的768个实例(12个类,每个类64个徽标)中,当查看最突出的颜色时,模型的条件生成部分的总体精度和召回率分别为0.8和0.7。LoGAN的研究结果让人们初步了解了人工智能如何用于帮助设计师进行创作,并开辟了未来有前途的方向,例如包括更多描述性标签,这将提供一个更详尽和易于使用的系统。
2018-10-23 cs.AI cs.CV cs.LG
Breaking Temporal Consistency: Generating Video Universal Adversarial Perturbations Using Image Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出BTC方法,利用图像模型生成视频通用对抗扰动,通过最小化相邻帧特征相似性打破时间一致性,实现对未见视频模型的有效攻击,并在多个数据集上超越现有方法。
2023-11-17 cs.CV
Generating Fundus Fluorescence Angiography Images from Structure Fundus Images Using Generative Adversarial Networks
University of Science and Technology of China(中国科学技术大学);Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences(中国科学院苏州生物医学工程技术研究所);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心);the Third People’s Hospital of Changzhou(常州市第三人民医院)
血管造影可提供视网膜血管结构和功能图,常用于眼科诊断,但这种成像方式可能对患者造成伤害。为了帮助医生降低潜在的诊断风险,采用了图像平移方法。在这项工作中,我们提出了一种基于条件生成对抗网络(GAN)的方法来直接学习结构眼底图像和眼底荧光血管造影图像之间的映射关系。此外,定义每个像素的重要性的局部显著性图被用于定义GAN代价函数中的新显著性损失。这有助于更准确地了解小血管和荧光素渗漏特征。
2020-06-18 cs.CV eess.IV
Are L2 adversarial examples intrinsically different?
Brown University(布朗大学);Beihang University(北京航空航天大学)
深度神经网络(DDN)在各种任务中取得了显著的成功,包括许多涉及安全的场景。然而,大量的工作已经证明了它对对手的脆弱性。通过理论分析,我们揭示了可以从本质上区分对抗性示例和正常输入的属性。也就是说,由$L_2$攻击生成的对抗性示例通常具有较大的输入敏感度,可以用于有效地识别它们。我们还发现,由$L_\infty$攻击生成的那些将在像素域中有足够的不同以凭经验检测。为了验证我们的分析,我们提出了一个\textbf{G}引导的\textbf{C}补充\textbf{D}防御模块(\textbf{GCD})集成检测和恢复过程。与对抗性检测方法相比,我们的检测器对大多数攻击的检测AUC超过0.98。当将我们的引导矫正器与常用的对抗训练方法和其他矫正方法进行比较时,我们的矫正器的性能大大优于它们。我们在MNIST上实现了高达99\%的恢复分类准确率,在CIFAR-10上实现了89\%,在ImageNet子集上实现了87\%的恢复分类准确率。此外,在白盒设置下,我们的整体防御模块显示出良好的鲁棒性。因此,我们确认,至少$L_2$对抗性的例子是从理论上和经验上的正常输入的本质上是不同的。我们揭示了设计简单而有效的防御方法与这些属性。
2020-09-07 cs.CV