Generating Adversarial Disturbances for Controller Verification
Princeton University(普林斯顿大学);Google AI Princeton(谷歌人工智能普林斯顿分部)
我们考虑的问题,产生最大的对抗性干扰的给定控制器假设只有黑箱访问它。我们提出了一种在线学习方法来解决这个问题,\emph{adaptively}产生干扰的控制器选择的控制输入的基础上。干扰发生器的目标是使\emph{regret}相对于基准干扰生成策略类最小化,即,以最大化由控制器引起的成本,以及与最佳可能干扰发生器\emph{in hindsight}(从基准策略类中选择)相比。在设置的动态是线性的,成本是二次的,我们制定我们的问题作为一个在线的信赖域(OTR)问题的记忆,并提出了一个新的在线学习算法(\emph{MOTR})这个问题。我们证明,这种方法的竞争与最好的干扰发生器在事后(选择从一个丰富的类的基准政策,包括线性动态干扰产生的政策)。我们在两个模拟示例上演示了我们的方法:(i)综合生成的线性系统,以及(ii)在AirSim模拟器中为流行的PX 4控制器生成风扰动。在这些例子中,我们证明了我们的方法优于几个基线方法,包括$H_{\infty}$扰动生成和基于梯度的方法。
2022-01-31 cs.LG cs.SY eess.SY
Generating Black-Box Adversarial Examples for Text Classifiers Using a Deep Reinforced Model
MIT Media Lab(麻省理工学院媒体实验室)
最近,生成对抗性示例已经成为衡量深度学习模型鲁棒性的重要手段。对抗性示例帮助我们识别模型的可验证性,并通过应用对抗性训练技术进一步对抗这些漏洞。在自然语言领域,拼写错误或释义形式的小扰动可以彻底改变文本的语义。我们提出了一种基于强化学习的方法,在黑盒设置中生成对抗性的例子。我们证明了我们的方法能够欺骗训练有素的模型(a)IMDB情感分类任务和(b)AG的新闻语料库新闻分类任务,成功率非常高。我们发现生成的对抗性示例是对原始文本的语义保持扰动。
2019-09-17 cs.CL cs.IR cs.LG
Generating Adversarial Attacks in the Latent Space
Chennai Mathematical Institute(金奈数学研究所)
本文提出使用生成对抗网络在潜在特征空间中注入对抗扰动,摆脱了传统输入空间中基于噪声裕度的先验限制,并在多个数据集上验证了该方法生成对抗攻击的有效性与高度的视觉真实性。
2023-04-10 cs.CR cs.CV cs.LG
Generating Natural Adversarial Hyperspectral examples with a modified Wasserstein GAN
University of South Brittany(南布列塔尼大学);CNRS(法国国家科学研究中心);IRISA(雷恩第一大学计算机科学与应用数学研究所)
对抗性示例是一个热门话题,因为它们能够欺骗分类器的预测。有两种策略可以创建这样的例子,一种使用被攻击的分类器的梯度,而另一种只需要访问分类器的预测。这在分类器不完全已知(黑箱模型)时特别有吸引力。在本文中,我们提出了一种新的方法,它能够从真实数据中生成自然的对抗性例子,遵循第二范式。基于生成对抗网络(GANs)[5],它重新加权真实数据的经验分布,以鼓励分类器生成对抗样本。我们通过在遥感数据集上生成对抗性高光谱签名来证明我们的方法的概念。
2020-01-27 cs.AI cs.LG stat.ML
Adversarial Decoding: Generating Readable Documents for Adversarial Objectives
Cornell University(康奈尔大学)
本文提出对抗解码技术,通过生成可读文档实现RAG中毒、越狱和规避过滤等对抗目标,解决了现有方法无法处理嵌入相似性和间接注入的问题,且效果优于现有方法。
2025-03-06 cs.CL cs.CR cs.LG
Simple iterative method for generating targeted universal adversarial perturbations
Kyushu Institute of Technology(九州工业大学)
深度神经网络(DNN)容易受到对抗攻击的攻击。特别是,被称为通用对抗扰动(UAP)的单个扰动可以挫败DNN执行的大多数分类任务。因此,需要用于生成UAP的不同方法来充分评估DNN的脆弱性。一个现实的评估将是考虑有针对性的攻击的情况;其中生成的UAP导致DNN将输入分类到特定类别。然而,针对目标攻击的UAP的发展在很大程度上落后于针对非目标攻击的UAP。因此,我们提出了一个简单的迭代法来生成针对目标攻击的UAP。我们的方法结合了简单的迭代法生成非目标的UAP和快速梯度符号法生成有针对性的对抗性扰动的输入。我们将所提出的方法应用于最先进的DNN模型进行图像分类,并证明了针对目标攻击的几乎不可感知的UAP的存在;此外,我们证明了这种UAP很容易生成。
2019-11-18 cs.CR cs.CV cs.LG
A Comparison of State-of-the-Art Techniques for Generating Adversarial Malware Binaries
U.S. Naval Research Laboratory(美国海军研究实验室);George mason university(乔治梅森大学)
我们考虑由网络攻击者生成对抗性恶意软件的问题,其中攻击者的任务是策略性地修改现有二进制恶意软件文件内的某些字节,使得修改后的文件能够逃避恶意软件检测器,例如基于机器学习的恶意软件分类器。我们已经评估了三种最近的对抗性恶意软件生成技术,这些技术使用从单个公开可用的恶意软件数据集中提取的二进制恶意软件样本,并比较了它们逃避基于机器学习的恶意软件分类器MalConv的性能。我们的研究结果表明,在比较的技术,最有效的技术是一个战略性地修改字节在二进制文件的头部。最后,我们讨论了关于对抗性恶意软件生成的经验教训和未来的研究方向。
2021-11-22 cs.CR cs.LG
Generating protein sequences from antibiotic resistance genes data using Generative Adversarial Networks
SRM Institute of Science and Technology(SRM科学技术学院)
我们介绍了一种方法,以产生合成的蛋白质序列,预测是耐某些抗生素。我们使用6,023个基因,这些基因被预测在人类肠道的肠道区域对抗生素具有耐药性,并作为Wasserstein生成对抗网络(W-GAN)的输入对原始生成对抗模型的变体进行建模,该模型在模仿真实数据的分布时被认为是有效的,以便生成风格类似于作为训练数据输入的原始数据
2019-04-28 cs.LG q-bio.GN
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University(首尔大学)
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络(GAN)成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型,它揭示了具有多个生成器的图像的复杂结构,其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如,它可以在人脸数据集上训练后,使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的,没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性,通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
Generating images with recurrent adversarial networks
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学);York University(约克大学)
Gatys et al.(2015)表明,优化像素以匹配卷积网络中的特征与参考图像特征,是渲染高视觉质量图像的一种方法。我们表明,展开这种基于梯度的优化产生了一个经常性的计算,通过增量添加到一个视觉“画布”上创建图像。我们提出了一个受这种观点启发的递归生成模型,并证明它可以使用对抗训练来训练,以生成非常好的图像样本。我们还提出了一种通过让这些网络的生成器和鉴别器相互竞争来定量比较对抗网络的方法。
2016-12-13 cs.CV cs.LG
Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN
Peking University(北京大学)
近年来,机器学习已被用于检测新的恶意软件,而恶意软件作者具有攻击此类算法的强烈动机。恶意软件作者通常无法访问恶意软件检测系统使用的机器学习模型的详细结构和参数,因此他们只能执行黑盒攻击。本文提出了一种基于生成对抗网络(GAN)的算法MalGAN来生成对抗恶意软件示例,该示例能够绕过基于黑盒机器学习的检测模型。MalGAN使用替代检测器来适应黑盒恶意软件检测系统。生成网络被训练以最小化由替代检测器预测的生成的对抗性示例的恶意概率。与传统的基于梯度的对抗性示例生成算法相比,MalGAN的优势在于,MalGAN能够将检测率降低到几乎为零,并且使基于再训练的对抗性示例防御方法难以工作。
2017-02-20 cs.CR cs.LG
Towards Generating Adversarial Examples on Mixed-type Data
Michigan State University(密歇根州立大学);Texas A&M University(得克萨斯农工大学);VISA Research(Visa研究院)
对抗攻击(或对抗示例)的存在带来了对机器学习(ML)模型安全问题的巨大关注。对于许多安全关键的ML任务,如财务预测,欺诈检测和异常检测,数据样本通常是混合类型的,同时包含大量的数值和分类特征。然而,如何生成对抗性的混合类型的数据的例子仍然很少研究。本文提出了一种新的攻击算法M-Attack,它可以有效地生成混合类型数据中的对抗性示例。基于M-Attack,攻击者可以尝试误导目标分类模型的预测,只需稍微扰动给定数据样本中的数值和分类特征。更重要的是,通过添加设计的正则化,我们生成的对抗性示例可以逃避潜在的检测模型,这使得攻击确实是阴险的。通过大量的实证研究,我们验证了我们的攻击方法的有效性和效率,并评估现有的分类模型对我们提出的攻击的鲁棒性。实验结果突出了在现实世界的应用中生成对抗机器学习模型的示例的可行性。
2022-10-17 cs.CR cs.LG
AdvDiffuser: Generating Adversarial Safety-Critical Driving Scenarios via Guided Diffusion
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);School of Computer Science, Wuhan University(武汉大学计算机学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Mechanical and Automotive Engineering, Qingdao University of Technology(青岛理工大学机械与汽车工程学院)
提出AdvDiffuser框架,通过结合扩散模型和轻量级引导模型生成对抗性安全关键驾驶场景,解决了现有方法跨系统可迁移性不足的问题,并在真实性和多样性上表现更优。
2024-10-11 cs.LG cs.RO
Generating Adversarial Examples with Better Transferability via Masking Unimportant Parameters of Surrogate Model
Tsinghua University(清华大学);RealAI(瑞莱智慧)
本文提出通过掩蔽代理模型中不重要参数(MUP)来精炼预训练模型,从而提升基于迁移攻击所生成对抗样本的迁移性,并可结合现有梯度优化器进一步增强攻击效果。
2023-04-14 cs.CR cs.CV cs.LG
Unrolled Creative Adversarial Network For Generating Novel Musical Pieces
KAUST(卡塔尔科技大学)
本文提出基于对抗网络的音乐生成系统,通过扩展CAN框架解决模式崩溃问题,提升音乐创作的创新性和多样性。
2025-12-28 cs.LG cs.SD eess.AS
Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness
University of Notre Dame(圣母大学)
本研究发现对抗样本生成时小批量大小增加会降低样本有效性,这与梯度消失有关,通过设计特定损失函数可消除该影响,避免低估攻击强度或高估模型鲁棒性。
2023-03-30 cs.CR cs.CV cs.LG
Generating Multi-Categorical Samples with Generative Adversarial Networks
University of Luxembourg(卢森堡大学)
我们提出了一种方法来训练生成对抗网络的多变量特征向量表示多个分类值。与连续领域相比,基于GAN的方法已经取得了相当大的成果,GANs在离散数据上的表现也同样出色。我们提出并比较了几种架构的基础上,考虑到数据的结构多(Gumbel)softmax输出层。我们评估了我们的架构在具有不同稀疏性,特征数量,分类值范围以及特征之间依赖关系的数据集上的性能。我们提出的架构和方法优于现有的模型。
2018-07-04 cs.LG stat.ML
Lost In Translation: Generating Adversarial Examples Robust to Round-Trip Translation
RV College of Engineering(RV工程学院);IBM Research(IBM研究院)
该研究针对文本对抗样本经往返翻译后失效的问题,全面验证了6种主流文本对抗攻击的跨翻译鲁棒性不足,提出将机器翻译融入生成过程的干预方案提升鲁棒性,为多语言语言模型缺陷识别与对抗攻击研究提供参考。
2023-07-24 cs.CL cs.LG
Generating unrepresented proportions of geological facies using Generative Adversarial Networks
Heriot-Watt University(赫瑞-瓦特大学);TotalEnergies(道达尔能源);SSE plc(南苏格兰电力公司)
在这项工作中,我们研究了生成对抗网络(GANs)在地质数据集中内插和外推相比例的能力。新生成的实现与unrepresented(又名。缺失)比例被假定属于相同的原始数据分布。具体来说,我们设计了一个条件GANs模型,它可以将生成的相驱动到训练集中没有发现的新比例。所提出的研究包括各种培训设置和模型架构的调查。此外,我们设计了新的调理程序,以改进缺失样本的生成。在二元和多相图像上的数值实验显示出良好的地质一致性以及与目标条件的强相关性。
2022-03-17 cs.LG
Siamese networks for generating adversarial examples
Schlumberger(斯伦贝谢(Schlumberger)公司)
机器学习模型容易受到对抗性样本的影响。对手修改输入数据,使得人类仍然分配相同的标签,然而,机器学习模型错误地分类它。文献中的先前方法表明,甚至可以为远程托管模型生成对抗性示例。在本文中,我们提出了一种基于Siamese网络的方法来生成多类目标CNN的对抗性示例。我们假设对手不具备目标数据分布的任何知识,并且我们使用未标记的不匹配数据集来查询目标,例如,对于ResNet-50目标,我们使用Food-101数据集作为查询。最初,目标模型为查询数据集分配标签,并在从这些多类标签导出的图像对上训练Siamese网络。我们学习的\emph{adversarial perturbations}的暹罗模型,并表明,这些扰动也是对抗w.r.t.目标模型。在实验结果中,我们用TinyImageNet/Food-101查询数据集证明了我们的方法在MNIST,CIFAR-10和ImageNet目标上的有效性。
2018-05-03 cs.LG stat.ML
Black Box Adversarial Prompting for Foundation Models
University of Pennsylvania(宾夕法尼亚大学)
本文提出一个黑盒框架,通过生成可独立或前置的对抗性提示,诱导视觉和语言生成模型产生特定行为,如生成特定物体图像或高困惑度文本。
2023-05-29 cs.LG
Generating Out of Distribution Adversarial Attack using Latent Space Poisoning
Bharati Vidyapeeth’s College of Engineering(巴拉蒂维迪佩斯工程学院);IIT Delhi(印度理工学院德里分校)
传统的对抗攻击依赖于由来自网络的梯度生成的扰动,这些扰动通常由梯度引导搜索来保护,以向网络提供对抗对应物。在本文中,我们提出了一种新的生成对抗性示例的机制,其中实际图像没有被损坏,而是利用其潜在空间表示来篡改图像的固有结构,同时保持感知质量不变,并作为合法的数据样本。与基于梯度的攻击相反,潜在空间中毒利用分类器对训练数据集的独立和相同分布进行建模的倾向,并通过产生分布样本来欺骗它。我们训练一个解开的变分自编码器(β-VAE)来模拟潜在空间中的数据,然后我们使用类条件分布函数添加噪声扰动的潜在空间的约束下,它是错误分类的目标标签。我们在MNIST,SVHN和CelebA数据集上的实证结果验证了生成的对抗性示例可以很容易地欺骗使用可证明的鲁棒防御机制设计的鲁棒l_0,l_2,l_inf范数分类器。
2022-03-05 cs.CV cs.LG
Generating Unrestricted Adversarial Examples via Three Parameters
Sharif University of Technology(谢里夫理工大学)
深度神经网络已被证明容易受到故意构建的对抗性示例的影响,这些示例用于对受害者模型进行错误分类。由于大多数对抗性示例都将其扰动限制在$L_{p}$ -范数范围内,因此现有的防御方法都集中在这些类型的扰动上,而对不受限制的对抗性示例关注较少;这些示例可以创建更真实的攻击,能够欺骗模型而不影响人类预测。为了解决这个问题,所提出的对抗攻击生成一个不受限制的对抗的例子,具有有限数量的参数。该攻击在输入图像上选择三个点,并根据它们的位置将图像转换为对抗性示例。通过限制这三个点的移动范围和位置,并使用判别网络,所提出的无限制对抗性示例保留了图像外观。实验结果表明,在MNIST和SVHN数据集上,所提出的对抗性示例在人类评估方面的平均成功率为93.5%。它还将MNIST,FMNIST,SVHN,CIFAR 10,CIFAR 100和ImageNet六个数据集的模型准确性平均降低了73%。应该注意的是,在攻击的情况下,受害者模型中的较低准确度表示更成功的攻击。攻击的对抗性训练也提高了模型对随机变换图像的鲁棒性。
2021-03-13 cs.CV cs.LG
Structure Matters: Towards Generating Transferable Adversarial Images
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tulane University(杜兰大学)
最近的工作对抗的图像分类的例子集中在直接修改像素与微小的扰动。施加小扰动要求是为了确保生成的对抗性示例对人类来说是自然和现实的,然而,这限制了攻击空间,从而限制了攻击能力和可移植性,特别是对于受防御机制保护的系统。在本文中,我们提出了结构模式和结构感知扰动的新概念,放松了小扰动约束,同时仍然保持图像的自然。我们的方法的关键思想是允许在对抗性示例中出现可感知的偏差,同时保持对人类分类器至关重要的结构模式。基于这些概念,我们提出了一个\emph{structure-preserving attack (SPA)},用于生成具有极高可移植性的自然对抗性示例。在MNIST和CIFAR10数据集上的实验结果表明,SPA在白盒和黑盒环境下都表现出很强的攻击能力,即使采取了防御措施。而且,融合了PGD或CW攻击,在白盒设置下攻击能力大幅提升,又不失SPA继承的优秀可移植性。
2020-08-14 cs.CV cs.LG
CAAD 2018: Generating Transferable Adversarial Examples
Proximus(普罗克西姆斯公司)
深度神经网络(DNN)很容易受到对抗性示例的影响,这些示例是精心设计的扰动,以欺骗目标DNN,无论是在非目标情况下还是在目标情况下。在非目标情况下,攻击者的目的只是诱导错误分类。在有针对性的情况下,攻击者的目的是诱导分类到指定的目标类。此外,已经观察到,强对抗性示例可以转移到未知模型,从而产生严重的安全问题。NIPS 2017竞赛旨在加速对抗攻击和防御的研究,在提交的对抗攻击试图转移到提交的防御的现实环境中进行。CAAD 2018比赛的规则与NIPS 2017比赛的规则几乎相同。鉴于NIPS 2017提交的要求是开源的,CAAD 2018竞赛的参与者能够直接建立在以前的解决方案上,从而改进了这种环境中的最先进技术。我们的团队参加了CAAD 2018比赛,并在非目标和目标对抗攻击两个攻击子赛道中获得第一名,并在防守中获得第三名。我们在本文中概述了我们的解决方案和开发成果。我们希望我们的研究结果可以为研究人员提供生成和防御对抗性示例的信息。
2018-11-21 cs.AI cs.CR cs.LG
Generating Structured Adversarial Attacks Using Frank-Wolfe Method
University of Central Florida(中佛罗里达大学);Centre de Recherche INRIA de Paris(法国国家信息与自动化研究所巴黎研究中心)
白盒对抗扰动是通过迭代优化算法生成的,最常见的是通过最小化原始图像的$\ell_p$邻域(所谓的失真集)上的对抗损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里,我们探索几个失真集与结构增强算法。对抗性示例的这些新结构可能会为可证明和经验性的鲁棒机制带来挑战。由于对抗鲁棒性仍然是一个经验领域,防御机制也应该合理地评估不同结构的攻击。此外,这些结构化对抗扰动可以允许比它们的$\ell_p$对应部分更大的失真大小,同时保持不可感知或可感知为图像的自然失真。我们将在这项工作中证明,所提出的结构化对抗性示例可以显着降低对抗性训练分类器的分类准确性,同时显示低$\ell_2$失真率。例如,在ImagNet数据集上,结构化攻击将对抗模型的准确性降低到接近零,只有50%的$\ell_2$失真使用白盒攻击(如PGD)生成。作为副产品,我们在结构化对抗性示例上的发现可以用于模型的对抗性正则化,以使模型更鲁棒或提高其在结构不同的数据集上的泛化性能。
2021-02-15 cs.AI cs.CV cs.LG
Generating Band-Limited Adversarial Surfaces Using Neural Networks
Technion, Israel Institute of Technology(以色列理工学院)
生成对抗性示例是一种创造噪声的艺术,该噪声被添加到分类神经网络的输入信号中,从而改变网络的分类,同时保持噪声尽可能微弱。虽然该主题在2D领域中得到了很好的研究,但在3D领域中却落后于3D领域,即攻击在3D点云或网格上工作的分类网络,例如,对人的3D扫描的姿势进行分类。到目前为止,绝大多数描述这种机制下的对抗攻击的论文都是通过优化方法进行的。在这份技术报告中,我们提出了一种生成攻击的神经网络。该网络利用PointNet的架构进行了一些修改。虽然我们工作所基于的前几篇文章必须单独优化每个形状,即在没有任何学习的情况下从头开始为每个输入量身定制攻击,但我们试图创建一个统一的模型,可以通过一次向前运行来推导出所需的对抗性示例。
2021-11-14 cs.CR cs.CV cs.LG
Generating Natural Language Adversarial Examples on a Large Scale with Generative Models
Ant Financial Services Group(蚂蚁金融服务集团);Zhejiang University(浙江大学);University of Southern California(南加利福尼亚大学)
目前文本分类模型已经得到了广泛的应用。然而,这些分类器被发现很容易被对抗性的例子所欺骗。幸运的是,标准的攻击方法以成对的方式生成对抗性文本,也就是说,对抗性文本只能通过替换几个单词来从真实世界的文本中创建。在许多应用中,这些文本的数量有限,因此它们对应的对抗性示例往往不够多样,有时难以阅读,因此可以很容易地被人类检测到,并且不能大规模地制造混乱。在本文中,我们提出了一个端到端的解决方案,使用生成模型从头开始有效地生成对抗性文本,而不限于干扰给定的文本。我们称之为无限制的对抗性文本生成。具体来说,我们训练一个条件变分自编码器(VAE)与一个额外的对抗性损失,以指导生成对抗性的例子。此外,为了提高对抗文本的有效性,我们利用判别器和生成对抗网络(GANs)的训练框架,使对抗文本与真实数据一致。在情感分析上的实验结果证明了该方法的可扩展性和有效性。它可以以比现有方法更高的成功率攻击文本分类模型,同时为人类提供可接受的质量。
2020-03-10 cs.CL cs.LG stat.ML
Deceptive Diffusion: Generating Synthetic Adversarial Examples
School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
本文提出欺骗性扩散概念,训练生成式AI直接产生任意数量的对抗图像,可用于大规模增强防御训练,并揭示了扩散模型在部分训练数据被隐秘毒化时会按比例生成误导输出的新脆弱性。
2024-06-28 cs.AI cs.LG
Generating Realistic Adversarial Examples for Business Processes using Variational Autoencoders
Research Centre for Information Systems Engineering (LIRIS)(信息系统工程研究中心(LIRIS));KU Leuven(鲁汶大学)
本文针对预测性流程监控中对抗样本易产生不真实流程的问题,提出两种基于变分自编码器潜在空间扰动的领域无关攻击方法,并在11个真实事件日志和4个预测模型上验证其能生成符合业务约束的真实对抗样本。
2024-11-21 cs.AI cs.LG
Generating Universal Adversarial Perturbations for Quantum Classifiers
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);University of British Columbia(不列颠哥伦比亚大学);University of Western Ontario(西安大略大学);University of Waterloo(滑铁卢大学)
本文提出QuGAP框架,利用生成模型为基于参数化量子电路的量子分类器生成加性和酉通用对抗扰动,在保持高保真度的同时实现最先进的误分类率。
2024-02-13 cs.AI cs.LG
TEAM: An Taylor Expansion-Based Method for Generating Adversarial Examples
School of Big-Data Science, Zhejiang University of Science and Technology(浙江科技学院大数据学院);Network and Information Security Laboratory of Hangzhou Hikvision Digital Technology Co., Ltd.(杭州海康威视数字技术股份有限公司网络与信息安全实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Information and Electronic Engineering, Zhejiang University of Science and Technology(浙江科技学院信息与电子工程学院);Laboratoire ETIS UMR-CNRS 8051, CY Cergy Paris Université(CY塞尔吉巴黎大学ETIS实验室(法国国家科学研究中心联合研究单位))
深度神经网络(DNN)虽然在很多领域都取得了成功的应用,但它容易受到对抗性样本的攻击,对抗性训练是提高DNN鲁棒性的最有效方法之一,通常被认为是解决一个风险最小化、扰动最大化的鞍点问题,因此,强大的对抗性示例可以有效地复制扰动最大化的情况来解决鞍点问题。本文提出的方法近似了DNN在输入邻域的泰勒展开,然后优化它使用拉格朗日乘子方法生成对抗性的例子。如果将其用于对抗训练,则可以有效地正则化DNN,并可以改善模型的缺陷。
2020-03-25 cs.LG stat.ML
Structure-Preserving Transformation: Generating Diverse and Transferable Adversarial Examples
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tulane University, USA(杜兰大学(美国))
对抗性示例是被设计用于欺骗机器学习模型的扰动输入。针对图像分类的对抗性示例的最新工作集中于直接修改具有微小扰动的像素。所有这些工作中的一个共同要求是恶意扰动应该足够小(由某个p的L_p范数测量),以便人类无法感知它们。然而,小的扰动可能是不必要的限制,并限制了生成的对抗性示例的多样性。此外,基于L_p范数的距离度量忽略了隐藏在图像中对人类感知很重要的重要结构模式。因此,即使在最近的作品中引入了微小的扰动,也常常使对抗性的例子对人类来说不那么自然。更重要的是,它们通常不能很好地转移,因此在攻击黑盒模型时效率较低,特别是对于那些受防御机制保护的模型。在本文中,我们提出了一种结构保持变换(SPT),用于生成具有极高可移植性的自然和多样的对抗性示例。我们的方法的关键思想是允许在对抗性示例中出现可感知的偏差,同时保持对人类分类器至关重要的结构模式。在MNIST和Fashion-MNIST数据集上的实证结果表明,通过我们的方法生成的对抗性示例可以轻松绕过强对抗性训练。此外,它们可以很好地转移到其他目标模型,而不会损失或损失很少的成功攻击率。
2018-12-22 cs.AI cs.CR cs.CV
Perturbations are not Enough: Generating Adversarial Examples with Spatial Distortions
Monash University(莫纳什大学);Defence Science and Technology Group, Department of Defence(国防部国防科学与技术集团)
据报道,深度神经网络图像分类器容易受到对抗性规避攻击的影响,这种攻击使用精心制作的图像来误导分类器。近年来,各种各样的对抗攻击方法被提出,其中大部分集中在对输入图像添加小的扰动。尽管现有方法取得了成功,但如何生成具有小扰动的逼真对抗图像仍然是一个具有挑战性的问题。在本文中,我们的目标是通过提出一种新的对抗方法来解决这个问题,该方法不仅通过对输入图像施加扰动,还通过对输入图像施加空间扭曲(包括缩放、旋转、剪切和平移)来生成对抗示例。由于人类不太容易受到小的空间失真的影响,因此所提出的方法可以产生视觉上更逼真的攻击,具有更小的扰动,能够欺骗分类器而不影响人类的预测。我们通过神经网络的摊销技术来学习我们的方法,并通过网络的前向传递有效地生成对抗性示例。对不同类型的非鲁棒分类器和具有防御的鲁棒分类器进行攻击的实验表明,与先进的攻击方法相比,我们的方法具有最先进的性能。
2019-10-03 cs.CR cs.LG stat.ML
Toward Generating Synthetic CT Volumes using a 3D-Conditional Generative Adversarial Network
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);National Institutes of Health Clinical Center(美国国立卫生研究院临床中心);Networking Health;OpenKneck Inc(OpenKneck公司)
我们提出了一种新的条件生成对抗网络(cGAN)架构,该架构能够从噪声和/或像素化近似中生成体素中的3D计算机断层扫描,并有可能生成完整的合成3D扫描体积。我们认为条件cGAN是一种生成3D CT体积的易处理方法,尽管由于GPU内存限制,生成全分辨率深度伪影的问题目前是不切实际的。我们提出了自动编码器,去噪和去像素化任务的结果,这些任务在两个新的COVID 19 CT数据集上进行了训练和测试。我们的评估指标,峰值信噪比(PSNR)范围从12.53 - 46.46 dB,结构相似性指数(SSIM)范围从0.89到1。
2021-04-02 cs.CV cs.LG eess.IV
ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds
Uber ATG(优步先进技术集团);University of Michigan(密歇根大学);University of Toronto(多伦多大学)
我们引入了ShapeAdv,这是一个新的框架,用于研究反映潜在形状变化的形状感知对抗扰动(例如,几何变形和结构差异)。我们通过利用点云自动编码器的学习潜在空间来开发形状感知的对抗性3D点云攻击,其中对抗性噪声应用于潜在空间。具体来说,我们提出了三种不同的变体,包括一个基于范例的变体,通过辅助数据引导形状变形,使得生成的点云类似于同一类别中对象之间的形状变形。与以前的作品不同,所得到的对抗性3D点云反映了3D点云空间中的形状变化,同时仍然接近原始点云。此外,在ModelNet40基准测试上的实验评估表明,我们的对手更难以用现有的点云防御方法进行防御,并且在分类器之间表现出更高的攻击可转移性。我们的形状感知对抗攻击与现有的基于点云的攻击正交,并揭示了3D深度神经网络的脆弱性。
2020-05-24 cs.CV cs.LG eess.IV
Generating Label Cohesive and Well-Formed Adversarial Claims
University of Copenhagen(哥本哈根大学)
对抗攻击揭示了训练模型的重要弱点和缺陷。一种有效的攻击类型是通用对抗触发器,它是单独的n-gram,当附加到受攻击的类的实例时,可以欺骗模型预测目标类。然而,对于诸如事实检查之类的推理任务,这些触发器经常会无意中颠倒它们所插入的实例的含义。此外,这种攻击会产生语义上无意义的输入,因为它们只是将触发器连接到现有样本。在这里,我们研究如何生成针对事实检查系统的对抗攻击,这些事实检查系统保留了地面真值含义并且在语义上是有效的。我们扩展了HotFlip攻击算法用于通用触发器生成,通过联合最小化目标类损失的事实检查模型和蕴涵类损失的辅助自然语言推理模型。然后,我们训练一个条件语言模型来生成语义上有效的语句,其中包括找到的通用触发器。我们发现,所产生的攻击保持的方向性和语义有效性的索赔比以前的工作。
2020-09-17 cs.CL cs.LG
Generating Adversarial Point Clouds Using Diffusion Model
针对现有3D点云黑盒对抗攻击效果差的问题,提出一种基于3D扩散模型的黑盒攻击方法,以点云压缩特征为引导生成对抗点,提升了攻击成功率与隐蔽性。
2025-07-25 cs.AI cs.CR cs.LG
CorGAN: Correlation-Capturing Convolutional Generative Adversarial Networks for Generating Synthetic Healthcare Records
Virginia Polytechnic Institute and State University (Virginia Tech)(弗吉尼亚理工学院暨州立大学(弗吉尼亚理工))
深度学习模型在图像分类和语音处理等领域表现出高质量的性能。然而,使用电子健康记录(EHR)数据创建深度学习模型需要解决该领域研究人员特有的特定隐私挑战。这件事的重点是在确保隐私的同时生成现实的合成数据。在本文中,我们提出了一种新的框架,称为相关捕获生成对抗网络(CorGAN),生成合成的医疗记录。在CorGAN中,我们利用卷积神经网络通过结合卷积生成对抗网络和卷积自动编码器来捕获数据表示空间中相邻医学特征之间的相关性。为了证明模型的保真度,我们展示了CorGAN在各种机器学习设置(如分类和预测)中生成的合成数据与真实数据的性能相似。我们还对合成数据的现实特征进行了隐私评估和统计分析。这项工作的软件是开源的,可在https://github.com/astorfi/cor-gan上获得。
2020-03-04 cs.LG stat.ML
ECGadv: Generating Adversarial Electrocardiogram to Misguide Arrhythmia Classification System
The Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology, Peng Cheng Laboratory(南方科技大学鹏城实验室);Huazhong University of Science and Technology(华中科技大学)
本文针对基于深度神经网络的心电图诊断系统,分析心电图特性并设计两种攻击模型下的对抗攻击方案,揭示系统盲点,呼吁采取对策。
2020-01-14 cs.LG eess.SP stat.ML
Sinusoidal wave generating network based on adversarial learning and its application: synthesizing frog sounds for data augmentation
基于理论模型生成观测结果的模拟器是开发、预测和评估信号处理算法的重要工具。为了设计这些模拟器,需要根据其应用构建数学模型。复杂的模型有时是必要的,以代表各种真实的现象。相比之下,从真实观测结果开发的生成模型中获得合成观测结果通常需要少得多的努力。本文提出了一种基于对抗学习的生成模型。考虑到观测值通常是由正弦波和随机噪声的线性组合组成的信号,首先基于对抗网络设计正弦波生成网络。然后可以使用所提出的网络来执行音频波形生成。实验研究了使用对抗学习设计所提出的网络的目标函数的几种方法。此外,两栖动物的声音分类是使用卷积神经网络与真实的和合成的声音训练。定性和定量的结果表明,所提出的生成模型,使真实的信号,是非常有帮助的数据增强和数据分析。
2019-01-07 cs.LG cs.SD eess.AS
Where and How to Attack? A Causality-Inspired Recipe for Generating Counterfactual Adversarial Examples
Guangdong University of Technology(广东工业大学);Peng Cheng Laboratory(鹏城实验室);Zhejiang Lab(之江实验室);Shantou University(汕头大学)
针对现有对抗样本生成方法忽略数据因果生成过程的问题,该研究从因果视角定位DNN脆弱性并提出CADE框架生成反事实对抗样本,在多攻击场景下取得了有竞争力的效果。
2024-01-26 cs.LG
Generating Natural Adversarial Examples
University of California(加利福尼亚大学)
由于其复杂的性质,很难描述机器学习模型在部署时可能行为不端或被利用的方式。最近关于对抗性示例的工作,即具有微小扰动的输入导致显著不同的模型预测,有助于通过暴露它们失败的对抗性场景来评估这些模型的鲁棒性。然而,这些恶意扰动通常是不自然的,没有语义意义,并且不适用于复杂的领域,如语言。在本文中,我们提出了一个框架,通过在密集和连续数据表示的语义空间中搜索,利用生成对抗网络的最新进展,生成位于数据流形上的自然且清晰的对抗示例。我们提出了生成的对手,以证明所提出的黑盒分类器的方法的潜力,广泛的应用,如图像分类,文本蕴涵,和机器翻译。我们包括实验表明,生成的对手是自然的,易读的人类,并在评估和分析黑盒分类器有用。
2018-02-23 cs.AI cs.CL cs.CV
Generating 3D Adversarial Point Clouds
Shanghai Jiao Tong University(上海交通大学);Facebook AI Research(脸书人工智能研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
众所周知,深度神经网络容易受到对抗性示例的攻击,这些示例是精心制作的实例,会导致模型做出错误的预测。虽然2D图像和CNN的对抗性示例已经得到了广泛的研究,但对点云等3D数据的关注较少。考虑到许多安全关键型3D应用(如自动驾驶),研究对抗性点云如何影响当前的深度3D模型非常重要。在这项工作中,我们提出了几种新的算法来制作对抗PointNet的对抗点云,PointNet是一种广泛使用的用于点云处理的深度神经网络。我们的算法以两种方式工作:对抗点扰动和对抗点生成。对于点扰动,我们可以忽略不计地移动现有的点。对于点生成,我们生成一组独立和分散的点或少量(1-3)具有有意义形状的点簇,如球和飞机,它们可能隐藏在人类的心灵中。此外,我们制定了六个扰动测量指标量身定制的攻击点云,并进行了广泛的实验,以评估所提出的算法的ModelNet 40三维形状分类数据集。总体而言,我们的攻击算法对所有目标攻击的成功率均高于99%
2019-07-12 cs.CR cs.CV cs.LG
Scoring Black-Box Models for Adversarial Robustness
Stanford University(斯坦福大学)
深度神经网络易受对抗性输入的影响,并且已经提出了各种方法来在不同的扰动模型下保护这些模型免受对抗攻击。通过构造模型的对抗性输入,然后在构造的对抗性输入上测试模型的性能,分析了模型对对抗攻击的鲁棒性。这些攻击中的大多数都要求模型是白盒的,需要访问数据标签,并且查找对抗性输入可能在计算上非常昂贵。我们提出了一个简单的黑盒模型的评分方法,表明其对对抗性输入的鲁棒性。我们发现,相反更强大的模型有一个更小的$l_1$规范的LIME权重和更清晰的解释。
2022-10-31 cs.AI cs.LG
A principled approach for generating adversarial images under non-smooth dissimilarity metrics
McGill University(麦吉尔大学)
深度神经网络在现实世界的数据上表现良好,但容易受到对抗性扰动:输入的微小变化很容易导致错误分类。在这项工作中,我们提出了一种攻击方法,不仅用于由$\ell_p$规范测量扰动的情况下,但实际上任何敌对的相异性度量与封闭的近端形式。这包括但不限于$\ell_1, \ell_2$和$\ell_\infty$扰动; $\ell_0$计数“范数”(即,真稀疏);以及总变差范数,其是测量局部像素变化的(非$\ell_p$)卷积相异性。我们的方法是最近的对抗攻击方法的自然扩展,并消除了度量的可微性要求。我们在MNIST、CIFAR 10和ImageNet-1 k数据集上演示了我们的算法ProxLogBarrier。我们考虑不设防和设防模型,并表明我们的算法很容易转移到各种数据集。我们观察到ProxLogBarrier优于许多专门针对$\ell_0$案例的现代对抗攻击。此外,通过改变图像的总变差,我们揭示了一类新的扰动,利用相邻像素信息。
2019-10-08 cs.CV cs.LG stat.ML
Common Knowledge Learning for Generating Transferable Adversarial Examples
Beihang University(北京航空航天大学);University of Macau(澳门大学)
针对不同DNN架构间对抗样本迁移性差的问题,提出公共知识学习框架,通过多教师知识蒸馏和梯度约束学习通用网络权重,显著提升了黑盒对抗攻击的迁移性。
2023-07-01 cs.CV cs.LG
Greedy Attack and Gumbel Attack: Generating Adversarial Examples for Discrete Data
University of California, Davis(加利福尼亚大学戴维斯分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
我们提出了一个概率框架,研究对抗攻击的离散数据。基于这个框架,我们得到了一个扰动为基础的方法,贪婪攻击,和一个可扩展的学习为基础的方法,Gumbel攻击,说明了各种权衡的攻击设计。我们使用定量指标和人类评估来证明这些方法对各种最先进的文本分类模型的有效性,包括基于单词的CNN,基于字符的CNN和LSTM。作为我们的结果的例子,我们表明,基于字符的卷积网络的准确性下降到随机选择的水平,通过贪婪攻击只修改五个字符。
2018-05-31 cs.AI cs.CL cs.CR
DANCin SEQ2SEQ: Fooling Text Classifiers with Adversarial Text Example Generation
Stanford University(斯坦福大学)
机器学习模型功能强大,但也容易出错。生成对抗性示例-故意制作的输入,以导致模型错误分类或其他错误-可以对模型假设和漏洞产生重要的洞察力。尽管最近针对图像分类器的对抗性示例生成的工作很重要,但探索文本分类器的对抗性示例生成的工作相对较少;此外,许多现有的对抗性示例生成算法需要完全访问目标模型参数,这使得它们对于许多现实世界的攻击来说不切实际。在这项工作中,我们引入了DANC in SEQ 2SEQ,这是一种受GAN启发的算法,用于生成对抗性文本示例,主要针对黑盒文本分类器。我们将对抗性文本示例生成重新定义为一个强化学习问题,并证明我们的算法为在真实攻击场景中生成语义上有意义的对抗性文本示例提供了初步但有希望的步骤。
2017-12-14 cs.CR cs.LG
Generating Multi-label Discrete Patient Records using Generative Adversarial Networks
Georgia Institute of Technology(佐治亚理工学院);Vanderbilt University(范德堡大学);Sutter Health(萨特健康)
电子健康记录(EHR)数据的访问激励了医学研究中的计算进步。然而,各种担忧,特别是对隐私的担忧,可能会限制对EHR数据的访问和协作使用。共享合成EHR数据可以降低风险。在本文中,我们提出了一种新的方法,医疗生成对抗网络(medGAN),生成逼真的合成病历。基于输入的真实患者记录,medGAN可以生成高维离散变量(例如,二进制和计数特征生成对抗网络。我们还提出了小批量平均,以有效地避免模式坍塌,并提高学习效率与批量归一化和快捷连接。为了证明可行性,我们证明了medGAN生成的合成患者记录在许多实验中实现了与真实数据相当的性能,包括分布统计,预测建模任务和医学专家评审。我们还根据经验观察到,使用medGAN的身份和属性披露的隐私风险有限。
2018-01-11 cs.LG cs.NE
Generation High resolution 3D model from natural language by Generative Adversarial Network
我们提出了一种从自然语言描述中生成高分辨率三维形状的方法。为了实现这个目标,我们提出了两个步骤,生成低分辨率的形状,粗略地反映文本和生成高分辨率的形状,反映文本的细节。在以前的论文中,作者已经展示了一种生成低分辨率形状的方法。改进后的方法生成的三维图形更符合自然语言,并验证了该方法的有效性。为了生成高分辨率的3D形状,我们使用条件Wasserstein GAN的框架。分别提出了Critic的两个角色,计算两个概率分布之间的Wasserstein距离,从而实现生成高质量的形状或加快模型的学习速度。为了评估我们的方法,我们对Critic模型进行了定量评估。该方法首先在生成三维模型时,将文本嵌入信息传播到高分辨率任务中,实现高质量模型的生成。
2019-01-22 cs.GR cs.LG stat.ML
A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds
University of Texas at Arlington(得克萨斯大学阿灵顿分校)
在本文中,我们介绍了一种新的条件生成对抗网络,它可以以无监督的方式为各类对象创建密集的3D点云。为了克服在高分辨率下捕获复杂细节的困难,我们提出了一个点Transformer,它通过使用图形卷积来逐步增长网络。该网络由一个叶输出层和一组初始分支组成。每次训练迭代都将点向量演化为分辨率不断提高的点云。在固定次数的迭代之后,通过复制最后一个分支来增加分支的数量。实验结果表明,我们的网络能够学习和模仿3D数据分布,并在多个分辨率下生成具有精细细节的彩色点云。
2020-10-12 cs.AI cs.CV cs.LG
Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples
University of Virginia(弗吉尼亚大学)
我们研究了几种黑盒搜索算法的行为,这些算法用于为自然语言处理(NLP)任务生成对抗性示例。我们对与搜索相关的三个元素进行细粒度分析:搜索算法、搜索空间和搜索预算。在过去的工作中,当新的搜索算法被提出时,攻击搜索空间经常随着搜索算法而被修改。在没有消融研究基准的情况下,搜索算法随着搜索空间保持恒定而变化,人们无法判断攻击成功率的增加是由于改进的搜索算法还是限制较少的搜索空间。此外,许多以前的研究未能正确考虑搜索算法的运行时成本,这对于对抗训练等下游任务至关重要。我们的实验提供了一个可重复的基准搜索算法在各种搜索空间和查询预算,以指导未来的研究在对抗性NLP。基于我们的实验,我们建议贪婪攻击字的重要性排名时,在一个时间限制或攻击长的输入,或者束搜索或粒子群优化,否则。通过https://github.com/QData/TextAttack-Search-Benchmark共享代码实现
2020-10-12 cs.AI cs.CL cs.CR
EagleEye: Attack-Agnostic Defense against Adversarial Inputs (Technical Report)
Lehigh University(理海大学)
深度神经网络(DNN)天生容易受到对抗性输入的影响:这种恶意制作的样本会触发DNN行为不端,从而对DNN驱动的系统造成不利后果。缓解敌对性投入的根本挑战来自其适应性和可变性。现有的解决方案试图提高DNN对特定攻击的弹性;然而,这种静态防御通常可以通过自适应工程输入或新的攻击变体来规避。在这里,我们介绍了一个用于DNN系统的攻击不可知对抗篡改分析引擎。我们的设计利用了许多攻击背后的{ \em最小原则}:为了最大限度地提高攻击的规避性,对手通常会寻求最小可能的失真来将真实输入转换为对抗性输入。我们表明,这种做法需要在输入空间中的对抗性输入的独特的分布特性。通过以原则性的方式利用这些属性,QualleEye可以有效地区分对抗性输入,甚至发现它们正确的分类输出。通过使用一系列基准数据集和DNN模型进行广泛的实证评估,我们验证了QuilleEye的有效性。我们进一步调查对手的可能的对策,这意味着一个困难的困境,她:逃避的检测,过度的失真是必要的,从而显着减少攻击的逃避其他检测机制。
2018-08-01 cs.CR cs.LG