LOGAN: Membership Inference Attacks Against Generative Models
University College London（伦敦大学学院）
生成模型估计数据集的潜在分布，以根据该分布生成真实的样本。在本文中，我们提出了第一个成员推理攻击生成模型：给定一个数据点，对手确定它是否被用来训练模型。我们的攻击利用了生成对抗网络（GANs），它结合了判别和生成模型，利用GANs学习分布统计差异的能力来检测过拟合并识别训练数据集的输入。我们提出了基于白盒和黑盒访问目标模型的攻击，针对几个最先进的生成模型，在复杂的面部表示（LFW），对象（CIFAR-10）和医学图像（糖尿病视网膜病变）的数据集上。我们还讨论了攻击对不同训练参数的敏感性，以及它们对缓解策略的鲁棒性，发现防御要么无效，要么导致生成模型在训练稳定性和/或样本质量方面的性能显着下降。
2018-08-21 cs.CR cs.LG
VAGUEGAN: Stealthy Poisoning and Backdoor Attacks on Image Generative Pipelines
University of Information Technology and Sciences (UITS)（信息科技与科学大学）
本文提出VagueGAN攻击流水线，利用PoisonerNet与生成器-判别器对制作隐蔽触发器，并验证其可迁移至ControlNet扩散编辑流程。
2025-09-29 cs.CV cs.LG
Model Extraction and Defenses on Generative Adversarial Networks
University of Luxembourg（卢森堡大学）
模型窃取攻击旨在通过对目标模型的查询访问来复制机器学习模型。早期的研究主要集中在判别模型上。尽管取得了成功，但对生成模型的模型窃取攻击还没有得到很好的研究。在本文中，我们系统地研究了对生成对抗网络（GANs）的模型窃取攻击的可行性。具体来说，我们首先定义了针对GANs的模型窃取攻击的准确性和保真度。然后根据攻击者的目标和背景知识，从精确度提取和保真度提取两个角度研究了针对GANs的模型窃取攻击。我们进一步进行了一个案例研究，其中对手可以将提取模型的知识转移到新的领域，以拓宽模型窃取攻击的应用范围，该模型窃取了用超过300万张图像训练的最先进的GAN。最后，考虑到GAN模型的实用性和安全性之间的权衡，我们提出了有效的防御技术来保护GANs。
2021-01-06 cs.CR cs.CV cs.LG
Pseudo Label-Guided Model Inversion Attack via Conditional Generative Adversarial Network
University of Science and Technology of China（中国科学技术大学）；University of Waterloo（滑铁卢大学）；CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息安全中心）
模型反演（MI）攻击可以从公开模型中重构出训练数据，引起了人们对隐私问题的关注。事实上，MI攻击可以形式化为在特定空间中寻找私有数据的优化问题。最近的MI攻击在缩小搜索空间之前利用生成对抗网络（GAN）作为图像，并且甚至可以成功地重建高维数据（例如，面部图像）。然而，这些生成式MI攻击没有充分利用目标模型的潜在能力，仍然导致模糊和耦合的搜索空间，即，在搜索空间中耦合不同类别的图像。此外，在这些攻击中广泛使用的交叉熵损失遭受梯度消失。为了解决这些问题，我们提出了伪标签引导MI（PLG-MI）攻击通过条件GAN（cGAN）。首先，提出了一种top-n选择策略，为公共数据提供伪标签，并使用伪标签来指导cGAN的训练。以这种方式，搜索空间针对不同类别的图像被解耦。然后引入最大间隔损失来改进目标类子空间上的搜索过程。大量实验表明，PLG-MI攻击显著提高了攻击成功率和各种数据集和模型的视觉质量，尤其是在大的分布偏移下，比现有的攻击提高了2~3 $\times$.我们的代码可在https://github.com/LetheSec/PLG-MI-Attack上获得。
2023-02-20 cs.CR cs.CV cs.LG
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley（加州大学伯克利分校）
在本文中，我们研究了生成对抗网络（GANs）对现代说话人识别系统合成欺骗攻击的能力。我们首先证明，使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数，利用数据是真实的，但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击，提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS
Generating Adversarial Examples With Conditional Generative Adversarial Net
近年来，深度神经网络在各个领域都取得了重大进展和成功应用，但发现它们容易受到攻击实例的攻击，例如，敌对的例子。现有的攻击方法可以通过向源图像添加小的扰动来生成攻击图像。这些攻击图像可以欺骗分类器，但对人的影响很小。因此，这样的攻击实例难以通过搜索特征空间来生成。如何设计一种有效的、鲁棒的生成方法已成为研究的热点。受对抗实例的启发，本文提出了两种新的生成模型，采用条件生成对抗网络，设计了不同的训练策略，直接生成自适应攻击实例。与常用的方法如快速梯度符号法相比，该模型可以降低生成成本，提高鲁棒性，并且生成攻击实例的运行时间约为五分之一。
2019-03-18 cs.LG stat.ML
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
本文提出MGMD-GAN框架，通过多生成器与多判别器结合不相交训练数据分区学习混合分布，缩小泛化差距，从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
Defending Medical Image Diagnostics against Privacy Attacks using Generative Methods
Johns Hopkins University（约翰霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）；University of Virginia（弗吉尼亚大学）
医学成像诊断中使用的机器学习（ML）模型可能容易受到各种隐私攻击，包括成员推断攻击，这会导致违反医疗数据使用法规，并威胁到其在临床中的有效部署。与最近在隐私感知ML方面的工作主要集中在模型更改和后处理步骤相比，我们在这里提出了一种新颖的补充方案，通过控制数据共享过程来增强医疗数据的安全性。我们开发和评估的隐私防御协议的基础上使用生成对抗网络（GAN），允许医疗数据源（如医院）提供一个外部代理（建模）的代理数据集合成的原始图像，使所得的诊断系统提供给模型消费者呈现弹性隐私攻击者。我们验证了所提出的用于糖尿病视网膜病变的视网膜诊断AI方法，该方法具有可能泄露私人信息的风险。为了将隐私倡导者和建模者的关注，我们引入了一个指标来评估隐私和实用性能相结合，并证明，使用这些新颖的和经典的指标，我们的方法，本身或与其他防御，提供最先进的（SOTA）性能防御隐私攻击。
2021-08-20 cs.CR cs.CV cs.CY
Generative Models with Information-Theoretic Protection Against Membership Inference Attacks
J.P. Morgan AI Research（摩根大通人工智能研究院）；Index Exchange（Index Exchange（索引交易所））
深度生成模型，如生成对抗网络（GANs），通过估计高维数据的底层分布来合成各种高保真数据样本。尽管GANs取得了成功，但它们可能会从训练数据中泄露私人信息，从而容易受到对抗攻击，例如成员推断攻击，其中对手的目标是确定记录是否是训练集的一部分。我们提出了一个信息理论动机的正则化项，防止生成模型过拟合训练数据，并鼓励推广。我们表明，这种惩罚最大限度地减少了具有不同成员资格的数据上训练的生成器组件之间的JensenShannon分歧，并且可以使用额外的分类器以低成本实现。我们在图像数据集上的实验表明，通过提出的正则化（仅增加很小的计算成本），GANs能够保护隐私并生成高质量的样本，从而实现比非私有和差异私有更好的下游分类性能生成模型。
2022-05-31 cs.CR cs.LG
Man-in-the-Middle Attacks against Machine Learning Classifiers via Malicious Generative Models
Swinburne University of Technology（斯威本科技大学）
深度神经网络（DNN）容易受到故意制作的对抗性示例的影响。在过去的几年里，人们花了很多精力来探索查询优化攻击，以找到黑盒或白盒DNN模型的对抗性例子，以及针对这些攻击的防御对策。在这项工作中，我们探索了DNN模型在中间人（MitM）攻击的保护伞下的漏洞，这是以前没有调查过的。从MitM对手的角度来看，上述对抗性示例攻击不再可行。首先，这种攻击必须在实际发动攻击之前多次获得模型的输出，这对于MitM对手来说在实践中是困难的。其次，这种攻击是一次性的，不能直接推广到新的数据示例上，这降低了攻击者的回报率。相比之下，使用生成模型来动态制作对抗性示例可以减轻缺点。然而，生成模型的对抗能力，如变分自动编码器（VAE），还没有得到广泛的研究。因此，给定一个分类器，我们研究使用VAE解码器将良性输入转换为对抗性输入，或者将良性VAE编码器的输出解码为对抗性示例。该方法可以赋予MitM攻击者更多的攻击能力。根据我们的评估，所提出的攻击在MNIST和CIFAR10数据集上都可以达到95%以上的成功率，这比最先进的查询优化攻击更好或相当。与此同时，该攻击比查询优化攻击快104倍。
2019-10-14 cs.CR cs.LG
Adversarial Attack Against Images Classification based on Generative Adversarial Networks
George Washington University（乔治华盛顿大学）
针对图像分类系统的安全问题，本文受生成对抗网络启发，提出一种新颖的对抗攻击方法，通过对抗学习生成小扰动对抗样本，在经典数据集上成功欺骗多种先进分类器并保持样本自然性，有效揭示了系统弱点以提升抗攻击能力。
2024-12-24 cs.AI cs.CV
BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models
The University of Western Australia（西澳大学）；Australian National University（澳大利亚国立大学）
提出一种针对文本到图像生成模型的后门攻击方法BAGM，通过修改分词器、语言模型或图像生成模型，在触发时注入操纵性细节，显著提升目标偏向性，并贡献了评估指标和数据集。
2023-09-05 cs.AI cs.CR cs.CV
MorCode: Face Morphing Attack Generation using Generative Codebooks
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Norwegian University of Science Technology（挪威科技大学）；AiBA AS（AiBA AS公司）
提出基于编码器-解码器架构与码本学习的人脸融合攻击生成方法MorCode，在数字和打印扫描数据上展现出超越五种现有技术的最高攻击潜力。
2024-10-10 cs.CV
Attack Deterministic Conditional Image Generative Models for Diverse and Controllable Generation
Zhejiang University（浙江大学）；Nanjing University of Science and Technology（南京理工大学）
本文提出一种即插即用的PGD类攻击方法，通过向预训练确定性条件生成模型的输入条件添加微小扰动，在不改变网络结构或参数的情况下实现多样化且可控的图像生成，并验证了其有效性。
2024-03-13 cs.CV
The Secret Revealer: Generative Model-Inversion Attacks Against Deep Neural Networks
Fudan University（复旦大学）；University of California at Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了模型反演攻击，其中对模型的访问被滥用来推断有关训练数据的信息。自首次引入以来，鉴于训练数据通常包含隐私敏感信息，此类攻击引起了严重关注。到目前为止，成功的模型反演攻击仅在简单模型上得到证明，例如线性回归和逻辑回归。以前尝试反转神经网络，即使是具有简单架构的神经网络，也未能产生令人信服的结果。我们提出了一种新的攻击方法，称为生成模型反演攻击，它可以以高成功率反演深度神经网络。我们不是从头开始重建私人训练数据，而是利用部分公共信息（可能非常通用）通过生成对抗网络（GAN）学习分布先验，并使用它来指导反演过程。此外，我们从理论上证明了模型的预测能力及其对反转攻击的脆弱性确实是同一枚硬币的两面-高度预测的模型能够在特征和标签之间建立强相关性，这与对手利用什么来发起攻击完全一致。我们广泛的实验表明，所提出的攻击提高了约75%的识别精度比现有的工作，从一个国家的最先进的人脸识别分类器重建人脸图像。我们还表明，差分隐私，在其规范形式，是无济于事的，以抵御我们的攻击。
2020-04-18 cs.LG stat.ML
Inference Attacks Against Graph Generative Diffusion Models
Hong Kong Baptist University（香港 Baptist 大学）；Peking University（北京大学）
本文针对图生成扩散模型提出三种推断攻击，并设计防御机制以减少信息泄露风险。
2026-01-07 cs.AI cs.LG
Anomaly Detection of Adversarial Examples using Class-conditional Generative Adversarial Networks
Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）已被证明容易受到测试时规避攻击（TTE或对抗性示例）的影响，这些攻击通过对输入进行微小的更改，改变DNN的决策。我们提出了一种基于类条件生成对抗网络（GANs）的DNN分类器的无监督攻击检测器。我们通过辅助分类器GAN（AC-GAN）对预测类标签条件下的干净数据的分布进行建模。给定测试样本及其预测类，基于AC-GAN生成器和鉴别器计算三个检测统计量。在各种TTE攻击下的图像分类数据集上的实验表明，该方法优于以往的检测方法。我们还研究了使用不同DNN层（输入特征或内部层特征）进行异常检测的有效性，并证明，正如人们所料，使用更接近DNN输出层的特征更难检测到异常。
2022-05-12 cs.LG eess.IV
VA3: Virtually Assured Amplification Attack on Probabilistic Copyright Protection for Text-to-Image Generative Models
National University of Singapore（新加坡国立大学）
本文提出在线攻击框架 VA3，通过持续交互放大文本到图像模型生成侵权内容的概率，揭示概率性版权保护机制的安全漏洞。
2024-04-02 cs.AI cs.CR cs.CV
Adversarial examples for generative models
National University of Singapore（新加坡国立大学）；Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
我们探索了在深度生成模型（如变分自动编码器（VAE）和VAE-GAN）上生成对抗性示例的方法。众所周知，深度学习架构容易受到对抗性示例的影响，但以前的工作主要集中在对抗性示例在分类任务中的应用上。深度生成模型最近变得流行，因为它们能够对输入数据分布进行建模，并从这些分布中生成真实的示例。我们提出了三类对VAE和VAE-GAN架构的攻击，并针对在MNIST，SVHN和CelebA上训练的网络进行了演示。我们的第一次攻击通过将分类器附加到目标生成模型的训练编码器来利用基于分类的对手，然后可以使用该编码器间接操纵潜在表示。我们的第二次攻击直接使用VAE损失函数从对抗性示例中生成目标重建图像。我们的第三种攻击超越了依赖于梯度的分类或标准损失，并直接针对源和目标潜在表示的差异进行优化。我们还激发了为什么攻击者可能对针对目标生成网络部署此类技术感兴趣。
2017-02-22 cs.LG stat.ML
AR-GAN: Generative Adversarial Network-Based Defense Method Against Adversarial Attacks on the Traffic Sign Classification System of Autonomous Vehicles
Clemson University（克莱姆森大学）
提出AR-GAN防御框架，通过GAN重建去噪并分类交通标志图像，在黑盒与FGSM、DeepFool、C&W、PGD白盒攻击下均表现稳健，尤其在强白盒扰动中优于基准方法。
2023-12-31 cs.AI cs.CR cs.CV
The Devil is in the GAN: Backdoor Attacks and Defenses in Deep Generative Models
IBM Research Europe（IBM欧洲研究院）
深度生成模型（DGMs）是一类流行的深度学习模型，由于其能够从复杂的高维流形中合成数据，因此得到了广泛的使用。然而，即使它们越来越多地被工业采用，它们也没有受到严格的安全和隐私分析。在这项工作中，我们研究这样一个方面，即后门攻击DGMs可以显着限制模型供应链中的预训练模型的适用性，并至少造成大规模的声誉损害的公司外包DGMs从第三方。虽然类似的攻击场景已经在经典预测模型的背景下进行了研究，但它们在DGMs中的表现并没有得到同样的关注。为此，我们提出了新的训练时间的攻击，导致损坏的DGMs，正常操作下的常规数据合成和指定的目标输出从触发分布采样的输入。这些攻击基于对抗性损失函数，该函数结合了攻击隐蔽性和保真度的双重目标。我们系统地分析了这些攻击，并展示了它们对生成对抗网络（GANs）和变分自编码器（VAE）等各种方法以及包括图像和音频在内的不同数据域的有效性。我们的实验表明，即使是大规模的工业级DGMs（如StyleGAN），我们的攻击也可以只需要适度的计算工作量。我们还激励基于静态/动态模型和输出检查的适当防御，证明它们的有用性，并规定了一个实用和全面的防御策略，为安全使用DGMs铺平了道路。
2022-12-14 cs.AI cs.CR cs.LG
A Zero Trust Framework for Realization and Defense Against Generative AI Attacks in Power Grid
Old Dominion University（奥多明尼昂大学）；Virginia Tech（弗吉尼亚理工大学）；University of Houston（休斯顿大学）
针对电网供应链中的生成式AI攻击，本文提出零信任框架，结合GAN攻击生成、尾部风险度量、持续信任验证和集成学习检测，实现攻击识别与防御。
2024-03-11 cs.CR cs.LG
An End-to-End Attack on Text-based CAPTCHAs Based on Cycle-Consistent Generative Adversarial Network
College of Cybersecurity, Sichuan University（四川大学网络空间安全学院）；Cybersecurity Research Institute, Sichuan University（四川大学网络安全研究院）；College of Art, Sichuan University（四川大学艺术学院）；College of Computer Science, Sichuan University（四川大学计算机学院）
基于文本的验证码作为一种被广泛应用的安全方案，越来越难以抵抗基于机器学习的攻击。到目前为止，许多研究人员对不同公司（如微软、亚马逊、苹果等）部署的基于文本的CAPTCHA进行了攻击研究，取得了一定的成果，但这些攻击大多存在攻击方法可移植性差、需要一系列数据预处理步骤、依赖大量带标签的CAPTCHA等缺点。在本文中，我们提出了一个有效的和简单的端到端的攻击方法基于周期一致的生成对抗网络。与以往的研究相比，我们的方法大大降低了数据标记的成本。此外，该方法具有很高的可移植性。该算法只需修改少量的配置参数就可以攻击常见的基于文本的验证码方案，从而使攻击变得更加容易。首先，我们训练基于循环GAN的CAPTCHA合成器来生成一些假样本。基于卷积递归神经网络的基本识别器是用假数据训练的。随后，一个积极的迁移学习的方法来优化基本识别器利用少量的标记真实世界的验证码样本。我们的方法有效地破解了10个流行网站部署的CAPTCHA方案，这表明我们的攻击可能非常普遍。此外，我们分析了目前最流行的反识别机制。实验结果表明，多个抗识别机制的组合可以提高CAPTCHA的安全性，但提高的幅度有限。相反，生成更复杂的CAPTCHA可能会消耗更多资源并降低CAPTCHA的可用性。
2020-08-26 cs.CV
Constructing Unrestricted Adversarial Examples with Generative Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
对抗性示例通常通过在小矩阵范数内扰动现有数据点来构建，当前的防御方法主要集中在防范这种类型的攻击。在本文中，我们提出了无限制的对抗性示例，这是一种新的威胁模型，其中攻击者不限于小的范数有界扰动。与基于扰动的攻击不同，我们建议使用条件生成模型完全从头开始合成不受限制的对抗性示例。具体来说，我们首先训练一个辅助分类器生成对抗网络（AC-GAN）来对数据样本上的类条件分布进行建模。然后，以所需类别为条件，我们在AC-GAN潜在空间中搜索，以找到可能在生成模型下并且被目标分类器错误分类的图像。我们通过人工评估证明，以这种方式生成的不受限制的对抗性示例是合法的，并且属于所需的类。我们在MNIST、SVHN和CelebA数据集上的实证结果表明，不受限制的对抗性示例可以绕过针对传统对抗攻击设计的强对抗性训练和认证防御方法。
2018-12-02 cs.AI cs.CR cs.CV
Generative Adversarial Networks for Black-Box API Attacks with Limited Training Data
Intelligent Automation, Inc.（智能自动化公司）
由于基于机器学习的在线系统通过应用程序编程接口（API）提供给公共或付费用户，因此它们容易受到频繁的利用和攻击。本文研究了在实际情况下，当API调用有速率限制时的对抗性机器学习。对手通过以下方式发起探索性（推理）攻击：用输入数据样本查询在线机器学习系统（特别是分类器）的API，收集返回的标签以建立训练数据，并训练功能上等效且统计上接近目标分类器的对抗性分类器。有限的训练数据的探索性攻击被证明无法可靠地推断出一个真实的文本分类器API，可在线向公众提供的目标分类器。作为回报，构建基于深度学习的生成对抗网络（GAN）以从有限数量的真实训练数据样本生成合成训练数据，从而扩展训练数据并提高推断分类器的性能。探索性攻击通过基于从推断的分类器获得的置信度得分分别选择训练和测试数据样本，提供了发起因果攻击（旨在毒害训练过程）和逃避攻击（旨在欺骗分类器做出错误决策）的基础。这些具有小足迹的隐形攻击（使用少量API调用）使对抗机器学习在对手可用的训练数据有限的现实情况下变得实用。
2019-01-25 cs.CR cs.LG stat.ML
Backdoor Attack and Defense in Federated Generative Adversarial Network-based Medical Image Synthesis
The University of British Columbia（不列颠哥伦比亚大学）
针对联邦GAN医学图像合成中的后门攻击，本文揭示其通过判别器过拟合破坏均衡的机理，并提出FedDetect依据客户端损失识别和阻断恶意客户端。
2023-07-16 cs.AI cs.CR cs.CV
Synthetic Iris Presentation Attack using iDCGAN
West Virginia University（西弗吉尼亚大学）；IIIT Delhi（印度德里信息技术研究所）
虹膜生物识别模式的可靠性和准确性促使其在边境控制和国家ID项目等关键应用中的大规模部署。虹膜识别系统的广泛发展已经引起了对这些系统对各种攻击的敏感性的担忧。在过去，研究人员已经研究了各种虹膜呈现攻击的影响，如纹理隐形眼镜和打印攻击。在这项研究中，我们提出了一种新的呈现攻击使用基于深度学习的合成虹膜生成。利用深度卷积生成对抗网络的生成能力和虹膜质量指标，我们提出了一个新的框架，命名为iDCGAN（虹膜深度卷积生成对抗网络），用于生成逼真的合成虹膜图像。我们证明了这些综合生成的虹膜图像作为演示攻击虹膜识别的效果，通过使用商业系统。最先进的演示攻击检测框架，MANUST被用来分析它是否可以区分这些合成生成的虹膜图像从真实图像。实验结果表明，减轻所提出的合成演示攻击是至关重要的。
2017-10-29 cs.CV
Conditional Generative Adversarial Network for keystroke presentation attack
Vicomtech（Vicomtech基金会）；Basque Research and Technology Alliance（巴斯克研究与技术联盟）
网络安全是数据保护的关键一步，以确保用户安全和个人数据隐私。从这个意义上说，许多公司已经开始使用身份验证系统来控制和限制对其数据的访问。然而，这些传统的身份验证方法不足以确保数据保护，并且由于这个原因，行为生物识别变得重要。尽管生物特征识别系统具有良好的应用前景和广泛的应用范围，但它仍然容易受到恶意攻击，例如呈现攻击。出于这个原因，在这项工作中，我们建议研究一种新的方法，旨在部署一个演示攻击的身份验证系统。我们的想法是使用条件生成对抗网络（cGAN）来生成可用于冒充授权用户的合成对抗数据。这些合成数据是在两个不同的实际用例之后生成的，其中一个用例中键入的单词的顺序是已知的（有序动态），另一个用例中该顺序是未知的（无序动态）。最后，这两个动态（有序和无序）验证使用外部认证系统。结果表明，cGAN可以有效地生成可用于欺骗身份验证系统的动态模式。
2022-12-16 cs.CR cs.LG
CIT-GAN: Cyclic Image Translation Generative Adversarial Network With Application in Iris Presentation Attack Detection
Michigan State University（密歇根州立大学）
在这项工作中，我们提出了一种新的循环图像翻译生成对抗网络（CIT-GAN）的多域风格转移。为了实现这一点，我们引入了一个样式网络，它能够学习训练数据集中表示的每个域的样式特征。造型网络帮助生成器驱动图像从源域到参考域的转换，并生成具有参考域风格特征的合成图像。每个领域的学习风格特征取决于风格损失和领域分类损失。这导致了每个领域内风格特征的变化。建议的CIT-GAN用于虹膜呈现攻击检测（PAD）的背景下，生成合成呈现攻击（PA）样本的类，在训练集中代表不足。使用当前最先进的虹膜PAD方法的评估证明了使用这种合成生成的PA样本用于训练PAD方法的功效。此外，使用Frechet起始距离（FID）得分来评估合成生成的样本的质量。实验结果表明，该方法生成的合成图像质量优于其他竞争方法，包括StarGan。
2020-12-04 cs.CV
Privacy Re-identification Attacks on Tabular GANs
Norwegian University of Science and Technology（挪威科技大学）
本文研究表格型 GAN 合成数据的隐私重识别攻击，分析不同攻击者知识水平下的风险，并发现黑盒访问生成模型及进化多目标优化重构攻击会显著加剧隐私泄露。
2024-03-31 cs.CR cs.LG
Copyright Protection and Accountability of Generative AI:Attack, Watermarking and Attribution
University of New South Wales（新南威尔士大学）；The Australian National University（澳大利亚国立大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61研究所）
生成式人工智能（例如，生成对抗网络（Generative Adversarial Networks，简称GANs）近年来越来越受欢迎。然而，生成式人工智能引入了对知识产权（IPR）保护的重大关切（分别为：模型责任）有关的图像（分别有毒图像）和模型（分别中毒模型）生成。在本文中，我们提出了一个评估框架，以全面概述GANs的版权保护措施的现状，评估它们在各种GAN架构中的性能，并确定影响其性能的因素和未来的研究方向。我们的研究结果表明，目前的输入图像，模型水印和属性网络的知识产权保护方法在很大程度上是令人满意的广泛的GANs。我们强调，必须进一步关注保护训练集，因为目前的方法无法提供强大的知识产权保护和对训练集的出处追踪。
2023-03-15 cs.CR cs.LG cs.MM
The Robust Manifold Defense: Adversarial Training using Generative Models
UT Austin（德克萨斯大学奥斯汀分校）；MIT EECS（麻省理工学院电子工程与计算机科学系）
我们提出了一种新的攻击类型，为图像分类器寻找对抗性的例子。我们的方法利用spatial，即深度神经网络，其输入空间是低维的，其输出范围近似于感兴趣的图像集。生成器可以是GANs的生成器或VAE的解码器。我们攻击的关键思想是搜索潜在代码对，以找到生成具有不同分类器输出的附近图像的代码对。我们认为，我们的攻击比搜索真实图像的扰动更强。此外，我们证明了我们更强的攻击可以用于将Defense-GAN的准确率降低到3%，解决了Athalye等人的著名论文中的一个公开问题。我们将我们的攻击与正常的对抗训练相结合，以获得最强大的已知MNIST分类器，显着提高了对抗PGD攻击的最新技术水平。我们的公式涉及到解决一个最小-最大问题，其中最小玩家设置分类器的参数，最大玩家运行我们的攻击，因此正在搜索搜索引擎的{ \em低维}输入空间中的对抗性示例。所有代码和型号均可在\url{https://github.com/ajiljalal/manifold-defense.git}上获得
2019-07-10 cs.CR cs.CV cs.LG
A survey on Adversarial Recommender Systems: from Attack/Defense strategies to Generative Adversarial Networks
Polytechnic University of Bari（巴里理工大学）
基于协同过滤（CF）的潜在因子模型（LFM），如矩阵分解（MF）和深度协同过滤（deep CF）方法，由于其优异的性能和推荐准确性，被广泛应用于现代推荐系统（RS）中。然而，成功伴随着一个新的重大挑战：许多机器学习（ML）应用本质上是对抗性的。近年来，已经表明这些方法容易受到对抗性示例的影响，即，微妙但非随机的扰动，旨在迫使推荐模型产生错误的输出。这项调查的目标有两个方面：（i）介绍对抗性机器学习（AML）在RS安全性方面的最新进展（即，攻击和防御推荐模型），（ii）展示AML在生成对抗网络（GANs）中的另一个成功应用，这要归功于它们学习（高维）数据分布的能力。在这项调查中，我们提供了一个详尽的文献综述74篇文章发表在主要的RS和ML期刊和会议。这篇评论可作为RS社区的参考，研究RS的安全性或使用GANs来提高其质量的生成模型。
2020-11-10 cs.CR cs.IR cs.LG
Attacks and Defenses for Generative Diffusion Models: A Comprehensive Survey
INRS, University of Québec（魁北克大学INRS）
本文系统综述了生成扩散模型面临的主要攻击类型与防御方法，涵盖五类核心模型、对抗攻击、成员推断、后门注入及多模态威胁，并总结现有对策、开放挑战与未来研究方向。
2024-08-06 cs.AI cs.CR cs.LG
Deep Generative Attacks and Countermeasures for Data-Driven Offline Signature Verification
Bucknell University（巴克内尔大学）
本研究针对数据驱动离线签名验证系统，利用VAE和CGAN生成伪造签名进行攻击，并发现攻击使错误接受率从0%-5.47%升至19.12%-61.64%，通过真实与合成数据重训练可将错误接受率降至0%-0.99%，验证了生成方法对提升系统安全性的作用。
2024-07-17 cs.CV cs.CY
Protecting Intellectual Property of Generative Adversarial Networks from Ambiguity Attack
University of Malaya（马来亚大学）；WeBank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
自从机器学习即服务（MLaaS）作为一种利用深度学习模型来产生利润丰厚的业务出现以来，知识产权（IPR）已经成为一个主要问题，因为这些深度学习模型可以很容易地被任何未经授权的第三方复制、共享和重新分发。据我们所知，尽管存在针对卷积神经网络（CNN）的开创性知识产权保护方法，但已广泛用于创建逼真图像的著名深度学习模型之一-生成对抗网络（GANs）完全不受保护。因此，本文提出了一个完整的保护框架，在黑盒和白盒设置，以加强知识产权保护的GANs。经验上，我们表明，所提出的方法不损害原始的GANs性能（即图像生成，图像超分辨率，风格转移），并在同一时间，它能够承受去除和模糊攻击嵌入水印。
2021-03-01 cs.AI cs.CR cs.CV
Ownership Protection of Generative Adversarial Networks
University of Luxembourg（卢森堡大学）
针对现有GAN知识产权保护方法需改动训练流程且抗模型提取攻击鲁棒性差的问题，提出一种基于目标模型与被盗模型共有特征、无需重训练的所有权保护方法，经多场景实验验证其保护性能优于现有最优方法。
2023-06-08 cs.CR cs.CV cs.LG
Plug & Play Attacks: Towards Robust and Flexible Model Inversion Attacks
Technical University of Darmstadt（达姆施塔特工业大学）；Universität der Bundeswehr München（慕尼黑联邦国防军大学）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
模型反演攻击（MIA）旨在通过利用模型的学习知识，从目标分类器的私有训练数据创建反映类特征的合成图像。以前的研究已经开发出了生成MIA，它使用生成对抗网络（GANs）作为针对特定目标模型的图像先验。这使得攻击耗费时间和资源，不灵活，并且容易受到数据集之间分布变化的影响。为了克服这些缺点，我们提出了即插即用攻击，它放松了目标模型和图像先验之间的依赖性，并允许使用单个GAN攻击广泛的目标，只需对攻击进行微小的调整。此外，我们表明，即使使用公开的预训练GANs和强分布变化，强大的MIA也是可能的，以前的方法无法产生有意义的结果。我们的广泛评估证实了即插即用攻击的鲁棒性和灵活性的提高，以及它们创建高质量图像的能力，这些图像揭示了敏感的类特征。
2022-06-09 cs.AI cs.CV cs.LG
An Open Patch Generator based Fingerprint Presentation Attack Detection using Generative Adversarial Network
Indian Institute of Technology Indore（印度理工学院印多尔分校）；The LNM Institute of Information Technology（LNM信息技术学院）
本文提出利用GAN驱动的Open Patch Generator生成新型逼真欺骗指纹以扩充数据，并通过DenseNet提升FPAD在未知材料、跨材料及跨传感器攻击下的检测性能。
2023-06-06 cs.CV
Adversarial Imitation Attack
University of Electronic Science Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）
众所周知，深度学习模型容易受到对抗性示例的影响。一个实际的对抗攻击应该需要尽可能少的被攻击模型的知识。目前的替代攻击需要预先训练好的模型来生成对抗性样本，其攻击成功率严重依赖于对抗性样本的可移植性。目前基于分数和基于决策的攻击需要对被攻击模型进行大量的查询。在这项研究中，我们提出了一种新的对抗性模仿攻击。首先，它通过像生成对抗网络（GANs）这样的两人游戏生成被攻击模型的副本。生成模型的目标是生成实例，使模仿模型返回与被攻击模型不同的输出。模仿模型的目标是在相同的输入下输出与被攻击模型相同的标签。然后，利用模仿模型生成的对抗性样本欺骗被攻击模型。与现有的替代攻击相比，模仿攻击可以使用更少的训练数据来生成被攻击模型的副本，提高对抗样本的可移植性。实验结果表明，我们的模仿攻击需要更少的训练数据比黑盒替代攻击，但实现了接近白盒攻击的攻击成功率上看不见的数据，没有查询。
2020-03-31 cs.CR cs.CV cs.LG
Exploring the Connection between Robust and Generative Models
Sapienza, University of Rome（罗马第一大学）
本文揭示对抗训练分类器内部隐含 EBM 生成结构，并据此解释、检测无目标对抗样本，提出能量接近真实数据的 High-Energy PGD 攻击。
2023-06-05 cs.CR cs.CV cs.LG
A Probabilistic Fluctuation based Membership Inference Attack for Diffusion Models
School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间科学与工程学院）；Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）
本文针对扩散模型成员推理攻击中过拟合依赖导致的性能不足问题，提出基于概率波动检测的黑盒攻击方法PFAMI，利用生成模型固有的记忆现象提升攻击成功率，实验表明其ASR较最佳基线提高约27.9%。
2024-12-26 cs.AI cs.CR cs.CV
Understanding Implosion in Text-to-Image Generative Models
University of Chicago（芝加哥大学）
本文建立首个分析框架，通过监督图对齐与对齐难度指标，证明投毒提示数量增加导致交叉注意力对齐困难，从而引发文本到图像模型内爆，并实验验证该机制。
2024-09-18 cs.AI cs.CR cs.CV
Generative Adversarial Network-Driven Detection of Adversarial Tasks in Mobile Crowdsensing
University of Ottawa（渥太华大学）
移动人群感知系统是脆弱的，因为它们建立在非专用和无处不在的属性，各种攻击。基于机器学习（ML）的方法被广泛研究以构建攻击检测系统并确保MCS系统安全。然而，旨在阻塞传感前端和MCS后端的攻击者利用智能技术，这对MCS平台和服务提供商来说是一个挑战，需要开发适当的检测框架来应对这些攻击。生成对抗网络（GANs）已被应用于生成与真实样本极其相似的合成样本，欺骗分类器，使合成样本与原始样本无法区分。以前的工作表明，基于GAN的攻击比经验设计的攻击样本表现出更严重的破坏性，并导致MCS平台的检测率较低。考虑到这一点，本文旨在通过集成基于GAN的模型来检测智能设计的非法传感服务请求。为此，我们提出了一个两级级联分类器，它将GAN级联与二进制分类器相结合，以防止对抗性的假任务。仿真结果表明，该方法提高了对抗攻击检测率（AADR），通过KNN/NB从$0\%$提高到$97.5\%$，通过决策树从$45.9\%$提高到$100\%$.同时，两级分类器，原始攻击检测率（OADR）提高了三个二进制分类器，与比较，如NB从$26.1\%$到$61.5\%$。
2022-02-16 cs.AI cs.CR cs.LG
Intriguing Properties of Diffusion Models: An Empirical Study of the Natural Attack Capability in Text-to-Image Generative Models
University of California, Irvine（加州大学欧文分校）；University of Cambridge（剑桥大学）
本文揭示扩散模型存在自然去噪扩散（NDD）攻击风险，通过文本提示移除人类视觉关键特征仍可欺骗DNN，并构建NDDA数据集实证评估其低成本、模型无关且可迁移的对抗攻击能力。
2024-05-02 cs.CR cs.CV
PLA: Prompt Learning Attack against Text-to-Image Generative Models
The Hong Kong Polytechnic University（香港理工大学）
本文提出PLA框架，利用多模态相似性设计梯度训练，在黑盒设置下高效生成对抗性提示，以高成功率绕过T2I模型的安全机制，揭示其生成NSFW内容的漏洞。
2025-07-14 cs.AI cs.CR cs.CV
DiffZOO: A Purely Query-Based Black-Box Attack for Red-teaming Text-to-Image Generative Model via Zeroth Order Optimization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Drexel University（德雷塞尔大学）；Shanghai Innovation Center for Processor Technologies, SHIC（上海处理器技术创新中心）
DiffZOO 提出一种纯查询黑盒攻击方法，利用零阶优化和 C-PRV、D-PRV 增强离散提示，在多个 T2I 安全机制上平均攻击成功率比先前工作高 8.5%。
2025-02-06 cs.AI cs.CR cs.CV
Information Stealing in Federated Learning Systems Based on Generative Adversarial Networks
United Nations University（联合国大学）；The University of Tokyo（东京大学）
对智能机器协作解决问题的深度学习系统的攻击可能会导致网络中的节点在关键判断上犯错误。与此同时，人工智能的安全和隐私问题引起了多个学科专家的关注。在这项研究中，我们使用三个不同的数据集成功地对联邦学习（FL）环境进行了对抗攻击。这些攻击利用生成对抗网络（GANs）来影响学习过程，并通过从共享的局部模型参数中学习隐藏的特征来重建用户的私人数据。该攻击是面向目标的绘图数据，分别来自CIFAR- 10，MNIST和Fashion-MNIST。此外，通过测量真实数据和重建的对抗样本之间的欧氏距离，我们评估了对手在各种场景下的学习过程中的性能。最后，我们成功地重建受害者的真实数据，从共享的全局模型参数与所有应用的数据集。
2021-08-02 cs.CR cs.LG
Dimension-Reduction Attack! Video Generative Models are Experts on Controllable Image Synthesis
Zhejiang University（浙江大学）；Kunbyte AI；Ant Group（蚂蚁集团）；Hangzhou Normal University（杭州师范大学）
提出DRA-Ctrl范式，通过知识压缩与任务适应将视频生成模型降维应用于可控图像合成，利用长程建模与注意力掩码机制，在多种图像生成任务上优于直接训练的图像模型。
2025-05-29 cs.CV
G-IDS: Generative Adversarial Networks Assisted Intrusion Detection System
Florida International University（佛罗里达国际大学）
网络物理系统（CPS）和物联网（IoT）的边界正在日益融合，以在混合系统上引入通用平台。此外，人工智能（AI）与CPS的结合创造了技术进步的新维度。所有这些连接性和可靠性都为攻击者发动网络攻击创造了巨大的空间。为了抵御这些攻击，入侵检测系统（IDS）得到了广泛的应用。然而，新兴的CPS技术遭受不平衡和缺失的样本数据，这使得入侵检测系统的训练困难。在本文中，我们提出了一个生成对抗网络（GAN）的入侵检测系统（G-IDS），其中GAN生成合成样本，和IDS得到训练，他们与原始的。G-IDS还解决了不平衡或丢失数据的问题。我们使用NSL KDD-99数据集为一个新兴的CPS网络安全数据集建模，并使用不同的指标评估我们提出的模型的性能。我们发现，我们提出的G-IDS模型在训练过程中的攻击检测和模型稳定性比一个独立的IDS更好。
2020-06-01 cs.CR cs.LG
Data-Chain Backdoor: Do You Trust Diffusion Models as Generative Data Supplier?
本研究提出数据链后门攻击，揭示扩散模型可能成为后门载体，通过微调提升攻击效果，影响下游模型安全。
2026-02-09 cs.AI cs.CR cs.LG
Adversarial purification with Score-based generative models
Korea Advanced Institute of Science and Technology（韩国科学技术院）；AITRICS
虽然对抗训练被认为是图像分类器对抗对抗攻击的标准防御方法，但对抗净化（其利用独立净化模型将受攻击的图像净化成干净的图像）已显示出作为替代防御方法的前景。最近，使用马尔可夫链蒙特卡罗（MCMC）训练的基于能量的模型（EBM）已被强调为纯化模型，其中通过使用EBM的梯度运行长马尔可夫链来纯化受攻击的图像。然而，使用EBM的对抗性纯化的实用性仍然值得怀疑，因为这种纯化所需的MCMC步骤的数量太大。在本文中，我们提出了一种新的对抗净化方法的基础上训练与去噪得分匹配（DSM）的EBM。我们表明，用DSM训练的EBM可以在几个步骤内快速净化受攻击的图像。我们进一步介绍了一个简单而有效的随机净化方案，注入随机噪声的图像净化前。该过程屏蔽了随机噪声对图像的不利扰动，并使图像达到EBM可以很好地去噪的状态。我们表明，我们的净化方法是强大的，对各种攻击，并展示其最先进的性能。
2021-06-11 cs.CR cs.LG
PureGen: Universal Data Purification for Train-Time Poison Defense via Generative Model Dynamics
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；California Institute of Technology（加州理工学院）
针对训练期数据投毒攻击，提出基于EBMs和DDPMs迭代Langevin动力学的通用数据净化方法PureGen，在无需攻击特定信息的前提下有效净化投毒数据，保持分类器泛化能力并实现最先进防御。
2024-06-02 cs.AI cs.CR cs.LG
Learning Generative Deception Strategies in Combinatorial Masking Games
Washington University（华盛顿大学）；Army Research Laboratory（陆军研究实验室）；University of Texas, Dallas（德克萨斯大学达拉斯分校）
欺骗是网络防御中的一个重要工具，使防御者能够利用其信息优势来降低成功攻击的可能性。欺骗的一种方式是通过模糊或掩盖一些关于系统如何配置的信息，增加攻击者对其目标的不确定性。我们提出了一种新的博弈论模型，由此产生的防御者-攻击者的相互作用，防御者选择一个子集的属性来屏蔽，而攻击者通过选择一个漏洞来执行。两个参与者的策略都具有复杂信息依赖的组合结构，因此即使表示这些策略也不是微不足道的。首先，我们证明了计算零和防御者-攻击者博弈的平衡的问题可以表示为一个线性规划与系统配置变量和约束的组合数，并开发了一个约束生成方法来解决这个问题。接下来，我们提出了一种新的高度可扩展的方法来近似解决这样的游戏，代表双方球员的策略作为神经网络。其关键思想是使用深度神经网络生成器来表示防御者的混合策略，然后使用交替梯度下降上升算法，类似于生成对抗网络的训练。我们的实验，以及案例研究，证明了所提出的方法的有效性。
2022-06-17 cs.AI cs.CR cs.GT
