Class-Conditional Defense GAN Against End-to-End Speech Attacks
在本文中，我们提出了一种针对端到端对抗攻击的新型防御方法，该方法旨在欺骗DeepSpeech和Lingvo等高级语音转文本系统。与传统的防御方法不同，所提出的方法不直接采用低级变换，例如对给定的输入信号进行自动编码，以消除潜在的对抗性扰动。相反，我们找到一个最佳的输入向量类条件生成对抗网络通过最小化之间的相对弦距离调整给定的测试输入和生成器网络。然后，我们从合成的频谱图和从给定的输入信号导出的原始相位信息重建1D信号。因此，这种重建不会向信号中添加任何额外的噪声，并且根据我们的实验结果，我们的防御GAN在单词出错率和句子级别识别准确性方面都大大优于传统的防御算法。
2021-02-20 cs.CR cs.CV cs.LG
Attack as the Best Defense: Nullifying Image-to-image Translation GANs via Limit-aware Adversarial Attack
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
随着高质量图像到图像（Img 2 Img）翻译GANs的成功创建，DeepFake和DeepNude的非道德应用也随之而来。这种对img 2 img技术的滥用给社会带来了一个具有挑战性的问题。在这项工作中，我们通过引入极限感知自引导梯度滑动攻击（LaS-GSA）来解决这个问题。LaS-GSA遵循无效攻击，在黑盒设置下取消img 2 img翻译过程。换句话说，通过在发布之前使用所提出的LaS-GSA处理输入图像，可以使任何目标img 2 img GANs无效，从而防止模型恶意操纵图像。为了提高效率，我们引入了极限感知随机无梯度估计和梯度滑动机制来估计遵循对抗极限的梯度，即，对抗性示例的像素值限制。理论论证验证了上述技术如何防止在方向和步长上的对抗限制所导致的低效率。此外，一个有效的自引导先验提取单独从威胁模型和目标图像，以有效地利用先验信息，并指导梯度估计过程。大量的实验表明，LaS-GSA需要更少的查询，以更高的成功率比4个国家的最先进的黑盒方法无效的图像翻译过程。
2021-10-06 cs.CR cs.CV cs.LG
The Robust Manifold Defense: Adversarial Training using Generative Models
UT Austin（德克萨斯大学奥斯汀分校）；MIT EECS（麻省理工学院电子工程与计算机科学系）
我们提出了一种新的攻击类型，为图像分类器寻找对抗性的例子。我们的方法利用spatial，即深度神经网络，其输入空间是低维的，其输出范围近似于感兴趣的图像集。生成器可以是GANs的生成器或VAE的解码器。我们攻击的关键思想是搜索潜在代码对，以找到生成具有不同分类器输出的附近图像的代码对。我们认为，我们的攻击比搜索真实图像的扰动更强。此外，我们证明了我们更强的攻击可以用于将Defense-GAN的准确率降低到3%，解决了Athalye等人的著名论文中的一个公开问题。我们将我们的攻击与正常的对抗训练相结合，以获得最强大的已知MNIST分类器，显着提高了对抗PGD攻击的最新技术水平。我们的公式涉及到解决一个最小-最大问题，其中最小玩家设置分类器的参数，最大玩家运行我们的攻击，因此正在搜索搜索引擎的{ \em低维}输入空间中的对抗性示例。所有代码和型号均可在\url{https://github.com/ajiljalal/manifold-defense.git}上获得
2019-07-10 cs.CR cs.CV cs.LG
RSD-GAN: Regularized Sobolev Defense GAN Against Speech-to-Text Adversarial Attacks
Fédération des Caisses Desjardins du Québec（魁北克德雅尔丹储蓄信贷联盟）
本文介绍了一种新的基于合成的防御算法，用于对抗各种对抗攻击，这些攻击是为了挑战尖端的语音到文本转录系统的性能而开发的。我们的算法实现了一个基于Sobolev的GAN，并提出了一种新的正则化器，用于有效地控制整个生成模型的功能，特别是在训练过程中的神经网络。我们在受害者DeepSpeech、Kaldi和Lingvo语音转录系统上进行了大量实验，取得的结果证实了我们的防御方法在针对性和非针对性对抗攻击方面的卓越性能。
2022-09-24 cs.LG cs.SD eess.AS
UnGANable: Defending Against GAN-based Face Manipulation
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（赛富时研究院）；Microsoft Research（微软研究院）
Deepfakes对我们的社会构成了视觉错误信息的严重威胁。一个代表性的深度伪造应用是面部操纵，其修改图像中受害者的面部属性，例如，改变她的年龄或头发颜色最先进的人脸操纵技术依赖于生成对抗网络（GANs）。在本文中，我们提出了第一个防御系统，即UnGANable，以对抗基于GAN反转的人脸操作。具体来说，UnGANable专注于防御GAN反转，这是面部操纵的重要步骤。它的核心技术是在图像空间中寻找原始图像（称为目标图像）周围的替代图像（称为隐藏图像）。当发布到网上时，这些隐藏的图像可能会危及GAN反演过程。我们考虑两个国家的最先进的反演技术，包括优化为基础的反演和混合反演，并设计了五种不同的防御五种情况下，根据防御者的背景知识。在两个基准人脸数据集上训练的四个流行的GAN模型上进行的大量实验表明，UnGANable实现了显着的有效性和实用性能，并且优于多种基线方法。我们进一步研究了四种自适应对手来绕过UnGANable，并表明其中一些是稍微有效的。
2022-10-03 cs.CR cs.CV cs.LG
Attacks and Defenses for Free-Riders in Multi-Discriminator GAN
TU Delft（代尔夫特理工大学）
生成对抗网络（GANs）越来越多地被业界采用来合成逼真的图像。由于数据不是集中可用的，多鉴别器（MD）-GANs训练框架采用多个鉴别器，这些鉴别器可以直接存取真实数据。分布式训练联合GAN模型会带来搭便车的风险，即，参与者的目的是从共同模式中受益，而只是假装参与培训过程。在本文中，我们进行了第一次表征研究的影响，搭便车的MD-GAN。基于MD-GAN的两个生产原型，我们发现搭便车者大大降低了MD-GAN生成与真实数据无法区分的图像的能力，即，它们增加了FID分数--评估生成图像质量的标准度量。为了减轻模型退化，我们提出了一种防御策略，对搭便车的MD-GAN，称为DFG。DFG通过基于搭便车者的参考响应对鉴别器的响应进行周期性探测和聚类来区分搭便车者和良性参与者，这然后允许生成器从训练中排除检测到的搭便车者。此外，我们扩展了我们的防御（称为DFG+），使鉴别器能够过滤掉MD-GAN变体上的搭便车者，该变体允许鉴别器网络的对等交换。对搭便车的各种场景，MD-GAN架构和三个数据集的广泛评估表明，我们的防御有效地检测搭便车。在1到5个搭便车者的情况下，DFG和DFG+与没有防御的攻击相比，CIFAR 10平均降低FID 5.22%到11.53%，CIFAR 100平均降低FID 5.79%到13.22%。在shell中，所提出的DFG（+）可以有效地防御搭便车者，而不影响良性客户端在一个…
2022-01-24 cs.CV cs.DC
APE-GAN: Adversarial Perturbation Elimination with GAN
Institute of Computing Technology Chinese Academy of Sciences（中国科学院计算技术研究所）
虽然神经网络在识别图像时可以实现最先进的性能，但它们经常遭受对抗性示例的巨大失败-通过利用不可察觉但故意的扰动来从数据集中清除样本而产生的输入。如何对对抗性实例进行防御是一个值得研究的重要问题。到目前为止，很少有方法能为对抗性示例提供有效的防御。本文提出了一种新的思想，并实现了一个有效的框架，基于生成的对抗网络命名为APE-GAN对抗的例子。在MNIST、CIFAR 10和ImageNet三个基准数据集上的实验结果表明，APE-GAN能够有效地抵抗由五种攻击生成的对抗性示例。
2017-09-26 cs.CV
A Survey on the Application of Generative Adversarial Networks in Cybersecurity: Prospective, Direction and Open Research Scopes
Boise State University（博伊西州立大学）
本文综述了生成对抗网络（GANs）在网络安全中的应用，涵盖入侵检测、恶意软件检测等领域，讨论了挑战并展望了未来研究方向。
2024-09-20 cs.AI cs.CR cs.CV
Invert and Defend: Model-based Approximate Inversion of Generative Adversarial Networks for Secure Inference
University of Maryland（马里兰大学）；Butterfly Network（蝴蝶网络公司）
在生成对抗网络（GANs）中，推断生成给定测试样本的潜在变量是一个具有挑战性的问题。在本文中，我们提出了InvGAN -一种用于解决GANs中推理问题的新框架，该框架涉及训练一个编码器网络，该编码器网络能够在不访问任何训练数据的情况下反转预先训练的生成器网络。在温和的假设下，我们从理论上证明，使用InvGAN，我们可以近似地反转训练GAN模型的任何潜在代码的生成。此外，我们经验证明了我们的推理方案的优越性与其他方法，执行类似的任务进行定量和定性比较。我们还展示了我们的框架在对抗性防御问题中的有效性，其中InvGAN可以成功地用作基于投影的防御机制。此外，我们还展示了InvGAN如何用于对基于投影的防御机制实施重新参数化白盒攻击。在几个基准数据集上的实验验证表明，我们的方法在几个白盒和黑盒攻击上实现了更好的性能。我们的代码可在https://github.com/yogeshbalaji/InvGAN上获得。
2019-11-23 cs.CV cs.LG stat.ML
Multi-Discriminator Sobolev Defense-GAN Against Adversarial Attacks for End-to-End Speech Systems
École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）
本文介绍了一种针对尖端语音转文本系统开发的端到端对抗攻击的防御方法。提出的防御算法有四个主要步骤。首先，我们使用短时傅立叶变换用二维频谱图表示语音信号。其次，我们迭代地找到一个安全的向量使用频谱子空间投影操作。该操作使用附加的正则化项来最小化谱图之间的弦距离调整。第三，我们使用一个新的GAN架构训练Sobolev积分概率度量合成这样一个安全向量的频谱图。为了提高模型的性能方面的稳定性和学习模式的总数，我们施加了额外的约束的发电机网络。最后，我们从合成的频谱图和Griffin-Lim相位近似技术重建信号。我们评估了针对DeepSpeech，Kaldi和Lingvo模型的六种强大的白盒和黑盒对抗攻击的防御方法。我们的实验结果表明，我们的算法优于其他国家的最先进的防御算法的准确性和信号质量。
2021-03-15 cs.LG cs.SD eess.AS
MimicGAN: Corruption-Mimicking for Blind Image Recovery & Adversarial Defense
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
求解逆问题仍然是计算机视觉的核心挑战。现有的技术要么使用关于损坏的先验知识显式地构造逆映射，要么使用大量的示例直接学习逆映射。然而，在实践中，腐败的性质可能是未知的，因此，将推断合理解决方案的问题规范化是一项挑战。另一方面，收集特定于任务的训练数据对于已知的损坏是乏味的，并且对于未知的损坏是不可能的。我们提出了MimicGAN，这是一种无监督的技术，用于以生成对抗网络（GANs）的形式解决基于图像先验的一般逆问题。使用GAN之前，我们表明，可以可靠地恢复欠定逆问题的解决方案，通过代理网络，学习模仿腐败在测试时。我们的系统连续估计腐败和干净的图像，而不需要监督训练，同时在盲图像恢复中优于现有的基线。我们还证明了MimicGAN改进了最近基于GAN的对抗攻击防御，并代表了当今最强大的测试时间防御之一。
2018-11-20 cs.AI cs.CV stat.ML
Minimax Defense against Gradient-based Adversarial Attacks
Aalto University（阿尔托大学）；Perspecta Labs（Perspecta实验室）
最先进的对抗攻击针对的是神经网络分类器。默认情况下，神经网络使用梯度下降来最小化其损失函数。基于梯度的对抗攻击使用分类器损失函数的梯度来生成对抗扰动图像。我们提出了另一种类型的优化是否可以给神经网络分类器的优势的问题。在这里，我们介绍了一种新的方法，使用极大极小优化来挫败基于梯度的对抗攻击。我们的极大极小分类器是生成对抗网络（GAN）的子节点，它与GAN生成器进行极大极小博弈。此外，我们的GAN生成器将所有点投影到与原始流形不同的流形上，因为原始流形可能是对抗攻击的原因。为了衡量我们的极大极小防御的性能，我们使用了对抗攻击- Carlini Wagner（CW），DeepFool，快速梯度符号方法（FGSM）-在三个数据集上：MNIST，CIFAR-10和德国交通标志（TRAFFIC）。针对CW攻击，我们的极大极小防御率达到98.07%（MNIST-默认98.93%），73.90%（CIFAR-10-默认83.14%）和94.54%（TRAFFIC-默认96.97%）。针对DeepFool攻击，我们的minimax防御达到98.87%（MNIST），76.61%（CIFAR-10）和94.57%（TRAFFIC）。针对FGSM攻击，我们实现了97.01%（MNIST），76.79%（CIFAR-10）和81.41%（TRAFFIC）。我们的Minimax对抗方法为神经网络分类器的防…
2020-02-04 cs.GT cs.LG stat.ML
GAN-Based Single-Stage Defense for Traffic Sign Classification Under Adversarial Patch
Clemson University（克莱姆森大学）
本文提出基于GAN的单阶段防御策略，有效提升自动驾驶系统对对抗性贴纸攻击的防御能力，显著提高交通标志分类的准确率。
2026-03-03 cs.CV
CAP-GAN: Towards Adversarial Robustness with Cycle-consistent Attentional Purification
KAIST（韩国科学技术院）
对抗攻击的目的是利用不可感知的扰动欺骗目标分类器。恶意精心制作的对抗性示例可能会导致错误的预测，从而导致灾难性的事故。为了减轻对抗攻击的影响，我们提出了一种新的净化模型称为CAP-GAN。CAP-GAN考虑了像素级和特征级一致性的思想，在周期一致性学习下实现合理的净化。具体来说，我们利用引导注意模块和知识蒸馏来向净化模型传达有意义的信息。一旦模型被完全训练，输入将被投影到净化模型中，并转换为干净的图像。我们改变了对手的能力，认为对各种类型的攻击策略的鲁棒性。在CIFAR-10数据集上，CAP-GAN在黑盒和白盒设置下都优于其他基于预处理的防御。
2021-05-25 cs.CR cs.CV cs.LG
Backdoor Attack and Defense in Federated Generative Adversarial Network-based Medical Image Synthesis
The University of British Columbia（不列颠哥伦比亚大学）
针对联邦GAN医学图像合成中的后门攻击，本文揭示其通过判别器过拟合破坏均衡的机理，并提出FedDetect依据客户端损失识别和阻断恶意客户端。
2023-07-16 cs.AI cs.CR cs.CV
Drop the GAN: In Defense of Patches Nearest Neighbors as Single Image Generative Models
The Weizmann Institute of Science（魏茨曼科学研究所）；Weizmann Artificial Intelligence Center (WAIC)（魏茨曼人工智能中心）
单图像生成模型通过捕获单个图像内的补丁分布来执行合成和操作任务。这些任务的经典（前深度学习）流行方法基于最大化输入和生成的输出之间的补丁相似性的优化过程。然而，最近，单图像GANs被引入作为此类操作任务的高级解决方案，也用于显着的新颖生成任务。尽管它们令人印象深刻，但单个图像GANs需要很长的训练时间（通常是几个小时）来完成每个图像和每个任务。它们通常会出现伪影，并且容易出现优化问题，例如模式坍塌。在本文中，我们证明了所有这些任务都可以在几秒钟内在一个统一的，令人惊讶的简单框架中执行，而无需任何培训。我们重新审视和铸造的“好老”补丁为基础的方法到一个新的无优化的框架。我们从最初的粗略猜测开始，然后使用块最近邻搜索简单地细化细节。这允许比GANs更好更快地生成随机新颖图像。我们进一步展示了广泛的应用，如图像编辑和重组，重定向到不同的大小，结构类比，图像拼贴和新引入的条件修复任务。我们的方法不仅更快（$\times 10^3$ - $\times 10^4$比GAN更快），而且产生了更好的结果（通过定量和定性评估证实），更少的伪影和更真实的全局结构比以前的任何方法（无论是基于GAN还是基于经典补丁）。
2021-08-24 cs.CV
Adversarial Self-Defense for Cycle-Consistent GANs
Boston University（波士顿大学）
无监督图像到图像翻译的目标是将图像从一个域映射到另一个域，而两个域之间没有地面真实对应关系。最先进的方法使用来自两个域的大量未配对示例来学习对应关系，并且基于生成对抗网络。为了保持输入图像的语义，对抗性目标通常与循环一致性损失相结合，该循环一致性损失惩罚从翻译的输入图像的不正确重建。然而，如果目标映射是多对一的，例如航空照片到地图，则这样的限制迫使生成器将信息隐藏在人眼或相机无法检测到的低振幅结构化噪声中。在本文中，我们展示了无监督翻译方法的这种自攻击行为如何影响其性能，并提供了两种防御技术。我们进行了定量评估所提出的技术，并表明，使翻译模型更强大的自我对抗攻击提高其生成质量和重建的可靠性，使模型不敏感的低幅度扰动。
2019-08-05 cs.CV eess.IV
Mixture GAN For Modulation Classification Resiliency Against Adversarial Attacks
University of Houston（休斯顿大学）
使用深度神经网络（DNN）方法的自动调制分类（AMC）优于传统分类技术，即使在存在挑战性的无线信道环境的情况下也是如此。然而，对抗攻击通过向无线信道注入精心设计的扰动而导致基于DNN的AMC的准确性损失。在本文中，我们提出了一种新的基于生成对抗网络（GAN）的对策方法，以保护基于DNN的AMC系统免受对抗攻击的例子。基于GAN的目标是在馈送到基于DNN的分类器之前消除对抗攻击示例。具体来说，我们已经展示了我们提出的防御GAN对快速梯度符号方法（FGSM）算法的弹性，该算法是最有效的攻击算法之一，可以制造扰动信号。现有的防御GAN已经被设计用于图像分类，并且在考虑上述通信系统的情况下不工作。因此，我们提出的对策方法部署GANs与混合的发电机，以克服模式崩溃的问题，在一个典型的GAN面临的无线电信号分类问题。仿真结果表明，我们提出的防御GAN的有效性，使它可以提高基于DNN的AMC下对抗攻击的准确性，约81%。
2022-05-29 cs.AI cs.LG cs.NI
Defending against GAN-based Deepfake Attacks via Transformation-aware Adversarial Faces
Duke University（杜克大学）；Accenture Labs（埃森哲实验室）
Deepfake代表了一类利用自动编码器或生成对抗网络等机器学习模型的面部交换攻击。虽然换脸的概念并不新鲜，但其最近的技术进步使得虚假内容（例如，图像、视频）更真实，人类无法察觉。已经探索了各种针对Deepfake攻击的检测技术。然而，这些方法是针对Deepfakes的被动措施，因为它们是在生成高质量虚假内容后的缓解策略。更重要的是，我们希望通过强大的防御来领先于攻击者。这项工作旨在采取攻击性措施，阻止高质量虚假图像或视频的生成。具体来说，我们建议使用新的变换感知的对抗性扰动面孔作为对基于GAN的Deepfake攻击的防御。与朴素的对抗性人脸不同，我们提出的方法在生成过程中利用了可微的随机图像变换。我们还建议使用基于集成的方法来增强黑盒设置下对基于GAN的Deepfake变体的防御鲁棒性。我们发现，使用对抗性人脸训练Deepfake模型可能会导致合成人脸的质量显着下降。这种退化是双重的。一方面，合成人脸的质量随着更多的视觉伪影而降低，使得合成人脸更明显地是假的或对人类观察者更不可信。另一方面，可以基于各种度量容易地检测合成的面部。
2020-06-12 cs.CR cs.CV eess.IV
Constructing Unrestricted Adversarial Examples with Generative Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
对抗性示例通常通过在小矩阵范数内扰动现有数据点来构建，当前的防御方法主要集中在防范这种类型的攻击。在本文中，我们提出了无限制的对抗性示例，这是一种新的威胁模型，其中攻击者不限于小的范数有界扰动。与基于扰动的攻击不同，我们建议使用条件生成模型完全从头开始合成不受限制的对抗性示例。具体来说，我们首先训练一个辅助分类器生成对抗网络（AC-GAN）来对数据样本上的类条件分布进行建模。然后，以所需类别为条件，我们在AC-GAN潜在空间中搜索，以找到可能在生成模型下并且被目标分类器错误分类的图像。我们通过人工评估证明，以这种方式生成的不受限制的对抗性示例是合法的，并且属于所需的类。我们在MNIST、SVHN和CelebA数据集上的实证结果表明，不受限制的对抗性示例可以绕过针对传统对抗攻击设计的强对抗性训练和认证防御方法。
2018-12-02 cs.AI cs.CR cs.CV
PUREVQ-GAN: Defending Data Poisoning Attacks through Vector-Quantized Bottlenecks
University of California, Los Angeles（加州大学洛杉矶分校）；California Institute of Technology（加州理工学院）
提出 PureVQ-GAN，通过向量量化离散瓶颈和 GAN 判别器消除后门触发器，在 CIFAR-10 上以极低投毒成功率、高干净准确率和超过 50 倍加速实现数据投毒防御。
2025-09-30 cs.AI cs.CV
AT-GAN: An Adversarial Generator Model for Non-constrained Adversarial Examples
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
尽管对抗机器学习发展迅速，但大多数对抗攻击和防御研究主要集中在受输入图像约束的基于扰动的对抗样本上。与现有的作品相比，我们提出了无约束的对抗示例，这些示例完全从头开始生成，对输入没有任何约束。与基于扰动的攻击或所谓的无限制对抗攻击不同，该攻击仍然受到输入噪声的约束，我们的目标是学习对抗示例的分布，以生成无约束但语义上有意义的对抗示例。遵循这一精神，我们提出了一个新的攻击框架，称为AT-GAN（生成对抗网络上的对抗转移）。具体来说，我们首先开发一个正常的GAN模型来学习良性数据的分布，然后转移预训练的GAN模型来估计目标模型的对抗性样本的分布。通过这种方式，AT-GAN可以学习非常接近真实数据分布的对抗性示例的分布。据我们所知，这是构建对抗生成器模型的第一项工作，该模型可以直接从任何输入噪声中生成对抗示例。大量的实验和可视化结果表明，所提出的AT-GAN可以非常有效地生成对人类感知更真实的各种对抗性示例。此外，AT-GAN在白盒攻击设置下对对抗训练模型产生更高的攻击成功率，并对黑盒模型表现出适度的可移植性。
2020-02-07 cs.CR cs.CV cs.LG
Backdoor Attack is a Devil in Federated GAN-based Medical Image Synthesis
The University of British Columbia（不列颠哥伦比亚大学）
基于深度学习的图像合成技术已应用于医疗保健研究，用于生成医学图像以支持开放式研究。生成对抗神经网络（GAN）的训练通常需要大量的训练数据。联邦学习（FL）提供了一种使用来自不同医疗机构的分布式数据训练中央模型的方法，同时将原始数据保存在本地。然而，FL容易受到后门攻击，这是一种通过毒化训练数据来对抗的攻击，因为中央服务器不能直接访问原始数据。大多数后门攻击策略都集中在分类模型和集中域上。在这项研究中，我们提出了一种攻击联邦GAN（FedGAN）的方法，通过在后门攻击分类模型中使用常用的数据投毒策略来处理恶意攻击。我们证明，添加一个大小小于原始图像大小的0.5%的小触发器可以破坏FL-GAN模型。基于提出的攻击，我们提供了两个有效的防御策略：全局恶意检测和局部训练正则化。我们表明，结合这两种防御策略产生了强大的医学图像生成。
2022-07-30 cs.AI cs.CV
Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN
Southwest Jiaotong University（西南交通大学）
卷积神经网络（CNN）在图像分类任务中已经实现了超越人类水平的准确性，并广泛应用于现实世界的环境中。然而，CNN显示出对抗性扰动的脆弱性，这些扰动是精心设计的噪声，旨在误导分类模型。为了抵御对抗性扰动，提出了对抗性训练的GAN（AT GAN），以提高通过对抗性训练的最新CNN的对抗性鲁棒性泛化能力。ATGAN将对抗性训练结合到标准GAN训练过程中，以去除模糊梯度，这可能导致在防御对抗性扰动时产生错误的感觉，并且在现有的基于GAN的对抗性防御方法中常见。此外，ATGAN采用图像到图像生成器作为数据增强，以增加对抗训练中对抗鲁棒性泛化所需的样本复杂度。在MNIST SVHN和CIFAR-10数据集上的实验结果表明，该方法不依赖于模糊梯度，并且比对抗训练的最先进CNN具有更好的全局对抗鲁棒性泛化性能。
2021-03-08 cs.CV cs.LG
Auditing Privacy Defenses in Federated Learning via Generative Gradient Leakage
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Oak Ridge National Laboratory（橡树岭国家实验室）；Google Research（谷歌研究院）
联邦学习（FL）框架允许多个客户端在中央服务器的协调下参与学习任务，而无需交换他们的私有数据，从而为分布式学习系统带来隐私优势。然而，最近的研究表明，私人信息仍然可以通过共享梯度信息泄露。为了进一步保护用户的隐私，已经提出了几种防御机制来防止通过梯度信息降级方法的隐私泄露，例如在与服务器共享之前使用加性噪声或梯度压缩。在这项工作中，我们验证了私人训练数据仍然可以在某些防御设置下泄漏，具有新的泄漏类型，即，生成梯度泄漏（GGL）。与现有的仅依赖梯度信息来重建数据的方法不同，我们的方法利用从公共图像数据集学习的生成对抗网络（GAN）的潜在空间作为先验，以补偿梯度退化期间的信息损失。为了解决由梯度算子和GAN模型引起的非线性，我们探索各种无梯度优化方法（例如，演化策略和贝叶斯优化），并在经验上表明，他们的优势，重建高质量的图像从梯度相比，基于梯度的优化。我们希望所提出的方法可以作为一种工具，经验性地衡量隐私泄漏量，以促进更强大的防御机制的设计。
2022-03-29 cs.CV
MimicGAN: Robust Projection onto Image Manifolds with Corruption Mimicking
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在过去的几年里，生成对抗网络（GANs）极大地提高了我们表示和参数化高维非线性图像流形的能力。因此，它们已被广泛应用于各种应用，从具有挑战性的逆问题（如图像完成）到异常检测和对抗性防御等问题。在许多这些应用程序中反复出现的主题是将图像观察投影到生成器推断的流形上的概念。在这种情况下，投影梯度下降（PGD）是最流行的方法，它基本上优化了一个潜在的向量，最大限度地减少生成的图像和给定的观察之间的差异。然而，PGD是一种脆弱的优化技术，当观察被破坏或甚至被少量扰动时，它无法识别正确的投影（或潜在向量）。这种损坏在现实世界中很常见，例如野外图像带有未知的作物，旋转，丢失像素或其他类型的非线性分布偏移，这些偏移会破坏当前的编码方法，使下游应用程序无法使用。为了解决这个问题，我们提出了腐败模仿-一个新的强大的投影技术，利用代理网络近似未知的腐败直接在测试时，而不需要额外的监督或数据增强。所提出的方法在各种腐败下比PGD和其他竞争方法更鲁棒，从而使GANs能够在现实世界的应用中更有效地使用。更重要的是，我们证明了我们的方法在几个基于GAN的应用程序中产生了最先进的性能-异常检测，领域自适应和对抗性防御，这些都受益于准确的投影。
2020-04-30 cs.CV cs.LG stat.ML
Adversarially Robust Classification by Conditional Generative Model Inversion
University of Utah（犹他大学）
大多数对抗攻击防御方法都依赖于模糊梯度。这些方法在抵御基于梯度的攻击方面是成功的;然而，它们很容易被不使用梯度的攻击或近似并使用校正梯度的攻击所规避。存在不混淆梯度的防御方法，例如对抗训练，但这些方法通常会对攻击进行假设，例如攻击的大小。我们提出了一个分类模型，不混淆梯度，是强大的建设，而无需假设先验知识的攻击。我们的方法将分类转换为一个优化问题，在这个问题中，我们“反转”一个在未受干扰的自然图像上训练的条件生成器，以找到生成与查询图像最接近的样本的类。我们假设针对对抗攻击的脆弱性的潜在来源是前馈分类器的高到低维性质，其允许对手在输入空间中找到导致输出空间中的大变化的小扰动。另一方面，生成模型通常是低维到高维的映射。虽然该方法与Defense-GAN相关，但在我们的模型中使用条件生成模型和反演而不是前馈分类器是一个关键的区别。与Defense-GAN不同，Defense-GAN被证明可以生成容易规避的混淆梯度，我们证明了我们的方法不会混淆梯度。我们证明了我们的模型对黑盒攻击非常鲁棒，并且与自然训练的前馈分类器相比，对白盒攻击的鲁棒性有所提高。
2022-01-12 cs.CV cs.LG
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University（台湾大学）
对抗性样本是故意制作的数据，目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时，我们通常指的是基于扰动的方法，该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观，但DNN模型可能完全无法识别，这反过来又导致了完全误导的预测。然而，在本文中，我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架，从类条件生成对抗网络中生成原生对抗样本。因此，生成的数据不会与任何现有数据相似，从而扩大了样本的多样性，提高了对抗防御的难度。然后，我们将这个框架扩展到预训练的条件GANs，在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验，并取得了令人满意的结果，表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Towards Robust GAN-generated Image Detection: a Multi-view Completion Representation
University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）；City University of Macau（澳门城市大学）
针对GAN图像检测器因过拟合频率伪影而在未知GAN或扰动攻击下失效的问题，提出基于多视图图像补全表示的鲁棒检测框架，通过学习视图到图像任务提取与频率无关的稳定特征，并结合视图内和视图间策略增强分类，显著提升了跨GAN泛化与抗扰动鲁棒性。
2023-06-02 cs.CR cs.CV
FaceShield: Defending Facial Image against Deepfake Threats
Korea University（韩国大学）；KAIST（韩国科学技术院）；Samsung Research（三星研究）
FaceShield通过操控扩散模型的注意力机制和面部特征提取器，提出了一种主动防御深度伪造的方案，有效提升对抗性扰动的鲁棒性和不可察觉性。
2025-12-19 cs.CV
NAttack! Adversarial Attacks to bypass a GAN based classifier trained to detect Network intrusion
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
随着人工智能和机器学习的最新发展，可以使用机器学习方法来检测网络流量中的异常。在机器学习兴起之前，可能意味着攻击的网络异常是使用精心设计的规则来检测的。具有网络防御领域知识的攻击者可以进行有根据的猜测，有时可以准确预测网络防御机制正在关注的网络流量数据的哪些特定特征。有了这些信息，攻击者就可以绕过基于规则的网络防御系统。然而，随着机器学习在网络异常方面的进步，人类很难理解如何绕过网络防御系统。最近，对抗攻击已经变得越来越普遍，以击败机器学习算法。在本文中，我们表明，即使我们建立了一个分类器，并训练它与网络数据的对抗性的例子，我们可以使用对抗攻击，并成功地打破了系统。我们提出了一种基于生成对抗网络（GAN）的算法来生成数据，以训练一个高效的基于神经网络的分类器，然后我们使用对抗攻击来打破系统。
2020-02-20 cs.CR cs.LG
Robustifying Models Against Adversarial Attacks by Langevin Dynamics
Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；TU Berlin（柏林工业大学）；Berlin Big Data Center（柏林大数据中心）；Korea University（高丽大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；RIKEN AIP（理化学研究所人工智能中心）
对深度学习模型的对抗攻击已经大大损害了它们的性能。作为补救措施，提出了许多防御方法，但这些方法都被新的攻击策略所规避。在这场随之而来的军备竞赛中，抵御对抗攻击的鲁棒性问题仍然没有解决。本文提出了一种新的，简单而有效的防御策略，其中对抗样本被放松到（未知）目标类分布的底层流形上。具体来说，我们的算法驱动离流形对抗样本向高密度区域的数据生成分布的目标类的Metroplis调整的Langevin算法（MALA）与感知边界考虑在内。虽然动机类似于投影方法，例如，防御GAN，我们的算法，称为MALA for DEFENSE（MALADE），具有显著的分散性-投影分布广泛，因此任何白盒攻击都无法准确对齐输入，因此MALADE将其移动到模型预测错误标签的目标未训练点。在我们的实验中，MALADE表现出最先进的性能对各种精心设计的攻击策略。
2019-06-06 cs.LG stat.ML
Instant Adversarial Purification with Adversarial Consistency Distillation
City University of Hong Kong（香港城市大学）；University of St Andrews（圣安德鲁斯大学）；University of Nottingham（诺丁汉大学）
针对现有扩散模型对抗纯化方法计算开销大的问题，提出OSCP框架，结合GAND蒸馏目标与CAP推理流水线，实现单步高效鲁棒纯化，在ImageNet上以0.1秒单步速度达74.19%防御成功率，提速百倍。
2025-03-21 cs.AI cs.CV cs.LG
On the Robustness of Deep Clustering Models: Adversarial Attacks and Defenses
University of California（加利福尼亚大学）
聚类模型是一类无监督的机器学习方法，在现代数据科学中发挥着重要作用。随着深度学习的最新进展，深度聚类模型已经成为传统聚类方法的最新技术，特别是对于高维图像数据集。虽然传统的聚类方法已经从鲁棒性的角度进行了分析，但没有先前的工作以原则性的方式研究了深度聚类模型的对抗攻击和鲁棒性。为了弥合这一差距，我们提出了一种使用生成对抗网络（GANs）的黑盒攻击，其中对手不知道正在使用哪个深度聚类模型，但可以查询它的输出。我们分析了我们对多个最先进的深度聚类模型和真实世界数据集的攻击，发现它非常成功。然后，我们采用一些自然的无监督防御方法，但发现这些都无法减轻我们的攻击。最后，我们攻击Face++，一个生产级的人脸聚类API服务，发现我们也可以显着降低其性能。通过这项工作，我们的目标是激发对真正强大的深度聚类模型的需求。
2022-10-04 cs.AI cs.CR cs.LG
Shape Defense Against Adversarial Attacks
Quintic AI
人类在很大程度上依赖于形状信息来识别物体。相反，卷积神经网络（CNN）更偏向于纹理。这也许是CNN容易受到对抗性样本影响的主要原因。在这里，我们将探讨如何将形状偏差纳入CNN以提高其鲁棒性。提出了两种算法，根据观察，边缘是不变的，以温和的不可察觉的扰动。在第一种方法中，分类器在图像上进行逆向训练，边缘图作为额外的通道。在推理时，重新计算边缘图并将其连接到图像。在第二种算法中，训练条件GAN以将来自干净和/或扰动图像的边缘图转换为干净图像。在对应于输入的边缘图的生成图像上进行推断。在10个数据集上的实验结果表明，该算法能够有效抵抗FGSM和$\ell_\infty$ PGD-40攻击.此外，我们还证明了a）边缘信息也可以使其他对抗性训练方法受益，b）在边缘增强输入上训练的CNN比仅在RGB图像上训练的CNN更能抵抗自然图像损坏，如运动模糊，脉冲噪声和JPEG压缩。从更广泛的角度来看，我们的研究表明，CNN没有充分考虑到对鲁棒性至关重要的图像结构。代码可在：~\url{https://github.com/aliborji/Shapedefense.git}获得。
2021-12-06 cs.AI cs.CV cs.LG
Adversarial Machine Learning in Text Analysis and Generation
Texas A&M, San Antonio（德克萨斯A&M大学圣安东尼奥分校）
对抗性机器学习的研究领域在过去的几年里引起了人们极大的兴趣。如果机器学习器或模型能够以可接受的准确性、效率等交付主要目标，同时能够抵抗不同类型和/或尝试的对抗攻击，则它是安全的。本文重点介绍了对抗性机器学习在文本分析和生成方面的研究方向和研究趋势。本文综述了GAN算法、模型、攻击类型以及攻击防御等方面的研究动态。
2021-01-14 cs.CR cs.LG
Generating Adversarial Examples with Adversarial Networks
University of California, Berkeley（加州大学伯克利分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Massachusetts Institute of Technology（麻省理工学院）
深度神经网络（DNN）已被发现易受对抗性示例的影响，这些示例是通过向输入添加小幅度扰动而产生的。这样的对抗性示例可能会误导DNN产生对抗性选择的结果。已经提出了不同的攻击策略来生成对抗性示例，但如何生成具有高感知质量和更有效的示例需要更多的研究工作。在本文中，我们提出了AdvGAN来生成具有生成对抗网络（GANs）的对抗示例，它可以学习和近似原始实例的分布。对于AdvGAN，一旦生成器被训练，它就可以为任何实例有效地生成对抗性扰动，从而潜在地加速对抗性训练作为防御。我们在半白盒和黑盒攻击设置中应用AdvGAN。在半白盒攻击中，与传统的白盒攻击相比，在生成器被训练之后不需要访问原始目标模型。在黑盒攻击中，我们动态训练一个蒸馏模型的黑盒模型，并优化相应的发生器。与其他攻击相比，AdvGAN在不同目标模型上生成的对抗示例在最先进的防御下具有较高的攻击成功率。我们的攻击在公开的MNIST黑盒攻击挑战中以92.76%的准确率排名第一。
2019-02-14 cs.CR cs.CV stat.ML
Undermining Image and Text Classification Algorithms Using Adversarial Attacks
Oak Ridge National Laboratory（橡树岭国家实验室）
本研究利用GANs和SMOTE生成对抗样本攻击文本分类模型，并采用快速梯度符号扰动结合GradCAM攻击人脸识别CNN，发现攻击导致文本分类准确率下降20%、人脸识别下降30%，凸显了模型脆弱性及防御必要性。
2024-11-07 cs.AI cs.CR cs.CV
AutoGAN: Robust Classifier Against Adversarial Attacks
Rutgers University（罗格斯大学）；Perspecta Labs（Perspecta实验室）
分类器不能正确地分类输入图像，这些图像已经被有目的地和不可察觉地扰动以引起误分类。这种可解释性已被证明是一致的分类器，无论其类型，架构或参数。针对对抗攻击的常见防御通过对以各种方式创建的额外对抗示例进行训练来修改分类器边界。在本文中，我们介绍了AutoGAN，它通过增强由训练数据定义的低维流形并将扰动数据点投影到其上来对抗对抗攻击。AutoGAN减少了对攻击类型和大小的了解以及对攻击的对抗样本的需求。我们的方法使用了一个生成对抗网络（GAN），它具有一个自动编码器生成器和一个也用作分类器的编码器。我们测试了AutoGAN与最先进的快速梯度符号方法（FGSM）生成的对抗样本以及随机高斯噪声生成的样本，两者都使用MNIST数据集。对于训练和测试中不同程度的扰动，AutoGAN可以在使用FGSM扰动的样本上超过FGSM方法的精度高达25个点。在没有增强训练数据集的情况下，AutoGAN在FGSM测试对抗样本上的准确率为89%，而FGSM方法仅为1%。
2018-12-08 cs.CR cs.CV cs.LG
A Direct Approach to Robust Deep Learning Using Adversarial Networks
Stevens Institute of Technology（史蒂文斯理工学院）；Nokia Bell Labs（诺基亚贝尔实验室）
深度神经网络已被证明在许多经典的机器学习问题中表现良好，特别是在图像分类任务中。然而，研究人员发现，神经网络很容易被愚弄，而且它们对人类无法察觉的小扰动出奇地敏感。精心制作的输入图像（对抗性示例）可以迫使训练有素的神经网络提供任意输出。在训练过程中包含对抗性示例是一种流行的对抗对抗攻击的防御机制。在生成对抗网络（GAN）框架下提出了一种新的防御机制。我们使用生成网络对对抗性噪声进行建模，并将其与分类判别网络一起训练为极小极大博弈。我们的经验表明，我们的对抗网络方法可以很好地抵御黑盒攻击，其性能与最先进的方法相当，例如集成对抗训练和带有投影梯度下降的对抗训练。
2019-05-23 cs.CR cs.CV cs.LG
Landscape Learning for Neural Network Inversion
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）
许多机器学习方法通过在推理时反转神经网络来操作，这已经成为用于解决计算机视觉、机器人和图形学中的逆问题的流行技术。然而，这些方法通常涉及通过高度非凸损失景观的梯度下降，导致优化过程不稳定且缓慢。我们介绍了一种学习损失景观的方法，其中梯度下降是有效的，为反演过程带来了巨大的改进和加速。我们证明了这一优势的生成和判别任务，包括GAN反演，对抗性防御和三维人体姿态重建的方法。
2022-06-17 cs.CV cs.LG
Initiative Defense against Facial Manipulation
University of Science and Technology in China（中国科学技术大学）
得益于生成对抗网络（GAN）的发展，近年来人脸操控在学术界和工业界都取得了重大进展。它激发了越来越多的娱乐应用，但同时也对个人隐私甚至政治安全造成了严重威胁。为了减轻这种风险，已经提出了许多对策。然而，绝大多数方法都是被动的，即检测人脸图像或视频是否被篡改后，他们广泛传播。这些基于检测的方法有一个致命的局限性，即它们只能用于事后取证，而不能防止恶意行为的产生。为了解决这个问题，在本文中，我们提出了一个新的框架主动防御恶意用户控制的面部操纵模型的性能下降。其基本思想是在操作之前主动向目标面部数据注入难以察觉的毒液。为此，我们首先用一个代理模型来模拟目标操纵模型，然后设计一个毒液扰动发生器来获得所需的毒液。交替训练策略被进一步利用来训练所述代理模型和所述扰动生成器两者。在我们的主动防御框架中，考虑了两种典型的面部操作任务：面部属性编辑和面部再现。大量的实验表明，我们的框架在不同的设置的有效性和鲁棒性。最后，我们希望这项工作可以揭示一些针对更具对抗性的场景的主动对策。
2021-12-19 cs.AI cs.CV
GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）
针对联邦学习中梯度反演攻击在GAN潜在空间中表达能力受限的问题，提出GIFD方法，通过拆解GAN并逐步搜索中间层特征域及引入正则化约束，实现了像素级数据重建，并在OOD设置和多种防御策略下展现出强泛化能力。
2023-09-11 cs.CR cs.CV
Disrupting Deepfakes: Adversarial Attacks Against Conditional Image Translation Networks and Facial Manipulation Systems
Boston University（波士顿大学）
使用深度学习的人脸修改系统已经变得越来越强大和容易获得。给定一个人的面部图像，这样的系统可以生成同一个人在不同表情和姿势下的新图像。一些系统还可以修改目标属性，如头发颜色或年龄。这种类型的被操纵的图像和视频被称为Deepfakes。为了防止恶意用户在未经其同意的情况下生成修改后的人的图像，我们解决了针对这种图像翻译系统生成对抗攻击的新问题，这会破坏所得到的输出图像。我们称之为破坏DeepFakes。大多数图像翻译架构都是以属性为条件的生成模型（例如，在这个人的脸上放一个微笑）。我们首先提出并成功应用了（1）类可转移对抗攻击，它可以推广到不同的类，这意味着攻击者不需要了解条件类，以及（2）生成对抗网络（GANs）的对抗训练，作为迈向强大图像翻译网络的第一步。最后，在灰盒场景中，模糊可以成功地抵御中断。我们提出了一种扩频对抗攻击，它逃避模糊防御。我们的开源代码可以在www.example.com上找到。
2020-04-27 cs.CR cs.CV cs.CY
Do Protective Perturbations Really Protect Portrait Privacy under Real-world Image Transformations?
Beijing Institute of Technology（北京理工大学）
本文评估了现实世界图像变换对基于像素扰动的主动防御方法的影响，发现其有效性受挑战，并提出净化框架以去除保护性扰动。
2026-08-12 cs.CV
AdvDiff: Generating Unrestricted Adversarial Examples using Diffusion Models
The Hong Kong Polytechnic University（香港理工大学）
针对现有无限制对抗攻击方法生成样本不真实、缺乏理论支撑的问题，提出AdvDiff方法，通过两种对抗引导技术在扩散模型逆向生成过程中实现对抗采样，在攻击性能和生成质量上超越现有最优方法。
2024-07-14 cs.CV cs.LG
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）
深度学习无疑为最先进的语音情感识别（SER）系统的性能提供了巨大的改进。然而，最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战，因为它们只依赖于小而不可感知的扰动，因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中，我们评估了如何对抗的例子可以用来攻击SER系统，并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施，包括对抗训练和生成对抗网络（GAN），以增强鲁棒性。实验评估表明，有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性，为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
A Tactical Behaviour Recognition Framework Based on Causal Multimodal Reasoning: A Study on Covert Audio-Video Analysis Combining GAN Structure Enhancement and Phonetic Accent Modelling
Dhurakij Pundit University（易三仓大学）；The University of Western Australia（西澳大利亚大学）；Association for Computing Machinery（美国计算机协会）；Royal Anthropological Institute（英国皇家人类学学会）
针对高噪声弱结构战术视频的语义理解与威胁检测问题，提出结合谱图理论与多模态图神经推理的TACTIC-GRAPHS系统，在相关数据集上取得良好识别效果，提升了结构可解释性，可应用于安防国防领域。
2025-07-04 cs.AI cs.CV cs.CY
Improving the Performance of Fine-Grain Image Classifiers via Generative Data Augmentation
Charles River Analytics（查尔斯河分析公司）；U.S. Army CCDC C5ISR Center（美国陆军作战能力发展司令部C5ISR中心）
机器学习（ML）和计算机视觉工具的最新进展使其在金融分析、医疗诊断甚至国防部等各种领域的应用成为可能。然而，它们在现实世界用例中的广泛实现带来了几个挑战：（1）许多应用程序是高度专业化的，因此在\emph{sparse data}域中运行;（2）ML工具对其训练集敏感，通常需要繁琐的劳动密集型数据汇集和数据标记过程;（3）机器学习工具可能是非常“黑箱”的，用户几乎无法了解决策过程或新数据如何影响预测性能。为了应对这些挑战，我们设计并开发了强大生成对抗网络（DAPPER GAN）的熟练预训练数据增强，这是一种ML分析支持工具，可以自动生成训练图像的新视图，以提高下游分类器的性能。DAPPER GAN利用StyleGAN 2模型（在LSUN汽车数据集上训练）生成的高保真嵌入，为以前看不见的类创建新的图像。我们在斯坦福汽车数据集上对这种技术进行了实验评估，证明了使用我们基于GAN的数据增强框架可以提高车辆制造和模型分类的准确性，并降低对真实数据的要求。该方法的有效性通过分析增强和非增强数据集上的分类器性能得到支持，在视觉上相似的类中，实际数据减少了30%，达到了相当或更好的准确性。为了支持这种方法，我们开发了一种新的增强方法，可以操纵语义上有意义的维度（例如，方向）。
2020-08-12 cs.CV cs.LG
Perceptual Deep Neural Networks: Adversarial Robustness through Input Recreation
Kyushu University（九州大学）
对抗性的例子表明，尽管机器学习的模型非常准确，但与人类不同，它有许多弱点。然而，人类的感知也与机器有着根本的不同，因为我们看不到到达视网膜的信号，而是对它们进行了相当复杂的再现。在本文中，我们将探讨机器如何重新创建输入，并研究这种增强感知的好处。在这方面，我们提出了感知深度神经网络（$φ$ DNN），它也可以在进一步处理之前重新创建自己的输入。这个概念在数学上被形式化，并开发了它的两种变体（一种基于修复整个图像，另一种基于噪声调整的超分辨率重建）。实验表明，$φ$ DNN及其对抗性训练变体可以大幅提高鲁棒性，在100%的测试中超过了最先进的防御和预处理类型的防御。$φ$ DNN被证明可以很好地扩展到更大的图像尺寸，始终保持类似的高精度;而最先进的恶化高达35%。此外，重建过程故意破坏输入图像。有趣的是，我们通过消融测试表明，破坏输入是有益的，尽管违反直觉。因此，$φ$ DNN揭示了输入重建对人工神经网络具有类似于生物神经网络的强大好处，揭示了故意破坏输入的重要性，并开创了基于GANs和自编码器的感知模型领域，用于人工智能中的鲁棒识别。
2020-11-30 cs.AI cs.CR cs.CV
Jedi: Entropy-based Localization and Removal of Adversarial Patches
Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国家工程师学院）；University of California Riverside（加州大学河滨分校）；Queen’s University Belfast（贝尔法斯特女王大学）；CNRS（法国国家科学研究中心）；Université Polytechnique Hauts-de-France（上法兰西综合理工大学）；Université de Jendouba（坚杜巴大学）；Institut National des Technologies et des Sciences du Kef（卡夫国家技术与科学学院）
本文提出模型无关的Jedi防御框架，利用高熵区域识别和自动编码器补全来定位并移除逼真对抗性补丁，在多个基准上实现90%平均检测率和最高94%攻击恢复率。
2023-04-20 cs.CR cs.CV cs.LG
Disruptive Attacks on Face Swapping via Low-Frequency Perceptual Perturbations
Department of Mathematics and Artificial Intelligence（数学与人工智能系）；Shandong Artificial Intelligence Institute（山东省人工智能研究所）；Qilu University of Technology（齐鲁大学）
针对 Deepfake 人脸交换威胁，提出结合频域与空间域特征、基于 DWT 低频感知扰动的主动防御架构，实验证明可破坏生成过程并保持视觉质量。
2025-08-28 cs.CV
Improved Network Robustness with Adversary Critic
School of Electrical and Electronic Engineering（电气与电子工程学院）；Nanyang Technological University（南洋理工大学）
理想情况下，让神经网络感到困惑的东西应该让人类感到困惑。然而，最近的实验表明，微小的、不可感知的扰动可以改变网络预测。为了解决这个差距的看法，我们提出了一种新的方法来学习强大的分类器。我们的主要思想是：用于鲁棒分类器的对抗性样本应该与对抗性目标的常规数据不可区分。我们在生成对抗网络（GAN）的框架下提出了一个学习鲁棒分类器的问题，其中对分类器的对抗攻击充当生成器，批评者网络学习区分常规图像和对抗图像。分类器的成本增加的目标，其对抗性的例子应该混淆对手的批评。为了提高对抗映射的稳定性，我们引入对抗循环一致性约束，保证对抗样本的对抗映射接近原始映射。在实验中，我们证明了我们的防御的有效性。我们的方法在用对抗训练训练的鲁棒性网络方面超越了。此外，我们在MTurk上与人类注释者的实验中验证了对抗性示例确实在视觉上令人困惑。该项目的代码可在https://github.com/aam-at/adversary_critic上查阅。
2018-10-30 cs.CV cs.LG stat.ML
CapST: Leveraging Capsule Networks and Temporal Attention for Accurate Model Attribution in Deep-fake Videos
Institute of Information Science, Academia Sinica（资讯研究所）；Social Networks and Human-Centred Computing, Taiwan International Graduate Program（人本计算与社交网络，台湾国际研究生计划）；Department of Computer Science, National Chengchi University（计算机科学系，国立成功大学）；Member IEEE, National Chengchi University（IEEE会员，国立成功大学）；Fellow IEEE, Institute of Information Science, Academia Sinica（IEEE会士，资讯研究所）；Dire Dawa University（迪雷达瓦大学）；Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）
针对深度伪造视频的模型归因需求，提出融合截断VGG19、胶囊网络与时空注意力的CapST模型，在两个数据集上实现了优于基线的归因准确率，且计算成本更低。
2025-06-12 cs.CV
