Weakly Supervised Object Discovery by Generative Adversarial & Ranking Networks
KU Leuven（鲁汶大学）；KIT（卡尔斯鲁厄理工学院）；ETH Zürich（苏黎世联邦理工学院）
深度生成对抗网络（GAN）最近已被证明在不同的计算机视觉应用中有前途，如图像编辑、合成高分辨率图像、生成视频等。这些网络和相应的学习方案可以处理各种视觉空间映射。我们使用一种新的训练方法和学习目标来接近GANs，以发现三种情况下的多个对象实例：1）在杂乱场景中合成特定对象的图片; 2）在弱监督目标检测的图像中定位不同类别; 3）在目标检测管道中改进对象发现。我们的方法的一个关键优势是它学习了一个新的深度相似性度量，以区分一个图像中的多个对象。我们证明了该网络可以作为编码器-解码器生成包含对象的图像的部分，或者作为修改后的深度CNN来表示图像，用于监督和弱监督方案中的目标检测。我们的排名GAN提供了一种新颖的方式来搜索图像中的对象特定模式。我们已经进行了不同的情况下的实验，并证明对象合成和弱监督目标检测和分类使用MS-COCO和PASCAL VOC数据集的方法性能。
2018-04-17 cs.CV
Synthesizing Unrestricted False Positive Adversarial Objects Using Generative Models
ETH Zurich（苏黎世联邦理工学院）；ABB Future Labs（ABB未来实验室）
对抗性示例是被神经网络错误分类的数据点。最初，对抗性示例仅限于向给定图像添加小扰动。最近的工作引入了无限制对抗示例的广义概念，对添加的扰动没有限制。在本文中，我们介绍了一种新的攻击类别，它可以为目标检测创建不受限制的对抗性示例。我们的关键思想是生成与目标对象检测器识别的类无关的对抗对象。与以前的攻击不同，我们使用现成的生成对抗网络（GAN），不需要任何进一步的训练或修改。我们的方法包括搜索潜在的正常空间的GAN的敌对对象被错误地识别的目标对象检测器。我们在常用的Faster R-CNN ResNet-101，Inception v2和SSD Mobilenet v1对象检测器上使用在CIFAR-10上训练的徽标生成iWGAN-LC和SNGAN来评估这种方法。实验结果表明，生成的对抗对象与GANs生成的非对抗对象无法区分，在对象检测器之间可转移，并且在物理世界中具有鲁棒性。这是第一次研究用于目标检测的无限制假阳性对抗示例。
2020-05-19 cs.CR cs.CV cs.LG
Attention2AngioGAN: Synthesizing Fluorescein Angiography from Retinal Fundus Images using Generative Adversarial Networks
University of Nevada, Reno（内华达大学雷诺分校）；Deakin University（迪肯大学）；Houston Eye Associates（休斯顿眼科协会）
荧光素血管造影（FA）是一种采用指定相机进行眼底摄影的技术，包括激发和屏障过滤器。FA还需要静脉注射荧光素染料，这可能会导致恶心、呕吐甚至致命的过敏反应等不良反应。目前，没有其他快速和非侵入性的技术存在，可以产生FA不耦合眼底摄影。为了消除对侵入性FA提取过程的需要，我们引入了一个基于注意力的生成网络，可以从眼底图像合成血管造影。所提出的GAN在生成器中包含多个基于注意力的跳过连接，并且包括用于生成器和鉴别器的新颖的残差块。它利用重建，特征匹配和感知损失以及对抗训练来生成逼真的血管造影片，专家很难将其与真实的血管造影片区分开来。我们的实验证实，所提出的架构超越了最近的最先进的生成网络的眼底血管造影翻译任务。
2020-07-17 cs.CV eess.IV
Synthesizing Forestry Images Conditioned on Plant Phenotype Using a Generative Adversarial Network
Michigan State University（密歇根州立大学）
本研究针对植物表型属性驱动的林业图像合成问题，提出一种基于生成对抗网络（GAN）的方法，以植被绿色度为条件合成生物学合理且表型稳定的图像，验证了其在预测植物红色度、泛化性及可扩展性方面的有效性，为林业表型可视化提供新途径。
2025-01-16 cs.CV
Instance Map based Image Synthesis with a Denoising Generative Adversarial Network
College of Information Science and Engineering（信息科学与工程学院）；Ocean University of China（中国海洋大学）
基于语义布局的图像合成技术近年来受到了广泛的关注，它得益于生成对抗网络（GAN）的成功。如何在保持GAN随机性的同时提高合成图像的均匀性仍然是一个挑战。我们提出了一种新的去噪框架来处理这个问题。当从语义布局合成图像到逼真的RGB照片时，重叠对象生成是另一项具有挑战性的任务。为了克服这一缺陷，我们包括一个单热语义标签地图，迫使生成器更加关注重叠对象的生成。在此基础上，通过引入扰动损失和级联层损失，改进了双稳态振荡器的损失函数，以指导振荡器的产生过程。我们将我们的方法应用于Cityscapes，Facades和NYU数据集，并展示了我们模型的图像生成能力。
2018-01-10 cs.CV
Semantic Image Synthesis via Adversarial Learning
Imperial College London（伦敦帝国学院）
本文提出了一种直接用自然语言描述合成真实感图像的方法，该方法在智能图像处理等方面有着广泛的应用。我们试图实现这样的合成：给定源图像和目标文本描述，我们的模型合成图像，以满足两个要求：1）在匹配目标文本描述的同时是真实的; 2）保持与文本描述无关的其他图像特征。该模型应该能够从两种形式（图像和文本）中分离出语义信息，并从组合的语义中生成新的图像。为了实现这一点，我们提出了一种端到端的神经架构，该架构利用对抗学习来自动学习隐式损失函数，这些函数经过优化以满足上述两个要求。我们通过在Caltech-200鸟类数据集和Oxford-102花卉数据集上进行实验来评估我们的模型，并证明我们的模型能够合成与给定描述匹配的逼真图像，同时仍然保持原始图像的其他特征。
2017-07-21 cs.CV
Synthesizing Missing MRI Sequences from Available Modalities using Generative Adversarial Networks in BraTS Dataset
本文利用生成对抗网络（GAN）从任意三种可用MRI序列合成缺失的第四种序列，以解决BraTS数据集中MRI序列不完整的问题，并集成到GaNDLF框架中，提升诊断能力。
2023-11-15 cs.CV cs.LG eess.IV
Enhancing Medical Imaging with GANs Synthesizing Realistic Images from Limited Data
Columbia University（哥伦比亚大学）；Texas Tech University（德克萨斯理工大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；North Carolina State University（北卡罗来纳州立大学）
本研究提出一种基于深度卷积神经网络架构的生成对抗网络方法，能在有限真实数据下合成高度逼真的医学图像，展现出优异的泛化能力与稳健性能。
2024-05-22 cs.CV eess.IV
Synthesizing 3D Shapes from Silhouette Image Collections using Multi-projection Generative Adversarial Networks
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；College of William & Mary（威廉与玛丽学院）
我们提出了一种新的弱监督学习为基础的方法，用于生成新的类别特定的3D形状从未遮挡的图像集。我们的方法是弱监督的，只需要从未遮挡的，特定类别的对象的轮廓注释。我们的方法不需要访问对象的3D形状，每个对象从不同的视图，图像内的像素对应，或任何视图注释的多个观察。我们的方法的关键是一种新型的多投影生成对抗网络（MP-GAN），它训练3D形状生成器与3D形状的多个2D投影保持一致，并且不需要直接存取这些3D形状。这是通过多个鉴别器来实现的，所述鉴别器对从不同视图看到的3D形状的2D投影的分布进行编码。此外，为了确定每个轮廓图像的视图信息，我们还训练了一个视图预测网络的生成器合成的3D形状的可视化。我们迭代地在训练生成器和训练视图预测网络之间交替。我们验证我们的多投影GAN在合成和真实图像数据集。此外，我们还表明，多投影GANs可以帮助从低维训练数据集学习其他高维分布，例如图像中特定于材料类别的空间变化反射特性。
2019-06-10 cs.CV cs.GR
Generative Adversarial Network for Handwritten Text
Zhejiang University（浙江大学）；Microsoft Cloud & AI（微软云与AI）
生成对抗网络（GANs）在图像处理的各种应用中已经证明是非常成功的。然而，由于卷积神经网络（CNN）难以处理连续的手写数据，手写生成对抗网络相对较少。在本文中，我们提出了一个手写生成对抗网络框架（HWGANs）合成手写笔画数据。新框架的主要特征包括：（i）一个由集成的CNN-长短期记忆（LSTM）为基础的特征提取与路径签名特征（PSF）作为输入和前馈神经网络（FNN）为基础的二进制分类器组成的分类器;（ii）一个循环潜在变量模型作为生成器，用于合成顺序手写数据。数值试验表明了新模型的有效性。与单一手写体生成器相比，HWGAN生成的手写体文本更加自然逼真。
2020-02-27 cs.CV cs.LG
DASH: A Meta-Attack Framework for Synthesizing Effective and Stealthy Adversarial Examples
University of Maine（缅因大学）；University of Florida（佛罗里达大学）；University of Tennessee, Knoxville（田纳西大学，基洛纳）
提出DASH元攻击框架，通过多阶段自适应组合Lp约束攻击方法，生成有效且感知对齐的对抗样本，在多个数据集上优于现有方法。
2026-05-25 cs.CV cs.LG
Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks
Imperial College（帝国理工学院）
真实感三维人脸的生成对于计算机图形学和计算机视觉应用具有重要意义。通常，三维人脸生成的研究围绕着面部表面的线性统计模型。然而，这些模型不能忠实地表示人脸的纹理或法线，这是非常重要的照片逼真的人脸合成。最近，有研究表明，生成对抗网络（GANs）可用于生成高质量的人脸纹理。然而，生成过程要么省略几何体和法线，要么使用独立的过程来生成3D形状信息。在本文中，我们提出了第一种方法，产生高品质的纹理，形状和法线联合，可用于照片级逼真的合成。为此，我们提出了一种新的GAN，它可以从不同的模态生成数据，同时利用它们的相关性。此外，我们演示了如何在表情上调节生成，并创建具有各种面部表情的面孔。由于尺寸限制，本文中显示的定性结果被压缩，全分辨率结果和附带的视频可以在补充文件中找到。代码和模型可以在项目页面上找到：https://github.com/barisgecer/TBGAN。
2020-12-02 cs.CV cs.GR
Synthesizing Programs for Images using Reinforced Adversarial Learning
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；DeepMind（深度思维）
近年来，深度生成网络的进步带来了令人印象深刻的结果。尽管如此，这些模型往往会在数据集的细节上浪费它们的能力，这可能是由于它们的解码器中的弱归纳偏差。这就是图形引擎可能派上用场的地方，因为它们抽象出低级细节并将图像表示为高级程序。目前结合深度学习和渲染器的方法受到手工制作的似然或距离函数的限制，需要大量的监督，或者难以将其推理算法扩展到更丰富的数据集。为了缓解这些问题，我们提出了螺旋，一个adversarially训练的代理，生成一个程序，由图形引擎执行解释和采样图像。这个代理的目标是欺骗一个区分真实数据和渲染数据的神经网络，该网络在没有任何监督的情况下使用分布式强化学习设置进行训练。一个令人惊讶的发现是，使用代理的输出作为奖励信号是允许代理在匹配所需的输出渲染方面取得有意义的进展的关键。据我们所知，这是第一次在具有挑战性的现实世界（MNIST，Omniglot，CelebA）和合成3D数据集上演示端到端，无监督和对抗性的逆图形代理。
2018-04-03 cs.CV cs.LG stat.ML
BC-GAN: A Generative Adversarial Network for Synthesizing a Batch of Collocated Clothing
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出了一种名为BC-GAN的新型批量服装生成框架，通过引入对比学习视角的时尚兼容性判别器，能够同时合成多张视觉搭配的服装图像，并在多样性、视觉真实性和时尚兼容性上优于现有方法。
2025-02-03 cs.CV cs.MM
A3GAN: An Attribute-aware Attentive Generative Adversarial Network for Face Aging
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
人脸老化是一个以预测人脸未来外观为目的的研究领域，近年来受到了广泛的关注。虽然随着生成对抗网络（GANs）在合成逼真图像方面的成功取得了很大进展，但大多数现有的基于GAN的人脸老化方法都存在两个主要问题：1）高层语义信息的不自然变化（例如面部属性）由于对输入面部的先验知识的利用不足，以及2）低级图像内容的失真，包括重影伪像和年龄无关区域中的修改。在本文中，我们引入A3GAN，属性感知的注意人脸老化模型来解决上述问题。人脸属性向量被视为条件信息，并嵌入到生成器和SVM，鼓励合成的脸是忠实于相应的输入属性。为了提高生成结果的视觉保真度，我们利用注意力机制来限制对与年龄相关的区域的修改并保留图像细节。此外，小波包变换被用来捕捉纹理特征在多个尺度上的频率空间。大量的实验结果表明，我们的模型在合成照片级真实感的老化人脸图像和流行的人脸老化数据集上实现最先进的性能的有效性。
2019-11-15 cs.CV
KinshipGAN: Synthesizing of Kinship Faces From Family Photos by Regularizing a Deep Face Network
Middle East Technical University（中东技术大学）；Atilim University（阿提拉大学）
在本文中，我们提出了一个亲属生成器网络，可以合成一个可能的孩子的脸，通过分析他/她的父母的照片。为此，我们专注于处理亲属数据集的稀缺性，特别是提出新的解决方案。为了提取鲁棒的特征，我们将预先训练的人脸模型集成到亲属人脸生成器中。此外，生成器网络使用额外的人脸数据集和对抗性损失进行正则化，以减少有限样本的过拟合。最后，我们采用循环域变换，以获得更稳定的结果。实验是在野生家庭（FIW）数据集上进行的。实验结果表明，本文提出的贡献提供了重要的性能改进相比，基线架构和我们提出的方法产生有前途的感知结果。
2018-07-17 cs.CV
Synthesizing Bidirectional Temporal States of Knee Osteoarthritis Radiographs with Cycle-Consistent Generative Adversarial Neural Networks
University of Jyväskylä（于韦斯屈莱大学）；University of Helsinki（赫尔辛基大学）
本研究利用CycleGAN模型在真实膝关节X光片上双向合成骨关节炎的不同时间阶段，有效转换疾病特征，尤其擅长生成未来状态及逆转晚期影像，为数据增强和预后提供新途径。
2023-11-10 cs.CV cs.LG eess.IV
Synthesizing Multi-Tracer PET Images for Alzheimer's Disease Patients using a 3D Unified Anatomy-aware Cyclic Adversarial Network
Yale University（耶鲁大学）；Tsinghua University（清华大学）
正电子发射断层扫描（PET）是研究阿尔茨海默病（AD）的重要工具。PET扫描可用作诊断工具，并提供认知障碍患者的分子特征。然而，需要多种示踪剂来测量葡萄糖代谢（18 F-FDG）、突触囊泡蛋白（11 C-UCB-J）和$β$ -淀粉样蛋白（11 C-PiB）。对患者施用多种示踪剂将导致高辐射剂量和高成本。此外，使用新的或较难获得的示踪剂进行PET扫描的机会可能非常有限，这些示踪剂具有复杂的生产方法和短半衰期同位素。因此，期望开发一种有效的多示踪剂PET合成模型，其可以从单示踪剂PET生成多示踪剂PET。以往的医学图像合成工作主要集中在一对一的固定域平移，不能同时从多个跟踪域学习特征。如果有3个或更多的跟踪器，依赖以前的方法也会给要训练的模型数量带来沉重的负担。为了解决这些问题，我们提出了一个3D统一的解剖感知循环对抗网络（UCAN），用于使用一个统一的生成模型转换多示踪剂PET体积，其中包含具有解剖信息的MR。对多示踪剂PET数据集的评估证明了我们的UCAN可以生成高质量的多示踪剂PET体积的可行性，所有PET示踪剂的NMSE小于15%。
2021-07-12 cs.AI cs.CV eess.IV
Feeding the zombies: Synthesizing brain volumes using a 3D progressive growing GAN
Linköping University（林雪平大学）
深度学习需要大型数据集来训练具有数百万参数的（卷积）网络。在神经成像中，很少有具有超过100个受试者的开放数据集，这使得例如难以训练分类器以区分控制者和患病者。生成对抗网络（GANs）可用于合成数据，但几乎所有的研究都集中在2D图像上。在医学成像中，特别是在神经成像中，大多数数据集都是3D或4D的。因此，在这里，我们提出了初步的结果表明，一个3D渐进式增长的GAN可以用来合成MR脑体积。
2020-01-24 cs.CV eess.IV
Synthesizing Images of Humans in Unseen Poses
MIT（麻省理工学院）；MGH（麻省总医院）
我们解决新的人体姿态合成的计算问题。给定一个人的图像和一个期望的姿势，我们生成该姿势中的该人的描述，保留该人和背景的外观。我们提出了一个模块化的生成神经网络，它使用从人类动作视频中拍摄的图像和姿势的训练对来合成看不见的姿势。我们的网络将场景分成不同的身体部位和背景层，将身体部位移动到新的位置并优化它们的外观，并将新的前景与填充空洞的背景合成。这些子任务由单独的模块实现，仅使用单个目标图像作为监督标签进行联合训练。我们使用一个对抗性的神经网络来迫使我们的网络根据姿势合成逼真的细节。我们展示了三个动作类的图像合成结果：高尔夫，瑜伽/锻炼和网球，并表明我们的方法产生准确的结果内的动作类，以及跨动作类。给定一系列所需的姿势，我们还可以生成连贯的动作视频。
2018-04-20 cs.CV
Synthesizing facial photometries and corresponding geometries using generative adversarial networks
Technion – Israel Institute of Technology（以色列理工学院）
人工数据合成是当前研究得很好的课题，在数据科学、计算机视觉、图形学和许多其他领域具有有用的应用。生成逼真的数据尤其具有挑战性，因为人类感知对非逼真的外观高度敏感。近年来，GAN训练程序和架构的进步已经实现了新的现实主义水平。然而，这些成功的模型大多是针对定期采样的数据（如图像、音频和视频）进行调整的。尽管在这些类型的媒体上成功应用了该架构，但将相同的工具应用于几何数据带来了更大的挑战。几何深度学习的研究在学术界仍然是一个有争议的问题，因为缺乏几何对象固有的内在参数化禁止直接使用卷积滤波器，这是当今机器学习系统的主要构建块。在本文中，我们提出了一种新的方法来生成逼真的人脸几何加上叠加纹理。我们规避参数化的问题，强加一个全球性的映射，从我们的数据到单位矩形。我们进一步讨论了如何设计这样的映射，以控制映射失真和保存映射图像内的区域。通过将几何纹理和几何形状表示为图像，我们能够使用高级GAN方法来生成新的几何形状。我们解决经常被忽视的主题纹理和几何之间的关系，并建议使用这种相关性生成的纹理和它们相应的几何形状之间的匹配。我们提供了一种新的方法来训练部分损坏的数据上的GAN模型。最后，我们提供了实证证据，证明我们的生成模型的能力，产生新的身份独立于训练数据的例子，同时保持高水平的现实主义，两个特点，往往是不一致的。
2019-01-19 cs.CG cs.CV
Red blood cell image generation for data augmentation using Conditional Generative Adversarial Networks
Noul Inc.（Noul公司）
在本文中，我们描述了如何将图像到图像的转换技术应用于医学血液涂片数据，以生成新的数据样本，并有意义地增加小数据集。具体而言，给定显微图像的分割掩模，我们能够生成血细胞的照片级真实感图像，这些图像在网络训练期间与真实数据一起进一步用于分割和目标检测任务。这种图像数据生成方法基于条件生成对抗网络，该网络具有高质量图像合成的能力。除了合成血液图像外，我们还合成了分割掩模，这导致了各种各样的生成样本。该技术的有效性进行了彻底的分析和量化，通过大量的实验，手动收集和注释的数据集下采取的显微镜下的血涂片。
2019-03-08 cs.CV
Learning to Generate Chairs with Generative Adversarial Nets
ITMO University（ITMO大学）
生成对抗网络（GANs）最近获得了极大的普及，因为它能够通过生成的对象来增强其预测模型的质量，以及通过监督反馈来增强生成模型的质量。GANs允许合成具有高度真实感的图像。然而，这类模型的学习过程是一个非常复杂的优化问题，并且存在一定的局限性，影响了体系结构设计时某些层的选择和非线性的处理。特别是，它不允许训练具有全连接隐藏层的卷积GAN模型。在我们的工作中，我们提出了一个修改之前描述的规则集，以及新的方法来设计架构，这将使我们能够训练更强大的GAN模型。我们证明了我们的方法的有效性的问题上的合成投影的三维物体的插值类和视点的可能性。
2017-05-29 cs.CV
Masking Adversarial Damage: Finding Adversarial Saliency for Robust and Sparse Network
KAIST（韩国科学技术院）
对抗性示例会在深度神经网络中引发弱可靠性和潜在的安全问题。虽然对抗训练已经被广泛研究以提高对抗鲁棒性，但它工作在过度参数化的机制中，需要高计算量和大量内存预算。为了解决对抗性鲁棒性和模型压缩之间的矛盾，提出了一种新的对抗性剪枝方法--掩蔽对抗性损伤（MAD），该方法利用了对抗性损失的二阶信息。通过使用它，我们可以准确地估计模型参数的对抗显著性，并确定哪些参数可以被修剪而不削弱对抗鲁棒性。此外，我们揭示了初始层的模型参数对对抗性示例高度敏感，并表明压缩特征表示保留了目标对象的语义信息。通过在三个公共数据集上的大量实验，我们证明了MAD有效地修剪了经过对抗训练的网络，而不会失去对抗鲁棒性，并且比以前的对抗修剪方法表现出更好的性能。
2022-04-06 cs.CV
SkrGAN: Sketching-rendering Unconditional Generative Adversarial Networks for Medical Image Synthesis
University of Chinese Academy of Sciences（中国科学院大学）；Inception Institute of Artificial Intelligence（启元人工智能研究院）；UBTech Research（优必选研究院）；ShanghaiTech University（上海科技大学）；Southern University of Science and Technology（南方科技大学）
生成对抗网络（GANs）具有合成图像的能力，已成功应用于医学图像合成任务。然而，大多数现有的方法仅仅考虑全局上下文信息，而忽略了精细的前景结构，例如，血管、骨骼，其可以包含用于医学图像分析的诊断指示符。受人类绘画过程中笔画和颜色渲染步骤的启发，提出了一种无条件生成对抗网络生成对抗网络（SkrGAN），引入草图先验约束来指导医学图像生成。在我们的SkrGAN中，草图引导模块用于从随机噪声中生成高质量的结构草图，然后使用颜色渲染映射来嵌入基于草图的表示并类似于背景外观。实验结果表明，SkrGAN在合成各种图像模式（包括视网膜彩色眼底、X射线、计算机断层扫描（CT）和磁共振成像（MRI））的图像方面达到了最先进的效果。此外，我们还表明，使用我们的合成图像作为数据增强的医学图像分割方法的性能得到了改善。
2019-08-06 cs.CV eess.IV
Adversarial Vertex Mixup: Toward Better Adversarially Robust Generalization
Seoul National University（首尔大学）
对抗性示例会导致神经网络产生高置信度的错误输出。虽然对抗性训练是对抗性示例最有效的防御形式之一，但不幸的是，在对抗性训练中，测试准确率和训练准确率之间存在很大的差距。在本文中，我们识别了对抗性特征过拟合（AFO），这可能会导致对抗性鲁棒性差的泛化，并且我们证明了对抗性训练可以在鲁棒性泛化方面超过最佳点，从而导致我们简单高斯模型中的AFO。考虑到这些理论结果，我们提出了软标记作为AFO问题的解决方案。此外，我们提出了对抗顶点混淆（AVmixup），一个软标记的数据增强的方法，以提高对抗强大的泛化。我们通过在CIFAR10、CIFAR100、SVHN和Tiny ImageNet上的实验来补充我们的理论分析，并表明AVmixup显著提高了鲁棒泛化性能，降低了标准准确性和对抗鲁棒性之间的权衡。
2020-07-27 cs.CV
Robust Local Features for Improving the Generalization of Adversarial Training
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
对抗性训练已被证明是训练鲁棒模型以抵御对抗性示例的最有效方法之一。然而，逆向训练的模型往往缺乏对未知测试数据的逆向鲁棒泛化。最近的工作表明，对抗训练的模型更偏向于全局结构特征。相反，在这项工作中，我们想研究对抗训练的泛化与鲁棒局部特征之间的关系，因为鲁棒局部特征可以很好地泛化看不见的形状变化。为了学习鲁棒的局部特征，我们开发了随机块洗牌（RBS）变换来分解正常对抗示例的全局结构特征。我们继续提出了一种新的方法，称为鲁棒局部特征对抗训练（RLFAT），它首先通过对RBS转换的对抗示例进行对抗训练来学习鲁棒局部特征，然后将鲁棒局部特征转移到正常对抗示例的训练中。为了证明我们的论点的一般性，我们在目前最先进的对抗训练框架中实现了RLFAT。在STL-10、CIFAR-10和CIFAR-100上的大量实验表明，RLFAT显著提高了对抗训练的对抗鲁棒泛化能力和标准泛化能力。此外，我们还证明了我们的模型可以捕获图像上对象的更多局部特征，更好地与人类感知保持一致。
2020-02-02 cs.CV
Image-to-Image Translation with Conditional Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们研究条件对抗网络作为图像到图像翻译问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，而且还学习一个损失函数来训练这种映射。这使得有可能对传统上需要非常不同的损失公式的问题适用同样的一般性办法。我们证明，这种方法是有效的标签地图合成照片，从边缘图重建对象，彩色图像，以及其他任务。事实上，自从与本文相关的pix2pix软件发布以来，大量的互联网用户（其中许多是艺术家）已经发布了他们自己对我们系统的实验，进一步证明了它的广泛适用性和易于采用，而无需调整参数。作为一个社区，我们不再手工设计我们的映射函数，这项工作表明，我们可以实现合理的结果，而无需手工设计我们的损失函数。
2018-11-26 cs.CV
Synthesizing Informative Training Samples with GAN
The University of Edinburgh（爱丁堡大学）
在用生成对抗网络（GANs）合成照片般逼真的图像方面取得了显着进展。最近，当获取或存储真实训练数据是昂贵的甚至是不可行的时，GANs被用作训练样本生成器。然而，当用于训练深度神经网络时，传统的GANs生成的图像不如真实的训练样本信息丰富。在本文中，我们提出了一种新的方法来合成信息训练样本与GAN（IT-GAN）。具体来说，我们冻结一个预先训练好的GAN模型，并学习与信息丰富的训练样本相对应的信息丰富的潜在向量。合成图像需要保留用于训练深度神经网络的信息，而不是视觉现实或保真度。实验证明，深度神经网络在使用我们的IT-GAN生成的图像进行训练时，可以更快地学习并获得更好的性能。我们还表明，我们的方法是一个很有前途的解决方案，数据集压缩问题。
2022-12-21 cs.CV cs.LG
Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）；Royal Prince Alfred Hospital（皇家阿尔弗雷德王子医院）
正电子发射断层扫描（PET）图像合成是提高计算机辅助诊断系统训练数据质量的重要手段。然而，现有的图像合成方法在合成低分辨率PET图像时存在问题。为了解决这些局限性，我们提出了基于多通道生成对抗网络（M-GAN）的PET图像合成方法。与依赖于使用低级特征的现有方法不同，所提出的M-GAN能够基于对抗学习概念在高级语义中表示特征。此外，M-GAN能够从注释（标签）中获取输入，以合成高摄取区域，例如，从计算机断层摄影（CT）图像中提取合成的PET图像，以约束外观一致性并直接输出合成的PET图像。我们对50例肺癌PET-CT研究的结果表明，与现有方法相比，我们的方法更接近真实的PET图像。
2017-07-31 cs.CV
Online Alternate Generator against Adversarial Attacks
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Sun Yat-sen University（中山大学）；Deepwise AI Lab（深度之眼人工智能实验室）
近年来，计算机视觉领域取得了惊人的进展，部分原因是深度卷积神经网络的发展。然而，深度学习模型对通过在真实图像上添加准可感知噪声合成的对抗性示例非常敏感。现有的一些防御方法需要重新训练被攻击的目标网络，并通过已知的对抗攻击来增加训练集，这是低效的，并且可能对未知的攻击类型没有希望。针对上述问题，本文提出了一种无需访问或修改目标网络参数的便携式防御方法--在线备用生成器。该方法的工作原理是从零开始在线合成另一幅输入图像，而不是去除或破坏对抗性噪声。为了避免攻击者利用预先训练的参数，我们在推理阶段交替更新生成器和合成图像。实验结果表明，该防御方案和方法在对抗灰盒对抗攻击方面优于一系列现有的防御模型。
2020-09-17 cs.CV
Adversarially-Aware Robust Object Detector
Sun Yat-Sen University（中山大学）
目标检测作为计算机视觉的一项基本任务，随着深度神经网络的出现，取得了显著的进展。然而，很少有工作探讨对象检测器的对抗鲁棒性，以抵抗对抗攻击，在各种现实世界的场景中的实际应用。检测器受到不可察觉的扰动的极大挑战，在干净图像上性能急剧下降，在对抗图像上性能极差。在这项工作中，我们经验性地探索了目标检测中对抗鲁棒性的模型训练，这在很大程度上归因于学习干净图像和对抗图像之间的冲突。为了缓解这个问题，我们提出了一个基于对抗感知卷积的鲁棒检测器（RobustDet），以解开干净和对抗图像上的模型学习的梯度。RobustDet还采用了对抗图像鉴别器（AID）和重建一致特征（CFR）来确保可靠的鲁棒性。在PASCAL VOC和MS-COCO上的大量实验表明，我们的模型有效地解开梯度，并显着提高检测鲁棒性，保持对干净图像的检测能力。
2022-07-22 cs.CV
Exploring Robust Features for Improving Adversarial Robustness
Brookhaven National Laboratory（布鲁克海文国家实验室）；Stony Brook University（石溪大学）
本文提出一种特征解耦模型，将鲁棒特征与非鲁棒特征及领域特定特征分离，有效提升了模型的对抗鲁棒性，并实现了无额外计算成本的对抗样本检测，同时避免了干净图像准确率的下降。
2023-09-09 cs.CV
Collaboratively Guided Adversarial Robust Distillation with Teacher-Favorable Examples
Yunnan University（云南大学）；Yunnan Normal University（云南师范大学）
针对现有对抗蒸馏未充分利用扰动邻域内教师偏好监督的问题，提出CGARD方法，联合优化学生对抗样本与教师协同样本，在CIFAR-10/100上的实验显示其鲁棒性优于强基线。
2026-10-09 cs.CV
Robustness-via-Synthesis: Robust Training with Generative Adversarial Perturbations
LENS Inc.（LENS公司）
在发现对抗攻击后，鲁棒模型已成为基于深度学习的系统的必需品。到目前为止，一阶攻击的对抗性训练一直是对抗性扰动最有效的防御之一。大多数对抗性训练方法都集中在用损失函数相对于输入图像的梯度迭代地扰动每个像素。然而，基于梯度攻击的对抗训练缺乏多样性，并且不能很好地推广到自然图像和各种攻击。本研究提出一个强健的训练演算法，其中对抗性扰动是使用一个产生器网路从一个随机向量自动合成。分类器是用交叉熵损失进行训练的，交叉熵损失是用自然和合成对抗样本的表示之间的最佳传输距离进行正则化的。与目前流行的生成式防御不同，所提出的一步攻击生成框架在不利用分类器损失梯度的情况下合成了不同的扰动。实验结果表明，所提出的方法达到了相当的鲁棒性与各种基于梯度和生成鲁棒训练技术CIFAR 10，CIFAR 100，SVHN数据集。此外，与基线相比，所提出的鲁棒训练框架可以很好地推广到自然样本。代码和经过训练的模型将公开提供。
2021-08-22 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一种新的方法，用于生成鲁棒的对抗性图像示例，该方法基于最近的“深度图像先验”（DIP），该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生，高频噪声引起图像误分类，但是对于随后的图像数字操作来说是脆弱的。我们表明，使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动，同时保持视觉上不可感知。此外，我们表明，我们的DIP方法也可以适应当地的对抗补丁（“对抗贴纸”）。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
Text to Image Synthesis using Stacked Conditional Variational Autoencoders and Conditional Generative Adversarial Networks
Institute of Digital Technologies, Loughborough University（拉夫堡大学数字技术研究所）
从文本描述合成真实感图像是计算机视觉的一个主要挑战。当前的文本到图像合成方法不能产生表示文本描述符的高分辨率图像。大多数现有的研究依赖于生成对抗网络（GANs）或变分自动编码器（VAE）。GANs有能力产生更清晰的图像，但缺乏输出的多样性，而VAE擅长产生各种各样的输出，但生成的图像往往是模糊的。考虑到GANs和VAE的相对优势，我们提出了一种新的堆叠条件VAE（CVAE）和条件GAN（CGAN）网络架构，用于合成以文本描述为条件的图像。本研究使用条件VAE作为初始生成器来生成文本描述符的高级草图。第一阶段的高级草图输出和文本描述符用作条件GAN网络的输入。第二级GAN产生256 × 256高分辨率图像。所提出的架构受益于条件增强和条件GAN网络上的残差块来实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出的方法的结果与StackGAN等最先进的技术进行了比较。实验结果表明，该方法在文本描述的条件下生成高分辨率图像，并在使用两个数据集的Inception和Frechet Inception Score的基础上产生有竞争力的结果
2022-08-15 cs.CV eess.IV
GANBERT: Generative Adversarial Networks with Bidirectional Encoder Representations from Transformers for MRI to PET synthesis
NVIDIA Corporation（英伟达公司）；Seoul National University（首尔大学）
合成医学图像（如PET）是一项具有挑战性的任务，因为强度范围比照片和数字渲染中的强度范围更宽，更密集，并且通常严重偏向零。最重要的是，PET中的强度值具有绝对意义，并且用于计算在人群中可重现的参数。然而，当合成PET图像时，通常必须在预处理/后处理中进行大量手动调整，因为其强度范围可能变化很大，例如，浮点值在-100到1000之间。为了克服这些挑战，我们采用了双向编码器表示从Transformers（BERT）算法，在自然语言处理（NLP），其中大范围的浮点强度值表示为0至10000之间的整数，类似于自然语言词汇的字典取得了巨大的成功。然后训练BERT来预测一定比例的掩码值图像，其中其“下一句预测（NSP）”充当GAN模型。我们提出的方法，是能够产生PET图像从MRI图像在广泛的强度范围内，没有手动调整，在前/后处理。它是一种可以扩展并随时部署的方法。
2020-08-10 cs.CV cs.LG eess.IV
pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Stanford University（斯坦福大学）
我们见证了3D感知图像合成的快速进展，利用了生成视觉模型和神经渲染的最新进展。然而，现有的方法在两个方面存在不足：第一，它们可能缺乏底层3D表示或依赖于视图不一致的渲染，因此合成的图像不是多视图一致的;第二，它们通常依赖于表现力不够的表示网络架构，因此它们的结果缺乏图像质量。我们提出了一种新的生成模型，称为周期性隐式生成对抗网络（$π$ -GAN或pi-GAN），用于高质量的3D感知图像合成。$π$ -GAN利用具有周期性激活函数和体积渲染的神经表示来将场景表示为具有精细细节的视图一致的3D表示。所提出的方法获得了国家的最先进的结果，三维感知图像合成与多个真实和合成数据集。
2021-04-05 cs.CV cs.GR
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research（IBM研究院）
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起，病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据，这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差，并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法，创建了一个允许直接驱动合成的框架。我们提供的定性结果表明，通过单独修改形状和密度的合成控制，和定量的结果表明，在发电机模型中嵌入的密度信息，有助于提高病变分割性能相比，单独使用的形状。
2021-06-01 cs.CV eess.IV
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami（迈阿密大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略（即，噪声数据上的准确性）对抗对抗性噪声。然而，由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度（即，与通过标准方法在干净数据上训练的相同模型相比，这种现象被称为准确性和鲁棒性之间的权衡，并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用，例如医学图像分析，因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升（即，减轻或甚至避免）医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法，命名为增量边际对抗（IMA）训练，这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性，同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序，我们的方法提高了准确性和鲁棒性。我们的研究表明，我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Adversarial Detector with Robust Classifier
Tokyo Metropolitan University（东京都立大学）
众所周知，深度神经网络（DNN）模型很容易通过使用具有小扰动的输入图像（称为对抗性示例）对预测结果进行错误分类。在本文中，我们提出了一种新的对抗检测器，它由一个强大的分类器和一个简单的，高度检测敌对的例子。建议的对抗性检测器进行按照普通和强大的分类器的logits。在一个实验中，所提出的检测器被证明优于一个国家的最先进的检测器没有任何强大的分类。
2022-02-05 cs.CV cs.LG
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore（新加坡南洋理工大学）
在深度神经网络（DNN）的普及应用道路上，对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测，并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型，以抵抗对抗性的例子。在本文中，我们从不同的角度调查了如何理解这种有趣的属性，即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后，我们研究了常用的基准测试，并提到了理论上证明的对抗鲁棒性界限。然后，我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后，我们介绍了最近的争论的潜在成本的对抗性训练，引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
PointACL:Adversarial Contrastive Learning for Robust Point Clouds Representation under Adversarial Attack
University at Buffalo（布法罗大学）
尽管最近基于自监督的对比学习模型在3D点云表示中取得了成功，但这种预训练模型的对抗鲁棒性引起了人们的关注。对抗性对比学习（ACL）被认为是提高预训练模型鲁棒性的有效方法。在对比学习中，投影器被认为是在对比预训练期间去除不必要的特征信息的有效组件，并且大多数ACL作品也使用投影特征表示的对比损失来在预训练中生成对抗性示例，而“未投影“特征表示用于在推理期间生成对抗性输入。它们的模型被限制为获得用于下游任务的鲁棒特征表示。我们介绍了一种新的方法来生成高质量的3D对抗训练的对抗例子，利用虚拟对抗损失与“未投影”的功能表示在对比学习框架。我们提出了我们强大的意识损失函数的训练自我监督的对比学习框架的对抗。此外，我们发现使用正常差异（DoN）算子选择高差异点作为对抗性自监督对比学习的额外输入可以显着提高预训练模型的对抗性鲁棒性。我们在下游任务上验证了我们的方法PointACL，包括多个数据集的3D分类和3D分割。它获得了与最先进的对比对抗学习方法相当的鲁棒准确性。
2022-09-14 cs.AI cs.CV
Counterfactual Samples Synthesizing for Robust Visual Question Answering
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Hikvision Research Institute（海康威视研究院）
尽管在过去的几年中，视觉问答（VQA）已经取得了令人印象深刻的进展，今天的VQA模型往往捕捉表面的语言相关性的训练集，并未能推广到测试集与不同的QA分布。为了减少语言偏差，最近的一些工作引入了一个辅助的问题模型来正则化目标VQA模型的训练，并在VQA-CP上取得了优异的性能。然而，由于设计的复杂性，目前的方法无法使基于集合的模型具有理想VQA模型的两个不可或缺的特征：1）视觉可解释性：模型在做出决策时应该依赖于正确的视觉区域。2)对问题敏感：模型应该对所讨论的语言变化敏感。为此，我们提出了一个与模型无关的反事实样本合成（CSS）训练方案。CSS通过屏蔽图像中的关键对象或问题中的单词，并分配不同的地面事实答案，生成大量的反事实训练样本。在使用补充样本（即原始和生成的样本）进行训练后，VQA模型被迫专注于所有关键对象和单词，这显着提高了视觉解释和问题敏感的能力。作为回报，这些模型的性能得到进一步提升。广泛消融显示了CSS的有效性。特别是，通过建立在模型LMH之上，我们在VQA-CP v2上实现了破纪录的58.95%的性能，并获得了6.5%的收益。
2020-03-14 cs.CL cs.CV cs.MM
Multi-Modality Generative Adversarial Networks with Tumor Consistency Loss for Brain MR Image Synthesis
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）
不同模态的磁共振（MR）图像可以为临床诊断提供补充信息，但是获取整个模态通常是昂贵的。大多数现有的方法只专注于合成两个模态之间的丢失图像，这限制了它们的鲁棒性和效率时，多模态丢失。为了解决这个问题，我们提出了一种多模态生成对抗网络（MGAN），可以同时从一种MR模态T2合成三种高质量的MR模态（FLAIR，T1和T1 ce）。实验结果表明，我们提出的方法合成的图像质量优于基线模型，pix 2 pix合成的图像。此外，对于MR脑图像合成，重要的是要保持关键的肿瘤信息在生成的模态，所以我们进一步引入了多模态肿瘤一致性损失的MGAN，称为TC-MGAN。我们使用TC-MGAN合成的模态来提高肿瘤分割的准确性，结果证明了它的有效性。
2020-05-02 cs.CV eess.IV
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department（多特尔研究与创新中心，人工智能部门）；TRAIL – Trusted AI Labs（TRAIL——可信AI实验室）
研究安全关键应用中分类器的稳健性与可靠性，通过选择性分类视角探讨差距，引入统一基准，提出证据对抗训练方法，提升稳健性与不确定性权衡，优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
Robust Proxy: Improving Adversarial Robustness by Robust Proxy Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对深度神经网络对抗脆弱性问题，提出 Robust Proxy Learning 框架，通过类级鲁棒扰动生成类代表性鲁棒代理特征，使模型显式学习对抗鲁棒特征表示，有效提升了 DNNs 的对抗鲁棒性。
2023-06-27 cs.AI cs.CV
On Saliency Maps and Adversarial Robustness
IIT Hyderabad（海得拉巴印度理工学院）
最近出现的一种趋势是将可解释性和对抗性鲁棒性的概念结合起来，这与早期的努力不同，早期的努力只关注良好的解释或对抗对手的鲁棒性。工作表明，对抗训练的模型比非鲁棒的模型表现出更多可解释的显着性图，并且这种行为可以通过考虑输入图像和显着性图之间的对齐来量化。在这项工作中，我们为这种耦合提供了一个不同的视角，并提供了一种方法，基于显着性的对抗训练（SAT），使用显着性图来提高模型的对抗鲁棒性。特别是，我们表明，使用注释，如边界框和分割掩模，已经提供了一个数据集，作为弱显着性图，足以提高对抗鲁棒性，没有额外的努力来生成扰动本身。我们在CIFAR-10、CIFAR-100、Tiny ImageNet和Flower-17数据集上的实证结果一致地证实了我们的说法，即使用我们的方法提高了对抗鲁棒性。显着图。我们还展示了如何使用更精细、更强大的显着性图来构建更强大的模型，以及如何将SAT与现有的对抗训练方法相结合，进一步提高这些现有方法的性能。
2020-07-13 cs.CV cs.LG
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
American University of Sharjah（沙迦美国大学）
“艺术是谎言，它使我们能够认识真理。- 巴勃罗·毕加索几个世纪以来，人类一直致力于创造艺术来表达他们的想象力。技术的进步，特别是深度学习，引起了许多研究人员的注意，他们试图研究计算机和算法是否可以产生艺术。使用生成对抗网络（GANs），实现了合成逼真的人脸和从图像自动创建字幕等应用。本调查全面介绍了最近使用GANs生成视觉艺术，音乐和文学文本的作品。各种GAN架构的性能比较和描述。最后，强调了使用GANs生成艺术的一些关键挑战，并对未来的工作提出了建议。
2021-08-14 cs.AI cs.CL cs.CV
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen（蒂宾根大学）
神经网络在图像分类方面取得了重大进展，但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中，我们提出了RATIO，这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程，它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性，因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性，但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性，并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Atos（源讯）
神经网络已被证明对常见的扰动敏感，如模糊，高斯噪声，旋转等，它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行，有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而，我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样，我们不知道对各种常见扰动（例如平移或对比度损失）的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验，我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明，增加鲁棒性精心挑选的共同扰动，可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信，神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Dual Encoder GAN Inversion for High-Fidelity 3D Head Reconstruction from Single Images
Bilkent University（比尔肯特大学）
本文提出基于PanoHead的双编码器GAN反演框架，通过三平面域拼接和遮挡感知判别器，实现单图像高保真3D头部重建与多视角生成。
2024-09-30 cs.CG cs.CV cs.GR
Adversarially Robust Distillation
University of Maryland（马里兰大学）
知识蒸馏对于产生用于分类的小型高性能神经网络是有效的，但是这些小型网络容易受到对抗攻击。研究了在知识蒸馏过程中，对抗鲁棒性如何从教师转移到学生。我们发现，大量的鲁棒性可能会继承的学生，即使是在只干净的图像蒸馏。其次，我们引入了逆向鲁棒蒸馏（ARD），用于将鲁棒性蒸馏到学生网络上。除了像传统蒸馏一样产生具有高测试精度的小模型外，ARD还将大型网络的卓越鲁棒性传递给学生。在我们的实验中，我们发现ARD学生模型在鲁棒性准确性方面明显优于相同架构的对抗训练网络，在标准鲁棒性基准上超过了最先进的方法。最后，我们将最近的快速对抗训练方法应用于ARD，以加速鲁棒蒸馏。
2019-12-02 cs.CV cs.LG stat.ML
