Mitigating Accuracy-Robustness Trade-off via Balanced Multi-Teacher Adversarial Distillation
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
本文提出均衡多教师对抗鲁棒性蒸馏（B-MTARD），通过强干净教师与强鲁棒教师分别处理干净和对抗样本，并设计熵均衡与归一化损失均衡算法，有效缓解准确率与鲁棒性之间的权衡，在多个数据集上超越现有方法。
2024-06-16 cs.CV cs.LG
Push Stricter to Decide Better: A Class-Conditional Feature Adaptive Framework for Improving Adversarial Robustness
Fuzhou University（福州大学）；YuanZe University（元智大学）
为了应对对抗性示例的威胁，对抗性训练提供了一个有吸引力的选择，通过在线增强的对抗性示例来训练模型，从而增强模型的鲁棒性。然而，现有的对抗训练方法大多侧重于通过增强对抗样本来提高鲁棒准确率，但忽略了自然数据和对抗样本之间不断增加的偏移，导致自然准确率急剧下降。为了保持自然和鲁棒准确性之间的平衡，我们从特征自适应的角度减轻了这种转变，并提出了一种特征自适应对抗训练（FAAT），优化了自然数据和对抗示例之间的类条件特征自适应。具体来说，我们建议纳入一个类条件的约束，以鼓励功能成为（1）类歧视和（2）不变的变化对抗攻击。新的FAAT框架通过在自然和对抗数据中生成具有相似分布的特征，实现了自然和鲁棒准确性之间的权衡，并从类别区分特征特性中获得了更高的整体鲁棒性。在各种数据集上的实验表明，FAAT产生更多的区别特征，并表现出良好的国家的最先进的方法。代码可在https://github.com/VisionFlow/FAAT上获得。
2021-12-01 cs.CV
Conditional Generative Adversarial Nets
Université de Montréal（蒙特利尔大学）；Flickr / Yahoo Inc.（Flickr / 雅虎公司）
生成对抗网[8]最近被引入作为训练生成模型的一种新方法。在这项工作中，我们介绍了生成对抗网的条件版本，它可以通过简单地将数据y馈送到生成器和生成器来构建。我们表明，该模型可以产生MNIST数字类标签的条件。我们还说明了如何使用该模型来学习多模态模型，并提供了图像标记应用程序的初步示例，其中我们演示了这种方法如何生成不属于训练标签的描述性标签。
2014-11-06 cs.AI cs.CV cs.LG
Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology（谢里夫理工大学）；imec（imec研究所）；Ghent University（根特大学）
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步，给定的音频输入。通过使用递归神经网络，我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力，以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Training Shallow and Thin Networks for Acceleration via Knowledge Distillation with Conditional Adversarial Networks
University of Maryland（马里兰大学）；Georgia Institute of Technology（佐治亚理工学院）；Honda Research Institute（本田研究院）
人们对加速用于实时应用的神经网络越来越感兴趣。我们研究了学生-教师策略，在该策略中，使用从大型且准确的教师网络中学习到的辅助信息来训练小型且快速的学生网络。我们建议使用条件对抗网络来学习损失函数，以将知识从教师转移到学生。该方法对于相对较小的学生网络特别有效。此外，实验结果表明，当现代网络被用作学生时，网络大小的影响。我们实证研究推理时间和分类精度之间的权衡，并提供建议，选择一个合适的学生网络。
2018-04-16 cs.AI cs.CV cs.LG
High-Quality Face Image SR Using Conditional Generative Adversarial Networks
Beihang University（北京航空航天大学）；National Chung Hsing University（中兴大学）
提出了一种基于边界平衡生成对抗网络的人脸条件生成对抗网络（Face Conditional Generative Adversarial Network，FCGAN）的单人脸图像超分辨率方法。该方法不需要任何人脸先验信息，可以从低分辨率的人脸图像生成高分辨率的人脸图像。与现有的研究相比，我们的训练和测试阶段都是端到端的管道，几乎没有预处理/后处理。为了提高收敛速度和加强特征传播，在生成和鉴别网络中进一步采用跳层连接。大量的实验表明，我们的模型与最先进的模型相比，具有竞争力的性能。
2017-07-04 cs.CV
Towards Recovery of Conditional Vectors from Conditional Generative Adversarial Networks
条件生成对抗网络允许生成以某些外部信息为条件的样本。能够从条件GAN恢复潜在和条件向量在各种应用中可能是有价值的，从用于娱乐目的的图像操纵到用于安全目的的神经网络的诊断。在这项工作中，我们表明，它是可能的，以恢复潜在的和条件向量从生成的图像给定的生成器的条件生成对抗网络。由于深度神经网络通常具有多层非线性，因此这种恢复并非微不足道。此外，这种恢复应用于实际的自然图像的效果进行了研究。我们发现，生成的图像和真实图像的恢复性能之间存在差距，我们认为这是由于生成的数据分布和真实数据分布之间的差异。实验进行了评估恢复的条件向量和重建图像从这些恢复的矢量定量和定性，显示出可喜的成果。
2017-12-06 cs.CV cs.LG
Re-designing cities with conditional adversarial networks
University College London (UCL)（伦敦大学学院）
本文介绍了一种条件生成对抗网络，通过生成1）城市干预政策，2）需要干预的地方的注意力地图，3）实施干预后的高分辨率街道级图像（1024 X 1024或1536 X 1536）来重新设计城市场景的街道级图像。我们还介绍了一个新的数据集，其中包括对齐的街道级图像之前和之后的城市干预措施，从现实生活中的场景，使这项研究成为可能。所介绍的方法已在应用于逼真图像的不同范围的城市干预上进行了训练。经过训练的模型在重新建模城市方面表现出强大的性能，优于在单个GPU中计算的其他领域中应用图像到图像转换的现有方法。这项研究为机器智能在基于对抗学习的重新思考和重新设计城市的不同属性方面发挥作用打开了大门，超越了面部地标操作或语义分割图像合成的主流。
2021-04-14 cs.AI cs.CV cs.LG
A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds
University of Texas at Arlington（得克萨斯大学阿灵顿分校）
在本文中，我们介绍了一种新的条件生成对抗网络，它可以以无监督的方式为各类对象创建密集的3D点云。为了克服在高分辨率下捕获复杂细节的困难，我们提出了一个点Transformer，它通过使用图形卷积来逐步增长网络。该网络由一个叶输出层和一组初始分支组成。每次训练迭代都将点向量演化为分辨率不断提高的点云。在固定次数的迭代之后，通过复制最后一个分支来增加分支的数量。实验结果表明，我们的网络能够学习和模仿3D数据分布，并在多个分辨率下生成具有精细细节的彩色点云。
2020-10-12 cs.AI cs.CV cs.LG
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University（台湾大学）
对抗性样本是故意制作的数据，目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时，我们通常指的是基于扰动的方法，该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观，但DNN模型可能完全无法识别，这反过来又导致了完全误导的预测。然而，在本文中，我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架，从类条件生成对抗网络中生成原生对抗样本。因此，生成的数据不会与任何现有数据相似，从而扩大了样本的多样性，提高了对抗防御的难度。然后，我们将这个框架扩展到预训练的条件GANs，在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验，并取得了令人满意的结果，表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Adversarial Unsupervised Domain Adaptation with Conditional and Label Shift: Infer, Align and Iterate
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Southern California（南加州大学）
在这项工作中，我们提出了一个对抗性的无监督领域自适应（UDA）方法与固有的条件和标签偏移，我们的目标是对齐的分布w.r.t. $p(x|y)$和$p(y)$。由于标签在目标域中不可访问，因此常规对抗性UDA假设$p(y)$跨域不变，并且依赖于比对$p(x)$作为$p(x|y)$比对的替代。为了解决这个问题，我们提供了一个彻底的理论和经验分析的传统对抗UDA方法下的条件和标签偏移，并提出了一个新的和实用的替代优化方案对抗UDA。具体来说，我们推断边缘$p(y)$和对齐$p(x|y)$迭代训练，并精确对齐后$p(y|x)$在测试中。我们的实验结果表明，它的有效性分类和分割UDA，部分UDA。
2021-08-02 cs.AI cs.CV cs.LG
Conditional Variational Autoencoder with Balanced Pre-training for Generative Adversarial Networks
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）
类别不平衡发生在许多现实世界的应用中，包括图像分类，其中每个类别中的图像数量显著不同。对于不平衡的数据，生成对抗网络（GANs）倾向于多数类样本。最近提出的两种方法，平衡GAN（BAGAN）和改进的BAGAN（BAGAN-GP），作为一种增强工具来处理这个问题，并恢复平衡的数据。前者以无监督的方式预训练自动编码器权重。然而，当来自不同类别的图像具有相似的特征时，它是不稳定的。后者是在BAGAN的基础上改进的，通过促进监督自动编码器训练，但预训练偏向于大多数类。在这项工作中，我们提出了一种新的条件变分自编码器与平衡的预训练生成对抗网络（CAPGAN）作为增强工具，以生成逼真的合成图像。特别地，我们利用具有监督和平衡预训练的条件卷积变分自编码器来进行GAN初始化和具有梯度惩罚的训练。我们提出的方法在高度不平衡的MNIST，Fashion-MNIST，CIFAR-10和两个医学成像数据集上表现出其他最先进的方法的优越性能。我们的方法可以合成高质量的少数样本的Fréchet初始距离，结构相似性指标和感知质量。
2022-01-13 cs.CV cs.LG eess.IV
Continuous Conditional Generative Adversarial Networks (cGAN) with Generator Regularization
University of California, Berkeley（加州大学伯克利分校）
已知条件生成对抗网络难以训练，特别是当条件是连续的和高维的时。为了部分缓解这一困难，我们提出了一个简单的发电机正则化项的GAN发电机损失的形式Lipschitz惩罚。因此，当生成器被馈送有连续空间中的相邻条件时，正则化项将利用相邻信息并推动生成器生成对于每个相邻条件具有类似条件分布的样本。我们分析了所提出的正则化项的效果，并在一系列合成和现实世界的任务上证明了其鲁棒性能。
2021-03-27 cs.CV cs.LG
Localising In Complex Scenes Using Balanced Adversarial Adaptation
ARC Centre of Excellence for Robotic Vision（澳大利亚研究委员会机器人视觉卓越中心）；Monash University（莫纳什大学）
领域自适应和生成式建模通过利用模拟环境中丰富的准确标记数据，共同减轻了数据汇集和标记的昂贵性质。在这项工作中，我们研究的性能之间存在的差距表示优化本地化的模拟环境和应用程序的这种表示在现实世界中设置。我们的方法利用模拟和现实世界的环境之间共享的几何相似性，同时保持对视觉差异的不变性。这是通过优化表示提取器来实现的，以将模拟和真实表示投影到共享表示空间中。我们的方法使用了一种对称对抗方法，该方法鼓励表示提取器隐藏从中提取特征的域，同时保留源域和目标域之间有利于本地化的鲁棒属性。我们通过将室内人居模拟环境（Matterport3D和ESTA）优化的表示适应真实世界的室内环境（主动视觉数据集）来评估我们的方法，表明它与完全监督的方法相比是有利的。
2020-11-09 cs.CV cs.LG
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong（香港中文大学）；Texas A&M University（得克萨斯农工大学）
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力，但它的条件图像合成能力较弱，特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中，基于对图像及其条件的联合概率密度建模，我们提出了一种新的基于流的生成模型，称为条件对抗生成流（CAGlow）。而不是从潜在空间中解开属性，我们开辟了一条新的道路，学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$，CAGlow可以将其编码为采样的$z$，然后在复杂的情况下实现鲁棒的条件图像合成，例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现，因此可以合成具有条件信息的图像，如类别，属性，甚至一些未知属性。大量的实验表明，CAGlow确保了不同条件的独立性，并在很大程度上优于常规Glow。
2019-04-03 cs.CV
CALM: Conditional Adversarial Latent Models for Directable Virtual Characters
NVIDIA（英伟达）；Technion Institute of Technology（以色列理工学院）；Bar-Ilan University（巴伊兰大学）；Simon Fraser University（西蒙弗雷泽大学）
本研究提出CALM条件对抗潜在模型，通过模仿学习联合训练控制策略与运动编码器，学习语义化运动表征，为交互式虚拟角色生成多样可控的行为，支持直观界面操控与高层任务训练。
2023-05-02 cs.AI cs.CV cs.RO
Applying Conditional Generative Adversarial Networks for Imaging Diagnosis
University of Houston（休斯顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northeastern University（东北大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Brandeis University（布兰迪斯大学）
提出融合C-GAN与SHGN的医学影像分割方法，通过数据增强和L1/L2对抗混合损失缓解过拟合，在IVUS影像上实现优于现有方法的自动诊断性能。
2024-07-17 cs.AI cs.CV eess.IV
Robust Conditional Generative Adversarial Networks
Imperial College London（帝国理工学院）
条件生成对抗网络（cGAN）已经在条件图像生成任务方面取得了很大的改进，这是计算机视觉的核心。到目前为止，主要的重点是性能改进，而在使cGAN对噪声更具鲁棒性方面几乎没有做出任何努力。（发生器的）回归可能会导致输出中的任意大的误差，这使得cGAN对于现实世界的应用程序不可靠。在这项工作中，我们引入了一种新的条件GAN模型，称为RoCGAN，它利用模型的目标空间中的结构来解决这个问题。我们的模型用一个无监督的路径来增强生成器，即使在存在强烈噪声的情况下，它也会促进生成器的输出跨越目标流形。我们证明了RoCGAN具有与GAN相似的理论特性，并通过实验验证了我们的模型在包括自然场景和人脸图像在内的各种领域中的性能都大大优于现有的最先进的cGAN架构。
2019-03-13 cs.AI cs.CV cs.LG
Long-tailed Adversarial Training with Self-Distillation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对长尾分布下对抗训练在尾部类别性能不佳的问题，提出基于自蒸馏的平衡自教师模型，在多个数据集上显著提升尾部类别的对抗鲁棒性，达到最先进水平。
2025-08-05 cs.CV
AlignGAN: Learning to Align Cross-Domain Images with Conditional Generative Adversarial Networks
City University of Hong Kong（香港城市大学）；The Education University of Hong Kong（香港教育大学）
最近，已经提出了几种基于生成对抗网络（GAN）的方法，用于对齐跨域图像或学习跨域图像的联合分布。方法之一是使用条件GAN进行对齐。然而，采用条件GAN的先前尝试不如其他方法执行得好。在这项工作中，我们提出了一种方法，以提高能力的方法，这是基于条件GAN。我们评估了所提出的方法在许多任务和实验结果表明，它是能够成功地对齐跨域图像在没有配对的样本。此外，我们还提出了另一种模型，它的条件下，如域信息和标签信息的多个信息。在域信息和标签信息的条件下，我们能够进行从源域到目标域的标签传播。提出了一种两步交替训练算法来学习该模型。
2017-07-05 cs.CV
MsCGAN: Multi-scale Conditional Generative Adversarial Networks for Person Image Generation
Anhui University（安徽大学）
合成具有任意姿态的高质量人物图像具有挑战性。本文提出了一种新的多尺度条件生成对抗网络（MsCGAN），旨在将输入的条件人物图像转换为任意给定目标姿态的合成图像，其外观和纹理与输入图像一致。MsCGAN是一个多尺度对抗网络，由两个生成器和两个鉴别器组成。一个生成器将条件人物图像转换为目标姿态的全局粗图像，另一个是通过局部增强网络来增强合成人物图像的细节质量。然后，两个生成器的输出被合并为合成的、判别式的和高分辨率的图像。另一方面，合成图像被下采样到多个分辨率，作为多尺度小波网络的输入。提出的多尺度生成器和鉴别器处理不同层次的视觉特征，可以有利于合成高分辨率的人与现实的外观和纹理的图像。在Market-1501和DeepFashion数据集上进行了实验，定性和定量结果都证明了所提出的MsCGAN的优越性能。
2020-03-05 cs.CV
Bitewing Radiography Semantic Segmentation Base on Conditional Generative Adversarial Nets
目前，咬翼类X光图像的分割是一个非常具有挑战性的任务。研究的重点是将其细分为龋齿，釉质，牙本质，牙髓，牙冠，修复和根管治疗。现阶段对咬翼片图像进行语义分割的主要方法是U型深卷积神经网络，但其准确率较低。为了提高咬翼片图像语义分割的准确性，提出了将条件生成对抗网络（cGAN）与U形网络结构（U-Net）相结合的方法用于咬翼片图像的语义分割。实验结果表明，cGAN结合U-Net的准确率为69.7%，比U形深卷积神经网络的准确率56.4%提高了13.3%。
2018-02-07 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
Task Specific Visual Saliency Prediction with Memory Augmented Conditional Generative Adversarial Networks
Queensland University of Technology（昆士兰科技大学）
视觉显着性模式是除了被解析的图像之外的各种因素的结果，然而现有的方法忽略了这些因素。为了解决这一限制，我们提出了一种新的显着性估计模型，该模型利用了条件生成对抗网络的语义建模能力，以及捕捉受试者的行为模式和任务相关因素的记忆体系结构。我们的贡献旨在弥合现代深度学习架构中自下而上的特征学习能力与传统的自上而下的手工制作的基于任务特定显着性建模的方法之间的差距。所提出的框架的条件性质使我们能够一起学习上下文语义和不同任务之间的关系，而不是为每个任务单独学习它们。我们的研究不仅揭示了生成对抗网络的一个新的应用领域，而且强调了任务特定显着性建模的重要性，并证明了通过增强内存架构完全捕获这种上下文的可行性。
2018-03-09 cs.CV
Predicting Rapid Fire Growth (Flashover) Using Conditional Generative Adversarial Networks
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
当火焰由于高温而通过裂缝迅速蔓延时，就会发生闪络。对于那些经常遇到它们的人来说，闪火是最可怕和最具挑战性的火灾现象之一：消防员。消防员的安全和生命通常取决于他们在闪络发生之前预测闪络的能力。典型的闪前火灾特征包括黑烟、高热和翻滚（“天使指”），并可通过颜色、大小和形状进行量化。使用来自消防员身体摄像机的彩色视频流，我们应用生成对抗神经网络进行图像增强。训练神经网络以增强视频中非常暗的火灾和烟雾模式，并监测烟雾和火灾区域的动态变化。有限的闪络培训视频的初步测试表明，我们预测闪络早在55秒之前发生。
2018-01-30 cs.AI cs.CV cs.HC
Efficient Active Learning for Image Classification and Segmentation using a Sample Selection and Conditional Generative Adversarial Network
IBM Research Australia（IBM澳大利亚研究院）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；University of Bern（伯尔尼大学）
由于覆盖不同疾病类型和严重程度的图像有限，因此训练用于医学图像分类或分割的鲁棒深度学习（DL）系统具有挑战性。我们提出了一个主动学习（AL）框架，选择最翔实的样本，并添加到训练数据。我们使用条件生成对抗网络（cGAN）通过在真实图像样本上调节其生成来生成具有不同疾病特征的逼真胸部X射线图像。使用贝叶斯神经网络识别要添加到训练集的信息样本。实验表明，我们提出的AL框架能够通过使用约35%的完整数据集来实现最先进的性能，从而比传统方法节省了大量的时间和精力。
2019-10-22 cs.CV
On The Utility of Conditional Generation Based Mutual Information for Characterizing Adversarial Subspaces
National Chung Hsing University（国立中兴大学）；IBM Research（IBM研究院）
最近的研究发现，深度学习系统容易受到对抗性示例的影响;例如，视觉上不可识别的对抗图像可以容易地被制作以导致错误分类。神经网络的鲁棒性已经在敌手检测的背景下被广泛研究，敌手检测比较了在自然和敌手示例之间表现出强区分能力的度量。在本文中，我们提出了通过镜头的互信息（MI）的条件生成方法近似的敌对子空间的特征。我们使用MI作为一个信息理论的度量，以加强现有的防御和提高性能的对手检测。在MagNet防御系统上的实验结果表明，该检测器能够有效地提高对强大对抗攻击的鲁棒性.
2018-09-24 cs.CR cs.CV cs.LG
Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network
InnoPeak Technology（英诺赛科科技）；University of South Carolina（南卡罗来纳大学）；Qualcomm AI Research（高通人工智能研究院）
提出了一种新的无身份条件生成对抗网络（IF-GAN）用于人脸表情识别（FER），以显式地减少由身份相关的面部属性（例如，年龄种族和性别作为端到端系统的一部分，cGAN被设计为将给定的输入面部表情图像转换为具有与输入相同表情的“平均”身份面部。然后，无身份FER是可能的，因为生成的图像具有相同的合成“平均”身份，并且仅在其显示的表情上不同。在四个面部表情数据集上的实验表明，IF-GAN优于基线CNN，并实现了FER的最先进性能。
2021-05-20 cs.CV
Bilinear Representation for Language-based Image Editing Using Conditional Generative Adversarial Networks
Alibaba Group（阿里巴巴集团）
基于语义的图像编辑（LBIE）的任务是根据给定的语言描述对源图像进行编辑，生成目标图像。LBIE的主要挑战是将图像和文本中的语义分离，然后将它们结合起来生成逼真的图像。因此，编辑性能在很大程度上取决于学习的表示。在这项工作中，条件生成对抗网络（cGAN）用于LBIE。我们发现cGAN中现有的条件方法缺乏表示能力，因为它们无法学习两个条件向量之间的二阶相关性。为了解决这个问题，我们提出了一个改进的条件层命名为双线性残差层（BRL）学习更强大的表示LBIE任务。定性和定量的比较表明，我们的方法可以生成更高质量的图像相比，以前的LBIE技术。
2019-03-18 cs.CV
Creative Portraiture: Exploring Creative Adversarial Networks and Conditional Creative Adversarial Networks
本文研究DCGAN创意生成局限，探索CAN并提出CCAN，利用WikiArt生成新颖肖像，并支持按风格标签条件化生成，以更贴近人类创作过程。
2024-12-10 cs.CV cs.LG
Red blood cell image generation for data augmentation using Conditional Generative Adversarial Networks
Noul Inc.（Noul公司）
在本文中，我们描述了如何将图像到图像的转换技术应用于医学血液涂片数据，以生成新的数据样本，并有意义地增加小数据集。具体而言，给定显微图像的分割掩模，我们能够生成血细胞的照片级真实感图像，这些图像在网络训练期间与真实数据一起进一步用于分割和目标检测任务。这种图像数据生成方法基于条件生成对抗网络，该网络具有高质量图像合成的能力。除了合成血液图像外，我们还合成了分割掩模，这导致了各种各样的生成样本。该技术的有效性进行了彻底的分析和量化，通过大量的实验，手动收集和注释的数据集下采取的显微镜下的血涂片。
2019-03-08 cs.CV
Conditional Adversarial Network for Semantic Segmentation of Brain Tumor
Hasso Plattner Institute for Digital Engineering（哈索·普拉特纳数字工程研究院）
医学图像自动分析在疾病诊断和治疗中具有重要的应用价值。由于脑肿瘤在磁共振图像中的不同表现和形状的差异，使得脑肿瘤的分割具有特殊的重要性和难度。此外，与计算机视觉问题相比，数据集是异构的，并且通常在大小上是有限的。最近提出的对抗性训练在生成图像建模中表现出了很好的效果。在本文中，我们提出了一种新的端到端的可训练架构的脑肿瘤语义分割通过条件对抗训练。我们利用条件生成对抗网络（cGAN）并训练语义分割卷积神经网络（CNN）以及对抗网络，该对抗网络区分来自地面实况或来自BraTS 2017分割任务的分割网络的分割图[15，4，2，3]。我们还提出了一种端到端的可训练CNN，用于基于深度学习技术的生存日预测，用于BraTS 2017预测任务[15，4，2，3]。实验结果表明，所提出的方法对这两个任务的优越能力。该模型对整个肿瘤的DICE评分、灵敏度和特异性分别为0.68、0.99和0.98，实现了在线判断系统。
2017-08-17 cs.CV
Thermal Infrared Colorization via Conditional Generative Adversarial Network
Nanjing University of Science and Technology（南京理工大学）
将热红外图像转换为真实感的RGB图像是一项具有挑战性的任务。在本文中，我们提出了一种深度学习方法来弥合这一差距。我们建议使用保留细节的粗到细生成器来学习变换映射。由于标准的均方损失不能很好地惩罚彩色图像和地面实况图像之间的距离，我们提出了一个复合损失函数，结合内容，对抗，感知和总变化损失。内容损失用于恢复全局图像信息，而后三种损失用于合成局部真实感纹理。定量和定性实验表明，我们的方法显着优于现有的方法。
2018-11-05 cs.CV
Aerial Spectral Super-Resolution using Conditional Adversarial Networks
Rochester Institute of Technology（罗切斯特理工学院）
从基于地面的自然图像推断光谱特征在应用深度学习中获得了很多兴趣。与地面光谱图像相比，航空光谱图像空间分辨率低，受噪声干扰大。在本文中，我们训练一个条件对抗网络学习从三色空间到400到700 nm范围内的31个光谱波段的逆映射。该网络是在AeroCampus上训练的，AeroCampus是第一个航空高光谱数据集。AeroCampus由高空间分辨率彩色图像和低空间分辨率高光谱图像（HSI）组成。从31个光谱波段合成的彩色图像被用来训练我们的网络。合成RGB测试数据的基线均方根误差为2.48，我们表明，它是可能的，在航空图像中产生的光谱特征。
2017-12-23 cs.CV
Personality-Driven Gaze Animation with Conditional Generative Adversarial Networks
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
我们提出了一种生成对抗学习方法来合成给定个性的凝视行为。我们使用现有的数据集对模型进行训练，该数据集包括42名参与者执行日常任务的眼动跟踪数据和个性特征。考虑到大五人格特质（开放性、外向性、宜人性和神经质）的值，我们的模型生成了由凝视目标、眨眼时间和瞳孔尺寸组成的时间序列数据。我们使用生成的数据来合成游戏引擎上的虚拟代理的注视运动。
2020-11-11 cs.CV cs.GR
CIAGAN: Conditional Identity Anonymization Generative Adversarial Networks
Technical University Munich（慕尼黑工业大学）；University of Venice（威尼斯大学）
计算机视觉技术在社会中的使用空前增加，与此同时，人们对数据隐私的担忧也在增加。在许多现实世界的场景中，如人员跟踪或动作识别，重要的是能够处理数据，同时仔细考虑保护人员的身份。我们提出并开发了CIAGAN，一种基于条件生成对抗网络的图像和视频匿名化模型。我们的模型能够去除面部和身体的识别特征，同时生成高质量的图像和视频，可用于任何计算机视觉任务，如检测或跟踪。与以前的方法不同，我们可以完全控制去识别（匿名化）过程，确保匿名化和多样性。我们将我们的方法与几个基线进行比较，并获得了最先进的结果。
2020-11-30 cs.CV
Using Conditional Generative Adversarial Networks to Generate Ground-Level Views From Overhead Imagery
University of California, Merced（加州大学默塞德分校）
本文开发了一个深度学习框架，用于在给定头顶图像的情况下合成位置的地面视图。我们提出了一种新的条件生成对抗网络（cGAN），其中训练的生成器使用头顶图像作为辅助信息生成逼真的地面图像。生成器是一个编码器-解码器网络，它允许我们比较低级别和高级别的功能以及它们的级联，以编码开销图像。我们还演示了我们的框架如何通过修改经过训练的cGAN来从头顶图像中提取特征来执行土地覆盖分类。这很有趣，因为尽管我们使用这种修改后的cGAN作为头顶图像的特征提取器，但它包含了从地面看位置的知识。
2019-02-19 cs.CV
Paired 3D Model Generation with Conditional Generative Adversarial Networks
Middle East Technical University（中东技术大学）
生成对抗网络（GANs）被证明在生成包括3D对象模型在内的新的真实样本方面是成功的。条件GAN是GANs的变体，允许在给定条件下生成样本。然而，为每个条件生成的对象是不同的，并且它不允许在不同条件下生成相同的对象。在本文中，我们首先适应条件GAN，这是最初设计的二维图像生成，在不同的旋转生成三维模型的问题。然后，我们提出了一种新的方法来引导网络以不同且可控的旋转角度（样本对）生成相同的3D样本。与以前的研究不同，该方法不需要修改标准的条件GAN架构，它可以集成到任何条件GAN的训练步骤。实验结果和三维模型的视觉比较表明，该方法是成功的，在不同的条件下生成模型对。
2019-03-15 cs.CV
Single Image Haze Removal Using Conditional Wasserstein Generative Adversarial Networks
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
我们提出了一种方法来恢复一个清晰的图像从模糊影响的图像使用Wasserstein生成对抗网络。由于该问题是病态的，以前的方法需要自然图像或同一场景的多个图像的先验。我们训练一个生成对抗网络，以学习清晰图像的概率分布，该概率分布以使用Wasserstein损失函数的受雾影响的图像为条件，使用梯度惩罚来执行Lipschitz约束。该方法是数据自适应的，端到端的，并且不需要进一步处理或调整参数。我们还结合使用基于纹理的损失度量和L1损失来改善结果，并表明我们的结果优于当前最先进的。
2019-03-01 cs.CV
Automatic Video Colorization using 3D Conditional Generative Adversarial Networks
University of Ioannina（约阿尼纳大学）；Information Technologies Institute, CERTH（CERTH信息技术研究所）
在这项工作中，我们提出了一种自动彩色化的灰度视频的方法。该方法的核心是一个生成对抗网络，该网络以滑动窗口的方式在帧序列上进行训练和测试。网络卷积层和去卷积层是三维的，其中帧高度、宽度和时间作为考虑的维度。每帧的多个色度估计被聚合并与可用的亮度信息组合以重新创建彩色序列。彩色化试验成功地运行在旧的黑白电影的数据集。我们的方法的有用性也验证了数值结果，计算与一个新提出的度量，衡量着色一致性的帧序列。
2019-05-08 cs.CV
Combining Shape Priors with Conditional Adversarial Networks for Improved Scapula Segmentation in MR images
IMT Atlantique（大西洋国立高等矿业电信学院）；LaTIM UMR 1101, Inserm（法国国家健康与医学研究院 1101 联合研究单位（医学影像治疗实验室））
本文提出了一种利用深度学习从磁共振（MR）图像中自动分割肩胛骨的方法。这项工作的目的是将解剖先验纳入条件对抗框架，给定有限数量的异构注释图像。我们的方法鼓励分割模型通过学习的非线性形状表示来遵循底层解剖结构的全局解剖特性，而对抗性贡献通过促进逼真的描绘来细化模型。这些贡献进行了评估的15个儿科肩关节检查的数据集，并比较国家的最先进的架构，包括UNet和最近的衍生物。所取得的重大进展为肌肉骨骼疾病的术前管理带来了新的前景。
2020-01-23 cs.CV eess.IV
LinesToFacePhoto: Face Photo Generation from Lines with Conditional Self-Attention Generative Adversarial Network
University of Science and Technology of China（中国科学技术大学）
在本文中，我们探讨的任务，产生照片般逼真的人脸图像线。基于条件生成对抗网络（cGAN）的先前方法已经显示出当条件图像和输出图像共享良好对齐的结构时，它们能够生成视觉上合理的图像。然而，这些模型无法合成具有一整套明确定义的结构（例如眼睛、鼻子、嘴等）的人脸图像，特别是当条件线图缺少一个或几个部分时。为了解决这个问题，我们提出了一个条件自注意生成对抗网络（CSAGAN）。我们在cGAN中引入了条件性自我注意力机制，以捕获人脸不同区域之间的远程依赖关系。我们还建立了一个多尺度的模型。大规模的重构增强了全局结构的完整性，而小规模的重构则增强了细节，从而增强了生成的人脸图像的真实感。我们通过两个感知用户研究和三个定量指标在CelebA-HD数据集上评估了所提出的模型。实验结果表明，我们的方法生成高质量的面部图像，同时保持面部结构。我们的结果优于国家的最先进的方法在定量和定性。
2019-10-20 cs.CV eess.IV
End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks
Radboud University, Donders Institute for Brain, Cognition and Behaviour（拉德堡德大学，唐德斯脑、认知与行为研究所）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
近年来，在语义分割方面取得了显著的进展。在这里，我们通过利用这些进步的各自优势来解决这个问题。也就是说，我们将四连通图上的条件随机场表示为端到端可训练的卷积和递归网络，并通过对抗过程对其进行估计。重要的是，我们的模型不仅学习一元势，还学习成对势，同时聚合多尺度上下文并控制高阶不一致性。我们在两个标准的语义人脸分割基准数据集上评估了我们的模型，在这两个数据集上都取得了最先进的结果。
2017-03-09 cs.CV
Domain-Invariant Proposals based on a Balanced Domain Classifier for Object Detection
针对域偏移导致目标检测性能下降的问题，在Faster R-CNN的区域候选网络中引入对抗学习域分类器，结合平衡域分类器与学习率调整策略，有效生成域不变候选区域，提升了跨域检测的鲁棒性。
2024-01-06 cs.CV
Auto-painter: Cartoon Image Generation from Sketch by Using Conditional Generative Adversarial Networks
Samsung R&D Institute China Beijing（三星中国研发中心（北京））；Beihang University（北京航空航天大学）
近年来，利用深度神经网络生成真实感图像已成为机器学习和计算机视觉领域的热门话题。通过从大量图像中学习，可以在像素级生成图像。从黑白草图中生成彩色卡通图像不仅是一个有趣的研究课题，而且在数字娱乐领域有着潜在的应用前景。在本文中，我们研究了草图到图像的合成问题，使用条件生成对抗网络（cGAN）。我们提出了自动画家模型，可以自动生成兼容的颜色的草图。新的模型不仅能够用适当的颜色绘制手绘草图，而且还允许用户指示首选颜色。在两个草图数据集上的实验结果表明，该自动绘制器的性能优于现有的图像到图像的方法。
2017-05-07 cs.CV
Blending adversarial training and representation-conditional purification via aggregation improves adversarial robustness
AIlab University of Trieste（AI实验室特伦蒂诺大学）；Data Engineering Laboratory（数据工程实验室）；AREA Science Park（AREA科学公园）
本研究提出融合对抗训练与提纯的新型图像分类防御机制CARSO，通过表征映射与多采样聚合实现鲁棒预测，在多个数据集上显著提升了针对AutoAttack的ℓ∞鲁棒分类准确率。
2025-10-05 cs.AI cs.CR cs.CV
SAR-to-EO Image Translation with Multi-Conditional Adversarial Networks
DAF MIT AI Accelerator（美国空军麻省理工学院人工智能加速器）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；MIT（麻省理工学院）
本文探讨了使用多条件对抗网络进行SAR到EO图像翻译。以前的方法只在输入SAR条件下对抗网络。我们表明，将多个互补的方式，如谷歌地图和IR可以进一步提高SAR到EO图像的翻译，特别是在保留人造物体的锐利边缘。我们在包括SEN12MS，DFC2020和SpaceNet6在内的各种数据集上证明了我们的方法的有效性。我们的实验结果表明，与仅在成对SAR和EO数据上训练的模型相比，互补模态提供的额外信息提高了SAR到EO图像翻译的性能。据我们所知，我们的方法是第一个利用多种模式来提高SAR到EO图像转换性能的方法。
2022-07-26 cs.CV eess.IV
Virtual Conditional Generative Adversarial Networks
当在多模态图像数据集上训练时，正常的生成对抗网络（GANs）通常被类条件GANs和集成GANs优于，但条件GANs仅限于标记数据集，集成GANs缺乏效率。我们提出了一种新的GAN变体，称为虚拟条件GAN（vc GAN），它不仅是一个集成GAN与多个生成路径，同时添加几乎为零的网络参数，但也是一个条件GAN，可以在未标记的数据集上训练，没有显式的聚类步骤或目标以外的对手损失。在vcGAN的生成器内部，可学习的“模数转换器（ADC）”模块将输入的多元高斯噪声的切片映射到离散/数字噪声（虚拟标签），选择器根据该离散/数字噪声选择相应的生成路径以产生样本。所有生成路径共享相同的解码器网络，而在每个路径中，解码器网络被馈送有不同的预先计算的放大独热向量和输入的高斯噪声的级联。我们在几个平衡/不平衡图像数据集上进行了大量实验，以证明vcGAN收敛速度更快，并实现了改进的Frechét Inception Distance（FID）。此外，我们还展示了训练副产品，即vcGAN中的ADC学习了每个模式的分类概率，并且每个生成路径生成特定模式的样本，从而实现了类条件采样。代码可从\url{https://github.com/annonnymmouss/vcgan}获得
2019-01-25 cs.CV
CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Télécom Paris（巴黎高等电信学院）；IP Paris（巴黎理工学院）
无监督人员重新识别是在目标数据集上识别在训练期间ID标签不可用的人员的任务。在本文中，我们提出统一无监督人员重新识别的两个趋势：聚类和微调以及对抗性学习。一方面，聚类将训练图像分组为伪ID标签，并使用它们来微调特征提取器。另一方面，受领域自适应的启发，使用对抗学习来匹配来自不同领域的分布。由于目标数据分布在不同的相机视点，我们建议将每个相机建模为一个独立的域，并旨在学习域独立的功能。简单的对抗性学习会产生负迁移，因此我们引入了一个条件向量来减轻这种不良影响。在我们的框架中，视觉样本所属的聚类的质心被用作我们的条件对抗网络的条件向量，其中向量是置换不变的（聚类排序无关紧要），其大小与聚类的数量无关。据我们所知，我们是第一个提出使用条件对抗网络进行无监督人员重新识别的人。我们在两种最先进的基于集群的无监督人员重新识别（re-ID）方法的基础上评估了所提出的架构。在四个不同的实验环境中使用三个不同的数据集，并在所有四个数据集上设置了新的最先进性能。我们的代码和模型将在https://team.inria.fr/perception/canu-reid/上公开。
2020-04-28 cs.CV
A Conditional Adversarial Network for Scene Flow Estimation
深度视频中的场景流估计问题因其在机器人领域的潜在应用而受到机器人视觉研究者的关注。传统的场景流方法由于计算量大而难以应用于实际应用。我们提出了一个用于场景流量估计的条件对抗网络SceneFlowGAN。所提出的SceneFlowGAN在两端使用损失函数：生成器和描述符端。该网络是首次尝试使用生成对抗网络来估计场景流，并且能够同时从输入立体图像中估计光流和视差。该方法在一个大型RGB-D基准场景流数据集上进行了实验。
2019-04-25 cs.CV cs.LG cs.RO
DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks
Ukrainian Catholic University（乌克兰天主教大学）；ELEKS Ltd.（ELEKS有限公司）；Visual Recognition Group, Center for Machine Perception, FEE, CTU in Prague（布拉格捷克技术大学（CTU）费尔学院（FEE）机器感知中心视觉识别小组）
我们提出了DeflurGAN，这是一种用于运动去模糊的端到端学习方法。该学习基于条件GAN和内容丢失。DeflurGAN在结构相似性度量和视觉外观方面都达到了最先进的性能。去模糊模型的质量也评估在一个新的方式对现实世界的问题-目标检测（去）模糊图像。该方法比最接近的竞争对手DeepDeflur快5倍。我们还介绍了一种新的方法，用于生成合成运动模糊图像从尖锐的，允许现实的数据集增强。模型、代码和数据集可在https://github.com/KupynOrest/DeblurGAN上获得
2018-04-03 cs.CV
DE-GAN: A Conditional Generative Adversarial Network for Document Enhancement
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Digital Research Center of Sfax（斯法克斯数字研究中心）；University of Sfax（斯法克斯大学）
文档通常表现出各种形式的退化，这使得难以读取，并大大降低了OCR系统的性能。在本文中，我们提出了一个有效的端到端框架，名为文档增强生成对抗网络（DE-GAN），它使用条件GANs（cGANs）来恢复严重退化的文档图像。据我们所知，这种做法还没有在生成对抗深度网络的背景下进行过研究。我们证明，在不同的任务（文件清理，二值化，去模糊和水印去除），DE-GAN可以产生一个增强版本的退化的文件具有高品质。此外，与广泛使用的DIBCO 2013，DIBCO 2017和H-DIBCO 2018数据集的最先进方法相比，我们的方法提供了一致的改进，证明了其将退化文档图像恢复到理想状态的能力。各种各样的退化所获得的结果揭示了所提出的模型的灵活性，以利用其他文件增强问题。
2020-10-17 cs.CV
Points2Pix: 3D Point-Cloud to Image Translation using conditional Generative Adversarial Networks
Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Ilmenau University of Technology（伊尔默瑙工业大学）
我们提出了第一种基于条件生成对抗网络（cGAN）的三维点云到图像转换方法。该模型处理来自不同领域的多模态信息源，即原始点集和图像。该生成器能够处理三种情况，而点云被编码为原始点集和相机投影。使用图像背景块作为约束来偏置环境纹理。生成器中的全局近似函数直接应用于点云（Point-Net）。因此，代表性学习模型直接在潜在特征空间处并入全局3D特征。使用条件来偏置所生成的图像的背景和视点。这开辟了增强或纹理化3D数据的新方法，旨在生成完全独立的图像。我们在Kitti和SunRGBD数据集上成功地评估了我们的方法，并获得了出色的目标检测初始分数。
2019-09-16 cs.CV
