High-Quality Face Image SR Using Conditional Generative Adversarial Networks
Beihang University（北京航空航天大学）；National Chung Hsing University（中兴大学）
提出了一种基于边界平衡生成对抗网络的人脸条件生成对抗网络（Face Conditional Generative Adversarial Network，FCGAN）的单人脸图像超分辨率方法。该方法不需要任何人脸先验信息，可以从低分辨率的人脸图像生成高分辨率的人脸图像。与现有的研究相比，我们的训练和测试阶段都是端到端的管道，几乎没有预处理/后处理。为了提高收敛速度和加强特征传播，在生成和鉴别网络中进一步采用跳层连接。大量的实验表明，我们的模型与最先进的模型相比，具有竞争力的性能。
2017-07-04 cs.CV
Towards Recovery of Conditional Vectors from Conditional Generative Adversarial Networks
条件生成对抗网络允许生成以某些外部信息为条件的样本。能够从条件GAN恢复潜在和条件向量在各种应用中可能是有价值的，从用于娱乐目的的图像操纵到用于安全目的的神经网络的诊断。在这项工作中，我们表明，它是可能的，以恢复潜在的和条件向量从生成的图像给定的生成器的条件生成对抗网络。由于深度神经网络通常具有多层非线性，因此这种恢复并非微不足道。此外，这种恢复应用于实际的自然图像的效果进行了研究。我们发现，生成的图像和真实图像的恢复性能之间存在差距，我们认为这是由于生成的数据分布和真实数据分布之间的差异。实验进行了评估恢复的条件向量和重建图像从这些恢复的矢量定量和定性，显示出可喜的成果。
2017-12-06 cs.CV cs.LG
Total Generate: Cycle in Cycle Generative Adversarial Networks for Generating Human Faces, Hands, Bodies, and Natural Scenes
University of Trento（特伦托大学）
我们提出了一个新颖的和统一的循环中循环生成对抗网络（C2GAN）生成人脸，手，身体和自然场景。我们提出的C2GAN是一个跨模态模型，以交互方式探索输入图像数据和引导数据的联合利用。C2GAN包含两个不同的生成器，即，图像生成生成器和引导生成器。两个生成器以端到端的方式相互连接和训练，并明确形成三个循环的循环，即，一个图像生成周期和两个引导生成周期。每个循环的目的是重建输入域，同时产生一个有用的输出，涉及到另一个循环的生成。以这种方式，循环相互约束，隐含地提供来自图像和引导模态的互补信息，并在循环中带来额外的监督梯度，促进整个模型的更鲁棒的优化。四个引导图像到图像翻译子任务的广泛结果表明，与最先进的模型相比，所提出的C2GAN在生成更逼真的图像方面是有效的。该代码可在https://github.com/Ha0Tang/C2GAN上获得。
2021-06-21 cs.AI cs.CV cs.MM
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University（台湾大学）
对抗性样本是故意制作的数据，目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时，我们通常指的是基于扰动的方法，该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观，但DNN模型可能完全无法识别，这反过来又导致了完全误导的预测。然而，在本文中，我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架，从类条件生成对抗网络中生成原生对抗样本。因此，生成的数据不会与任何现有数据相似，从而扩大了样本的多样性，提高了对抗防御的难度。然后，我们将这个框架扩展到预训练的条件GANs，在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验，并取得了令人满意的结果，表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Continuous Conditional Generative Adversarial Networks (cGAN) with Generator Regularization
University of California, Berkeley（加州大学伯克利分校）
已知条件生成对抗网络难以训练，特别是当条件是连续的和高维的时。为了部分缓解这一困难，我们提出了一个简单的发电机正则化项的GAN发电机损失的形式Lipschitz惩罚。因此，当生成器被馈送有连续空间中的相邻条件时，正则化项将利用相邻信息并推动生成器生成对于每个相邻条件具有类似条件分布的样本。我们分析了所提出的正则化项的效果，并在一系列合成和现实世界的任务上证明了其鲁棒性能。
2021-03-27 cs.CV cs.LG
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong（香港中文大学）；Texas A&M University（得克萨斯农工大学）
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力，但它的条件图像合成能力较弱，特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中，基于对图像及其条件的联合概率密度建模，我们提出了一种新的基于流的生成模型，称为条件对抗生成流（CAGlow）。而不是从潜在空间中解开属性，我们开辟了一条新的道路，学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$，CAGlow可以将其编码为采样的$z$，然后在复杂的情况下实现鲁棒的条件图像合成，例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现，因此可以合成具有条件信息的图像，如类别，属性，甚至一些未知属性。大量的实验表明，CAGlow确保了不同条件的独立性，并在很大程度上优于常规Glow。
2019-04-03 cs.CV
Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization
National University of Singapore（新加坡国立大学）；Hangzhou Dianzi University（杭州电子科技大学）
在本文中，我们提出了一种新的无监督视频摘要模型，不需要手动注释。Cycle-SUM模型采用了一种新的周期一致的对抗性LSTM架构，可以有效地最大限度地提高摘要视频的信息保留和紧凑性。它由一个帧选择器和一个基于周期一致性学习的评价器组成。选择器是一个双向LSTM网络，它学习嵌入视频帧之间的长程关系的视频表示。评估器定义原始视频和摘要视频之间的可学习的信息保持度量，并且“监督”选择器以识别最具信息性的帧以形成摘要视频。特别地，评估器由两个生成对抗网络（GANs）组成，其中前向GAN学习从摘要视频重建原始视频，而后向GAN学习反转处理。这种循环学习的输出之间的一致性被采用作为视频摘要的信息保持度量。我们证明了互信息最大化和这样的循环学习过程之间的密切关系。在两个视频摘要基准数据集上的实验验证了Cycle-SUM模型的最新性能和优越性。
2019-04-17 cs.CV
AlignGAN: Learning to Align Cross-Domain Images with Conditional Generative Adversarial Networks
City University of Hong Kong（香港城市大学）；The Education University of Hong Kong（香港教育大学）
最近，已经提出了几种基于生成对抗网络（GAN）的方法，用于对齐跨域图像或学习跨域图像的联合分布。方法之一是使用条件GAN进行对齐。然而，采用条件GAN的先前尝试不如其他方法执行得好。在这项工作中，我们提出了一种方法，以提高能力的方法，这是基于条件GAN。我们评估了所提出的方法在许多任务和实验结果表明，它是能够成功地对齐跨域图像在没有配对的样本。此外，我们还提出了另一种模型，它的条件下，如域信息和标签信息的多个信息。在域信息和标签信息的条件下，我们能够进行从源域到目标域的标签传播。提出了一种两步交替训练算法来学习该模型。
2017-07-05 cs.CV
On The Utility of Conditional Generation Based Mutual Information for Characterizing Adversarial Subspaces
National Chung Hsing University（国立中兴大学）；IBM Research（IBM研究院）
最近的研究发现，深度学习系统容易受到对抗性示例的影响;例如，视觉上不可识别的对抗图像可以容易地被制作以导致错误分类。神经网络的鲁棒性已经在敌手检测的背景下被广泛研究，敌手检测比较了在自然和敌手示例之间表现出强区分能力的度量。在本文中，我们提出了通过镜头的互信息（MI）的条件生成方法近似的敌对子空间的特征。我们使用MI作为一个信息理论的度量，以加强现有的防御和提高性能的对手检测。在MagNet防御系统上的实验结果表明，该检测器能够有效地提高对强大对抗攻击的鲁棒性.
2018-09-24 cs.CR cs.CV cs.LG
MsCGAN: Multi-scale Conditional Generative Adversarial Networks for Person Image Generation
Anhui University（安徽大学）
合成具有任意姿态的高质量人物图像具有挑战性。本文提出了一种新的多尺度条件生成对抗网络（MsCGAN），旨在将输入的条件人物图像转换为任意给定目标姿态的合成图像，其外观和纹理与输入图像一致。MsCGAN是一个多尺度对抗网络，由两个生成器和两个鉴别器组成。一个生成器将条件人物图像转换为目标姿态的全局粗图像，另一个是通过局部增强网络来增强合成人物图像的细节质量。然后，两个生成器的输出被合并为合成的、判别式的和高分辨率的图像。另一方面，合成图像被下采样到多个分辨率，作为多尺度小波网络的输入。提出的多尺度生成器和鉴别器处理不同层次的视觉特征，可以有利于合成高分辨率的人与现实的外观和纹理的图像。在Market-1501和DeepFashion数据集上进行了实验，定性和定量结果都证明了所提出的MsCGAN的优越性能。
2020-03-05 cs.CV
Bitewing Radiography Semantic Segmentation Base on Conditional Generative Adversarial Nets
目前，咬翼类X光图像的分割是一个非常具有挑战性的任务。研究的重点是将其细分为龋齿，釉质，牙本质，牙髓，牙冠，修复和根管治疗。现阶段对咬翼片图像进行语义分割的主要方法是U型深卷积神经网络，但其准确率较低。为了提高咬翼片图像语义分割的准确性，提出了将条件生成对抗网络（cGAN）与U形网络结构（U-Net）相结合的方法用于咬翼片图像的语义分割。实验结果表明，cGAN结合U-Net的准确率为69.7%，比U形深卷积神经网络的准确率56.4%提高了13.3%。
2018-02-07 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
Task Specific Visual Saliency Prediction with Memory Augmented Conditional Generative Adversarial Networks
Queensland University of Technology（昆士兰科技大学）
视觉显着性模式是除了被解析的图像之外的各种因素的结果，然而现有的方法忽略了这些因素。为了解决这一限制，我们提出了一种新的显着性估计模型，该模型利用了条件生成对抗网络的语义建模能力，以及捕捉受试者的行为模式和任务相关因素的记忆体系结构。我们的贡献旨在弥合现代深度学习架构中自下而上的特征学习能力与传统的自上而下的手工制作的基于任务特定显着性建模的方法之间的差距。所提出的框架的条件性质使我们能够一起学习上下文语义和不同任务之间的关系，而不是为每个任务单独学习它们。我们的研究不仅揭示了生成对抗网络的一个新的应用领域，而且强调了任务特定显着性建模的重要性，并证明了通过增强内存架构完全捕获这种上下文的可行性。
2018-03-09 cs.CV
Creative Portraiture: Exploring Creative Adversarial Networks and Conditional Creative Adversarial Networks
本文研究DCGAN创意生成局限，探索CAN并提出CCAN，利用WikiArt生成新颖肖像，并支持按风格标签条件化生成，以更贴近人类创作过程。
2024-12-10 cs.CV cs.LG
Efficient Active Learning for Image Classification and Segmentation using a Sample Selection and Conditional Generative Adversarial Network
IBM Research Australia（IBM澳大利亚研究院）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；University of Bern（伯尔尼大学）
由于覆盖不同疾病类型和严重程度的图像有限，因此训练用于医学图像分类或分割的鲁棒深度学习（DL）系统具有挑战性。我们提出了一个主动学习（AL）框架，选择最翔实的样本，并添加到训练数据。我们使用条件生成对抗网络（cGAN）通过在真实图像样本上调节其生成来生成具有不同疾病特征的逼真胸部X射线图像。使用贝叶斯神经网络识别要添加到训练集的信息样本。实验表明，我们提出的AL框架能够通过使用约35%的完整数据集来实现最先进的性能，从而比传统方法节省了大量的时间和精力。
2019-10-22 cs.CV
Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network
InnoPeak Technology（英诺赛科科技）；University of South Carolina（南卡罗来纳大学）；Qualcomm AI Research（高通人工智能研究院）
提出了一种新的无身份条件生成对抗网络（IF-GAN）用于人脸表情识别（FER），以显式地减少由身份相关的面部属性（例如，年龄种族和性别作为端到端系统的一部分，cGAN被设计为将给定的输入面部表情图像转换为具有与输入相同表情的“平均”身份面部。然后，无身份FER是可能的，因为生成的图像具有相同的合成“平均”身份，并且仅在其显示的表情上不同。在四个面部表情数据集上的实验表明，IF-GAN优于基线CNN，并实现了FER的最先进性能。
2021-05-20 cs.CV
Bilinear Representation for Language-based Image Editing Using Conditional Generative Adversarial Networks
Alibaba Group（阿里巴巴集团）
基于语义的图像编辑（LBIE）的任务是根据给定的语言描述对源图像进行编辑，生成目标图像。LBIE的主要挑战是将图像和文本中的语义分离，然后将它们结合起来生成逼真的图像。因此，编辑性能在很大程度上取决于学习的表示。在这项工作中，条件生成对抗网络（cGAN）用于LBIE。我们发现cGAN中现有的条件方法缺乏表示能力，因为它们无法学习两个条件向量之间的二阶相关性。为了解决这个问题，我们提出了一个改进的条件层命名为双线性残差层（BRL）学习更强大的表示LBIE任务。定性和定量的比较表明，我们的方法可以生成更高质量的图像相比，以前的LBIE技术。
2019-03-18 cs.CV
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Red blood cell image generation for data augmentation using Conditional Generative Adversarial Networks
Noul Inc.（Noul公司）
在本文中，我们描述了如何将图像到图像的转换技术应用于医学血液涂片数据，以生成新的数据样本，并有意义地增加小数据集。具体而言，给定显微图像的分割掩模，我们能够生成血细胞的照片级真实感图像，这些图像在网络训练期间与真实数据一起进一步用于分割和目标检测任务。这种图像数据生成方法基于条件生成对抗网络，该网络具有高质量图像合成的能力。除了合成血液图像外，我们还合成了分割掩模，这导致了各种各样的生成样本。该技术的有效性进行了彻底的分析和量化，通过大量的实验，手动收集和注释的数据集下采取的显微镜下的血涂片。
2019-03-08 cs.CV
Personality-Driven Gaze Animation with Conditional Generative Adversarial Networks
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
我们提出了一种生成对抗学习方法来合成给定个性的凝视行为。我们使用现有的数据集对模型进行训练，该数据集包括42名参与者执行日常任务的眼动跟踪数据和个性特征。考虑到大五人格特质（开放性、外向性、宜人性和神经质）的值，我们的模型生成了由凝视目标、眨眼时间和瞳孔尺寸组成的时间序列数据。我们使用生成的数据来合成游戏引擎上的虚拟代理的注视运动。
2020-11-11 cs.CV cs.GR
Conditional Adversarial Network for Semantic Segmentation of Brain Tumor
Hasso Plattner Institute for Digital Engineering（哈索·普拉特纳数字工程研究院）
医学图像自动分析在疾病诊断和治疗中具有重要的应用价值。由于脑肿瘤在磁共振图像中的不同表现和形状的差异，使得脑肿瘤的分割具有特殊的重要性和难度。此外，与计算机视觉问题相比，数据集是异构的，并且通常在大小上是有限的。最近提出的对抗性训练在生成图像建模中表现出了很好的效果。在本文中，我们提出了一种新的端到端的可训练架构的脑肿瘤语义分割通过条件对抗训练。我们利用条件生成对抗网络（cGAN）并训练语义分割卷积神经网络（CNN）以及对抗网络，该对抗网络区分来自地面实况或来自BraTS 2017分割任务的分割网络的分割图[15，4，2，3]。我们还提出了一种端到端的可训练CNN，用于基于深度学习技术的生存日预测，用于BraTS 2017预测任务[15，4，2，3]。实验结果表明，所提出的方法对这两个任务的优越能力。该模型对整个肿瘤的DICE评分、灵敏度和特异性分别为0.68、0.99和0.98，实现了在线判断系统。
2017-08-17 cs.CV
Cycle-consistent Generative Adversarial Networks for Neural Style Transfer using data from Chang'E-4
Iris Lunar Rover（虹膜月球车）；Carnegie Mellon（卡内基梅隆大学）
生成对抗网络（GANs）在计算机视觉中有着巨大的应用。然而，在空间科学和行星探索方面，重大进展的大门是敞开的。我们介绍了处理嫦娥四号任务行星数据的工具，并提出了一个使用渲染图像的周期一致性进行神经风格转换的框架。这些实验是在Iris Lunar Rover的背景下进行的，Iris Lunar Rover是一种纳米漫游车，将于2021年部署在月球地形中，作为卡内基梅隆大学的旗舰，是美国第一个登上月球的无人漫游车。
2020-11-23 cs.CV
Thermal Infrared Colorization via Conditional Generative Adversarial Network
Nanjing University of Science and Technology（南京理工大学）
将热红外图像转换为真实感的RGB图像是一项具有挑战性的任务。在本文中，我们提出了一种深度学习方法来弥合这一差距。我们建议使用保留细节的粗到细生成器来学习变换映射。由于标准的均方损失不能很好地惩罚彩色图像和地面实况图像之间的距离，我们提出了一个复合损失函数，结合内容，对抗，感知和总变化损失。内容损失用于恢复全局图像信息，而后三种损失用于合成局部真实感纹理。定量和定性实验表明，我们的方法显着优于现有的方法。
2018-11-05 cs.CV
Aerial Spectral Super-Resolution using Conditional Adversarial Networks
Rochester Institute of Technology（罗切斯特理工学院）
从基于地面的自然图像推断光谱特征在应用深度学习中获得了很多兴趣。与地面光谱图像相比，航空光谱图像空间分辨率低，受噪声干扰大。在本文中，我们训练一个条件对抗网络学习从三色空间到400到700 nm范围内的31个光谱波段的逆映射。该网络是在AeroCampus上训练的，AeroCampus是第一个航空高光谱数据集。AeroCampus由高空间分辨率彩色图像和低空间分辨率高光谱图像（HSI）组成。从31个光谱波段合成的彩色图像被用来训练我们的网络。合成RGB测试数据的基线均方根误差为2.48，我们表明，它是可能的，在航空图像中产生的光谱特征。
2017-12-23 cs.CV
CIAGAN: Conditional Identity Anonymization Generative Adversarial Networks
Technical University Munich（慕尼黑工业大学）；University of Venice（威尼斯大学）
计算机视觉技术在社会中的使用空前增加，与此同时，人们对数据隐私的担忧也在增加。在许多现实世界的场景中，如人员跟踪或动作识别，重要的是能够处理数据，同时仔细考虑保护人员的身份。我们提出并开发了CIAGAN，一种基于条件生成对抗网络的图像和视频匿名化模型。我们的模型能够去除面部和身体的识别特征，同时生成高质量的图像和视频，可用于任何计算机视觉任务，如检测或跟踪。与以前的方法不同，我们可以完全控制去识别（匿名化）过程，确保匿名化和多样性。我们将我们的方法与几个基线进行比较，并获得了最先进的结果。
2020-11-30 cs.CV
Using Conditional Generative Adversarial Networks to Generate Ground-Level Views From Overhead Imagery
University of California, Merced（加州大学默塞德分校）
本文开发了一个深度学习框架，用于在给定头顶图像的情况下合成位置的地面视图。我们提出了一种新的条件生成对抗网络（cGAN），其中训练的生成器使用头顶图像作为辅助信息生成逼真的地面图像。生成器是一个编码器-解码器网络，它允许我们比较低级别和高级别的功能以及它们的级联，以编码开销图像。我们还演示了我们的框架如何通过修改经过训练的cGAN来从头顶图像中提取特征来执行土地覆盖分类。这很有趣，因为尽管我们使用这种修改后的cGAN作为头顶图像的特征提取器，但它包含了从地面看位置的知识。
2019-02-19 cs.CV
Paired 3D Model Generation with Conditional Generative Adversarial Networks
Middle East Technical University（中东技术大学）
生成对抗网络（GANs）被证明在生成包括3D对象模型在内的新的真实样本方面是成功的。条件GAN是GANs的变体，允许在给定条件下生成样本。然而，为每个条件生成的对象是不同的，并且它不允许在不同条件下生成相同的对象。在本文中，我们首先适应条件GAN，这是最初设计的二维图像生成，在不同的旋转生成三维模型的问题。然后，我们提出了一种新的方法来引导网络以不同且可控的旋转角度（样本对）生成相同的3D样本。与以前的研究不同，该方法不需要修改标准的条件GAN架构，它可以集成到任何条件GAN的训练步骤。实验结果和三维模型的视觉比较表明，该方法是成功的，在不同的条件下生成模型对。
2019-03-15 cs.CV
Conditional Generative Adversarial Nets
Université de Montréal（蒙特利尔大学）；Flickr / Yahoo Inc.（Flickr / 雅虎公司）
生成对抗网[8]最近被引入作为训练生成模型的一种新方法。在这项工作中，我们介绍了生成对抗网的条件版本，它可以通过简单地将数据y馈送到生成器和生成器来构建。我们表明，该模型可以产生MNIST数字类标签的条件。我们还说明了如何使用该模型来学习多模态模型，并提供了图像标记应用程序的初步示例，其中我们演示了这种方法如何生成不属于训练标签的描述性标签。
2014-11-06 cs.AI cs.CV cs.LG
Combining Shape Priors with Conditional Adversarial Networks for Improved Scapula Segmentation in MR images
IMT Atlantique（大西洋国立高等矿业电信学院）；LaTIM UMR 1101, Inserm（法国国家健康与医学研究院 1101 联合研究单位（医学影像治疗实验室））
本文提出了一种利用深度学习从磁共振（MR）图像中自动分割肩胛骨的方法。这项工作的目的是将解剖先验纳入条件对抗框架，给定有限数量的异构注释图像。我们的方法鼓励分割模型通过学习的非线性形状表示来遵循底层解剖结构的全局解剖特性，而对抗性贡献通过促进逼真的描绘来细化模型。这些贡献进行了评估的15个儿科肩关节检查的数据集，并比较国家的最先进的架构，包括UNet和最近的衍生物。所取得的重大进展为肌肉骨骼疾病的术前管理带来了新的前景。
2020-01-23 cs.CV eess.IV
LinesToFacePhoto: Face Photo Generation from Lines with Conditional Self-Attention Generative Adversarial Network
University of Science and Technology of China（中国科学技术大学）
在本文中，我们探讨的任务，产生照片般逼真的人脸图像线。基于条件生成对抗网络（cGAN）的先前方法已经显示出当条件图像和输出图像共享良好对齐的结构时，它们能够生成视觉上合理的图像。然而，这些模型无法合成具有一整套明确定义的结构（例如眼睛、鼻子、嘴等）的人脸图像，特别是当条件线图缺少一个或几个部分时。为了解决这个问题，我们提出了一个条件自注意生成对抗网络（CSAGAN）。我们在cGAN中引入了条件性自我注意力机制，以捕获人脸不同区域之间的远程依赖关系。我们还建立了一个多尺度的模型。大规模的重构增强了全局结构的完整性，而小规模的重构则增强了细节，从而增强了生成的人脸图像的真实感。我们通过两个感知用户研究和三个定量指标在CelebA-HD数据集上评估了所提出的模型。实验结果表明，我们的方法生成高质量的面部图像，同时保持面部结构。我们的结果优于国家的最先进的方法在定量和定性。
2019-10-20 cs.CV eess.IV
Single Image Haze Removal Using Conditional Wasserstein Generative Adversarial Networks
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
我们提出了一种方法来恢复一个清晰的图像从模糊影响的图像使用Wasserstein生成对抗网络。由于该问题是病态的，以前的方法需要自然图像或同一场景的多个图像的先验。我们训练一个生成对抗网络，以学习清晰图像的概率分布，该概率分布以使用Wasserstein损失函数的受雾影响的图像为条件，使用梯度惩罚来执行Lipschitz约束。该方法是数据自适应的，端到端的，并且不需要进一步处理或调整参数。我们还结合使用基于纹理的损失度量和L1损失来改善结果，并表明我们的结果优于当前最先进的。
2019-03-01 cs.CV
Automatic Video Colorization using 3D Conditional Generative Adversarial Networks
University of Ioannina（约阿尼纳大学）；Information Technologies Institute, CERTH（CERTH信息技术研究所）
在这项工作中，我们提出了一种自动彩色化的灰度视频的方法。该方法的核心是一个生成对抗网络，该网络以滑动窗口的方式在帧序列上进行训练和测试。网络卷积层和去卷积层是三维的，其中帧高度、宽度和时间作为考虑的维度。每帧的多个色度估计被聚合并与可用的亮度信息组合以重新创建彩色序列。彩色化试验成功地运行在旧的黑白电影的数据集。我们的方法的有用性也验证了数值结果，计算与一个新提出的度量，衡量着色一致性的帧序列。
2019-05-08 cs.CV
SAR-to-EO Image Translation with Multi-Conditional Adversarial Networks
DAF MIT AI Accelerator（美国空军麻省理工学院人工智能加速器）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；MIT（麻省理工学院）
本文探讨了使用多条件对抗网络进行SAR到EO图像翻译。以前的方法只在输入SAR条件下对抗网络。我们表明，将多个互补的方式，如谷歌地图和IR可以进一步提高SAR到EO图像的翻译，特别是在保留人造物体的锐利边缘。我们在包括SEN12MS，DFC2020和SpaceNet6在内的各种数据集上证明了我们的方法的有效性。我们的实验结果表明，与仅在成对SAR和EO数据上训练的模型相比，互补模态提供的额外信息提高了SAR到EO图像翻译的性能。据我们所知，我们的方法是第一个利用多种模式来提高SAR到EO图像转换性能的方法。
2022-07-26 cs.CV eess.IV
End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks
Radboud University, Donders Institute for Brain, Cognition and Behaviour（拉德堡德大学，唐德斯脑、认知与行为研究所）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
近年来，在语义分割方面取得了显著的进展。在这里，我们通过利用这些进步的各自优势来解决这个问题。也就是说，我们将四连通图上的条件随机场表示为端到端可训练的卷积和递归网络，并通过对抗过程对其进行估计。重要的是，我们的模型不仅学习一元势，还学习成对势，同时聚合多尺度上下文并控制高阶不一致性。我们在两个标准的语义人脸分割基准数据集上评估了我们的模型，在这两个数据集上都取得了最先进的结果。
2017-03-09 cs.CV
Auto-painter: Cartoon Image Generation from Sketch by Using Conditional Generative Adversarial Networks
Samsung R&D Institute China Beijing（三星中国研发中心（北京））；Beihang University（北京航空航天大学）
近年来，利用深度神经网络生成真实感图像已成为机器学习和计算机视觉领域的热门话题。通过从大量图像中学习，可以在像素级生成图像。从黑白草图中生成彩色卡通图像不仅是一个有趣的研究课题，而且在数字娱乐领域有着潜在的应用前景。在本文中，我们研究了草图到图像的合成问题，使用条件生成对抗网络（cGAN）。我们提出了自动画家模型，可以自动生成兼容的颜色的草图。新的模型不仅能够用适当的颜色绘制手绘草图，而且还允许用户指示首选颜色。在两个草图数据集上的实验结果表明，该自动绘制器的性能优于现有的图像到图像的方法。
2017-05-07 cs.CV
A Conditional Adversarial Network for Scene Flow Estimation
深度视频中的场景流估计问题因其在机器人领域的潜在应用而受到机器人视觉研究者的关注。传统的场景流方法由于计算量大而难以应用于实际应用。我们提出了一个用于场景流量估计的条件对抗网络SceneFlowGAN。所提出的SceneFlowGAN在两端使用损失函数：生成器和描述符端。该网络是首次尝试使用生成对抗网络来估计场景流，并且能够同时从输入立体图像中估计光流和视差。该方法在一个大型RGB-D基准场景流数据集上进行了实验。
2019-04-25 cs.CV cs.LG cs.RO
Virtual Conditional Generative Adversarial Networks
当在多模态图像数据集上训练时，正常的生成对抗网络（GANs）通常被类条件GANs和集成GANs优于，但条件GANs仅限于标记数据集，集成GANs缺乏效率。我们提出了一种新的GAN变体，称为虚拟条件GAN（vc GAN），它不仅是一个集成GAN与多个生成路径，同时添加几乎为零的网络参数，但也是一个条件GAN，可以在未标记的数据集上训练，没有显式的聚类步骤或目标以外的对手损失。在vcGAN的生成器内部，可学习的“模数转换器（ADC）”模块将输入的多元高斯噪声的切片映射到离散/数字噪声（虚拟标签），选择器根据该离散/数字噪声选择相应的生成路径以产生样本。所有生成路径共享相同的解码器网络，而在每个路径中，解码器网络被馈送有不同的预先计算的放大独热向量和输入的高斯噪声的级联。我们在几个平衡/不平衡图像数据集上进行了大量实验，以证明vcGAN收敛速度更快，并实现了改进的Frechét Inception Distance（FID）。此外，我们还展示了训练副产品，即vcGAN中的ADC学习了每个模式的分类概率，并且每个生成路径生成特定模式的样本，从而实现了类条件采样。代码可从\url{https://github.com/annonnymmouss/vcgan}获得
2019-01-25 cs.CV
Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks
Sensetime Research（商汤科技研究院）；Shenzhen University（深圳大学）；Tsinghua University（清华大学）
我们考虑在低/高分辨率对和下采样过程不可用的更一般情况下的单个图像超分辨率问题。与传统的超分辨率公式不同，低分辨率输入被噪声和模糊进一步降级。这种复杂的设置使得监督学习和精确的核估计是不可能的。为了解决这个问题，我们求助于没有配对数据的无监督学习，受到最近成功的图像到图像翻译应用的启发。以生成对抗网络（GAN）为基本组成部分，我们提出了一个循环中循环的网络结构，以解决这个问题，在三个步骤。首先，噪声和模糊的输入被映射到无噪声的低分辨率空间。然后，使用预先训练的深度模型对中间图像进行上采样。最后，我们以端到端的方式微调这两个模块，以获得高分辨率的输出。在NTIRE 2018数据集上的实验表明，所提出的无监督方法取得了与最先进的监督模型相当的结果。
2018-09-03 cs.CV
CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Télécom Paris（巴黎高等电信学院）；IP Paris（巴黎理工学院）
无监督人员重新识别是在目标数据集上识别在训练期间ID标签不可用的人员的任务。在本文中，我们提出统一无监督人员重新识别的两个趋势：聚类和微调以及对抗性学习。一方面，聚类将训练图像分组为伪ID标签，并使用它们来微调特征提取器。另一方面，受领域自适应的启发，使用对抗学习来匹配来自不同领域的分布。由于目标数据分布在不同的相机视点，我们建议将每个相机建模为一个独立的域，并旨在学习域独立的功能。简单的对抗性学习会产生负迁移，因此我们引入了一个条件向量来减轻这种不良影响。在我们的框架中，视觉样本所属的聚类的质心被用作我们的条件对抗网络的条件向量，其中向量是置换不变的（聚类排序无关紧要），其大小与聚类的数量无关。据我们所知，我们是第一个提出使用条件对抗网络进行无监督人员重新识别的人。我们在两种最先进的基于集群的无监督人员重新识别（re-ID）方法的基础上评估了所提出的架构。在四个不同的实验环境中使用三个不同的数据集，并在所有四个数据集上设置了新的最先进性能。我们的代码和模型将在https://team.inria.fr/perception/canu-reid/上公开。
2020-04-28 cs.CV
Cycle-Consistent Adversarial Networks for Realistic Pervasive Change Generation in Remote Sensing Imagery
Intelligence and Space Research Division（情报与空间研究部）；Descartes Labs, Inc.（笛卡尔实验室公司）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文介绍了一种新的方法，产生现实的普遍变化的背景下，在控制设置的变化检测算法的有效性进行评估。该方法是一种周期一致性对抗网络（CycleGAN），需要少量的训练数据来生成现实的变化。在这里，我们展示了CycleGAN在创建多光谱Sentinel-2图像的真实积雪场景中的应用，并演示了如何将这些图像用作异常变化检测算法的测试平台。
2020-05-15 cs.CV cs.LG eess.IV
DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks
Ukrainian Catholic University（乌克兰天主教大学）；ELEKS Ltd.（ELEKS有限公司）；Visual Recognition Group, Center for Machine Perception, FEE, CTU in Prague（布拉格捷克技术大学（CTU）费尔学院（FEE）机器感知中心视觉识别小组）
我们提出了DeflurGAN，这是一种用于运动去模糊的端到端学习方法。该学习基于条件GAN和内容丢失。DeflurGAN在结构相似性度量和视觉外观方面都达到了最先进的性能。去模糊模型的质量也评估在一个新的方式对现实世界的问题-目标检测（去）模糊图像。该方法比最接近的竞争对手DeepDeflur快5倍。我们还介绍了一种新的方法，用于生成合成运动模糊图像从尖锐的，允许现实的数据集增强。模型、代码和数据集可在https://github.com/KupynOrest/DeblurGAN上获得
2018-04-03 cs.CV
Conditional Adversarial Camera Model Anonymization
University College London（伦敦大学学院）
用于捕获特定摄影图像的相机的模型（模型属性）通常从图像内存在的高频模型特定伪影推断。模型匿名化是转换这些工件的过程，从而改变表观捕获模型。我们提出了一种学习这种转换的条件对抗方法。与以前的工作相比，我们铸造模型匿名化的过程中，转换高和低空间频率信息。我们使用来自预训练的双流模型属性分类器的损失来增强目标，这限制了生成网络来转换所有的工件。定量比较证明了我们的框架在限制性非交互式黑盒设置的有效性。
2020-12-03 cs.CV eess.IV
Occluded object reconstruction for first responders with augmented reality glasses using conditional generative adversarial networks
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
消防员遭受各种危及生命的风险，包括执勤死亡，受伤和暴露于危险物质。支持减少这些风险是重要的。我们建立了一个部分闭塞的对象重建方法的增强现实眼镜的第一反应。我们使用基于条件生成对抗网络的深度学习来训练易燃和危险物体的各种图像与其部分遮挡的对应物之间的关联。然后，我们的系统重建了新易燃物体的图像。最后，将重建图像叠加在输入图像上以提供“透明度”。该系统通过学习易燃物体的形状和火焰特性，模仿人类通过经验学习物理定律。
2018-04-20 cs.CV cs.LG
DE-GAN: A Conditional Generative Adversarial Network for Document Enhancement
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Digital Research Center of Sfax（斯法克斯数字研究中心）；University of Sfax（斯法克斯大学）
文档通常表现出各种形式的退化，这使得难以读取，并大大降低了OCR系统的性能。在本文中，我们提出了一个有效的端到端框架，名为文档增强生成对抗网络（DE-GAN），它使用条件GANs（cGANs）来恢复严重退化的文档图像。据我们所知，这种做法还没有在生成对抗深度网络的背景下进行过研究。我们证明，在不同的任务（文件清理，二值化，去模糊和水印去除），DE-GAN可以产生一个增强版本的退化的文件具有高品质。此外，与广泛使用的DIBCO 2013，DIBCO 2017和H-DIBCO 2018数据集的最先进方法相比，我们的方法提供了一致的改进，证明了其将退化文档图像恢复到理想状态的能力。各种各样的退化所获得的结果揭示了所提出的模型的灵活性，以利用其他文件增强问题。
2020-10-17 cs.CV
Points2Pix: 3D Point-Cloud to Image Translation using conditional Generative Adversarial Networks
Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Ilmenau University of Technology（伊尔默瑙工业大学）
我们提出了第一种基于条件生成对抗网络（cGAN）的三维点云到图像转换方法。该模型处理来自不同领域的多模态信息源，即原始点集和图像。该生成器能够处理三种情况，而点云被编码为原始点集和相机投影。使用图像背景块作为约束来偏置环境纹理。生成器中的全局近似函数直接应用于点云（Point-Net）。因此，代表性学习模型直接在潜在特征空间处并入全局3D特征。使用条件来偏置所生成的图像的背景和视点。这开辟了增强或纹理化3D数据的新方法，旨在生成完全独立的图像。我们在Kitti和SunRGBD数据集上成功地评估了我们的方法，并获得了出色的目标检测初始分数。
2019-09-16 cs.CV
Image-to-Image Translation with Conditional Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们研究条件对抗网络作为图像到图像翻译问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，而且还学习一个损失函数来训练这种映射。这使得有可能对传统上需要非常不同的损失公式的问题适用同样的一般性办法。我们证明，这种方法是有效的标签地图合成照片，从边缘图重建对象，彩色图像，以及其他任务。事实上，自从与本文相关的pix2pix软件发布以来，大量的互联网用户（其中许多是艺术家）已经发布了他们自己对我们系统的实验，进一步证明了它的广泛适用性和易于采用，而无需调整参数。作为一个社区，我们不再手工设计我们的映射函数，这项工作表明，我们可以实现合理的结果，而无需手工设计我们的损失函数。
2018-11-26 cs.CV
Improving Heterogeneous Face Recognition with Conditional Adversarial Networks
彩色图像和深度图像之间的异构人脸识别对于其中形状信息被视为仅涉及图库的现实世界应用是非常期望的能力。在本文中，我们提出了一种跨模态深度学习方法，作为应对这一挑战的有效和高效的解决方案。具体来说，我们首先学习两个卷积神经网络（CNN）来分别提取2D和2.5D人脸特征。一旦经过训练，它们可以作为另一个双向CNN的预训练模型，该模型探索颜色和深度之间的相关部分，以进行异构匹配。与大多数传统的交叉模态方法相比，我们的方法还使用条件生成对抗网络（cGAN）从单色图像进行精确的深度图像重建，并通过融合多模态匹配结果进一步提高识别性能。通过在基准FRGC 2D/3D人脸数据库上的定性和定量实验，我们证明了所提出的流水线在异构人脸识别上的性能优于最先进的性能，并确保了一个非常有效的在线阶段。
2017-09-13 cs.CV
Generative Adversarial Network based on Resnet for Conditional Image Restoration
Kunming University of Institute Technology（昆明大学理工学院）
该GANs促进了一个adversarive游戏，以近似复杂和联合的例子概率。由噪声驱动的网络生成假样本来近似真实的数据分布。随后，条件GAN合并先验条件作为输入，以便将属性向量转换为相应的数据。然而，CGAN并不是设计来处理高维情况，因为间接的学习指导是低效的。在本文中，我们提出了一个网络ResGAN来生成精细图像的极端退化图像。与属性对齐的粗图像被嵌入作为生成器输入和分类器标签。在生成网络中，类似于Resnet的直线路径被相干化，以直接将粗糙图像传输到更高层。对抗训练是循环实现的，以防止生成的图像退化。将ResGAN应用于MNIST、CIFAR 10/100和CELEBA数据集的实验结果表明，该算法比现有的GANs具有更高的精度。
2017-07-16 cs.CV
Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression
Fudan University（复旦大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
面部老化和面部年轻化分析给定的面部照片以预测人的未来外观或估计人的过去外观。为了实现这一点，关键是要保持人类身份和相应的老化进展和回归的高精度。然而，现有的方法不能同时很好地处理这两个目标。我们提出了一种新的基于生成对抗网络的方法，命名为有序回归条件多对抗自动编码器（CMAAE-OR）。它利用年龄估计技术来控制老化的准确性，并采取高层次的特征表示，以保持个性化的身份。具体地，首先通过卷积编码器将面部映射到潜在向量。然后通过去卷积生成器将潜在向量投影到以年龄为条件的面部流形上。特征向量保留了个性化的人脸特征，年龄控制了人脸的衰老和年轻化。在编码器和生成器上施加一个递归和一个有序回归，使得生成的人脸图像更加逼真，同时表现出理想的老化效果。此外，一个高层次的特征表示是用来保持个性化的身份生成的脸。在两个基准数据集上的实验表明，该方法的性能优于现有技术。
2018-04-08 cs.CV
What Is It Like Down There? Generating Dense Ground-Level Views and Image Features From Overhead Imagery Using Conditional Generative Adversarial Networks
University of California, Merced（加州大学默塞德分校）
本文研究了条件生成对抗网络（cGANs），以克服使用地理标记媒体进行地理发现的基本限制，即其稀疏和不均匀的空间分布。我们训练cGAN以生成给定俯视图像的位置的地面视图。我们展示了“假”地面图像是自然的，并且在结构上与真实图像相似。更重要的是，我们显示生成的图像代表了位置，并且cGAN学习的表示是信息丰富的。特别是，我们表明，使用我们的框架生成的密集的特征地图是更有效的土地覆盖分类比空间插值从稀疏的地面图像中提取的特征的方法。据我们所知，我们是第一个使用cGAN生成地面视图的工作，并探索了学习表示的好处。
2018-09-23 cs.CV
Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks
Courant Institute, New York University（纽约大学柯朗研究所）；Facebook AI Research（Facebook人工智能研究院）
本文提出一种基于对抗损失图像修复的半监督学习方法，通过生成器填补随机移除区域并让判别器区分真伪，实现大型VGG网络半监督训练，在STL-10和PASCAL上性能优于或媲美现有方法。
2016-11-19 cs.CV
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.（三星半导体公司）
本文提出了一种新的不使用训练数据训练条件生成对抗网络（CGAN）的方法，称为CGAN的零样本学习（Z-CGAN）。条件生成器的零样本学习只需要预先训练的判别（分类）模型，而不需要任何训练数据。具体地，条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比，通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
Detecting and Diagnosing Adversarial Images with Class-Conditional Capsule Reconstructions
UC San Diego（加州大学圣地亚哥分校）；Google Brain（谷歌大脑）
对抗性的例子提出了关于神经网络模型是否对与人类相同的视觉特征敏感的问题。在本文中，我们首先基于输入的类条件重建来检测对抗性示例或其他损坏的图像。为了专门攻击我们的检测机制，我们提出了重建攻击，旨在造成错误分类和低重建错误。这种重构攻击产生未检测到的对抗性示例，但成功率要小得多。在所有这些攻击中，我们发现CapsNets总是比卷积网络表现得更好。然后，我们对CapsNets的对抗性示例进行了诊断，发现重构攻击的成功与源和目标类之间的视觉相似性高度相关。此外，所产生的扰动可能导致输入图像在视觉上看起来更像目标类，因此变得非对抗性。这表明CapsNet使用的功能更符合人类的感知，并且有可能解决对抗性示例提出的核心问题。
2020-02-18 cs.CR cs.CV cs.LG
Conditional Generative Adversarial Networks for Emoji Synthesis with Word Embedding Manipulation
本文提出一种优化训练的深度卷积GAN，通过整合Google的word2vec词嵌入，生成高度逼真、与真实表情符号几乎相同的合成表情符号。
2017-12-14 cs.CV
