Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
Task Specific Visual Saliency Prediction with Memory Augmented Conditional Generative Adversarial Networks
Queensland University of Technology（昆士兰科技大学）
视觉显着性模式是除了被解析的图像之外的各种因素的结果，然而现有的方法忽略了这些因素。为了解决这一限制，我们提出了一种新的显着性估计模型，该模型利用了条件生成对抗网络的语义建模能力，以及捕捉受试者的行为模式和任务相关因素的记忆体系结构。我们的贡献旨在弥合现代深度学习架构中自下而上的特征学习能力与传统的自上而下的手工制作的基于任务特定显着性建模的方法之间的差距。所提出的框架的条件性质使我们能够一起学习上下文语义和不同任务之间的关系，而不是为每个任务单独学习它们。我们的研究不仅揭示了生成对抗网络的一个新的应用领域，而且强调了任务特定显着性建模的重要性，并证明了通过增强内存架构完全捕获这种上下文的可行性。
2018-03-09 cs.CV
Efficient Active Learning for Image Classification and Segmentation using a Sample Selection and Conditional Generative Adversarial Network
IBM Research Australia（IBM澳大利亚研究院）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；University of Bern（伯尔尼大学）
由于覆盖不同疾病类型和严重程度的图像有限，因此训练用于医学图像分类或分割的鲁棒深度学习（DL）系统具有挑战性。我们提出了一个主动学习（AL）框架，选择最翔实的样本，并添加到训练数据。我们使用条件生成对抗网络（cGAN）通过在真实图像样本上调节其生成来生成具有不同疾病特征的逼真胸部X射线图像。使用贝叶斯神经网络识别要添加到训练集的信息样本。实验表明，我们提出的AL框架能够通过使用约35%的完整数据集来实现最先进的性能，从而比传统方法节省了大量的时间和精力。
2019-10-22 cs.CV
Bilinear Representation for Language-based Image Editing Using Conditional Generative Adversarial Networks
Alibaba Group（阿里巴巴集团）
基于语义的图像编辑（LBIE）的任务是根据给定的语言描述对源图像进行编辑，生成目标图像。LBIE的主要挑战是将图像和文本中的语义分离，然后将它们结合起来生成逼真的图像。因此，编辑性能在很大程度上取决于学习的表示。在这项工作中，条件生成对抗网络（cGAN）用于LBIE。我们发现cGAN中现有的条件方法缺乏表示能力，因为它们无法学习两个条件向量之间的二阶相关性。为了解决这个问题，我们提出了一个改进的条件层命名为双线性残差层（BRL）学习更强大的表示LBIE任务。定性和定量的比较表明，我们的方法可以生成更高质量的图像相比，以前的LBIE技术。
2019-03-18 cs.CV
Red blood cell image generation for data augmentation using Conditional Generative Adversarial Networks
Noul Inc.（Noul公司）
在本文中，我们描述了如何将图像到图像的转换技术应用于医学血液涂片数据，以生成新的数据样本，并有意义地增加小数据集。具体而言，给定显微图像的分割掩模，我们能够生成血细胞的照片级真实感图像，这些图像在网络训练期间与真实数据一起进一步用于分割和目标检测任务。这种图像数据生成方法基于条件生成对抗网络，该网络具有高质量图像合成的能力。除了合成血液图像外，我们还合成了分割掩模，这导致了各种各样的生成样本。该技术的有效性进行了彻底的分析和量化，通过大量的实验，手动收集和注释的数据集下采取的显微镜下的血涂片。
2019-03-08 cs.CV
Thermal Infrared Colorization via Conditional Generative Adversarial Network
Nanjing University of Science and Technology（南京理工大学）
将热红外图像转换为真实感的RGB图像是一项具有挑战性的任务。在本文中，我们提出了一种深度学习方法来弥合这一差距。我们建议使用保留细节的粗到细生成器来学习变换映射。由于标准的均方损失不能很好地惩罚彩色图像和地面实况图像之间的距离，我们提出了一个复合损失函数，结合内容，对抗，感知和总变化损失。内容损失用于恢复全局图像信息，而后三种损失用于合成局部真实感纹理。定量和定性实验表明，我们的方法显着优于现有的方法。
2018-11-05 cs.CV
CIAGAN: Conditional Identity Anonymization Generative Adversarial Networks
Technical University Munich（慕尼黑工业大学）；University of Venice（威尼斯大学）
计算机视觉技术在社会中的使用空前增加，与此同时，人们对数据隐私的担忧也在增加。在许多现实世界的场景中，如人员跟踪或动作识别，重要的是能够处理数据，同时仔细考虑保护人员的身份。我们提出并开发了CIAGAN，一种基于条件生成对抗网络的图像和视频匿名化模型。我们的模型能够去除面部和身体的识别特征，同时生成高质量的图像和视频，可用于任何计算机视觉任务，如检测或跟踪。与以前的方法不同，我们可以完全控制去识别（匿名化）过程，确保匿名化和多样性。我们将我们的方法与几个基线进行比较，并获得了最先进的结果。
2020-11-30 cs.CV
Using Conditional Generative Adversarial Networks to Generate Ground-Level Views From Overhead Imagery
University of California, Merced（加州大学默塞德分校）
本文开发了一个深度学习框架，用于在给定头顶图像的情况下合成位置的地面视图。我们提出了一种新的条件生成对抗网络（cGAN），其中训练的生成器使用头顶图像作为辅助信息生成逼真的地面图像。生成器是一个编码器-解码器网络，它允许我们比较低级别和高级别的功能以及它们的级联，以编码开销图像。我们还演示了我们的框架如何通过修改经过训练的cGAN来从头顶图像中提取特征来执行土地覆盖分类。这很有趣，因为尽管我们使用这种修改后的cGAN作为头顶图像的特征提取器，但它包含了从地面看位置的知识。
2019-02-19 cs.CV
Paired 3D Model Generation with Conditional Generative Adversarial Networks
Middle East Technical University（中东技术大学）
生成对抗网络（GANs）被证明在生成包括3D对象模型在内的新的真实样本方面是成功的。条件GAN是GANs的变体，允许在给定条件下生成样本。然而，为每个条件生成的对象是不同的，并且它不允许在不同条件下生成相同的对象。在本文中，我们首先适应条件GAN，这是最初设计的二维图像生成，在不同的旋转生成三维模型的问题。然后，我们提出了一种新的方法来引导网络以不同且可控的旋转角度（样本对）生成相同的3D样本。与以前的研究不同，该方法不需要修改标准的条件GAN架构，它可以集成到任何条件GAN的训练步骤。实验结果和三维模型的视觉比较表明，该方法是成功的，在不同的条件下生成模型对。
2019-03-15 cs.CV
Single Image Haze Removal Using Conditional Wasserstein Generative Adversarial Networks
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
我们提出了一种方法来恢复一个清晰的图像从模糊影响的图像使用Wasserstein生成对抗网络。由于该问题是病态的，以前的方法需要自然图像或同一场景的多个图像的先验。我们训练一个生成对抗网络，以学习清晰图像的概率分布，该概率分布以使用Wasserstein损失函数的受雾影响的图像为条件，使用梯度惩罚来执行Lipschitz约束。该方法是数据自适应的，端到端的，并且不需要进一步处理或调整参数。我们还结合使用基于纹理的损失度量和L1损失来改善结果，并表明我们的结果优于当前最先进的。
2019-03-01 cs.CV
Automatic Video Colorization using 3D Conditional Generative Adversarial Networks
University of Ioannina（约阿尼纳大学）；Information Technologies Institute, CERTH（CERTH信息技术研究所）
在这项工作中，我们提出了一种自动彩色化的灰度视频的方法。该方法的核心是一个生成对抗网络，该网络以滑动窗口的方式在帧序列上进行训练和测试。网络卷积层和去卷积层是三维的，其中帧高度、宽度和时间作为考虑的维度。每帧的多个色度估计被聚合并与可用的亮度信息组合以重新创建彩色序列。彩色化试验成功地运行在旧的黑白电影的数据集。我们的方法的有用性也验证了数值结果，计算与一个新提出的度量，衡量着色一致性的帧序列。
2019-05-08 cs.CV
Auto-painter: Cartoon Image Generation from Sketch by Using Conditional Generative Adversarial Networks
Samsung R&D Institute China Beijing（三星中国研发中心（北京））；Beihang University（北京航空航天大学）
近年来，利用深度神经网络生成真实感图像已成为机器学习和计算机视觉领域的热门话题。通过从大量图像中学习，可以在像素级生成图像。从黑白草图中生成彩色卡通图像不仅是一个有趣的研究课题，而且在数字娱乐领域有着潜在的应用前景。在本文中，我们研究了草图到图像的合成问题，使用条件生成对抗网络（cGAN）。我们提出了自动画家模型，可以自动生成兼容的颜色的草图。新的模型不仅能够用适当的颜色绘制手绘草图，而且还允许用户指示首选颜色。在两个草图数据集上的实验结果表明，该自动绘制器的性能优于现有的图像到图像的方法。
2017-05-07 cs.CV
Virtual Conditional Generative Adversarial Networks
当在多模态图像数据集上训练时，正常的生成对抗网络（GANs）通常被类条件GANs和集成GANs优于，但条件GANs仅限于标记数据集，集成GANs缺乏效率。我们提出了一种新的GAN变体，称为虚拟条件GAN（vc GAN），它不仅是一个集成GAN与多个生成路径，同时添加几乎为零的网络参数，但也是一个条件GAN，可以在未标记的数据集上训练，没有显式的聚类步骤或目标以外的对手损失。在vcGAN的生成器内部，可学习的“模数转换器（ADC）”模块将输入的多元高斯噪声的切片映射到离散/数字噪声（虚拟标签），选择器根据该离散/数字噪声选择相应的生成路径以产生样本。所有生成路径共享相同的解码器网络，而在每个路径中，解码器网络被馈送有不同的预先计算的放大独热向量和输入的高斯噪声的级联。我们在几个平衡/不平衡图像数据集上进行了大量实验，以证明vcGAN收敛速度更快，并实现了改进的Frechét Inception Distance（FID）。此外，我们还展示了训练副产品，即vcGAN中的ADC学习了每个模式的分类概率，并且每个生成路径生成特定模式的样本，从而实现了类条件采样。代码可从\url{https://github.com/annonnymmouss/vcgan}获得
2019-01-25 cs.CV
DE-GAN: A Conditional Generative Adversarial Network for Document Enhancement
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Digital Research Center of Sfax（斯法克斯数字研究中心）；University of Sfax（斯法克斯大学）
文档通常表现出各种形式的退化，这使得难以读取，并大大降低了OCR系统的性能。在本文中，我们提出了一个有效的端到端框架，名为文档增强生成对抗网络（DE-GAN），它使用条件GANs（cGANs）来恢复严重退化的文档图像。据我们所知，这种做法还没有在生成对抗深度网络的背景下进行过研究。我们证明，在不同的任务（文件清理，二值化，去模糊和水印去除），DE-GAN可以产生一个增强版本的退化的文件具有高品质。此外，与广泛使用的DIBCO 2013，DIBCO 2017和H-DIBCO 2018数据集的最先进方法相比，我们的方法提供了一致的改进，证明了其将退化文档图像恢复到理想状态的能力。各种各样的退化所获得的结果揭示了所提出的模型的灵活性，以利用其他文件增强问题。
2020-10-17 cs.CV
Points2Pix: 3D Point-Cloud to Image Translation using conditional Generative Adversarial Networks
Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Ilmenau University of Technology（伊尔默瑙工业大学）
我们提出了第一种基于条件生成对抗网络（cGAN）的三维点云到图像转换方法。该模型处理来自不同领域的多模态信息源，即原始点集和图像。该生成器能够处理三种情况，而点云被编码为原始点集和相机投影。使用图像背景块作为约束来偏置环境纹理。生成器中的全局近似函数直接应用于点云（Point-Net）。因此，代表性学习模型直接在潜在特征空间处并入全局3D特征。使用条件来偏置所生成的图像的背景和视点。这开辟了增强或纹理化3D数据的新方法，旨在生成完全独立的图像。我们在Kitti和SunRGBD数据集上成功地评估了我们的方法，并获得了出色的目标检测初始分数。
2019-09-16 cs.CV
Image-to-Image Translation with Conditional Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们研究条件对抗网络作为图像到图像翻译问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，而且还学习一个损失函数来训练这种映射。这使得有可能对传统上需要非常不同的损失公式的问题适用同样的一般性办法。我们证明，这种方法是有效的标签地图合成照片，从边缘图重建对象，彩色图像，以及其他任务。事实上，自从与本文相关的pix2pix软件发布以来，大量的互联网用户（其中许多是艺术家）已经发布了他们自己对我们系统的实验，进一步证明了它的广泛适用性和易于采用，而无需调整参数。作为一个社区，我们不再手工设计我们的映射函数，这项工作表明，我们可以实现合理的结果，而无需手工设计我们的损失函数。
2018-11-26 cs.CV
Generative Adversarial Network based on Resnet for Conditional Image Restoration
Kunming University of Institute Technology（昆明大学理工学院）
该GANs促进了一个adversarive游戏，以近似复杂和联合的例子概率。由噪声驱动的网络生成假样本来近似真实的数据分布。随后，条件GAN合并先验条件作为输入，以便将属性向量转换为相应的数据。然而，CGAN并不是设计来处理高维情况，因为间接的学习指导是低效的。在本文中，我们提出了一个网络ResGAN来生成精细图像的极端退化图像。与属性对齐的粗图像被嵌入作为生成器输入和分类器标签。在生成网络中，类似于Resnet的直线路径被相干化，以直接将粗糙图像传输到更高层。对抗训练是循环实现的，以防止生成的图像退化。将ResGAN应用于MNIST、CIFAR 10/100和CELEBA数据集的实验结果表明，该算法比现有的GANs具有更高的精度。
2017-07-16 cs.CV
Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression
Fudan University（复旦大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
面部老化和面部年轻化分析给定的面部照片以预测人的未来外观或估计人的过去外观。为了实现这一点，关键是要保持人类身份和相应的老化进展和回归的高精度。然而，现有的方法不能同时很好地处理这两个目标。我们提出了一种新的基于生成对抗网络的方法，命名为有序回归条件多对抗自动编码器（CMAAE-OR）。它利用年龄估计技术来控制老化的准确性，并采取高层次的特征表示，以保持个性化的身份。具体地，首先通过卷积编码器将面部映射到潜在向量。然后通过去卷积生成器将潜在向量投影到以年龄为条件的面部流形上。特征向量保留了个性化的人脸特征，年龄控制了人脸的衰老和年轻化。在编码器和生成器上施加一个递归和一个有序回归，使得生成的人脸图像更加逼真，同时表现出理想的老化效果。此外，一个高层次的特征表示是用来保持个性化的身份生成的脸。在两个基准数据集上的实验表明，该方法的性能优于现有技术。
2018-04-08 cs.CV
What Is It Like Down There? Generating Dense Ground-Level Views and Image Features From Overhead Imagery Using Conditional Generative Adversarial Networks
University of California, Merced（加州大学默塞德分校）
本文研究了条件生成对抗网络（cGANs），以克服使用地理标记媒体进行地理发现的基本限制，即其稀疏和不均匀的空间分布。我们训练cGAN以生成给定俯视图像的位置的地面视图。我们展示了“假”地面图像是自然的，并且在结构上与真实图像相似。更重要的是，我们显示生成的图像代表了位置，并且cGAN学习的表示是信息丰富的。特别是，我们表明，使用我们的框架生成的密集的特征地图是更有效的土地覆盖分类比空间插值从稀疏的地面图像中提取的特征的方法。据我们所知，我们是第一个使用cGAN生成地面视图的工作，并探索了学习表示的好处。
2018-09-23 cs.CV
Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks
Courant Institute, New York University（纽约大学柯朗研究所）；Facebook AI Research（Facebook人工智能研究院）
本文提出一种基于对抗损失图像修复的半监督学习方法，通过生成器填补随机移除区域并让判别器区分真伪，实现大型VGG网络半监督训练，在STL-10和PASCAL上性能优于或媲美现有方法。
2016-11-19 cs.CV
Conditional Generative Adversarial Networks for Emoji Synthesis with Word Embedding Manipulation
本文提出一种优化训练的深度卷积GAN，通过整合Google的word2vec词嵌入，生成高度逼真、与真实表情符号几乎相同的合成表情符号。
2017-12-14 cs.CV
Sharpness-aware Low dose CT denoising using conditional generative adversarial network
Royal University Hospital（皇家大学医院）
低剂量计算机断层扫描（LDCT）在辐射受限的应用中提供了巨大的益处，但是由光子数量不足导致的量子噪声可能潜在地损害诊断性能。当前基于图像的去噪方法往往会对最终重建结果产生模糊效果，特别是在高噪声水平下。在本文中，提出了一种基于深度学习的方法来缓解这个问题。训练了一个对抗训练网络和一个清晰度检测网络来指导训练过程。在模拟和真实数据集上的实验表明，该方法的结果具有很小的分辨率损失，并且在定量和视觉上都取得了比现有方法更好的性能。
2017-10-19 cs.CV
Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis
Peking University（北京大学）；University of California, Merced（加州大学默塞德分校）；Peng Cheng Laboratory（鹏城实验室）；Google Cloud（谷歌云）
大多数条件生成任务在给定一个条件上下文的情况下期望不同的输出。然而，条件生成对抗网络（cGAN）往往专注于先验条件信息，而忽略了导致输出变化的输入噪声向量。最近尝试解决cGAN的模式坍塌问题通常是特定于任务的，并且计算成本很高。在这项工作中，我们提出了一个简单而有效的正则化项来解决cGAN的模式坍塌问题。所提出的方法显式地最大化生成的图像之间的距离相对于相应的潜在代码的比率，从而鼓励生成器在训练期间探索更多的次要模式。这种寻求模式的正则化项很容易适用于各种条件生成任务，而无需施加训练开销或修改原始网络结构。我们验证了所提出的算法上的三个条件图像合成任务，包括分类生成，图像到图像的翻译，和文本到图像的合成与不同的基线模型。定性和定量的结果表明，所提出的正则化方法的有效性，提高多样性，而不损失质量。
2019-05-04 cs.CV
Dynamic Facial Expression Generation on Hilbert Hypersphere with Conditional Wasserstein Generative Adversarial Nets
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；Faculty of Sciences（理学院）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
在这项工作中，我们提出了一种新的方法来生成视频的六个基本的面部表情给定一个中性的人脸图像。我们建议利用面部几何建模的面部地标运动作为曲线编码的点上的超球体。通过提出一个条件版本的流形值Wasserstein生成对抗网络（GAN）的运动生成的超球面上，我们学习的分布不同类的面部表情动态，我们合成新的面部表情运动。通过使用另一个条件生成对抗网络编辑纹理信息，可以将所得到的运动转换为地标序列，然后转换为图像序列。据我们所知，这是第一个工作，探讨流形值表示与GAN，以解决动态面部表情生成的问题。我们在两个公共数据集上定量和定性地评估了我们提出的方法; Oulu-CASIA和MUG面部表情。我们的实验结果表明，我们的方法在生成具有连续运动，逼真的外观和身份保护的逼真视频的有效性。我们还展示了我们的动态面部表情生成，动态面部表情传输和数据增强训练改进的情感识别模型的框架的效率。
2020-05-28 cs.CV
Retinal Optic Disc Segmentation using Conditional Generative Adversarial Network
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）；Kayakalp Hospital（Kayakalp医院）；Sant Joan de Reus University Hospital（雷乌斯圣胡安大学医院）；Bioinformatics Institute（生物信息学研究所）
提出了一种基于条件生成对抗网络（cGAN）的视网膜图像分割方法，对视盘进行分割。该模型由两个连续的网络组成：发电机和逆变器。生成器学习映射来自观察输入的信息（即，视网膜眼底彩色图像），到输出（即，二进制掩码）。然后，通过比较地面实况和预测输出，以观察输入图像作为条件，将训练器学习为损失函数来训练该映射。在两个公开可用的数据集上进行了实验; DRISHTI GS 1和RIM-ONE。所提出的模型通过分别实现约0.96%和0.98%的Jaccard和Dice系数而优于最先进的方法。此外，在最近的GPU上，图像分割在不到一秒的时间内完成。
2018-06-11 cs.CV
Simultaneously Color-Depth Super-Resolution with Conditional Generative Adversarial Network
Beijing Jiaotong University（北京交通大学）；Simon Fraser University（西蒙弗雷泽大学）；Taiyuan University of Science and Technology（太原科技大学）
近年来，生成对抗网络（GAN）在风格转换、图像间翻译和图像超分辨率等方面得到了广泛的应用。本文提出了一种颜色-深度条件GAN，用于同时解决三维视频中的深度超分辨率和颜色超分辨率问题。首先，针对低分辨率深度图像和低分辨率彩色图像，考虑到同一场景中彩色深度图像的几何结构依赖性，提出了一种生成式网络，利用彩色图像和深度图像的互信息进行增强。其次，引入数据损失、总变差损失和8连通梯度差损失三种损失函数对生成网络进行训练，以保证生成的图像与真实图像的接近，同时避免对抗性损失。实验结果表明，该方法能从低质量的图像对中提取高质量的彩色图像和深度图像，优于其他几种主流方法。此外，我们使用相同的神经网络架构，同时解决图像平滑和边缘检测的问题。
2018-11-28 cs.CV
A conditional Generative Adversarial network model for the Weather4Cast 2024 Challenge
The Centre for inter-disciplinary Artificial Intelligence（跨学科人工智能中心）；FLAME University（火焰大学）；Pune（浦那）
提出融合稠密光流与条件GAN的降雨预测方法，利用SEVIRI红外数据生成4小时累计降雨，并在Weather4Cast 2024核心赛道排名第一。
2024-11-30 cs.CV
DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network
Chinese University of Hong Kong（香港中文大学）
条件生成对抗网络（cGAN）的目标是在给定输入条件和潜在代码的情况下合成不同的图像，但不幸的是，它们通常遭受模式坍塌的问题。为了解决这个问题，以前的工作主要集中在鼓励潜在代码和它们生成的图像之间的相关性，而忽略了从各种潜在代码生成的图像之间的关系。最近的MSGAN试图鼓励生成的图像的多样性，但只考虑图像对之间的“负”关系。在本文中，我们提出了一种新的DivCo框架，以适当地约束潜在空间中指定的生成图像之间的“正”和“负”关系。据我们所知，这是第一次尝试使用对比学习的不同条件的图像合成。引入了一种新的潜在增强对比度损失，它鼓励从相邻的潜在代码生成的图像是相似的，而从不同的潜在代码生成的图像是不相似的。所提出的潜在增强对比度损失与各种cGAN架构兼容良好。大量的实验表明，所提出的DivCo可以产生更多样化的图像比国家的最先进的方法，而不会牺牲视觉质量在多个未配对和配对的图像生成任务。
2021-04-26 cs.CV
Decoupled Learning for Conditional Adversarial Networks
University of Tennessee（田纳西大学）
在图像生成任务中，将编码-解码网与对抗网相结合已被广泛采用。我们观察到，最先进的成就是通过仔细平衡重建损失和对抗损失而获得的，这种平衡随着不同的网络结构，数据集和训练策略而变化。经验研究表明，两种损失之间的权重不适当可能会导致不稳定，并且搜索最佳设置是棘手的，特别是在缺乏数据和网络的先验知识时。本文给出了第一次尝试放松手动平衡的需要，提出了\textit{decoupled learning}的概念，设计了一种新的网络结构，明确解开两个损失的反向传播路径。实验结果证明了该方法的有效性、鲁棒性和通用性。本文的另一个贡献是设计了一个新的评价指标来衡量生成模型的图像质量。我们提出了所谓的\textit{normalized relative discriminative score}（NRDS），它引入了相对比较的思想，而不是像现有的指标提供绝对估计。
2018-01-21 cs.CV
Face Aging With Conditional Generative Adversarial Networks
Orange Labs（Orange实验室）；Eurecom（欧洲通信学院）
最近的研究表明，生成对抗网络（GANs）可以生成具有出色视觉保真度的合成图像。在这项工作中，我们提出了基于GAN的自动人脸老化方法。与以前使用GANs来改变面部属性的作品相反，我们特别强调在他/她的面部的老年版本中保留原始人的身份。为此，我们引入了一种新的方法，用于GAN的潜在向量的“身份保持”优化。通过最先进的人脸识别和年龄估计解决方案对所得到的老化和恢复活力的人脸图像进行客观评价，表明所提出的方法具有很高的潜力。
2017-05-30 cs.CV
MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network
Imperial College London（帝国理工学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出了一种新的半监督环境下的条件生成对抗网络（GANs）自监督学习方法。与先前的自我监督方法不同，这些方法通常涉及图像空间上的几何增强，例如预测旋转角度，我们的借口任务利用了标签空间。我们通过从可用的少数标记示例的标签空间中随机采样敏感标签，并将其作为目标标签分配给来自与标记示例相同的分布的丰富的未标记示例来执行增强。然后将图像翻译并按其目标标签分组为正对和负对，作为我们的借口任务的训练样本，该任务涉及优化搜索者一侧的辅助匹配损失。我们在两个具有挑战性的基准测试中测试了我们的方法，CelebA和RaFD，并使用标准指标评估了结果，包括Fréchet Inception Distance，Inception Score和Attribute Classification Rate。广泛的实证评估表明，我们提出的方法的有效性，竞争力的基线和现有的艺术。特别是，我们的方法超过了基线，只有20%的标记的例子用于训练基线。
2020-10-08 cs.CV
Perceptual Conditional Generative Adversarial Networks for End-to-End Image Colourization
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
到处都是色彩。它们体现了人类视觉感知的重要部分。在本文中，我们探讨了从一个给定的灰度图像的幻觉颜色的范例。着色的问题已经在以前的文献中处理，但大多是在一个监督的方式涉及用户的干扰。随着深度学习方法的出现，由于大型数据集和高性能计算系统的可用性，与计算机视觉和模式识别相关的许多任务已经自动化并以端到端的方式进行。我们调查并建立在最近成功的条件生成对抗网络（cGAN）的图像到图像的翻译。除了在基本cGAN中使用训练方案之外，我们还提出了一种编码器-解码器生成器网络，该网络除了cGAN的原始目标函数之外，还利用了特定于类的交叉熵损失以及感知损失。我们训练我们的模型在一个大规模的数据集，并提出说明性的定性和定量分析我们的结果。我们的结果生动地展示了我们的方法的多功能性和熟练程度，通过生活般的着色结果。
2018-11-27 cs.CV
SeCGAN: Parallel Conditional Generative Adversarial Networks for Face Editing via Semantic Consistency
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；University of Sheffield（谢菲尔德大学）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
近年来，语义引导的条件生成对抗网络（cGAN）已经成为人脸编辑的流行方法。然而，大多数现有的方法引入语义掩码作为生成器的直接条件输入，并且通常需要目标掩码在RGB空间中执行相应的翻译。我们提出了SeCGAN，一种新的标签引导cGAN，用于利用语义信息编辑人脸图像，而无需指定目标语义掩码。在训练过程中，SeCGAN有两个并行运行的生成器和鉴别器分支，其中一个分支经过训练来翻译RGB图像，另一个分支经过训练来翻译语义掩模。为了以一种互利的方式桥接这两个分支，我们引入了一个语义一致性损失，它约束两个分支具有一致的语义输出。虽然在训练过程中需要这两个分支，但RGB分支是我们的主要网络，语义分支不需要用于推理。我们在CelebA和CelebA-HQ上的结果表明，我们的方法能够生成具有更准确属性的面部图像，在目标属性识别率方面优于竞争基线，同时保持质量指标，如自我监督的Fréchet Inception Distance和Inception Score。
2022-06-16 cs.CV
Conditional Generative Adversarial and Convolutional Networks for X-ray Breast Mass Segmentation and Shape Classification
DEIM, Universitat Rovira i Virgili, Spain（西班牙塔拉戈纳大学（DEIM））；Imaging Informatics Division, Bioinformatics Institute, Singapore（新加坡生物信息学研究所成像信息学部门）；Kayakalp Hospital, 110084 New Delhi, India（印度新德里Kayakalp医院）；Hospital Universitari Sant Joan de Reus, Spain（西班牙圣胡安·德雷斯医院）
提出了一种基于条件生成对抗网络（cGAN）的乳腺肿块分割方法。我们假设cGAN结构非常适合于准确地勾勒出质量区域，特别是当训练数据有限时。生成网络学习肿瘤的内在特征，而对抗网络强制分割与地面真相相似。对从公共DDSM数据集和我们的内部私人数据集提取的数十种恶性肿瘤进行的实验证实了我们的假设，具有非常高的Dice系数和Jaccard指数（分别>94%和> 89%），优于其他最先进的方法获得的分数。此外，为了检测和描绘分割肿瘤的重要形态特征，还设计了一种特定的卷积神经网络（CNN），用于将分割的肿瘤区域分类为四种类型（不规则，小叶，椭圆形和圆形），其使用DDSM数据集提供了约72%的总体准确性。
2018-06-10 cs.CV
Towards Recovery of Conditional Vectors from Conditional Generative Adversarial Networks
条件生成对抗网络允许生成以某些外部信息为条件的样本。能够从条件GAN恢复潜在和条件向量在各种应用中可能是有价值的，从用于娱乐目的的图像操纵到用于安全目的的神经网络的诊断。在这项工作中，我们表明，它是可能的，以恢复潜在的和条件向量从生成的图像给定的生成器的条件生成对抗网络。由于深度神经网络通常具有多层非线性，因此这种恢复并非微不足道。此外，这种恢复应用于实际的自然图像的效果进行了研究。我们发现，生成的图像和真实图像的恢复性能之间存在差距，我们认为这是由于生成的数据分布和真实数据分布之间的差异。实验进行了评估恢复的条件向量和重建图像从这些恢复的矢量定量和定性，显示出可喜的成果。
2017-12-06 cs.CV cs.LG
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University（台湾大学）
对抗性样本是故意制作的数据，目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时，我们通常指的是基于扰动的方法，该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观，但DNN模型可能完全无法识别，这反过来又导致了完全误导的预测。然而，在本文中，我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架，从类条件生成对抗网络中生成原生对抗样本。因此，生成的数据不会与任何现有数据相似，从而扩大了样本的多样性，提高了对抗防御的难度。然后，我们将这个框架扩展到预训练的条件GANs，在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验，并取得了令人满意的结果，表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Continuous Conditional Generative Adversarial Networks (cGAN) with Generator Regularization
University of California, Berkeley（加州大学伯克利分校）
已知条件生成对抗网络难以训练，特别是当条件是连续的和高维的时。为了部分缓解这一困难，我们提出了一个简单的发电机正则化项的GAN发电机损失的形式Lipschitz惩罚。因此，当生成器被馈送有连续空间中的相邻条件时，正则化项将利用相邻信息并推动生成器生成对于每个相邻条件具有类似条件分布的样本。我们分析了所提出的正则化项的效果，并在一系列合成和现实世界的任务上证明了其鲁棒性能。
2021-03-27 cs.CV cs.LG
Creative Portraiture: Exploring Creative Adversarial Networks and Conditional Creative Adversarial Networks
本文研究DCGAN创意生成局限，探索CAN并提出CCAN，利用WikiArt生成新颖肖像，并支持按风格标签条件化生成，以更贴近人类创作过程。
2024-12-10 cs.CV cs.LG
Personality-Driven Gaze Animation with Conditional Generative Adversarial Networks
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
我们提出了一种生成对抗学习方法来合成给定个性的凝视行为。我们使用现有的数据集对模型进行训练，该数据集包括42名参与者执行日常任务的眼动跟踪数据和个性特征。考虑到大五人格特质（开放性、外向性、宜人性和神经质）的值，我们的模型生成了由凝视目标、眨眼时间和瞳孔尺寸组成的时间序列数据。我们使用生成的数据来合成游戏引擎上的虚拟代理的注视运动。
2020-11-11 cs.CV cs.GR
LinesToFacePhoto: Face Photo Generation from Lines with Conditional Self-Attention Generative Adversarial Network
University of Science and Technology of China（中国科学技术大学）
在本文中，我们探讨的任务，产生照片般逼真的人脸图像线。基于条件生成对抗网络（cGAN）的先前方法已经显示出当条件图像和输出图像共享良好对齐的结构时，它们能够生成视觉上合理的图像。然而，这些模型无法合成具有一整套明确定义的结构（例如眼睛、鼻子、嘴等）的人脸图像，特别是当条件线图缺少一个或几个部分时。为了解决这个问题，我们提出了一个条件自注意生成对抗网络（CSAGAN）。我们在cGAN中引入了条件性自我注意力机制，以捕获人脸不同区域之间的远程依赖关系。我们还建立了一个多尺度的模型。大规模的重构增强了全局结构的完整性，而小规模的重构则增强了细节，从而增强了生成的人脸图像的真实感。我们通过两个感知用户研究和三个定量指标在CelebA-HD数据集上评估了所提出的模型。实验结果表明，我们的方法生成高质量的面部图像，同时保持面部结构。我们的结果优于国家的最先进的方法在定量和定性。
2019-10-20 cs.CV eess.IV
Occluded object reconstruction for first responders with augmented reality glasses using conditional generative adversarial networks
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
消防员遭受各种危及生命的风险，包括执勤死亡，受伤和暴露于危险物质。支持减少这些风险是重要的。我们建立了一个部分闭塞的对象重建方法的增强现实眼镜的第一反应。我们使用基于条件生成对抗网络的深度学习来训练易燃和危险物体的各种图像与其部分遮挡的对应物之间的关联。然后，我们的系统重建了新易燃物体的图像。最后，将重建图像叠加在输入图像上以提供“透明度”。该系统通过学习易燃物体的形状和火焰特性，模仿人类通过经验学习物理定律。
2018-04-20 cs.CV cs.LG
Text to Image Synthesis using Stacked Conditional Variational Autoencoders and Conditional Generative Adversarial Networks
Institute of Digital Technologies, Loughborough University（拉夫堡大学数字技术研究所）
从文本描述合成真实感图像是计算机视觉的一个主要挑战。当前的文本到图像合成方法不能产生表示文本描述符的高分辨率图像。大多数现有的研究依赖于生成对抗网络（GANs）或变分自动编码器（VAE）。GANs有能力产生更清晰的图像，但缺乏输出的多样性，而VAE擅长产生各种各样的输出，但生成的图像往往是模糊的。考虑到GANs和VAE的相对优势，我们提出了一种新的堆叠条件VAE（CVAE）和条件GAN（CGAN）网络架构，用于合成以文本描述为条件的图像。本研究使用条件VAE作为初始生成器来生成文本描述符的高级草图。第一阶段的高级草图输出和文本描述符用作条件GAN网络的输入。第二级GAN产生256 × 256高分辨率图像。所提出的架构受益于条件增强和条件GAN网络上的残差块来实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出的方法的结果与StackGAN等最先进的技术进行了比较。实验结果表明，该方法在文本描述的条件下生成高分辨率图像，并在使用两个数据集的Inception和Frechet Inception Score的基础上产生有竞争力的结果
2022-08-15 cs.CV eess.IV
Painting on Placement: Forecasting Routing Congestion using Conditional Generative Adversarial Nets
Cornell University（康奈尔大学）
对于大型设计，物理设计过程通常需要花费数小时到数天的时间，而布线被认为是最关键的步骤。对精确路由质量预测的需求提高到一个新的水平，以加速先进技术节点的硬件创新。这项工作提出了一种方法，预测密度的所有路由通道在整个平面图，功能收集到放置，使用条件GANs。具体地说，预测路由拥塞被构造为一个图像翻译（着色）问题。所提出的方法被应用到a）最小拥塞的布局探索，b）受约束的布局探索和c）在增量布局过程中实时预测拥塞，使用八个设计针对一个固定的FPGA架构。
2019-04-15 cs.CV cs.LG
Generation of Artificial CT Images using Patch-based Conditional Generative Adversarial Networks
J.J. Strossmayer University of Osijek（奥西耶克J.J.斯特罗斯迈尔大学）
深度学习在减轻各种临床程序的诊断和预后方面具有巨大的潜力。然而，缺乏足够数量的医学图像是使用深度学习进行基于图像的分析的最常见障碍。由于标注的稀缺性，半监督技术在自动医学分析中的应用越来越受到重视。人工数据增强和生成技术，如生成对抗网络（GANs），可能有助于克服这一障碍。在这项工作中，我们提出了一种图像生成方法，该方法使用具有条件约束的生成对抗网络，其中分割掩码用作图像生成的条件。我们验证了GAN增强医学图像生成在整个心脏计算机断层扫描（CT）图像及其七个子结构上的可行性，即：左心室，右心室，左心房，右心房，心肌，肺动脉和主动脉。所获得的结果表明，所提出的对抗方法的准确生成高质量的CT图像的适用性。该方法显示出巨大的潜力，以促进人工医学图像生成领域的进一步研究。
2022-05-19 cs.CV eess.IV
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.（三星半导体公司）
本文提出了一种新的不使用训练数据训练条件生成对抗网络（CGAN）的方法，称为CGAN的零样本学习（Z-CGAN）。条件生成器的零样本学习只需要预先训练的判别（分类）模型，而不需要任何训练数据。具体地，条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比，通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
A Conditional Adversarial Network for Scene Flow Estimation
深度视频中的场景流估计问题因其在机器人领域的潜在应用而受到机器人视觉研究者的关注。传统的场景流方法由于计算量大而难以应用于实际应用。我们提出了一个用于场景流量估计的条件对抗网络SceneFlowGAN。所提出的SceneFlowGAN在两端使用损失函数：生成器和描述符端。该网络是首次尝试使用生成对抗网络来估计场景流，并且能够同时从输入立体图像中估计光流和视差。该方法在一个大型RGB-D基准场景流数据集上进行了实验。
2019-04-25 cs.CV cs.LG cs.RO
Conditional Progressive Generative Adversarial Network for satellite image generation
CERN（欧洲核子研究组织）；United Nations Satellite Centre (UNOSAT)（联合国卫星中心）
由于机器学习算法能够真实地替换丢失的像素，图像生成和图像完成是快速发展的领域。然而，生成具有大量细节的大的高分辨率图像提出了重要的计算挑战。在这项工作中，我们制定的图像生成任务完成的三个角之一是失踪的图像。然后，我们扩展了这种方法，以迭代方式构建具有相同细节水平的更大图像。我们的目标是获得一个可扩展的方法来生成高分辨率的样本通常在卫星图像数据集。我们引入了一个条件渐进生成对抗网络（GAN），它使用Wasserstein自动编码器在潜在向量中编码的三个初始相邻瓦片作为输入，生成图像中丢失的瓦片。我们专注于一组图像使用的联合国卫星中心（联合国组织卫星）的训练洪水探测工具，并验证合成图像的质量在现实的设置。
2022-11-28 cs.CV cs.LG
Text to Image Synthesis Using Generative Adversarial Networks
University of Manchester（曼彻斯特大学）
从自然语言生成图像是近年来条件生成模型的主要应用之一。除了测试我们对有条件的高维分布建模的能力外，文本到图像合成还有许多令人兴奋的实际应用，例如照片编辑或计算机辅助内容创建。最近的进展是使用生成对抗网络（GANs）。本材料首先对这些主题进行了温和的介绍，并讨论了现有的最先进的模型。此外，我提出了Wasserstein GAN-CLS，一种基于Wasserstein距离的条件图像生成新模型，它提供了稳定性的保证。然后，我展示了Wasserstein GAN-CLS的新损失函数如何用于条件渐进生长GAN。结合提出的损失，该模型将仅使用高级视觉语义的模型的最佳初始得分（在加州理工学院鸟类数据集上）提高了7.07%。唯一一个比条件Wasserstein渐进增长GAN表现更好的模型是最近提出的Attn GAN，它也使用单词级视觉语义。
2018-05-02 cs.CL cs.CV
Face Generation from Textual Features using Conditionally Trained Inputs to Generative Adversarial Networks
Vishwakarma Institute of Technology（毗湿瓦卡玛理工学院）
近年来，生成网络在图像复原和重建中被证明是非常有效的。从文本描述中生成人脸就是这样一种应用，其中可以使用生成算法的力量。生成人脸的任务对于许多应用都很有用，例如寻找失踪人员、识别罪犯等。本文讨论了一种在给出有关面部特征的文本描述的情况下生成人脸的新方法。我们利用最先进的自然语言处理模型的能力将人脸描述转换为可学习的潜在向量，然后将其馈送到生成对抗网络，生成与这些特征对应的人脸。虽然本文只关注面部的高级描述，但同样的方法可以根据细粒度的文本特征来生成任何图像。
2023-01-22 cs.AI cs.CV
Multimodal 3D Brain Tumor Segmentation with Adversarial Training and Conditional Random Field
Centre for Medical Engineering and Technology, University of Dundee（邓迪大学医学工程与技术中心）
本文提出3D-vGAN模型，通过Pseudo-3D改进V-net并结合条件随机场与原始图像引导，在BraTS-2018数据集上实现优于U-net等经典模型的高精度脑肿瘤分割。
2024-11-21 cs.CV eess.IV
Identifying Table Structure in Documents using Conditional Generative Adversarial Networks
Swiss Re（瑞士再保险公司）；Quartet Health（四方健康公司）；OTO Systems（OTO系统公司）
在许多行业以及学术研究中，信息主要以非结构化文档的形式传输（例如本文）。分层相关的数据被呈现为表格，从这些文档中的表格中提取信息是一个重大的挑战。许多现有的方法采用自下而上的方法，首先将线条集成到单元格中，然后将单元格集成到行或列中，最后从所得的2-D布局中推断出结构。但是这种方法忽略了与表结构相关的可用先验信息，即表仅仅是潜在逻辑结构的任意表示。我们提出了一个自上而下的方法，首先使用一个有条件的生成对抗网络映射到一个标准化的“骨架”表的形式表示近似的行和列的边界没有表的内容，然后派生潜在的表结构使用xy切割投影和遗传算法优化。该方法很容易适应不同的表配置，并需要小的数据集大小的训练。
2020-01-13 cs.CV cs.NE
FMD-cGAN: Fast Motion Deblurring using Conditional Generative Adversarial Networks
IIT Gandhinagar（印度理工学院甘地讷格尔分校）；LNMIIT Jaipur（LNM信息技术学院斋浦尔）
在本文中，我们提出了一个快速运动去模糊条件生成对抗网络（FMD-cGAN），有助于在一个单一的图像盲运动去模糊。FMD-cGAN在去模糊图像后提供了令人印象深刻的结构相似性和视觉外观。与其他深度神经网络架构一样，GANs也存在模型大小（参数）和计算量大的问题。在资源受限的设备（如移动设备和机器人）上部署模型并不容易。在基于MobileNet的架构的帮助下，该架构由依赖可分离卷积组成，我们减少了模型的大小和推理时间，而不会损失图像的质量。更具体地说，与最接近的竞争对手相比，我们将模型尺寸缩小了3 - 60倍。由此产生的压缩去模糊cGAN比其最接近的竞争对手更快，甚至定性和定量结果都优于最近提出的各种最先进的盲运动去模糊模型。我们还可以将我们的模型用于实时图像去模糊任务。在标准数据集上的实验表明了该方法的有效性。
2021-12-09 cs.CV eess.IV
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
条件生成对抗网络（cGAN）被设计为基于所提供的条件\eg、类级分布来生成图像。然而，现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想，采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积，其中后者被设计为引入类特定信息，同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线，使得搜索成本不会随着类的数量而增长。为了学习采样策略，将马尔可夫决策过程嵌入到搜索算法中，并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外，我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
