VITON-GAN: Virtual Try-on Image Generator Trained with Adversarial Loss
The University of Tokyo（东京大学）；The International Research Center for Neurointelligence（国际神经智能研究中心）
从店内服装图像和模特的快照生成虚拟试穿图像是一项具有挑战性的任务，因为人体和服装在其形状上具有高度灵活性。在本文中，我们开发了一个虚拟试穿生成对抗网络（VITON-GAN），生成虚拟试穿图像使用的图像在商店的衣服和一个模型的人。当模型人物的图像中存在遮挡（例如，双臂交叉在衣服前面），方法是在训练管道中添加对抗机制。
2019-11-12 cs.CV
SDA-GAN: Unsupervised Image Translation Using Spectral Domain Attention-Guided Generative Adversarial Network
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
这项工作介绍了一种新的GAN架构，用于人脸风格转换任务的无监督图像翻译。一个基于光谱注意力的机制被嵌入到设计中，同时对图像内容进行空间关注。我们证明了神经网络具有在相当大的计算成本内学习复杂变换（如傅立叶变换）的潜力。与仅使用空间注意力的基线模型相比，该模型进行了训练和测试。我们的方法的性能改善是显着的，特别是当源和目标域包括不同的复杂度（减少FID从142.84到49.18）。在平移过程中，由于FFT和频谱注意的实现，引入了频谱填充效应。本文还研究了另一种风格转换任务和真实世界物体翻译。
2021-10-06 cs.CV
TIME: Text and Image Mutual-Translation Adversarial Networks
Rutgers University（罗格斯大学）
针对文本到图像（T2 I）生成，我们提出了文本和图像相互翻译对抗网络（TIME），这是一种轻量级但有效的模型，它在生成对抗网络框架下联合学习T2 I生成器G和图像描述CNOD。虽然以前的方法将T2 I问题作为单向任务处理，并使用预训练的语言模型来执行图像-文本一致性，但TIME既不需要额外的模块，也不需要预训练。我们表明，G的性能可以大大提高，通过训练它与D作为一个语言模型。具体来说，我们采用Transformers来建模图像特征和词嵌入之间的跨模态连接，并设计了一个退火条件铰链损失，动态平衡对抗学习。在我们的实验中，TIME在CUB和MS-COCO数据集上实现了最先进的（SOTA）性能（CUB上的Inception Score为4.91，Fréchet Inception Distance为14.3），并在MS-COCO上显示了图像描述和下游视觉语言任务的良好性能。
2020-12-22 cs.CV
Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks
Northwestern Polytechnical University（西北工业大学）；School of Artificial Intelligence, Optics and Electronics (iOPEN)（人工智能、光学与电子学院（iOPEN））；School of Computer Science（计算机科学学院）
本文提出了一个新的任务，即天气翻译，它是指将图像的天气条件从一个类别转换到另一个类别。这对摄影风格的转换很重要。虽然在传统的图像翻译任务中已经提出了许多方法，但由于天气条件具有丰富的类别和高度复杂的语义结构，因此很少有方法能够处理多类别天气翻译任务。针对这一问题，本文提出了一种基于生成对抗网络（GAN）的多领域天气翻译方法（Weather GAN），实现了晴、云、雾、雨、雪天气条件的转换。具体地说，图像中的天气状况是由各种天气线索决定的，例如云、蓝天、潮湿的地面等。因此，天气翻译必须将主要注意力集中在天气线索上。为此，天气GAN的生成器由初始翻译模块、注意模块和天气线索分割模块组成。初始翻译模块在生成过程中执行全局翻译。天气线索分割模块识别天气线索的结构和确切分布。注意力模块学习专注于图像的有趣区域，同时保持其他区域不变。最终生成的结果由这三部分综合而成。这种方法抑制了由天气转换引起的失真和变形。大量的实验和评估已经表明我们的方法优于现有技术。
2021-03-09 cs.CV
Reciprocal Translation between SAR and Optical Remote Sensing Images with Cascaded-Residual Adversarial Networks
Fudan University（复旦大学）
尽管合成孔径雷达（SAR）具有全天候、全天时高分辨率成像的优势，但由于人类视觉对微波散射现象的不适应，SAR图像很少被普通人看到和使用。然而，可以通过并排比较SAR和光学图像来训练专家口译员，以学习从SAR到光学的映射规则。本文试图开发机器智能，可训练与大体积共配准SAR和光学图像的SAR图像转换为光学版本的辅助SAR图像判读。互易SAR光学图像转换是一项具有挑战性的任务，因为它是两种物理上非常不同的传感模式之间的原始数据转换。本文提出了一种新的互惠对抗网络方案，级联剩余连接和混合L1-GAN损失。它是训练和测试的星载GF-3和机载UAVSAR图像。给出了不同分辨率和极化的数据集的结果，并与其他最先进的方法进行了比较。FID用于定量评估翻译性能。本文还探讨了利用非成对SAR图像和光学图像进行无监督学习的可能性。结果表明，建议的翻译网络工作在许多情况下，它可能会被用于辅助SAR解释。
2019-10-09 cs.CV
Points2Pix: 3D Point-Cloud to Image Translation using conditional Generative Adversarial Networks
Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Ilmenau University of Technology（伊尔默瑙工业大学）
我们提出了第一种基于条件生成对抗网络（cGAN）的三维点云到图像转换方法。该模型处理来自不同领域的多模态信息源，即原始点集和图像。该生成器能够处理三种情况，而点云被编码为原始点集和相机投影。使用图像背景块作为约束来偏置环境纹理。生成器中的全局近似函数直接应用于点云（Point-Net）。因此，代表性学习模型直接在潜在特征空间处并入全局3D特征。使用条件来偏置所生成的图像的背景和视点。这开辟了增强或纹理化3D数据的新方法，旨在生成完全独立的图像。我们在Kitti和SunRGBD数据集上成功地评估了我们的方法，并获得了出色的目标检测初始分数。
2019-09-16 cs.CV
Image-to-Image Translation with Conditional Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们研究条件对抗网络作为图像到图像翻译问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，而且还学习一个损失函数来训练这种映射。这使得有可能对传统上需要非常不同的损失公式的问题适用同样的一般性办法。我们证明，这种方法是有效的标签地图合成照片，从边缘图重建对象，彩色图像，以及其他任务。事实上，自从与本文相关的pix2pix软件发布以来，大量的互联网用户（其中许多是艺术家）已经发布了他们自己对我们系统的实验，进一步证明了它的广泛适用性和易于采用，而无需调整参数。作为一个社区，我们不再手工设计我们的映射函数，这项工作表明，我们可以实现合理的结果，而无需手工设计我们的损失函数。
2018-11-26 cs.CV
Semi-Supervised Image-to-Image Translation
D. J. Sanghvi College of Engineering（D.J.桑格维工程学院）
图像间的平移是计算机视觉中一个由来已久的难题。在本文中，我们提出了一个基于对抗的图像到图像翻译模型。常规的基于深度神经网络的方法通过比较gram矩阵和使用需要人工干预的图像分割来执行图像到图像的转换任务。我们的基于生成对抗网络的模型基于条件概率方法。这种方法使得图像翻译独立于任何局部、全局和内容或风格特征。在我们的方法中，我们使用了一个双向重建模型，附加了仿射变换因子，与其他模型相比，它有助于保存内容和照片真实感。使用这种方法的优点是图像到图像的转换是半监督的，独立于图像分割，并继承了生成对抗网络倾向于产生逼真效果的特性。该方法已被证明比多模态无监督图像到图像翻译产生更好的结果。
2019-01-24 cs.CV
DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks (with Supplementary Materials)
Microsoft Research（微软研究院）
无监督图像翻译的目标是翻译两组独立的图像，在没有配对数据的情况下发现正确的对应关系是具有挑战性的。现有的作品建立在生成对抗网络（GAN）上，使得翻译图像的分布与目标集的分布无法区分。然而，这样的集合级约束不能学习实例级对应关系（例如，对象配置任务中对齐的语义部分）。这种限制经常导致误报（例如几何或语义伪影），并且进一步导致模式坍塌问题。为了解决上述问题，我们提出了一种新的框架，用于深度注意力GAN（DA-GAN）的实例级图像翻译。这种设计使DA-GAN能够将两组样本的翻译任务分解为高度结构化的潜在空间中的翻译实例。具体来说，我们共同学习一个深度注意编码器，因此可以通过关注学习的实例对来发现实例级对应关系。因此，可以在集合级和实例级上利用约束。通过与现有几种方法的比较，证明了该方法的优越性，以及在姿态变形、数据增强等方面的广泛应用能力。推动域转换问题的边缘。
2018-02-18 cs.CV
GANILLA: Generative Adversarial Networks for Image to Illustration Translation
Hacettepe University（哈杰泰佩大学）；Middle East Technical University（中东技术大学）
在本文中，我们探讨了儿童书籍插图作为一个新的领域，不成对的图像到图像的翻译。我们发现，虽然目前最先进的图像到图像的翻译模型成功地转移的风格或内容，他们不能同时转移。我们提出了一个新的生成器网络来解决这个问题，并表明由此产生的网络在风格和内容之间取得了更好的平衡。对于不成对的图像到图像的翻译，没有明确定义或商定的评估指标。到目前为止，图像翻译模型的成功是基于对有限数量的图像进行主观的、定性的视觉比较。为了解决这个问题，我们提出了一个新的框架，图像到插图模型的定量评估，其中内容和风格都考虑到使用单独的分类器。在这个新的评估框架中，我们提出的模型在插图数据集上的表现优于当前最先进的模型。我们的代码和预训练模型可以在https://github.com/giddyyupp/ganilla上找到。
2020-02-14 cs.CV
ZstGAN: An Adversarial Approach for Unsupervised Zero-Shot Image-to-Image Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
图像到图像的翻译模型在不同领域之间的图像传输方面表现出了显著的能力。现有的大多数工作都遵循源域和目标域在训练和推理阶段保持相同的设置，这不能推广到将图像从一个看不见的域转换到另一个看不见的域的场景。在这项工作中，我们提出了无监督Zero-Shot图像到图像翻译（UZSIT）问题，其目的是学习一个模型，该模型可以从训练过程中未观察到的图像域中翻译样本。因此，我们提出了一个名为ZstGAN的框架：通过引入对抗性训练方案，ZstGAN学习使用在视觉和属性模态上语义一致的特定于领域的特征分布来对每个领域进行建模。然后，域不变的功能解开与共享的编码器的图像生成。我们在CUB和FLO数据集上进行了大量的实验，实验结果证明了该方法在UZSIT任务上的有效性。此外，ZstGAN在CUB和FLO上显示出比最先进的零样本学习方法显著的准确性改进。
2021-07-20 cs.CV
Continuous Conditional Generative Adversarial Networks (cGAN) with Generator Regularization
University of California, Berkeley（加州大学伯克利分校）
已知条件生成对抗网络难以训练，特别是当条件是连续的和高维的时。为了部分缓解这一困难，我们提出了一个简单的发电机正则化项的GAN发电机损失的形式Lipschitz惩罚。因此，当生成器被馈送有连续空间中的相邻条件时，正则化项将利用相邻信息并推动生成器生成对于每个相邻条件具有类似条件分布的样本。我们分析了所提出的正则化项的效果，并在一系列合成和现实世界的任务上证明了其鲁棒性能。
2021-03-27 cs.CV cs.LG
CIT-GAN: Cyclic Image Translation Generative Adversarial Network With Application in Iris Presentation Attack Detection
Michigan State University（密歇根州立大学）
在这项工作中，我们提出了一种新的循环图像翻译生成对抗网络（CIT-GAN）的多域风格转移。为了实现这一点，我们引入了一个样式网络，它能够学习训练数据集中表示的每个域的样式特征。造型网络帮助生成器驱动图像从源域到参考域的转换，并生成具有参考域风格特征的合成图像。每个领域的学习风格特征取决于风格损失和领域分类损失。这导致了每个领域内风格特征的变化。建议的CIT-GAN用于虹膜呈现攻击检测（PAD）的背景下，生成合成呈现攻击（PA）样本的类，在训练集中代表不足。使用当前最先进的虹膜PAD方法的评估证明了使用这种合成生成的PA样本用于训练PAD方法的功效。此外，使用Frechet起始距离（FID）得分来评估合成生成的样本的质量。实验结果表明，该方法生成的合成图像质量优于其他竞争方法，包括StarGan。
2020-12-04 cs.CV
StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation
Korea University（高丽大学）；The College of New Jersey（新泽西学院）；Hong Kong University of Science & Technology（香港科技大学）
最近的研究表明，在两个领域的图像到图像的翻译显着的成功。然而，现有的方法具有有限的可扩展性和鲁棒性，在处理两个以上的域，因为不同的模型应该建立独立的每对图像域。为了解决这一限制，我们提出了StarGAN，这是一种新颖且可扩展的方法，可以仅使用单个模型为多个域执行图像到图像的翻译。StarGAN的这种统一模型架构允许在单个网络中同时训练具有不同域的多个数据集。这使得StarGAN的翻译图像质量优于现有的模型，以及灵活地将输入图像翻译到任何所需目标域的新能力。我们实证证明了我们的方法的有效性上的面部属性转移和面部表情合成任务。
2018-09-21 cs.CV
MEGAN: Mixture of Experts of Generative Adversarial Networks for Multimodal Image Generation
Korea University（高丽大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
最近，生成对抗网络（GANs）在生成逼真图像方面表现出了良好的性能。然而，它们通常难以在给定数据集中学习复杂的底层模式，导致生成的图像质量差。为了解决这个问题，我们提出了一种名为混合专家模型GAN（MEGAN）的新方法，这是一种多生成器网络的集成方法。MEGAN中的每个生成器网络专门用于生成具有特定模态子集的图像，例如，形象课我们提出的模型不是包含一个单独的手工聚类多个模态的步骤，而是通过门控网络对多个生成器进行端到端学习来训练的，门控网络负责为给定条件选择合适的生成器网络。我们采用分类的重新参数化技巧，在选择生成器的同时保持梯度的流动。我们证明了单个生成器学习数据的不同和突出的子部分，并在CIFAR-10中实现了CelebA的多尺度结构相似性（MS-SSIM）得分为0.2470，并且具有竞争力的无监督初始得分为8.33。
2018-05-08 cs.CV
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University（台湾大学）
对抗性样本是故意制作的数据，目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时，我们通常指的是基于扰动的方法，该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观，但DNN模型可能完全无法识别，这反过来又导致了完全误导的预测。然而，在本文中，我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架，从类条件生成对抗网络中生成原生对抗样本。因此，生成的数据不会与任何现有数据相似，从而扩大了样本的多样性，提高了对抗防御的难度。然后，我们将这个框架扩展到预训练的条件GANs，在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验，并取得了令人满意的结果，表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Style-Restricted GAN: Multi-Modal Translation with Style Restriction Using Generative Adversarial Networks
Sophia University（上智大学）
使用生成对抗网络（GAN）的不成对图像到图像翻译在多个域之间转换图像是成功的。此外，最近的研究显示了一种使发电机输出多样化的方法。但是，由于生成器对结果的多样化没有限制，因此可能会转换一些意想不到的功能。在本文中，我们提出了风格限制的GAN（SRGAN），以证明控制的编码特征在风格多样化的过程中的重要性。更具体地说，代替KL发散损失，我们采用三种新的损失来限制编码特征的分布：批量KL发散损失，相关性损失和直方图模仿损失。此外，编码器在用于翻译过程之前使用分类任务进行预训练。该研究报告了精确度，召回率，密度和覆盖率的定量和定性结果。所提出的三个损失导致的增强的多样性水平相比，传统的KL损失。特别是，SRGAN被发现是成功的翻译具有更高的多样性，而不改变CelebA人脸数据集中的类无关的功能。总之，通过两个实验证明了编码特征被良好调节的重要性。我们的实现可以在www.example.com上获得。
2021-07-14 cs.CV
SoloGAN: Multi-domain Multimodal Unpaired Image-to-Image Translation via a Single Generative Adversarial Network
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology（南方科技大学可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）；School of Electrical and Electronic Engineering, Huazhong University of Science and Technology（华中科技大学电气与电子工程学院）；Huazhong University of Science and Technology（华中科技大学）
尽管使用生成对抗网络（GANs）在图像到图像（I2I）转换方面取得了重大进展，但使用单对生成器和GANs将图像有效地转换为多个目标域中的一组不同图像仍然具有挑战性。现有的I2I翻译方法针对不同的域采用多个域特定内容编码器，其中每个域特定内容编码器仅用来自相同域的图像来训练。然而，我们认为，内容（域不变性）的功能应该从所有的域之间的图像学习。因此，现有方案的每个特定于域的内容编码器不能有效地提取域不变特征。为了解决这个问题，我们提出了一个灵活和通用的SoloGAN模型，用于在具有不成对数据的多个域之间进行高效的多模式I2I翻译。与现有方法相比，SoloGAN算法使用具有附加辅助分类器的单个投影向量机，并为所有域共享编码器和生成器。因此，可以用来自所有域的图像有效地训练SoloGAN，使得可以有效地提取域不变性内容表示。针对SoloGAN的几个对应物和变体的广泛数据集的定性和定量结果证明了该方法的优点，特别是对于具有挑战性的I2I翻译数据集，即，数据集涉及极端的形状变化或需要在翻译后保持复杂的背景不变。此外，我们通过消融研究证明了SoloGAN中每个组件的贡献。
2022-06-28 cs.CV
Guided Image-to-Image Translation by Discriminator-Generator Communication
University of New South Wales（新南威尔士大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；Macquarie University（麦考瑞大学）；University of Technology Sydney（悉尼科技大学）
图像到图像（I2 I）翻译的目标是将图像从源域转换到目标域，近年来受到越来越多的关注。本研究的一个主要分支是基于生成对抗网络（GAN）的I2 I翻译。作为一个零和博弈，GAN可以被重新表述为发电机的部分观测马尔可夫决策过程（POMDP），其中发电机不能访问其环境的全部状态信息。该公式说明了GAN训练中的信息不足。为了缓解这个问题，我们建议在鉴别器和发生器之间添加一个通信通道。我们探索了多种架构设计，将通信机制集成到I2 I翻译框架中。为了验证所提出的方法的性能，我们已经进行了广泛的实验在各种基准数据集。实验结果证实了我们所提出的方法的优越性。
2023-03-07 cs.CV eess.IV
Generative Adversarial Network with Multi-Branch Discriminator for Cross-Species Image-to-Image Translation
当前的方法在图像到图像的翻译任务上取得了很大的进展，这得益于图像合成方法的成功，特别是生成对抗网络（GANs）。然而，现有的方法仅限于处理两个物种之间的翻译任务，同时保持语义层面上的内容匹配。一个更具挑战性的任务是在两个以上物种之间进行翻译。为了探索这一新领域，我们提出了一种简单而有效的多分支结构，用于增强任意生成对抗架构（GAN），称为GAN-MBD。该算法利用Boosting策略将一个通用的神经网络分解为多个参数较少的小神经网络，有效地提高了GANs的生成和综合能力。综合实验表明，提出的多分支神经网络可以显着提高流行的GANs的跨物种图像到图像翻译任务的性能，同时减少了计算参数的数量。随函附上有关守则及部分数据，作为补充资料，以供参考。
2019-01-24 cs.CV cs.LG
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London（帝国理工学院）；Indian Institute of Technology（印度理工学院）
自动将图像从其原始形式转换为某种合成形式（样式，部分内容等）非常有用，同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题，并提出了一种基于深度卷积和条件生成对抗网络（GANs）的通用方法来实现它，自2014年以来，该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中，我们开发了一种两步（无监督）学习方法，通过使用未标记的图像在不同的域之间转换图像，而不指定它们之间的任何对应关系，从而避免了获取标记数据的成本。与以往的工作相比，我们证明了我们的模型的通用性，通过这种能力，翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder
KAIST（韩国科学技术院）；Asan Medical Center（峨山医学中心）
我们提出了非平衡GANs，它使用变分自编码器（VAE）预训练生成对抗网络（GAN）的生成器。我们保证稳定的训练的发生器，防止更快的收敛速度在早期时期。此外，我们在早期阶段在生成器和训练器之间进行平衡，从而保持GANs的稳定训练。我们将不平衡的GANs应用于众所周知的公共数据集，发现不平衡的GANs减少了模式坍塌。我们还表明，不平衡的GANs在稳定的学习，更快的收敛和更好的图像质量方面优于普通的GANs。
2020-02-06 cs.CV cs.LG stat.ML
One-Shot Image-to-Image Translation via Part-Global Learning with a Multi-adversarial Framework
Ocean University of China（中国海洋大学）；University of Electronic Science and Technology of China（电子科技大学）
众所周知，人类可以从几个有限的图像样本中有效地学习和识别对象。然而，仅从少数图像中学习对于现有主流深度神经网络来说仍然是一个巨大的挑战。受人类思维中类比推理的启发，一种可行的策略是将丰富的源域中的丰富图像翻译为丰富相关但不同的目标域，而图像数据不足。为了实现这一目标，我们提出了一种新的，有效的多对抗框架（MA）的基础上部分全局学习，它完成了一次性跨域图像到图像的翻译。具体而言，我们首先设计了一个部分全局对抗训练方案，为特征提取提供了一种有效的方法，并防止鉴别器被过度拟合。然后，采用多对抗机制来增强图像到图像的翻译能力，以挖掘高层次的语义表示。提出了一种平衡对抗损失函数，以平衡训练数据，稳定训练过程。大量的实验表明，该方法可以在两个极端不平衡的图像域之间的各种数据集上获得令人印象深刻的结果，并且在单次图像到图像的翻译上优于最先进的方法。
2019-05-12 cs.CV cs.LG
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.（Preferred Networks 公司）
在本文中，我们提出了一个生成模型，时间生成对抗网络（TGAN），它可以学习未标记视频的语义表示，并能够生成视频。与现有的基于生成对抗网络（GAN）的方法不同，这些方法使用由3D去卷积层组成的单个生成器生成视频，我们的模型利用了两种不同类型的生成器：时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量，每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题，我们采用了最近提出的Wasserstein GAN模型，并提出了一种新的方法，以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization
Arizona State University（亚利桑那州立大学）；Mila – Quebec Artificial Intelligence Institute（魁北克人工智能研究所（Mila））；Mayo Clinic（梅奥诊所）
生成式对抗网络（GANs）带来了图像到图像翻译的革命。GANs的发展和扩散提出了一个有趣的问题：我们能否训练一个GAN从图像中删除一个对象（如果存在），同时保留图像？具体来说，GAN是否可以通过将健康状况未知（患病或健康）的医学图像转换为健康图像，从而通过减去这两个图像来显示患病区域，从而“虚拟治愈”任何人？这样的任务需要GAN识别用于域平移的目标像素的最小子集，我们称之为定点平移的能力，GAN还没有配备。因此，我们提出了一种新的GAN，称为固定点GAN，通过以下方式进行训练：（1）通过有条件的身份丢失来监督同域翻译，以及（2）通过修订的对抗性，域分类和循环一致性丢失来正则化跨域翻译。基于固定点翻译，我们进一步推导出一个新的框架，疾病检测和定位，仅使用图像级注释。定性和定量的评价表明，该方法优于最先进的多域图像到图像的翻译，它超越了主要的弱监督定位方法在疾病检测和定位。可在https://github.com/jlianglab/Fixed-Point-GAN上获得实现。
2019-08-29 cs.CV eess.IV
Unsupervised Medical Image Translation with Adversarial Diffusion Models
Bilkent University（比尔肯特大学）；Amasya University（阿马西亚大学）；ASELSAN Research Center（ASELSAN研究中心）
针对GAN在医学图像转换中样本保真度受限的问题，提出基于对抗扩散模型的SynDiff方法，利用条件扩散过程与循环一致架构实现快速准确的未配对多模态图像转换，性能优于现有基线。
2023-03-31 cs.CV eess.IV
Paired and Unpaired Image to Image Translation using Generative Adversarial Networks
UC San Diego（圣迭戈大学）
本研究利用条件GAN和循环一致性损失分别处理成对与不成对图像翻译，并通过多种损失函数、Patch-GAN尺寸及架构进行实验，采用精确率、召回率和FID等指标评估，兼顾定量与定性分析。
2025-05-22 cs.CV eess.IV
AT-GAN: An Adversarial Generator Model for Non-constrained Adversarial Examples
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
尽管对抗机器学习发展迅速，但大多数对抗攻击和防御研究主要集中在受输入图像约束的基于扰动的对抗样本上。与现有的作品相比，我们提出了无约束的对抗示例，这些示例完全从头开始生成，对输入没有任何约束。与基于扰动的攻击或所谓的无限制对抗攻击不同，该攻击仍然受到输入噪声的约束，我们的目标是学习对抗示例的分布，以生成无约束但语义上有意义的对抗示例。遵循这一精神，我们提出了一个新的攻击框架，称为AT-GAN（生成对抗网络上的对抗转移）。具体来说，我们首先开发一个正常的GAN模型来学习良性数据的分布，然后转移预训练的GAN模型来估计目标模型的对抗性样本的分布。通过这种方式，AT-GAN可以学习非常接近真实数据分布的对抗性示例的分布。据我们所知，这是构建对抗生成器模型的第一项工作，该模型可以直接从任何输入噪声中生成对抗示例。大量的实验和可视化结果表明，所提出的AT-GAN可以非常有效地生成对人类感知更真实的各种对抗性示例。此外，AT-GAN在白盒攻击设置下对对抗训练模型产生更高的攻击成功率，并对黑盒模型表现出适度的可移植性。
2020-02-07 cs.CR cs.CV cs.LG
Revealing Microscopic Objects in Fluorescence Live Imaging by Video-to-video Translation Based on A Spatial-temporal Generative Adversarial Network
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）；School of Life Sciences（生命科学学院）
针对荧光显微镜因标记有限而难以同时观察多种微观物体的问题，提出基于时空生成对抗网络（STGAN）的视频到视频转换方法，模拟物体发育过程以揭示时空关系，实验证明其能有效缓解光谱冲突，实现多物体同时可视化。
2025-02-22 cs.CV eess.IV
TarGAN: Target-Aware Generative Adversarial Networks for Multi-modality Medical Image Translation
South China University of Technology（华南理工大学）；Rochester Institute of Technology（罗切斯特理工学院）
与单一模态医学图像相比，成对的多模态医学图像可以提供互补信息，帮助医生做出更合理的决策。但是由于实践中的多种因素（例如，时间、成本、辐射剂量）。为了解决这些问题，多模态医学图像翻译近年来引起了越来越多的研究兴趣。然而，现有的工作主要集中在整个图像的平移效果，而不是关键目标区域或感兴趣区域（ROI），例如，这导致了局部目标区域的质量差的翻译，变得模糊、变形甚至具有额外的不合理的纹理。在本文中，我们提出了一种称为TargAN的新型目标感知生成对抗网络，这是一种通用的多模态医学图像翻译模型，能够（1）在不依赖配对数据的情况下学习多模态医学图像翻译，（2）在目标区域标签的帮助下提高目标区域生成的质量。Targan的生成器同时在两个级别上联合学习映射-整个图像平移映射和目标区域平移映射。这两个映射是相互关联的，通过一个建议的交叉损失。定量测量和定性评估的实验表明，TargAN在所有情况下都优于最先进的方法。随后的分割任务进行，以证明在现实世界的应用程序中的TargAN生成的合成图像的有效性。我们的代码可在https://github.com/2165998/TarGAN上获得。
2021-05-19 cs.CV eess.IV
Text-to-Image-to-Text Translation using Cycle Consistent Adversarial Networks
University of Toronto（多伦多大学）
文本到图像的翻译一直是一个活跃的研究领域在最近的过去。网络学习句子的含义并生成描述句子的准确图像的能力显示了模型更像人类思考的能力。流行的文本到图像翻译方法利用生成对抗网络（GANs）基于文本输入生成高质量图像，但生成的图像并不总是反映作为输入的模型的句子的含义。我们通过使用字幕网络对生成的图像进行字幕来解决这个问题，并利用地面实况字幕和生成的字幕之间的距离来进一步改进网络。我们展示了我们的方法和现有方法之间的广泛比较。
2018-08-14 cs.CL cs.CV cs.LG
Galaxy Image Translation with Semi-supervised Noise-reconstructed Generative Adversarial Networks
Aix Marseille Univ., CNRS/IN2P3, CPPM（艾克斯-马赛大学、法国国家科学研究中心/国家核物理与粒子物理研究所、马赛粒子物理中心）
使用深度学习神经网络进行图像到图像的转换，特别是使用生成对抗网络（GANs），是模拟天文图像最强大的方法之一。然而，目前的工作仅限于利用成对的图像与监督翻译，并已很少讨论重建噪声背景编码的仪器和观测效果。这些局限性可能对天体物理学的后续科学应用有害。因此，我们的目标是开发方法，使用不成对的图像和保留图像翻译中的噪声特性。在这项工作中，我们提出了一种使用GANs的双向图像翻译模型，该模型以半监督的方式利用配对和未配对的图像，并引入了一个噪声仿真模块，该模块能够学习和重建以高频特征为特征的噪声。通过对斯隆数字巡天（SDSS）和加拿大法国夏威夷望远镜遗产调查（CFHT）的多波段星系图像进行实验，我们表明，我们的方法有效地恢复了全局和局部属性，并优于基准图像转换模型。据我们所知，这项工作是首次尝试将半监督方法和噪声重建技术应用于天体物理研究。
2021-01-19 astro-ph.IM cs.CV eess.IV
VHS to HDTV Video Translation using Multi-task Adversarial Learning
Shenzhen University（深圳大学）；Guangdong Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与社会机器人研究所）
有大量有价值的视频档案在视频家庭系统（VHS）格式。然而，由于模拟性质，它们的质量往往很差。与高清晰度电视（HDTV）相比，VHS视频不仅颜色暗淡，而且分辨率较低，经常出现模糊。在本文中，我们专注于将VHS视频转换为HDTV视频的问题，并开发了一种基于新的无监督多任务对抗学习模型的解决方案。受生成对抗网络（GAN）和CycleGAN的成功启发，我们将循环一致性损失、对抗性损失和感知损失结合起来学习翻译模型。我们的工作的一个重要创新是将超分辨率模型和颜色迁移模型结合起来，可以解决无监督的多任务问题。据我们所知，这是第一个致力于研究VHS和HDTV之间关系的工作，也是第一个将VHS转换为HDTV的计算解决方案。我们给出了实验结果来定性和定量地证明我们的解决方案的有效性。
2021-01-07 cs.CV eess.IV
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University（首尔大学）
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络（GAN）成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型，它揭示了具有多个生成器的图像的复杂结构，其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如，它可以在人脸数据集上训练后，使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的，没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性，通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
UU-Nets Connecting Discriminator and Generator for Image to Image Translation
National University of Singapore（新加坡国立大学）
对抗生成模型在图像合成中得到了成功的应用。但由于CPU的稳定性远远低于Generator，而且两个模块之间的博弈难以控制，使得性能变差且不稳定。WGAN、Relativistic GAN及其后继者通过增加或限制损失函数来解决这个问题，这些方法确实有助于平衡最小-最大博弈，但它们都集中在损失函数上，忽略了内在结构的限制。我们提出了一个UU-Net的架构，UU-Net由两个类似于U-Net的模块组成，分别作为生成器和解码器。由于U网中的模块是对称的，因此它很容易在所有四个组件之间共享权重。由于UU网的模块一致性和对称性，不仅可以将内部生成器的编码器的特征传递到内部生成器的解码器，还可以传递到外部生成器的编码器和解码器。通过这种设计，它给了我们更多的控制和条件的灵活性，干预之间的发电机和稳压器的过程。
2019-04-04 cs.CV eess.IV
Accelerating Diffusion for SAR-to-Optical Image Translation via Adversarial Consistency Distillation
Fudan University（复旦大学）
针对扩散模型SAR到光学图像翻译延迟高的问题，提出融合一致性蒸馏与对抗学习的训练框架，在SEN12和GF3上保持视觉质量并实现131倍加速。
2024-07-08 cs.CV eess.IV
Scale-free and Task-agnostic Attack: Generating Photo-realistic Adversarial Patterns with Patch Quilting Generator
University of California, Irvine（加利福尼亚大学欧文分校）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）；University of Cambridge（剑桥大学）
提出无尺度补丁拼接生成对抗网络（PQ-GAN），能生成适用于任意尺度图像和多种视觉任务的对抗模式，在 ImageNet 和 CityScapes 上优于九种先进攻击方法。
2022-11-19 cs.CV eess.IV
Deceiving Image-to-Image Translation Networks for Autonomous Driving with Adversarial Perturbations
KAIST（韩国科学技术院）
深度神经网络（DNN）在处理计算机视觉问题方面取得了令人印象深刻的性能，然而，人们发现DNN容易受到对抗性示例的影响。由于这个原因，对抗扰动最近已经在几个方面进行了研究。然而，大多数以前的作品都集中在图像分类任务，它从来没有被研究关于对抗扰动图像到图像（Im 2 Im）的翻译任务，在处理配对和/或不成对的映射问题在自动驾驶和机器人领域的巨大成功。本文研究了不同类型的对抗性扰动，这些扰动可以欺骗Im 2 Im框架以实现自动驾驶目的。我们提出了准物理和数字对抗扰动，可以使Im 2 Im模型产生意想不到的结果。然后，我们实证分析这些扰动，并表明，他们推广以及下配对的图像合成和风格转移的不成对的设置。我们还验证了存在一些扰动阈值，超过这些阈值，Im 2 Im映射被中断或不可能。这些扰动的存在揭示了Im 2 Im模型中存在的关键弱点。最后，我们证明了我们的方法说明了扰动如何影响输出质量，开创了当前SOTA网络用于自动驾驶的鲁棒性的改进。
2020-01-06 cs.CV cs.RO eess.IV
Versatile Auxiliary Regressor with Generative Adversarial network (VAR+GAN)
National University of Ireland Galway（爱尔兰国立大学戈尔韦）
能够生成约束样本是深度生成器最吸引人的应用之一。条件生成器是这种模型的成功实现之一，其中创建的样本被约束到特定的类。在这项工作中，这些网络的应用扩展到回归问题，其中的条件生成器被限制到任何连续的数据方面。一个新的损失函数的回归网络，也提供了任何特定的一组地标生成人脸的实现。
2018-05-28 cs.CV eess.IV
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
人工智能中最有趣的挑战之一是训练条件生成器，这些条件生成器能够提供从特定分布中提取的标记对抗样本。在这项工作中，提出了一种新的框架，通过将分类器与鉴别器并行放置来训练深度条件生成器，并通过生成器网络反向传播分类误差。该方法是通用的，适用于生成对抗网络（GAN）实现的任何变化，并且与类似方法相比也给出了优越的结果。
2018-06-18 cs.CV cs.LG eess.IV
Attack as the Best Defense: Nullifying Image-to-image Translation GANs via Limit-aware Adversarial Attack
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
随着高质量图像到图像（Img 2 Img）翻译GANs的成功创建，DeepFake和DeepNude的非道德应用也随之而来。这种对img 2 img技术的滥用给社会带来了一个具有挑战性的问题。在这项工作中，我们通过引入极限感知自引导梯度滑动攻击（LaS-GSA）来解决这个问题。LaS-GSA遵循无效攻击，在黑盒设置下取消img 2 img翻译过程。换句话说，通过在发布之前使用所提出的LaS-GSA处理输入图像，可以使任何目标img 2 img GANs无效，从而防止模型恶意操纵图像。为了提高效率，我们引入了极限感知随机无梯度估计和梯度滑动机制来估计遵循对抗极限的梯度，即，对抗性示例的像素值限制。理论论证验证了上述技术如何防止在方向和步长上的对抗限制所导致的低效率。此外，一个有效的自引导先验提取单独从威胁模型和目标图像，以有效地利用先验信息，并指导梯度估计过程。大量的实验表明，LaS-GSA需要更少的查询，以更高的成功率比4个国家的最先进的黑盒方法无效的图像翻译过程。
2021-10-06 cs.CR cs.CV cs.LG
MISS GAN: A Multi-IlluStrator Style Generative Adversarial Network for image to illustration translation
Tel Aviv University（特拉维夫大学）
在计算机视觉中，仅使用一个经过训练的生成器来支持不同输入风格的无监督风格转换是一项具有挑战性和有趣的任务。本文提出了一种多插图风格生成对抗网络（MISS GAN），这是一个多风格的框架，用于无监督的图像到插图的翻译，它可以生成风格化但内容保留的图像。插图数据集是一个具有挑战性的数据集，因为它由七种不同插图的插图组成，因此包含不同的风格。现有的方法需要训练多个生成器（如插图的数量）来处理不同的插图风格，这限制了它们的实际使用，或者需要训练图像特定的网络，这忽略了插图的其他图像中提供的风格信息。MISS GAN是特定于输入图像的，并且仅使用一个训练模型来使用其他图像的信息。
2021-08-12 cs.CV cs.LG eess.IV
AV-GAN: Attention-Based Varifocal Generative Adversarial Network for Uneven Medical Image Translation
SIGS of Tsinghua University（清华大学深圳国际研究生院）；Department of Automation of Tsinghua University（清华大学自动化系）
针对医学病理图像不同区域转换难度不均等问题，提出基于注意力的变焦距生成对抗网络AV-GAN，通过关键区域选择和多分辨率转换提升性能，在两项虚拟肾脏染色任务中FID值优于现有方法。
2024-04-16 cs.CV eess.IV
StawGAN: Structural-Aware Generative Adversarial Networks for Infrared Image Translation
Sapienza University of Rome（罗马第一大学）；Leonardo Labs（莱昂纳多实验室）
本文提出StawGAN模型，通过结构感知机制将夜间热红外图像转换为白天彩色图像，在DroneVeichlet数据集上生成形状更优、高分辨率的物体，转换精度优于现有先进模型。
2023-05-18 cs.CV cs.LG eess.IV
Triple Generative Adversarial Nets
Tsinghua University（清华大学）
生成对抗网络（GANs）在图像生成和半监督学习（SSL）中显示出了希望。然而，SSL中现有的GANs存在两个问题：（1）生成器和分类器（即分类器）可能不会同时是最优的;（2）生成器无法控制生成样本的语义。这些问题本质上是由两个玩家的公式产生的，其中一个单一的神经网络共享识别假样本和预测标签的不兼容的角色，它只估计数据而不考虑标签。为了解决这些问题，我们提出了三重生成对抗网络（Triple-GAN），它由三个参与者组成-生成器，分类器和分类器。生成器和分类器描述图像和标签之间的条件分布，而分类器只专注于识别虚假的图像标签对。我们设计兼容的实用程序，以确保分布特征的分类器和发电机都收敛到数据分布。我们在各种数据集上的结果表明，Triple-GAN作为一个统一的模型可以同时（1）在深度生成模型中实现最先进的分类结果，（2）通过在潜在空间类条件下插值，在数据空间中解开输入的类和样式并平滑地传输。
2017-11-05 cs.CV cs.LG
Multi-Modality Image Inpainting using Generative Adversarial Networks
Ontario Tech University（安大略理工大学）
在过去的几年里，深度学习技术，特别是生成对抗网络（GANs），显著改善了图像修复和图像到图像的翻译任务。据我们所知，将图像修复任务与多模态图像到图像翻译相结合的问题仍然完好无损。在本文中，我们提出了一个模型来解决这个问题。该模型将结合夜间到日常的图像翻译和修复进行评估，以及有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
条件生成对抗网络（cGAN）被设计为基于所提供的条件\eg、类级分布来生成图像。然而，现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想，采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积，其中后者被设计为引入类特定信息，同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线，使得搜索成本不会随着类的数量而增长。为了学习采样策略，将马尔可夫决策过程嵌入到搜索算法中，并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外，我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
Unpaired Image Enhancement with Quality-Attention Generative Adversarial Network
City University of Hong Kong（香港城市大学）；Meituan-Dianping Group（美团点评集团）
在这项工作中，我们的目标是学习一个不成对的图像增强模型，它可以丰富低质量的图像与用户提供的高质量图像的特点。我们提出了一个质量注意力生成对抗网络（QAGAN）的基础上训练的非配对数据的双向生成对抗网络（GAN）嵌入了一个质量注意力模块（QAM）。所提出的QAGAN的关键新颖性在于为生成器注入QAM，使得它直接从两个域学习域相关的质量注意力。更具体地说，建议的QAM允许生成器有效地选择语义相关的特征，从空间方面和自适应地结合风格相关的属性，从通道方面，分别。因此，在我们提出的QAGAN中，不仅鉴别器，而且生成器可以直接访问这两个域，这大大方便了生成器学习映射函数。大量的实验结果表明，与基于非配对学习的最先进的方法相比，我们提出的方法在客观和主观评价方面都取得了更好的性能。
2020-12-30 cs.CV eess.IV
Improving Generative Adversarial Networks with Self-Distillation
Poznan University of Technology（波兹南技术大学）
本文提出自蒸馏GAN（SD-GAN），利用指数移动平均生成器作为教师模型，通过感知损失指导训练生成器，提升图像质量并稳定优化轨迹。
2026-05-09 cs.CV cs.LG
Crossing-Domain Generative Adversarial Networks for Unsupervised Multi-Domain Image-to-Image Translation
Stony Brook University（石溪大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
生成对抗网络（GANs）中的最新技术在使用配对图像数据从对等域X到域Y的图像到图像转换方面取得了显着的成功。然而，在大多数应用中，获得丰富的配对数据是一个不平凡且昂贵的过程。当需要跨n个域平移图像时，如果在每两个域之间执行训练，则训练的复杂度将二次增加。此外，一次只使用来自两个领域的数据进行训练，无法从其他领域的数据中受益，这阻碍了提取更多有用的特征，阻碍了该研究领域的进展。在这项工作中，我们提出了一个跨多个域的无监督图像到图像翻译的一般框架，它可以将图像从域X翻译到任何一个域，而不需要在图像翻译中涉及的两个域之间进行直接训练。该框架的副产品是减少计算时间和计算资源，因为它需要的时间比在最先进的作品中成对训练域更少。我们提出的框架由一对编码器和一对GANs组成，GANs学习不同领域的高级特征，以生成多样化和真实的样本。与最先进的技术相比，我们的框架在许多图像到图像的任务上显示了竞争结果。
2020-08-27 cs.CV eess.IV
Adversarial Pulmonary Pathology Translation for Pairwise Chest X-ray Data Augmentation
Monash University（莫纳什大学）；IBM Research（IBM研究院）
最近的工作表明，生成对抗网络（GANs）可以成功地应用于肺部疾病识别的胸部X射线数据增强。然而，不太完美的发生器生成的不可信和扭曲的病理特征可能导致错误的临床决策。为什么不保留原来的病理区域？我们提出了一种新的方法，使我们的生成模型生成高质量的合理的图像，包含不失真的病理领域。其主要思想是设计一种基于图像到图像转换网络的训练方案，以在病理学基础区域周围引入新的肺部特征的变化。此外，我们的模型能够利用注释的疾病图像和未注释的健康肺部图像来生成。我们证明了我们的模型在两个任务上的有效性：（i）我们邀请经过认证的放射科医生评估生成的合成图像对真实和其他最先进的生成模型的质量，以及（ii）数据增强，以提高疾病定位的性能。
2020-01-22 cs.CV eess.IV
Progressive Energy-Based Cooperative Learning for Multi-Domain Image-to-Image Translation
University of California, Los Angeles（加州大学洛杉矶分校）；Eastern Institute for Advanced Study, Ningbo, China（宁波东方理工高等研究院）；Akool Research（Akool研究院）
本文提出一种基于能量的多域图像转换协作学习框架，通过多域MCMC教学联合训练描述器与多样化生成器，实现一对多风格化生成。
2024-01-15 cs.AI cs.CV
Distilling portable Generative Adversarial Networks for Image Translation
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Consumer Business Group（华为消费者业务集团）；National Engineering Laboratory for Video Technology, Peking University（北京大学视频技术国家工程实验室）；Peng Cheng Laboratory（鹏城实验室）；The University of Sydney（悉尼大学）
尽管生成对抗网络（GANs）已被广泛用于各种图像到图像的翻译任务，但由于其计算和存储成本高，它们很难应用于移动设备。传统的网络压缩方法主要针对视觉识别任务，而没有处理生成任务。受知识蒸馏的启发，通过继承原重教师生成器的低级和高级信息，训练出一个参数较少的学生生成器。为了提高学生生成器的能力，我们包括一个学生测量器来测量真实图像之间的距离，学生和教师生成器生成的图像。因此，建立了一个对抗学习过程，以优化学生生成器和学生学习器。通过在基准数据集上进行定性和定量分析，表明该方法能够学习具有较强性能的可移植生成模型。
2020-03-07 cs.CV cs.LG eess.IV
Image to Image Translation : Generating maps from satellite images
Army Institute of Technology（陆军理工学院）
从卫星图像生成地图通常通过一系列工具来完成。地图成为生活的重要组成部分，从卫星图像转换地图可能有点昂贵，但生成模型可以迎合这一挑战。这些模型的目的是找到输入和输出图像之间的模式。图像到图像的转换是用于将卫星图像转换成相应的地图。不同的图像到图像转换技术，如生成对抗网络，条件对抗网络和协变自动编码器，用于为该地区生成相应的人类可读地图，该地图将给定缩放级别的卫星图像作为其输入。我们正在条件生成对抗网络上训练我们的模型，该网络由生成假图像的生成器模型组成，而生成器模型试图将图像分类为真实或虚假，这两个模型以对抗的方式同步训练，两者都试图欺骗对方，从而提高模型性能。
2021-05-19 cs.CV cs.LG eess.IV
