StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
虽然生成对抗网络（GANs）在各种任务中取得了显着的成功，但它们在生成高质量图像方面仍然面临挑战。在本文中，我们提出了堆叠生成对抗网络（StackGAN），旨在生成高分辨率的照片般逼真的图像。首先，我们提出了一个两阶段的生成对抗网络架构StackGAN-v1，用于文本到图像的合成。第一阶段GAN根据给定的文本描述绘制对象的原始形状和颜色，产生低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。其次，提出了一种先进的多阶段生成对抗网络架构StackGAN-v2，用于条件和无条件生成任务。我们的StackGAN-v2由树状结构的多个生成器和鉴别器组成;对应于同一场景的多个尺度的图像是从树的不同分支生成的。StackGAN-v2通过联合逼近多个分布，显示出比StackGAN-v1更稳定的训练行为。大量的实验表明，所提出的堆叠生成对抗网络在生成照片般逼真的图像方面明显优于其他最先进的方法。
2018-06-28 cs.AI cs.CV stat.ML
Generating Photo-realistic Images from LiDAR Point Clouds with Generative Adversarial Networks
Darca and Bnei Akiva Schools（达尔卡与贝内阿基瓦学校）；Hadash Darca School（哈达什达尔卡学校）；Harel Bnei Akiva School（哈雷尔贝内阿基瓦学校）；Innoviz Technologies LTD（Innoviz科技有限公司）
我们研究了生成对抗网络（GANs）从LiDAR点云生成照片般逼真的图像的可行性。为此，我们创建了一个点云图像对的数据集，并训练了GAN来预测包含反射率和距离信息的LiDAR点云的照片级真实感图像。我们的模型学会了如何从点云数据中预测逼真的图像，甚至是黑色汽车的图像。黑色汽车很难直接从点云中检测出来，因为它们的反射率很低。这种方法可能在未来用于对从LiDAR点云生成的逼真图像执行视觉对象识别。除了传统的LiDAR系统之外，从LiDAR点云生成逼真图像的第二个系统将同时运行，用于实时视觉对象识别。通过这种方式，我们可以保持LiDAR的优势，并在不使用任何相机的情况下使用照片般逼真的图像进行视觉对象识别。此外，这种方法可以用来着色点云，而不使用任何相机图像。
2021-12-20 cs.CV eess.IV
A Generative Adversarial Approach with Residual Learning for Dust and Scratches Artifacts Removal
Adobe Research Romania（奥多比罗马尼亚研究院）
修饰可以显着提高照片的视觉吸引力，但许多休闲摄影师缺乏专业知识，以专业的方式操作。一个特别具有挑战性的任务，旧照片修仍然是去除灰尘和划痕文物。传统上，这项任务是用特殊的图像增强软件手动完成的，这是一项繁琐的任务，需要照片编辑应用程序的特殊知识。然而，最近的研究利用生成对抗网络（GANs）已被证明在各种自动图像增强任务中获得了良好的效果，与传统方法相比。这促使我们探索GANs在电影照片编辑中的应用。在本文中，我们提出了一种基于GAN的方法，能够从胶片扫描中去除灰尘和划痕错误。具体来说，残差学习用于加快训练过程，并提高去噪性能。在社区提供的数据集上对我们的模型进行了广泛的评估，结果表明，它的泛化能力非常好，不依赖于任何特定类型的图像。最后，我们显著优于最先进的方法和软件应用程序，提供卓越的结果。
2020-09-22 cs.CV
Photo-Realistic Monocular Gaze Redirection Using Generative Adversarial Networks
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）
注视重定向是针对给定的单眼眼罩图像将注视改变到期望方向的任务。诸如视频会议、电影、游戏以及用于注视估计的训练数据的生成的许多应用需要重定向注视，而不使眼睛周围区域的外观失真并且同时产生照片般逼真的图像。现有的方法缺乏生成感知上合理的图像的能力。在这项工作中，我们提出了一种新的方法来缓解这个问题，通过利用生成对抗训练来合成以目标注视方向为条件的眼睛图像。我们的方法确保感知的相似性和一致性的合成图像的真实图像。此外，视线估计损失用于精确地控制视线方向。为了获得高质量的图像，我们将感知和周期一致性损失纳入我们的架构。在广泛的评估，我们表明，所提出的方法优于国家的最先进的方法在图像质量和重定向精度。最后，我们表明，生成的图像可以带来显着的改善凝视估计任务，如果用来增强真正的训练数据。
2019-11-20 cs.CV
IDProtector: An Adversarial Noise Encoder to Protect Against ID-Preserving Image Generation
National University of Singapore（新加坡国立大学）
本文提出IDProtector对抗性噪声编码器，通过单次前向传播向人像施加不可察觉噪声，以抵御InstantID等基于编码器的身份保持生成，并具备对常见图像变换的鲁棒性和对未知模型及闭源模型的泛化能力。
2025-02-04 cs.CV
Deep Attentive Generative Adversarial Network for Photo-Realistic Image De-Quantization
Southeast University（东南大学）；University of Technology Sydney（悉尼科技大学）
目前大多数显示设备具有八位或更高的位深。然而，大多数多媒体工具的质量不能达到这个位深度标准的生成图像。解量化可以改善低位深图像在高位深屏幕上显示的视觉质量。本文提出了DAGAN算法对与空间分辨率正交的图像强度分辨率进行超分辨率处理，通过端到端的学习模式实现真实感去量化。到目前为止，这是第一次尝试将生成对抗网络（GAN）框架应用于图像去量化。具体来说，我们提出了密集的残余自我注意（DenseResAtt）模块，这是由密集的残余块武装的自我注意机制，更加关注高频信息。此外，顺序的DenseResAtt模块的串联连接形成了深度关注网络，在图像去量化中具有卓越的判别学习能力，对代表性特征图进行建模，以恢复尽可能多的有用信息。此外，由于对抗性学习框架可以可靠地生成高质量的自然图像，因此指定的内容损失以及对抗性损失被反向传播以优化模型的训练。最重要的是，DAGAN能够生成照片级真实感的高比特深度图像，而没有条带伪影。在多个公共基准测试上的实验结果表明，DAGAN算法具有良好的视觉效果和令人满意的量化性能。
2020-04-07 cs.CV eess.IV
Face sketch to photo translation using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
将人脸草图转换为照片般逼真的人脸在执法和数字娱乐行业等许多应用中是一项有趣而重要的任务。这项任务最重要的挑战之一是草图和真实图像之间的固有差异，例如草图中缺乏皮肤组织的颜色和细节。随着对抗生成模型的出现，越来越多的方法被提出用于草图到图像的合成。然而，这些模型仍然受到限制，例如训练所需的大量配对数据，所生成图像的低分辨率或所生成图像的不真实外观。在本文中，我们提出了一种方法，用于将输入的面部素描转换为彩色照片，而不需要任何配对的数据集。为此，我们使用预先训练的人脸照片生成模型来合成高质量的自然人脸照片，并采用优化程序来保持对输入草图的高保真度。我们训练一个网络，将从输入草图中提取的人脸特征映射到人脸生成模型的潜在空间中的向量。此外，我们还研究了不同的优化标准，并将所提出的模型的结果与最先进的模型进行了定量和定性的比较。该模型的SSIM指数为0.655，rank-1人脸识别率为97.59%，且具有较高的图像质量。
2021-10-23 cs.CV
Brain MRI super-resolution using 3D generative adversarial networks
Universitat Politècnica de Catalunya - BarcelonaTech（加泰罗尼亚理工大学 - 巴塞罗那理工大学）
在这项工作中，我们提出了一种对抗性学习方法来从低分辨率图像生成高分辨率MRI扫描。该体系结构，基于SRGAN模型，采用三维卷积来利用体积信息。对于训练，对抗性损失使用最小二乘法来稳定训练。对于生成器，损失函数是最小二乘对抗损失和基于均方误差和图像梯度的内容项的组合，以提高生成图像的质量。我们探索上采样阶段的不同解决方案。我们提出了有前途的结果，改善经典插值，显示潜力的三维医学成像超分辨率的方法。源代码可在https://github.com/imatge-upc/3D-GAN-superresolution获得
2018-12-29 cs.CV cs.LG stat.ML
LinesToFacePhoto: Face Photo Generation from Lines with Conditional Self-Attention Generative Adversarial Network
University of Science and Technology of China（中国科学技术大学）
在本文中，我们探讨的任务，产生照片般逼真的人脸图像线。基于条件生成对抗网络（cGAN）的先前方法已经显示出当条件图像和输出图像共享良好对齐的结构时，它们能够生成视觉上合理的图像。然而，这些模型无法合成具有一整套明确定义的结构（例如眼睛、鼻子、嘴等）的人脸图像，特别是当条件线图缺少一个或几个部分时。为了解决这个问题，我们提出了一个条件自注意生成对抗网络（CSAGAN）。我们在cGAN中引入了条件性自我注意力机制，以捕获人脸不同区域之间的远程依赖关系。我们还建立了一个多尺度的模型。大规模的重构增强了全局结构的完整性，而小规模的重构则增强了细节，从而增强了生成的人脸图像的真实感。我们通过两个感知用户研究和三个定量指标在CelebA-HD数据集上评估了所提出的模型。实验结果表明，我们的方法生成高质量的面部图像，同时保持面部结构。我们的结果优于国家的最先进的方法在定量和定性。
2019-10-20 cs.CV eess.IV
Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering
The Ohio State University（俄亥俄州立大学）；Chongqing Changan Automobile Co Ltd（重庆长安汽车股份有限公司）
驾驶模拟器在开发和测试新的智能车辆系统方面发挥着重要作用。仿真的视觉逼真度对于构建基于视觉的算法和进行人类驾驶员实验至关重要。低视觉保真度破坏了人在环驾驶实验的沉浸感。传统的计算机图形流水线使用详细的3D模型、网格、纹理和渲染引擎来从3D场景生成2D图像。这些过程是劳动密集型的，并且它们不会生成逼真的图像。在这里，我们介绍了一个混合生成神经图形管道，用于提高驾驶模拟的视觉保真度。给定一个3D场景，我们只部分渲染感兴趣的重要对象，如车辆，并使用生成对抗过程来合成背景和图像的其余部分。为此，我们提出了一种新的图像形成策略，形成2D语义图像从3D场景组成的简单的对象模型没有纹理。然后，这些语义图像被转换为具有照片般真实感的RGB图像，并使用最先进的生成对抗网络（GAN）对真实驾驶场景进行训练。这取代了随机生成的重复性，但逼真的表面。最后，部分渲染的图像和GAN合成的图像用混合GAN混合。我们表明，与传统方法相比，所提出的方法生成的图像的逼真度更类似于现实世界的驾驶数据集，如Cityscapes和KITTI。这种比较是使用语义保持分析和Frechet起始距离（FID）测量。
2022-07-21 cs.CV cs.GR
Divide-and-Conquer Adversarial Learning for High-Resolution Image and Video Enhancement
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文介绍了一种用于照片增强的分治启发对抗学习（DACAL）方法。其核心思想是将照片增强过程分解为层次化的多个子问题，自下而上可以更好地解决。在顶层，我们提出了一个基于感知的划分来学习加法和乘法分量，这是将低质量图像或视频转换为高质量图像或视频所需的。在中间层面，我们使用基于频率的划分与生成对抗网络（GAN）来弱监督照片增强过程。在底层，我们设计了一种基于维度的划分，使GAN模型能够更好地近似多个独立一维数据上的分布距离，以训练GAN模型。在考虑所有三个层次的同时，我们开发了多尺度和循环训练方法，以弱监督的方式优化图像和视频增强过程。定量和定性的结果都清楚地表明，所提出的DACAL实现了高分辨率图像和视频增强的最先进的性能。
2019-10-23 cs.CV cs.LG eess.IV
DLP-GAN: learning to draw modern Chinese landscape photos with generative adversarial network
School of Computer and Communication, Lanzhou University of Technology（兰州理工大学计算机与通信学院）；School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
针对山水画转现代照片的研究空白，提出搭载非对称循环映射、密集融合模块生成器及双一致性损失的DLP-GAN无监督跨域翻译框架，实验证明其效果优于现有最优方法。
2024-03-07 cs.AI cs.CV
Style Separation and Synthesis via Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Qihoo 360 Artificial Intelligence Institute（奇虎360人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
文体综合是近年来文体研究的热点，但对文体综合的双重问题“文体分离”却鲜有研究。在本文中，我们提出了风格分离和合成生成对抗网络（S3-GAN），以同时对特定类别的对象照片实现风格分离和风格合成。基于物体照片位于流形上且内容和风格独立的假设，采用S3-GAN建立流形与特征向量空间之间的映射，实现内容和风格的分离与合成. S3-GAN由编码器网络、生成器网络和对抗网络组成。编码器网络通过将对象照片映射到潜在向量来执行风格分离。隐向量的两半分别表示内容和样式。生成器网络通过将级联向量作为输入来执行风格合成。连接的向量包含样式目标图像的样式半向量和内容目标图像的内容半向量。一旦从生成器网络获得图像，就施加对抗网络以生成更逼真的图像。在CelebA和UT Zappos 50 K数据集上的实验表明，S3-GAN具有同时进行风格分离和合成的能力，可以在单个模型中捕获多种风格。
2018-11-07 cs.CV
Challenger: Affordable Adversarial Driving Video Generation
AIR, Tsinghua（清华大学人工智能研究院）；UCAS（中国科学技术大学）；SJTU（上海交通大学）；EIT, Ningbo（宁波工程学院）；Geely Auto（吉利汽车）；IIIS, Tsinghua（清华大学人工智能研究院）；DA, Tsinghua（清华大学人工智能研究院）
Challenger通过物理感知轨迹优化和定制评分函数，经济地生成逼真对抗性驾驶视频，显著提升多种端到端AD模型的碰撞率，且对抗行为可跨模型迁移。
2025-05-23 cs.CV
Megapixel Size Image Creation using Generative Adversarial Networks
Happy Finish Ltd.（Happy Finish有限公司）
自出现以来，生成对抗网络（GANs）在AI社区中引起了很大的兴趣。在图像生成方面，有几个项目展示了GANs如何能够生成逼真的图像，但到目前为止，结果看起来还不足以满足视觉媒体制作行业的质量标准。我们提出了一种基于深度卷积生成对抗网络（DCGAN）的优化图像生成过程，以创建逼真的高分辨率图像（高达1024x1024像素）。此外，该系统提供了有限的图像数据集，不到两千张图像。所有这些结果为GANs在计算机图形学和视觉效果领域的进一步开发提供了更多的线索。
2017-05-31 cs.CV cs.GR cs.LG
Scale-free and Task-agnostic Attack: Generating Photo-realistic Adversarial Patterns with Patch Quilting Generator
University of California, Irvine（加利福尼亚大学欧文分校）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）；University of Cambridge（剑桥大学）
提出无尺度补丁拼接生成对抗网络（PQ-GAN），能生成适用于任意尺度图像和多种视觉任务的对抗模式，在 ImageNet 和 CityScapes 上优于九种先进攻击方法。
2022-11-19 cs.CV eess.IV
Semantically Decomposing the Latent Spaces of Generative Adversarial Networks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）；Stanford University（斯坦福大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了一种用于训练生成对抗网络的新算法，该网络联合学习身份（例如个人）和观察（例如特定照片）的潜在代码。通过固定潜在代码的身份部分，我们可以生成同一主题的不同图像，通过固定观察部分，我们可以遍历主题的流形，同时保持偶然的方面，如照明和姿势。我们的算法具有成对的训练方案，其中来自生成器的每个样本由具有共同身份码的两个图像组成。来自真实数据集的相应样本由同一主题的两张不同照片组成。为了欺骗机器人，生成器必须产生照片般逼真的、不同的、看起来描绘同一个人的配对。我们用Siamese鉴别器增强DCGAN和BEGAN方法，以促进成对训练。与人类法官和现成的人脸验证系统的实验表明，我们的算法的能力，以产生令人信服的，身份匹配的照片。
2018-02-22 cs.AI cs.CV cs.LG
Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative Adversarial Network with Graph Representation Learning
Hong Kong University of Science and Technology（香港科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；Nanjing University（南京大学）；Shandong University of Science and Technology（山东科技大学）
本文提出语义驱动生成对抗网络结合图表示学习，通过类内语义图和类间结构图建模人脸结构，并采用双相交互循环训练策略，在CUFS和CUFSF数据集上实现了优于现有方法的照片-素描合成质量。
2023-12-03 cs.CV
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology（佐治亚理工学院）；Google（谷歌）
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络（DCGAN）。然后，我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤，并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置，以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息，在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
SiGAN: Siamese Generative Adversarial Network for Identity-Preserving Face Hallucination
National Pingtung University of Science and Technology（国立屏东科技大学）；National Tsing Hua University（国立清华大学）；National Institute of Informatics（国立信息学研究所）
尽管生成对抗网络（GANs）可以从低分辨率（LR）人脸中产生逼真的高分辨率（HR）人脸，但它们不能保证保留幻觉HR人脸的身份，使HR人脸难以识别。为了解决这个问题，我们提出了一个暹罗GAN（SiGAN）重建HR面临的视觉上类似于他们相应的身份。在Siamese网络之上，所提出的SiGAN由两个相同的发电机和一个发电机组成。我们将重建误差和身份标签信息的损失函数的SiGAN在成对的方式。通过迭代优化SiGAN生成元对和子空间的损失函数，不仅实现了真实感人脸重建，而且保证了重建信息对身份识别有用。实验结果表明，SiGAN在客观人脸验证性能方面明显优于现有的人脸幻觉GANs，同时实现了照片级真实感重建。此外，对于未包括在训练中的未知身份的输入LR面部，SiGAN仍然可以做得很好。
2018-07-22 cs.CV
Cycle Generative Adversarial Networks Algorithm With Style Transfer For Image Generation
Universitas Gunadarma（古纳达尔玛大学）
机器学习工程师面临的最大挑战是缺乏数据，尤其是二维图像。图像经过处理后将被训练成机器学习模型，以便它可以识别数据中的模式并提供预测。本研究旨在使用循环生成对抗网络（GANs）算法来克服缺乏数据的问题。然后使用样式转换能够根据给定的样式生成新图像。根据测试结果对得到的模型进行了几处改进，将之前的photo generator的损失值：3.1267，monet style generator的损失值：3.2026，photo credentials：0.6325，和monet style credentials：0.6931分别改进为photo generator的损失值：2.3792，monet style generator的损失值：2.7291，photo credentials：0.5956，莫奈风格油画：0.4940。希望该研究将使该解决方案在教育，艺术，信息技术，医学，天文学，汽车和其他重要领域的应用。
2021-01-11 cs.CV cs.LG eess.IV
DensePANet: An improved generative adversarial network for photoacoustic tomography image reconstruction from sparse data
Shiraz University（设拉子大学）
针对光声层析成像稀疏数据重建易产生伪影的问题，提出基于FD-UNet++生成器的端到端生成对抗网络DensePANet，在体内与模拟数据集上表现优于其他主流深度学习技术。
2024-04-19 cs.AI cs.CV cs.LG
Photoacoustic image synthesis with generative adversarial networks
German Cancer Research Center (DKFZ)（德国癌症研究中心）；Heidelberg University（海德堡大学）；Helmholtz Information and Data Science School for Health（亥姆霍兹健康信息与数据科学学院）；Cancer Research UK Cambridge Institute, University of Cambridge（剑桥大学英国癌症研究中心剑桥研究所）
光声层析成像（PAT）具有恢复组织形态和功能特性的潜力，具有高空间分辨率。然而，以前试图用监督机器学习解决光学逆问题的尝试受到缺乏标记参考数据的阻碍。虽然这个瓶颈已经通过模拟训练数据得到了解决，但真实图像和模拟图像之间的域差距仍然是一个未解决的挑战。我们提出了一种新的方法PAT图像合成，涉及细分的挑战，产生合理的模拟成两个不相交的问题：（1）概率生成的现实组织形态，和（2）相应的光学和声学特性的像素分配。前者是通过生成对抗网络（GANs）在语义注释的医学成像数据上进行训练来实现的。根据对下游任务的验证研究，我们的方法比传统的基于模型的方法产生更逼真的合成图像，因此可能成为基于深度学习的定量PAT（qPAT）的基本步骤。
2022-10-25 cs.CV cs.LG eess.IV
Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network
生成对抗网络已成功用于生成大小为1024 ^2的高分辨率增强图像。虽然生成的增强图像是前所未有的，但模型的训练时间异常长。传统的GAN需要训练鉴别器和生成器。渐进式GAN是当前用于图像增强的最先进的GAN，而不是一次训练GAN，提出了同时渐进增长鉴别器和生成器的新概念。虽然较低的阶段，如4x4和8x8训练相当快，后期阶段消耗大量的时间，可能需要几天才能完成模型训练。在我们的论文中，我们提出了一种新的流水线，结合渐进式GAN略有修改和超分辨率GAN。超分辨率GAN将低分辨率图像采样为高分辨率图像，这可以证明是一种有用的资源，可以指数级地减少训练时间。
2022-02-24 cs.CV eess.IV
Towards Photo-Realistic Visible Watermark Removal with Conditional Generative Adversarial Networks
Sun Yat-sen University（中山大学）；Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；The University of Edinburgh（爱丁堡大学）；Zhejiang University（浙江大学）
可见水印在图像版权保护中起着重要的作用，可见水印对攻击的鲁棒性是至关重要的。为了评估和提高水印的有效性，水印去除技术越来越受到人们的关注，成为一个研究热点。目前的方法将水印去除转化为图像到图像的转换问题，其中采用逐像素丢失的编码-解码架构将透明水印像素转换为未标记像素。然而，当呈现多个真实图像时，水印更可能是未知的和多样的（即，水印可以是不透明的或半透明的;水印的类别和图案是未知的）。当将现有的方法应用于现实世界的场景时，它们大多不能令人满意地重建隐藏在复杂多样的水印下的隐藏信息（即，残留的水印迹线仍然存在，并且重建的图像缺乏真实性）。为了解决这个困难，在本文中，我们提出了一个新的水印处理框架，使用条件生成对抗网络（cGANs）的可见水印去除在现实世界中的应用。所提出的方法使水印去除的解决方案更接近照片级真实感重建使用基于块的水印图像，这是逆向训练，以区分恢复的图像和原始的无水印图像之间的差异的条件。在大规模可见水印数据集上的大量实验结果证明了该方法的有效性，并清楚地表明，与现有的方法相比，我们提出的方法可以产生更逼真和令人信服的结果。
2019-08-19 cs.CV eess.IV
An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（卡昂-恩西卡恩电子与计算机图像研究与教育集团）
提出了一种结构输出神经网络的半监督训练方法。受生成对抗网络（GAN）框架的启发，我们训练一个生成对抗网络来捕获网络输出质量的概念。为此，我们利用在标记的训练数据和未注释的数据上获得的输出之间的定性差异。然后，我们使用的误差信号的来源，为未标记的数据。这有效地提高了网络在测试集上的性能。图像分割的初步实验表明，所提出的框架能够实现与完全监督场景相同的网络性能，同时使用少两倍的注释。
2017-02-08 cs.CV
Auto-Embedding Generative Adversarial Networks for High Resolution Image Synthesis
通过生成对抗网络（GAN）生成图像最近引起了人们的广泛关注。然而，大多数现有的基于GAN的方法只能产生质量有限的低分辨率图像。使用GANs直接生成高分辨率图像是不平凡的，并且通常会产生具有不完整对象的问题图像。为了解决这个问题，我们开发了一种新的GAN称为自动嵌入生成对抗网络（AEGAN），它同时编码全局结构特征并捕获细粒度细节。在我们的网络中，我们使用一个自动编码器来学习真实图像的内在高级结构，并设计一个新的去噪网络来为生成的图像提供照片般逼真的细节。在实验中，我们能够直接从输入噪声中生成512 x512的有希望质量的图像。所得到的图像表现出更好的感知照片真实性，即，与几个数据集上的其他基线相比，具有更清晰的结构和更丰富的细节，包括Oxford-102 Flowers，Caltech-UCSD Birds（CUB），High-Quality Large-scale CelebFaces Attributes（CelebA-HQ），Large-scale场景理解（LSUN）和ImageNet。
2019-03-29 cs.CV
Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks
Courant Institute, New York University（纽约大学柯朗研究所）；Facebook AI Research（Facebook人工智能研究院）
本文提出一种基于对抗损失图像修复的半监督学习方法，通过生成器填补随机移除区域并让判别器区分真伪，实现大型VGG网络半监督训练，在STL-10和PASCAL上性能优于或媲美现有方法。
2016-11-19 cs.CV
Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology（谢里夫理工大学）；imec（imec研究所）；Ghent University（根特大学）
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步，给定的音频输入。通过使用递归神经网络，我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力，以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
Retinal Vasculature Segmentation Using Local Saliency Maps and Generative Adversarial Networks For Image Super Resolution
IBM Research Australia（IBM澳大利亚研究院）
我们提出了一种使用生成对抗网络（GANs）的图像超分辨率（ISR）方法，该方法采用低分辨率输入眼底图像并生成高达$16$的缩放因子的高分辨率超分辨率（SR）图像。这有助于更准确的自动图像分析，特别是对于小的或模糊的标志和病理。定义每个像素的重要性的局部显著性图用于定义GAN成本函数中的新显著性损失。实验结果表明，所得到的SR图像具有非常接近原始图像的感知质量，并且比不根据像素的重要性对其进行加权的竞争方法表现得更好。当用于视网膜血管分割时，我们的SR图像的精度水平接近于使用原始图像时获得的精度水平。
2018-05-21 cs.CV
Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network
City University of Hong Kong（香港城市大学）；Meituan-Dianping Group（美团点评集团）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
提高图像的审美质量是具有挑战性的，也是公众渴望的。为了解决这个问题，大多数现有的算法是基于监督学习方法来学习配对数据的自动照片增强器，该配对数据由低质量照片和相应的专家修饰版本组成。然而，专家修饰的照片的风格和特征可能不符合一般用户的需求或偏好。在本文中，我们提出了一种无监督的图像增强生成对抗网络（UEGAN），它以无监督的方式从一组具有所需特征的图像中学习相应的图像到图像的映射，而不是在大量的成对图像上学习。该模型基于单一的深度GAN，嵌入了调制和注意力机制，以捕获更丰富的全局和局部特征。基于所提出的模型，我们引入了两个损失来处理无监督图像增强：（1）保真度损失，其被定义为在预训练的VGG网络的特征域中的L2正则化，以确保增强图像和输入图像之间的内容相同，以及（2）质量损失，其被公式化为相对论铰链对抗损失，以赋予输入图像期望的特性。定量和定性的实验结果表明，该模型有效地提高了图像的美学质量。我们的代码可在https://github.com/eezkni/UEGAN上获得。
2020-12-30 cs.CV
Generative Adversarial Network-based Synthesis of Visible Faces from Polarimetric Thermal Faces
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
在偏振（或常规）热域和可见光域中捕获的人脸之间的大的域差异使得跨域人脸识别对于人类考官和计算机视觉算法都是相当具有挑战性的问题。以前的方法利用两个步骤的过程（可见光特征估计和可见光图像重建），以合成相应的偏振热图像的可见光图像。然而，这些被认为是两个不相交的步骤，因此可能会阻碍可见人脸重建的性能。我们认为，联合优化将是一个更好的方式来重建更逼真的图像，计算机视觉算法和人类检查员检查。为此，本文提出了一种基于生成对抗网络的可视人脸合成（GAN-VFS）方法，从其相应的偏振图像合成更具照片真实感的可视人脸图像。为了保证编码后的可见特征在重构可见人脸图像时包含更多的语义有意义的信息，在训练过程中引入了引导子网络。为了实现照片真实感的属性，同时保留鉴别特征的重建输出，身份损失与感知损失相结合的优化框架。在不同的实验协议上进行的多个实验表明，所提出的方法达到了最先进的性能。
2017-08-08 cs.CV
Image Super-Resolution Using a Wavelet-based Generative Adversarial Network
本文研究了超分辨率重建问题。由于超分辨率重建在医学、遥感监测、刑事侦查等领域有着广泛的应用，因此成为一个热门话题。与传统算法相比，目前基于深度学习的超分辨率重建算法大大提高了重建图片的清晰度。现有的工作，如超分辨率使用生成对抗网络（SRGAN）可以有效地恢复图像的纹理细节。然而，实验证明，由SRGAN恢复的图像的纹理细节是不鲁棒的。为了得到高频细节更丰富的超分辨率重建图像，改进了网络结构，提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。该算法能有效地重建出具有丰富全局信息和局部纹理细节的高分辨率图像。我们使用PyTorch框架和VOC2012数据集对模型进行了训练，并使用Set5，Set14，BSD 100和Urban100测试数据集对其进行了测试。
2019-07-24 cs.CV eess.IV
3N-GAN: Semi-Supervised Classification of X-Ray Images with a 3-Player Adversarial Framework
Saratoga High School（萨拉托加高中）
深度学习在医学成像任务（如分类）中的成功在很大程度上依赖于大规模数据集的可用性。然而，获取具有大量标记数据的数据集具有挑战性，因为标记是昂贵且耗时的。半监督学习（SSL）是完全监督学习的一种日益增长的替代方案，但需要未标记的样本进行训练。在医学成像中，许多数据集完全缺乏未标记的数据，因此SSL无法常规使用。我们提出了3 N-GAN或3网络生成对抗网络，以在全监督设置中执行医学图像的半监督分类。我们将一个分类器纳入对抗关系中，这样生成器就可以对抗分类器和分类器进行训练。我们的初步结果表明，改进的分类性能和GAN代各种算法。我们的工作可以与许多其他医学成像模型架构和SSL方法无缝集成，以获得更高的性能。
2021-09-22 cs.CV cs.LG eess.IV
Improving Generative Adversarial Networks for Video Super-Resolution
本研究针对视频超分辨率任务，从单图像超分辨率GAN基础模型出发探索改进技术，发现时间平滑、LSTM层和时间损失函数效果最佳，整合后PSNR和SSIM较基线分别提升11.97%和8%，为优化现有SOTA模型提供了方向。
2024-06-24 cs.CV eess.IV
Photographic Visualization of Weather Forecasts with Generative Adversarial Networks
Federal Office of Meteorology and Climatology MeteoSwiss（瑞士联邦气象与气候办公室）；Comerge（Comerge公司）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）
户外网络摄像头图像是过去和现在天气状况的信息密集但可访问的可视化，并由气象学家和公众咨询。然而，天气预报仍然以文本、象形图或图表的形式传播。因此，我们介绍了一种新的方法，使用摄影图像也可视化未来的天气状况。这是具有挑战性的，因为天气预报的照片可视化应该看起来真实，没有明显的伪影，并且应该与预测的天气状况相匹配。从观察到预测的过渡应该是无缝的，并且在连续的提前时间内图像之间应该具有视觉连续性。我们使用条件生成对抗网络来合成这样的可视化。生成器网络以数值天气预报（NWP）模式的分析和预报状态为条件，将当前相机图像转换为未来图像。神经网络判断给定的图像是否是未来的真实图像，或者它是否是合成的。将两个网络相互训练，得到一种可视化方法，该方法在所有四个评估标准上都得分很高。我们目前的结果，在瑞士各地的气候和地形不同的三个相机网站。我们表明，用户发现区分真实图像和生成的图像是一个挑战，比他们随机猜测的效果好不了多少。在至少89%的检查案例中，生成的图像与COSMO-1 NWP模型预测的大气，地面和照明条件相匹配。生成的图像的临近预报序列实现了从观测到预报的无缝过渡，并获得视觉连续性。
2022-03-29 cs.CV cs.LG eess.IV
Image Captioning with Very Scarce Supervised Data: Adversarial Semi-Supervised Learning Approach
KAIST（韩国科学技术院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
构建由大量图像和每个图像的几个标题组成的有组织的数据集是一项艰巨的任务，需要大量的人力。另一方面，单独收集大量的图像和句子可能会非常容易。在本文中，我们开发了一种新的数据高效的半监督框架训练的图像描述模型。我们通过学习将大量未配对的图像和字幕数据关联起来，从而利用它们。为此，我们提出的半监督学习方法通过生成对抗网络为未配对样本分配伪标签，以学习图像和字幕的联合分布。为了进行评估，我们构建了很少配对的COCO数据集，这是MS COCO标题数据集的修改版本。实证结果表明，与几个强基线相比，我们的方法是有效的，特别是当配对样本数量很少时。
2019-11-21 cs.CL cs.CV
Deeply Matting-based Dual Generative Adversarial Network for Image and Document Label Supervision
虽然已经提出了许多方法来处理自然图像的超分辨率（SR），并取得了令人印象深刻的性能，文本图像的SR是不好的，由于他们的忽略文档图像。本文提出了一种用于文档图像SR的基于抠图的双重生成对抗网络（mdGAN）。首先，使用深度图像抠图将输入图像分解为文档文本、前景和背景层。然后构造两个并行分支分别恢复文本边界信息和颜色信息。此外，为了提高输出图像中字符的恢复精度，在训练过程中，我们使用输入图像对应的地面真值文本标签作为额外的监督信息来细化两个分支网络。在真实文本图像上的实验表明，该方法在定量和定性上都优于现有的几种方法。
2019-09-19 cs.CV cs.MM
Residual Channel Attention Generative Adversarial Network for Image Super-Resolution and Noise Reduction
InnoPeak Technology（英诺峰科技）
图像超分辨率是计算机视觉的重要技术之一，其目标是从低分辨率图像重建高分辨率图像。最近，基于深度学习的方法已经被证明用于图像超分辨率。然而，随着深度网络的深入，它们变得更加难以训练，并且更难以恢复更精细的纹理细节，特别是在现实世界的设置下。在本文中，我们提出了一种剩余信道注意力生成对抗网络（RCA-GAN）来解决这些问题。具体而言，提出了一种新的残余通道注意块形成RCA-GAN，它由一组具有快捷连接的残余块和通道注意机制来建模不同通道之间的特征表示的相互依赖性和相互作用。此外，生成对抗网络（GAN），以进一步产生现实和高度详细的结果。受益于这些改进，所提出的RCA-GAN比基线模型产生更好的视觉质量，具有更详细和更自然的纹理;并且与现实世界图像超分辨率的最先进方法相比，实现了相当或更好的性能。
2020-04-28 cs.CV eess.IV
CAD: Photorealistic 3D Generation via Adversarial Distillation
City University of Hong Kong（香港城市大学）；Stanford University（斯坦福大学）；HKUST（香港科技大学）
针对 SDS 优化 3D 生成中的模式寻找难题及 Janus 等伪影，本文提出 CAD，用对抗训练对齐多视图渲染与扩散先验分布，实现照片级真实的条件 3D 生成，并支持重建、多样化生成和插值。
2023-12-11 cs.CV cs.GR
Vanishing Twin GAN: How training a weak Generative Adversarial Network can improve semi-supervised image classification
Institute of Medical Science, University of Toronto（多伦多大学医学科学研究所）；The Hospital for Sick Children（SickKids医院（多伦多病童医院））；Department of Mechanical and Industrial Engineering, University of Toronto（多伦多大学机械与工业工程系）
生成对抗网络可以在半监督框架中学习随机噪声到真实图像的映射。这种映射能力可以用于半监督图像分类，以检测未知类别的图像，其中不存在要用于监督分类的训练数据。然而，如果未知类与已知类具有相似的特征，则GANs可以学习泛化并生成看起来像两个类的图像。这种泛化能力会阻碍分类性能。在这项工作中，我们提出了消失的双GAN。通过训练弱GAN并将其生成的输出图像与常规GAN并行使用，Vanishing Twin训练改进了半监督图像分类，其中图像相似性可能会损害分类任务。
2021-03-03 cs.CV eess.IV
Underwater Image Super-Resolution using Generative Adversarial Network-based Model
Ferdowsi University of Mashhad（马什哈德费尔多西大学）
本文针对水下图像超分辨率任务，在USR-248数据集上微调预训练Real-ESRGAN模型，使生成图像相比原模型更逼真且视觉质量更好。
2023-09-23 cs.CV eess.IV
Fully Convolutional Change Detection Framework with Generative Adversarial Network for Unsupervised, Weakly Supervised and Regional Supervised Change Detection
基于深度学习的变化检测是当前遥感领域的研究热点之一。然而，大多数端到端网络都是针对有监督的变化检测而提出的，而无监督的变化检测模型依赖于传统的预检测方法。因此，我们提出了一个具有生成对抗网络的完全卷积变化检测框架，将无监督，弱监督，区域监督和完全监督的变化检测任务归纳到一个框架中。一个基本的Unet分割器被用来获得变化检测地图，一个图像到图像生成器被实现来模拟多时间图像之间的光谱和空间变化，并提出了一个用于改变和不变的建模语义变化弱和区域监督变化检测任务。分割器和生成器的迭代优化可以构建一个端到端的无监督变化检测网络，分割器和生成器之间的对抗过程可以为弱监督和区域监督的变化检测提供解决方案，分割器本身可以被训练用于完全监督的任务。实验结果表明，该框架在无监督、弱监督和区域监督的变化检测中是有效的。本文对无监督、弱监督和区域监督的变化检测任务进行了理论定义，展示了端到端网络在遥感变化检测中的巨大潜力。
2022-01-16 cs.AI cs.CV eess.IV
Segmentation of skin lesions and their attributes using Generative Adversarial Networks
Universidad Nacional de Ingeniería（国立工程大学）
本文利用条件对抗网的图像-图像转换算法对皮肤病变边界及其属性进行语义分割。黑色素瘤是一种皮肤癌，如果及时发现是可以治愈的。皮肤镜图像分割是计算机辅助诊断的一个重要步骤，因为皮肤镜图像存在典型的伪影。为了减轻图像注释过程，我们建议使用修改后的Pix 2 Pix网络。该神经网络从作为输入的真皮图像和作为输出的六个通道的掩模图像学习映射。同样，称为PatchGAN的判别网络输出对于一个通道和六个输出通道是不同的。使用的照片来自2018年ISIC挑战赛，其中500张照片与各自的语义地图一起使用，分为75%用于训练，35%用于测试。获得100个训练时期的高Jaccard指数的分割图的所有属性。
2021-01-30 cs.CV cs.LG eess.IV
Single MR Image Super-Resolution using Generative Adversarial Network
Ontario Tech University（安大略理工大学）
利用超分辨率方法可以提高医学图像的空间分辨率。实时增强超分辨率生成对抗网络（Real Enhanced Super Resolution Generative Adversarial Network，Real-ESRGAN）是近年来在输入图像分辨率较低的情况下生成更高分辨率图像的有效方法之一。在本文中，我们应用这种方法来提高二维MR图像的空间分辨率。在我们提出的方法中，我们稍微修改了Real-ESRGAN的结构，以训练取自脑肿瘤分割挑战（BraTS）2018数据集的2D磁共振图像（MRI）。通过计算SSIM（结构相似性指数度量）、NRMSE（归一化均方根误差）、MAE（平均绝对误差）和VIF（视觉信息保真度）值，定性和定量地验证了所获得的结果。
2022-07-16 cs.CV cs.LG eess.IV
Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
本文探索了生成对抗网络在电子显微镜数据上的自监督预训练，证明其能提升多种下游任务性能，低复杂度微调模型优于高复杂度随机初始化模型，尤其在标注数据有限时优势显著。
2024-07-18 cond-mat.mtrl-sci cs.AI cs.CV
Multi-Modality Image Super-Resolution using Generative Adversarial Networks
Ontario Tech University（安大略理工大学）
在过去的几年里，基于深度学习的技术，如生成对抗网络（GANs），已经显着改善了图像超分辨率和图像到图像转换问题的解决方案。在本文中，我们提出了一个解决方案的联合问题的图像超分辨率和多模态图像到图像的翻译。这个问题可以说是一个高分辨率的图像在一个模态的恢复，给定的低分辨率观察同一图像在一个替代的模态。我们的论文提供了两个模型来解决这个问题，并将评估高分辨率的白天图像的恢复给定的低分辨率的夜间图像相同的场景。将为每个模型提供有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Deep Domain Adversarial Adaptation for Photon-efficient Imaging
Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
利用单光子光探测和测距（LiDAR）的光子高效成像通过每个像素仅几个探测到的信号光子来捕获场景的三维（3D）结构。然而，现有的光子有效成像的计算方法是在受限的情况下预先调整的，或者是在模拟数据集上训练的。当应用到现实的情况下，其信号与背景比（SBR）和其他硬件特定的属性不同于那些原始的任务，模型的性能往往显着恶化。在本文中，我们提出了一个域对抗适应设计，以减轻这种域转移问题，利用未标记的现实世界的数据，具有显着的资源节约。该方法在使用我们自制的上转换单光子成像系统的模拟和真实实验中表现出优越的性能，这提供了一种有效的方法来绕过在现实应用中实现计算成像算法时缺乏地面真实深度信息。
2022-10-27 cs.CV eess.IV
GarmentGAN: Photo-realistic Adversarial Fashion Transfer
Salesforce Einstein（Salesforce爱因斯坦）
服装转移问题包括两个任务：学习将一个人的身体（姿势、形状、颜色）与他们的服装（服装类型、形状、风格）分离，然后生成穿着任意服装的穿戴者的新图像。我们提出了GarmentGAN，这是一种通过生成对抗方法执行基于图像的服装转移的新算法。GarmentGAN框架允许用户在购买前虚拟试穿物品，并推广到各种服装类型。GarmentGAN仅需要两个图像作为输入，即，目标时尚物品的图片和包含顾客的图像。输出是其中顾客穿着目标服装的合成图像。为了使生成的图像看起来像照片一样真实，我们采用了新的生成对抗技术。GarmentGAN在生成图像的真实性方面改进了现有方法，并解决了与自遮挡相关的各种问题。我们提出的模型在训练过程中结合了额外的信息，利用分割图和身体关键点信息。我们展示了与其他几个网络的定性和定量比较，以证明这种技术的有效性。
2020-03-04 cs.CV
Semi-supervised Adversarial Learning to Generate Photorealistic Face Images of New Identities from 3D Morphable Model
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
我们提出了一个新的端到端的半监督对抗框架，以生成具有广泛的表情，姿势和照明条件下的3D变形模型的新身份的逼真的人脸图像。以前的对抗性风格转移方法要么用大量的配对数据来监督他们的网络，要么以无监督的方式使用具有高度欠约束的双向生成框架的非配对数据。我们引入成对对抗监督来约束双向领域自适应，通过少量成对的真实和合成图像进行训练，以及大量的未配对数据。大量的定性和定量实验进行验证我们的想法。生成的新身份的人脸图像包含姿态，光照和表情的多样性和定性的结果表明，他们是高度约束的合成输入图像，同时增加了照片真实感和保留身份信息。我们结合所提出的方法产生的人脸图像与真实的数据集训练人脸识别算法。我们在两个具有挑战性的数据集上评估了该模型：LFW和IJB-A。我们观察到，从我们的框架中生成的图像始终优于使用Oxford VGG Face数据集训练的深度人脸识别网络的性能，并实现了与最先进技术相当的结果。
2018-04-10 cs.CV
Deep Nonparametric Convexified Filtering for Computational Photography, Image Synthesis and Adversarial Defense
Zhipu AI（智谱AI）
提出深度非参数凸化滤波（DNCF）框架，通过非参数网络模拟图像形成物理方程，实现计算摄影图像恢复，具有强泛化性、对抗鲁棒性及10倍加速，可实时防御图像分类对抗攻击。
2023-09-14 cs.CV cs.LG eess.IV
FaceGuard: A Self-Supervised Defense Against Adversarial Face Images
Michigan State University（密歇根州立大学）
针对对抗性人脸图像的流行防御机制往往过拟合训练集中的对抗性扰动，并且无法推广到看不见的对抗攻击。我们提出了一个新的自监督对抗防御框架，即FaceGuard，它可以自动检测，定位和净化各种各样的对抗面孔，而无需使用预先计算的对抗训练样本。在训练过程中，FaceGuard会自动合成具有挑战性和多样性的对抗攻击，使分类器能够学习将它们与真实人脸区分开来，而净化器则会尝试去除图像空间中的对抗性扰动。在LFW数据集上的实验结果表明，FaceGuard对6种不可见对抗攻击的检测准确率达到99.81%.此外，该方法可以提高人脸识别性能的ArcFace从34.27%TAR@0.1%FAR无防御下的77.46%TAR@0.1%FAR。
2021-04-05 cs.CV
Adversarial Open Domain Adaption Framework (AODA): Sketch-to-Photo Synthesis
本文旨在证明对抗性开放域自适应框架用于草图到照片合成的效率。用于从手绘草图生成逼真照片的无监督开放域适配是具有挑战性的，因为对于训练数据没有该类的草图。学习监督的缺失，以及手绘与绘画之间的巨大领域差距，使其难以实现。我们提出了一种方法，学习草图到照片和照片到草图生成合成从图片中丢失的手绘图。由于合成草图和真实草图之间的领域差距，在虚假图纸上训练的生成器在处理缺乏类的图纸时可能会产生不令人满意的结果。为了解决这个问题，我们提供了一个简单但有效的开放域采样和优化方法，欺骗生成器将虚假图纸视为真实。我们的方法概括了学习素描到照片和照片到素描的映射，从域内输入到开放域类别。在Scribble和SketchyCOCO数据集上，我们将我们的技术与当前最具竞争力的方法进行了比较。对于许多类型的开放域绘图，我们的模型在合成准确的颜色，物质和保留结构布局方面表现出色。
2021-08-19 cs.AI cs.CV cs.LG
Photorealistic Facial Expression Synthesis by the Conditional Difference Adversarial Autoencoder
The Hong Kong University of Science and Technology（香港科技大学）
基于单幅人脸图像的真实感人脸表情合成可以广泛应用于人脸识别、情感识别的数据增强、娱乐等领域。这个问题是具有挑战性的，部分原因是由于标记的面部表情数据的缺乏，使得算法难以消除由于身份而引起的变化和由于表情而引起的变化的歧义。在本文中，我们提出了条件差分对抗自动编码器，CDAAE，面部表情合成。CDAAE获取先前看不见的人的面部图像，并生成具有目标情感或面部动作单元标签的该人脸的图像。CDAAE将前馈路径添加到自动编码器结构，将编码器处的低级别特征连接到解码器处的对应级别的特征。它通过学习生成同一个人但具有不同面部表情的图像的低级特征之间的差异来处理由于身份而引起的变化和由于面部表情而引起的变化的消歧问题。CDAAE结构可用于通过在训练集中的面部表情/动作单元之间进行组合和插值来生成新颖的表情。我们的实验结果表明，CDAAE可以保存身份信息时，生成的面部表情看不见的主题比以前的方法更忠实。这在使用小型数据库进行训练时尤其有利。
2017-08-30 cs.CV
