CAFE-GAN: Arbitrary Face Attribute Editing with Complementary Attention Feature
Korea University（高丽大学）；Army Research Laboratory（陆军研究实验室）
人脸属性编辑的目标是根据给定的目标属性（如头发颜色、胡子、性别等）对人脸图像进行修改。它属于图像到图像的域转移问题，其中一组属性被视为一个独特的域。在多域传输问题中，已经有一些工作集中在使用生成对抗网络（GAN）的面部属性编辑上。这些方法已经取得了一些成功，但它们也会导致面部区域的意外变化-这意味着生成器会改变与指定属性无关的区域。为了解决这一问题，我们提出了一种新的GAN模型，该模型旨在通过补充注意力特征（CAFE）的概念来编辑与目标属性相关的人脸部分。CAFE通过考虑目标属性以及互补属性来识别待变换的面部区域，我们将互补属性定义为输入面部图像中不存在的那些属性。此外，我们引入了一个互补的特征匹配，以帮助训练的生成器，利用属性的空间信息。通过与现有方法的分析比较，证明了该方法的有效性。
2020-11-24 cs.CV
Fashion-AttGAN: Attribute-Aware Fashion Editing with Multi-Objective GAN
Vipshop US Inc.（唯品会美国公司）
在本文中，我们介绍了属性感知的时尚编辑，一个新的任务，时尚领域。我们重新定义了AttGAN的总体目标，并为这一新任务提出了Fashion-AttGAN模型。为此任务构建了一个具有14，221和22个属性的数据集，该数据集已可用。实验结果表明，我们的Fashion-AttGAN的有效性，在原来的AttGAN时尚编辑。
2019-04-20 cs.CV
Semi-Latent GAN: Learning to generate and modify facial images from attributes
Fudan University（复旦大学）；Disney Research（迪士尼研究院）
使用高级属性控制生成和操纵人脸图像是重要而有趣的问题。在以前的工作中提出的模型可以解决这两个问题（生成或操作）之一，但不能同时解决。本文提出了一种新的模型，学习如何生成和修改的面部图像从高层次的语义属性。我们的核心思想是制定一个半潜在的面部属性空间（SL-FAS），系统地学习用户定义的属性和潜在的属性之间的关系，以及这些属性和RGB图像之间的关系。作为这个新定义的空间的一部分，我们提出了一个新的模型-- SL-GAN，它是生成对抗网络的一种特殊形式。最后，我们提出了一个迭代的SL-GAN训练算法。在最近的CelebA和CASIA-WebFace数据集上的实验验证了我们提出的框架的有效性。我们还将提供数据、预训练模型和代码。
2017-04-07 cs.CV
SD-GAN: Semantic Decomposition for Face Image Synthesis with Discrete Attribute
University of Science and Technology Beijing（北京科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
在用于面部图像合成的生成对抗网络（GANs）中操纵潜在代码主要集中在连续属性合成（例如，年龄、姿势和情绪），而离散属性合成（如面具和眼镜）受到较少关注。直接将现有的工作应用于面部离散属性可能会导致不准确的结果。在这项工作中，我们提出了一个创新的框架，通过语义分解来解决具有挑战性的面部离散属性合成，称为SD-GAN。具体而言，我们明确地将离散属性表示分解为两个部分，即语义先验基础和偏移潜在表示。语义先验基础为在潜在空间中操作人脸表征提供了初始化方向。提出了利用三维感知语义融合网络获得的偏移潜在表示来调整先验基。此外，融合网络集成了3D嵌入，以更好地保持身份和离散属性合成。先验基和偏移潜在表示的结合使我们的方法能够合成具有离散属性的照片级真实感人脸图像。值得注意的是，我们构建了一个大型且有价值的数据集MEGN（从Google和Naver抓取的面罩和眼镜图像），以弥补现有数据集中缺乏离散属性的问题。大量的定性和定量实验证明了我们的方法的最先进的性能。我们的代码可在https://github.com/MontaEllis/SD-GAN上获取。
2022-07-12 cs.CV
GAN-based Facial Attribute Manipulation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of California, Merced（加州大学默塞德分校）
人脸属性操作（FAM）旨在对给定的人脸图像进行美学修改以呈现期望的属性，由于其广泛的实际应用，从数字娱乐到生物识别取证，受到了极大的关注。在过去的十年中，随着生成对抗网络（GANs）在合成逼真图像方面的显着成功，已经提出了许多基于GAN的模型来解决FAM，其中包括各种问题制定方法和指导信息表示。本文对基于GAN的FAM方法进行了全面的综述，重点总结了它们的主要动机和技术细节。本次调查的主要内容包括：（i）介绍与FAM相关的研究背景和基本概念，（ii）系统地回顾基于GAN的FAM方法的三个主要类别，（iii）深入讨论FAM方法的重要属性，开放问题和未来的研究方向。这项调查不仅为新进入该领域的研究人员建立了一个良好的起点，也为视觉社区提供了参考。
2022-10-23 cs.CV
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute（印度统计研究所）；Østfold University College（东福尔德大学学院）
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能，但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中，我们提出了一个属性引导注意生成对抗网络，它采用新的属性引导注意（AGA）模块，以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后，我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明，我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时，每个属性描述符是未知的，从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
Controllable Person Image Synthesis with Attribute-Decomposed GAN
Peking University（北京大学）；Bytedance AI Lab（字节跳动人工智能实验室）
本文介绍了属性分解GAN，一种用于可控人物图像合成的新生成模型，它可以生成具有所需人类属性（例如，姿势、头部、上衣和裤子）。该模型的核心思想是将人类属性作为独立的代码嵌入到潜在空间中，通过混合和插值操作实现对显式风格表示中属性的灵活和连续控制。具体来说，提出了一种新的架构，由两个编码路径与风格块连接，分解成多个更容易访问的子任务的原始硬映射。在源路径中，我们进一步提取组件布局与现成的人类解析器，并将它们送入一个共享的全局纹理编码器分解的潜在代码。该策略允许合成更逼真的输出图像和自动分离未注释的属性。实验结果表明，该方法在姿态传递方面优于现有技术，在构件属性传递这一全新任务中也是有效的。
2020-07-19 cs.CV
Exploring Attribute Variations in Style-based GANs using Diffusion Models
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Dharwad（印度理工学院达瓦德分校）；UCLA（加州大学洛杉矶分校）；Avataar AI（Avataar人工智能公司）；Stability AI（Stability人工智能公司）
本文提出“多样化属性编辑”任务，利用预训练GAN的解耦潜在空间训练DDPM学习编辑潜在分布，在有限计算资源下实现每个属性的多种合理编辑，并验证了其在人脸属性及3D编辑中的有效性。
2023-11-27 cs.CV
Human Annotations Improve GAN Performances
National University of Singapore（新加坡国立大学）；University of Minnesota（明尼苏达大学）
生成对抗网络（GANs）在许多应用中取得了巨大的成功。在这项工作中，我们提出了一种新的方法，利用人类注释来提高生成的图像的质量。与以前直接要求注释者以简单的方式区分真实和虚假数据的范例不同，我们提出并注释了一组精心设计的属性，这些属性在各个级别上编码重要的图像信息，以了解假图像和真实图像之间的差异。具体来说，我们收集了一个包含600张假图像和400张真实图像的注释数据集。这些图像由来自Amazon Mechanical Turk（AMT）的10名工作人员根据8个精心定义的属性进行评估。统计分析揭示了真实和虚假图像之间的拟议属性的不同分布。这些属性被证明是有用的，在区分假图像从真正的，和深度神经网络开发自动预测的属性。我们通过将属性集成到GANs中来进一步利用这些信息，以生成更好的图像。多个指标的实验结果表明，所提出的模型的性能改善。
2019-11-15 cs.CV
Pose-variant 3D Facial Attribute Generation
NEC Laboratories America（美国NEC实验室）；University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们解决了具有挑战性的问题，在不受约束的姿态使用一个单一的图像生成面部属性。与之前主要考虑在2D近正面图像上生成的工作相比，我们提出了一个基于GAN的框架，直接在UV纹理和位置图给出的密集3D表示上生成属性，从而产生逼真的，几何一致的和身份保持的输出。从一个自闭塞的UV纹理图，通过应用现成的3D重建方法，我们提出了两个新的组件。首先，纹理完成生成对抗网络（TC-GAN）完成部分UV纹理图。第二，3D属性生成GAN（3DA-GAN）合成目标属性，同时获得与3D面部几何形状一致的外观并保持身份。CelebA，LFW和IJB-A上的大量实验表明，我们的方法比以前的方法，更高程度的定性照片真实感和保留人脸身份信息，实现了更好的属性生成精度。
2019-07-24 cs.CV
Attribute Group Editing for Reliable Few-shot Image Generation
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Huawei Cloud（华为云）
即使使用最先进的生成对抗网络（GANs），Few-Shot图像生成也是一项具有挑战性的任务。由于GAN训练过程不稳定和训练数据有限，生成的图像通常质量低且多样性低。在这项工作中，我们提出了一种新的基于编辑的方法，即，属性组编辑（AGE），用于生成Few-Shot图像。基本假设是任何图像都是属性的集合，并且特定属性的编辑方向在所有类别中共享。AGE检查在GANs中学习的内部表示，并识别语义上有意义的方向。具体来说，类嵌入，即，该方法利用特定类别的潜码均值向量表示类别相关属性，利用样本嵌入与类别嵌入的差异，通过稀疏字典学习对类别无关属性进行全局学习。给定一个在可见类别上训练良好的GAN，可以通过编辑类别无关属性同时保持类别相关属性不变来合成不可见类别的各种图像。在不重新训练GAN的情况下，AGE不仅能够用有限的数据为下游视觉应用生成更逼真和多样化的图像，而且能够用可解释的类别无关方向实现可控的图像编辑。
2022-03-16 cs.CV
DNA-GAN: Learning Disentangled Representations from Multi-Attribute Images
Peking University（北京大学）
在表示学习中，如何区分变异因素是一个非常具有挑战性的问题。现有的算法受到许多限制，如不可预测的解开因素，质量差的编码生成的图像，缺乏身份信息等，在本文中，我们提出了一个监督学习模型称为DNA-GAN试图解开不同的因素或属性的图像。图像的潜在表征是类似DNA的，其中（编码的）每个单独的片段代表变化的独立因素。通过零化隐性片段并将其中一个潜表征的某片段与另一个潜表征的某片段交换，得到两个不同的表征，这两个表征可以解码为两种图像，并改变相应属性的存在性。为了获得逼真的图像和解纠缠的表示，我们进一步引入了对抗训练的方法。在Multi-PIE和CelebA数据集上的实验结果表明，该方法能够有效地进行因子分解，克服了现有方法的局限性。
2018-03-28 cs.CV
ELEGANT: Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes
Peking University（北京大学）
近年来，人脸属性迁移的研究取得了很大的成功。许多模型能够将人脸属性与输入图像进行转换。然而，它们遭受三个限制：（1）不能通过样本生成图像;（2）不能同时传输多个人脸属性;（3）生成的图像质量低，例如低分辨率或伪影。为了解决这些限制，我们提出了一种新的模型，它接收两个图像的相反属性作为输入。我们的模型可以完全相同类型的属性从一个图像到另一个通过交换它们的编码的某些部分。所有的属性都以一种非纠缠的方式编码在潜在空间中，这使得我们能够同时操纵多个属性。此外，我们的模型学习残差图像，以便在更高分辨率的图像上进行训练。在对抗训练的多尺度鉴别器的帮助下，它甚至可以生成具有更精细细节和更少伪影的高质量图像。我们证明了我们的模型的有效性，克服上述三个限制，通过与其他方法的CelebA人脸数据库进行比较。pytorch的实现可以在https://github.com/Prinsphield/ELEGANT上找到。
2018-07-25 cs.CV
Shape-aware Generative Adversarial Networks for Attribute Transfer
Kansas State University（堪萨斯州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
生成对抗网络（GANs）已成功应用于许多领域的视觉属性传输，包括人脸图像。这一成功部分归因于人脸具有相似的形状以及眼睛，鼻子和嘴巴的位置在不同的人之间是固定的。当源域和目标域共享不同的形状时，属性传递更具挑战性。在本文中，我们介绍了一个形状感知的GAN模型，能够保持形状时，属性转移，并提出其应用到一些现实世界的领域。与其他最先进的基于GAN的图像到图像翻译模型相比，我们提出的模型能够生成更具视觉吸引力的结果，同时保持迁移学习的结果质量。
2020-10-11 cs.CV
Exploring Gradient-based Multi-directional Controls in GANs
ModiFace Inc.（ModiFace公司）；University of Toronto（多伦多大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
生成对抗网络（GANs）已广泛应用于各种图像分布的建模。然而，尽管其令人印象深刻的应用，GANs中的潜在空间的结构在很大程度上仍然是一个黑盒子，留下其可控生成一个开放的问题，特别是当不同的语义属性之间的虚假相关性存在于图像分布。为了解决这个问题，以前的方法通常学习控制图像空间中的语义属性的线性方向或单个通道。然而，它们经常遭受不完美的解缠，或者无法获得多方向控制。在这项工作中，鉴于上述挑战，我们提出了一种新的方法，发现非线性控制，这使得多方向操纵以及有效的解纠缠，基于梯度信息的学习GAN潜在空间。更具体地说，我们首先通过跟踪分别在属性上训练的分类网络的梯度来学习插值方向，然后通过专门控制在学习方向上为目标属性激活的通道来导航潜在空间。从经验上讲，小训练数据，我们的方法是能够获得细粒度的控制在一组不同的双向和多向属性，我们展示了它的能力，实现解纠缠显着优于国家的最先进的方法，定性和定量。
2022-09-01 cs.CV
Cross-GAN Auditing: Unsupervised Identification of Attribute Level Similarities and Differences between Pretrained Generative Models
Oregon State University（俄勒冈州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对现有GAN审计工具仅支持粗粒度比较的局限，提出跨GAN审计（xGA）方法，可无监督识别预训练GAN间属性级的相似与差异，定量定性实验均验证其优于基线方法。
2023-05-02 cs.CV cs.LG
Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
可控制的语义图像编辑使得用户能够通过几次点击来改变整个图像属性，渐渐的让夏天的景色看起来像是冬天拍的。用于此任务的经典方法使用生成对抗网络（GAN）来学习潜在空间和合适的潜在空间变换。然而，当前的方法经常遭受纠缠的属性编辑、全局图像身份改变和减少的照片真实感。为了解决这些问题，我们同时学习多个属性转换，将属性回归集成到转换函数的训练中，并应用内容损失和对抗性损失，以鼓励维护图像身份和照片真实感。我们提出了定量评价策略，测量可控编辑性能，不像以前的工作，主要集中在定性评价。我们的模型允许更好地控制单属性和多属性编辑，同时保持图像的身份和现实主义在变换过程中。我们提供了自然和合成图像的经验结果，强调我们的模型实现了最先进的性能，有针对性的图像操作。
2021-03-28 cs.CV
High-Fidelity GAN Inversion for Image Attribute Editing
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯AI实验室）
提出一种高保真GAN反演框架，通过失真咨询反演（DCI）和自适应失真对齐（ADA）模块，在保留图像细节的同时实现高质量属性编辑。
2024-09-27 cs.CV
Resembled Generative Adversarial Networks: Two Domains with Similar Attributes
我们提出了一种新的算法，即类似生成对抗网络（GAN），同时生成两个不同的域数据，它们彼此相似。虽然最近的GAN算法在学习跨域关系方面取得了很大的成功，但它们的应用仅限于域转移，这需要输入图像。第一次尝试解决两个域的数据生成是由CoGAN提出的。然而，他们的解决方案本质上是脆弱的域相似性的各种水平。与CoGAN不同，我们的相似GAN隐式地诱导两个生成器来匹配来自两个域的特征协方差，从而导致共享语义属性。因此，我们有效地处理各种不同的两个域之间的结构和语义相似性。在不同数据集上的实验分析表明，该算法能够有效地生成两个属性相似的属性域。
2018-07-03 cs.CV
FACEGAN: Facial Attribute Controllable rEenactment GAN
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
人脸再现是一种流行的人脸动画方法，其中人的身份是从源图像和面部运动的驱动图像。最近的工作已经通过将基于面部标志的运动表示与生成对抗网络相结合来展示高质量的结果。如果源图像和驱动图像描绘的是同一个人，或者面部结构非常相似，则这些模型的性能最好。然而，如果身份不同，则驱动面部结构泄漏到输出，从而使再现结果失真。我们提出了一种新的面部属性可控再现GAN（FACEGAN），它通过动作单元（AU）表示从驾驶面部传输面部运动。与面部标志不同，AU独立于面部结构，防止身份泄露。此外，AU提供了一种人类可解释的方式来控制重演。FACEGAN分别处理背景和人脸区域，以优化输出质量。广泛的定量和定性比较表明，在一个单一的源重现任务的最先进的一个明显的改善。补充材料中提供的重演录像最好地说明了这些结果。源代码将在论文发表后提供。
2020-11-09 cs.CV
Disentangled Face Attribute Editing via Instance-Aware Latent Space Search
Beijing Institute of Technology（北京理工大学）
最近的研究表明，生成对抗网络（GANs）的潜在空间中存在丰富的语义方向集，这使得各种面部属性编辑应用成为可能。然而，现有的方法可能遭受不良的属性变化解开，导致不想要的改变时，改变所需的一个其他属性。现有的方法使用的语义方向是在属性级，这是很难建模复杂的属性相关性，特别是在属性分布的偏见存在于GAN的训练集。在本文中，我们提出了一种新的框架（IALS），执行实例感知的潜在空间搜索，找到语义方向解开属性编辑。实例信息是通过利用一组属性分类器对输入图像进行评估来注入的。我们进一步提出了一个解纠缠转换（DT）度量来量化属性转换和解纠缠效率，并在此基础上找到属性级和实例特定方向之间的最优控制因子。GAN生成的图像和真实世界图像的实验结果共同表明，我们的方法优于最近提出的最先进的方法。代码可在https://github.com/yxuhan/IALS上获得。
2021-05-27 cs.CV
Attribute-conditioned Layout GAN for Automatic Graphic Design
Beijing Institute of Technology（北京理工大学）；Adobe Inc.（Adobe公司）
造型布局是平面设计的重要第一步。最近，用于生成图形布局的方法已经取得了进展，特别是使用生成对抗网络（GANs）。然而，指定设计元素的位置和大小的问题通常涉及到与元素属性有关的约束，例如面积、纵横比和读取顺序。自动化属性条件图形布局仍然是一个复杂的和未解决的问题。在本文中，我们引入属性条件布局GAN纳入设计元素的属性，图形布局生成，迫使生成器和搜索引擎，以满足属性条件。由于图形设计的复杂性，我们进一步提出了一个元素丢弃的方法，使机器人看部分元素列表，并学习他们的本地模式。此外，我们介绍了各种损失的设计遵循不同的布局优化的设计原则。我们证明了所提出的方法可以合成的图形布局条件下，不同的元素属性。它还可以将精心设计的布局调整为新的大小，同时保留元素的原始读取顺序。通过用户研究验证了该方法的有效性。
2020-09-11 cs.CV cs.GR
GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis
Ritchie School of Engineering and Computer Science, University of Denver（丹佛大学里奇工程与计算机科学学院）；Department of Psychology, University of Tennessee（田纳西大学心理学系）；College of Arts, Humanities and Social Sciences, University of Denver（丹佛大学艺术、人文与社会科学学院）
生成对抗网络（GANs）能够合成高质量的面部图像。尽管取得了成功，但GANs并没有提供任何关于输入向量和生成图像之间关系的信息。目前，面部GANs是在不平衡的数据集上训练的，这会产生不太多样化的图像。例如，我们使用StyleGAN 3随机合成的10万张图像中，超过77%被归类为快乐，只有大约3%被归类为愤怒。当需要混合面部属性时，问题甚至变得更糟：生成的样本中只有不到1%是愤怒的女人，只有大约2%是快乐的黑人。为了解决这些问题，本文提出了一个名为GANalyzer的框架，用于分析和操纵训练有素的GANs的潜在空间。GANalyzer由一组转换函数组成，旨在操作特定面部属性（如面部表情，年龄，性别和种族）的潜在向量。我们分析了GANs的潜在空间中的面部属性纠缠，并应用所提出的变换来编辑解纠缠的面部属性。我们的实验结果证明了GANalyzer在编辑面部属性和生成任何所需面部方面的优势。我们还创建并发布了一个平衡的照片逼真的人脸数据集。我们的代码在GitHub上公开。
2023-02-02 cs.CV cs.LG
Two Birds with One Stone: Transforming and Generating Facial Images with Iterative GAN
Michigan State University（密歇根州立大学）；Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
生成具有不同面部属性的高保真身份保持人脸具有广泛的应用。虽然已经有许多生成模型被开发出来来解决这个问题，但是仍然有很大的改进空间。特别是，目前的解决方案通常忽略图像的感知信息，我们认为这有利于在输出高质量图像的同时保留身份信息，特别是在面部属性学习领域。为此，我们提出通过用综合损失正则化最小-最大过程来迭代地训练GAN，该综合损失不仅包括每像素损失，还包括感知损失。与现有的方法只处理图像生成或变换相比，我们提出的迭代架构可以同时实现这两个目标。在多标签人脸数据集CelebA上的实验表明，该模型在识别多个属性、生成高质量图像以及属性可控的图像变换等方面具有良好的性能。
2018-03-07 cs.CV
Sparsely Grouped Multi-task Generative Adversarial Networks for Facial Attribute Manipulation
Shandong University（山东大学）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University（浙江大学）
最近的图像到图像翻译算法在神经风格转换和图像属性操作任务方面取得了重大进展。然而，现有的方法需要详尽地标记训练数据，这需要劳动力，难以扩大规模，并且难以迁移到新的领域。为了克服这样一个关键限制，我们提出了稀疏分组生成对抗网络（SG-GAN）作为一种新方法，可以在稀疏分组的数据集上翻译图像，其中只有少数用于训练的样本被标记。SG-GAN使用一种新颖的单输入多输出架构，非常适合处理稀疏分组学习和多任务学习。所提出的模型可以只使用一个常用的训练模型在多个组之间转换图像。为了实验验证新模型的优点，我们应用所提出的方法来解决一系列的面部图像的属性操作任务。实验结果表明，SG-GAN可以生成与基线方法在充分标记的数据集上具有可比质量的图像翻译结果，并且在稀疏分组的数据集上具有优异质量的结果。官方实现可公开获取：https://github.com/zhangqianhui/Sparsely-Grouped-GAN。
2020-05-28 cs.CV
Unsupervised Discovery of Disentangled Manifolds in GANs
University of California at Merced（加州大学默塞德分校）
由于最近的生成模型可以生成照片般逼真的图像，人们试图了解生成过程背后的机制。可解释的生成过程有利于各种图像编辑应用。在这项工作中，我们提出了一个框架，发现潜在空间中的任意预训练的生成对抗网络可解释的方向。我们建议学习从表示不同属性的先前独热向量到预训练模型使用的潜在空间的转换。此外，我们应用一个质心损失函数，以提高一致性和平滑性，同时通过不同的方向遍历。我们证明了所提出的框架在广泛的数据集上的有效性。所发现的方向向量被示出为在视觉上对应于各种不同的属性，并且因此使得能够进行属性编辑。
2020-11-29 cs.CV
MU-GAN: Facial Attribute Editing based on Multi-attention Mechanism
North China Electric Power University（华北电力大学）；Liaoning Shihua University（辽宁石油化工大学）；New Jersey Institute of Technology（新泽西理工学院）；Shandong University of Science and Technology（山东科技大学）
人脸属性编辑主要有两个目标：1）将图像从源域转换到目标域; 2）只改变与目标属性相关的人脸区域，并保留不包含属性的细节。在这项工作中，我们提出了一个多注意力U-网为基础的生成对抗网络（MU-GAN）。首先，我们在生成器中用对称的U-Net结构替换经典的卷积编码器-解码器，然后应用附加的注意力机制来构建基于注意力的U-Net连接，用于自适应地传输编码器表示，以补充具有属性排除细节的解码器，并增强属性编辑能力。第二，将自我注意力机制并入卷积层中，用于对跨图像区域的远程和多级依赖性进行建模。实验结果表明，该方法能够平衡属性编辑能力和细节保持能力，并能解耦属性间的相关性。它优于国家的最先进的方法在属性操作的准确性和图像质量。
2020-09-09 cs.CV cs.GR
ExFaceGAN: Exploring Identity Directions in GAN's Learned Latent Space for Synthetic Identity Generation
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
本研究提出ExFaceGAN框架，通过学习身份方向边界解耦预训练GAN潜在空间，无需专用架构和属性分类器监督即可生成多份同身份合成人脸样本，已在三种主流GAN上验证有效性，其生成数据可用于训练人脸识别模型。
2023-07-18 cs.CV
Low-Rank Subspaces in GANs
Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；ByteDance Inc.（字节跳动有限公司）
生成对抗网络（GAN）的潜在空间已被证明在某些子空间内编码丰富的语义。为了识别这些子空间，研究人员通常分析来自合成数据集合的统计信息，并且所识别的子空间倾向于全局地控制图像属性（即，操纵属性导致整个图像的改变）。相比之下，这项工作引入了低秩子空间，使更精确的控制GAN生成。具体地，给定任意图像和感兴趣区域（例如，人脸图像的眼睛），我们设法与雅可比矩阵的图像区域的潜在空间，然后使用低秩分解发现可操纵的潜在子空间。我们的方法有三个明显的优势，可以恰当地称为LowRankGAN。首先，与现有的解析算法相比，我们的雅可比矩阵的低秩分解能够找到属性流形的低维表示，使图像编辑更加精确和可控。其次，低秩因子分解自然产生属性的零空间，使得在其中移动潜在代码仅影响感兴趣的外部区域。因此，局部图像编辑可以简单地通过将属性向量投影到零空间中来实现，而不像现有方法那样依赖于空间掩模。第三，我们的方法可以鲁棒地从一个图像中的局部区域进行分析，但可以很好地推广到其他图像，使其在实践中更容易使用。在各种数据集上训练的最先进的GAN模型（包括StyleGAN 2和BigGAN）上进行的广泛实验证明了我们的LowRank GAN的有效性。
2021-11-30 cs.CV
GAN-Control: Explicitly Controllable GANs
Amazon（亚马逊）
我们提出了一个训练GANs的框架，对生成的图像进行显式控制。我们能够通过设置确切的属性（如年龄，姿势，表情等）来控制生成的图像。大多数编辑GAN生成的图像的方法都是通过利用潜在的空间解纠缠属性来实现部分控制的，这些属性是在标准GAN训练后隐式获得的。这种方法能够改变某些属性的相对强度，但不显式地设置它们的值。最近提出的方法，旨在显式控制人脸，利用变形的3D人脸模型，以允许在GANs细粒度的控制能力。与这些方法不同的是，我们的控制是不受约束的变形三维人脸模型参数，并可扩展到人类面部以外的领域。使用对比学习，我们获得了具有显式解纠缠潜在空间的GANs。这种解纠缠被用来训练控制编码器，将人类可解释的输入映射到合适的潜在向量，从而允许显式控制。在人脸领域，我们展示了对身份，年龄，姿势，表情，头发颜色和照明的控制。我们还展示了我们的框架在绘画肖像和狗图像生成领域的控制能力。我们证明了我们的方法在定性和定量上都达到了最先进的性能。
2021-10-03 cs.CV
Region-Based Semantic Factorization in GANs
The Hong Kong University of Science and Technology（香港科技大学）；ByteDance（字节跳动）；The Chinese University of Hong Kong（香港中文大学）；Ant Research（蚂蚁研究院）
尽管生成对抗网络（GANs）的潜在空间中的语义发现快速发展，但现有方法要么限于查找全局属性，要么依赖于许多分割掩码来识别局部属性。在这项工作中，我们提出了一个高效的算法来分解GANs学习到的关于任意图像区域的潜在语义。具体地说，我们重新审视了使用预训练的GANs进行局部操作的任务，并将基于区域的语义发现公式化为双重优化问题。通过适当定义的广义瑞利商，我们设法解决这样的问题，没有任何注释或培训。各种国家的最先进的GAN模型上的实验结果表明，我们的方法的有效性，以及其优于现有技术的精确控制，区域鲁棒性，实现速度，和使用简单。
2022-08-24 cs.CV
Detection, Attribution and Localization of GAN Generated Images
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Mayachitra, Inc.（Mayachitra公司）；University of California（加州大学）
生成对抗网络（GANs）的最新进展导致创建了逼真的数字图像，这对人类或计算机的检测构成了重大挑战。GANs用于各种任务，从修改图像的小属性（StarGAN [14]），在图像对之间传输属性（CycleGAN [91]），以及生成全新的图像（ProGAN [36]，StyleGAN [37]，SPADE/GauGAN [64]）。在本文中，我们提出了一种新的方法来检测，属性和定位GAN生成的图像，结合图像特征与深度学习方法。对于每幅图像，在不同方向（水平、垂直和对角线）的RGB通道的邻域像素上计算共生矩阵。然后在这些特征上训练深度学习网络，以检测、归属和定位这些GAN生成/操纵的图像。在5个GAN数据集上对我们的方法进行了大规模评估，包括超过276万张图像（ProGAN，StarGAN，CycleGAN，StyleGAN和SPADE/GauGAN），在检测GAN生成的图像方面显示了有希望的结果。
2020-07-20 cs.CV eess.IV
Hybrid Vision Transformer_GAN Attribute Neutralizer for Mitigating Bias in Chest X_Ray Diagnosis
本研究通过替换U-Net卷积编码器为视觉Transformer，减少胸部X光诊断中的性别偏见，同时保持诊断准确性。
2026-01-21 cs.CV
GANalyze: Toward Visual Definitions of Cognitive Image Properties
MIT（麻省理工学院）；KU Leuven（鲁汶大学）
我们引入了一个框架，该框架使用生成对抗网络（GANs）来研究认知特性，如记忆力，美学和情感效价。这些属性很有趣，因为我们没有一个具体的视觉定义。一只狗看起来是什么样的，或多或少令人难忘？GANs使我们能够生成多种外观自然的图像，其视觉属性具有细粒度差异。通过在增加记忆力的方向上导航这个流形，我们可以可视化特定生成的图像变得或多或少令人难忘的样子。由此产生的"视觉定义”表面图像属性（如"对象大小”）可能是可记忆性的基础。通过行为实验，我们验证了我们的方法确实发现了因果关系影响人类记忆性能的图像操作。我们进一步证明，同样的框架可以用来分析图像美学和情感效价。访问GANalyze网站http://ganalyze.csail.mit.edu/。
2019-06-24 cs.CV
Multi-Attribute Balanced Sampling for Disentangled GAN Controls
Lecnam；CNAM（法国国立高等工业与技术学院（CNAM））；CEA（法国原子能与替代能源委员会（CEA））
可以从预训练的GAN的潜在空间中提取对所生成的数据的各种控制，因为它隐式地编码了训练数据的语义。发现的控件允许在生成的图像中改变语义属性，但通常会导致同时影响多个属性的纠缠编辑。监督方法通常对潜在代码的集合进行采样和注释，然后在潜在空间中训练分类器以识别控件。由于GANs生成的数据反映了原始数据集的偏差，因此产生的语义控制也是如此。我们建议通过对生成的数据进行二次采样来消除过度代表的共现属性，从而在训练分类器之前平衡数据集的语义。我们证明了这种方法的有效性，通过提取解纠缠的线性方向上的两个流行的GAN架构，PGGAN和风格GAN，和两个数据集，CelebAHQ和FFHQ的人脸操作。我们表明，这种方法优于国家的最先进的基于分类器的方法，同时避免了需要解开强制后处理。
2022-01-27 cs.AI cs.CV cs.LG
Directional GAN: A Novel Conditioning Strategy for Generative Networks
Adobe（奥多比）；Amazon（亚马逊）
图像内容是营销活动、网站和横幅广告中的主要因素。今天，营销人员和设计师花费大量的时间和金钱来生成这种专业质量的内容。我们使用生成对抗网络（GANs）简化了这一过程。我们提出了一个简单而新颖的条件策略，它允许使用一个无条件的图像生成任务训练的生成器生成给定的语义属性条件下的图像。我们的方法是基于修改潜在的向量，使用方向向量的相关语义属性在潜在的空间。我们的方法被设计为与离散（二进制和多类）和连续图像属性。我们展示了我们提出的方法的适用性，命名为定向GAN，在多个公共数据集上，不同属性的平均准确率为86.4%。
2021-05-13 cs.CV cs.NE
Matched sample selection with GANs for mitigating attribute confounding
University of California at Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）；Amazon Web Services（亚马逊网络服务）
随着视觉系统在社会中的广泛使用，测量这些系统在性别和年龄等受保护属性方面的偏差至关重要。然而，基准数据集中属性之间的显著相关性使得很难将算法偏见与数据集偏差分开。为了减轻这种属性混淆在偏见分析，我们提出了一种匹配的方法，选择一个子集的图像从完整的数据集与平衡的属性分布在受保护的属性。我们的匹配方法首先以保留语义属性的方式将真实图像投影到生成对抗网络（GAN）的潜在空间上。然后，它在这个潜在空间中找到一个选定的受保护属性的图像匹配，产生一个数据集，其中语义和感知属性在受保护属性中得到平衡。我们验证投影和匹配策略与定性，定量和人类注释实验。我们在多个开源面部识别分类器的性别偏见背景下展示了我们的工作，并发现在通过匹配去除关键混杂因素后，偏见仍然存在。代码和文档可以在https://github.com/csinva/matching-with-gans上复制这里的结果并将方法应用于新数据。
2021-03-24 cs.AI cs.CV cs.LG
IntersectGAN: Learning Domain Intersection for Generating Images with Multiple Attributes
The University of Sydney（悉尼大学）；SenseTime（商汤科技）
生成对抗网络（GANs）在生成各种视觉内容方面取得了巨大成功。然而，由现有GANs生成的图像通常具有属性（例如，微笑表情）。因此，生成多属性的图像需要收集具有多个属性的许多真实样本，这是非常资源昂贵的。在本文中，我们提出了一种新的GAN，即Intersect GAN，学习多个属性从不同的图像域通过交叉架构。例如，给定具有某些属性的两个图像域$X_1$和$X_2$，交集$X_1 \cap X_2$表示其中图像拥有来自$X_1$和$X_2$域两者的属性的新域。建议的IntersectGAN由两个鉴别器$D_1$和$D_2$，以区分不同域的生成样本和真实样本，以及三个生成器，其中交叉生成器针对两个鉴别器进行训练。在三个生成器上定义了一个总体对抗性损失函数。因此，我们提出的IntersectGAN可以在多个域上进行训练，每个域都有一个特定的属性，最终消除了同时拥有多个属性的真实样本图像的需要。通过使用CelebFaces属性数据集，我们提出的IntersectGAN能够产生具有多个属性的高质量人脸图像（例如，一张有着黑色头发和微笑表情的脸）。定性和定量评估进行比较，我们提出的IntersectGAN与其他基线方法。此外，IntersectGAN的几个不同的应用程序进行了探索，并取得了可喜的成果。
2019-10-03 cs.CV
Editing Out-of-domain GAN Inversion via Differential Activations
South China University of Technology（华南理工大学）；Ocean University of China（中国海洋大学）；The Hong Kong Polytechnic University（香港理工大学）
尽管在预训练的GAN模型的潜在空间中展示了编辑能力，但反转真实世界图像陷入了重建无法忠实于原始输入的困境。其主要原因是训练数据和真实世界数据之间的分布不对齐，并且由于此，用于真实图像编辑的GAN反演不稳定。在本文中，我们提出了一种新的GAN事先基于编辑框架来解决域外反演问题的组合分解范式。特别是，在阶段的组成，我们引入了一个差分激活模块，从全球的角度来看，\ie，编辑和未编辑的图像的功能之间的相对差距检测语义变化。借助生成的Diff-CAM掩模，可以通过成对的原始图像和编辑图像直观地合成粗略重建。通过这种方式，属性无关区域可以几乎完整地保留下来，而这样的中间结果的质量仍然受到不可避免的重影效应的限制。因此，在分解阶段，我们进一步提出了一个基于GAN先验的去重影网络，用于将最终的精编辑图像与粗重建图像分离。广泛的实验表现出优于国家的最先进的方法，在定性和定量评价方面。我们的方法的鲁棒性和灵活性也验证了单属性和多属性操作的情况下。
2022-07-17 cs.CV
MC-GAN: Multi-conditional Generative Adversarial Network for Image Synthesis
Seoul National University（首尔国立大学）；Naver Corp.（NAVER公司）；CLOVA AI Research（CLOVA人工智能研究院）
在本文中，我们介绍了一种新的方法，用于生成一个目标图像的文本属性在一个所需的位置，当基图像给定。进一步的文本到图像生成的现有研究主要集中在对象的外观，所提出的方法的目的是生成一个对象图像保留给定的背景信息，这是在这一领域的第一次尝试。为了解决这个问题，我们提出了一个多条件GAN（MC-GAN），它同时控制对象和背景信息。作为MC-GAN的核心组成部分，我们提出了一个合成块，它在训练阶段解开对象和背景信息。该块使得MC-GAN能够通过使用来自文本属性的前景信息控制来自给定基础图像的背景信息的量来生成具有期望背景的真实对象图像。通过对Caltech-200鸟和Oxford-102花数据集的实验，我们证明了我们的模型能够生成分辨率为128 x 128的照片级逼真图像。MC-GAN的源代码已经发布。
2018-08-15 cs.CV
The GAN that Warped: Semantic Attribute Editing with Unpaired Data
University of Bath（巴斯大学）；Anthropics Technology Ltd.（Anthropics技术有限公司）；University of Sussex（苏塞克斯大学）
本文提出通过平滑扭曲场进行语义图像编辑，利用生成对抗网络在无配对数据下实现高分辨率人脸编辑，有效保持身份特征。
2020-03-05 cs.CV
Interpreting the Latent Space of GANs for Semantic Face Editing
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
尽管最近生成对抗网络（GANs）在高保真图像合成方面取得了进展，但人们对GANs如何将从随机分布中采样的潜在代码映射到照片般逼真的图像缺乏足够的理解。以前的工作假设GANs学习的潜在空间遵循分布式表示，但观察到向量算术现象。在这项工作中，我们提出了一个新的框架，称为InterFaceGAN，通过解释GANs学习的潜在语义来进行语义人脸编辑。在这个框架中，我们进行了详细的研究如何不同的语义编码的潜在空间的GANs的人脸合成。我们发现，经过良好训练的生成模型的潜在代码实际上在线性变换后学习了一个解纠缠的表示。我们探讨了各种语义之间的解纠缠，并设法与子空间投影解耦一些纠缠的语义，从而更精确地控制面部属性。除了操纵性别、年龄、表情和眼镜的存在，我们甚至可以改变面部姿势，并修复GAN模型意外生成的伪影。当与GAN反演方法或一些编码器相关模型结合时，所提出的方法进一步应用于实现真实图像操作。大量的研究结果表明，学习合成脸自发地带来了一个解开和可控的面部属性表示。
2020-03-31 cs.CV
Changing the Image Memorability: From Basic Photo Editing to GANs
The Norwegian Colour and Visual Computing Laboratory, NTNU（挪威科技大学挪威色彩与视觉计算实验室）
可互换性被认为是视觉内容的一个重要特征，而对于广告和教育目的，它通常是至关重要的。尽管有许多关于理解和预测图像记忆的研究，但在记忆修改方面几乎没有成果。在这项工作中，我们研究了两种图像编辑方法- GAN和经典的图像处理-并展示了它们对记忆力的影响。直接影响记忆力的视觉特征目前尚不清楚，因此无法对其进行人工控制。作为解决方案，我们让GAN使用标记数据深入学习它，然后将其用于新图像的条件生成。通过与编辑面部属性的算法类比，我们将记忆力视为另一个属性，并以相同的方式对其进行操作。所获得的数据对于分析也是有趣的，这仅仅是因为没有在保留图像的其他属性的同时成功改变图像可记忆性的真实例子。我们相信，这可能会给许多新的答案的问题“是什么使一个图像难忘？“除此之外，我们还研究了传统照片编辑工具（Photoshop，Instagram等）的影响。每天都被广泛的受众用来记忆。在这种情况下，我们从真正的实际方法出发，利用统计学和记忆性预测的最新进展来研究它。摄影师，设计师和广告商将直接受益于这项研究的结果。
2019-04-20 cs.CV
High Resolution Face Editing with Masked GAN Latent Code Optimization
人脸编辑是计算机视觉和图像处理领域的一个热门研究课题。虽然最近在这一领域取得了重大进展，但现有的解决方案：（i）仍然主要集中在低分辨率图像上，（ii）经常生成具有视觉伪影的编辑结果，或者（iii）缺乏细粒度控制，并且在尝试生成所需的面部语义时一次更改多个（纠缠的）属性。在本文中，我们的目标是通过一种名为MaskFaceGAN的新型属性编辑方法来解决这些问题，该方法专注于本地属性编辑。所提出的方法基于直接优化预训练的（最先进的）生成对抗网络（即，StyleGAN 2）关于几个约束，确保：（i）保存相关图像内容，（ii）生成目标面部属性，以及（iii）局部图像区域的空间选择性处理。的约束条件的实施与（微分）属性分类器和面部解析器，提供必要的参考信息的优化过程的帮助。MaskFaceGAN在CelebA-HQ，Helen和SiblingsDB-HQf数据集上进行了广泛的实验，并与文献中的几种最先进的技术进行了比较，即，StarGAN、AttGAN、STGAN和InterFaceGAN的两个版本。我们的实验结果表明，所提出的方法是能够编辑面部图像的几个本地面部属性与前所未有的图像质量和高分辨率（1024 x1024），同时表现出相当少的问题与属性纠缠比竞争的解决方案。源代码可从以下网站免费获得：https://github.com/MartinPernus/MaskFaceGAN。
2023-02-06 cs.CV
FICGAN: Facial Identity Controllable GAN for De-identification
Samsung SDS（三星SDS）；Seoul National University（首尔大学）；POSTECH（浦项工科大学）
在这项工作中，我们提出了面部身份可控GAN（FICGAN），不仅可以生成高质量的去识别人脸图像，确保隐私保护，而且还可以详细控制属性保存，以增强数据效用。基于这两个因素，我们解决了较少探索但期望的人脸去识别功能。首先，我们专注于具有挑战性的问题，以获得高水平的隐私保护在去识别任务，同时不妥协的图像质量。其次，我们分析了与身份和非身份相关的面部属性，并探索了面部去识别程度和保留源属性以增强数据效用之间的权衡。基于分析，我们开发了面部身份可控GAN（FICGAN），这是一种基于自动编码器的条件生成模型，可以学习将面部图像上的身份属性与非身份属性区分开来。通过应用流形k-same算法来满足k-匿名性以增强安全性，我们的方法在去身份化的人脸图像中实现了增强的隐私保护。大量的实验表明，我们的模型优于其他人在各种情况下的人脸去识别。
2021-10-02 cs.AI cs.CV
Fully-Featured Attribute Transfer
Xidian University（西安电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Sydney（悉尼大学）
图像属性迁移是指将输入图像转换为具有期望属性的目标图像，近年来受到了广泛的关注。然而，大多数现有方法缺乏将目标属性和无关信息去相关的能力，即，其他属性和背景信息，因此经常受到模糊和伪像的影响。为了解决这些问题，我们提出了一种新的属性流形编码GAN（AME-GAN）的全功能属性传输，它可以修改和调整图像中的每一个细节。具体地说，我们的方法将输入图像分为流形上的图像属性部分和图像背景部分，分别由属性潜变量和背景潜变量控制。通过将属性潜变量强制为高斯分布，将背景潜变量强制为均匀分布，使得属性传递过程变得可控，图像生成更加真实。此外，我们还采用了条件多尺度插值算法来绘制准确、高质量的目标属性图像。在三个流行数据集上的实验结果表明，我们提出的方法在属性传递和图像生成质量的性能上都具有优越性。
2019-02-17 cs.CV
Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency
National Yang Ming Chiao Tung Univ.（国立阳明交通大学）；Hiroshima Univ.（广岛大学）
神经科学研究表明，大脑编码视觉内容并将信息嵌入神经活动中。最近，深度学习技术通过使用生成对抗网络（GANs）将大脑活动映射到图像刺激来促进解决视觉重建的尝试。然而，这些研究都没有考虑潜在代码在图像空间中的语义意义。省略语义信息可能会限制性能。在这项研究中，我们提出了一个新的框架来重建面部图像的功能磁共振成像（fMRI）数据。在此框架下，首先将GAN逆应用于训练图像编码器以提取图像空间中的潜在代码，然后使用线性变换将其桥接到fMRI数据。在使用属性分类器从fMRI数据中识别属性之后，决定操纵属性的方向，并且属性操纵器调整潜码以提高所见图像和重建图像之间的一致性。我们的实验结果表明，该框架实现了两个目标：（1）重建清晰的面部图像从fMRI数据和（2）保持语义特征的一致性。
2022-07-03 cs.CV cs.LG eess.IV
Information-theoretic stochastic contrastive conditional GAN: InfoSCC-GAN
University of Geneva（日内瓦大学）
条件生成是生成问题的一个子类，其中生成的输出是由属性信息条件。在本文中，我们提出了一个随机对比条件生成对抗网络（InfoSCC-GAN）与可探索的潜在空间。InfoSCC-GAN架构基于InfoNCE范式构建的无监督对比编码器，属性分类器和EigenGAN生成器。我们提出了一种新的训练方法，基于发电机正则化使用外部或内部属性的每$n$次迭代，使用一个预先训练的对比编码器和一个预先训练的分类器。所提出的InfoSCC-GAN是基于输入数据和潜在空间表示以及潜在空间和生成数据之间的互信息最大化的信息理论公式推导出来的。因此，我们证明了训练目标函数和上述信息理论公式之间的联系。实验结果表明，InfoSCC-GAN在AFHQ和CelebA数据集上的图像生成性能优于“香草”EigenGAN。此外，我们还通过消融研究调查了消融结构和损失函数的影响。最后，我们证明了由于EigenGAN生成器，所提出的框架与香草确定性GANs相比具有随机生成，但与现有框架相比，编码器，分类器和生成器的独立训练。代码、实验结果和演示可在https://github.com/vkinakh/InfoSCC-GAN上获得。
2021-12-17 cs.CV cs.LG
Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples
Technion - Israel Institute of Technology（以色列理工学院）
理解和控制生成模型的潜在空间是一项复杂的任务。在本文中，我们提出了一种新的方法来学习控制任何所需的属性在一个预先训练的GAN的潜在空间，相应地编辑合成和真实世界的数据样本的目的。我们执行Sim 2 Real学习，依靠最少的样本来实现无限量的连续精确编辑。我们提出了一个基于Autoencoder的模型，该模型学习对图像之间变化的语义进行编码，作为以后编辑新样本的基础，实现精确的预期结果-如图1所示的示例。虽然先前的编辑方法依赖于潜在空间的已知结构（例如，StyleGAN中某些语义的线性），我们的方法本质上不需要任何结构约束。我们在面部图像领域展示了我们的方法：编辑不同的表情，姿势和照明属性，实现最先进的结果。
2021-11-17 cs.CV
Analyzing the Latent Space of GAN through Local Dimension Estimation
Korea Institute for Advanced Study（韩国高等研究院）；Seoul National University（首尔国立大学）
本文提出预训练 GAN 中间层的局部维度估计算法，并以纯几何指标 Distortion 无监督评估潜在空间解耦程度。
2023-04-26 cs.CV
Designing a 3D-Aware StyleNeRF Encoder for Face Editing
University of Chinese Academy of Sciences（中国科学院大学）；Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心）
GAN反演已被用于许多人脸操作任务中，但2D GANs通常无法生成多视图3D一致图像。为2D GANs设计的编码器不能为反演和编辑提供足够的3D信息。因此，提出了3D感知的GAN反演以增加GANs的3D编辑能力。然而，3D感知的GAN反演仍然未被充分探索。为了解决这个问题，我们提出了一个三维感知（3Da）编码器的GAN反转和人脸编辑的基础上强大的StyleNeRF模型。我们提出的3Da编码器结合了一个参数化的三维人脸模型与一个可学习的细节表示模型，以生成几何，纹理和视图方向代码。为了更灵活的人脸操作，我们设计了一个双分支的StyleFlow模块来传输StyleNeRF代码，并将其与几何和纹理流分离。大量的实验表明，我们实现了三维一致的人脸操作在面部属性编辑和纹理转移。此外，对于视频编辑，我们使帧代码序列共享一个共同的规范流形，这提高了编辑属性的时间一致性。
2023-02-19 cs.CV
Learning a Deep Reinforcement Learning Policy Over the Latent Space of a Pre-trained GAN for Semantic Age Manipulation
International Institute of Information Technology, Bangalore（国际信息技术学院班加罗尔分校）；Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
学习潜在空间的解纠缠表示已成为计算机视觉研究的最基本问题之一。最近，许多生成对抗网络（GANs）在生成高保真图像方面表现出了良好的效果。然而，理解预训练模型潜在空间的语义布局的研究仍然有限。几项工作训练条件GANs以生成具有所需语义属性的面部。不幸的是，在这些尝试中，生成的输出通常不像无条件的最先进的模型那样具有照片般的真实感。此外，它们还需要大量的计算资源和特定的数据集来生成高保真图像。在我们的工作中，我们已经制定了一个马尔可夫决策过程（MDP）的潜在空间的预训练GAN模型学习的条件策略语义操作下定义的身份界限下的特定属性。此外，我们已经定义了一个语义年龄操纵计划，使用局部线性近似的潜在空间。结果表明，我们学习的政策样本高保真图像所需的年龄变化，同时保留的人的身份。
2021-04-28 cs.CV
Mask-aware Photorealistic Face Attribute Manipulation
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Beijing Sensetime Tech. Dev. Co., Ltd（北京商汤科技开发有限公司）
人脸属性操作的任务已经发现越来越多的应用，但仍然具有挑战性的要求，编辑的属性的人脸图像，同时保持其独特的细节。在本文中，我们选择结合变分自动编码器（VAE）和生成对抗网络（GAN）的真实感图像生成。我们提出了一种有效的方法来修改编码器的特征图中的适量像素，不断改变属性强度，而不妨碍全局信息。我们的VAE和GAN的训练目标通过监督人脸识别损失和周期一致性损失来加强，以忠实地保留人脸细节。此外，我们生成了面部面具来加强背景一致性，这使得我们的训练专注于操纵前景人脸而不是背景。实验结果表明，我们的方法，称为面具对抗自动编码器（M-AAE），可以生成高质量的图像与不断变化的属性，并优于以前的方法在细节保护。
2018-04-24 cs.CV
Robust Conditional GAN from Uncertainty-Aware Pairwise Comparisons
Rutgers University（罗格斯大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Tencent YouTu Lab（腾讯优图实验室）；JD Finance America Corporation（京东金融美国公司）
在过去的几年里，条件生成对抗网络表现出了卓越的生成性能。然而，它们需要大量的注释。为了解决这个问题，我们提出了一种新的生成对抗网络，利用成对比较（PC-GAN）形式的弱监督进行图像属性编辑。通过贝叶斯不确定性估计和抗噪对抗训练，PC-GAN能够有效地估计属性等级，并具有较强的抗噪能力。通过大量的实验，我们定性和定量地证明了PC-GAN在完全监督的方法下表现出色，并且优于无监督的基线。
2020-03-05 cs.CV cs.LG
