Tensor Component Analysis for Interpreting the Latent Space of GANs
Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（帝国理工学院）；University of Athens（雅典大学）；The Cyprus Institute（塞浦路斯研究院）
本文解决了在预训练的生成对抗网络（GANs）的潜在空间中找到可解释方向的问题，以促进可控图像合成。这种可解释的方向对应于可以影响合成图像的样式和几何形状两者的变换。然而，现有的方法，利用线性技术来找到这些转换往往无法提供一个直观的方式来分开这两个来源的变化。为了解决这个问题，我们建议a）对中间表示的张量进行多线性分解，b）使用基于张量的回归将使用这种分解找到的方向映射到潜在空间。我们的方案允许对应于张量的各个模式的线性编辑，以及对它们之间的乘法相互作用进行建模的非线性编辑。我们的实验表明，我们可以利用前者，以更好地分离的风格，从几何为基础的转换，和后者生成一个扩展的一组可能的转换相比，以前的作品。我们证明了我们的方法的有效性定量和定性相比，目前的最先进的。
2021-11-23 cs.CV
Optimizing the Latent Space of Generative Networks
Facebook AI Research（脸书人工智能研究院）
生成对抗网络（GANs）在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中，GAN模型有两个共同的方面：解决一个具有挑战性的鞍点优化问题，解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是，我们介绍了生成潜在优化（GLO），这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验，我们证明了GLO具有GANs的许多理想特性：合成视觉上吸引人的样本，在样本之间进行有意义的插值，以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Interpreting Latent Spaces of Generative Models for Medical Images using Unsupervised Methods
University of Copenhagen（哥本哈根大学）；Rigshospitalet（哥本哈根大学国立医院）
生成对抗网络（GANs）和变分自编码器（VAE）等生成模型在医学图像分析中发挥着越来越重要的作用。这些模型的潜在空间通常显示与人类可解释的图像变换相对应的语义上有意义的方向。然而，到目前为止，由于监督数据的要求，他们对医学图像的探索受到了限制。在GAN潜在空间中无监督发现可解释方向的几种方法在自然图像上显示出有趣的结果。这项工作探讨了将这些技术应用于医学图像的潜力，通过在胸部CT扫描上训练GAN和VAE，并使用无监督的方法来发现由此产生的潜在空间中的可解释方向。我们发现几个方向对应于非平凡的图像变换，如旋转或乳房大小。此外，这些方向表明，生成模型捕捉3D结构，尽管只呈现2D数据。结果表明，在GANs中发现可解释方向的无监督方法可推广到VAE，并可应用于医学图像。这打开了一个广泛的未来的工作，使用这些方法在医学图像分析。
2022-07-20 cs.CV cs.LG eess.IV
Interpreting CNN Predictions using Conditional Generative Adversarial Networks
Amrita Vishwa Vidyapeetham（阿米塔大学）；Universitat Politècnica de Catalunya (UPC-BarcelonaTECH)（加泰罗尼亚理工大学（巴塞罗那理工大学））；Institut de Recerca Sant Joan de Déu (IRSJD)（圣胡安·德·德乌研究所）
本研究提出用条件GAN生成CNN视觉解释的方法，通过累积平均中间解释图构建适配表示，设计两种馈入与训练策略，经定性定量评估验证其跨架构跨数据集的通用性，发现CNN首尾层对解释同等重要，为深度学习赋能模型解释提供了新路径。
2023-11-09 cs.AI cs.CV
VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
Meta Reality Labs Research（Meta现实实验室）；KAUST（阿卜杜拉国王科技大学）
我们介绍了VIVE 3D，这是一种新颖的方法，它将基于图像的3D GANs的功能扩展到视频编辑，并且能够以保持身份和时间一致的方式表示输入视频。我们提出了两个新的组成部分。首先，我们介绍了一种新的GAN反演技术，专门针对3D GANs，通过联合嵌入多帧和优化相机参数。其次，除了传统的语义面部编辑（例如年龄和表情）之外，我们是第一个展示通过3D GANs的固有属性和我们的光流引导合成技术将头部与背景视频结合起来的头部新视图的编辑。我们的实验表明，VIVE3D从一系列相机视点生成高保真度的面部编辑，这些视点以时间和空间一致的方式与原始视频合成。
2023-03-28 cs.CV cs.GR cs.LG
Interpreting the Latent Space of Generative Adversarial Networks using Supervised Learning
R&D Lab, Sun* Inc（Sun*公司研发实验室）；Le Quy Don Technical University（黎鸿德技术大学）
近年来，随着生成对抗网络（GANs）的发展，对GAN潜在空间的理解和控制受到越来越多的关注。虽然大多数关于这个任务的研究都集中在无监督学习方法上，这导致了训练的困难和结果的限制，但我们的工作接近另一个方向，编码人类的先验知识，以发现更多关于GAN的隐藏空间。通过这种监督方式，我们产生了有希望的结果，通过对生成的图像进行精确操作来证明。尽管我们的模型更适合于特定于任务的问题，我们希望它的易于实现，精确性，鲁棒性，以及允许更丰富的属性集（与其他方法相比）的图像处理可以提高许多当前应用程序的结果。
2021-02-24 cs.CV cs.LG
Feedback GAN (FBGAN) for DNA: a Novel Feedback-Loop Architecture for Optimizing Protein Functions
Stanford University（斯坦福大学）
生成对抗网络（GANs）代表了一种有吸引力的新颖方法，可以在合成生物学中生成真实的数据，如基因，蛋白质或药物。在这里，我们应用GANs来生成编码可变长度蛋白质的合成DNA序列。我们提出了一种新的反馈环架构，称为反馈GAN（FBGAN），使用外部函数分析器优化合成基因序列的所需属性。所提出的架构还具有分析器不需要是可区分的优点。我们将反馈环机制应用于两个例子：1）生成编码抗菌肽的合成基因，以及2）优化合成基因以获得其所得肽的二级结构。一系列指标表明，GAN产生的蛋白质具有理想的生物物理特性。FBGAN架构还可用于优化GAN生成的数据点，以获得基因组学以外领域的有用属性。
2018-04-05 cs.LG cs.NE q-bio.GN
Tarsier: Evolving Noise Injection in Super-Resolution GANs
Facebook AI Research（脸书人工智能研究院）；Paris-Dauphine University（巴黎第九大学）；Université d’Antananarivo（塔那那利佛大学）；University of Konstanz（康斯坦茨大学）
超分辨率旨在提高图像的分辨率和细节水平。一般单图像超分辨率的现有技术由NESRGAN+保持，其在训练时间在每个残差层之后注入高斯噪声。在本文中，我们利用进化方法来改善NESRGAN+优化噪声注入在推理时间。更准确地说，我们使用对角CMA优化注入噪声根据一个新的标准相结合的质量评估和现实。我们的研究结果验证了Pestival知觉评分和人类的研究。我们的方法在几个标准的超分辨率数据集上优于NESRGAN+。更一般地说，我们的方法可以用于优化任何基于噪声注入的方法。
2020-09-25 cs.CV cs.LG eess.IV
Optimizing Generative Adversarial Networks for Image Super Resolution via Latent Space Regularization
自然图像可以被视为驻留在嵌入在高维欧几里得空间中的流形中。生成对抗网络（GANs）试图学习流形中真实图像的分布，以生成看起来真实的样本。但是，现有方法的结果仍然表现出许多令人不快的文物和失真，即使在所需的地面真实目标图像可用于监督学习的情况下，如在单图像超分辨率（SISR）。在本文中，我们探讨了如何减轻这些问题的监督GANs。我们显式地应用Lipschitz连续性条件（LCC）来正则化GAN。一个编码网络，映射的图像空间到一个新的最佳潜在的空间来自LCC，它是用来增强的GAN作为耦合组件。LCC也被转换为发电机损失函数中的新正则化项，以执行局部不变性。将GAN与编码网络一起进行优化，以使生成器收敛到更理想和更清晰的映射，从而生成更忠实于目标图像的样本。将所提出的模型应用于单幅图像的超分辨率问题时，其结果优于现有技术。
2021-01-09 cs.CV cs.LG eess.IV
Some Theoretical Properties of GANs
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LPSM（巴黎统计数学实验室）；Univ Rennes（雷恩大学）；IRMAR（雷恩数学应用研究所）；Criteo（科利特奥）
生成对抗网络（GANs）是一类生成算法，已被证明可以生成最先进的样本，特别是在图像创建领域。GANs的基本原理是通过生成器族和鉴别器族之间的对抗游戏来优化目标函数，从而近似给定数据集的未知分布。在本文中，我们通过分析GANs的一些数学和统计特性，提供了对GANs更好的理论理解。我们研究了GANs背后的对抗原则与Jensen-Shannon发散之间的深层联系，以及问题的一些最优性特征。还提供了一个分析的作用，通过近似参数的family。此外，从统计的角度研究了估计分布的大样本性质，并证明了一个中心极限定理。我们的一些结果与模拟的例子说明。
2018-03-21 cs.LG stat.ML
Visual Feature Attribution using Wasserstein GANs
ETH Zurich（苏黎世联邦理工学院）
在计算机视觉中，将输入图像的像素归属于某个类别是一个重要且研究得很好的问题，其应用范围从弱监督定位到理解数据中的隐藏效应。近年来，基于解释先前训练的神经网络分类器的方法已经成为事实上的最先进技术，并且通常用于医学以及自然图像数据集。在本文中，我们讨论了这些方法的局限性，这可能会导致只有一个子集的类别特定的功能被检测到。为了解决这个问题，我们开发了一种新的特征归因技术的基础上Wasserstein生成对抗网络（WGAN），不受此限制。我们表明，我们提出的方法在合成数据集和轻度认知障碍（MCI）和阿尔茨海默病（AD）患者的真实3D神经成像数据上的视觉归因方面的表现明显优于最先进的方法。对于AD患者的方法产生令人信服的现实的疾病影响地图是非常接近观察到的效果。
2018-06-26 cs.CV
Generative Minimization Networks: Training GANs Without Competition
ETH Zurich（苏黎世联邦理工学院）；Technion-Israel Institute of Technology（以色列理工学院）
机器学习中的许多应用可以被构造为最小化问题，并使用基于梯度的技术有效地解决。然而，最近生成模型的应用，特别是GANs，引发了人们对解决标准优化技术通常不适用的最小-最大游戏的兴趣。从业者经历的已知问题之一是缺乏收敛保证或收敛到非最优循环。这些问题的核心是GAN目标的最小-最大结构，它在参与者之间创建了非平凡的依赖关系。我们建议通过优化一个不同的目标来解决这个问题，该目标使用博弈论中的二元差距概念来规避最小-最大结构。我们提供了新的收敛保证在这个目标上，并证明了为什么得到的极限点解决问题比已知的技术。
2021-03-23 cs.AI cs.LG
Accelerated WGAN update strategy with loss change rate balancing
Illinois Institute of Technology（伊利诺伊理工学院）
优化生成对抗网络（GANs）中的迭代以完成内部训练循环在计算上是禁止的，并且在有限的数据集上会导致过拟合。为了解决这个问题，一个常见的更新策略是在针对CNOD的k个优化步骤和针对生成器G的一个优化步骤之间交替。该策略在各种GAN算法中重复，其中k根据经验选择。在本文中，我们证明了这种更新策略在精度和收敛速度方面不是最优的，并提出了一种新的更新策略，用于Wasserstein GANs（WGAN）和其他使用WGAN损失的GANs（例如WGAN-GP，Deflur GAN和Super-resolution GAN）。所提出的更新策略是基于G和D的损失变化率比较。我们证明，该策略提高了收敛速度和精度。
2020-11-03 cs.CV cs.LG eess.IV
Harnessing GANs for Zero-shot Learning of New Classes in Visual Speech Recognition
Adobe（奥多比）；NUS（新加坡国立大学）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）；Bloomberg（彭博）
视觉语音识别（VSR）是通过观察说话人的嘴唇运动来识别或解释语音的过程。最近的基于机器学习的方法将VSR建模为分类问题;然而，训练数据的稀缺性导致在预测看不见的类时具有非常低的准确性的易出错系统。为了解决这个问题，我们提出了一种通过使用生成对抗网络（GANs）生成新类来进行零样本学习的新方法，并展示了添加看不见的类样本如何将VSR系统的准确性提高27%，并使其能够处理与说话者无关的词汇表外短语。我们还表明，我们的模型是语言不可知的，因此能够无缝生成，使用英语训练数据，视频的一种新的语言（印地语）。据我们所知，这是第一个展示使用GANs在VSR领域中生成看不见的类的训练样本的经验证据的工作，从而促进了零样本学习。我们为新课程添加的视频与我们的代码一起公开。
2020-01-02 cs.LG stat.ML
On gradient regularizers for MMD GANs
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
我们提出了一种原则性的方法，用于对通过逆向优化最大均值离散（MMD）的内核训练的GAN类模型的批评者进行基于梯度的正则化。我们表明，控制梯度的评论家是至关重要的有一个明智的损失函数，并设计一种方法来执行精确的，分析梯度约束相比，现有的近似技术的基础上添加剂正则化没有额外的成本。新的损失函数是可证明连续的，实验表明它稳定并加速了训练，给出了在$160 \times 160$ CelebA和$64 \times 64$无条件ImageNet上优于最先进方法的图像生成模型。
2021-01-14 cs.LG stat.ML
Statistical Error Bounds for GANs with Nonlinear Objective Functionals
Texas State University（德克萨斯州立大学）
本文针对结合 $f$-散度与正则化判别器空间的非线性 $(f,Γ)$-GAN，利用新型 Rademacher 复杂度界建立有限样本统计误差界，证明其一致性并统一 IPM-GAN 结果。
2025-05-10 cs.LG stat.ML
Collaborative Training of GANs in Continuous and Discrete Spaces for Text Generation
Seoul National University（首尔国立大学）；Adobe Research（奥多比研究院）
由于语言的离散性，将生成对抗网络（GANs）应用于文本相关任务具有挑战性。一系列研究通过采用强化学习（RL）并直接在离散动作空间中优化下一个词的采样策略来解决这个问题。这种方法从完整的句子中计算奖励，避免了由于暴露偏差而导致的错误积累。其他方法采用近似技术，将文本映射到连续表示，以规避不可微的离散过程。特别是，基于自动编码器的方法有效地产生鲁棒的表示，可以模拟复杂的离散结构。在本文中，我们提出了一种新的文本GAN架构，促进连续空间和离散空间方法的协同训练。我们的方法采用自动编码器来学习隐式数据流形，为连续空间中的对抗训练提供学习目标。此外，完整的文本输出直接评估和更新通过RL在离散空间。两种对抗训练之间的协作相互作用有效地规范了不同空间中的文本表示。在三个标准基准数据集上的实验结果表明，我们的模型在质量，多样性和全局一致性方面大大优于最先进的文本GANs。
2020-11-04 cs.AI cs.CL cs.LG
Deconstructing Generative Adversarial Networks
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
我们将GANs的性能分解为三个部分：1.制定：我们提出了一个扰动的人口目标的GANs。基于这一解释，我们表明，GANs可以被视为一个泛化的强大的统计框架，并提出了一种新的GAN架构，称为级联GANs，可证明恢复有意义的低维生成器近似时，真正的分布是高维和破坏离群值。2.概括：给定GANs的种群目标，我们设计了一个系统的原则，在允许距离下的投影，设计GANs，以满足使用有限样本的种群要求。我们在三种情况下实现了我们的原理，以实现多项式和有时接近最优的样本复杂度：（1）在任意的时间间隔下学习任意的生成器;（2）在TV距离下学习高斯位置族，其中我们利用我们的原理为Tukey中值作为GANs的最优性提供了新的证明;（3）学习高维任意分布在Wasserstein距离下的低维高斯近似。我们展示了GANs中近似误差和统计误差的基本权衡，并展示了如何将我们的原理应用于经验样本来预测有多少样本足以用于GANs，以便不受获胜问题的影响。3.优化：我们证明了交替梯度下降在优化PCA的GAN公式时可证明不是局部渐近稳定的。我们诊断的问题是极大极小的对偶间隙是非零的，并提出了一个新的GAN架构的对偶间隙是零，其中的游戏的值等于以前的极大极小值（而不是最大值）。我们证明了新的GAN结构在交替梯度下降优化下是全局渐近稳定的。
2019-05-20 cs.AI cs.LG stat.ML
Data Interpolants -- That's What Discriminators in Higher-order Gradient-regularized GANs Are
Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世信息物理系统研究中心）；Indian Institute of Science（印度科学学院）
本文证明高阶梯度正则化 GAN 的最优判别器等价于 n 维多调和 RBF 数据插值，并提出 Poly-LSGAN 与 Poly-WGAN，闭式实现显著优于任意架构。
2023-06-01 cs.LG stat.ML
Learning Inverse Mapping by Autoencoder based Generative Adversarial Nets
Sichuan University（四川大学）
GANs的逆映射生成对抗网络（Generative Adversarial Nets）生成器具有很大的潜在价值。因此，人们已经开展了一些工作，通过直接学习或对抗学习来构造生成器的逆函数。虽然结果令人鼓舞，但该问题具有很高的挑战性，并且现有的GANs逆模型训练方法存在许多缺点，例如训练困难或性能差。由于这些原因，我们提出了一种新的方法，基于使用逆生成器（$IG$）模型作为编码器和预训练生成器（$G$）作为AutoEncoder网络的解码器来训练$IG$模型。在该模型中，AutoEncoder的输入和输出之间的差异被直接最小化，输入和输出都是预训练的GAN的生成器生成的图像。该优化方法克服了非一一对应函数的训练和逆模型的困难，并将GANs生成器的逆模型应用于图像搜索和翻译，实验结果表明，该方法在图像搜索中的效果优于传统方法。
2017-09-12 cs.LG
DisCO: Portrait Distortion Correction with Perspective-Aware 3D GANs
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Maryland, College Park（马里兰大学帕克分校）；Snap Inc.（Snap公司）
针对近距离特写入脸的透视畸变问题，本文提出 DisCO，通过透视感知 3D GAN inversion 联合优化相机参数与潜码，并引入调度和几何正则化，实现自然的人像校正。
2023-12-08 cs.CV
Learning Implicit Generative Models by Teaching Explicit Ones
Tsinghua University（清华大学）
隐式生成模型由于没有定义显式密度函数而难以训练。生成对抗网络（GANs）提供了一个极小极大框架来训练这样的模型，但是由于JS发散的性质，它可能会遭受模式坍塌。本文提出了一种通过教学学习（LBT）方法来学习隐式模型，该方法通过优化GANs中的KL发散而不是JS发散来避免模式坍塌问题。在LBT中，引入辅助密度估计来拟合隐模型的分布，而隐模型教导密度估计来匹配数据分布。LBT被表示为一个双层优化问题，其最优生成器与真实数据分布相匹配。LBT可以自然地与GANs集成，以获得享受免费好处的混合LBT-GAN。最后，我们提出了一种带展开的随机梯度上升算法来解决具有挑战性的学习问题。实验结果证明了该方法的有效性。
2020-06-24 cs.LG stat.ML
Interpreting Galaxy Deblender GAN from the Discriminator's Perspective
Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
生成对抗网络（GANs）以其无监督学习能力而闻名。最近在天文学领域的一项成功是通过分支GAN模型对两个重叠的星系图像进行去混合。然而，理解网络如何工作仍然是一个重大挑战，这对于非专家用户来说尤其困难。这项研究的重点是网络的主要组件之一，鉴别器，它起着至关重要的作用，但往往被忽视的行为，具体来说，我们增强了分层相关传播（LRP）计划，以生成基于热图的可视化。我们称这种技术为极化LRP，它由两部分组成，即地面真实图像的正贡献热图和生成图像的负贡献热图。使用Galaxy Zoo数据集，我们证明了我们的方法在区分生成的星系图像与地面真实图像时清楚地揭示了鉴别器的注意区域。为了连接鉴别器对生成器的影响，我们可视化了生成器在训练过程中的逐渐变化。一个有趣的结果，我们已经取得了检测有问题的数据增强过程，否则将保持隐藏。我们发现，我们提出的方法作为一个有用的视觉分析工具，更深入地了解GAN模型。
2020-01-17 cs.CV eess.IV
Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs
University of Oxford（牛津大学）
分类器和生成器早就分开了。我们打破了这种分离，并展示了传统的神经网络分类器可以生成大量类别的高质量图像，与最先进的生成模型（例如，DDPM和GANs）。我们通过计算分类损失函数相对于输入的偏导数来优化输入以产生图像来实现这一点。由于众所周知，直接优化的输入是类似于有针对性的对抗攻击无法生成人类有意义的图像，我们提出了一个基于掩码的随机重建模块，使梯度语义感知合成似是而非的图像。我们进一步提出了一个渐进的分辨率技术，以保证保真度，产生逼真的图像。此外，我们引入了距离度量损失和非平凡分布损失，以确保分类神经网络可以合成多样化和高保真的图像。使用传统的神经网络分类器，我们可以在ImageNet上生成256 $\times$ 256分辨率的高质量图像。有趣的是，我们的方法也适用于文本到图像生成的图像-文本基础模型作为广义分类器。证明分类器已经学习了数据分布并准备好生成图像具有深远的意义，因为分类器比DDPM和GANs等生成模型更容易训练。我们甚至不需要训练分类模型，因为有大量的公共模型可供下载。此外，这对于分类器的可解释性和鲁棒性具有巨大的潜力。项目页面位于\url{https://classifier-as-generator.github.io/}。
2022-12-08 cs.AI cs.CV cs.LG
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows
LAMSADE, CNRS（法国国家科学研究中心LAMSADE实验室）；Université Paris-Dauphine-PSL（巴黎第九大学（巴黎多菲纳大学））
提出 PR-divergences 训练框架，将用户指定的精确率-召回率权衡转化为 $f$-散度最小化，并提升 BigGAN 在 ImageNet 上的精确率或召回率。
2023-11-01 cs.LG
SAN: Inducing Metrizability of GAN with Discriminative Normalized Linear Layer
Sony AI（索尼人工智能）；The University of Tokyo（东京大学）；Sony Group Corporation（索尼集团公司）
该研究将 GAN 与切片最优传输联系起来，推导判别器可作为分布距离的条件，并提出只需简单修改即可改造现有 GAN 的 SAN 训练方案，实验验证其有效性并在 ImageNet 256×256 类别条件生成中取得最优 FID。
2024-04-10 cs.LG
How Does GAN-based Semi-supervised Learning Work?
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
生成对抗网络（GANs）已被广泛使用，并在半监督学习中取得了有竞争力的成绩。本文从理论上分析了基于GAN的半监督学习（GAN-SSL）的工作原理。我们首先证明，给定一个固定的生成器，优化GAN-SSL的优化等价于优化监督学习。因此，GAN-SSL中的最佳匹配预计在标记数据上是完美的。然后，如果完美的随机数可以进一步使优化目标达到其理论最大值，则最优生成器将匹配真实的数据分布。由于在实践中不可能达到理论上的最大值，因此不能期望获得用于生成数据的完美生成器，这显然与GANs的目标不同。此外，如果标记的数据可以遍历数据流形的所有连接子域，这在半监督分类中是合理的，我们还期望GAN-SSL中的最优分类在未标记的数据上也是完美的。总之，GAN-SSL中的极大极小优化理论上将通过意外地学习不完美的生成器，即，GAN-SSL通过利用未标记的信息，可以有效地提高神经网络的泛化能力。
2020-07-11 cs.LG stat.ML
Neural Architecture Search for Generative Adversarial Networks: A Comprehensive Review and Critical Analysis
本文综述了NAS在GAN中的应用，分类比较不同搜索策略与评估指标，指出进化算法和梯度方法的优势，强调稳健评估指标和多样化数据集的重要性。
2026-06-26 cs.AI cs.LG
Markov-Chain Monte Carlo Approximation of the Ideal Observer using Generative Adversarial Networks
Department of Bioengineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校生物工程系）
理想观测器（IO）的性能一直提倡在优化医学成像系统的信号检测任务。然而，IO检验统计量的分析计算通常是棘手的。为了近似IO检验统计量，已经开发了采用马尔可夫链蒙特卡罗（MCMC）技术的基于抽样的方法。然而，MCMC技术的当前应用已被限制到几个对象模型，例如亮度对象模型和二进制纹理模型，并且仍然不清楚MCMC方法如何可以与其他更复杂的对象模型一起实现。采用生成对抗网络（GANs）的深度学习方法在从图像数据中学习随机对象模型（SOM）方面前景广阔。在这项研究中，我们描述了一种方法来近似IO通过应用MCMC技术的SOM使用GANs学习。所提出的方法可以用于任意对象模型，可以通过使用GANs学习，从而扩展了MCMC技术用于近似IO性能的适用范围。在这项研究中，两个信号已知的确切（SKE）和信号已知的统计（SKS）的二进制信号检测任务。将该方法计算的IO性能与传统MCMC方法计算的IO性能进行了比较。所提出的方法的优点进行了讨论。
2020-01-26 cs.CV cs.LG eess.SP
HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks
Artificial Intelligence Research Institute（人工智能研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）；AIRI（AIRI（人工智能研究院））；MIPT（莫斯科物理技术学院）
GANs的领域自适应框架作为在训练数据非常有限的情况下训练当代GANs的主要成功途径，近年来取得了很大的进展。在这项工作中，我们提出了一个非常紧凑的参数空间微调发电机显着改善了这个框架。我们引入了一种新的域调制技术，该技术允许仅优化6000维向量，而不是StyleGAN2的3000万个权重，以适应目标域。我们应用这种参数化的国家的最先进的领域自适应方法，并表明它具有几乎相同的表达能力的完整的参数空间。此外，我们提出了一个新的正则化损失，大大提高了微调发电机的多样性。受优化参数空间大小减小的启发，我们考虑了GANs的多领域自适应问题，即根据输入查询设置相同模型何时可以适应多个域。我们提出了HyperDomainNet，这是一个超网络，预测我们的参数给定的目标域。我们的经验证实，它可以成功地学习一次多个域，甚至可以推广到看不见的域。源代码可以在https://github.com/MACderRu/HyperDomainNet上找到
2023-03-30 cs.CV
To Beta or Not To Beta: Information Bottleneck for DigitaL Image Forensics
Verisk AI, Verisk Analytics（韦睿斯克分析旗下韦睿斯克人工智能）；Vision and Security Technology (VAST) Lab（视觉与安全技术实验室）
本文提出InfoPrint，利用信息瓶颈和近似变分推断定位图像篡改区域，在标准数据集上超越现有方法，并能检测GAN修复的修改。
2019-08-11 cs.CV
Hyperparameter Optimization of Generative Adversarial Network Models for High-Energy Physics Simulations
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
生成对抗网络（GAN）是一种强大而灵活的工具，可以通过学习生成高保真的合成数据。它在高能物理事件模拟中有着广泛的应用，包括探测器响应和物理事件的模拟。然而，训练GANs是出了名的困难，优化它们的超参数更是如此。它通常需要多次试错训练尝试，以迫使稳定的训练并达到合理的保真度。为了达到物理分析所要求的精度，必须进行大量的调谐工作。这项工作使用物理不可知和高性能计算机友好的超参数优化工具HYPPO来优化和检查两个独立的HEP数据集的GAN的超参数的灵敏度。这项工作提供了第一个见解，有效地调整大型强子对撞机数据的GANs。我们表明，如果进行适当的超参数调整，我们可以找到GANs，提供所需数量的高质量近似。我们还提供了如何使用HYPPO中的分析工具进行GAN架构调优的指导。
2022-10-21 cs.LG hep-ex physics.comp-ph
GANchors: Realistic Image Perturbation Distributions for Anchors Using Generative Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们通过使用生成对抗网络（GANs）来扩展和改进模型不可知分类器的工作，以解释图像分类。使用GANs，我们通过在低维潜在空间下进行优化，从更真实的扰动分布中生成样本。这增加了对解释的信任，因为结果现在来自更有可能在分类器的原始训练集中找到的图像，而不是随机图像的叠加。我们的方法的一个很大的缺点是通过优化采样的计算复杂性;为了解决这个问题，我们实现了更有效的算法，包括不同的编码器。最后，我们分享来自MNIST和CelebA数据集的结果，并注意到我们的解释可以导致更小和更高精度的锚。
2019-06-01 cs.LG stat.ML
SiGAN: Siamese Generative Adversarial Network for Identity-Preserving Face Hallucination
National Pingtung University of Science and Technology（国立屏东科技大学）；National Tsing Hua University（国立清华大学）；National Institute of Informatics（国立信息学研究所）
尽管生成对抗网络（GANs）可以从低分辨率（LR）人脸中产生逼真的高分辨率（HR）人脸，但它们不能保证保留幻觉HR人脸的身份，使HR人脸难以识别。为了解决这个问题，我们提出了一个暹罗GAN（SiGAN）重建HR面临的视觉上类似于他们相应的身份。在Siamese网络之上，所提出的SiGAN由两个相同的发电机和一个发电机组成。我们将重建误差和身份标签信息的损失函数的SiGAN在成对的方式。通过迭代优化SiGAN生成元对和子空间的损失函数，不仅实现了真实感人脸重建，而且保证了重建信息对身份识别有用。实验结果表明，SiGAN在客观人脸验证性能方面明显优于现有的人脸幻觉GANs，同时实现了照片级真实感重建。此外，对于未包括在训练中的未知身份的输入LR面部，SiGAN仍然可以做得很好。
2018-07-22 cs.CV
Learning the Loss Functions in a Discriminative Space for Video Restoration
Yonsei University（延世大学）；Facebook（脸书）
随着更先进的深度网络架构和学习方案（如GANs）的出现，视频恢复算法的性能最近有了很大的提高。同时，优化深度神经网络的损失函数保持相对不变。为此，我们提出了一个新的框架，通过学习特定于视频恢复任务的判别空间来构建有效的损失函数。我们的框架类似于GANs，因为我们迭代地训练两个网络-生成器和损失网络。生成器学习以监督的方式恢复视频，通过损失网络学习的判别空间中的特征匹配来跟踪地面真实特征。此外，我们还引入了一个新的关系损失，以保持输出视频的时间一致性。视频超分辨率和去模糊的实验表明，我们的方法产生的视觉更愉快的视频更好的定量感知度量值比其他国家的最先进的方法。
2020-03-20 cs.CV eess.IV
Generative Cooperative Networks for Natural Language Generation
ISIR - Sorbonne Université（索邦大学ISIR研究所）；ReciTAL（ReciTAL公司）；IRISA（IRISA研究所）；IMATAG（IMATAG公司）；CNRS（法国国家科学研究中心）
生成对抗网络（GANs）在许多连续生成任务中取得了巨大的成功，特别是在图像生成领域。然而，对于离散输出（如语言），优化GANs仍然是一个具有许多不稳定性的开放问题，因为没有梯度可以正确地从GAN输出反向传播到生成器参数。另一种方法是通过强化学习来学习生成器网络，使用激励信号作为奖励，但这种技术存在移动奖励和消失梯度问题。最后，与直接最大似然方法相比，它往往不足。在本文中，我们介绍了生成的合作网络，在其中协同使用的生成策略，以输出现实的文本样本手头的任务的协同架构。我们给我们的方法的收敛性的理论保证，并研究各种有效的解码方案，以经验达到国家的最先进的结果，在两个主要的NLG任务。
2022-01-28 cs.CL cs.LG
Adversarial Semantic Augmentation for Training Generative Adversarial Networks under Limited Data
East China University of Science and Technology（华东理工大学）
针对有限数据下GANs性能下降问题，提出对抗语义增强（ASA）技术，在语义层面估计协方差矩阵寻找变换方向并优化对抗损失上界，隐式实现数据增强，有效提升了合成质量与计算效率。
2025-02-02 cs.CV eess.IV
Conditional GraphGANFed: Optimizing Graph-Structured Molecule Generation in Federated Generative Adversarial Networks
本文针对GraphGANFed无法按用户定义指标生成分子的问题，提出cGraphGANFed模型，引入评判网络整合评估结果优化生成器，经实验证实其在多指标优化、QED提升及抗非IID数据干扰上表现更优。
2026-08-26 cs.DC cs.LG
Temporally Consistent Semantic Video Editing
University of Maryland, College Park（马里兰大学帕克分校）；Virginia Tech（弗吉尼亚理工大学）
生成对抗网络（GANs）已经展示了令人印象深刻的图像生成质量和真实图像的语义编辑能力，例如，更改对象类、修改属性或传递样式。然而，将这些基于GAN的编辑独立地应用于每个帧的视频不可避免地会导致时间闪烁伪影。我们提出了一个简单而有效的方法，以促进时间相干视频编辑。我们的核心思想是通过优化潜在代码和预训练生成器来最大限度地减少时间光度不一致性。我们评估了我们在不同领域和GAN反演技术上的编辑质量，并显示了对基线的有利结果。
2022-06-21 cs.CV
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
Dynamically Grown Generative Adversarial Networks
Amazon（亚马逊）
最近的工作引入了渐进式网络增长作为一种有前途的方法来简化大型GANs的训练，但模型设计和架构增长策略仍然没有得到充分的探索，并且需要针对不同的图像数据进行手动设计。在本文中，我们提出了一种在训练过程中动态增长GAN的方法，优化网络架构及其参数并自动化。该方法嵌入架构搜索技术作为基于梯度的训练的交错步骤，以周期性地为生成器和迭代器寻求最佳架构增长策略。它既享受了渐进式增长带来的轻松训练，又享受了更广阔的架构设计空间带来的性能提升。实验结果表明，新的国家的最先进的图像生成。搜索过程中的观察也为GAN模型设计提供了建设性的见解，例如生成器-卷积层平衡和卷积层选择。
2021-06-16 cs.CV cs.LG eess.IV
A Tiered GAN Approach for Monet-Style Image Generation
Kent State University（肯特州立大学）；Rutgers University（罗格斯大学）；West Chester University（西切斯特大学）
针对传统GAN在艺术图像生成中存在的训练不稳定、模式崩溃等问题，提出一种结合下采样与卷积技术的分层GAN模型，可逐步生成高质量莫奈风格图像，同时优化计算效率，为艺术风格生成提供了新的可行思路。
2024-12-07 cs.AI cs.CV
In-N-Out: Faithful 3D GAN Inversion with Volumetric Decomposition for Face Editing
University of Maryland, College Park（马里兰大学学院公园分校）；Adobe Research（奥多比研究院）
针对3D感知GAN反演中分布外人脸重建难、保真度与可编辑性难兼顾的问题，提出用双神经辐射场分别建模分布内外内容并优化合成的方法，提升了人脸重建与编辑效果。
2024-04-14 cs.CV
Deep Semantic Hashing with Generative Adversarial Networks
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
散列是一种广泛采用的最近邻搜索技术，在大规模的图像检索任务。最近的研究表明，利用监督信息可以产生高质量的哈希。然而，注释数据的成本通常是将监督哈希应用于新领域时的一个障碍。此外，由于训练和测试阶段的数据可能来自相似但不同的分布，因此结果可能会受到鲁棒性问题的影响。本文研究了通过半监督生成对抗网络（GANs）生成合成数据的探索，该网络利用大量未标记和有限的标记训练数据来生成具有内在不变性和全局一致性的高度引人注目的数据，以更好地理解自然数据的统计结构。我们证明，上述两个限制可以很好地缓解应用的合成数据的哈希。具体而言，提出了一种新的深度语义哈希与GANs（DSH-GANs），它主要由四个组件组成：用于学习图像表示的深度卷积神经网络（CNN），用于区分合成图像和真实图像的对手流，用于将图像表示编码为哈希码的哈希流和分类流。整个架构通过联合优化三个损失来进行端到端的训练，即，对抗性损失以校正每个样本的合成或真实的标签，三元组排序损失以保持输入真实合成三元组中的相对相似性排序，以及分类损失以准确地分类每个样本。在CIFAR-10和NUS-WIDE图像基准上进行的大量实验验证了利用合成图像进行哈希的能力。与最先进的深度哈希模型相比，我们的框架也取得了优异的结果。
2018-04-23 cs.CV cs.IR
MaskGAN: Better Text Generation via Filling in the______
Google Brain（谷歌大脑）
神经文本生成模型通常是自回归语言模型或seq 2seq模型。这些模型通过顺序采样单词来生成文本，每个单词都以前一个单词为条件，并且对于几个机器翻译和摘要基准来说是最先进的。这些基准通常由验证困惑定义，即使这不是生成文本质量的直接度量。此外，这些模型通常通过最大似然和教师强迫来训练。这些方法非常适合优化困惑，但可能导致样本质量差，因为生成文本需要对可能在训练时从未观察到的单词序列进行调节。我们建议使用生成对抗网络（GANs）来提高样本质量，它明确地训练生成器以生成高质量的样本，并在图像生成方面取得了很大的成功。GANs最初被设计为输出可微值，因此离散语言生成对它们来说是一个挑战。我们声称，验证困惑本身并不表明由模型生成的文本的质量。我们引入了一个演员-评论家的条件GAN，填补了周围的上下文条件下丢失的文本。我们定性和定量地证明，这产生了更现实的条件和无条件的文本样本相比，一个极大似然训练模型。
2018-03-01 cs.AI cs.LG stat.ML
Phased Data Augmentation for Training a Likelihood-Based Generative Model with Limited Data
Hokkaido University（北海道大学）
本文提出分阶段数据增强技术，通过在学习阶段限制增强强度，在不改变数据分布的情况下优化有限数据下基于似然的生成模型训练，应用于PixelCNNs与VQ-VAE-2结合模型，在多个数据集上取得优越性能。
2024-03-18 cs.CV cs.LG eess.IV
Generating Synthetic Health Sensor Data for Privacy-Preserving Wearable Stress Detection
ScaDS.AI Dresden/Leipzig, Leipzig University（ScaDS.AI 德累斯顿/莱比锡，莱比锡大学）
本文提出一种利用GAN和差分隐私生成隐私保护的智能手表健康传感器数据，用于提升可穿戴压力检测的模型性能。
2024-05-14 cs.AI cs.CR cs.LG
FuseDream: Training-Free Text-to-Image Generation with Improved CLIP+GAN Space Optimization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
从自然语言指令生成图像是一项有趣但极具挑战性的任务。我们通过将重新训练的CLIP表示的功能与现成的图像生成器（GANs）相结合来实现文本到图像的生成，在GAN的潜在空间中进行优化，以找到具有给定输入文本的最大CLIP分数的图像。与从文本到图像从头开始训练生成模型的传统方法相比，CLIP+GAN方法无需训练，zero shot，并且可以很容易地使用不同的生成器进行定制。然而，在GAN空间中优化CLIP分数是一个极具挑战性的优化问题，并且诸如Adam的现成优化器未能产生令人满意的结果。在这项工作中，我们提出了一个FuseDream管道，它通过三个关键技术改进了CLIP+GAN方法：1）AugCLIP评分，通过在图像上引入随机增强来增强CLIP目标。2)一种新的初始化和过参数化优化策略，使我们能够有效地导航非凸景观在GAN空间。3)一种合成生成技术，通过利用新颖的双层优化公式，可以合成多个图像以扩展GAN空间并克服数据偏差。当由不同的输入文本提升时，FuseDream可以生成具有不同对象、背景、艺术风格的高质量图像，甚至是我们使用的GAN的训练数据中没有出现的新颖的反事实概念。从量化的角度来看，FuseDream生成的图像在MS COCO数据集上产生顶级的Inception评分和FID评分，而无需额外的架构设计或训练。我们的代码可在\url{https://github.com/gnob…
2021-12-02 cs.CL cs.CV cs.LG
Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts
University of Waterloo（滑铁卢大学）
本文提出一种利用自然语言提示和图像描述映射潜在方向的无监督框架，无需训练特定向量即可自动分析扩散模型潜在空间中的偏差和表示，实现更可扩展和可解释的理解。
2024-11-04 cs.AI cs.CL cs.CV
SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation
Technical University of Munich（慕尼黑工业大学）；NVIDIA（英伟达公司）
本研究提出SatSynth方法，利用去噪扩散概率模型学习图像与标签的联合数据流形，首次为卫星分割同时生成高质量图像和掩码对作为数据增强，显著提升了航空语义分割性能。
2024-03-25 cs.CV
DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing
National University of Singapore（新加坡国立大学）；ByteDance Inc.（字节跳动公司）
本文提出 DragDiffusion，将基于点的交互式编辑扩展到大规模预训练扩散模型，通过优化扩散潜变量并结合 LoRA 微调与 latent-MasaCtrl 保持原图身份，同时发布 DragBench 基准验证其通用性。
2024-04-07 cs.CV cs.LG
MolGAN: An implicit generative model for small molecular graphs
University of Amsterdam（阿姆斯特丹大学）
图结构数据的深度生成模型为化学合成问题提供了一个新的角度：通过优化直接生成分子图的可微模型，可以在离散和巨大的化学结构空间中避开昂贵的搜索程序。我们引入MolGAN，一个隐式的，无可能性的生成模型的小分子图，避免了昂贵的图匹配程序或节点排序算法以前的可能性为基础的方法的需要。我们的方法适应生成对抗网络（GANs）直接对图结构数据进行操作。我们将我们的方法与强化学习目标相结合，以鼓励生成具有特定所需化学性质的分子。在QM9化学数据库上的实验中，我们证明了我们的模型能够生成接近100%的有效化合物。MolGAN与最近提出的使用基于字符串（SMILES）的分子表示和直接生成图形的基于可能性的方法相比都很有利，尽管容易受到模式崩溃的影响。代码https://github.com/nicola-decao/MolGAN
2022-09-27 cs.LG stat.ML
Who Does What in Deep Learning? Multidimensional Game-Theoretic Attribution of Function of Neural Units
Institute of Computational Neuroscience（计算神经科学研究所）；University Medical Center Eppendorf（埃本多夫大学医学中心）；International Max Planck Research School on Cognitive Neuroimaging（认知神经成像国际马克斯·普朗克研究学校）；MRC Cognition and Brain Sciences Unit（MRC认知与脑科学单位）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；Learning in Machines & Brains（机器与大脑学习）；Departments of Bioengineering and Neuroscience（生物工程与神经科学系）；Department of Health Sciences（健康科学系）
提出多扰动Shapley值分析（MSA），一种模型无关的博弈论框架，通过损伤单元组合生成与输出同维的贡献图，揭示正则化集中计算、LLM语言专家及GAN倒置层级，助力网络解释、编辑与压缩。
2025-06-24 cs.AI cs.LG
Advancing the AmbientGAN for learning stochastic object models
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carle Foundation Hospital（卡尔基金会医院）
医学成像系统通常通过使用量化观察者在特定任务中的表现的图像质量（IQ）的客观测量来评估和优化。待成像对象的变化是可变性的重要来源，其可以显著地限制观察者的性能。这种对象的可变性可以用随机对象模型（SOM）来描述。为了建立可以精确地模拟现实对象变化的SOM，期望使用实验数据。为了实现这一点，一个增强的生成对抗网络（GAN）架构称为环境GAN已开发和研究。然而，AmbientGAN不能通过使用高级GAN训练方法（例如GANs的渐进式增长（ProGANs））来立即训练。因此，AmbientGANs建立逼真对象模型的能力有限。为了解决这个问题，已经提出了一个渐进式增长的AmbientGAN（ProAmGAN）。然而，ProAmGAN被设计用于生成二维（2D）图像，而医学成像模态通常用于对三维（3D）对象进行成像。此外，采用传统生成器架构的ProAmGAN缺乏控制特定图像特征的能力，例如在优化成像系统时经常考虑的精细纹理。在这项研究中，我们通过提出两种先进的AmbientGAN架构来解决这些限制：3D ProAmGAN和Style-AmbientGAN（StyAmGAN）。进行涉及磁共振（MR）成像系统的程式化数值研究。证明了3D ProAmGANs从成像测量中学习3D SOM的能力以及StyAmGANs控制合成对象的精细尺度纹理的能力。
2021-01-30 cs.CV cs.LG eess.IV
