Smoothness and Stability in GANs
Stanford University（斯坦福大学）；Preferred Networks, Inc.（优选网络公司）；The Institute of Statistical Mathematics（统计数学研究所）
生成对抗网络（GANs）在训练过程中通常表现出不稳定的行为。在这项工作中，我们开发了一个原则性的理论框架，用于理解各种类型的GANs的稳定性。特别是，我们得到的条件，保证最终平稳的发电机时，它是训练梯度下降，必须满足的条件，由发散，最小化的GAN和发电机的架构。我们发现现有的GAN变体满足这些条件中的一些，但不是全部。使用工具，从凸分析，最优运输，再生内核，我们构建了一个GAN，同时满足这些条件。在这个过程中，我们解释和澄清各种现有的GAN稳定技术，包括Lipschitz约束，梯度惩罚，和光滑的激活函数的需要。
2020-02-11 cs.LG stat.ML
Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）
Wasserstein生成对抗网络（Generative Adversarial Networks，WGANs）是基于最优传输（Optimal Transport，OT）理论和Kantorovich对偶的生成模型。尽管WGAN取得了成功，但仍不清楚底层OT对偶求解器对更新生成器所需的OT成本（Wasserstein-1距离，$\mathbb{W}_{1}$）和OT梯度的近似程度。在本文中，我们解决这些问题。我们构造1-Lipschitz函数，并使用它们来建立射线单调运输计划。该策略产生了连续的基准分布对，具有解析已知的OT计划，OT成本和OT梯度，在高维空间，如图像空间。我们彻底评估流行的WGAN对偶形式求解器（梯度惩罚，谱归一化，熵正则化等）。使用这些基准对。尽管这些求解器在WGAN中表现良好，但它们中没有一个在高维中忠实地计算$\mathbb{W}_{1}$。尽管如此，许多提供了一个有意义的近似OT梯度。这些观察表明，这些求解器不应该被视为良好的估计$\mathbb{W}_{1}$，但在某种程度上，他们确实可以用于变分问题，需要最小化的$\mathbb{W}_{1}$。
2023-01-09 cs.LG
Optimal Transport Based Generative Autoencoders
Proof School（普洛夫学校）；Ping An Technology（平安科技）
深度生成建模领域由生成对抗网络（GANs）主导。然而，GANs的训练往往缺乏稳定性，无法收敛，并遭受模型崩溃。解决这些问题需要各种各样的技巧，对于那些寻求应用生成建模的人来说，这可能很难理解。相反，我们提出了两种新的生成式自动编码器，AE-OTtranss和AE-OTgen，它们依赖于最佳传输而不是对抗训练。与VAE和WAE不同，AE-OTtranss和AEOTgen保留了数据的流形;它们不会强制潜在分布与正态分布匹配，从而产生更高质量的图像。AEOTtranss和AE-OTgen与其前身AE-OT相比，也产生更高多样性的图像。我们表明，AE-OTtranss和AE-OTgen在MNIST和FashionMNIST数据集中超过了GANs。此外，我们还证明了AE-OTtranss和AE-OTgen在MNIST、FashionMNIST和CelebA图像集上与其他非对抗生成模型相比具有最先进的水平。
2019-10-16 cs.CV cs.LG
Effect of The Latent Structure on Clustering with GANs
IIT Jodhpur（印度理工学院焦特布尔分校）；Flipkart Internet Pvt Ltd（Flipkart互联网私人有限公司）；IIT Delhi（印度理工学院德里分校）
生成对抗网络（GANs）在从自然数据流形（如图像）生成数据方面取得了显着的成功。在一些场景中，生成的数据最好是很好的聚类，特别是当存在严重的类不平衡时。本文重点研究了GANs生成空间中的聚类问题，并揭示了其与潜在空间特征的关系。我们从第一原理，必要和充分条件需要实现忠实的聚类在GAN框架：（i）存在一个多模态的潜在空间与可调先验，（ii）存在一个潜在的空间反转机制和（iii）强加所需的集群先验的潜在空间。我们还确定了部分满足这些条件的文献中的GAN模型，并通过对多个真实世界图像数据集的烧蚀研究证明了所需所有组件的重要性。此外，我们描述了一个程序来构建一个多模态的潜在空间，便于学习集群先验稀疏监督。
2020-05-05 cs.LG stat.ML
Interpreting the Latent Space of GANs via Correlation Analysis for Controllable Concept Manipulation
University of Science and Technology of China（中国科学技术大学）
生成对抗网络（GANs）已成功应用于图像生成、修复、超分辨率和药物发现等领域，到目前为止，人们对GANs的内部过程还很不了解。为了更深入地理解GANs的内在机制，本文提出了一种通过分析生成图像中潜在变量与相应语义内容之间的相关性来解释GANs潜在空间的方法。与以往的方法，专注于解剖模型通过特征可视化，这项工作的重点放在潜在空间中的变量，即如何潜在变量影响生成的结果的定量分析。给定一个权重固定的预训练GAN模型，对潜变量进行干预，以分析它们对生成图像中语义内容的影响。针对特定的内容生成，可以导出一组控制潜变量，实现可控的语义内容操作。在Fashion-MNIST和UT Zappos 50 K数据集上进行了验证，实验结果表明了该方法的有效性。
2020-07-23 cs.CV cs.LG stat.ML
Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
诸如Wasserstein的最优传输（OT）距离已被用于诸如GANs和领域自适应等若干领域。然而，OT对数据中的离群值（具有大噪声的样本）非常敏感，因为在其目标函数中，由于边缘约束，每个样本（包括离群值）都被类似地加权。为了解决这个问题，以前已经提出了具有不平衡边际约束的OT的鲁棒公式。然而，在深度学习问题（如GANs和领域自适应）中使用这些方法是具有挑战性的，因为它们的对偶优化求解器不稳定。在本文中，我们通过推导出一种适用于现代深度学习应用的鲁棒OT优化的计算高效的对偶形式来解决这些问题。我们在GANs和领域自适应的两个应用中证明了我们的公式的有效性。我们的方法可以训练国家的最先进的GAN模型与离群分布损坏的噪声数据集。特别是，我们的优化计算训练样本的权重，反映了在模型中生成这些样本的难度。在领域自适应中，与标准的对抗性自适应方法相比，我们的鲁棒OT公式提高了准确性。我们的代码可在www.example.com上获得。
2020-10-12 cs.CV cs.LG
Disentangled Inference for GANs with Latently Invertible Autoencoder
Xiaomi AI Lab（小米人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
生成对抗网络（GANs）在机器学习中发挥着越来越重要的作用。然而，有一个基本问题阻碍了它们的实际应用：缺乏对真实世界样本进行编码的能力。解决该问题的传统方式是经由变分自动编码器（VAE）来学习用于GAN的编码器。在本文中，我们表明，VAE/GAN框架的潜在空间的纠缠构成了编码器学习的主要挑战。为了解决GAN中的纠缠问题并实现推理，我们提出了一种新的算法，称为潜在可逆自动编码器（LIA）。LIA的框架是一个可逆网络及其逆映射对称地嵌入VAE的潜空间中。首先将LIA的解码器训练成一个标准的GAN，然后通过将LIA的可逆网络从LIA中分离出来，从解纠缠的自编码器中学习部分编码器，从而避免了随机潜在空间带来的纠缠问题。在FFHQ人脸数据集和三个LSUN数据集上进行的实验验证了LIA/GAN的有效性。
2022-03-01 cs.LG stat.ML
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
University of Washington（华盛顿大学）
生成对抗网络（GANs）在许多无监督学习任务中取得了显著的成功，聚类无疑是一个重要的无监督学习问题。虽然人们可以潜在地利用GANs中的潜在空间反向投影来聚类，但我们证明了聚类结构不会保留在GAN潜在空间中。在本文中，我们提出了一种新的机制，使用GANs聚类的ChipterGAN。通过从独热编码变量和连续潜变量的混合物中采样潜变量，再加上一个逆网络（将数据投影到潜空间），并使用聚类特定损失进行联合训练，我们能够在潜空间中实现聚类。我们的研究结果显示了一个显着的现象，即GANs可以保持跨类别的潜在空间插值，即使神经网络从未暴露于此类向量。我们将我们的结果与各种聚类基线进行比较，并在合成和真实数据集上表现出卓越的性能。
2019-01-26 cs.LG stat.ML
InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
解纠缠生成模型将潜在代码向量映射到目标空间，同时强制学习的潜在代码的子集是可解释的并且与目标分布的不同属性相关联。最近的进展主要是基于变分自编码器（VAE）的方法，而训练解纠缠生成对抗网络（GANs）仍然具有挑战性。在这项工作中，我们表明，可以通过使用自我监督来缓解解开GANs所面临的主要挑战。我们做了两个主要贡献：首先，我们设计了一种新的方法来训练具有自我监督的解纠缠GANs。我们提出了对比正则化，这是一个自然的概念的启发解开：潜在的遍历。这比最先进的基于VAE和GAN的方法获得了更高的解纠缠分数。其次，我们提出了一个无监督的模型选择方案，称为ModelCentrality，它使用生成的合成样本来计算一组模型的medoid（多维泛化中位数）。目前超参数调整的常见做法需要使用地面实况样本，每个样本都标记有已知的完美解纠缠潜码。由于真实的数据集没有配备这样的标签，我们提出了一个无监督的模型选择方案，并表明它找到了一个接近最好的模型，对于VAE和GANs。将对比正则化与ModelCentrality相结合，我们显着提高了最先进的解纠缠分数，而无需访问监督数据。
2020-08-07 cs.LG stat.ML
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University（首尔大学）
具有聚类潜在空间的生成对抗网络（GANs）可以以完全无监督的方式执行条件生成。在现实世界中，未标记数据的显著属性可能是不平衡的。然而，大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性，因为它们假设属性的均匀分布。为了解决这个问题，我们从理论上推导出Stein潜在优化，该优化提供了潜在分布参数的可重新参数化的梯度估计，假设在连续潜在空间中存在高斯混合。在结构上，我们引入了一个编码器网络和新的无监督条件对比损失，以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认，所提出的方法，命名为斯坦潜在优化GANs（SLOGAN），成功地学习平衡或不平衡的属性，并实现了最先进的无监督条件生成性能，即使在没有属性信息的情况下（例如，不平衡度）。此外，我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
Non-Adversarial Image Synthesis with Generative Latent Nearest Neighbors
Facebook AI Research（Facebook人工智能研究）；UC Berkeley（加州大学伯克利分校）
无条件图像生成最近由生成对抗网络（GANs）主导。GAN方法训练从随机噪声向量回归图像的生成器，以及尝试区分所生成的图像和真实图像的训练集的训练器。GANs在生成逼真的图像方面表现出了惊人的效果。尽管取得了成功，但GANs存在严重的缺点，包括：训练不稳定和模式下降。GANs的弱点促使人们研究替代方案，包括：变分自动编码器（VAE），潜在嵌入学习方法（例如GLO）和基于最近邻的隐式最大似然估计（IMLE）。不幸的是，目前，GANs仍然明显优于图像生成的替代方法。在这项工作中，我们提出了一种新的方法-生成潜在最近邻（GLANN）-用于在没有对抗训练的情况下训练生成模型。GLANN结合了IMLE和GLO的优点，克服了每种方法的主要缺点。因此，GLANN生成的图像远远优于GLO和IMLE。我们的方法不会遭受模式坍塌，困扰GAN训练，是更稳定。定性结果表明，GLANN在常用数据集上的性能优于由800个GANs和VAE组成的基线。我们的模型也被证明是有效的训练真正的非对抗性无监督图像翻译。
2018-12-21 cs.CV cs.LG stat.ML
IVE-GAN: Invariant Encoding Generative Adversarial Networks
Bayer AG（拜耳公司）
生成对抗网络（GANs）是生成任务的强大框架。然而，它们难以训练，并且往往会错过真实数据生成过程的模式。虽然GANs可以在其潜在空间中学习数据的覆盖模式的丰富表示，但该框架错过了从数据到该潜在空间的逆映射。我们提出了不变编码生成对抗网络（IVE-GANs），这是一种新的GAN框架，它通过利用数据中对某些变换不变的特征，为数据中的单个样本引入了这种映射。由于模型将单个样本映射到潜在空间，因此它自然会鼓励生成器覆盖所有模式。我们证明了我们的方法在生成性能和学习丰富的表示几个数据集，包括常见的基准图像生成任务方面的有效性。
2017-11-23 cs.LG stat.ML
The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
在这项工作中，我们训练条件Wasserstein生成对抗网络，以有效地从基于物理的贝叶斯推断问题的后验中采样。该生成器使用U-Net架构构建，使用条件实例规范化注入潜在信息。前者便于多尺度逆映射，而后者使潜在空间维度与测量维度解耦，并在所有尺度上引入随机性。我们解决基于偏微分方程的逆问题，以证明我们的方法在量化推断领域的不确定性的性能。此外，我们还证明了生成器可以学习本质上是局部的逆映射，这反过来又促进了在使用分布外样本进行测试时的泛化能力。
2022-11-18 cs.LG stat.ML
Optimizing the Latent Space of Generative Networks
Facebook AI Research（脸书人工智能研究院）
生成对抗网络（GANs）在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中，GAN模型有两个共同的方面：解决一个具有挑战性的鞍点优化问题，解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是，我们介绍了生成潜在优化（GLO），这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验，我们证明了GLO具有GANs的许多理想特性：合成视觉上吸引人的样本，在样本之间进行有意义的插值，以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Memorization Precedes Generation: Learning Unsupervised GANs with Memory Networks
Seoul National University（首尔国立大学）
我们提出了一种方法来解决在无监督GANs训练过程中经常出现的两个问题。首先，由于GANs仅使用连续的潜在分布来嵌入多个数据类或数据簇，因此它们通常无法正确处理潜在空间中不同类之间的结构不连续性。其次，GANs的鉴别器很容易忘记生成器过去生成的样本，从而在对抗训练期间引起不稳定。我们认为，无监督GAN训练的这两个臭名昭著的问题可以通过生成器和鉴别器都可以访问的可学习记忆网络在很大程度上缓解。生成器可以有效地学习训练样本的表示，以理解数据的潜在聚类分布，从而缓解结构不连续性问题。同时，鉴别器可以更好地记住先前生成的样本的聚类，这减轻了遗忘问题。我们提出了一种新的端到端的GAN模型命名为memoryGAN，它涉及一个记忆网络，是unsupervisedly可训练和集成到许多现有的GAN模型。通过对Fashion-MNIST，CelebA，CIFAR 10和Chairs等多个数据集的评估，我们表明我们的模型是概率可解释的，并生成具有高视觉保真度的逼真图像样本。memoryGAN还在CIFAR 10数据集上实现了无监督GAN模型的最新初始得分，没有任何优化技巧和较弱的分歧。
2018-03-10 cs.LG stat.ML
Unveiling the Latent Space Geometry of Push-Forward Generative Models
Ecole des Ponts（巴黎桥路学院）；UGE（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Criteo AI Lab（Criteo人工智能实验室）
本文研究推前生成模型（如GANs和VAEs）的潜在空间几何，证明最优性充分条件，并提出一种截断方法以改善GANs在不连通分布上的性能。
2023-05-15 cs.AI cs.LG stat.ML
Towards GANs' Approximation Ability
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
生成对抗网络（GANs）在生成模型领域引起了人们的浓厚兴趣。然而，很少有研究集中在理论分析或算法设计的近似能力的生成器的GANs已经报道。本文首先从理论上分析了GANs的逼近特性。类似于具有一个隐藏层的全连接神经网络的通用逼近性质，我们证明了GANs中具有输入潜变量的生成器可以通用地逼近给定增加的隐藏神经元的潜在数据分布。此外，我们提出了一种称为随机数据生成（SDG）的方法，以提高GANs的逼近能力。我们的方法是基于一个简单的想法，即通过在GANs中生成数据，通过层之间的条件概率的先验分布来施加随机性。SDG方法可以很容易地通过使用重新参数化技巧来实现。在人工数据集上的实验结果验证了SDG方法的有效性。在实际数据集中，当模型架构较小时，使用SDG的四个GANs也可以优于相应的传统GANs。
2020-07-11 cs.LG stat.ML
On Conditioning GANs to Hierarchical Ontologies
LIT AI Lab & Institute of Computational Perception（LIT人工智能实验室与计算感知研究所）；Johannes Kepler University Linz（林茨约翰·开普勒大学）；Software Competence Center Hagenberg GmbH (SCCH)（哈根贝格软件能力中心有限公司（SCCH））
生成对抗网络（GAN）最近的成功是其从潜在向量空间生成高质量图像的能力的结果。一个重要的应用是从文本描述生成图像，其中文本描述被编码并进一步用于调节生成的图像。因此，生成网络必须额外学习从文本潜在向量空间到高度复杂和多模态图像数据分布的映射，这使得这种模型的训练具有挑战性。为了处理时尚图像和Meta数据的复杂性，我们提出了本体生成对抗网络（O-GANs）的时尚图像合成，是以一个层次化的时尚本体为条件，以提高图像生成的保真度。我们表明，纳入本体导致更好的图像质量，测量Fréchet的初始距离和初始分数。此外，我们表明，O-GAN实现了更好的条件反射效果，通过文本和生成的图像之间的隐式相似性进行评估。
2019-05-16 cs.LG stat.ML
GILBO: One Metric to Measure Them All
Google AI（谷歌人工智能（Google AI））
我们提出了一个简单的，易于处理的下限包含在任何潜变量生成模型的联合生成密度的互信息：GILBO（生成信息下限）。它提供了一个数据独立的测量学习的潜在变量描述的复杂性，给出了有效描述长度的日志。它对于VAE和GANs都是明确定义的。我们计算了800个GANs和VAE的GILBO，每个GAN和VAE都在四个数据集（MNIST，FashionMNIST，CIFAR-10和CelebA）上训练，并讨论了结果。
2019-01-10 cs.LG stat.ML
Biosignal Generation and Latent Variable Analysis with Recurrent Generative Adversarial Networks
在我们之前的论文中，我们已经证明了基于生成对抗网络（GANs）的生物信号生成模型的生物信号生成和数据增强的有效性，这是一种深度学习技术。基于GAN的生成模型只学习作为输入数据的随机分布与训练数据分布之间的投影，因此输入和生成数据之间的关系不清楚，并且无法控制该模型生成的数据的特性。本研究提出了一种基于GANs生成时间序列数据的方法，并探讨了它们生成具有特定类别和特征的生物信号的能力。此外，在所提出的方法中，潜变量进行分析，使用典型相关分析（CCA）表示输入和生成的数据之间的关系作为典型负载。使用这些负载，我们可以控制所提出的方法生成的数据的特性。通过将两个类标签之间的数据插值到所提出的GANs的生成器中，分析了类标签对生成数据的影响。CCA的潜变量被证明是一种有效的方法来控制生成的数据特性。我们能够建模的时间序列数据的分布，而不需要域相关的知识，使用所提出的方法。此外，通过分析使用所提出的方法训练的模型，可以控制这些数据的特性。据我们所知，这项工作是第一次使用GANs生成生物信号，同时控制生成数据的特征。
2019-05-17 cs.LG eess.SP stat.ML
Mode Collapse and Regularity of Optimal Transportation Maps
Dalian University of Technology（大连理工大学）；Stony Brook University（石溪大学）；Harvard University（哈佛大学）
本文将最优运输映射的正则性理论、Monge-Ampère方程和GANs联系起来，从理论上理解了GANs的主要缺陷：收敛困难和模式坍塌。根据Monge-Ampère方程的正则性理论，如果目标测度的支撑是不连续的或恰好是非凸的，则最优运输映射是不连续的.一般DNN只能近似连续映射。这种内在冲突导致了GANs的收敛困难和模式坍塌。我们测试了我们的假设，即真实数据分布的支持通常是非凸的，因此不连续性是不可避免的，使用Autoencoder结合离散最优运输映射（AE-OT框架）在CelebA数据集上。检测结果为阳性。此外，我们提出了基于离散Brenier理论直接近似连续Brenier势来解决模式坍塌问题。与现有方法相比，该方法具有更高的准确性和有效性。
2019-02-08 cs.LG stat.ML
Information Compensation for Deep Conditional Generative Networks
近年来，无监督/弱监督条件生成对抗网络（GANs）在建模和生成数据方面取得了许多成功。然而，它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题，我们提出了一种新的无监督条件GANs结构，该结构由一种新的信息补偿连接（IC-连接）驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外，为了量化离散和连续潜变量的解纠缠程度，我们设计了一个新的评估程序。我们的实证结果表明，与有条件生成设置中的最先进的GANs相比，我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Statistical Regeneration Guarantees of the Wasserstein Autoencoder with Latent Space Consistency
Indian Statistical Institute, Kolkata（印度统计研究所（加尔各答））
变分自编码器（VAE）的引入被认为是表示学习模型历史上的一个突破。除了拥有自己的几项荣誉外，VAE还成功地以其直接继承者的形式推出了一系列发明。Wasserstein Autoencoder（WAE）是该领域的继承者，它具有所有的优点和增强的生成承诺，甚至与生成对抗网络（GANs）相匹配。不用说，近年来GANs的统计分析出现了显著的复苏。然而，尽管自动编码器具有不同的适用性和显着的经验表现，但仍然基本上没有类似的检查。为了缩小这一差距，在本文中，我们调查的统计特性的WAE。首先，我们提供的统计保证，WAE实现的目标分布在潜在的空间，利用Vapnik Chervonenkis（VC）理论。主要结果，从而确保再生的输入分布，利用Wasserstein度量下的措施的最优运输提供的潜力。这项研究，反过来，暗示在一类分布WAE可以重建后，遭受压缩的形式的一个潜在的法律。
2021-10-08 cs.LG stat.ML
Learning disconnected manifolds: a no GANs land
Criteo AI Lab（Criteo人工智能实验室）；Université Paris-Sorbonne（巴黎索邦大学）
生成对抗网络的典型架构利用由连续生成器转换的单峰潜在分布。因此，建模的分布总是具有连接的支持，这在学习不连通的流形集合时是麻烦的。我们通过为不连通流形学习建立一个没有免费午餐的定理来形式化这个问题，该定理说明了目标分布精度的上限。这是通过建立在一个低质量区域的必要存在，其中发生器连续采样两个断开模式之间的数据。最后，我们推导了一种基于生成元雅可比范数的拒绝抽样方法，并在包括BigGAN在内的几种生成元上证明了该方法的有效性。
2020-12-10 cs.LG stat.ML
Wasserstein GANs with Gradient Penalty Compute Congested Transport
University of Toronto（多伦多大学）
Wasserstein GANs with Gradient Penalty（WGAN-GP）是一种非常流行的方法，用于训练生成模型以产生高质量的合成数据。虽然WGAN-GP最初是为了计算生成数据和真实数据之间的Wasserstein 1距离而开发的，但最近的工作（例如[23]）提供了经验证据，证明这种情况不会发生，并认为WGAN-GP表现良好，而不是尽管有这个问题，但因为它。在本文中，我们首次表明，WGAN-GP计算不同的最优运输问题的最小值，所谓的交通拥堵[7]。拥挤的运输决定了在惩罚拥挤的运输模型下将一个配送中心移动到另一个配送中心的成本。对于WGAN-GP，我们发现拥塞惩罚具有由[12]中使用的采样策略确定的空间变化分量，其作用类似于局部速度限制，使得某些区域的拥塞成本低于其他区域。这方面的拥挤的运输问题是新的，在拥挤的罚款原来是无界的，并取决于要运输的分布，所以我们提供了必要的数学证明，这种设置。我们发现的一个方面是将WGAN-GP中的优化问题的解的梯度与最优质量流的时间平均动量连接起来的公式。这与Wasserstein 1距离的Kantorovich势的梯度相反，Wasserstein 1距离只是流动的归一化方向。基于这一点和其他考虑，我们推测我们的结果如何解释观察到的WGAN-GP性能。除了应用于GANs之外，我们的定理还指出了使用神经网络技术近似解决大规模拥挤运输问…
2022-06-30 cs.LG math.OC stat.ML
GM Score: Incorporating inter-class and intra-class generator diversity, discriminability of disentangled representation, and sample fidelity for evaluating GANs
School of Computer Engineering, KIIT Deemed to be University（KIIT 大学计算机工程学院）
虽然生成对抗网络（GAN）因其更高的样本质量而受到欢迎，但与其他生成模型（如变分自编码器（VAE）和玻尔兹曼机）相反，它们也面临着对生成样本进行评估的困难。必须考虑到各个方面，例如生成的样本的质量、类的多样性（类内和类间）、使用解纠缠的潜在空间、所述评价度量与人类感知的一致性等。在本文中，我们提出了一种新的评分，即GM评分，它考虑了各种因素，如样本质量、解纠缠表示、类内和类间多样性，采用查准率、查全率和F1得分等指标对深度信念网络（DBN）和受限玻尔兹曼机（RBM）的潜在空间进行区分。评估是针对在基准MNIST数据集上训练的不同GANs（GAN、DCGAN、BiGAN、CGAN、耦合GAN、LSGAN、SGAN、WGAN和WGAN Improved）进行的。
2021-12-16 cs.AI cs.LG stat.ML
"Best-of-Many-Samples" Distribution Matching
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
生成对抗网络（GANs）可以在生成建模任务中实现最先进的样本质量，但存在模式坍塌问题。另一方面，变分自编码器（VAE）明确地最大化基于重建的数据对数似然，迫使其覆盖所有模式，但遭受较差的样本质量。最近的工作提出了混合VAE-GAN框架，该框架将基于GAN的合成似然性集成到VAE目标，以解决模式坍塌和样本质量问题，但成功有限。这是因为VAE目标强制在数据对数似然性和对潜在先验的发散之间进行权衡。合成似然比项在训练过程中也表现出不稳定性。我们提出了一个新的目标与“最佳的多样本”重建成本和稳定的直接估计的合成似然。这使得我们的混合VAE-GAN框架能够同时实现高数据对数似然和低对潜在先验的发散，并且在模式覆盖和质量方面比混合VAE-GANs和普通GANs都有显着改善。
2019-09-27 cs.LG stat.ML
Scalable Unbalanced Optimal Transport using Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GANs）是一类表现力很强的神经生成模型，在建模高维连续度量方面取得了巨大成功。在本文中，我们提出了一个可扩展的方法，不平衡的最佳运输（OT）的基础上生成的对抗框架。我们制定不平衡OT作为一个问题，同时学习的运输地图和缩放因子，推动源措施的目标措施，以成本最优的方式。此外，我们提出了一种基于随机交替梯度更新的算法来解决这个问题，在实践中类似于GANs。我们还为这种公式提供了理论依据，表明它与Liero等人（2018）的现有静态公式密切相关，并进行了数值实验，证明了这种方法如何应用于人口建模。
2019-08-04 cs.LG stat.ML
(q,p)-Wasserstein GANs: Comparing Ground Metrics for Wasserstein GANs
University of Copenhagen（哥本哈根大学）；IT University of Copenhagen（哥本哈根信息技术大学）
生成对抗网络（GANs）作为生成模型在计算机视觉和机器学习中产生了重大影响。Wasserstein GANs（WGANs）通过最小化模型和数据分布之间的$1$ -Wasserstein距离作为目标函数，将最优传输（OT）理论引入到GANs中。从那时起，WGAN由于其稳定性和理论框架而获得了相当大的兴趣。我们通过引入$(q,p)$ -Wasserstein GANs家族来贡献WGAN文献，该家族允许在GAN学习过程中使用更通用的$p$ -Wasserstein度量用于$p\geq 1$。虽然该方法能够将任何成本函数作为地面度量，我们专注于研究$q\geq 1$的$l^q$指标。这是一个值得注意的概括，因为在WGAN文献中，OT距离通常基于$l^2$地面度量。我们证明了不同的$p$ -Wasserstein距离的效果在两个玩具的例子。此外，我们通过比较MNIST和CIFAR-10数据集上不同的$(q,p)$对，表明地面度量确实有差异。我们的实验表明，改变地面度量和$p$可以显着改善常见的$(q,p) = (2,1)$情况。
2019-02-10 cs.LG stat.ML
InvGAN: Invertible GANs
MPI for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根）；Amazon.com, Inc.（亚马逊公司）
真实感图像的生成、语义编辑和表示学习是高分辨率生成模型的许多潜在应用中的几个。GANs的最新进展使其成为此类任务的绝佳选择。然而，由于它们不提供推理模型，因此无法使用GAN潜在空间在真实图像上进行图像编辑或下游任务，例如分类。尽管进行了大量努力来训练推理模型或设计迭代法以反转预训练的生成器，但先前的方法是数据集（例如人脸图像）和架构（例如StyleGAN）特定的。这些方法对于扩展到新的数据集或架构是非常重要的。我们提出了一个通用的框架，是不可知的架构和数据集。我们的关键见解是，通过一起训练推理和生成模型，我们允许它们相互适应，并收敛到一个更好的质量模型。我们的\textbf{InvGAN}是Invertible GAN的缩写，它成功地将真实图像嵌入到高质量生成模型的潜在空间中。这使我们能够执行图像修补，合并，插值和在线数据增强。我们证明了这一点与广泛的定性和定量实验。
2021-12-10 cs.CV cs.LG stat.ML
Autoencoding Generative Adversarial Networks
Flatland Data Solutions（Flatland数据解决方案公司）
自从Goodfellow等人引入生成对抗网络（GANs）以来，生成模型应用的广度和质量都出现了爆炸式增长。尽管做了这些工作，但GANs在主流采用之前还有很长的路要走，这主要是因为它们臭名昭著的训练不稳定性。在这里，我提出了自动编码生成对抗网络（AEGAN），这是一个四网络模型，它通过对生成的图像和生成的潜在向量应用对抗损失和重建损失来学习指定潜在空间和给定样本空间之间的双射映射。AEGAN技术对典型的GAN训练提供了若干改进，包括训练稳定性、模式崩溃预防以及允许在真实样本之间直接插值。该技术的有效性说明使用动漫人脸数据集。
2020-04-11 cs.LG stat.ML
Conditional Sampling with Monotone GANs: from Generative Models to Likelihood-Free Inference
California Institute of Technology（加州理工学院）；University of Washington（华盛顿大学）；NVIDIA（英伟达）；Massachusetts Institute of Technology（麻省理工学院）
本文提出基于分块三角传输映射的条件采样框架，构建 Banach 空间理论并设计仅依赖联合样本的无似然 M-GAN，在逆问题与图像修复中实现准确条件采样。
2023-06-05 cs.LG stat.CO stat.ML
Generating Geological Facies Models with Fidelity to Diversity and Statistics of Training Images using Improved Generative Adversarial Networks
Schlumberger-Doll Research（斯伦贝谢-多尔研究中心）
本文提出了一种方法和工作流程，克服了传统的生成对抗网络（GANs）的地质相建模的局限性。它试图通过可解释的潜在向量来提高训练的稳定性，并保证生成的地质的多样性。确保所得样本具有与训练数据集相等的概率（或无偏分布）。这在应用GANs生成无偏和有代表性的地质模型时至关重要，这些模型可进一步用于促进油田勘探和开发中的客观不确定性评估和最佳决策。我们提出并实现了一种新的GANs变体，称为Info-WGAN，用于地质相建模，该变体将信息最大化生成对抗网络（InfoGAN）与Wasserstein距离和梯度惩罚（GP）相结合，用于学习可解释的潜在代码，并从训练数据中生成稳定且无偏的分布。与原有的GAN设计不同，InfoGAN可以使用带有完整、部分或无标签的训练图像，对训练数据集中表现出的复杂沉积类型进行解缠，实现生成样本的多样性和多样性。这是通过添加额外的分类变量来实现的，这些变量除了在原始GANs中使用的仅仅是随机化的潜在向量之外，还提供了分离的语义表示。通过这种方式，正则化项被用于最大化这种潜在分类代码与损失函数中的生成的地质相之间的互信息。此外，通过Info-WGAN得到的无偏采样使得在地质建模中的数据调节比传统的GANs容易得多，因为多样性和多样性以及生成器的无条件采样的等概率。
2019-09-23 cs.LG eess.IV physics.comp-ph
2-Wasserstein Approximation via Restricted Convex Potentials with Application to Improved Training for GANs
Coordinated Science Laboratory, UIUC（伊利诺伊大学厄巴纳-香槟分校协同科学实验室）；Technicolor AI Lab（Technicolor人工智能实验室）
我们提供了一个框架，以近似的2-Wasserstein距离和最优输运地图，服从有效的培训以及统计和几何分析。考虑到最优运输问题的Kantorovich对偶形式和二次费用，Brenier定理指出最优势函数是凸的，最优输运图是最优势函数的梯度。使用这种几何结构，我们限制最优化问题不同的参数化类的凸函数，并特别注意类的输入凸神经网络。我们分析了统计推广和歧视的权力，所产生的近似度量，我们证明了一个限制矩匹配属性的近似最优映射。最后，我们讨论了一个数值算法来解决限制性最优化问题，并提供数值实验来说明和比较所提出的方法与已建立的正则化为基础的方法。我们进一步讨论了我们的建议在GANs的模块化和可解释的设计中的实际意义，该设计将生成器训练与并行计算连接起来，以允许学习整个复合生成器。
2019-02-19 cs.LG math.OC stat.ML
Image Generation and Recognition (Emotions)
Imperial College London（帝国理工学院）
生成对抗网络（GANs）是由Goodfellow等人在2014年提出的，此后已扩展到多个计算机视觉应用中。本报告对最近的GAN研究进行了全面调查，概述了各种架构和应用，以及训练GANs和处理潜在空间的方法。随后讨论了未来GAN研究的潜在领域，包括：评估GANs，更好地理解GANs，以及训练GANs的技术。本报告的第二部分概述了代表7种基本人类情感中每一种的“野外”图像数据集的汇编，并分析了在此数据集上结合FER2013数据集训练StarGAN时所做的实验。
2019-12-13 cs.CV cs.LG eess.IV
Inferential Wasserstein Generative Adversarial Networks
Purdue University（普渡大学）
生成式对抗网络（GANs）对许多问题和应用都有影响，但存在训练不稳定的问题。Wasserstein GAN（WGAN）利用瓦瑟斯坦距离来避免GANs的最小最大两人训练中的警告，但具有其他缺陷，例如模式崩溃和缺乏检测收敛的度量。我们介绍了一种新的推理Wasserstein GAN（iW GAN）模型，这是一个原则性的框架融合自动编码器和WGAN。iWGAN模型通过迭代原始对偶优化过程联合学习编码器网络和生成器网络。编码器网络将观察到的样本映射到潜在空间，生成器网络将样本从潜在空间映射到数据空间。我们建立的推广误差界的iWGAN理论证明其性能。在极大似然估计的框架下，我们进一步提供了一个严格的概率解释我们的模型。iWGAN具有明确的停止标准，与其他自动编码器GANs相比具有许多优势。实验结果表明，该方法大大减轻了模式崩溃的症状，加快了收敛速度，并能对每个样本进行质量检验。我们通过获得基准数据集的竞争力和稳定的性能来说明iWGAN的能力。
2021-09-13 cs.LG stat.ML
Instance Selection for GANs
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；Facebook AI Research（Facebook人工智能研究院）
生成对抗网络（GANs）的最新进展使其被广泛采用，以生成高质量的合成图像。虽然能够生成照片般逼真的图像，但这些模型通常会产生不切实际的样本，这些样本落在数据流形之外。最近提出的几种技术试图避免虚假样本，或者通过在生成后拒绝它们，或者通过截断模型的潜在空间。虽然有效，但这些方法效率低下，因为大部分训练时间和模型容量都用于最终未使用的样本。在这项工作中，我们提出了一种新的方法来提高样本质量：在模型训练之前通过实例选择来改变训练数据集。通过在训练前优化经验数据分布，我们将模型容量重定向到高密度区域，最终提高了样本保真度，降低了模型容量要求，并显著缩短了训练时间。代码可在https://github.com/uoguelph-mlrg/instance_selection_for_gans上获得。
2020-10-23 cs.CV cs.LG stat.ML
Precise Recovery of Latent Vectors from Generative Adversarial Networks
University of California, San Diego（加州大学圣地亚哥分校）
生成对抗网络（GANs）将潜在向量转换为视觉上合理的图像。通常认为，原始的GAN公式没有给出开箱即用的方法来反转映射，将图像投影回潜在空间。我们介绍一个简单的，基于梯度的技术称为随机裁剪。在实验中，对于由GAN生成的图像，我们100%准确地恢复了它们的潜在向量前图像。实验结果表明，该方法对噪声具有较好的鲁棒性.最后，我们表明，即使是看不见的图像，我们的方法似乎恢复独特的编码。
2017-02-17 cs.LG cs.NE stat.ML
Latent Diffusion Model for Conditional Reservoir Facies Generation
Norwegian University of Science and Technology（挪威科技大学）；BI Norwegian Business School（BI挪威商学院）；Norwegian Computing Center（挪威计算中心）
提出一种用于条件储层相生成的潜在扩散模型，优于GAN方法，能生成高保真且严格保留条件数据的相实现。
2024-11-07 cs.LG physics.geo-ph stat.ML
Style Generator Inversion for Image Enhancement and Animation
School of Computer Science and Engineering（计算机科学与工程学院）；Facebook AI Research（脸书人工智能研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
训练高质量图像生成模型的主要动机之一是它们作为图像操作工具的潜在用途。最近，生成对抗网络（GANs）已经能够生成质量卓越的图像。不幸的是，逆向训练的无条件生成器网络作为图像先验并不成功。网络作为生成图像先验的主要要求之一是能够从目标分布中生成每一个可能的图像。对抗性学习通常会经历模式崩溃，这表现在生成器无法生成目标分布的某些模式。通常不满足的另一个要求是可逆性，即，具有在给定所需输出图像的情况下找到有效输入潜码的有效方式。在这项工作中，我们表明，与早期的GANs不同，最近提出的样式生成器很容易反转。我们使用这个重要的观察，提出风格生成器作为通用的图像先验。我们表明，样式生成器优于其他GANs以及深度图像先验作为图像增强任务的先验。由风格生成器生成的潜空间满足线性身份-姿态关系。潜在的空间线性，加上可逆性，使我们能够在没有监督的情况下动画静态面部图像。进行了大量的实验，以支持本文的主要贡献。
2019-06-05 cs.CV cs.LG stat.ML
Improving Generative Adversarial Networks with Local Coordinate Coding
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；The University of Adelaide（阿德莱德大学）；Tencent AI Laboratory（腾讯人工智能实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
生成对抗网络（GANs）在从一些预定义的先验分布（例如，高斯噪声）。然而，这种先验分布通常独立于真实数据，因此可能丢失语义信息（例如，图像中的几何结构或内容）。在实践中，语义信息可能由从数据中学习的一些潜在分布表示。然而，这样的潜在分布可能在GANs的数据采样中引起困难。在本文中，而不是从预定义的先验分布采样，我们提出了一个LCCGAN模型与本地坐标编码（LCC），以提高生成数据的性能。首先，我们在LCCGAN中提出了一种LCC采样方法，从潜在流形中采样有意义的点。通过LCC采样方法，我们可以利用隐流形上的局部信息，从而产生具有良好质量的新数据。其次，我们提出了一个改进的版本，即LCCGAN++，通过在生成器近似中引入高阶项。该项能够实现更好的近似，从而进一步提高性能。更重要的是，我们推导出LCCGAN和LCCGAN++的泛化界，并证明低维输入足以实现良好的泛化性能。在四个基准数据集上的实验证明了该方法优于现有的GANs。
2020-07-28 cs.CV cs.LG eess.IV
Unsupervised Controllable Generation with Self-Training
EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）；Caltech（加州理工学院）
最近的生成对抗网络（GANs）能够生成令人印象深刻的照片般逼真的图像。然而，利用GANs实现可控发电仍然是一个具有挑战性的研究问题。实现可控生成需要语义上可解释和分离的变化因素。使用简单的固定分布（如高斯分布）实现这一目标具有挑战性。相反，我们提出了一个无监督的框架来学习通过自我训练控制生成器的潜在代码的分布。自训练在GAN训练中提供从训练器到生成器的迭代反馈，并且随着训练的进行而逐步改进潜在码的建议。潜在代码是从一个潜在的变量模型，是在学习的特征空间的特征空间的编码。我们考虑了一个归一化的独立分量分析模型，并通过高阶矩的张量分解来学习其参数。我们的框架表现出更好的解纠缠相比，其他变种，如变分自编码器，并能够发现语义有意义的潜在代码，而无需任何监督。我们在汽车和人脸数据集上以经验证明，学习代码中的每组元素控制着具有语义含义的变化模式，例如姿势或背景变化。我们还用定量指标证明，与其他方法相比，我们的方法产生了更好的结果。
2021-05-02 cs.CV cs.LG stat.ML
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
School of Electrical Information and Communication Engineering, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Microsoft AI & Research（微软人工智能与研究）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
基于生成对抗网络（GANs）的最新技术，如周期一致性GANs，能够通过生成器和判别器之间的最小-最大优化游戏，学习从未配对数据集构建的不同域之间的映射。然而，它仍然具有挑战性，以稳定的训练过程，从而循环模型陷入模式坍塌伴随着成功的训练。为了解决这个问题，我们提出了一种新的贝叶斯循环模型和一个综合的域间映射循环框架。该方法以贝叶斯GAN为理论基础，通过对潜在变量进行采样，探索循环模型的全后验，并利用最大后验概率（MAP）估计对模型进行优化。因此，我们将其命名为Bayesian CycleGAN。此外，原始的CycleGAN无法产生多样化的结果。但贝叶斯框架通过替换推理过程中的限制性潜变量来使生成的图像多样化是可行的。我们在多个基准数据集上评估了所提出的贝叶斯CycleGAN，包括Cityscapes，Maps和Monet 2 photo。该方法将Cityscapes语义分割任务的每像素精度在原始框架内提高了15%，在所提出的集成框架内提高了20%，表现出更好的弹性不平衡对抗。Monet 2 Photo风格转移的多样化结果也证明了其优于原始循环模型。我们在https://github.com/ranery/Bayesian-CycleGAN中提供了所有实验的代码。
2020-08-16 cs.CV cs.LG stat.ML
Adversarial Feature Learning
University of California, Berkeley（加州大学伯克利分校）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
生成对抗网络（GANs）框架学习生成模型从简单的潜在分布映射到任意复杂的数据分布的能力已经被经验证明，令人信服的结果表明，这种生成器的潜在空间捕获了数据分布中的语义变化。直觉上，被训练来预测给定数据的这些语义潜在表示的模型可以作为语义相关的辅助问题的有用特征表示。然而，在现有的形式下，GANs无法学习逆映射-将数据投影回潜在空间。我们提出了双向生成对抗网络（BiGANs）作为学习这种逆映射的一种手段，并证明了所得到的学习特征表示对于辅助监督判别任务是有用的，与当代无监督和自监督特征学习方法相竞争。
2017-04-03 cs.AI cs.CV cs.LG
On the Statistical Properties of Generative Adversarial Models for Low Intrinsic Data Dimension
UC Berkeley（伯克利大学）；Google DeepMind（谷歌DeepMind）
本文推导了GANs和BiGANs基于数据和潜在空间内在维度的统计保证，证明其误差速率避免了维数灾难，并表明使用插值生成器网络可实现极小化极大最优速率。
2025-07-16 cs.AI cs.LG math.ST
