Learning Latent Space Energy-Based Prior Model
University of California, Los Angeles（加州大学洛杉矶分校）；Stevens Institute of Technology（斯蒂文斯理工学院）
我们建议在发电机模型的潜在空间中学习基于能量的模型（EBM），这样EBM就可以作为发电机模型自顶向下网络上的先验模型。潜在空间EBM和自上而下的网络都可以通过极大似然联合学习，这涉及从潜在向量的先验分布和后验分布进行短期MCMC采样。由于潜在空间的低维性和自顶向下网络的表达能力，潜在空间中的简单EBM可以有效地捕获数据中的错误，并且潜在空间中的MCMC采样是有效的并且混合良好。我们表明，学习模型在图像和文本生成和异常检测方面表现出很强的性能。单页代码可以在补充材料中找到。
2020-10-29 cs.LG stat.ML
Optimizing the Latent Space of Generative Networks
Facebook AI Research（脸书人工智能研究院）
生成对抗网络（GANs）在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中，GAN模型有两个共同的方面：解决一个具有挑战性的鞍点优化问题，解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是，我们介绍了生成潜在优化（GLO），这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验，我们证明了GLO具有GANs的许多理想特性：合成视觉上吸引人的样本，在样本之间进行有意义的插值，以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Detecting Overfitting of Deep Generative Networks via Latent Recovery
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS — UMR GREYC（法国国家科学研究中心 — 灰谐实验室联合研究单位（注：CNRS为法国国家科学研究中心，UMR为联合研究单位缩写，GREYC为实验室名，此处按原文提取机构部分））
最先进的深度生成网络能够生成具有令人难以置信的真实感的图像，以至于它们可以被怀疑记忆训练图像。这就是为什么包含训练集最近邻的可视化并不罕见，这表明生成的图像不仅仅是记忆。我们证明这是不够的，并激发了需要研究记忆/过拟合的深发电机更多的审查。本文通过以下方式解决了这个问题：i）展示简单损失在为深度生成器重建图像时是如何高效的; ii）分析重建训练和验证图像时重建误差的统计数据，这是机器学习中分析过拟合的标准方法。使用这种方法，本文表明，过度拟合是不可检测的纯GAN模型在文献中提出的，与那些使用混合对抗损失，这是最广泛应用的生成方法之一。该论文还表明，标准的GAN评估指标无法捕捉记忆的一些深发电机。最后，本文还展示了如何现成的GAN发电机可以成功地应用于人脸修复和人脸超分辨率使用所提出的重建方法，没有混合对抗损失。
2019-01-09 cs.LG stat.ML
Topic Augmented Generator for Abstractive Summarization
University of Southern California（南加州大学）
基于注意力的序列到序列学习模型在抽象摘要方面取得了稳步进展。在本文中，我们提出了一种新的解码器，输出摘要是通过调节输入文本和潜在的主题的文件。由诸如LDA的主题模型识别的潜在主题揭示了更多的全局语义信息，这些信息可以用于使解码器偏向于生成单词。特别是，它们使解码器能够访问在文档语料库级别捕获的附加单词共现统计数据。我们经验验证了所提出的方法的优势上的CNN/每日邮报和WikiHow数据集。具体地说，我们获得了大大改善ROUGE分数相比，国家的最先进的模型。
2019-08-19 cs.LG stat.ML
Generalized Latent Variable Recovery for Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GAN）的生成器经过训练，可以将从先验分布中提取的潜在向量转换为逼真的照片。这些潜在向量已经被证明可以对关于其对应图像的内容的信息进行编码。将输入图像投影到GAN的潜在空间上是不平凡的，但是以前的工作已经成功地执行了具有均匀先验的潜在空间的任务。我们将这些技术扩展到高斯先验的潜在空间，并证明了我们的技术的有效性。
2018-10-09 cs.LG stat.ML
Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Brain（谷歌大脑）
我们表明，一个GAN的隐式生成器的对数密度$\log p_g$与logit得分的ESTA定义的能量函数，产生真正的数据密度时，发电机是不完美的，但ESTA是最佳的，从而使它有可能改善典型的发电机（与隐式密度$p_g$）。为了实现这一点，我们表明，从这个修改后的密度采样可以通过根据潜在先验对数密度和潜在输出分数之和引起的基于能量的模型在潜在空间中进行采样来实现。这可以通过在潜在空间中运行Langevin MCMC，然后应用生成器函数来实现，我们称之为鉴别器驱动潜在采样~（DDLS）。我们表明，DDLS是非常有效的相比，以前的方法，工作在高维像素空间，可以应用于改善以前训练的GANs的许多类型。我们评估DDLS的合成和现实世界的数据集定性和定量。在CIFAR-10上，DDLS大大提高了现成的预训练SN-GAN~ \citep{sngan}的初始得分，从$8.22$到$9.09$，甚至可以与类条件BigGAN~ \citep{biggan}模型相媲美。这在无条件图像合成设置中实现了新的最先进技术，而无需引入额外的参数或额外的训练。
2021-07-07 cs.AI cs.LG stat.ML
Sharp Approximation Rates for Neural Networks with Affine Latent Parameterizations
Hong Kong Polytechnic University（香港理工大学）
该研究针对仿射生成器与全连接 ReLU 架构，推导得出具有仿射隐参数化的神经网络的 Sharp 逼近率，明确了隐维度与网络预算的权衡关系，证明固定维度隐空间可实现误差随预算增大而消失。
2026-09-01 cs.LG stat.ML
Alternating Back-Propagation for Generator Network
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种用于发电机网络模型学习的交替反向传播算法。该模型是因子分析的非线性推广。在这个模型中，从连续的潜在因素到观察到的信号的映射由卷积神经网络参数化。交替反向传播算法迭代以下两个步骤：（1）推理反向传播，其通过朗之万动力学或梯度下降来推断潜在因子。(2)学习反向传播，它通过梯度下降来更新给定推断的潜在因素的参数。这两个步骤中的梯度计算都是由反向传播提供动力的，并且它们共享大部分共同的代码。我们表明，交替反向传播算法可以学习现实的自然图像，视频序列和声音的生成器模型。此外，它还可以用于从不完整或间接的训练数据中学习。
2016-12-06 cs.CV cs.LG cs.NE
Style Generator Inversion for Image Enhancement and Animation
School of Computer Science and Engineering（计算机科学与工程学院）；Facebook AI Research（脸书人工智能研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
训练高质量图像生成模型的主要动机之一是它们作为图像操作工具的潜在用途。最近，生成对抗网络（GANs）已经能够生成质量卓越的图像。不幸的是，逆向训练的无条件生成器网络作为图像先验并不成功。网络作为生成图像先验的主要要求之一是能够从目标分布中生成每一个可能的图像。对抗性学习通常会经历模式崩溃，这表现在生成器无法生成目标分布的某些模式。通常不满足的另一个要求是可逆性，即，具有在给定所需输出图像的情况下找到有效输入潜码的有效方式。在这项工作中，我们表明，与早期的GANs不同，最近提出的样式生成器很容易反转。我们使用这个重要的观察，提出风格生成器作为通用的图像先验。我们表明，样式生成器优于其他GANs以及深度图像先验作为图像增强任务的先验。由风格生成器生成的潜空间满足线性身份-姿态关系。潜在的空间线性，加上可逆性，使我们能够在没有监督的情况下动画静态面部图像。进行了大量的实验，以支持本文的主要贡献。
2019-06-05 cs.CV cs.LG stat.ML
Learning Latent Space Hierarchical EBM Diffusion Models
Stevens Institute of Technology（史蒂文斯理工学院）
针对多层生成模型中的先验空洞问题，本文提出利用扩散概率方案辅助EBM先验学习，实验证明其性能优越。
2024-05-27 cs.CV cs.LG stat.ML
Generative models with kernel distance in data space
处理建模联合数据分布的生成模型通常基于自动编码器或GAN。两者各有利弊，分别会产生模糊的图像或在训练中不稳定或容易出现模式坍塌现象。本文的目标是构建一个介于上述体系结构之间的~模型，该模型不继承它们的主要弱点。所提出的LCW发生器（潜在的Cramer-Wold发生器）类似于一个经典的GAN在转换高斯噪声到数据空间。最重要的是，LCW生成器使用核距离而不是~ Σ。没有使用对抗训练，因此命名为生成器。培训分两个阶段进行。首先，一个自动编码器为基础的架构，使用内核措施，建立了一个流形的数据模型。为了得到最终的模型，我们提出了一个将高斯映射到潜在的潜在技巧。这导致非常有竞争力的FID值。
2020-09-15 cs.CV cs.LG stat.ML
Generative adversarial interpolative autoencoding: adversarial training on latent space interpolations encourage convex latent distributions
UC San Diego（加州大学圣地亚哥分校）；SPAWAR（SPAWAR（太空与海战系统司令部））
我们提出了一种基于自动编码器（AE）和生成对抗网络（GAN）的神经网络架构，通过对潜在空间插值进行对抗训练来促进凸潜在分布。通过使用AE作为GAN的生成器和消隐器，我们在消隐器上传递逐像素误差函数，产生一个AE，它产生与原始图像的高级和低级特征相匹配的非模糊样本。在这个空间中的图像之间的插值保持在真实图像的潜空间分布内，如由神经网络训练的，并且因此保持对网络输入的现实不对称性。代码可在https://github.com/timsainb/GAIA获得
2019-04-22 cs.LG stat.ML
AEGR: A simple approach to gradient reversal in autoencoders for network anomaly detection
异常检测是指一个过程，其目的是检测遵循与大多数数据点不同模式的数据点。异常检测方法受到几个众所周知的挑战，阻碍了他们的性能，如高维。自动编码器是无监督的神经网络，用于降低维数，并检测大型数据集中的网络异常。当训练集包含噪声和异常时，自动编码器的性能会减弱。本文提出了一种新的梯度反转方法，以克服异常对训练阶段的影响，以检测网络异常。该方法与其他方法不同，因为它不需要无异常的训练集，并且基于重建误差。一旦从网络中提取出潜在变量，就可以使用局部离群值因子将正常数据点与异常数据点分开。还添加了简单的修剪方法和数据增强以进一步提高性能。实验结果表明，该模型的性能优于其他众所周知的方法。
2020-02-28 cs.LG stat.ML
Creating High Resolution Images with a Latent Adversarial Generator
Google Research（谷歌研究院）
生成逼真的图像是困难的，并且最近已经提出了用于该任务的许多公式。然而，如果我们将任务限制为生成特定类别的图像，则任务变得更容易处理。也就是说，我们不是从自然图像的流形中生成任意图像作为样本，而是建议从自然图像的特定“子空间”中对图像进行采样，由来自同一子空间的低分辨率图像引导。我们解决的问题，虽然接近制定的单图像超分辨率问题，实际上是相当不同的。单图像超分辨率是从相对低分辨率的图像中预测最接近地面实况的图像的任务。我们提出了一种新的方法，称为潜在对抗生成器（LAG），在极小的输入下生成高分辨率图像的样本。在我们的生成采样框架中，我们只使用输入（可能是非常低的分辨率）来指导网络应该产生什么样的样本。因此，我们的算法的输出不是与输入相关的唯一图像，而是从自然图像的流形采样的可能的相关图像的集合。我们的方法只在对手的潜在空间中使用感知损失进行学习-它没有像素损失。
2020-03-04 cs.CV eess.IV stat.ML
Latent Space Cartography: Generalised Metric-Inspired Measures and Measure-Based Transformations for Generative Models
Cogent Labs（科进实验室）
深度生成模型是通过映射到低维潜在空间来学习高维数据空间上的数据分布的通用工具。我们提供了一个研究潜在的空间几何形状和扩展和建立在以前的结果黎曼度量。我们展示了一类启发式措施如何在寻找有意义的，特定于问题的距离方面提供更大的灵活性，以及它如何应用于不同的生成器类型，例如语言和其他序列建模中常用的自回归生成器。我们进一步演示了如何使用之前在制图学中研究的扩散启发的变换来平滑潜在空间，并根据所选的度量来拉伸它们。除了直接在潜在空间中提供更有意义的距离外，这还为新型数据可视化提供了独特的工具。我们相信，所提出的方法可以成为一个有价值的工具，用于研究潜在空间的结构和生成模型的学习数据分布。
2019-02-06 cs.AI cs.CL cs.LG
Complexity Matters: Rethinking the Latent Space for Generative Modeling
National University of Singapore（新加坡国立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从模型复杂性视角重新思考生成建模的隐空间，提出隐-数据分布距离及解耦自编码器（DAE）两阶段训练策略，在 VQGAN 和 Diffusion Transformer 等模型上以更低模型复杂性显著提升生成质量。
2023-10-29 cs.LG stat.ML
Generative Latent Implicit Conditional Optimization when Learning from Small Sample
The Hebrew University（希伯来大学）
我们重新审视了长期存在的小样本学习问题，为此，我们提出了一种新的方法，称为GLICO（生成潜在隐式条件优化）。GLICO学习从训练样本到潜在空间的映射以及从潜在空间中的向量生成图像的生成器。与大多数依赖于访问大量未标记数据的最新作品不同，GLICO不需要访问除少量标记点之外的任何其他数据。事实上，GLICO学会了为每个类合成全新的样本，每个类使用5到10个样本，其中只有10个这样的类，而没有任何先验知识。然后，GLICO用于增强小训练集，同时在小样本上训练分类器。为此，我们提出的方法使用球面插值对学习的潜在空间进行采样，并使用训练的生成器生成新的示例。实验结果表明，新的采样集是足够多样的，导致改善图像分类与现有技术相比，当训练的小样本从CIFAR-10，CIFAR-100，和CUB-200。
2020-12-15 cs.CV cs.LG stat.ML
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago（芝加哥大学）
在本文中，我们提出了一种通用的方法，可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数，该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型，并且在训练之后，从基于能量的模型生成潜在空间中的新样本，并通过生成器以在观察空间中产生样本。我们表明，使用我们提出的方法，我们可以大大提高流行的基于似然的生成模型，如规范化流和VAE，与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
Generalization Properties of Optimal Transport GANs with Latent Distribution Learning
University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究所）；Imperial College London（帝国理工学院）
生成式对抗网络（GAN）框架是概率匹配和真实样本生成的一个成熟范例。虽然最近的注意力一直致力于研究这些模型的理论特性，一个完整的理论理解的主要组成部分仍然缺乏。在这项工作中，我们专注于以最优传输指标作为判别器的生成模型，从统计和建模的角度研究了潜在分布和前推映射（生成器）的复杂性之间的相互作用如何影响性能。受我们分析的启发，我们提倡在GAN范式中学习潜在分布以及前推映射。我们证明，这可以导致显着的优势，在样本的复杂性。
2020-07-29 cs.LG stat.ML
LOGAN: Latent Optimisation for Generative Adversarial Networks
DeepMind
训练生成对抗网络需要平衡微妙的对抗动态。即使经过仔细的调整，训练也可能会出现分歧，或者最终以放弃模式的不佳平衡而告终。在这项工作中，我们使用基于自然梯度的潜在优化来改进CS-GAN，并表明它通过增强机器人和生成器之间的交互来改善对抗动态。我们的实验表明，潜在优化可以显着改善GAN训练，获得ImageNet（$128 \times 128$）数据集的最新性能。我们的模型实现了$148$的初始得分（IS）和$3.4$的Fréchet初始距离（FID），与具有相同架构和参数数量的基线BigGAN-deep模型相比，IS和FID分别改进了$17\%$和$32\%$。
2020-07-01 cs.LG stat.ML
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University（克莱姆森大学）
条件生成模型在过去几年中取得了相当大的成功，但通常需要大量的标记数据。最近，聚类器GAN将GAN与编码器相结合，通过无监督条件生成来实现显著的聚类性能。然而，它忽略了数据的真实条件分布，这导致为每个类生成较少多样性的样本，并使编码器只能实现次优聚类性能。在这里，我们提出了一个新的无监督条件生成框架，双循环一致的条件GAN（DC 3-GAN），它可以生成不同的类条件样本。除了生成器-编码器对之外，我们还强制GAN的编码器和生成器形成编码器-生成器对，这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对，它可以间接估计真实的条件分布。同时，该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配，从而将潜在空间分解为两部分：独热离散和连续潜在变量。前者可以直接表示为簇，后者表示剩余的未指定因子。这项工作表明，增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明，该方法优于现有的基于生成模型的聚类方法，同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
A Style-Based Generator Architecture for Generative Adversarial Networks
NVIDIA（英伟达）
我们提出了一种替代生成器架构的生成对抗网络，借用风格转移文献。新的体系结构导致自动学习的、无监督的高级属性分离（例如，在人脸上训练时的姿态和身份）和所生成的图像中的随机变化（例如，雀斑、头发），并且它能够实现对合成的直观的、尺度特定的控制。新的生成器改进了传统分布质量度量方面的最新技术，导致明显更好的插值特性，并且还更好地解开了潜在的变化因素。为了量化插值质量和解纠缠，我们提出了两种新的，自动化的方法，适用于任何发电机架构。最后，我们介绍了一个新的，高度多样化和高质量的人脸数据集。
2019-03-29 cs.LG cs.NE stat.ML
GM Score: Incorporating inter-class and intra-class generator diversity, discriminability of disentangled representation, and sample fidelity for evaluating GANs
School of Computer Engineering, KIIT Deemed to be University（KIIT 大学计算机工程学院）
虽然生成对抗网络（GAN）因其更高的样本质量而受到欢迎，但与其他生成模型（如变分自编码器（VAE）和玻尔兹曼机）相反，它们也面临着对生成样本进行评估的困难。必须考虑到各个方面，例如生成的样本的质量、类的多样性（类内和类间）、使用解纠缠的潜在空间、所述评价度量与人类感知的一致性等。在本文中，我们提出了一种新的评分，即GM评分，它考虑了各种因素，如样本质量、解纠缠表示、类内和类间多样性，采用查准率、查全率和F1得分等指标对深度信念网络（DBN）和受限玻尔兹曼机（RBM）的潜在空间进行区分。评估是针对在基准MNIST数据集上训练的不同GANs（GAN、DCGAN、BiGAN、CGAN、耦合GAN、LSGAN、SGAN、WGAN和WGAN Improved）进行的。
2021-12-16 cs.AI cs.LG stat.ML
Unsupervised Controllable Generation with Self-Training
EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）；Caltech（加州理工学院）
最近的生成对抗网络（GANs）能够生成令人印象深刻的照片般逼真的图像。然而，利用GANs实现可控发电仍然是一个具有挑战性的研究问题。实现可控生成需要语义上可解释和分离的变化因素。使用简单的固定分布（如高斯分布）实现这一目标具有挑战性。相反，我们提出了一个无监督的框架来学习通过自我训练控制生成器的潜在代码的分布。自训练在GAN训练中提供从训练器到生成器的迭代反馈，并且随着训练的进行而逐步改进潜在码的建议。潜在代码是从一个潜在的变量模型，是在学习的特征空间的特征空间的编码。我们考虑了一个归一化的独立分量分析模型，并通过高阶矩的张量分解来学习其参数。我们的框架表现出更好的解纠缠相比，其他变种，如变分自编码器，并能够发现语义有意义的潜在代码，而无需任何监督。我们在汽车和人脸数据集上以经验证明，学习代码中的每组元素控制着具有语义含义的变化模式，例如姿势或背景变化。我们还用定量指标证明，与其他方法相比，我们的方法产生了更好的结果。
2021-05-02 cs.CV cs.LG stat.ML
Semantically Decomposing the Latent Spaces of Generative Adversarial Networks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）；Stanford University（斯坦福大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了一种用于训练生成对抗网络的新算法，该网络联合学习身份（例如个人）和观察（例如特定照片）的潜在代码。通过固定潜在代码的身份部分，我们可以生成同一主题的不同图像，通过固定观察部分，我们可以遍历主题的流形，同时保持偶然的方面，如照明和姿势。我们的算法具有成对的训练方案，其中来自生成器的每个样本由具有共同身份码的两个图像组成。来自真实数据集的相应样本由同一主题的两张不同照片组成。为了欺骗机器人，生成器必须产生照片般逼真的、不同的、看起来描绘同一个人的配对。我们用Siamese鉴别器增强DCGAN和BEGAN方法，以促进成对训练。与人类法官和现成的人脸验证系统的实验表明，我们的算法的能力，以产生令人信服的，身份匹配的照片。
2018-02-22 cs.AI cs.CV cs.LG
Exploiting GAN Internal Capacity for High-Quality Reconstruction of Natural Images
Universidad Nacional de Rosario（国立罗萨里奥大学）；CIFASIS, UNR-CONICET（UNR-CONICET智能系统研究中心）
生成对抗网络（GAN）在对自然图像的分布进行建模、学习在无监督的基础上捕获语义变化的潜在表示方面已经展示了令人印象深刻的结果。除了生成新的样本之外，特别感兴趣的是利用GAN生成器对自然图像流形进行建模的能力，从而在操纵图像时生成可信的变化。然而，这一工作受到重建质量的限制。到目前为止，只有反转的潜在空间已被认为是，我们建议利用表示在中间层的发电机，我们表明，这导致容量增加。特别是，我们观察到，在所有最先进的GAN模型中存在的第一个密集层之后的表示具有足够的表现力来表示具有高视觉保真度的自然图像。有可能在这些图像周围进行插值，从而获得不能从潜空间生成的新的合理合成图像的序列。最后，作为这种反转机制产生的潜在应用的一个例子，我们展示了利用在生成器的注意力图中学习到的表示来获得自然图像的无监督分割的初步结果。
2019-10-26 cs.CV cs.LG stat.ML
PaGoDA: Progressive Growing of a One-Step Generator from a Low-Resolution Diffusion Teacher
Stanford University（斯坦福大学）；Sony AI（索尼人工智能研究院）；Sony Group Corporation（索尼集团公司）
针对扩散模型训练计算成本高的问题，提出PaGoDA三阶段训练流水线，通过低分辨率训练、蒸馏和渐进超分辨率大幅降低训练成本，单步推理在多分辨率图像生成及文生图任务上达SOTA，还可适配隐扩散模型。
2024-10-29 cs.AI cs.CV cs.LG
