Latent reweighting, an almost free improvement for GANs
Criteo AI Lab（Criteo AI实验室）；LIGM, Ecole des Ponts（法国国立桥路学校LIGM实验室）
GANs的标准公式，其中连续函数使连接的潜在空间变形，已被证明在拟合不同类别的图像时被错误指定。特别是，生成器将必须在类之间采样一些低质量的图像。不是修改架构，而是一系列工作旨在以增加计算成本为代价来提高预训练生成器的采样质量。在此基础上，我们引入了一个额外的网络来预测潜在的重要性权重和两个相关的抽样方法，以避免最差的样本。这个想法有几个优点：1）它提供了一种将不连通性注入任何GAN架构的方法，2）由于拒绝发生在潜在空间中，它避免了通过生成器和搜索器，节省了计算时间，3）这个重要性权重公式提供了一种原则性的方法来减少Wasserstein到目标分布的距离。我们证明了我们的方法在几个数据集，合成和高维的有效性。
2021-10-19 cs.CV cs.LG
Making Method of Moments Great Again? -- How can GANs learn distributions
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
生成对抗网络（GANs）是广泛用于学习复杂现实世界分布的模型。在GANs中，生成器的训练通常在训练器无法从训练样本集合中区分生成器的输出时停止。GANs的一个核心问题是，当训练停止时，生成的分布是否真的接近目标分布，以及训练过程如何有效地达到这样的配置？在本文中，我们建立了一个理论结果，以了解这个发电机的训练过程。我们根据经验观察到，在GANs训练的早期阶段，神经网络试图迫使生成器匹配生成器输出和目标分布之间的低阶矩。此外，只有通过匹配多项式的许多训练样本，这些经验矩，我们证明了发电机已经可以学习显着类的分布，包括那些可以产生的两层神经网络。
2021-02-17 cs.LG stat.ML
Cut Inner Layers: A Structured Pruning Strategy for Efficient U-Net GANs
Nota Inc.（Nota公司）
剪枝有效地压缩了过度参数化的模型。尽管成功的修剪方法的歧视性模型，将它们应用于生成模型已经相对较少。本文对条件GANs的U-Net生成器进行了结构化剪枝。每层的敏感性分析证实，许多不必要的过滤器存在于最内层的瓶颈附近，可以大幅修剪。基于这一观察，我们从多个内层中修剪这些过滤器，或者通过完全消除这些层来建议替代架构。我们使用Pix 2 Pix进行图像到图像的翻译，使用Wav 2Lip进行语音驱动的说话人脸生成。我们的方法优于全局修剪基线，证明了正确考虑U-Net生成器修剪位置的重要性。
2022-06-29 cs.CV cs.LG
Improved generator objectives for GANs
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
我们提出了一个框架来理解GAN训练交替密度比估计和近似发散最小化。这为实践中经常使用的不匹配的GAN生成器和SVM目标提供了解释，并解释了样本多样性差的问题。我们还得到了一个家庭的发电机目标，目标是任意$f$ -分歧，而不最小化下限，并使用它们来训练生成图像模型，目标是提高样本质量或更大的样本多样性。
2016-12-08 cs.LG stat.ML
Progressive Augmentation of GANs
Bosch Center for Artificial Intelligence（博世人工智能中心）
生成对抗网络（GANs）的训练是众所周知的脆弱，需要在生成器和神经网络之间保持谨慎的平衡，以便表现良好。为了缓解这个问题，我们引入了一种新的正则化技术-GANs的渐进增强（PA-GAN）。其关键思想是通过逐步增加其输入或特征空间来逐渐增加任务难度，从而使生成器能够持续学习。我们表明，建议的渐进增强保留了原来的GAN目标，不妥协的最优性，并鼓励发电机和发电机之间的健康竞争，导致性能更好的发电机。我们通过实验证明了PA-GAN在不同架构和图像合成任务的多个基准上的有效性，平均实现了FID分数的~3点改进。
2019-10-28 cs.CV
Self-labeled Conditional GANs
Bosch Center for Artificial Intelligence（博世人工智能中心）
本文介绍了一种新的和完全无监督的框架条件GAN训练，标签自动从数据中获得。我们将一个聚类网络纳入标准的条件GAN框架，以对抗竞争对手。使用生成器，它的目的是找到一个共享的结构化映射，用于将伪标签与真实和虚假图像相关联。我们的生成器在FID方面优于无条件GANs，在ImageNet和LSUN等大规模数据集上具有显著的优势。它还优于在CIFAR10和CIFAR100上训练的人类标签的类条件GANs，其中细粒度注释或每个类的大量样本不可用。此外，我们的集群网络超过了CIFAR 100集群的最新水平。
2020-12-03 cs.CV
Smile-GANs: Semi-supervised clustering via GANs for dissecting brain disease heterogeneity from medical images
University of Pennsylvania（宾夕法尼亚大学）
应用于复杂生物医学数据的机器学习方法已经能够构建具有诊断/预后价值的疾病特征。然而，很少有人注意到了解疾病的异质性。半监督聚类方法可以通过估计从（例如健康）对照（CN）组到患者（PT）组的多个转换来解决这个问题，试图捕获潜在病理过程的异质性。在此，我们提出了一种新的方法，微笑-GANs（SeMi-supervised cLustEring via GANs），用于半监督聚类，并将其应用于脑MRI扫描。Smile-GAN首先通过从CN生成PT来学习多个不同的映射，每个映射都表征一个相对不同的病理模式。此外，聚类模型与映射函数交互训练，以将PT分配到相应的子类型成员。通过对PT/CN数据分布的宽松假设和施加映射非线性，Smile-GANs捕获CN和PT域之间分布的异质差异。我们首先使用模拟数据验证Smile-GANs，随后在真实数据上验证，通过展示其在表征阿尔茨海默病（AD）及其前驱期异质性方面的潜力。该模型首先使用ADNI 2数据库的基线MRI进行训练，然后应用于ADNI 1和BLSA的纵向数据。发现了四种具有不同神经解剖学模式的稳健亚型：1）正常脑，2）非典型AD的弥漫性萎缩，3）局灶性内侧颞叶萎缩，4）典型AD。进一步的纵向分析发现了从前驱期到完全AD的两种不同的进展途径：i）亚型1 - 2 - 4，和ii）亚型1 - 3 - 4。虽然在一个重要的生物医学问题上得到了证明，但Sm…
2020-06-27 cs.LG eess.IV q-bio.QM
Message Passing Multi-Agent GANs
IIT Kanpur（印度理工学院坎普尔分校）
智能体之间的通信和共享智能是实现人工通用智能的一个重要方面。作为迎接这一挑战的第一步，我们引入了一个新的图像生成框架：消息传递多代理生成对抗网络（MPM GANs）。虽然GANs最近被证明对图像生成和其他任务非常有效，但这些网络主要限于单生成器-多线程网络。我们表明，我们可以获得通过消息传递进行通信的多代理GANs，以实现更好的图像生成。在这个框架中，个体行为者的目标有两个方面：合作目标和竞争目标。合作目标确保信息共享机制引导其他生成器生成比自己更好的信息，而竞争目标则鼓励每个生成器生成比其对应方更好的信息。我们分析和可视化这些GANs在各种场景中相互共享的消息。我们定量地表明，消息共享公式作为对抗训练的正则化。定性，我们表明，不同的发电机捕捉不同的特点的底层数据分布。
2016-12-05 cs.AI cs.CV cs.LG
Noise Robust Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
生成对抗网络（GANs）是通过对抗训练来学习数据分布的神经网络。在深入的研究中，最近的GANs在再现训练图像方面显示出了有希望的结果。然而，尽管有噪音，它们还是逼真地再现了图像。作为替代方案，我们提出了一种新的GANs家族，称为噪声鲁棒GANs（NR-GAN），即使训练图像有噪声，它也可以学习干净的图像生成器。特别地，NR-GAN可以在没有完整噪声信息的情况下解决这个问题（例如，噪声分布类型、噪声量或信噪比关系）。为了实现这一点，我们引入了一个噪声发生器和训练它与一个干净的图像发生器。然而，在没有任何约束的情况下，没有动机单独生成图像和噪声。因此，我们提出了分布和变换约束，鼓励噪声发生器只捕捉噪声特定的组件。特别是，考虑到不同假设下的这些约束，我们设计了两种用于信号无关噪声的NR-GAN变体和三种用于信号相关噪声的NR-GAN变体。在三个基准数据集上，我们证明了NR-GAN在噪声鲁棒图像生成中的有效性。此外，我们展示了NR-GAN在图像去噪中的适用性。我们的代码可在https://github.com/takuhirok/NR-GAN/上获得。
2020-03-31 cs.CV cs.LG eess.IV
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
条件生成模型旨在学习数据和标签的潜在联合分布，以实现条件数据生成。其中，辅助分类器生成对抗网络（AC-GAN）得到了广泛的应用，但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的，因此不能为生成器提供信息指导以接近联合分布，从而导致条件熵最小化，从而降低了类内多样性。出于这种理解，我们提出了一种新的条件GAN与辅助判别分类器（ADC-GAN），以解决上述问题。具体来说，所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明，该生成器可以忠实地学习的联合分布，即使没有原来的卷积，使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性，并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明，与最先进的基于分类器和基于投影的条件GANs相比，ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
Diverse Image Generation via Self-Conditioned GANs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Research（Adobe研究）
我们介绍了一种简单但有效的无监督方法，用于生成逼真和多样化的图像。我们训练类条件GAN模型，而不使用手动注释的类标签。相反，我们的模型是有条件的标签自动从聚类的特征空间。我们的聚类步骤自动发现不同的模式，并明确要求生成器覆盖它们。标准的模式坍塌基准测试的实验表明，我们的方法优于几个竞争的方法时，解决模式坍塌。与以前的方法相比，我们的方法在ImageNet和Places365等大规模数据集上也表现良好，提高了图像多样性和标准质量指标。
2022-02-10 cs.CV cs.LG
Fictitious GAN: Training GANs with Historical Models
Northwestern University（西北大学）
生成对抗网络（GANs）是学习生成模型的强大工具。在实践中，培训可能会缺乏收敛性。GANs通常被视为两个神经网络之间的两人零和游戏。在这里，我们利用这个博弈论的观点来研究训练过程的收敛行为。受虚拟游戏学习过程的启发，引入了一种新的训练方法，称为虚拟GAN。Fictionary GAN使用历史模型的混合来训练深度神经网络。具体而言，该公司（resp.生成器）根据对来自先前训练的生成器的序列的混合输出的最佳响应来更新。鉴别器）。结果表明，Fictionary GAN可以有效地解决标准训练方法无法解决的一些收敛问题。证明了生成器输出的平均值与数据样本的分布渐近一致。
2018-07-11 cs.CV cs.LG stat.ML
Effect of The Latent Structure on Clustering with GANs
IIT Jodhpur（印度理工学院焦特布尔分校）；Flipkart Internet Pvt Ltd（Flipkart互联网私人有限公司）；IIT Delhi（印度理工学院德里分校）
生成对抗网络（GANs）在从自然数据流形（如图像）生成数据方面取得了显着的成功。在一些场景中，生成的数据最好是很好的聚类，特别是当存在严重的类不平衡时。本文重点研究了GANs生成空间中的聚类问题，并揭示了其与潜在空间特征的关系。我们从第一原理，必要和充分条件需要实现忠实的聚类在GAN框架：（i）存在一个多模态的潜在空间与可调先验，（ii）存在一个潜在的空间反转机制和（iii）强加所需的集群先验的潜在空间。我们还确定了部分满足这些条件的文献中的GAN模型，并通过对多个真实世界图像数据集的烧蚀研究证明了所需所有组件的重要性。此外，我们描述了一个程序来构建一个多模态的潜在空间，便于学习集群先验稀疏监督。
2020-05-05 cs.LG stat.ML
Capsule GAN Using Capsule Network for Generator Architecture
Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究院）
本文提出了胶囊GAN，这是一个生成对抗网络，它不仅在生成器中使用胶囊网络，而且在生成器中使用胶囊网络。近年来，生成对抗网络（GANs）得到了广泛的研究。然而，通过GANs生成图像是困难的。因此，GANs有时会生成质量较差的图像。这些GANs使用卷积神经网络（CNN）。然而，CNN具有图像的特征之间的关系信息可能丢失的缺陷。Hinton在2017年提出的胶囊网络克服了CNN的缺陷。Capsule GAN以前报道过在网络中使用Capsule Network。然而，在以前的研究中报道的胶囊GAN没有使用胶囊网络，而是在生成器架构中使用CNN，如DCGAN。本文介绍了在生成器中使用胶囊网络的两种方法。一种是使用DigitCaps层作为生成器的输入。DigitCaps层是Capsule Network的输出层。它具有的特征的输入图像的图像处理器。另一种是在生成器中使用胶囊网络中识别过程的逆操作。我们将本文提出的胶囊GAN与使用CNN的传统GAN和仅使用胶囊网络的胶囊GAN进行了比较。数据集是MNIST，Fashion-MNIST和彩色图像。我们表明，胶囊GAN优于使用CNN的GAN和使用胶囊网络的GAN。本文提出的Capsule GAN体系结构是一种基于Capsule网络的基本体系结构。因此，我们可以将现有的GANs改进技术应用于Capsule GAN。
2020-03-18 cs.CV cs.LG eess.IV
Guiding GANs: How to control non-conditional pre-trained GANs for conditional image generation
La Salle - Universitat Ramon Llull（拉蒙·柳利大学拉萨尔学院）
生成对抗网络（GANs）是由两个神经网络--生成器和神经网络--组成的一种结构，它们被联合训练，从随机输入中生成人工数据，如图像。这些生成的图像的质量最近已经达到了这样的水平，经常会导致机器和人类将假的误认为真实的例子。然而，当我们想要调节网络以从特定类别的子类别生成图像时，GAN的生成器执行的过程有一些限制。最近的一些方法通过在训练过程之前引入额外的信息（例如图像语义分割或文本描述）来解决该\textit{conditional generation}。虽然成功，这些技术仍然需要预先定义所需的子类别，并收集表示它们的大型标记图像数据集，以从头开始训练GAN。在本文中，我们提出了一种新的替代方法，用于指导通用的非条件GANs表现为条件GANs。我们的方法不是重新训练GAN，而是将编码器网络添加到混合中以生成高维随机输入向量，这些向量被馈送到非条件GAN的生成器网络，以使其从特定子类别生成图像。在我们的实验中，与从头开始训练条件GAN相比，我们的引导式GAN能够在训练编码器后生成感知质量与非条件GANs相当的人工图像，这大大加快了过程，并能够无缝添加新的子类别。
2021-01-04 cs.CV cs.LG eess.IV
Generator Knows What Discriminator Should Learn in Unconditional GANs
NAVER AI Lab（NAVER人工智能实验室）；NAVER CLOVA
最近的条件图像生成方法受益于密集监督，如分割标签图，以实现高保真度。然而，很少有人探索采用密集监督的无条件图像生成。在这里，我们探讨了无条件生成中密集监督的有效性，并发现生成器特征映射可以替代成本昂贵的语义标签映射。从我们的经验证据，我们提出了一个新的生成器引导的正则化（GGDR），其中生成器的特征映射监督的正则化具有丰富的语义表示，在无条件生成。具体来说，我们采用了一个U-Net架构来进行训练，它被训练来预测以假图像作为输入的生成器特征图。在多个数据集上的大量实验表明，我们的GGDR在定量和定性方面不断提高基线方法的性能。代码可在https://github.com/naver-ai/GGDR上获得
2022-07-27 cs.CV
Disconnected Manifold Learning for Generative Adversarial Networks
Rutgers University（罗格斯大学）；Verisk Analytics（Verisk分析公司）
自然图像可能位于不相交流形的并集上，而不是一个全局连接的流形上，这可能会给常见的生成对抗网络（GANs）的训练带来一些困难。在这项工作中，我们首先证明了单生成器GANs无法正确地对不连通流形上支持的分布进行建模，并研究了样本质量、模式丢弃和局部收敛如何受到影响。接下来，我们将展示如何使用一组生成器来解决这个问题，为这种多生成器GANs的成功提供新的见解。最后，我们解释了所造成的严重问题，考虑一个固定的先验以上的发电机的集合，并提出了一种新的方法来学习的先验和推断所需的发电机数量没有任何监督。我们提出的修改可以应用于任何其他GAN模型之上，以实现对不连通流形上支持的分布的学习。我们进行了几个实验来说明GANs的上述缺点，其在实践中的后果，以及我们提出的修改在缓解这些问题方面的有效性。
2019-01-10 cs.CV cs.LG stat.ML
Partition-Guided GANs
Texas A&M University（德州农工大学）；University of Florida（佛罗里达大学）；Microsoft Research（微软研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
尽管生成对抗网络（GANs）取得了成功，但它们的训练存在几个众所周知的问题，包括模式坍塌和学习不连通流形集的困难。在本文中，我们将学习复杂的高维分布，支持不同的数据样本的挑战性任务分解为更简单的子任务。我们的解决方案依赖于设计一个分区器，将空间分成更小的区域，每个区域具有更简单的分布，并为每个分区训练不同的生成器。这是以无监督的方式完成的，不需要任何标签。我们为空间划分器制定了两个期望的标准，以帮助训练我们的生成器混合：1）产生连接的分区，2）提供分区和数据样本之间的距离代理，以及减少该距离的方向。制定这些标准是为了避免从数据密度不高的地方产生样本，并通过向生成器提供额外指导来促进培训。我们开发的空间分割器，以满足上述标准的理论约束。我们的理论分析的指导下，我们设计了一个有效的神经结构的空间分割器，经验上保证这些条件。在各种标准基准上的实验结果表明，所提出的无监督模型优于最近的几种方法。
2021-06-18 cs.CV cs.LG
On the Anomalous Generalization of GANs
Peking University（北京大学）
生成模型，特别是生成对抗网络（GANs），最近受到了极大的关注。然而，已经观察到，在一些属性方面，例如图像中的简单几何图元的数量，GANs在实践中不能学习目标分布。受此观察的启发，我们发现了GANs导致异常泛化行为的两个具体问题，我们称之为样本不足和像素组合。对于样本不足的第一个问题，我们从理论上和经验上表明，在实践中的训练样本的批量大小可能是不够的，学习一个准确的判别函数。它可能导致生成器的训练动态不稳定，从而导致异常泛化。对于像素组合的第二个问题，我们发现，除了将正训练样本识别为真实之外，在某些情况下，训练者可能会被愚弄，将正训练样本的像素组合（例如，像素平均值）识别为真实。然而，这些组合在视觉上可能与目标分布中的真实样本不同。以被愚弄的样本为参考，生成器将进一步获得有偏的监督，导致异常的泛化行为。此外，在本文中，我们提出了减轻GANs异常泛化的方法。大量的基准测试实验表明，我们提出的方法提高FID分数高达30%的自然图像数据集。
2019-10-06 cs.CV cs.LG
Improving GANs with a Feature Cycling Generator
Chungbuk National University Hospital（忠北国立大学医院）；Korea University（高丽大学）
生成对抗网络（GANs）由生成器和网络管理器构建，具有先进的图像生成功能。通常，现有的论文通过堆叠多个剩余块来构建生成器，因为它简化了生成器的训练。然而，最近的一些论文评论了残差块的局限性，并提出了一种新的架构单元，提高了GANs的性能。根据这一趋势，本文提出了一种新的单元，称为特征循环块（FCB），它在图像生成任务中取得了令人印象深刻的结果。具体地，FCB具有两个分支：一个是存储器分支，另一个是图像分支。内存分支在生成器的每个阶段保持有意义的信息，而图像分支从内存分支中获取一些有用的特征以生成高质量的图像。为了证明所提出的方法的能力，我们使用各种数据集进行了广泛的实验，包括CIFAR-10，CIFAR-100，FFHQ，AFHQ和LSUN的子集。实验结果表明，我们的方法在基线上的实质性的优越性，而不产生任何目标函数或培训技巧。例如，所提出的方法在FFHQ数据集上将StyleGAN 2的Frechet起始距离（FID）从4.89提高到3.72，在LSUN Bed数据集上从6.64提高到5.57。我们相信，本文中提出的开创性尝试可以激发社会更好地设计的发电机架构和培训目标或技能与所提出的方法兼容。
2023-02-17 cs.AI cs.CV
Generative Adversarial Networks (GANs): An Overview of Theoretical Model, Evaluation Metrics, and Recent Developments
Razi University（拉齐大学）
统计信号处理和机器学习中最重要的挑战之一是如何获得一个生成模型，该模型可以生成大规模数据分布的样本，例如图像和语音。生成对抗网络（GAN）是解决这一问题的有效方法。GANs提供了一种适当的方法来学习深度表示，而无需广泛使用标记的训练数据。这种方法已经引起了计算机视觉的许多研究人员的注意，因为它可以产生大量的数据，而无需精确的概率密度函数（PDF）的建模。在GANs中，生成模型是通过竞争过程来估计的，在竞争过程中，生成器和神经网络同时进行训练。生成器学习生成合理的数据，而伪随机数学习区分由生成器创建的假数据和真实数据样本。鉴于GANs在过去几年中的快速增长及其在各个领域的应用，有必要准确地研究这些网络。本文在介绍了GAN的主要概念和理论之后，比较了两种新的深度生成模型，并解释了文献中使用的评估指标以及GANs面临的挑战。此外，最显着的GAN架构进行了分类和讨论。最后，在计算机视觉的基本应用进行检查。
2020-05-27 cs.CV cs.LG eess.IV
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
University of Washington（华盛顿大学）
生成对抗网络（GANs）在许多无监督学习任务中取得了显著的成功，聚类无疑是一个重要的无监督学习问题。虽然人们可以潜在地利用GANs中的潜在空间反向投影来聚类，但我们证明了聚类结构不会保留在GAN潜在空间中。在本文中，我们提出了一种新的机制，使用GANs聚类的ChipterGAN。通过从独热编码变量和连续潜变量的混合物中采样潜变量，再加上一个逆网络（将数据投影到潜空间），并使用聚类特定损失进行联合训练，我们能够在潜空间中实现聚类。我们的研究结果显示了一个显着的现象，即GANs可以保持跨类别的潜在空间插值，即使神经网络从未暴露于此类向量。我们将我们的结果与各种聚类基线进行比较，并在合成和真实数据集上表现出卓越的性能。
2019-01-26 cs.LG stat.ML
ARTEMIS: Using GANs with Multiple Discriminators to Generate Art
提出ARTEMIS方法，利用预训练VGG提取风格表示，训练自编码器解码器作为GAN生成器，配合多判别器与自注意力，生成超现实几何风格的抽象艺术。
2023-11-14 cs.CV
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University（台湾大学）
对抗性样本是故意制作的数据，目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时，我们通常指的是基于扰动的方法，该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观，但DNN模型可能完全无法识别，这反过来又导致了完全误导的预测。然而，在本文中，我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架，从类条件生成对抗网络中生成原生对抗样本。因此，生成的数据不会与任何现有数据相似，从而扩大了样本的多样性，提高了对抗防御的难度。然后，我们将这个框架扩展到预训练的条件GANs，在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验，并取得了令人满意的结果，表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Using latent space regression to analyze and leverage compositionality in GANs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
近年来，生成对抗网络在研究和公众认知中已经无处不在，但GANs如何将非结构化的潜在代码转换为高质量的输出仍然是一个悬而未决的问题。在这项工作中，我们研究回归到潜在的空间作为探针，以了解GANs的组成特性。我们发现，将回归量和预训练的生成器相结合提供了一个强大的图像先验，使我们能够在推理时从随机图像部分的拼贴中创建合成图像，同时保持全局一致性。为了比较不同生成器的组成特性，我们测量了重建不切实际的输入和重新生成的样本的图像质量之间的权衡。我们发现，回归的方法，使更多的本地化编辑的个别图像部分相比，直接编辑的潜在空间，我们进行实验，以量化这种独立性的影响。我们的方法对编辑的语义是不可知的，并且在训练期间不需要标签或预定义的概念。除了图像合成之外，我们的方法还扩展到许多相关的应用程序，例如图像修补或基于示例的图像编辑，我们在几个GANs和数据集上演示了这些应用程序，并且因为它只使用一个前向传递，所以它可以实时操作。代码可以在我们的项目页面上找到：https://chail.github.io/latent-composition/。
2021-06-03 cs.CV cs.LG
Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
生成对抗网络（GANs）在高维数据建模方面显示出巨大的潜力。GANs的学习目标通常是最小化一些度量差异，\textit{e.g.}，$f$ -散度~（$f$ -GANs）或积分概率度量~（Wasserstein GANs）。以$f$ -散度为目标函数，该算法本质上是对密度比的估计，并且该估计的密度比被证明对进一步提高生成器的样本质量是有用的。然而，如何利用Wasserstein GANs（WGAN）中包含的信息却很少被探索。本文基于WGAN的特征及其与能量模型的关系，引入了鉴别器对比散度。与标准GANs相比，其中直接利用生成器来获得新样本，我们的方法提出了一种半摊销生成过程，其中以生成器的输出作为初始状态来生成样本。然后，几个步骤的朗之万动力学进行使用的梯度的。我们证明了显着改善生成的好处，合成数据和几个真实世界的图像生成基准。
2020-04-05 cs.CV cs.LG stat.ML
Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions
Stanford University（斯坦福大学）
生成对抗网络（GANs）通常用于对复杂的数据分布进行建模。GANs的生成器和鉴别器通常都是由神经网络建模的，这就提出了一个非透明的优化问题，该问题在生成器和鉴别器上分别是非凸和非凹的。这类网络通常用梯度下降-上升（GDA）进行启发式优化，但目前还不清楚优化问题是否包含任何鞍点，或者探试法是否能在实践中找到它们。在这项工作中，我们通过凸对偶的镜头分析了Wasserstein GANs与双层神经网络鉴别器的训练，并针对各种生成器揭示了Wasserstein GANs可以用凸优化方法精确求解的条件，或者可以表示为凹凸游戏。使用这种凸对偶解释，我们进一步证明了不同的激活函数的影响。我们的观察结果进行了验证，数值结果表明凸解释的力量，与对应于CelebA图像生成的线性生成器和二次激活鉴别器的凸架构的渐进训练中的应用。我们的实验代码可以在https://github.com/ardasahiner/ProCoGAN上找到。
2022-03-21 cs.CV cs.LG eess.IV
Training End-to-end Single Image Generators without GANs
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了AugurOne，一种用于训练单图像生成模型的新方法。我们的方法使用（单个）输入图像的非仿射增强来训练放大神经网络，特别是包括非刚性薄板样条图像扭曲。广泛的增强显著增加了上采样网络的样本内分布，从而能够放大高度可变的输入。一个紧凑的潜在空间联合学习，允许受控的图像合成。与单图像GAN不同，我们的方法不需要GAN训练，并且以端到端的方式进行，从而允许快速和稳定的训练。我们的实验评估我们的方法，并表明它获得了引人注目的新颖的动画的单一图像，以及最先进的性能条件生成任务，如油漆到图像和边缘到图像。
2020-04-07 cs.CV cs.LG eess.IV
Unifying GANs and Score-Based Diffusion as Generative Particle Models
Criteo AI Lab（Criteo人工智能实验室）；LIGM（LIGM实验室）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；ETH Zürich（苏黎世联邦理工学院）
本文提出统一粒子与对抗生成模型的框架，将生成器训练视为粒子模型的推广，并验证了在扩散模型中集成生成器及无生成器训练GAN的可行性。
2023-12-21 cs.CV cs.LG cs.NE
Learning disconnected manifolds: a no GANs land
Criteo AI Lab（Criteo人工智能实验室）；Université Paris-Sorbonne（巴黎索邦大学）
生成对抗网络的典型架构利用由连续生成器转换的单峰潜在分布。因此，建模的分布总是具有连接的支持，这在学习不连通的流形集合时是麻烦的。我们通过为不连通流形学习建立一个没有免费午餐的定理来形式化这个问题，该定理说明了目标分布精度的上限。这是通过建立在一个低质量区域的必要存在，其中发生器连续采样两个断开模式之间的数据。最后，我们推导了一种基于生成元雅可比范数的拒绝抽样方法，并在包括BigGAN在内的几种生成元上证明了该方法的有效性。
2020-12-10 cs.LG stat.ML
CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
基于样式的GAN（StyleGAN）架构在生成高质量图像方面取得了最先进的成果，但它缺乏对相机姿态的明确和精确控制。最近提出的基于NeRF的GANs在3D感知生成器方面取得了很大进展，但它们还无法生成高质量的图像。CIPS-3D是一种基于风格的3D感知生成器，由浅层NeRF网络和深层隐式神经表示（INR）网络组成。生成器独立地合成每个像素值，而不进行任何空间卷积或上采样操作。此外，我们诊断镜像对称的问题，这意味着一个次优的解决方案，并解决它通过引入一个辅助的矩阵。CIPS-3D经过原始单视图图像训练，在FFHQ上的$256\times256$分辨率下，其FID为6.97，创下了3D感知图像合成的新纪录。我们还展示了CIPS-3D的几个有趣的方向，如迁移学习和3D感知的面部风格化。合成结果最好以视频形式观看，因此我们建议读者查看我们的github项目https://github.com/PeterouZh/CIPS-3D
2021-10-19 cs.CV eess.IV
Is Generator Conditioning Causally Related to GAN Performance?
Google Brain（谷歌大脑）
最近的工作（Pennington et al，2017）表明，控制雅可比奇异值的整个分布是深度学习中的一个重要设计考虑因素。受此启发，我们研究了生成对抗网络（GANs）中生成器雅可比矩阵的奇异值分布。我们发现，这个雅可比矩阵通常在训练开始时变得病态。此外，我们发现生成器的平均（z来自p（z））条件是高度预测用于测量训练的GANs的“质量”的其他两个ad-hoc指标：Inception Score和Frechet Inception Distance（FID）。我们测试的假设，这种关系是因果关系，提出了一个“正则化”技术（称为雅可比钳位），轻轻惩罚的条件数的发电机雅可比。Jacobian Clamping提高了在多个数据集上训练的GANs的平均Inception Score和平均FID。它还大大降低了上述分数的运行间方差，解决了（至少部分）对GANs的主要批评之一。
2018-06-19 cs.LG stat.ML
FusedProp: Towards Efficient Training of Generative Adversarial Networks
South Park Commons（南方公园公地）
生成对抗网络（GANs）能够生成非常逼真的样本，但最先进的GANs在训练时计算成本非常高。在本文中，我们提出了融合传播（FusedProp）算法，它可以用来有效地训练通用GANs同时使用一个前向和一个后向传播的生成器和生成器。我们表明，与传统的GANs训练相比，FusedProp的训练速度是1.49倍，尽管需要进一步的研究来提高其稳定性。通过报告我们的初步结果和开源我们的实现，我们希望加快未来对GANs训练的研究。
2020-03-30 cs.CV cs.LG
Class-Distinct and Class-Mutual Image Generation with GANs
生成对抗网络（GANs）的类条件扩展，例如辅助分类器GAN（AC-GAN）和条件GAN（cGAN），由于它们能够将表示分解为类标签和其他因素并提高训练稳定性，因此受到了关注。然而，一个局限性是，他们假设每个类是可分离的，忽略了类之间的关系，即使类重叠经常发生在现实世界的情况下，数据收集的基础上不同或模糊的标准。为了克服这一限制，我们解决了一个新的问题，称为类独特的和类相互的图像生成，其中的目标是构建一个生成器，可以捕获类间的关系，并生成一个图像选择性的类特异性的条件。为了解决这个问题，没有额外的监督，我们提出了分类器的后验GAN（CP-GAN），其中我们重新设计的生成器输入和AC-GAN的目标函数的类重叠的数据。准确地说，我们将分类器的后验融入到生成器的输入中，并优化生成器，使生成数据的分类器后验与真实数据的后验相对应。我们证明了CP-GAN的有效性，使用控制和现实世界的类重叠数据与模型配置分析和比较研究。我们的代码可在https://github.com/takuhirok/CP-GAN/上获得。
2019-07-24 cs.CV cs.LG stat.ML
Mind2Mind : transfer learning for GANs
Univ. Artois（阿图瓦大学）
在高质量（HQ）图像上训练生成对抗网络（GANs）涉及重要的计算资源。这一要求是GANs应用开发的瓶颈。我们提出了一种用于GANs的迁移学习技术，可以显着减少训练时间。我们的方法包括冻结原始GAN的批评者和生成器的低级别层。我们假设一个自动编码器的约束，以确保兼容性的内部表示的批评和发电机。这个假设解释了训练时间的增加，因为它使我们能够在向前和向后传递过程中绕过低级层。我们将我们的方法与基线进行比较，并观察到训练的显着加速。与StyleGAN相比，它在HQ数据集上可以达到两个数量级。我们严格证明，在最佳运输的框架内，一个定理，确保收敛的学习转移GAN。此外，我们提供了一个精确的边界的训练收敛的源和目标数据集之间的距离。
2020-10-20 cs.CV cs.LG stat.ML
Anycost GANs for Interactive Image Synthesis and Editing
MIT（麻省理工学院）；Adobe Research（奥多比研究院）；CMU（卡内基梅隆大学）
生成对抗网络（GANs）已经实现了照片级逼真的图像合成和编辑。然而，由于大规模生成器的高计算成本（例如，StyleGAN 2），在边缘设备上看到一次编辑的结果通常需要几秒钟，禁止交互式用户体验。在本文中，我们从现代渲染软件的启发，提出了Anycost GAN的交互式自然图像编辑。我们训练Anycost GAN以支持弹性分辨率和通道，从而以多种速度更快地生成图像。运行完整生成器的子集会产生在感知上与完整生成器相似的输出，使其成为预览的良好代理。通过使用基于采样的多分辨率训练、自适应通道训练和生成器条件训练，可以在各种配置下评估任意成本生成器，同时与单独训练的模型相比实现更好的图像质量。此外，我们开发了新的编码器训练和潜在代码优化技术，以鼓励图像投影过程中不同子生成器之间的一致性。Anycost GAN可以以各种成本预算执行（计算量减少高达10倍），并适应各种硬件和延迟要求。当部署在桌面CPU和边缘设备上时，我们的模型可以以6- 12倍的速度提供感知相似的预览，从而实现交互式图像编辑。代码和演示可在https://github.com/mit-han-lab/anycost-gan上公开获取。
2021-03-04 cs.CV
Pairing Regularization for Mitigating Many-to-One Collapse in GANs
Institute of Communications Engineering, National Yang Ming Chiao Tung University；Department of Electrical \& Computer Engineering, Texas A\&M University
本文提出配对正则化方法，通过增强潜在变量与生成样本间的局部一致性，缓解GANs中的许多到一个崩溃问题，并在不同训练阶段提升覆盖范围和精度。
2026-04-22 cs.CV cs.LG
Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
生成对抗网络（GANs）通常需要大量的数据进行训练，以便合成高保真图像。最近的研究表明，由于过度拟合，用有限的数据训练GANs仍然很难，这是阻碍生成器收敛的根本原因。本文介绍了一种新的策略，称为自适应伪增强（APA），以鼓励健康的竞争之间的发电机和发电机。作为依赖于标准数据增强或模型正则化的现有方法的替代方法，APA通过使用生成器本身来用生成的图像来增强真实数据分布来消除过拟合，这自适应地欺骗了过拟合。大量的实验证明了APA在提高低数据区合成质量方面的有效性。我们提供了一个理论分析，以检查我们的新的培训策略的收敛性和合理性。APA简单有效。它可以无缝地添加到强大的当代GANs中，例如StyleGAN 2，计算成本可以忽略不计。
2021-11-12 cs.CV cs.LG
Text-Free Learning of a Natural Language Interface for Pretrained Face Generators
TTI-Chicago（芝加哥丰田技术研究所）；Purdue University（普渡大学）；Adobe Research（奥多比研究院）
我们提出了Fast text2StyleGAN，这是一种自然语言接口，可以将预先训练的GANs用于文本引导的人脸合成。利用对比图像预训练（CLIP）的最新进展，在训练过程中不需要文本数据。Fast text2StyleGAN是一个有条件的变分自编码器（CVAE），它在测试时为生成的图像提供额外的控制和多样性。当遇到新的文本提示时，我们的模型不需要重新训练或微调GANs或CLIP。与之前的工作相比，我们在测试时不依赖于优化，这使得我们的方法比之前的工作快了几个数量级。从经验上讲，在FFHQ数据集上，我们的方法提供了更快，更准确的生成图像的自然语言描述与不同层次的细节相比，以前的工作。
2022-09-08 cs.CV cs.LG
Private GANs, Revisited
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
该研究针对经典差分隐私GAN训练中判别器更新加噪导致的生成-判别平衡被打破的问题，通过增加判别器更新步数、大批量训练、自适应更新频率等调整，使DPSGD在图像合成基准上超越其他GAN隐私化方案。
2023-10-05 cs.CR cs.CV cs.LG
ComGAN: Toward GANs Exploiting Multiple Samples
提出 ComGAN 让生成器通过比较样本学习语义，并设计等式正则化训练判别器；实验表明其在多数损失与数据设置下取得最佳 FID。
2023-04-24 cs.CV cs.LG
Lessons Learned from the Training of GANs on Artificial Datasets
School of Information Science & Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，生成对抗网络（GANs）在合成逼真图像方面取得了很大进展。然而，它们通常是在样本太少或属于不同数据分布的类别太多的图像数据集上训练的。因此，GANs容易欠拟合或过拟合，使得对它们的分析变得困难和受限。因此，为了对GANs进行深入研究，同时避免数据集引入的不必要的干扰，我们在人工数据集上对它们进行训练，人工数据集有无限多个样本，并且真实的数据分布是简单的，高维的，并且具有结构化的流形。此外，发电机的设计，使最佳的参数集存在。经验上，我们发现，在各种距离措施，发电机未能学习这些参数与GAN的训练过程。我们还发现，当模型复杂度足够高时，与增加网络深度或宽度相比，训练混合GANs会带来更多的性能增益。我们的实验结果表明，混合的发电机可以发现不同的模式或不同的类自动在无监督的设置，我们归因于分布的生成和歧视任务在多个发电机和歧视。作为我们的结论对现实数据集的可推广性的一个例子，我们在CIFAR-10数据集上训练了GANs的混合，我们的方法在流行的指标方面显着优于最先进的方法，即，起始分数（IS）和Fréchet起始距离（FID）。
2020-07-14 cs.LG stat.ML
Style Generator Inversion for Image Enhancement and Animation
School of Computer Science and Engineering（计算机科学与工程学院）；Facebook AI Research（脸书人工智能研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
训练高质量图像生成模型的主要动机之一是它们作为图像操作工具的潜在用途。最近，生成对抗网络（GANs）已经能够生成质量卓越的图像。不幸的是，逆向训练的无条件生成器网络作为图像先验并不成功。网络作为生成图像先验的主要要求之一是能够从目标分布中生成每一个可能的图像。对抗性学习通常会经历模式崩溃，这表现在生成器无法生成目标分布的某些模式。通常不满足的另一个要求是可逆性，即，具有在给定所需输出图像的情况下找到有效输入潜码的有效方式。在这项工作中，我们表明，与早期的GANs不同，最近提出的样式生成器很容易反转。我们使用这个重要的观察，提出风格生成器作为通用的图像先验。我们表明，样式生成器优于其他GANs以及深度图像先验作为图像增强任务的先验。由风格生成器生成的潜空间满足线性身份-姿态关系。潜在的空间线性，加上可逆性，使我们能够在没有监督的情况下动画静态面部图像。进行了大量的实验，以支持本文的主要贡献。
2019-06-05 cs.CV cs.LG stat.ML
Noise Homogenization via Multi-Channel Wavelet Filtering for High-Fidelity Sample Generation in GANs
University of Macau（澳门大学）
在典型的生成对抗网络（GANs）的生成器中，输入噪声以通过一系列卷积运算生成假样本。然而，目前的噪声生成模型仅仅依赖于来自像素空间的信息，这增加了接近目标分布的难度。幸运的是，长期证明小波变换是能够分解的多个光谱信息的图像。在这项工作中，我们提出了一种新的多通道基于小波的滤波方法的GANs，以应对这个问题。当在生成器中嵌入小波去卷积层时，所得到的GAN（称为Wavelet GAN）利用小波去卷积来学习具有多个通道的滤波，其可以通过平均操作来有效地均匀化所生成的噪声，从而生成高保真样本。我们通过一个开放的GAN基准测试工具对Fashion-MNIST、KMNIST和SVHN数据集进行了基准测试实验。结果表明，WaveletGAN在生成高保真样本方面具有出色的性能，这要归功于在这些数据集上获得的最小FID。
2020-05-14 cs.CV cs.LG stat.ML
ChainGAN: A sequential approach to GANs
Vector Institute（向量研究所）；University of Toronto（多伦多大学）
我们提出了一种新的生成对抗网络的体系结构和训练方法。当前的方法试图一次性地学习从噪声样本到生成的数据样本的变换。我们提出的生成器架构，称为$\textit{ChainGAN}$，使用两个步骤的过程。它首先尝试将噪声向量转换为原始样本，类似于传统的生成器。接下来，称为$\textit{editors}$的网络链尝试顺序增强该样本。我们独立地训练每个单元，而不是在整个链上进行端到端的反向传播。我们的模型是强大的，高效的，灵活的，因为我们可以将其应用到各种网络架构。我们为我们的选择提供了理由，并通过实验评估了我们的模型，在几个数据集上取得了有竞争力的结果。
2018-11-22 cs.CV cs.LG stat.ML
Approximability of Discriminators Implies Diversity in GANs
Stanford University（斯坦福大学）；MIT（麻省理工学院）
虽然生成对抗网络（GANs）在学习复杂的现实世界分布方面取得了令人印象深刻的结果，但最近的研究表明，它们缺乏多样性或模式坍塌。Arora等人的理论工作表明了GANs统计特性的困境：强大的鉴别器导致过拟合，而弱鉴别器无法检测模式坍塌。相比之下，我们在本文中表明，如果GAN类对特定的生成器类（而不是对所有可能的生成器）具有很强的区分能力，则GANs原则上可以以多项式样本复杂度学习Wasserstein距离（或在许多情况下是KL发散）的分布。对于各种生成器类，如混合高斯，指数族，可逆和内射神经网络生成器，我们设计相应的鉴别器（通常是特定架构的神经网络），使得积分概率度量（IPM）诱导的鉴别器可以证明近似Wasserstein距离和/或KL-发散。这意味着如果训练成功，那么学习的分布接近Wasserstein距离或KL发散的真实分布，因此不能丢弃模式。我们的初步实验表明，在合成数据集上，测试IPM与KL散度或Wasserstein距离具有良好的相关性，这表明GANs中缺乏多样性可能是由优化中的次优性而不是统计效率低下引起的。
2019-07-01 cs.DS cs.LG stat.ML
Towards GANs' Approximation Ability
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
生成对抗网络（GANs）在生成模型领域引起了人们的浓厚兴趣。然而，很少有研究集中在理论分析或算法设计的近似能力的生成器的GANs已经报道。本文首先从理论上分析了GANs的逼近特性。类似于具有一个隐藏层的全连接神经网络的通用逼近性质，我们证明了GANs中具有输入潜变量的生成器可以通用地逼近给定增加的隐藏神经元的潜在数据分布。此外，我们提出了一种称为随机数据生成（SDG）的方法，以提高GANs的逼近能力。我们的方法是基于一个简单的想法，即通过在GANs中生成数据，通过层之间的条件概率的先验分布来施加随机性。SDG方法可以很容易地通过使用重新参数化技巧来实现。在人工数据集上的实验结果验证了SDG方法的有效性。在实际数据集中，当模型架构较小时，使用SDG的四个GANs也可以优于相应的传统GANs。
2020-07-11 cs.LG stat.ML
Optimizing the Latent Space of Generative Networks
Facebook AI Research（脸书人工智能研究院）
生成对抗网络（GANs）在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中，GAN模型有两个共同的方面：解决一个具有挑战性的鞍点优化问题，解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是，我们介绍了生成潜在优化（GLO），这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验，我们证明了GLO具有GANs的许多理想特性：合成视觉上吸引人的样本，在样本之间进行有意义的插值，以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Generative adversarial learning with optimal input dimension and its adaptive generator architecture
New Cornerstone Science Laboratory（新基石科学实验室）；Center of Statistical Research（统计研究中心）；School of Statistics（统计学院）；Southwestern University of Finance and Economics（西南财经大学）
本文提出 G-GANs 框架，通过组惩罚与架构惩罚自适应选择最优输入维度和生成器结构，提升 GAN 训练稳定性与生成精度，并在多个基准上取得显著性能改进。
2024-05-06 cs.LG stat.ME stat.ML
Improving GANs for Speech Enhancement
Queen Mary University of London（伦敦玛丽女王大学）；Singapore Institute of Technology（新加坡理工学院）；University of Kent（肯特大学）；University of Oxford（牛津大学）；KU Leuven（鲁汶大学）；University of Lübeck（吕贝克大学）；Leuven.AI - KU Leuven institute for AI（鲁汶大学人工智能研究所）
生成对抗网络（GAN）最近被证明是有效的语音增强。然而，大多数（如果不是全部的话）现有的语音增强GANs（SEGAN）利用单个生成器来执行一级增强映射。在这项工作中，我们建议使用多个生成器，链接执行多级增强映射，逐步细化的噪声输入信号在一个阶段的方式。此外，我们研究了两种情况：（1）发电机共享其参数和（2）发电机的参数是独立的。前者约束生成器学习在所有增强阶段迭代应用的公共映射，并导致小的模型占用空间。相反，后者允许生成器在网络的不同阶段灵活地学习不同的增强映射，代价是增加模型大小。我们证明了所提出的多阶段增强方法优于单阶段SEGAN基线，其中独立发电机比捆绑发电机导致更有利的结果。源代码可在http://github.com/pquochuy/idsegan上获得。
2020-09-12 cs.LG cs.SD eess.AS
Quant GANs: Deep Generation of Financial Time Series
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）
用随机过程对金融时间序列进行建模是金融数学中一项具有挑战性的任务，也是金融数学研究的一个中心领域。作为替代方案，我们引入了Quant GANs，这是一种数据驱动的模型，其灵感来自于最近成功的生成对抗网络（GANs）。Quant GANs由生成器和递归函数组成，它利用时间卷积网络（TCN），从而实现捕获长期依赖性，例如波动性集群的存在。生成函数被明确地构造，使得诱导的随机过程允许过渡到其风险中性分布。我们的数值结果突出表明，小滞后和大滞后的分布特性具有良好的一致性，并且波动性集群，杠杆效应和序列自相关性等依赖特性可以由Quant GANs的生成函数生成，可以证明具有高保真度。
2019-12-21 cs.LG q-fin.CP q-fin.MF
Source Generator Attribution via Inversion
Honeywell ACST（霍尼韦尔ACST）
随着生成对抗网络（GANs）的进步，合成图像和视频得到了极大的改进，对将传统取证扩展到这一新类别图像的算法的需求越来越大。虽然GANs已被证明在许多计算机视觉应用中很有帮助，但还有其他一些有问题的用途，例如“深度伪造”，这需要进行取证。使用各种线索的源相机归属算法已经解决了对相机捕获的图像的这种需求，但是合成图像的选项较少。我们解决的问题，归因于一个特定的生成器在白盒设置的合成图像，通过反转的过程中产生。这使我们能够同时确定生成器是否生成了图像，并恢复与合成图像密切匹配的输入。
2019-06-13 cs.CV cs.LG eess.IV
Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs
University of Oxford（牛津大学）
分类器和生成器早就分开了。我们打破了这种分离，并展示了传统的神经网络分类器可以生成大量类别的高质量图像，与最先进的生成模型（例如，DDPM和GANs）。我们通过计算分类损失函数相对于输入的偏导数来优化输入以产生图像来实现这一点。由于众所周知，直接优化的输入是类似于有针对性的对抗攻击无法生成人类有意义的图像，我们提出了一个基于掩码的随机重建模块，使梯度语义感知合成似是而非的图像。我们进一步提出了一个渐进的分辨率技术，以保证保真度，产生逼真的图像。此外，我们引入了距离度量损失和非平凡分布损失，以确保分类神经网络可以合成多样化和高保真的图像。使用传统的神经网络分类器，我们可以在ImageNet上生成256 $\times$ 256分辨率的高质量图像。有趣的是，我们的方法也适用于文本到图像生成的图像-文本基础模型作为广义分类器。证明分类器已经学习了数据分布并准备好生成图像具有深远的意义，因为分类器比DDPM和GANs等生成模型更容易训练。我们甚至不需要训练分类模型，因为有大量的公共模型可供下载。此外，这对于分类器的可解释性和鲁棒性具有巨大的潜力。项目页面位于\url{https://classifier-as-generator.github.io/}。
2022-12-08 cs.AI cs.CV cs.LG
Vit-GAN: Image-to-image Translation with Vision Transformes and Conditional GANS
在本文中，我们开发了一个通用的架构，Vit-Gan，能够执行大多数的图像到图像的翻译任务，从语义图像分割到单个图像的深度感知。本文是一个后续文件，一个扩展的发电机为基础的模型[1]，其中所获得的结果是非常有前途的。这为对抗架构的进一步改进提供了可能性。我们使用了一个独特的基于视觉变换器的生成器架构和条件GANs（cGANs），以及一个马尔可夫鉴别器（PatchGAN）（https：//github.com/YigitGunduc/vit-gan）。在目前的工作中，我们使用图像作为条件反射参数。据观察，所获得的结果是更现实的比常用的架构。
2021-10-11 cs.CV eess.IV
