GM Score: Incorporating inter-class and intra-class generator diversity, discriminability of disentangled representation, and sample fidelity for evaluating GANs
School of Computer Engineering, KIIT Deemed to be University（KIIT 大学计算机工程学院）
虽然生成对抗网络（GAN）因其更高的样本质量而受到欢迎，但与其他生成模型（如变分自编码器（VAE）和玻尔兹曼机）相反，它们也面临着对生成样本进行评估的困难。必须考虑到各个方面，例如生成的样本的质量、类的多样性（类内和类间）、使用解纠缠的潜在空间、所述评价度量与人类感知的一致性等。在本文中，我们提出了一种新的评分，即GM评分，它考虑了各种因素，如样本质量、解纠缠表示、类内和类间多样性，采用查准率、查全率和F1得分等指标对深度信念网络（DBN）和受限玻尔兹曼机（RBM）的潜在空间进行区分。评估是针对在基准MNIST数据集上训练的不同GANs（GAN、DCGAN、BiGAN、CGAN、耦合GAN、LSGAN、SGAN、WGAN和WGAN Improved）进行的。
2021-12-16 cs.AI cs.LG stat.ML
Megapixel Size Image Creation using Generative Adversarial Networks
Happy Finish Ltd.（Happy Finish有限公司）
自出现以来，生成对抗网络（GANs）在AI社区中引起了很大的兴趣。在图像生成方面，有几个项目展示了GANs如何能够生成逼真的图像，但到目前为止，结果看起来还不足以满足视觉媒体制作行业的质量标准。我们提出了一种基于深度卷积生成对抗网络（DCGAN）的优化图像生成过程，以创建逼真的高分辨率图像（高达1024x1024像素）。此外，该系统提供了有限的图像数据集，不到两千张图像。所有这些结果为GANs在计算机图形学和视觉效果领域的进一步开发提供了更多的线索。
2017-05-31 cs.CV cs.GR cs.LG
Latent Space is Feature Space: Regularization Term for GANs Training on Limited Dataset
School of Software, Northwestern Polytechnical University（西北工业大学软件学院）
生成对抗网络（GAN）是目前广泛使用的一种无监督图像生成方法。目前最先进的GANs可以生成具有高分辨率的照片级逼真图像。然而，需要大量的数据，否则模型将容易生成具有相似模式（模式坍塌）和质量差的图像。我为GANs提出了一个额外的结构和损失函数，称为LFM，经过训练可以最大化潜在空间不同维度之间的特征多样性，以避免模式坍塌而不影响图像质量。构造正交特征向量对，并对特征向量对进行点积检验，使特征向量对与生成元之间形成一种新的对抗关系。在实验中，该系统已建立在DCGAN和证明有从零开始的CelebA数据集上的Frechet初始距离（FID）训练的改进。该系统需要适度的额外性能，并且可以与数据增强方法一起工作。该代码可在github.com/penway/LFM上获得。
2022-11-15 cs.CV cs.LG
Ensembles of GANs for synthetic training data generation
Linköping University（林雪平大学）；Center for Medical Image Science and Visualization, Linköping University（林雪平大学医学影像科学与可视化中心）；Sectra AB（Sectra公司）
训练数据不足是大多数深度学习实践的主要瓶颈，尤其是在医学成像领域，由于伦理和隐私问题，数据难以收集，公共数据集稀缺。这项工作研究了使用生成对抗网络（GANs）创建的合成图像作为训练数据的唯一来源。我们证明，对于这个应用程序，利用多个GANs来提高生成数据的多样性，即充分覆盖数据分布是非常重要的。虽然单个GAN可以生成看似多样化的图像内容，但在大多数情况下，对这些数据进行训练会导致严重的过度拟合。我们测试了集成GANs对合成2D数据以及常见图像数据集（SVHN和CIFAR-10）的影响，并使用DCGAN和渐进增长的GANs。作为一个特定的用例，我们专注于合成数字病理学补丁，以提供匿名的训练数据。
2021-04-23 cs.CV cs.LG eess.IV
Image Augmentation for Satellite Images
Carnegie Mellon University（卡内基梅隆大学）
本研究提出了使用生成模型（GANs）来增强EuroSAT数据集的土地利用和土地覆盖（LULC）分类任务。我们使用DCGAN和WGAN-GP为数据集中的每个类生成图像。然后，我们探讨了在每种情况下将原始数据集增加约10%对模型性能的影响。GAN架构的选择似乎对模型性能没有明显的影响。然而，几何增强和GAN生成的图像的组合改善了基线结果。我们的研究表明，GANs增强可以提高卫星图像深度分类模型的泛化能力。
2022-07-29 cs.AI cs.CV cs.LG
GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
生成对抗网络（GANs）擅长使用复杂模型创建逼真的图像，而最大似然法是不可行的。然而，GAN训练的收敛性仍然没有得到证明。我们提出了一个双时间尺度更新规则（TTUR），用于在任意GAN损失函数上训练具有随机梯度下降的GANs。TTUR对学习器和发生器都有各自的学习率。利用随机逼近理论，我们证明了TTUR收敛到一个平稳的局部纳什均衡在温和的假设下。收敛进行到流行的亚当优化，我们证明，它遵循一个沉重的球摩擦的动力学，从而更喜欢在客观景观平坦的最小值。为了评估GANs在图像生成时的性能，我们引入了“Fréchet Inception Distance”（FID），它比Inception Score更好地捕捉生成图像与真实图像的相似性。在实验中，TTUR改善了DCGAN和改进的Wasserstein GANs（WGAN-GP）的学习，在CelebA、CIFAR-10、SVHN、LSUN Bedrooms和10亿字基准上的表现优于传统的GAN训练。
2018-01-12 cs.LG stat.ML
Generative Adversarial Networks via a Composite Annealing of Noise and Diffusion
Chung-Ang University（中央大学）；University of Haifa（海法大学）
生成对抗网络（GAN）是一个使用一组真实示例生成虚假数据的框架。然而，GAN在训练阶段不稳定。为了稳定GANs，噪声注入被用来以增加方差为代价来扩大真实分布和伪分布的重叠。扩散（或平滑）可以降低数据的内在潜在维度，但它抑制了GANs在训练过程中学习高频信息的能力。基于这些观察结果，我们提出了一种用于GAN训练的数据表示，称为噪声尺度空间（NSS），它递归地将平衡噪声的平滑应用于数据，以便用随机数据替换高频信息，从而实现GANs的粗到细训练。我们基于基准数据集使用DCGAN和StyleGAN2对NSS进行了实验，其中基于NSS的GANs在大多数情况下都优于最先进的技术。
2022-08-01 cs.CV cs.LG
GANs for Medical Image Synthesis: An Empirical Study
University of Bourgogne Franche-Comte（勃艮第-弗朗什孔泰大学）；CASIS inc.（CASIS公司）；University of Sherbrooke（舍布鲁克大学）；University Hospital of Dijon（第戎大学医院）
生成对抗网络（GANs）变得越来越强大，生成令人兴奋的逼真图像，模仿它们训练复制的数据集的内容。医学成像中的一个反复出现的主题是，GANs是否也可以像生成逼真的RGB图像那样有效地生成可用的医学数据。在本文中，我们进行了多GAN和多应用研究，以衡量GANs在医学成像中的优势。我们在三种医学成像模式和器官上测试了各种GAN架构，从基本的DCGAN到更复杂的基于样式的GANs，即：心脏电影MRI，肝脏CT和RGB视网膜图像。GANs在众所周知且广泛使用的数据集上进行训练，从这些数据集计算它们的FID分数以测量它们生成的图像的视觉敏锐度。我们通过测量在这些生成的图像上训练的U-Net的分割准确度来进一步测试它们的有用性。结果表明，GANs远不平等，因为有些不适合医学成像应用，而另一些则更好。性能最好的GANs能够通过FID标准生成逼真的医学图像，这些图像可以在视觉图灵测试中欺骗训练有素的专家，并符合某些指标。然而，分割结果表明，没有GAN能够再现医学数据集的全部丰富性。
2021-07-19 cs.CV cs.LG eess.IV
Metropolis-Hastings Generative Adversarial Networks
Uber AI Labs（优步人工智能实验室）
我们介绍了Metropolis-Hastings生成对抗网络（MH-GAN），它结合了马尔可夫链蒙特卡罗和GANs的各个方面。MH-GAN从由GAN的鉴别器-生成器对隐式定义的分布中提取样本，而标准GANs从仅由生成器定义的分布中提取样本。它使用来自GAN训练的鉴别器来构建围绕生成器的包装器，以改进采样。使用完美的分布函数，即使生成器不完美，这个包装的生成器也会从数据的真实分布中进行采样。我们使用DCGAN，WGAN和渐进式GAN在多个基准数据集（包括CIFAR-10和CelebA）上展示了改进的生成器的好处。
2019-05-17 cs.LG stat.ML
Deep Learning based Pedestrian Detection at Distance in Smart Cities
Northumbria University（诺森比亚大学）；Imam Mohammed ibn Saud Islamic University（伊玛目穆罕默德·本·沙特伊斯兰大学）
生成对抗网络（GANs）由于其强大的增强训练和测试数据的能力，在许多计算机视觉问题中具有很大的应用前景。在本文中，我们利用GANs并提出了一种新的架构，该架构具有级联的Single Shot Detector（SSD），用于远距离行人检测，由于远距离视频中行人的大小不同，这仍然是一个挑战。为了克服远距离行人检测中的低分辨率问题，DCGAN被用来首先提高分辨率，以重建更多的区分特征，用于SSD来检测图像或视频中的对象。我们的方法的一个关键优势是，它学习多尺度度量来区分一个图像下不同距离的多个对象，而DCGAN作为编码器-解码器平台来生成包含更好区分信息的图像部分。为了衡量我们提出的方法的有效性，在加拿大高级研究所（CIFAR）数据集上进行了实验，结果表明，所提出的新架构实现了更好的检测率，特别是对远处的车辆和行人，使其非常适合需要发现远处关键物体或行人的智能城市应用。
2019-05-16 cs.CV cs.LG
Perturbative GAN: GAN with Perturbation Layers
The University of Tokyo（东京大学）
扰动GAN，它取代了现有卷积GANs（DCGAN，WGAN-GP，BIGGAN等）的卷积层。与扰动层，增加了一个固定的噪声掩模，提出了。与卷积GANs相比，该算法需要训练的参数数量更少，训练收敛速度更快，生成图像的接收分数更高，整体训练成本更低。还提出了噪声掩模的数学生成，利用该噪声掩模，可以通过硬件加速来提高训练和生成。扰动GAN使用常规数据集（CIFAR 10，LSUN，ImageNet）进行评估，无论是在扰动层仅用于生成器的情况下，还是在将其引入生成器和鉴别器的情况下。
2019-02-05 cs.LG stat.ML
Effect of Input Noise Dimension in GANs
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
生成对抗网络（GANs）是迄今为止最成功的生成模型。学习将低维输入噪声映射到数据分布的变换形成了GANs的基础。虽然它们已经被应用在各个领域，但它们容易受到某些挑战，如模式坍塌和不稳定的训练。为了克服这些挑战，研究人员提出了新的损失函数，架构和优化方法。在我们的工作中，与以前的方法不同，我们专注于输入噪声及其在生成中的作用。我们的目标是定量和定性地研究输入噪声的维数对GANs性能的影响。对于定量测量，通常使用\emph{Fréchet Inception Distance (FID)}和\emph{Inception Score (IS)}作为图像数据集的性能测量。我们比较了DCGAN和WGAN-GP的FID和IS值。我们使用三种不同的图像数据集--每一种都由不同的复杂程度组成。通过我们的实验，我们表明，最佳结果的输入噪声的正确维度取决于所使用的数据集和架构。我们还观察到，最先进的性能指标并没有提供足够的有用的见解。因此，我们的结论是，我们需要进一步的理论分析，以了解低维分布和生成的图像之间的关系。我们还需要更好的业绩衡量标准。
2020-04-15 cs.CV cs.LG eess.IV
Damage GAN: A Generative Model for Imbalanced Data
The University of Sydney（悉尼大学）；The University of Technology Sydney（悉尼科技大学）
本文提出Damage GAN，在ContraD GAN中融合SimCLR式对比损失与SDCLR，以提升不平衡数据上GAN的稳定性、生成分布和图像质量。
2023-12-08 cs.AI cs.CV cs.LG
MR-GAN: Manifold Regularized Generative Adversarial Networks
Syracuse University（雪城大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）
尽管人们对生成对抗网络（GANs）的兴趣越来越大，但从理论和实践的角度来看，训练GANs仍然是一个具有挑战性的问题。为了解决这个问题，在本文中，我们提出了一种新的方法来利用独特的几何形状的真实数据，特别是流形信息。更具体地说，我们设计了一种方法来正则化GAN训练，通过添加一个额外的正则化项称为流形正则化。流形正则化器迫使生成器尊重真实数据流形的唯一几何形状并生成高质量的数据。此外，我们从理论上证明，在任何类别的GANs（包括DCGAN和Wasserstein GAN）中添加此正则化项会导致在泛化，平衡存在和稳定性方面的性能改善。初步实验表明，提出的流形正则化有助于避免模式坍塌，并导致稳定的训练。
2018-11-22 cs.CV cs.LG stat.ML
Medical Image Generation using Generative Adversarial Networks
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）
生成对抗网络（GANs）是计算机视觉领域的无监督深度学习方法，在过去几年中，它在识别多模态医学成像数据的内部结构方面获得了极大的关注。对抗网络同时生成逼真的医学图像和相应的注释，这在许多情况下被证明是有用的，例如图像增强，图像配准，医学图像生成，图像重建和图像到图像的翻译。这些特性引起了医学图像分析领域研究人员的注意，我们见证了许多新颖和传统应用的快速适应。本章提供了基于GANs的临床应用在医学图像生成和跨模态合成方面的最新进展。已经讨论了在医学图像解释中获得普及的各种GANs框架，例如深度卷积GAN（DCGAN）、拉普拉斯GAN（LAPGAN）、pix2pix、CycleGAN和无监督图像到图像转换模型（UNIT），这些框架通过结合额外的混合架构来继续提高其性能。此外，这些框架的图像重建和合成，以及在该领域的未来研究方向的一些最新的应用已经涵盖。
2020-05-19 cs.CV cs.LG eess.IV
Student's t-Generative Adversarial Networks
Ocean University of China（中国海洋大学）
生成对抗网络（GANs）在图像生成方面具有很好的性能，但它们需要大规模的数据来训练整个框架，并且经常导致无意义的结果。我们提出了一种新的方法，参考条件GAN，装备的潜在噪声与学生的t-分布的混合物与注意力机制除了类信息。学生t分布具有长尾，可以为潜在噪声提供更多的多样性。同时，该模型中的聚类分析器同时执行两个任务，判断图像是否来自真实数据分布，并识别每个生成图像的类别。混合模型的参数可以与GANs的参数一起学习。此外，我们在数学上证明，任何多元学生的t-分布可以通过一个正常的多元学生的t-分布的线性变换。实验结果表明，该方法与典型的GAN、Deli GAN和DCGAN方法相比，在数据量有限的情况下，具有生成多样性和清晰度高的对象的能力。
2018-11-06 cs.LG stat.ML
Capsule GAN Using Capsule Network for Generator Architecture
Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究院）
本文提出了胶囊GAN，这是一个生成对抗网络，它不仅在生成器中使用胶囊网络，而且在生成器中使用胶囊网络。近年来，生成对抗网络（GANs）得到了广泛的研究。然而，通过GANs生成图像是困难的。因此，GANs有时会生成质量较差的图像。这些GANs使用卷积神经网络（CNN）。然而，CNN具有图像的特征之间的关系信息可能丢失的缺陷。Hinton在2017年提出的胶囊网络克服了CNN的缺陷。Capsule GAN以前报道过在网络中使用Capsule Network。然而，在以前的研究中报道的胶囊GAN没有使用胶囊网络，而是在生成器架构中使用CNN，如DCGAN。本文介绍了在生成器中使用胶囊网络的两种方法。一种是使用DigitCaps层作为生成器的输入。DigitCaps层是Capsule Network的输出层。它具有的特征的输入图像的图像处理器。另一种是在生成器中使用胶囊网络中识别过程的逆操作。我们将本文提出的胶囊GAN与使用CNN的传统GAN和仅使用胶囊网络的胶囊GAN进行了比较。数据集是MNIST，Fashion-MNIST和彩色图像。我们表明，胶囊GAN优于使用CNN的GAN和使用胶囊网络的GAN。本文提出的Capsule GAN体系结构是一种基于Capsule网络的基本体系结构。因此，我们可以将现有的GANs改进技术应用于Capsule GAN。
2020-03-18 cs.CV cs.LG eess.IV
Synthesizing New Retinal Symptom Images by Multiple Generative Models
National Taiwan University（台湾大学）；King Abdullah University of Science and Technology（沙特阿拉伯国王阿卜杜拉科技大学）；Georgia Institute of Technology（佐治亚理工学院）；Bern University Hospital（伯尔尼大学医院）；Biological and Environmental Sciences and Engineering Division, Computer, Electrical and Mathematical Sciences and Engineering Division, King Abdullah University of Science and Technology（沙特阿拉伯国王阿卜杜拉科技大学生物与环境科学与工程部门、计算机、电气与数学科学与工程部门）；Department of Ophthalmology, Bern University Hospital（伯尔尼大学医院眼科）
年龄相关性黄斑变性（AMD）是一种无症状的视网膜疾病，可能导致视力丧失。有有限的访问高质量的相关视网膜图像和穷人的理解功能定义的子类这种疾病。受机器学习最新进展的启发，我们特别探索了生成建模的潜力，使用生成对抗网络（GANs）和风格转移，通过特征提取来促进临床诊断和疾病理解。我们设计了一个分析管道，首先从临床图像生成合成视网膜图像;随后的验证步骤。在合成步骤中，我们合并了GANs（DCGANs和WGANs架构）和风格转换以生成图像，而验证步骤控制所生成图像的准确性。我们发现，所产生的图像包含足够的病理细节，以方便眼科医生的任务的疾病分类和发现疾病相关的功能。特别地，我们的系统预测AMD的玻璃疣和地图状萎缩亚类。此外，将CFP图像用于GANs的性能优于仅使用原始临床数据集的分类。我们的研究结果进行了评估，使用现有的分类器的视网膜疾病和类激活的地图，支持的预测能力的合成图像和它们的效用特征提取。我们的代码示例可在线获得。
2019-02-11 cs.AI cs.CV cs.LG
Data-Driven Modeling of Noise Time Series with Convolutional Generative Adversarial Networks
National Institute of Standards and Technology（美国国家标准与技术研究院）
该研究针对时间序列噪声建模问题，评估两种基于DCGAN的通用时间序列GAN模型，通过多类模拟噪声测试明确其能力与局限，并提供了可助力相关模型开发的测试基准。
2023-07-20 cs.LG eess.SP
LR-GAN: Layered Recursive Generative Adversarial Networks for Image Generation
Virginia Tech（弗吉尼亚理工大学）；Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了LR-GAN：一个考虑场景结构和上下文的对抗图像生成模型。与以前的生成对抗网络（GANs）不同，所提出的GAN学习分别递归地生成图像背景和前景，并以上下文相关的方式将前景缝合在背景上，以产生完整的自然图像。对于每个前景，模型学习生成其外观，形状和姿势。整个模型是无监督的，并采用梯度下降方法以端到端的方式进行训练。实验表明，LR-GAN可以生成更自然的图像，比DCGAN更容易识别的对象。
2017-08-02 cs.CV cs.LG
T2CI-GAN: Text to Compressed Image generation using Generative Adversarial Network
IIIT Allahabad（阿拉哈巴德印度信息技术学院）；Vignan University（维甘大学）
近年来，为视觉数据生成文本描述的问题得到了研究的关注。与此相反，从文本描述生成视觉数据的问题仍然非常具有挑战性，因为它需要结合自然语言处理（NLP）和计算机视觉技术。现有的方法利用生成对抗网络（GANs），并从文本描述中生成未压缩的图像。然而，在实践中，大多数视觉数据是以压缩表示的方式处理和传输的。因此，所提出的工作尝试使用深度卷积GANs（DCGANs）以压缩表示形式直接生成视觉数据，以实现存储和计算效率。我们提出了GAN模型，用于从文本生成压缩图像。第一个模型直接用JPEG压缩的DCT图像（压缩域）训练，以从文本描述生成压缩图像。第二个模型使用RGB图像（像素域）进行训练，以从文本描述生成JPEG压缩DCT表示。在开源基准数据集Oxford-102 Flower图像上使用RGB和JPEG压缩版本对所提出的模型进行了测试，并在JPEG压缩域中实现了最先进的性能。该代码将在接受论文后在GitHub上公开发布。
2022-10-01 cs.AI cs.CV cs.LG
Complement Face Forensic Detection and Localization with FacialLandmarks
Imperial College London（帝国理工学院）；University of Oulu（奥卢大学）
最近，生成对抗网络（GANs）和图像处理方法变得越来越强大，可以产生超出人类识别的高度逼真的人脸图像，这引起了人们对数字媒体真实性的极大关注。虽然已经有一些先前的工作解决了面部法医分类问题，但从分类预测中估计编辑位置并不是微不足道的。在本文中，我们提出，据我们所知，第一个严格的人脸法医定位数据集，其中包括真正的，生成的，和操纵的人脸图像。特别是，原始部分包含来自CelebA和FFHQ数据集的人脸图像。假图像是由各种GANs方法生成的，即DCGAN，LSGAN，BEGAN，WGAN-GP，ProGANs和StyleGANs。最后，基于自由形式的掩码从StarGAN和SEFCGAN生成编辑的子集。总的来说，该数据集包含约130万张标有相应二进制掩码的面部图像。基于所提出的数据集，我们证明了除了输入图像外，显式添加面部标志信息可以提高性能。此外，我们提出的方法由两个分支组成，可以连贯地预测人脸法医检测和定位，在新提出的数据集以及faceforecsic++数据集上，特别是在低质量视频上，性能优于以前的最先进技术。
2019-10-12 cs.CV cs.LG
Colour and Brush Stroke Pattern Recognition in Abstract Art using Modified Deep Convolutional Generative Adversarial Networks
Vellore Institute of Technology（韦洛尔理工学院）
本文提出一种改进的深度卷积生成对抗网络（mDCGAN），通过优化架构和正则化方法解决训练不稳定问题，生成高质量抽象艺术，并利用潜在空间随机游走分析笔触与颜色的向量关系。
2024-12-05 cs.AI cs.CV cs.LG
Spider GAN: Leveraging Friendly Neighbors to Accelerate GAN Training
Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世信息物理系统研究中心）；Indian Institute of Science（印度科学学院）
本文提出Spider GAN，利用图像输入和友好邻域度量（SID）加速GAN训练，通过级联迁移实现快速收敛，在多个数据集上以五分之一迭代达到最先进FID。
2023-05-12 cs.AI cs.CV cs.LG
On the Effects of Batch and Weight Normalization in Generative Adversarial Networks
University of Southern California（南加州大学）；Pinscreen；USC Institute for Creative Technologies（南加州大学创新技术研究院）
生成对抗网络（GANs）是一种高效的无监督学习框架，可以生成非常清晰的数据，即使是具有复杂、高度多峰分布的图像。然而，众所周知，GANs非常难以训练，存在模式崩溃和干扰视觉伪影等问题。批量归一化（BN）技术已被引入到解决的训练。虽然BN在开始时加速了训练，但我们的实验表明，BN的使用可能不稳定，并对训练模型的质量产生负面影响。BN和许多其他最近的计划，以改善GAN培训的评估是阻碍了缺乏一个有效的客观质量措施的GAN模型。为了解决这些问题，我们首先引入了一种用于GAN训练的权重归一化（WN）方法，该方法显着提高了生成样本的稳定性，效率和质量。为了进行系统的评估，我们在测试集上引入平方欧几里德重建误差作为新的客观度量，以评估生成样本的速度，稳定性和质量方面的训练性能。我们在常用数据集（CelebA，LSUN bedroom和CIFAR-10）上使用标准DCGAN架构进行的实验表明，对于GANs，使用WN进行训练通常优于BN，重建的均方损失降低了10%，并且比BN获得了更好的定性结果。我们进一步证明了WN在用CelebA数据集训练的21层ResNet上的稳定性。本文的代码可在https://github.com/stormraiser/gan-weightnorm-resnet上获得
2017-12-04 cs.CV cs.LG stat.ML
Generative Adversarial Networks Bridging Art and Machine Intelligence
Imperial College London（帝国理工学院）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indiana University（印第安纳大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Georgia Institute of Technology（佐治亚理工学院）；Kyoto University（京都大学）；AppCubic；Rutgers University（罗格斯大学）；Purdue University（普渡大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；National Taiwan Normal University（台湾师范大学）；University of Hawaii（夏威夷大学）；Hong Kong University of Science and Technology（香港科技大学）；School of Visual Arts（视觉艺术学院）；Emory University（埃默里大学）；Aarhus University（奥胡斯大学）；Zhejiang University（浙江大学）；University of Edinburgh（爱丁堡大学）；National Tsing Hua University（国立清华大学）；University of Manchester（曼彻斯特大学）；Pingtan Research Institute of Xiamen University（厦门大学平潭研究院）；University of Liverpool（利物浦大学）；JTB Technology Corp.（JTB科技公司）
本书系统介绍生成对抗网络（GAN）的原理、历史、变体与高级训练方法，探讨其架构改进及在多媒体领域的应用，还分析自注意力机制、Transformer生成模型等新兴趋势，连接艺术与机器智能。
2025-02-09 cs.CV cs.LG
Least $k$th-Order and Rényi Generative Adversarial Networks
The Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
我们研究了使用参数化的信息论测度族来推广生成对抗网络（GANs）的损失函数，以提高性能。首先引入了一种新的发电机损失函数，称为最小$k$ th阶GAN（L $k$ GAN），通过使用具有$k \geq 1$的$k$ th阶绝对误差失真度量来推广最小二乘GANs（LSGAN）（当$k=2$时恢复LSGAN损失函数）。它表明，最小化这个广义损失函数下（无约束）的最佳的最小化的$k$第阶Pearson-Vajda分歧是等价的。另一种新的GAN生成器损失函数接下来根据具有阶$α>0$，$α\neq 1$的Rényi交叉熵泛函被提出。结果表明，这种Rényi为中心的广义损失函数，它可证明减少到原来的GAN损失函数$α\to1$，保持平衡点所满足的原始GAN的基础上的Jensen-Rényi分歧，一个自然的扩展Jensen-Shannon分歧。实验结果表明，提出的损失函数，应用于MNIST和CelebA数据集，在DCGAN和StyleGAN架构下，分别通过参数$k$和$α$提供的额外自由度赋予性能优势。更具体地说，实验表明，通过Fréchet Inception Distance（FID）评分和训练稳定性测量，生成的图像质量有所改善。虽然它在本研究中被应用于GANs，但所提出的方法是通用的，可以用于信息论在深度学习中的其他应用，例如，人工智能中的公平或隐私问题。
2021-03-11 cs.IT cs.LG math.IT
QGAN-based data augmentation for hybrid quantum-classical neural networks
Beijing University of Posts and Telecommunications（北京邮电大学）
针对量子机器学习中的数据稀缺问题，提出将QGAN与HQCNN结合的数据增强框架，包含通用与定制化策略，实验证明其以更少参数优于传统方法并提升了模型性能。
2025-05-30 cs.LG quant-ph
Tempered Adversarial Networks
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）
生成对抗网络（GANs）已被证明可以从高维分布中生成真实的样本，但训练它们被认为是困难的。训练不稳定性的一个可能解释是网络之间固有的不平衡：虽然直接在真实和假样本上训练器，但生成器只能控制它产生的假样本，因为真实数据分布是通过选择给定的数据集来固定的。我们提出了一个简单的修改，使发电机控制的真实样本，从而导致一个温和的学习过程中的发电机和控制器。真实的数据分布在显示给生成器之前会经过一个镜头，通过逐渐显示产生高质量结果所需的更详细的特征来平衡生成器和生成器。所提出的模块自动调整学习过程以适应网络的当前强度，但它是通用的，易于添加到任何GAN变体中。在一些实验中，我们表明，这可以提高质量，稳定性和/或收敛速度在一系列不同的GAN架构（DCGAN，LSGAN，WGAN-GP）。
2018-07-11 cs.CR cs.LG stat.ML
Training Generative Adversarial Networks with Adaptive Composite Gradient
East China Normal University（华东师范大学）
生成对抗网络的广泛应用得益于成功的训练方法，保证目标函数收敛到局部极小值。然而，设计一个有效的和有竞争力的训练方法仍然是一个具有挑战性的任务，由于一些基于梯度的方法的循环行为和昂贵的计算成本，这些方法的基础上的海森矩阵。提出了一种自适应复合因子（ACG）方法，在适当的设置下，该方法在双线性对策中线性收敛。理论和玩具函数实验表明，我们的方法可以减轻循环行为和收敛速度比最近提出的算法。值得注意的是，ACG方法不仅用于寻找双线性博弈以及一般博弈中的稳定不动点。ACG方法是一种新的半无梯度算法，它不需要计算每一步的梯度，通过在未来迭代中利用预测信息来减少梯度和Hessian的计算量。我们通过将ACG与线性GANs集成到现有算法中，进行了两个混合高斯实验。实验结果表明，ACG算法与以往的算法相比具有较强的竞争力。在四个流行的数据集（MNIST，Fashion-MNIST，CIFAR-10和CelebA）上使用DCGAN进行的真实实验表明，我们的ACG方法优于几个基线，这说明了我们的方法的优越性和有效性。
2021-11-10 cs.AI cs.GT cs.LG
Encoder-Decoder Generative Adversarial Nets for Suffix Generation and Remaining Time Prediction of Business Process Models
The University of Melbourne（墨尔本大学）
本文提出了一种基于生成对抗网络（GANs）的编码器-解码器架构，该架构以端到端的方式生成活动序列及其时间戳。GANs可以很好地处理图像等可区分的数据。然而，后缀是一系列分类项。为此，我们使用Gumbel-Softmax分布来获得可微连续近似。训练的工作原理是在两个玩家的游戏中让一个神经网络对抗另一个（因此具有“对抗”性质），这导致生成接近地面事实的后缀。从实验评估中可以看出，该方法在预测后缀和相应剩余时间的准确性方面优于基线，尽管使用了朴素的特征编码，并且仅基于控制流和事件完成时间的工程特征。
2020-10-19 cs.LG stat.ML
Synthetic Trajectory Generation Through Convolutional Neural Networks
University of New South Wales（新南威尔士大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61部）
针对轨迹数据发布的隐私与效用权衡，提出RTCT将轨迹转换为CNN可用格式，并结合DCGAN验证其生成合成轨迹的可行性与局限。
2024-07-24 cs.AI cs.CR cs.LG
Kernel-Guided Training of Implicit Generative Models with Stability Guarantees
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
现代隐式生成模型，如生成对抗网络（GANs），通常存在不稳定、不可解释性和难以评估其性能等问题。如果我们将这些隐式模型视为动力系统，那么其中一些问题是由于在训练过程中无法以有意义的方式控制其行为而引起的。在这项工作中，我们提出了一种理论基础的方法来指导GANs的训练轨迹，通过使用基于内核的正则化项来增强GAN损失函数，该正则化项控制模型与真实分布之间的局部和全局差异。这个控制信号允许我们将先验知识注入模型。我们提供的动力系统的稳定性的理论保证，并通过广泛的实验证明它的不同方面。
2019-11-06 cs.LG stat.ML
Kernel-Guided Training of Implicit Generative Models with Stability Guarantees
现代隐式生成模型，如生成对抗网络（GANs），通常存在不稳定、不可解释性和难以评估其性能等问题。如果我们将这些隐式模型视为动力系统，那么其中一些问题是由于在训练过程中无法以有意义的方式控制其行为而引起的。在这项工作中，我们提出了一种理论上有基础的方法来指导GANs的训练轨迹，方法是用基于内核的正则化项来增强GAN损失函数，该正则化项控制模型与真实分布之间的局部和全局差异。这个控制信号允许我们将先验知识注入模型。我们提供的动力系统的稳定性的理论保证，并通过广泛的实验证明它的不同方面。
2019-11-03 cs.LG math.DS stat.ML
Dictionary-Transform Generative Adversarial Networks
字典-变换生成对抗网络通过稀疏合成结构实现对抗学习的可解释性和理论稳定性。
2025-12-25 cs.LG
Stool Recognition for Colorectal Cancer Detection through Deep Learning
Carnegie Mellon University（卡内基梅隆大学）；London School of Economics and Political Science（伦敦政治经济学院）；DSO National Laboratories Singapore（新加坡DSO国家实验室）
本文提出一种基于深度学习的粪便识别神经网络，通过粪便图像判断是否带血以辅助结直肠癌早期检测，并利用DiffAugment StyleGAN2生成图像扩充数据，将分类准确率提升至94%，最终部署于Poolice移动应用。
2024-10-19 cs.CV cs.LG eess.IV
3D Generative Model Latent Disentanglement via Local Eigenprojection
University College London（伦敦大学学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出一种基于谱几何的新型损失函数，通过鼓励3D网格VAEs或GANs的潜在变量遵循身份属性的局部特征投影，实现了局部形状属性的解耦生成，在保持良好生成能力和相当训练时间的同时，显著提升了潜在解耦效果。
2023-04-04 cs.CV cs.GR cs.LG
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络（GANs）结合了标准的GAN算法，该算法区分真实和模型生成的数据，并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中，我们开发了一种原理，通过利用生成模型的分层结构，可以将自动编码器与生成对抗网络相结合。其基本原理表明，变分推断可以用作学习的基本工具，但不可处理的似然被合成似然代替，未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合，结合这两种方法的优点。我们描述了一个统一的优化目标，讨论了指导学习所需的约束条件，连接到广泛的现有工作，并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
Beyond Statistical Similarity: Rethinking Metrics for Deep Generative Models in Engineering Design
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文针对工程设计场景下深度生成模型传统统计评估指标的适配性缺陷，梳理经典指标局限，整理设计专属评估指标集，通过两类工程设计案例验证指标有效性并公开相关代码。
2025-11-17 cs.LG
