Optimized latent-code selection for explainable conditional text-to-image GANs
Bernoulli Institute, University of Groningen（格罗宁根大学伯努利研究所）
由于条件生成对抗网络（GANs）的进步，文本到图像生成的任务取得了显着的进展。然而，现有的条件文本到图像GANs方法大多集中在提高图像质量和语义相关性，但忽略了模型的可解释性，这在现实世界的应用中起着至关重要的作用。在本文中，我们提出了各种技术来深入研究条件文本到图像GANs模型的潜在空间和语义空间。我们引入成对的线性插值的潜在代码和“语言”线性插值研究模型已经了解到的潜在空间和“语言”嵌入。随后，我们将线性插值扩展到三角形插值条件下的三个角落，进一步分析模型。在此之后，我们建立了一个好/坏的数据集，包含失败和成功的合成样本和相应的潜在代码的图像质量的研究。基于这个数据集，我们提出了一个框架，通过利用线性SVM找到好的潜在代码。在两个基准数据集上训练的DiverGAN生成器上的实验结果定性地证明了我们所提出的技术的有效性，在预测潜在向量的${Good}$ / ${Bad}$类方面的准确率超过94\%。好/坏数据集可在https://zenodo.org/record/5850224#.YeGMwP7MKUk上公开获取。
2022-04-27 cs.CV
Matched sample selection with GANs for mitigating attribute confounding
University of California at Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）；Amazon Web Services（亚马逊网络服务）
随着视觉系统在社会中的广泛使用，测量这些系统在性别和年龄等受保护属性方面的偏差至关重要。然而，基准数据集中属性之间的显著相关性使得很难将算法偏见与数据集偏差分开。为了减轻这种属性混淆在偏见分析，我们提出了一种匹配的方法，选择一个子集的图像从完整的数据集与平衡的属性分布在受保护的属性。我们的匹配方法首先以保留语义属性的方式将真实图像投影到生成对抗网络（GAN）的潜在空间上。然后，它在这个潜在空间中找到一个选定的受保护属性的图像匹配，产生一个数据集，其中语义和感知属性在受保护属性中得到平衡。我们验证投影和匹配策略与定性，定量和人类注释实验。我们在多个开源面部识别分类器的性别偏见背景下展示了我们的工作，并发现在通过匹配去除关键混杂因素后，偏见仍然存在。代码和文档可以在https://github.com/csinva/matching-with-gans上复制这里的结果并将方法应用于新数据。
2021-03-24 cs.AI cs.CV cs.LG
A study of traits that affect learnability in GANs
SRM Institute of Science and Technology（SRM科学技术学院）；Nvidia（英伟达）
生成对抗网络GANs是一种算法架构，它使用两个神经网络，使一个与另一个对立，以便提出新的、合成的数据实例，这些数据实例可以通过真实数据。训练一个GAN是一个具有挑战性的问题，需要我们应用先进的技术，如超参数调整，架构工程等。许多不同的损失，正则化和规范化方案，网络架构已被提出来解决这个具有挑战性的问题，为不同类型的数据集。有必要理解实验观察结果并推导出一个简单的理论。在本文中，我们使用参数化的合成数据集进行实证实验，以探讨哪些特征影响可学习性。
2020-11-27 cs.CV cs.LG
Mining GOLD Samples for Conditional GANs
KAIST（韩国科学技术院）；Kakao Brain；POSTECH（浦项科技大学）；AItrics
近年来，条件生成对抗网络（cGANs）由于其类可控性和复杂生成任务的卓越质量而受到了相当大的关注。我们介绍了一种简单而有效的方法，通过测量给定样本上的数据分布和模型分布之间的差异来改进cGAN。所提出的度量，称为对数密度间隙（GOLD），为cGAN提供了一种有效的自诊断，同时可以有效地从网络中计算。我们提出了GOLD的三个应用：示例重新加权、拒绝采样和主动学习，它们分别改进了cGAN的训练、推理和数据选择。我们的实验结果表明，所提出的方法优于相应的基线的所有三个应用程序在不同的图像数据集。
2019-10-21 cs.CV cs.LG stat.ML
Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs
CerCo, CNRS UMR5549（法国国家科学研究中心 UMR5549 脑与认知研究中心）；Université de Toulouse（图卢兹大学）；IRIT, CNRS UMR5505（法国国家科学研究中心 UMR5505 图卢兹信息学研究所）；ANITI（人工智能与自然智能研究所）
从功能磁共振成像信号重建感知自然图像是神经解码研究中最吸引人的课题之一。先前的研究成功地重建了低级别的图像特征或语义/高级别方面，但很少两者兼而有之。在这项研究中，我们利用实例条件GAN（IC-GAN）模型重建图像的功能磁共振成像模式，既准确的语义属性和保留低层次的细节。IC-GAN模型将通过自监督学习模型（SwAV ResNet-50）从目标图像中提取的119-dim噪声向量和2048-dim实例特征向量作为输入;这些实例特征充当IC-GAN图像生成的条件，而噪声向量在样本之间引入可变性。我们训练岭回归模型来预测来自相应fMRI模式的刺激的实例特征，噪声向量和密集向量（IC-GAN生成器的第一个密集层的输出）。然后，我们使用IC-GAN生成器基于这些fMRI预测变量重建新的测试图像。所生成的图像在捕获原始测试图像的语义属性方面呈现出最先进的结果，同时保持对低级别图像细节的相对忠实。最后，我们使用学习的回归模型和IC-GAN生成器来系统地探索和可视化最大限度地驱动人脑中几个感兴趣区域中每个区域的语义特征。
2022-02-25 cs.CV eess.IV q-bio.NC
Diffusion-GAN: Training GANs with Diffusion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Azure AI（微软Azure人工智能）
针对GAN训练不稳定的问题，提出利用自适应前向扩散链生成实例噪声的Diffusion-GAN框架，通过时间步依赖判别器指导生成器，理论和实验均证明其在图像生成质量、稳定性和数据效率上优于现有最优GANs。
2023-08-25 cs.LG stat.ML
Subverting Privacy-Preserving GANs: Hiding Secrets in Sanitized Images
NYU Tandon School of Engineering（纽约大学坦登工程学院）
前所未有的数据汇集和共享加剧了对隐私的担忧，并导致人们对隐私保护工具的兴趣日益增加，这些工具可以从图像中删除敏感属性，同时为其他任务保留有用的信息。目前，最先进的方法使用隐私保护生成对抗网络（PP-GAN）来实现这一目的，例如，在不泄露用户身份的情况下实现可靠的面部表情识别。然而，PP-GAN并不提供隐私的正式证明，而是依赖于使用基于深度学习（DL）的鉴别器的敏感属性上的分类准确性来实验性地测量信息泄漏。在这项工作中，我们通过颠覆现有的面部表情识别隐私保护GANs来质疑这种检查的严格性。我们表明，可以将敏感的识别数据隐藏在这种PP-GAN的经过消毒的输出图像中，以便以后提取，这甚至可以允许重建整个输入图像，同时满足隐私检查。我们通过基于PP-GAN的架构展示了我们的方法，并使用两个公共数据集提供定性和定量评估。我们的实验结果提出了关于需要对PP-GAN进行更严格的隐私检查的基本问题，并提供了对这些问题的社会影响的见解。
2020-09-19 cs.AI cs.CR cs.CV
Improving Detection of Credit Card Fraudulent Transactions using Generative Adversarial Networks
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；The University of Edinburgh（爱丁堡大学）
在这项研究中，我们采用生成对抗网络作为过采样方法来生成人工数据，以协助信用卡欺诈交易的分类。GANs是一种基于博弈论思想的生成模型，其中生成器G和GAN D试图相互智胜。发生器的目的是混淆信号。该算法的目标是区分来自生成器的实例和来自原始数据集的实例。通过在一组信用卡欺诈交易上训练GANs，我们能够提高分类器的区分能力。实验结果表明，Wasserstein-GAN比其他GANs训练更稳定，产生的欺诈交易更真实。另一方面，通过k均值聚类设置标签的GANs的条件版本不一定改善GANs的非条件版本。
2019-07-07 cs.LG q-fin.RM
Learning Modulated Transformation in GANs
Shanghai AI Laboratory（上海人工智能实验室）；CUHK（香港中文大学）；HKUST（香港科技大学）；Ant Group（蚂蚁集团）
本文提出调制变换模块（MTM），在GAN生成器中通过潜在编码预测空间偏移，实现可变位置卷积，增强几何变形建模能力，并在图像、3D和视频生成任务中提升性能，如将TaiChi数据集FID从21.36降至13.60。
2023-08-29 cs.CV
Energy-Based Sequence GANs for Recommendation and Their Connection to Imitation Learning
ECE, Seoul National University（首尔国立大学电子与计算机工程系）；ECE, UC San Diego（加州大学圣迭戈分校电子与计算机工程系）；NAVER Corp.（NAVER公司）
推荐系统的目标是找到一个准确和有效的映射，从用户偏好的项目的历史数据，以一个新的项目，是喜欢的用户。为了实现这一目标，基于能量的序列生成对抗网络（EB-SeqGAN）通过学习用户偏好项目的时间序列的生成模型来进行推荐。通过将能量函数重新铸造为特征函数，所提出的EB-SeqGANs被解释为最大熵模仿学习的实例。
2017-06-28 cs.IR cs.LG stat.ML
FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
数据高效GANs（DE-GANs）旨在利用有限的训练数据学习生成模型，在生成高质量样本方面遇到了一些挑战。由于数据增强策略在很大程度上缓解了训练的不稳定性，如何进一步提高DE-GAN的生成性能成为研究热点。近年来，对比学习在提高DE-GAN的综合质量方面显示出巨大的潜力，但相关的原理还没有得到很好的探索。本文回顾和比较了DE-GAN中不同的对比学习策略，发现（i）当前生成性能的瓶颈是潜在空间的不连续性;（ii）与其他对比学习策略相比，实例扰动法更倾向于潜在空间的连续性，这给DE-GAN带来了重大改进。基于这些观察，我们提出了FakeObserver，它只对扰动的假样本进行对比学习，并设计了三种相关的训练技术：噪声相关的潜在增强，多样性感知队列和队列的遗忘因子。我们的实验结果表明，新的艺术状态的Few-Shot生成和有限的数据生成。在多个数据集上，与现有的DE-GAN相比，Faketown获得了超过15%的FID改进。代码可在https://github.com/iceli1007/FakeCLR上获得。
2022-07-19 cs.AI cs.CV cs.LG
The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
在这项工作中，我们训练条件Wasserstein生成对抗网络，以有效地从基于物理的贝叶斯推断问题的后验中采样。该生成器使用U-Net架构构建，使用条件实例规范化注入潜在信息。前者便于多尺度逆映射，而后者使潜在空间维度与测量维度解耦，并在所有尺度上引入随机性。我们解决基于偏微分方程的逆问题，以证明我们的方法在量化推断领域的不确定性的性能。此外，我们还证明了生成器可以学习本质上是局部的逆映射，这反过来又促进了在使用分布外样本进行测试时的泛化能力。
2022-11-18 cs.LG stat.ML
When do GANs replicate? On the choice of dataset size
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊）
GANs会复制训练图像吗？以前的研究表明，如果训练过程没有显著变化，GANs似乎无法复制训练数据。这导致了一系列关于GANs过拟合训练数据所需的确切条件的研究。尽管已经从理论上或经验上确定了许多因素，但数据集大小和复杂性对GANs复制的影响仍然未知。通过BigGAN和StyleGAN 2的经验证据，在数据集CelebA，Flower和LSUN-bedroom上，我们表明数据集的大小及其复杂性在GANs复制和生成图像的感知质量中起着重要作用。我们进一步量化了这种关系，发现复制百分比随数据集大小和复杂性呈指数衰减，在GAN数据集组合中具有共享的衰减因子。同时，感知图像质量随数据集大小呈U形趋势。这一发现导致了一个实用的工具，一次性估计的最小数据集的大小，以防止GAN复制，可用于指导数据集的建设和选择。
2022-02-23 cs.AI cs.CV cs.LG
SMaRt: Improving GANs with Score Matching Regularity
针对GANs在复杂多样数据上训练时生成流形偏离真实流形的问题，提出分数匹配正则化方法SMaRt，借助预训练扩散模型作为近似分数函数，有效提升多种先进GAN的图像合成性能。
2025-10-01 cs.CV cs.LG
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
NVIDIA Corporation（英伟达公司）；UC Berkeley（加州大学伯克利分校）
我们提出了一种使用条件生成对抗网络（条件GANs）从语义标签映射合成高分辨率照片级真实感图像的新方法。条件GANs已经实现了各种应用，但结果往往局限于低分辨率，而且还远远不现实。在这项工作中，我们生成了2048 x1024视觉上吸引人的结果，具有新颖的对抗性损失，以及新的多尺度生成器和多尺度架构。此外，我们扩展了我们的框架，交互式视觉操纵两个额外的功能。首先，我们将对象实例分割信息，这使得对象操作，如删除/添加对象和改变对象类别。第二，我们提出了一种方法，以产生不同的结果给出相同的输入，允许用户交互式地编辑对象的外观。人类意见研究表明，我们的方法显著优于现有方法，提高了深度图像合成和编辑的质量和分辨率。
2018-08-20 cs.CV cs.GR cs.LG
A Comprehensive Survey on Data-Efficient GANs in Image Generation
University of Science and Technology of China（中国科学技术大学）；Huazhong University of Science and Technology（华中科技大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
生成对抗网络（GANs）在图像合成方面取得了显著的成就。GANs的这些成功依赖于大规模数据集，需要太多的成本。在训练数据有限的情况下，如何稳定GANs的训练过程并生成逼真的图像引起了更多的关注。数据高效GANs（DE-GANs）的挑战主要来自三个方面：（i）训练和目标分布之间的不匹配，（ii）鉴别器的过拟合，以及（iii）潜在空间和数据空间之间的不平衡。虽然已经提出了许多增强和预训练策略来缓解这些问题，但缺乏系统的调查来总结DE-GAN的属性，挑战和解决方案。在本文中，我们从分布优化的角度重新审视和定义DE-GAN。我们总结并分析了DE-GAN面临的挑战。同时，我们提出了一个分类法，将现有的方法分为三类：数据选择，GANs优化和知识共享。最后，我们试图突出当前的问题和未来的方向。
2022-10-08 cs.AI cs.CV
Leveraging Contaminated Datasets to Learn Clean-Data Distribution with Purified Generative Adversarial Networks
Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
生成对抗网络（GANs）以其强大的捕获训练实例底层分布的能力而闻名。自从GAN的开创性工作以来，已经提出了GAN的许多变体。然而，现有的GANs几乎都是建立在训练数据集是干净的假设之上的。但在许多现实世界的应用中，这可能不成立，也就是说，训练数据集可能被一部分不需要的实例污染。当在这样的数据集上训练时，现有的GANs将学习期望和污染实例的混合分布，而不是仅期望数据的期望分布（目标分布）。为了从污染数据集中学习目标分布，开发了两个纯化的生成对抗网络（PuriGAN），其中鉴别器通过利用仅由污染实例组成的额外数据集来增强区分目标和污染实例的能力。我们证明，在一些温和的条件下，提出的PuriGAN保证收敛到所需实例的分布。在几个数据集上的实验结果表明，当在受污染的数据集上训练时，所提出的PuriGAN能够从所需的分布中生成比可比基线更好的图像。此外，我们还通过将其应用于污染数据集和PU学习的半监督异常检测任务，证明了PuriGAN在下游应用中的有用性。实验结果表明，PuriGAN能够在这两个任务上提供超过可比基线的最佳性能。
2023-02-03 cs.LG
Generative Adversarial Networks (GANs Survey): Challenges, Solutions, and Future Directions
The Hong Kong Polytechnic University（香港理工大学）
本文综述了GANs训练中的挑战及解决方案，提出新的分类法系统梳理网络架构、目标函数和优化算法等关键技术，并指出未来研究方向。
2023-04-05 cs.LG eess.IV stat.ML
New Perspective on Progressive GANs Distillation for One-class Novelty Detection
本文研究单类新颖性检测，提出EDE-GAN架构以潜在向量距离作为异常分数，并引入渐进式知识蒸馏技术P-KDGAN，通过两步学习在大幅压缩计算量的条件下显著提升学生GAN性能。
2023-06-30 cs.CV
Looks Like Magic: Transfer Learning in GANs to Generate New Card Illustrations
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
在本文中，我们提出了MAGICSTYLEGAN和MAGICSTYLEGAN-ADA -都是最先进的模型StyleGan 2和StyleGan 2 ADA的化身-来实验它们将迁移学习转移到一个相当不同的领域的能力：为游戏“魔术：收集”卡片的广阔宇宙创建新的插图。这是一项具有挑战性的任务，特别是由于这些插图中存在的各种元素，如人类，生物，文物和风景-更不用说多年来各种艺术家制作的图像的艺术风格过多。为了解决手头的任务，我们引入了一个名为MTG的新数据集，其中包含来自不同卡片类型的数千张插图和丰富的元数据。结果集是由无数现实和幻想般的插图组成的数据集。尽管如此，为了研究多样性的影响，我们还引入了包含特定类型概念的子集，例如森林，岛屿，面孔和人类。我们表明，更简单的模型，如DCGAN，是无法学习，以产生适当的插图在任何设置。另一方面，我们使用所有建议的子集训练MAGICSTYLEGAN实例，能够生成高质量的插图。我们进行实验，以了解如何从StyleGan 2预训练的功能可以转移到目标域。我们表明，在经过良好训练的模型中，我们可以找到真实地代表数据集中真实图像的噪声向量的特定实例。此外，我们提供了定量和定性研究来支持我们的主张，并证明MAGICSTYLEGAN是生成Magic插图的最先进方法。最后，本文强调了GANs中迁移学习的一些新特性，这在生成学习研究中仍然是一个未充分探索的领域。
2022-05-28 cs.CV cs.LG
Enhancing Unsupervised Speech Recognition with Diffusion GANs
NVIDIA（英伟达）
我们通过扩散GAN增强了无监督自动语音识别（ASR）的香草对抗训练方法。我们的模型（1）将各种强度的实例噪声注入到生成器的输出和未标记的参考文本中，这些参考文本是从具有长度约束的预训练音素语言模型中采样的，（2）要求扩散时间步长相关的鉴别器将它们分离，以及（3）反向传播梯度以更新生成器。单词/音素出错率比较与wav 2 vec-U在Librispeech（3.1%的测试清洁和5.6%的测试其他），TIMIT和MLS数据集，表明我们的增强策略有效地工作。
2023-03-23 cs.CL cs.LG cs.SD
Data InStance Prior (DISP) in Generative Adversarial Networks
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）；CMU（卡内基梅隆大学）
生成对抗网络（GANs）的最新进展在生成高质量图像方面取得了显着进展。然而，性能的提高取决于大量训练数据的可用性。在有限的数据体系中，训练通常会出现分歧，因此生成的样本质量低且缺乏多样性。先前的工作已经通过利用迁移学习和数据增强技术解决了低数据设置中的训练。我们提出了一种新的迁移学习方法，GANs在有限的数据域中，利用信息数据之前来自自监督/监督预训练的网络上训练的不同的源域。我们使用各种GAN架构（BigGAN，SNGAN，StyleGAN 2）在几个标准视觉数据集上进行实验，以证明所提出的方法有效地将知识转移到目标图像较少的领域，在图像质量和多样性方面优于现有的最先进的技术。我们还展示了数据实例先验在大规模无条件图像生成中的实用性。
2021-09-21 cs.CV
Region and Object based Panoptic Image Synthesis through Conditional GANs
The University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）；University of Pittsburgh（匹兹堡大学）；Microsoft Corporation（微软公司）
图像到图像转换对于许多计算机视觉和机器学习任务（例如图像合成和视频合成）是重要的。它主要应用于图形编辑和动画行业。随着生成对抗网络的发展，图像到图像的翻译任务引起了人们的广泛关注。在本文中，我们提出并研究了一个新的任务命名为全景级图像到图像的翻译和一个朴素的基线解决这个任务。全景级图像翻译将当前的图像翻译任务扩展到两个独立的目标：语义风格翻译（将对象的风格调整为不同域的风格）和实例变形（不同类型的对象之间的交换）。所提出的任务从完整和详细的全景视角生成图像，这可以丰富现实世界的视觉合成的背景。我们的贡献包括一个值得研究的重要任务的建议和一个天真的基线解决它。建议的基线包括多实例顺序翻译和语义级翻译领域不变的内容代码。
2019-12-14 cs.CV
Generating Symbolic Reasoning Problems with Transformer GANs
Saarland University（萨尔大学）；Stanford University（斯坦福大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
该研究提出配备Transformer编码器的GAN与Wasserstein GAN，用于生成符号推理领域训练数据，可替代真实数据、适配小数据集，还能调整生成难度。
2023-05-05 cs.LG
privGAN: Protecting GANs from membership inference attacks at low cost
Microsoft（微软）
生成对抗网络（GANs）使合成图像的发布成为一种在不发布原始数据集的情况下共享数据的可行方法。已经表明，这种合成数据可以用于各种下游任务，例如训练分类器，否则这些任务将需要共享原始数据集。然而，最近的工作表明，GAN模型及其合成生成的数据可以被访问整个数据集和一些辅助信息的对手用来推断训练集成员资格。目前缓解这个问题的方法（如DPGAN）导致生成的样本质量比原始的非私有GANs差得多。在这里，我们开发了一种新的GAN架构（privGAN），其中生成器不仅被训练为欺骗攻击者，而且还被训练为防御成员推断攻击。新机制提供了针对这种攻击模式的保护，同时导致下游性能的损失可以忽略不计。此外，我们的算法已被证明可以显式地防止对训练集的过拟合，这解释了为什么我们的保护如此有效。本文的主要贡献是：i）我们提出了一种新的GAN架构，该架构可以以隐私保护的方式生成合成数据，而无需额外的超参数调整和架构选择，ii）我们提供了对privGAN损失函数的最优解的理论理解，iii）我们证明了我们的模型对几个基准数据集上的几种白盒和黑盒攻击的有效性，iv）我们在三个常见的基准数据集上证明，与非私有GANs相比，由privGAN生成的合成图像在下游性能上的损失可以忽略不计。
2020-12-13 cs.CR cs.CV cs.LG
Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
提出软课程学习框架，通过实例加权、标签纠正与无标签数据分配，使条件GAN可在噪声标签和未筛选无标签数据上训练，并以少于一半标签达到相当性能。
2023-07-17 cs.CV
Imputation of Longitudinal Data Using GANs: Challenges and Implications for Classification
School of Computer Science & Centre for Data Science（计算机科学学院及数据科学中心）；Queensland University of Technology（昆士兰理工大学）
本文综述了生成对抗网络在纵向数据插补中的应用，评估其是否满足分类所需的统计假设，并指出未来需开发更通用的方法以应对缺失值等挑战。
2025-06-22 cs.LG stat.ML
Actionable Recourse via GANs for Mobile Health
UC San Diego（加州大学圣地亚哥分校）；Maternity Foundation（产妇基金会）
移动健康应用程序提供了一种独特的数据收集手段，可用于提供适应性干预措施。预测结果在很大程度上影响了此类干预措施的选择。通过反事实的追索权提供了修改用户预测的有形机制。通过确定增加预期预测可能性的合理行动，利益相关者可以对他们的预测进行代理。此外，追索机制使反事实推理，可以帮助提供洞察候选人的因果干预功能。我们证明了GAN生成的移动健康应用程序的可行性，基于整体生存分析预测安全交付应用程序的中期参与，这是一种熟练助产士的数字培训工具。
2022-11-12 cs.LG
On the Evaluation of Conditional GANs
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；Facebook AI Research（Facebook人工智能研究）
条件生成对抗网络（cGAN）在许多应用领域中得到越来越广泛的使用。尽管取得了突出的进展，定量评价这些模型往往涉及多个不同的指标，以评估不同的理想属性，如图像质量，条件一致性，和内调节多样性。在这种情况下，模型基准测试成为一个挑战，因为每个指标可能表明不同的“最佳”模型。在本文中，我们提出了Frechet联合距离（FJD），它被定义为图像和条件的联合分布之间的Frechet距离，允许它在单个度量中隐式地捕获上述属性。我们在可控的合成数据集上进行概念验证实验，与目前建立的指标相比，这些实验始终突出了FJD的好处。此外，我们使用新引入的度量来比较现有的基于cGAN的模型，以用于各种条件模式（例如类标签，对象掩码，边界框，图像和文本标题）。我们表明，FJD可以用作cGAN基准测试和模型选择的一个有前途的单一指标。代码可以在https://github.com/facebookresearch/fjd上找到。
2019-12-24 cs.CV cs.LG eess.IV
InstaGAN: Instance-aware Image-to-Image Translation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）；AItrics
由于最近基于生成对抗网络（GANs）的令人印象深刻的进展，无监督图像到图像的翻译得到了相当大的关注。然而，先前的方法在具有挑战性的情况下通常失败，特别是当图像具有多个目标实例并且翻译任务涉及形状的显著变化时，例如，把裤子变成裙子的时尚形象为了解决这些问题，我们提出了一种新的方法，创造的实例感知GAN（InstaGAN），它结合了实例信息（例如，对象分割掩模）并改进多实例变换。所提出的方法翻译图像和相应的一组实例属性，同时保持置换不变性的实例。为此，我们引入了上下文保持损失，鼓励网络在目标实例之外学习身份函数。我们还提出了一种顺序小批量推理/训练技术，该技术可以用有限的GPU内存处理多个实例，并增强网络，以便更好地泛化多个实例。我们的比较评估表明，所提出的方法对不同的图像数据集，特别是在上述具有挑战性的情况下的有效性。代码和结果可在https://github.com/sangwoomo/instagan上获得
2019-01-02 cs.CV cs.LG stat.ML
Towards a Better Global Loss Landscape of GANs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对GAN培训的理解仍然非常有限。一个主要的挑战是它的非凸-非凹的最小-最大目标，这可能导致次优的局部最小值。在这项工作中，我们对GANs的经验损失进行了全球景观分析。我们证明了一类可分离的GAN，包括原来的JS-GAN，有指数的坏盆被视为模式崩溃。我们还研究了相对论性配对GAN（RpGAN）损失，它将产生的样本和真实样本耦合在一起。我们证明了RpGAN没有坏盆。在合成数据上的实验表明，预测的坏盆确实可以在训练中出现。我们还进行了实验来支持我们的理论，即RpGAN比可分离GAN具有更好的景观。例如，我们的经验表明，RpGAN在相对狭窄的神经网络中比可分离GAN表现得更好。该代码可在www.example.com上获得。
2020-11-10 cs.AI cs.CV cs.IT
Population-Based Multi-Objective Training of Discriminators for Semi-Supervised GANs
ITIS Software, University of Malaga（ITIS软件，马拉加大学）；CSAIL MIT, Cambridge, MA, USA（MIT计算机科学与人工智能实验室，剑桥，马萨诸塞州，美国）
提出基于种群的多目标进化训练策略，将半监督GAN的判别器学习建模为多目标优化问题，通过帕累托支配排序探索分类精度与真假判别之间的权衡，提升训练鲁棒性和分类准确率。
2026-07-03 cs.AI cs.CV cs.LG
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
RWTH Aachen University（亚琛工业大学）
时空显微图像的自动分析是生命科学研究的必然要求。深度学习的最新发展为自动分析此类图像数据提供了强大的工具，但在很大程度上取决于所提供的训练数据的数量和质量。为此，我们开发了一种新的方法，用于真实生成荧光标记细胞核的合成2D+t显微镜图像数据。该方法结合时空统计形状模型的不同细胞周期阶段的条件GAN产生的细胞群体的时间序列，并提供实例级控制的细胞周期阶段和荧光强度的产生的细胞。我们展示了GAN调节的效果，并创建了一组合成图像，这些图像可以很容易地用于细胞分割和跟踪方法的训练和基准测试。
2021-01-26 cs.CV cs.LG eess.IV
Small-GAN: Speeding Up GAN Training Using Core-sets
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Toronto（多伦多大学）；Google Brain（谷歌大脑）
Brock等人（2018）的最新研究表明，生成对抗网络（GANs）从大的小批量中受益不成比例。不幸的是，在传统硬件上使用大批量是缓慢和昂贵的。因此，如果我们能够生成实际上很大但实际上很小的批处理，那就太好了。在这项工作中，我们提出了一种方法来做到这一点，在主动学习中使用的核心选择的启发。在训练GAN时，我们从先验知识中抽取大量样本，然后使用Coreset选择压缩该批次。为了有效地创建大量的“真实”图像，我们为每个训练图像创建一个Inception激活的缓存数据集，将它们随机投影到较小的维度，然后在训练时对这些投影的激活使用Coreset选择。我们进行的实验表明，这种技术大大减少了现代GAN变体的训练时间和内存使用，它减少了合成数据集中丢弃模式的比例，并且它允许GANs在异常检测方面达到新的技术水平。
2019-10-29 cs.LG stat.ML
Improved BiGAN training with marginal likelihood equalization
Max Planck Institute for Intelligence Systems（马克斯·普朗克智能系统研究所）；University Carlos III in Madrid（马德里卡洛斯三世大学）；Swiss Data Science Center (ETH Zürich)（瑞士数据科学中心（苏黎世联邦理工学院））
我们提出了一种新的训练方法来提高生成对抗网络（GANs）的性能，特别是双向GANs。首先，我们强制要求逆推理网络的经验分布与先验分布相匹配，这有利于生成器网络在所见样本上的再现性。第二，我们发现样本的边际对数似然性表明某种类型的样本严重高估。为了解决这个问题，我们提出了训练的双向GAN使用非均匀抽样的小批量选择，从而提高质量和品种的定量测量和目测产生的样品。我们用著名的CIFAR10，Fashion MNIST和CelebA数据集来说明我们的新程序。
2020-05-23 cs.CV cs.LG stat.ML
Exploring Content Relationships for Distilling Efficient GANs
Xiamen University（厦门大学）；Tencent（腾讯）
本文提出了一种内容关系蒸馏（CRD）来解决过度参数化的生成对抗网络（GANs）在尖端设备中的可服务性。与传统的实例级蒸馏相比，我们设计了一种新的面向GAN压缩的知识，通过将教师输出的内容切片为多个细粒度的粒度，如行/列条带（全局信息）和图像补丁（局部信息），建模它们之间的关系，如成对距离和三重角，并鼓励学生在其输出内容中捕获这些关系。在我们提出的内容级蒸馏的基础上，我们还部署了一个在线教师训练器，它在与教师生成器共同训练时保持更新，并在与学生生成器共同训练时保持冻结，以进行更好的对抗训练。我们在三个基准数据集上进行了大量的实验，结果表明，与现有方法相比，我们的CRD在GANs上实现了最大的复杂度降低，同时获得了最好的性能。例如，我们将CycleGAN的MAC减少了大约40倍，参数减少了80倍以上，同时，与当前最先进的51.92相比，获得了46.61个FID。该项目的代码可以在https://github.com/TheKernelZ/CRD上获得。
2022-12-21 cs.CV
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
条件生成模型旨在学习数据和标签的潜在联合分布，以实现条件数据生成。其中，辅助分类器生成对抗网络（AC-GAN）得到了广泛的应用，但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的，因此不能为生成器提供信息指导以接近联合分布，从而导致条件熵最小化，从而降低了类内多样性。出于这种理解，我们提出了一种新的条件GAN与辅助判别分类器（ADC-GAN），以解决上述问题。具体来说，所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明，该生成器可以忠实地学习的联合分布，即使没有原来的卷积，使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性，并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明，与最先进的基于分类器和基于投影的条件GANs相比，ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs
Nvidia（英伟达）；UC San Diego（加州大学圣地亚哥分校）
最近的进展表明，生成对抗网络（GANs）可以沿着语义上有意义的潜在方向（如姿势，表情，布局等）合成具有平滑变化的图像，虽然这表明GANs隐式地学习图像之间的像素级对应关系，但很少有研究探索如何显式地提取它们。在这项工作中，我们介绍了坐标GAN（CoordGAN GAN），一个结构-纹理解纠缠的GAN，为每个生成的图像学习一个密集的对应映射。我们将不同图像的对应图表示为从规范坐标系变换的扭曲坐标系，即，对应映射，其描述结构（例如，面部的形状）通过变换来控制。因此，找到对应关系归结为在不同的对应映射中定位相同的坐标。在CoordGAN中，我们采样一个变换来表示合成实例的结构，而一个独立的纹理分支负责渲染与结构正交的外观细节。我们的方法还可以通过在生成器上添加编码器来提取真实图像的密集对应图。我们通过在多个数据集上的分割掩码转移定量地证明了所学习的密集对应的质量。我们还表明，该发电机实现了更好的结构和纹理解纠缠相比，现有的方法。项目页面：https://jitengmu.github.io/CoordGAN/
2022-03-30 cs.CV
Which Training Methods for GANs do actually Converge?
MPI Tübingen（图宾根马克斯·普朗克研究所）；ETH Zürich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
最近的工作表明，局部收敛的GAN训练绝对连续的数据和发电机分布。在本文中，我们证明了绝对连续性的要求是必要的：我们描述了一个简单但典型的反例，表明在更现实的情况下，分布不是绝对连续的，非正则化的GAN训练并不总是收敛的。此外，我们还讨论了最近提出的稳定GAN训练的正则化策略。我们的分析表明，使用实例噪声或零中心梯度惩罚的GAN训练收敛。另一方面，我们证明了Wasserstein-GAN和WGAN-GP在每次生成器更新时具有有限数量的重复更新并不总是收敛到平衡点。我们讨论了这些结果，使我们对GAN训练的稳定性问题有了新的解释。基于我们的分析，我们将我们的收敛结果扩展到更一般的GANs，并证明了简化梯度惩罚的局部收敛性，即使生成器和数据分布位于低维流形上。我们发现这些惩罚在实践中效果很好，并使用它们来学习各种数据集的高分辨率生成图像模型，几乎没有超参数调整。
2018-07-31 cs.AI cs.GT cs.LG
Stochastic Deconvolutional Neural Network Ensemble Training on Generative Pseudo-Adversarial Networks
PVH Corp.（PVH集团）
生成对抗网络的训练是一项艰巨的任务，主要是由于网络的性质。一个这样的问题是当发电机和振荡器开始振荡，而不是收敛到一个固定点。另一种情况可能是当一个代理变得比另一个更熟练时，这导致另一个代理的学习能力下降，从而降低了整个系统的学习能力。此外，存在模式崩溃的问题，其涉及生成器输出崩溃为单个样本或一小组类似样本。为了训练GANs，需要仔细选择与各种其他方法一起使用的体系结构来改进训练。即使在应用这些方法时，与所选择的参数相关的训练的稳定性也很低。提出了随机集成作为训练GANs时提高稳定性的方法。
2018-02-07 cs.CV cs.LG stat.ML
Unsupervised Learning of Depth and Depth-of-Field Effect from Natural Images with Aperture Rendering Generative Adversarial Networks
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Corporation（NTT集团）
从2D投影的自然图像理解3D世界是计算机视觉和图形学中的一个基本挑战。近年来，无监督学习方法由于其在数据汇集方面的优势而引起了广泛的关注。然而，为了减轻训练限制，典型的方法需要对视点分布施加假设（例如，包含各种视点图像的数据集）或对象形状（例如，对称对象）。这些假设通常限制应用;例如，应用于从相似视点捕获的非刚性对象或图像（例如，花或鸟图像）仍然是一个挑战。为了补充这些方法，我们提出了孔径渲染生成对抗网络（AR-GANs），它在GANs之上装备孔径渲染，并采用焦点线索来学习未标记自然图像的景深和景深（DoF）效果。为了解决由无监督设置触发的模糊性（即，平滑纹理和散焦模糊之间以及前景和背景模糊之间的模糊性），我们开发了DoF混合学习，这使得生成器能够在生成不同DoF图像的同时学习真实图像分布。此外，我们设计了一个中心焦点之前，指导学习方向。在实验中，我们证明了AR-GANs在各种数据集（如花卉，鸟类和人脸图像）中的有效性，通过将其整合到其他3D表示学习GANs中来证明其可移植性，并验证了其在浅自由度渲染中的适用性。
2021-06-24 cs.CV cs.LG eess.IV
Performing Co-Membership Attacks Against Deep Generative Models
Stony Brook University（石溪大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一种新的成员攻击方法，称为针对深度生成模型的共同成员攻击，包括变分自编码器（VAE）和生成对抗网络（GANs）。具体而言，成员攻击旨在检查给定实例x是否在训练数据中使用。共同成员攻击检查给定的n个实例的捆绑包是否在训练中，先验知识是捆绑包要么完全在训练中使用，要么根本没有。当生成模型被发布时，成功的成员攻击可以危及训练数据的隐私。我们的主要思想是将目标数据x的隶属度推理转换为另一个神经网络（称为攻击者网络）的优化，以搜索潜在的编码来重现x。最终的重建误差直接用于推断x是否在训练数据中。我们对各种数据集和生成模型进行了广泛的实验，结果表明：我们的攻击者网络优于先前的成员攻击;联合成员攻击可能比单一攻击更强大;与GANs相比，VAE更容易受到成员攻击。
2019-09-20 cs.LG stat.ML
Learning Layout and Style Reconfigurable GANs for Controllable Image Synthesis
North Carolina State University（北卡罗来纳州立大学）
随着最近在学习深度生成模型方面取得的显着进展，从可重构输入开发可控图像合成模型变得越来越有趣。本文重点介绍了最近出现的任务，布局到图像，学习生成模型，能够从空间布局合成照片般逼真的图像（即，配置在图像网格中的对象边界框）和样式（即，由潜在向量编码的结构和外观变化）。本文首先提出了一个直观的范例的任务，布局到掩模到图像，学习展开对象掩模给定的边界框在输入布局，以弥合输入布局和合成图像之间的差距。然后，本文提出了一种建立在生成对抗网络上的方法，用于在图像和掩模级别进行样式控制的布局到掩模到图像。对象掩码从输入布局中学习，并沿着生成器网络中的阶段迭代地细化。图像级别的样式控制与普通GANs中的相同，而对象掩码级别的样式控制通过提出的新特征归一化方案，实例敏感和布局感知归一化来实现。在实验中，所提出的方法在COCO-Stuff数据集和Visual Genome数据集上进行了测试，获得了最先进的性能。
2021-03-26 cs.CV
Improving GANs with a Feature Cycling Generator
Chungbuk National University Hospital（忠北国立大学医院）；Korea University（高丽大学）
生成对抗网络（GANs）由生成器和网络管理器构建，具有先进的图像生成功能。通常，现有的论文通过堆叠多个剩余块来构建生成器，因为它简化了生成器的训练。然而，最近的一些论文评论了残差块的局限性，并提出了一种新的架构单元，提高了GANs的性能。根据这一趋势，本文提出了一种新的单元，称为特征循环块（FCB），它在图像生成任务中取得了令人印象深刻的结果。具体地，FCB具有两个分支：一个是存储器分支，另一个是图像分支。内存分支在生成器的每个阶段保持有意义的信息，而图像分支从内存分支中获取一些有用的特征以生成高质量的图像。为了证明所提出的方法的能力，我们使用各种数据集进行了广泛的实验，包括CIFAR-10，CIFAR-100，FFHQ，AFHQ和LSUN的子集。实验结果表明，我们的方法在基线上的实质性的优越性，而不产生任何目标函数或培训技巧。例如，所提出的方法在FFHQ数据集上将StyleGAN 2的Frechet起始距离（FID）从4.89提高到3.72，在LSUN Bed数据集上从6.64提高到5.57。我们相信，本文中提出的开创性尝试可以激发社会更好地设计的发电机架构和培训目标或技能与所提出的方法兼容。
2023-02-17 cs.AI cs.CV
Generative adversarial learning with optimal input dimension and its adaptive generator architecture
New Cornerstone Science Laboratory（新基石科学实验室）；Center of Statistical Research（统计研究中心）；School of Statistics（统计学院）；Southwestern University of Finance and Economics（西南财经大学）
本文提出 G-GANs 框架，通过组惩罚与架构惩罚自适应选择最优输入维度和生成器结构，提升 GAN 训练稳定性与生成精度，并在多个基准上取得显著性能改进。
2024-05-06 cs.LG stat.ME stat.ML
Domain Translation with Conditional GANs: from Depth to RGB Face-to-Face
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
由低成本深度传感器获取的人脸是否有助于捕捉人脸的某些特征细节？然而，新的深度架构可以从以不同模态获取的数据（例如深度数据）生成RGB图像。在本文中，我们提出了一种新的\textit{Deterministic Conditional GAN}，在注释的RGB-D人脸数据集上训练，有效地从深度到RGB的面对面转换。虽然该网络无法重建未知个体面部的精确身体特征，但它能够重建看似真实的面部;它们的外观足够准确，可以用于许多模式识别任务。事实上，我们测试了网络的能力，以幻觉与一些\textit{Perceptual Probes}，例如人脸方面的分类或地标检测。尽管对应的RGB图像通常由于困难的亮度条件而不可用，但可以使用深度面。实验结果是非常有前途的，是远远优于以前提出的方法：这种域的翻译可以构成一种新的方式来利用深度数据在新的未来应用。
2019-01-23 cs.CV
Local and Global GANs with Semantic-Aware Upsampling for Image Generation
ETH Zurich（苏黎世联邦理工学院）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Oxford（牛津大学）；University of Trento（特伦托大学）
在本文中，我们解决的任务语义引导的图像生成。大多数现有图像级生成方法的一个共同挑战是难以生成小对象和详细的局部纹理。为了解决这个问题，在这项工作中，我们考虑使用本地上下文生成图像。因此，我们设计了一个本地类特定的生成网络，使用语义映射作为指导，它分别为不同的类构建和学习子生成器，使其能够捕捉更精细的细节。为了学习更多的判别类特定的特征表示的本地生成，我们还提出了一个新的分类模块。为了结合全局图像级和局部类特定生成的优点，设计了一种具有注意力融合模块和双隐层结构的联合生成网络。最后，我们提出了一种新的语义感知上采样方法，该方法具有更大的感受野，可以将语义相关的远距离像素用于特征上采样，使其能够更好地保持具有相同语义标签的实例的语义一致性。在两个图像生成任务上的大量实验表明了该方法的优越性能。在这两项任务和九项具有挑战性的公共基准上，都取得了最先进的成果。源代码和训练模型可在https://github.com/Ha0Tang/LGGAN上获得。
2022-02-28 cs.CV cs.LG
Generative adversarial network-based glottal waveform model for statistical parametric speech synthesis
Aalto University（阿尔托大学）
最近的研究表明，使用声门声码可以提高文本到语音合成的质量。这是指声码器，参数化语音分为两个部分，声门兴奋和声道，发生在人类的语音生产设备。当前的声门声码器通过使用深度神经网络（DNN）来生成声门激励波形。然而，目前声门激励模型的基于平方误差的训练仅限于生成条件平均波形，其未能捕获波形的随机变化。因此，作为后处理添加了整形噪声。在这项研究中，我们提出了一种新的方法来预测声门波形的生成对抗网络（GANs）。GANs是生成模型，旨在将数据分布嵌入潜在空间中，通过随机采样潜在分布来生成与原始实例非常相似的新实例。由GANs产生的声门脉冲显示出类似于自然声门脉冲的随机分量。在我们的实验中，我们比较了使用DNN和GANs产生的声门波形生成的合成语音。结果表明，新提出的GANs实现了与广泛使用的DNN相当的合成质量，而不使用加性噪声分量。
2019-03-14 cs.CL cs.LG cs.SD
UCD: Unconditional Discriminator Promotes Nash Equilibrium in GANs
Ant Group（蚂蚁集团）
针对GAN训练难收敛、易模式崩溃的问题，提出即插即用的无条件判别器UCD，通过移除判别器的条件输入强化特征提取，推动纳什均衡达成，在ImageNet-64上取得1.47 FID的优异性能。
2025-10-01 cs.CV
Instance-Conditioned GAN
Facebook AI Research（Facebook人工智能研究院）；École Polytechnique de Montréal（蒙特利尔理工学院）；Mila, Quebec AI Institute（米拉-魁北克人工智能研究所）；Télécom Paris（巴黎电信学院）；McGill University（麦吉尔大学）
生成对抗网络（GANs）可以在人脸等狭窄的领域中生成近乎照片般逼真的图像。然而，对ImageNet和COCO-Stuff等数据集的复杂分布进行建模在无条件设置中仍然具有挑战性。在本文中，我们从核密度估计技术的启发，并介绍了一种非参数的方法来建模复杂数据集的分布。我们将数据流形划分为由数据点及其最近邻居描述的重叠邻域的混合物，并引入一个称为实例条件GAN（IC-GAN）的模型，该模型学习每个数据点周围的分布。在ImageNet和COCO-Stuff上的实验结果表明，IC-GAN在无条件模型和无监督数据划分基线上有显着改进。此外，我们证明了IC-GAN可以通过简单地改变条件实例毫不费力地转移到训练过程中看不到的数据集，并且仍然生成逼真的图像。最后，我们将IC-GAN扩展到类条件的情况下，并在ImageNet上显示语义可控的生成和有竞争力的定量结果;同时在ImageNet-LT上改进BigGAN。代码和训练模型可以重现报告的结果，请访问https://github.com/facebookresearch/ic_gan。
2021-11-04 cs.CV cs.LG
Revisiting the Evaluation of Image Synthesis with GANs
Shanghai AI Laboratory（上海人工智能实验室）；Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
本研究实证调查了基于GANs的图像合成评估，发现CNN和ViT模型是可靠特征提取器，且CKA在跨提取器比较和样本效率上表现更优，与人类判断一致性更高，从而提出了一种新的可靠测量系统。
2023-10-23 cs.CV
OCT-GAN: Neural ODE-based Conditional Tabular GANs
Yonsei University（延世大学）
综合表格数据是吸引了很多注意力，这些天来为各种目的。例如，利用增强的合成数据，可以增强其训练数据。在过去的几年里，表格数据合成技术有了很大的改进。最近的工作在解决综合表格数据方面的许多问题方面取得了进展，如分布不平衡和多模态问题。然而，国家的最先进的方法的数据效用还不令人满意。在这项工作中，我们显着提高了效用，设计我们的发电机和基于神经常微分方程（NODE）。在表明节点有理论上的首选特性生成表格数据后，我们介绍了我们的设计。基于节点的分类器执行基于隐向量进化的分类，而不是仅在最后一层使用隐向量进行分类。我们的生成器还在其架构的最开始采用ODE层来转换其初始输入向量（即，在我们的情况下是噪声向量和条件向量的连接）到适合于生成过程的另一个潜在向量空间上。我们用13个数据集进行实验，包括但不限于保险欺诈检测，在线新闻文章预测等，我们提出的方法在我们的分类，回归和聚类实验的许多情况下优于其他最先进的表格数据合成方法。
2021-05-31 cs.LG
Conditional Generative Models for Counterfactual Explanations
Seldon Technologies（塞尔登科技）
反事实实例为机器学习模型的本地行为提供了人类可解释的洞察力。我们提出了一个通用的框架来生成稀疏的，分布中的反事实模型解释，该解释将所需的目标预测与条件生成模型相匹配，允许用单个向前传递生成批量反事实实例。该方法相对于所使用的生成模型的类型以及底层预测模型的任务是灵活的。这允许将框架直接应用于不同的模态，如图像，时间序列或表格数据，以及生成模型范例，如GANs或自动编码器和预测任务，如分类或回归。我们说明了我们的方法对图像（CelebA），时间序列（ECG）和混合型表格（成人普查）数据的有效性。
2021-01-25 cs.LG stat.ML
The (de)biasing effect of GAN-based augmentation methods on skin lesion images
Gdańsk University of Technology（格但斯克工业大学）；Sahlgrenska University Hospital（萨尔格伦斯卡大学医院）；AI Sweden（瑞典人工智能研究院）
新的医学数据集现在对公众更加开放，允许更好和更广泛的研究。尽管准备得非常小心，但新的数据集仍然可能是影响学习过程的虚假相关性的来源。此外，收集的数据通常不够大，而且往往不平衡。缓解数据不平衡的一种方法是使用生成对抗网络（GANs）的数据增强来扩展具有高质量图像的数据集。GANs通常在与目标数据相同的偏差数据集上进行训练，从而导致更多的偏差实例。这项工作探索了无条件和有条件的GANs，以比较它们的偏差遗传以及合成数据如何影响模型。我们提供了广泛的手动数据注释的可能偏置伪影的著名的ISIC数据集与皮肤病变。此外，我们还检查了在真实和合成数据上训练的分类模型，以及反事实偏见解释。我们的实验表明，GANs继承了偏见，有时甚至放大了偏见，导致更强的虚假相关性。手动数据注释和合成图像可公开用于可重复的科学研究。
2022-06-30 cs.CV eess.IV
