Physics-guided training of GAN to improve accuracy in airfoil design synthesis
The University of Tokyo（东京大学）
针对GAN生成翼型时易出现物理不合理形状、精度不足且难生成全新形状的问题，提出用外部通用软件计算物理有效性的物理引导训练方法，无需训练数据集，可大幅提升精度并生成满足物理约束的新形状。
2023-08-19 cs.LG
A Correlation- and Mean-Aware Loss Function and Benchmarking Framework to Improve GAN-based Tabular Data Synthesis
Umeå University（于默奥大学）
针对GAN合成表格数据难以捕捉真实分布的问题，提出相关性与均值感知损失函数作为正则化器，并在十个数据集和八个基线上验证，显著提升数据质量及下游ML性能。
2024-05-27 cs.LG
Diverse Image Generation via Self-Conditioned GANs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Research（Adobe研究）
我们介绍了一种简单但有效的无监督方法，用于生成逼真和多样化的图像。我们训练类条件GAN模型，而不使用手动注释的类标签。相反，我们的模型是有条件的标签自动从聚类的特征空间。我们的聚类步骤自动发现不同的模式，并明确要求生成器覆盖它们。标准的模式坍塌基准测试的实验表明，我们的方法优于几个竞争的方法时，解决模式坍塌。与以前的方法相比，我们的方法在ImageNet和Places365等大规模数据集上也表现良好，提高了图像多样性和标准质量指标。
2022-02-10 cs.CV cs.LG
ECG synthesis with Neural ODE and GAN models
Maynooth University（梅努斯大学）；Dublin City University（都柏林城市大学）
连续的医学时间序列数据，如心电图，由于其动态和高维的特性，是最复杂的时间序列之一。此外，由于其敏感性，隐私问题和法律限制，使用实际数据进行不同的医学研究往往甚至很复杂。因此，产生连续的医疗时间序列是一个非常关键的研究领域。一些研究工作已经表明，生成对抗网络（GANs）在连续医疗时间序列生成的情况下的能力是有前途的。大多数医学数据生成工作，如ECG合成，主要由GAN模型及其变体驱动。另一方面，神经元常微分方程（Neural ODE）的一些最新研究表明，它具有很强的抗信息缺失、高维以及连续时间序列动态特性的能力。神经常微分方程不把连续时间序列看作离散时间序列，而是能够连续地、实时地对连续时间序列进行训练。在这项工作中，我们使用基于神经ODE的模型来生成合成正弦波和合成ECG。介绍了一种新的基于神经元常微分方程的生成器和鉴别器的生成对抗网络的设计方法。我们开发了三种新模型来合成连续的医疗数据。然后使用不同的评估度量来定量地评估所生成的合成数据的质量，以用于真实世界的应用和数据分析。这项工作的另一个目标是结合GAN和神经ODE的优势来生成合成的连续医疗时间序列数据，如ECG。我们还评估了GAN模型和神经ODE模型，以了解GAN和神经ODE家族模型在医疗数据合成中的比较效率。
2022-06-06 cs.LG
mmWave Radar Aware Dual-Conditioned GAN for Speech Reconstruction of Signals With Low SNR
BITS Pilani, India（印度比特学院）
本文提出了一种雷达感知的双条件GAN，用于在低信噪比条件下实现毫米波信号的语音重建，通过多梅尔判别器和残差融合门提升生成器性能。
2026-08-18 cs.LG cs.SD
FCT-GAN: Enhancing Table Synthesis via Fourier Transform
TU Delft（代尔夫特理工大学）；ABB Research（ABB研究院）
合成表格数据作为共享知识的替代方案出现，同时遵守限制性数据访问法规，例如，欧洲通用数据保护条例（GDPR）。主流最先进的表格数据合成器从生成对抗网络（GANs）中汲取方法，生成对抗网络由生成器和生成器组成。虽然卷积神经网络被证明是一个更好的架构比全连接网络的表格数据合成，表格数据的两个关键属性被忽视：（i）跨列的全局相关性，和（ii）不变的合成列排列的输入数据。为了解决上述问题，我们提出了一个傅立叶条件表格生成对抗网络（FCT-GAN）。我们引入特征标记化和傅立叶网络来构建一个transformer风格的生成器和递归，并捕获跨列的局部和全局依赖关系。标记器捕获本地空间特征并将原始数据转换为标记。傅立叶网络将令牌转换到频域，并按元素乘以可学习的滤波器。对基准测试和真实数据的广泛评估表明，FCT-GAN可以合成具有高机器学习实用性（比最先进的基线高27.8%）和与原始数据高统计相似性（高26.5%）的表格数据，同时保持跨列的全局相关性，特别是在高维数据集上。
2022-10-12 cs.LG
LIC-GAN: Language Information Conditioned Graph Generative GAN Model
Carnegie Mellon University（卡内基梅隆大学）
本研究提出语言信息条件化的图生成GAN模型LIC-GAN，以自然语言查询为输入生成匹配图，结合奖励网络优化属性，性能与ChatGPT相当且具备一定鲁棒性。
2023-06-02 cs.AI cs.CL cs.LG
DSS-GAN: Directional State Space GAN with Mamba backbone for Class-Conditional Image Synthesis
Warsaw University of Technology（华沙技术大学）；National Centre for Nuclear Research（国家核物理研究所）
DSS-GAN引入了定向潜在路由机制，通过分解潜在向量并结合类别嵌入，提升图像合成的FID、KID和精度召回率。
2026-03-18 cs.CV cs.LG
GAN You Do the GAN GAN?
生成对抗网络（GANs）已经成为生成模型的主要类别。近年来，GAN变体在合成各种形式的数据方面取得了特别令人印象深刻的结果。例子包括引人注目的自然和艺术图像，纹理，音乐序列和3D对象文件。然而，缺少一个明显的合成候选者。在这项工作中，我们回答了深度学习最紧迫的问题之一：GAN你做GAN GAN吗？也就是说，是否有可能训练一个GAN来模拟GANs的分布？我们在MIT许可证下发布此项目的完整源代码。
2019-04-01 cs.CV cs.LG
StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；NVIDIA（英伟达）
文本到图像合成最近取得了重大进展，这要归功于大型预训练语言模型、大规模训练数据以及可扩展模型家族（如扩散和自回归模型）的引入。然而，性能最好的模型需要迭代评估来生成单个样本。相比之下，生成对抗网络（GANs）只需要一次前向传递。因此，它们的速度要快得多，但目前在大规模文本到图像合成方面仍远远落后于最先进的技术水平。本文旨在确定恢复竞争力的必要步骤。我们提出的模型StyleGAN-T解决了大规模文本到图像合成的特定要求，例如大容量，在不同数据集上的稳定训练，强文本对齐以及可控变化与文本对齐的权衡。StyleGAN-T比以前的GANs有了显著的改进，并且在样本质量和速度方面优于蒸馏扩散模型-快速文本到图像合成的最新技术。
2023-01-23 cs.CV cs.LG
GeMM-GAN: A Multimodal Generative Model Conditioned on Histopathology Images and Clinical Descriptions for Gene Expression Profile Generation
GeMM-GAN通过结合图像和文本信息生成逼真的基因表达谱，提升疾病预测准确性。
2026-01-21 cs.AI cs.CV cs.LG
Fre-GAN: Adversarial Frequency-consistent Audio Synthesis
Korea University（高丽大学）；Netmarble Corporation（网石公司）
虽然最近的神经声码器的工作已经提高了合成音频的质量，但在频率空间中生成的音频和地面真实音频之间仍然存在差距。这种差异会导致频谱伪像，如嘶嘶声噪声或混响，从而降低样本质量。在本文中，我们提出了Fre-GAN，它实现了频率一致的音频合成，并大大提高了生成质量。具体来说，我们首先提出了分辨率连接的生成器和分辨率鉴别器，这有助于学习多个频段上的各种尺度的频谱分布。此外，为了准确地再现高频分量，我们在鉴别器中利用离散小波变换。从我们的实验中，Fre-GAN实现了高保真波形生成，与地面实况音频相比，差距仅为0.03 MOS，同时在质量上优于标准模型。
2021-06-14 cs.LG eess.AS
Evolving GAN Formulations for Higher Quality Image Synthesis
Apple Inc.（苹果公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant AI Labs（高知特人工智能实验室）
生成对抗网络（GANs）已经将深度学习扩展到跨不同数据模式的复杂生成和转换任务。然而，众所周知，GANs很难训练：训练过程中的模式坍塌和其他不稳定性通常会降低生成结果（如图像）的质量。本文提出了一种名为TaylorGAN的新技术，通过为两个网络中的每个网络发现定制的损失函数来改进GANs。将损失函数参数化为泰勒展开式，并通过多目标进化进行优化。在一个图像到图像的翻译基准任务，这种方法定性地提高了生成的图像质量和定量地提高了两个独立的GAN性能指标。因此，它为将来将GANs应用于更具挑战性的任务提供了一种有前途的方法。
2021-10-28 cs.CV cs.LG cs.NE
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Collaging Class-specific GANs for Semantic Image Synthesis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Adobe Research（奥多比研究院）
提出了一种新的高分辨率语义图像合成方法。它由一个基本图像生成器和多个类特定的生成器组成。基础生成器基于分割图生成高质量图像。为了进一步提高不同对象的质量，我们通过单独训练特定于类的模型来创建一组生成对抗网络（GANs）。这有几个好处，包括--每个类的专用权重;每个模型的中心对齐数据;来自其他来源的额外训练数据，更高分辨率和质量的潜力;以及场景中特定对象的简单操作。实验表明，我们的方法可以生成高质量的图像，在高分辨率，同时具有灵活的对象级控制，通过使用类特定的生成器。
2021-10-08 cs.CV cs.LG
Generative Adversarial Forests for Better Conditioned Adversarial Learning
Monash University（莫纳什大学）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）
近年来，各种视觉相关任务的许多突破都围绕着改进深度模型的学习;这些方法从网络架构改进（如残差网络）到各种形式的正则化（如批量归一化）。从本质上讲，这些技术中的许多都围绕着更好的条件反射，允许成功地学习越来越深的模型。在本文中，我们期待在无监督学习环境中更好地调节生成对抗网络（GANs）。我们的方法嵌入到GAN的神经网络的决策森林的强大的鉴别能力。这导致了一个更好的条件模型，它以非常稳定的方式学习。我们展示了实证结果，这些结果显示了我们方法有效性的明确定性和定量证据，在Oxford Flowers和Aligned Celebrity Faces数据集上，与几种流行的基于GAN的方法相比，获得了显着的性能改进。
2018-05-14 cs.LG stat.ML
Invertible Tabular GANs: Killing Two Birds with OneStone for Tabular Data Synthesis
Yonsei University（延世大学）；Samsung SDS（三星数据系统公司(Samsung SDS)）
表格数据综合在文献中得到了广泛的关注。这是因为可用的数据通常是有限的，不完整的，或者不能轻易获得，数据隐私变得越来越重要。在这项工作中，我们提出了一个广义的GAN框架，用于表格合成，它结合了GANs的对抗训练和可逆神经网络的负对数密度正则化。拟议的框架可用于两个不同的目标。首先，我们可以进一步提高合成质量，通过降低对抗训练过程中真实记录的负对数密度。另一方面，通过增加真实记录的负对数密度，可以合成真实的假记录，使它们不太接近真实记录，并减少潜在的信息泄漏的机会。我们使用真实世界的数据集进行分类，回归和隐私攻击的实验。一般来说，所提出的方法展示了最佳的合成质量（就面向任务的评估指标而言，例如，F1）在对抗训练期间降低负对数密度时。实验结果表明，如果增加负对数密度，真实记录和虚假记录之间的距离增加，增强了对隐私攻击的鲁棒性。
2022-02-08 cs.AI cs.LG
GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis
Ritchie School of Engineering and Computer Science, University of Denver（丹佛大学里奇工程与计算机科学学院）；Department of Psychology, University of Tennessee（田纳西大学心理学系）；College of Arts, Humanities and Social Sciences, University of Denver（丹佛大学艺术、人文与社会科学学院）
生成对抗网络（GANs）能够合成高质量的面部图像。尽管取得了成功，但GANs并没有提供任何关于输入向量和生成图像之间关系的信息。目前，面部GANs是在不平衡的数据集上训练的，这会产生不太多样化的图像。例如，我们使用StyleGAN 3随机合成的10万张图像中，超过77%被归类为快乐，只有大约3%被归类为愤怒。当需要混合面部属性时，问题甚至变得更糟：生成的样本中只有不到1%是愤怒的女人，只有大约2%是快乐的黑人。为了解决这些问题，本文提出了一个名为GANalyzer的框架，用于分析和操纵训练有素的GANs的潜在空间。GANalyzer由一组转换函数组成，旨在操作特定面部属性（如面部表情，年龄，性别和种族）的潜在向量。我们分析了GANs的潜在空间中的面部属性纠缠，并应用所提出的变换来编辑解纠缠的面部属性。我们的实验结果证明了GANalyzer在编辑面部属性和生成任何所需面部方面的优势。我们还创建并发布了一个平衡的照片逼真的人脸数据集。我们的代码在GitHub上公开。
2023-02-02 cs.CV cs.LG
Partially Conditioned Generative Adversarial Networks
University of Leeds（利兹大学）；KU Leuven（鲁汶大学）；UZ Leuven（鲁汶大学医院）
生成模型无疑是人工智能领域的一个热门话题，其中最常见的类型是生成对抗网络（GANs）。这些架构通过隐式地对真实世界训练数据集的潜在概率分布进行建模来合成人工数据集。随着条件GANs及其变体的引入，这些方法被扩展到生成以数据集中每个样本可用的辅助信息为条件的样本。然而，从实际的角度来看，人们可能希望生成以部分信息为条件的数据。也就是说，在合成数据时，可能只对辅助条件变量的子集感兴趣。在这项工作中，我们认为标准的条件GANs不适合这样的任务，并提出了一种新的对抗网络架构和训练策略来处理随之而来的问题。实验表明，该方法的价值在数字和人脸图像合成部分条件下的信息，所提出的方法可以有效地优于标准的方法在这些情况下。
2020-07-06 cs.LG stat.ML
Label-Conditioned Next-Frame Video Generation with Neural Flows
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
最近的最先进的视频生成系统采用生成对抗网络（GANs）或变分自编码器（VAE）来产生新颖的视频。然而，VAE模型在面对输入的次优条件时通常会产生模糊的输出，并且已知GANs对于大的输出大小是不稳定的。此外，这些模型的输出视频难以评估，部分原因是GAN损失函数不是收敛的准确度量。在这项工作中，我们建议使用一种名为Glow的最先进的神经流生成器来生成基于文本标签的视频，一次一帧。神经流模型比标准GANs更稳定，因为它们只优化单个交叉熵损失函数，这是单调的，避免了GAN极大极小目标的循环收敛问题。此外，我们还展示了如何在外部环境中调节Glow，同时仍然保留每个“流”层的可逆性质。最后，我们通过计算交叉熵来评估所提出的Glow模型，以通过消融研究比较所提出的模型的多个版本。我们展示生成的视频并讨论未来的改进。
2019-10-16 cs.CV cs.LG stat.ML
GT-GAN: General Purpose Time Series Synthesis with Generative Adversarial Networks
Yonsei University（延世大学）；Kakao Corp.（Kakao公司）；Linger Studio Corp.（Linger工作室公司）
时间序列合成是深度学习领域的一个重要研究课题，可用于数据增强。时间序列数据类型可以大致分为规则或不规则。然而，没有现有的生成模型在没有任何模型变化的情况下对这两种类型都表现出良好的性能。因此，我们提出了一个通用的模型，能够合成规则和不规则的时间序列数据。据我们所知，我们是第一个设计一个通用的时间序列合成模型，这是时间序列合成最具挑战性的设置之一。为此，我们设计了一种基于生成对抗网络的方法，其中许多相关技术被精心集成到一个单一的框架中，从神经常/控制微分方程到连续时间流过程。我们的方法优于所有现有的方法。
2022-10-11 cs.AI cs.LG
SpecDiff-GAN: A Spectrally-Shaped Noise Diffusion GAN for Speech and Music Synthesis
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
本文提出SpecDiff-GAN，一种基于HiFi-GAN的神经声码器，通过向判别器输入前添加高斯噪声及频谱成形噪声的扩散过程增强训练稳定性，在语音和音乐合成上实现更优的音频质量与效率。
2024-01-30 cs.LG cs.SD eess.AS
Dr.3D: Adapting 3D GANs to Artistic Drawings
POSTECH（浦项科技大学）；Pebblous
虽然3D GANs最近已经展示了多视图一致图像和3D形状的高质量合成，但它们主要限于照片般逼真的人体肖像。本文旨在将3D GANs扩展到一种不同但有意义的视觉形式：艺术肖像画。然而，将现有的3D GANs扩展到绘图是具有挑战性的，因为绘图中存在不可避免的几何模糊性。为了解决这个问题，我们提出了Dr.3D，一种新的适应方法，使现有的3D GAN适应艺术绘画。Dr.3D配备了三个新组件来处理几何模糊性：变形感知3D合成网络，姿势估计和图像合成的交替适应，以及几何先验。实验表明，我们的方法可以成功地适应三维GANs的图纸，并实现多视图一致的语义编辑的图纸。
2022-11-30 cs.CV cs.LG
GANSynth: Adversarial Neural Audio Synthesis
Google AI（谷歌AI）
高效的音频合成是一项固有的困难的机器学习任务，因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型，如WaveNet，以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模，而生成对抗网络（GANs）具有全局潜在条件和高效的并行采样，但难以生成局部相干的音频波形。在本文中，我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究，我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线，并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Relational Data Synthesis using Generative Adversarial Networks: A Design Space Exploration
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
大数据的激增带来了对隐私保护数据发布的迫切需求。针对这一需求的传统解决方案在有效平衡所发布数据的隐私性和实用性之间的权衡方面存在局限性。因此，数据库社区和机器学习社区最近研究了使用生成对抗网络（GAN）的关系数据合成的新问题，并提出了各种算法。然而，这些算法没有在同一框架下进行比较，因此从业者很难理解GAN的优点和局限性。为了弥补这一差距，我们进行了迄今为止最全面的实验研究，研究将GAN应用于关系数据合成。我们引入了一个统一的基于GAN的框架，并为框架中的每个组件定义了一个设计解决方案空间，包括神经网络架构和训练策略。我们进行了广泛的实验，探索设计空间，并与传统的数据合成方法进行比较。通过大量的实验，我们发现GAN是非常有前途的关系数据综合，并提供指导，选择合适的设计方案。我们还指出了GAN的局限性，并确定未来的研究方向。
2020-08-28 cs.AI cs.DB cs.LG
Using GANs to Synthesise Minimum Training Data for Deepfake Generation
Dublin City University（都柏林城市大学）
生成对抗网络（GANs）在计算机视觉、自然语言处理、语音合成等领域有许多应用。毫无疑问，最显著的成果是在图像合成领域，特别是在生成deepfake视频方面。虽然deepfakes已经收到了很多负面的媒体报道，但它们可以在娱乐，客户关系甚至辅助护理等应用中成为一种有用的技术。生成深度伪造的一个问题是需要主体的大量图像训练数据，如果主体是已经存在许多图像的名人，则这不是问题。如果只有少量的训练图像，那么deepfake的质量就会很差。一些媒体报道指出，一个好的deepfake可以用500张图片制作，但实际上，高质量的deepfake需要数千张图片，这也是名人和政客的deepfake如此受欢迎的原因之一。在这项研究中，我们利用GAN的特性来生成具有可变面部表情的个人图像，然后我们使用这些图像来生成深度伪造。我们观察到，由于合成GAN生成的训练图像的面部表情存在这种变化，并且数量减少，我们可以制作出近乎真实的deepfake视频。
2020-11-10 cs.CV cs.LG
Multi-objective evolutionary GAN for tabular data synthesis
The University of Manchester（曼彻斯特大学）；Alliance Manchester Business School（曼彻斯特联盟商学院）
本文提出SMOE-CTGAN，利用条件向量和多目标进化优化平衡表格合成数据的实用性与披露风险，并在多个人口普查数据集上获得不同风险—效用权衡及早期低风险最佳点。
2024-04-15 cs.LG cs.NE
Large Scale GAN Training for High Fidelity Natural Image Synthesis
Heriot-Watt University（赫瑞瓦特大学）；DeepMind（深度思维）
尽管最近在生成图像建模方面取得了进展，但从ImageNet等复杂数据集中成功生成高分辨率，多样化的样本仍然是一个难以捉摸的目标。为此，我们训练生成对抗网络在最大规模的尝试，并研究特定于这种规模的不稳定性。我们发现，应用正交正则化的发电机，使它服从一个简单的“截断技巧”，允许精细控制样本保真度和品种之间的权衡，通过减少发电机的输入方差。我们的修改导致的模型，设置新的国家的艺术类条件的图像合成。当在ImageNet上以128x128分辨率进行训练时，我们的模型（BigGAN）实现了166.5的初始得分（IS）和7.4的Frechet初始距离（FID），比之前的最佳IS 52.52和FID 18.6有所改善。
2019-02-25 cs.LG stat.ML
NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions
ETH Zürich（苏黎世联邦理工学院）；CSEM（瑞士电子与微技术中心）；Google Zürich（谷歌苏黎世）
针对姿态条件卷积生成模型3D先验不足的问题，提出从预训练NeRF-GAN蒸馏3D知识的方法，复用其解耦潜空间实现高效3D一致图像生成，效果与体渲染相当且计算更优。
2023-07-24 cs.CV cs.GR cs.LG
GANs for Medical Image Synthesis: An Empirical Study
University of Bourgogne Franche-Comte（勃艮第-弗朗什孔泰大学）；CASIS inc.（CASIS公司）；University of Sherbrooke（舍布鲁克大学）；University Hospital of Dijon（第戎大学医院）
生成对抗网络（GANs）变得越来越强大，生成令人兴奋的逼真图像，模仿它们训练复制的数据集的内容。医学成像中的一个反复出现的主题是，GANs是否也可以像生成逼真的RGB图像那样有效地生成可用的医学数据。在本文中，我们进行了多GAN和多应用研究，以衡量GANs在医学成像中的优势。我们在三种医学成像模式和器官上测试了各种GAN架构，从基本的DCGAN到更复杂的基于样式的GANs，即：心脏电影MRI，肝脏CT和RGB视网膜图像。GANs在众所周知且广泛使用的数据集上进行训练，从这些数据集计算它们的FID分数以测量它们生成的图像的视觉敏锐度。我们通过测量在这些生成的图像上训练的U-Net的分割准确度来进一步测试它们的有用性。结果表明，GANs远不平等，因为有些不适合医学成像应用，而另一些则更好。性能最好的GANs能够通过FID标准生成逼真的医学图像，这些图像可以在视觉图灵测试中欺骗训练有素的专家，并符合某些指标。然而，分割结果表明，没有GAN能够再现医学数据集的全部丰富性。
2021-07-19 cs.CV cs.LG eess.IV
GANFusion: Feed-Forward Text-to-3D with Diffusion in GAN Space
LIX, École Polytechnique, IPP Paris（巴黎综合理工学院LIX实验室、巴黎政治学院（IPP））；Adobe Research（奥多比研究院）；University College London (UCL)（伦敦大学学院）
GANFusion 结合 GAN 和扩散模型的优势，仅用单视图 2D 数据监督，先训练 GAN 生成 3D triplane 特征，再训练文本条件扩散模型从该特征空间采样，实现高保真的前馈文本到 3D 生成。
2024-12-21 cs.CV cs.LG
GANCoder: An Automatic Natural Language-to-Programming Language Translation Approach based on GAN
Northeastern University（东北大学）
我们提出了GANCoder，一种基于生成对抗网络（GAN）的自动编程方法，它可以根据给定的自然语言语句生成相同的功能和逻辑程序设计语言代码。生成器和编译器之间的对抗训练有助于生成器学习数据集的分布，提高代码生成质量。我们的实验结果表明，GANCoder可以达到与最先进的方法相当的准确性，并且在使用程序设计语言时更稳定。
2019-12-02 cs.CL cs.LG
ME-GAN: Learning Panoptic Electrocardio Representations for Multi-view ECG Synthesis Conditioned on Heart Diseases
Zhejiang University（浙江大学）；Xidian University（西安电子科技大学）；University of Notre Dame（圣母大学）
本文提出疾病感知生成对抗网络ME-GAN，通过全景心电表征、mixup normalization和视图判别器实现以心脏病为条件的多视图心电图合成，并引入rFID指标评估合成质量。
2023-05-29 cs.AI cs.LG eess.SP
StudioGAN: A Taxonomy and Benchmark of GANs for Image Synthesis
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
针对GAN研究缺乏可靠统一基准、复现基线耗时的问题，提出开源库StudioGAN，构建多架构多方法支持的大规模统一基准，公平评估各类生成模型性能并提供实现与预训练权重。
2023-08-18 cs.CV cs.LG eess.IV
A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis
Florida Atlantic University（佛罗里达大西洋大学）；Nanjing University of Finance and Economics（南京财经大学）
文本到图像合成是指将人类书面文本描述（以关键字或句子的形式）翻译成与文本语义相似的图像的计算方法。在早期的研究中，图像合成主要依赖于文字到图像的相关性分析，并结合监督方法来找到与文本匹配的视觉内容的最佳对齐。深度学习（DL）的最新进展带来了一组新的无监督深度学习方法，特别是深度生成模型，其能够使用适当训练的神经网络模型生成逼真的视觉图像。在本文中，我们回顾了文本到图像合成研究领域的最新进展。我们的调查首先介绍了图像合成及其挑战，然后回顾了生成对抗网络（GANs）和深度卷积编码器-解码器神经网络（DCNN）等关键概念。在此之后，我们提出了一个分类法，总结GAN为基础的文本到图像合成分为四个主要类别：语义增强GANs，分辨率增强GANs，多样性增强GANs，和运动增强GANs。我们详细阐述了每个组的主要目标，并进一步回顾了每个组中的典型GAN架构。分类和审查概述了技术和不同方法的演变，并最终提供了一个明确的路线图，以总结利用GANs和DCNN生成人脸，鸟类，花卉，室内装饰，边缘图（游戏）对象重建等类别的迷人结果的同期解决方案列表。尚未解决的挑战，以及文本到图像合成领域的未来发展。
2019-10-21 cs.CL cs.CV cs.GR
Mask Embedding in conditional GAN for Guided Synthesis of High Resolution Images
Duke University（杜克大学）；Duke University School of Medicine（杜克大学医学院）
条件生成对抗网络（cGAN）的最新进展在标签引导图像合成中显示出了希望。语义遮罩（如草图和标签图）是图像合成中另一种直观有效的指导形式。直接将语义掩码作为约束条件，大大降低了合成结果的可变性和质量。我们观察到这是由来自生成器的不同输入（例如掩码图像和潜在向量）的特征的不兼容性引起的。为了使用语义掩码作为指导，同时提供逼真的合成结果与细节，我们建议使用掩码嵌入机制，以允许在生成器中更有效的初始特征投影。我们通过使用CELEBA-HQ数据集训练掩模引导的人脸生成器来验证我们的方法的有效性。我们可以生成逼真的高分辨率面部图像，分辨率高达512*512，并带有遮罩引导。我们的代码是公开的。
2019-07-03 cs.CV cs.LG
A Self-attention Guided Multi-scale Gradient GAN for Diversified X-ray Image Synthesis
Munster Technological University（芒斯特理工大学）
不平衡图像数据集通常在生物医学图像分析领域中可用。生物医学图像包含多种特征，这些特征在预测目标疾病方面具有重要意义。生成对抗网络（GANs）通过生成合成图像来解决数据限制问题。模式崩溃、不收敛和不稳定等训练挑战降低了GAN在合成多样化和高质量图像方面的性能。在这项工作中，MSG-SA GAN，一个注意力引导的多尺度梯度GAN架构，提出了生物医学图像特征的长程依赖关系建模，并提高了训练性能，使用在多个分辨率的生成器和SVM模型层的多尺度梯度流。其目的是减少模式崩溃的影响，并使用具有多尺度梯度学习的注意力机制来稳定GAN的训练，以进行多样化的X射线图像合成。采用多尺度结构相似性指数测度（MS-SSIM）和Frechet起始距离（FID）来识别模式崩溃的发生，并评估合成图像的多样性。所提出的架构相比，多尺度梯度GAN（MSG-GAN），以评估所产生的合成图像的多样性。结果表明，MSG-SAGAN优于MSG-GAN在合成多样化的图像证明了MS-SSIM和FID分数。
2022-11-12 cs.AI cs.CV cs.LG
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
NVIDIA Corporation（英伟达公司）；UC Berkeley（加州大学伯克利分校）
我们提出了一种使用条件生成对抗网络（条件GANs）从语义标签映射合成高分辨率照片级真实感图像的新方法。条件GANs已经实现了各种应用，但结果往往局限于低分辨率，而且还远远不现实。在这项工作中，我们生成了2048 x1024视觉上吸引人的结果，具有新颖的对抗性损失，以及新的多尺度生成器和多尺度架构。此外，我们扩展了我们的框架，交互式视觉操纵两个额外的功能。首先，我们将对象实例分割信息，这使得对象操作，如删除/添加对象和改变对象类别。第二，我们提出了一种方法，以产生不同的结果给出相同的输入，允许用户交互式地编辑对象的外观。人类意见研究表明，我们的方法显著优于现有方法，提高了深度图像合成和编辑的质量和分辨率。
2018-08-20 cs.CV cs.GR cs.LG
CA-GAN: Weakly Supervised Color Aware GAN for Controllable Makeup Transfer
L’Oréal Research and Innovation（欧莱雅研发与创新中心）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信巴黎理工高等通信学院LTCI实验室）
虽然现有的化妆风格转移模型执行图像合成，其结果不能被显式地控制，但是连续修改化妆颜色的能力是虚拟试穿应用的期望属性。我们提出了一个新的配方的化妆风格转移的任务，目的是学习一个颜色可控的化妆风格合成。我们引入了CA-GAN，这是一种生成模型，可以学习将图像中特定对象（例如嘴唇或眼睛）的颜色修改为任意目标颜色，同时保留背景。由于颜色标签很少见，而且获取成本很高，因此我们的方法利用了条件GANs的弱监督学习。这使得能够学习复杂对象的可控合成，并且只需要我们想要修改的图像属性的弱代理。最后，我们首次提出了定量分析的化妆风格转移和色彩控制性能。
2020-08-24 cs.AI cs.CV cs.LG
Scaling up GANs for Text-to-Image Synthesis
POSTECH（浦项科技大学）；Adobe Research（奥多比研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出GigaGAN架构，证明GAN可扩展用于文本到图像合成，推理速度快（0.13秒生成512px图像），支持高分辨率生成和潜在空间编辑。
2023-06-19 cs.CV cs.GR cs.LG
GELP: GAN-Excited Linear Prediction for Speech Synthesis from Mel-spectrogram
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
基于神经网络的文本到语音的最新进展已经在合成语音中达到人类水平的自然度。本序列到序列模型可以直接将文本映射到梅尔频谱图声学特征，这便于建模，但对声码化提出了额外的挑战（即，从声学特征产生波形）。高质量的合成可以通过神经声码器实现，例如WaveNet，但是这种自回归模型会受到缓慢的顺序推理的影响。同时，它们现有的并行推理对应物难以训练，并且需要越来越大的模型尺寸。在本文中，我们提出了一种替代的训练策略的并行神经声码器利用生成对抗网络，并集成了线性预测合成滤波器的模型。实验结果表明，该模型在推理速度上有显著提高，同时在复制合成质量上优于WaveNet。
2019-06-26 cs.LG cs.SD eess.AS
Red-GAN: Attacking class imbalance via conditioned generation. Yet another perspective on medical image synthesis for skin lesion dermoscopy and brain tumor MRI
Technical University of Munich（慕尼黑工业大学）
在稀缺数据制度下利用学习算法是医学成像领域的限制和现实。为了缓解这个问题，我们提出了一个基于生成对抗网络的数据增强协议。我们在像素级（分割掩模）和全局级信息（采集环境或病变类型）上调节网络。这种调节提供了对图像标签对的即时访问，同时控制合成图像的全局类特定外观。为了刺激与分割任务相关的特征的合成，在对抗游戏中引入了一个以分割器形式存在的附加被动玩家。我们在两个医学数据集上验证了该方法：BraTS，ISIC。通过将合成图像注入到训练集中来控制类分布，我们实现了对数据集类的准确性水平的控制。
2021-03-28 cs.CV cs.LG eess.IV
Synthesis of pulses from particle detectors with a Generative Adversarial Network (GAN)
Instituto Nacional de Técnica Aeroespacial（国家航空航天技术研究所）；WiYo Technologies（WiYo科技公司）；Universidad de Alcalá（阿尔卡拉大学）
针对粒子探测器关联电子学开发期间脉冲缺失的问题，提出基于GAN的脉冲生成模型，该模型部署于Xilinx SoC上，能生成与真实脉冲形状及幅度分布相匹配的脉冲。
2024-01-10 cs.LG physics.ins-det
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
QTabGAN: A Hybrid Quantum-Classical GAN for Tabular Data Synthesis
Department of Computer Science and Engineering, Indian Institute of Technology (BHU), Varanasi, India（计算机科学与工程系，印度理工学院（BHU），瓦拉纳西，印度）；Department of Applied Mathematics and Theoretical Physics, University of Cambridge, Cambridge, United Kingdom（应用数学与理论物理系，剑桥大学，剑桥，英国）
QTabGAN通过结合量子电路和经典神经网络，提升表格数据合成的效率与准确性，实现高达54.07%的性能提升。
2026-03-05 cs.LG quant-ph
RCC-GAN: Regularized Compound Conditional GAN for Large-Scale Tabular Data Synthesis
École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）；Fédération des Caisses Desjardins du Québec（魁北克德信联合会）；University of Windsor（温莎大学）
本文介绍了一种新的生成式对抗网络（GAN），用于合成包含连续、离散和二进制等各种特征的大规模表格数据库。从技术上讲，我们的GAN属于具有预定义条件向量的类条件生成模型的类别。然而，我们提出了一个新的配方，用于推导这样一个向量，同时将二进制和离散功能。我们将这个崇高的定义称为复合条件向量，并将其用于训练生成器网络。该网络的核心架构是一个三层的深度残差神经网络与跳跃连接。为了提高这种复杂体系结构的稳定性，我们提出了一种正则化方案，以限制训练过程中权重向量的前所未有的变化。这种正则化方法与对抗训练的性质非常兼容，并且在运行时不会在计算上受到限制。此外，我们不断监测权重向量的变化，以识别任何潜在的不稳定性或不规则性，以衡量我们提出的正则化器的强度。为此，我们还开发了一个新的度量跟踪突然扰动的权重向量使用奇异值分解理论。最后，我们评估了我们提出的综合方法的性能六个基准表数据库，即成人，人口普查，HCDR，出租车，新闻，国王。所取得的结果证实，对于大多数情况下，我们提出的RccGAN在准确性，稳定性和可靠性方面优于其他传统和现代生成模型。
2022-05-24 cs.AI cs.DB cs.LG
FICE: Text-Conditioned Fashion Image Editing With Guided GAN Inversion
University of Ljubljana（卢布尔雅那大学）；Queensland University of Technology（昆士兰科技大学）
时尚图像编辑是一项具有挑战性的计算机视觉任务，其目标是将选定的服装合并到给定的输入图像中。大多数现有的技术，称为虚拟试穿方法，通过首先选择所需服装的示例图像，然后将服装转移到目标人身上来处理该任务。相反，在本文中，我们考虑用文本描述编辑时尚图像。这种方法相对于基于实例的虚拟试穿技术具有若干优点，例如：(i)它不需要目标时尚物品的图像，并且（ii）它允许通过使用自然语言来表达各种各样的视觉概念。现有的使用语言输入的图像编辑方法受到其对具有丰富属性注释的训练集的要求的严重限制，或者它们只能处理简单的文本描述。我们解决这些限制，提出了一种新的文本条件编辑模型，称为FICE（时尚图像剪辑编辑），能够处理各种各样的不同的文本描述，以指导编辑过程。特别是FICE，我们增加了常见的GAN反演过程中，包括语义，姿势相关的，和图像级的约束时，生成图像。我们利用CLIP模型的能力来执行语义，由于其令人印象深刻的图像-文本关联功能。此外，我们提出了一个潜在的代码正则化技术，提供了更好地控制合成图像的保真度的手段。我们通过严格的实验验证FICE的VITON图像和时尚代文字描述的组合，并与几个国家的最先进的文字条件的图像编辑方法进行比较。实验结果表明，FICE生成高度逼真的时尚图像，并导致更强的编辑性能比现有的竞争方法。
2023-01-05 cs.AI cs.CV cs.LG
Freehand Ultrasound Image Simulation with Spatially-Conditioned Generative Adversarial Networks
Centre for Medical Image Computing, University College London（伦敦大学学院医学图像计算中心）；Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所）；Department of Diagnostic Imaging, Royal Free London NHS Foundation Trust（伦敦皇家自由NHS基金会信托诊断影像科）
超声图像合成有着广泛的应用，包括医疗过程模拟、临床训练和多模态图像配准。在本文中，我们提出了一种基于条件生成对抗网络（GANs）的机器学习方法来模拟给定3D空间位置（相对于患者解剖结构）的超声图像。特别是，我们介绍了一种新的神经网络架构，可以采样解剖学上的准确图像有条件的（真实或模拟）徒手超声探头的空间位置。为了确保有效和高效的空间信息同化，所提出的空间调节GANs将全局物理空间中校准的像素坐标作为调节输入，并分别在GANs的搜索器和生成器中利用调节数据的残差网络单元和快捷方式。使用光学跟踪的B型超声图像，由经验丰富的超声医师在胎儿体模上采集，我们通过两组定量结果证明了所提出的方法的可行性：计算在保持出的超声图像中识别的相应解剖标志与网络看不到的相同位置处的模拟数据之间的距离;进行可用性研究以区分模拟数据和真实图像。总之，我们提出了我们认为是最先进的视觉逼真的超声图像，模拟所提出的GAN架构，是稳定的训练，并能够产生可接受的不同的图像样本。
2017-07-17 cs.CV cs.LG
One-Shot Synthesis of Images and Segmentation Masks
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）；University of Bonn（波恩大学）
图像和分割掩模与生成对抗网络（GANs）的联合合成有望减少收集具有像素注释的图像数据所需的工作量。然而，为了学习高保真图像掩模合成，现有的GAN方法首先需要大量图像数据的预训练阶段，这限制了它们在受限图像域中的利用。在这项工作中，我们采取了一个步骤，以减少这种限制，介绍了单次图像掩模合成的任务。我们的目标是生成不同的图像和它们的分割掩模，只给出一个标记的例子，并假设，与以前的模型相反，没有访问任何预训练数据。为此，受单图像GANs的最新架构发展的启发，我们引入了我们的OSMIS模型，该模型能够合成与单次生成的图像精确对齐的分割掩模。除了实现所生成掩模的高保真度外，OSMIS在图像合成质量和多样性方面优于最先进的单图像GAN模型。此外，尽管没有使用任何额外的数据，OSMIS展示了一个令人印象深刻的能力，作为一个有用的数据增强的来源，为一次性分割应用程序，提供性能增益是补充标准的数据增强技术。代码可在https://github.com/ boschresearch/one-shot-synthesis获得
2022-09-15 cs.CV cs.LG
Systematic Analysis of Image Generation using GANs
MIT College of Engineering（MIT工程学院）；MIT-WPU（马哈拉施特拉邦理工大学世界和平大学）
生成对抗网络在最近无监督学习的发展中至关重要。作为从文本或其他图像合成图像的示例，这些网络在性能方面比传统方法有了显着的改进。在对抗训练理念的基础上，这些网络的目标是从真实数据中估计潜在分布，然后将其作为输入来生成合成数据。基于这个基本原理，可以生成几个框架，这些框架是几个现实应用中的典范实现，例如艺术合成，高分辨率输出的生成和从人类绘制的草图合成图像，仅举几例。虽然理论上GANs提供了更好的结果，并证明在许多因素上优于传统方法，但为专用应用程序实现这些框架仍然是一个挑战。本研究探讨并提出了这些框架的分类，以及它们在各种图像到图像合成和文本到图像合成应用程序中的使用。批判性地分析了基本的GANs以及各种不同的利基框架。介绍了GANs用于图像生成的优点以及它们在其他框架中的缺点。还讨论了GANs在医疗保健、艺术和娱乐等行业的未来应用。
2019-08-30 cs.CV cs.LG eess.IV
GANs for Biological Image Synthesis
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；National Research University Higher School of Economics（俄罗斯国立高等经济学院）；LOB, École Polytechnique（光学与生物科学实验室，巴黎综合理工学院）；INSERM（法国国家健康与医学研究院）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；HSE（俄罗斯国立高等经济学院）；University of Bristol（布里斯托大学）；Amazon（亚马逊）
在本文中，我们提出了一种新的应用生成对抗网络（GAN）的合成细胞成像的荧光显微镜。与自然图像相比，细胞倾向于具有更简单和更几何的全局结构，这有助于图像生成。然而，不同荧光蛋白的空间模式之间的相关性反映了重要的生物学功能，合成图像必须捕获这些关系才能与生物学应用相关。我们使GANs适应手头的任务，并提出了图像通道之间具有因果依赖关系的新模型，这些模型可以生成多通道图像，这在实验上是不可能获得的。我们使用两种独立的技术来评估我们的方法，并将其与合理的基线进行比较。最后，我们证明，通过插值的潜在空间，我们可以模仿已知的变化，在细胞周期中发生的蛋白质定位，通过时间，使我们能够预测从静态图像的时间演变。
2017-09-12 cs.CV cs.LG stat.ML
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
RWTH Aachen University（亚琛工业大学）
时空显微图像的自动分析是生命科学研究的必然要求。深度学习的最新发展为自动分析此类图像数据提供了强大的工具，但在很大程度上取决于所提供的训练数据的数量和质量。为此，我们开发了一种新的方法，用于真实生成荧光标记细胞核的合成2D+t显微镜图像数据。该方法结合时空统计形状模型的不同细胞周期阶段的条件GAN产生的细胞群体的时间序列，并提供实例级控制的细胞周期阶段和荧光强度的产生的细胞。我们展示了GAN调节的效果，并创建了一组合成图像，这些图像可以很容易地用于细胞分割和跟踪方法的训练和基准测试。
2021-01-26 cs.CV cs.LG eess.IV
Non-Adversarial Image Synthesis with Generative Latent Nearest Neighbors
Facebook AI Research（Facebook人工智能研究）；UC Berkeley（加州大学伯克利分校）
无条件图像生成最近由生成对抗网络（GANs）主导。GAN方法训练从随机噪声向量回归图像的生成器，以及尝试区分所生成的图像和真实图像的训练集的训练器。GANs在生成逼真的图像方面表现出了惊人的效果。尽管取得了成功，但GANs存在严重的缺点，包括：训练不稳定和模式下降。GANs的弱点促使人们研究替代方案，包括：变分自动编码器（VAE），潜在嵌入学习方法（例如GLO）和基于最近邻的隐式最大似然估计（IMLE）。不幸的是，目前，GANs仍然明显优于图像生成的替代方法。在这项工作中，我们提出了一种新的方法-生成潜在最近邻（GLANN）-用于在没有对抗训练的情况下训练生成模型。GLANN结合了IMLE和GLO的优点，克服了每种方法的主要缺点。因此，GLANN生成的图像远远优于GLO和IMLE。我们的方法不会遭受模式坍塌，困扰GAN训练，是更稳定。定性结果表明，GLANN在常用数据集上的性能优于由800个GANs和VAE组成的基线。我们的模型也被证明是有效的训练真正的非对抗性无监督图像翻译。
2018-12-21 cs.CV cs.LG stat.ML
DPN-GAN: Inducing Periodic Activations in Generative Adversarial Networks for High-Fidelity Audio Synthesis
Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所、东部技术研究所）
本文提出DPN-GAN，通过周期性ReLU激活与可变形卷积增强生成器和判别器，在五个语音及音乐数据集上实现优于现有GAN的高保真、鲁棒音频合成。
2025-05-14 cs.AI cs.CV cs.LG
