User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；National Research University Higher School of Economics（高等经济大学）
提出了一种基于生成对抗网络（GANs）的多纹理合成模型，该模型具有用户可控机制。用户控制功能允许明确指定应该由模型生成的纹理。该属性来自于使用编码器部分，该编码器部分从数据集中学习每个纹理的潜在表示。为了确保数据集的覆盖率，我们使用了一个对抗性的损失函数，该函数对给定纹理的不正确再现进行惩罚。在实验中，我们证明了我们的模型可以学习大型数据集和原始数据（如高分辨率照片）的描述性纹理流形。此外，我们应用我们的方法来产生3D纹理，并表明它优于现有的基线。
2019-04-24 cs.CV cs.LG stat.ML
Composite Travel Generative Adversarial Networks for Tabular and Sequential Population Synthesis
Concordia University（康考迪亚大学）；Ryerson University（瑞尔森大学）
基于代理人的交通建模已成为标准，以模拟旅行行为，流动性选择和活动偏好，使用整个人口的分类旅行需求数据，这些数据通常不易获得。为此目的提出了各种方法来综合人口数据。我们提出了一种复合旅行生成对抗网络（CTGAN），这是一种新型的深度生成模型，用于估计人口的潜在联合分布，能够重建具有表格（例如年龄和性别）以及连续移动数据（例如行程轨迹和序列）的复合合成代理。CTGAN模型与其他最近提出的方法，如变分自编码器（VAE）的方法，这表明在高维表格人口合成的成功。我们根据分布相似性、多变量相关性和时空度量来评估合成输出的性能。结果表明，一致和准确的生成合成人口和他们的表格和空间顺序的属性，在不同的空间尺度和尺寸。
2020-04-15 cs.LG cs.MA stat.ML
A comparative study of stochastic and deep generative models for multisite precipitation synthesis
IBM Research（IBM研究院）
未来的气候变化情景通常是使用天气发生器的模拟来假设的。然而，只有少数作品比较和评估有前途的深度学习模型与经典方法的天气生成。这项研究显示了初步的结果，使这样的评价多点沉淀合成任务。我们比较了两个开源天气生成器：IBMWeathergen（Weathergen库的扩展）和RGeneratePrec，以及两个深度生成模型：GAN和VAE。我们的初步结果可以作为改进多位点沉淀合成任务的深度学习架构和算法设计的指导。
2021-07-16 cs.AI cs.LG physics.ao-ph
A Generative Adversarial Approach To ECG Synthesis And Denoising
生成对抗网络（GAN）已知会产生合成数据，这些数据很难被人类从真实数据中辨别出来。在本文中，我们提出了一种方法，使用GAN产生逼真的ECG信号。我们利用它们来训练和评估一个去噪自动编码器，实现了最先进的ECG信号的滤波质量。结果表明，生成的数据提高了模型的性能相比，模型训练的真实数据。我们还研究了迁移学习的效果，通过重用训练好的神经网络去噪模型。
2020-09-06 cs.LG eess.SP
SimGANs: Simulator-Based Generative Adversarial Networks for ECG Synthesis to Improve Deep ECG Classification
Technion - Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
为监督任务生成训练示例是人工智能长期追求的目标。研究了用于改进心跳分类的心脏信号心电图（ECG）合成问题。ECG合成具有挑战性：由于这种生物-生理系统的动态特性，其中系统的各个部分以复杂的方式相互作用，因此生成用于这种生物-生理系统的训练示例并不简单。然而，多年来人们已经以数学过程模拟器的形式对这些动态特性进行了深入的了解。我们研究如何将这些知识纳入生成过程中，利用生物模拟器的任务，心电图分类。具体来说，我们使用一个表示心脏动力学的常微分方程系统，并将这个ODE系统纳入生成对抗网络的优化过程中，以创建生物学上合理的ECG训练示例。我们进行了实证评估，并表明在生成过程中的心脏模拟知识提高了ECG分类。
2020-06-27 cs.LG eess.SP
DiffSyn: A Generative Diffusion Approach to Materials Synthesis Planning
Instituto de Tecnología Química, Universitat Politècnica de València-Consejo Superior de Investigaciones Científicas（化学技术研究所，瓦伦西亚理工大学-西班牙高等科学研究理事会）
针对晶体材料合成空间高维、结构-合成关系复杂的问题，提出生成式扩散模型DiffSyn，基于超2.3万条配方生成合成路线，成功合成高Si/Al比的UFI材料。
2025-09-25 cond-mat.mtrl-sci cs.AI cs.LG
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington（华盛顿大学）；Institute of Systems Biology（系统生物学研究所）；Islamic Azad University（伊斯兰阿扎德大学）
本文综述了生成对抗网络（GAN）在脑图像跨模态合成中的最新进展，涵盖CT、PET和MRI之间的相互转换，以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
CreativeGAN: Editing Generative Adversarial Networks for Creative Design Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Universiti Teknologi PETRONAS（马来西亚石油科技大学）
现代机器学习技术，如深度神经网络，通过发现大数据中的模式并做出准确的预测，正在改变从图像识别到语言理解的许多学科。它们在合成新设计方面也取得了可喜的成果，这对于创造产品和实现创新至关重要。生成模型，包括生成对抗网络（GANs），已被证明是有效的设计综合与应用范围从产品设计到超材料设计。这些自动化计算设计方法可以支持人类设计师，他们通常通过使用经验和知识反复探索想法的耗时过程来创建设计。然而，在自动合成“创意”设计方面仍然存在挑战。然而，GAN模型无法生成独特的设计，这是创新的关键，也是基于AI的设计自动化应用的主要差距。本文提出了一种自动化的方法，命名为CreativeGAN，用于生成新颖的设计。它通过识别使设计独特的组件并修改GAN模型来实现这一点，以便更有可能生成具有识别出的独特组件的设计。该方法结合了最先进的新颖性检测，分割，新颖性本地化，重写和生成模型的创意设计合成。使用自行车设计的数据集，我们证明了该方法可以创建新的自行车设计与独特的框架和处理，并推广到广泛的设计罕见的新奇。我们的自动化方法不需要人为干预，并展示了一种重新思考创意设计合成和探索的方法。
2021-03-10 cs.LG
Logo Synthesis and Manipulation with Clustered Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）；Merantix GmbH（Merantix 有限公司）；KU Leuven（鲁汶大学）
为新品牌设计徽标是设计师和客户之间漫长而乏味的来回过程。在本文中，我们将探讨机器学习在多大程度上可以解决设计师的创造性任务。为此，我们建立了一个数据集- LLD -从万维网上抓取的600 k+徽标。在这种多模态数据上训练生成对抗网络（GANs）进行徽标合成并不简单，并且对于一些最先进的方法会导致模式坍塌。我们建议使用通过聚类获得的合成标签来解开和稳定GAN训练。我们能够产生一个高多样性的似是而非的标志，我们展示了潜在的空间探索技术，以减轻互动方式的标志设计任务。此外，我们在CIFAR 10上验证了所提出的聚类GAN训练，当使用通过对ImageNet分类器的特征进行聚类而获得的合成标签时，获得了最先进的Inception分数。GANs可以通过聚类实现的合成标签来处理多模态数据，我们的研究结果显示了这种技术在徽标合成和操作方面的创造性潜力。我们的数据集和模型将在https://data.vision.ee.ethz.ch/cvl/lld/上公开提供。
2017-12-12 cs.CV cs.LG stat.ML
Skin Lesion Synthesis with Generative Adversarial Networks
University of Campinas (Unicamp)（坎皮纳斯大学）
皮肤癌是迄今为止最常见的癌症类型。早期发现是显著增加成功治疗机会的关键。目前，深度神经网络是自动皮肤癌分类的最新成果。为了进一步推动结果，我们需要解决缺乏注释数据的问题，这是昂贵的，需要专家的大量努力。为了绕过这个问题，我们建议使用生成对抗网络来生成逼真的合成皮肤病变图像。据我们所知，我们的结果是第一个显示视觉上吸引人的合成图像，包括临床意义的信息。
2019-02-08 cs.CV cs.LG
Prediction of rare feature combinations in population synthesis: Application of deep generative modelling
Technical University of Denmark（丹麦技术大学）
在群体综合应用中，当考虑具有多个属性的群体时，一个基本问题是估计特征属性的稀有组合。毫不奇怪，要可靠地表示这种多变量分布的稀疏区域，特别是原始样本中不存在的属性组合，是非常困难的。在文献中，这通常被称为采样零点，迄今为止还没有提出系统的解决方案。本文提出了两种来自深度生成模型家族的机器学习算法，用于解决人口合成问题，并特别关注采样零的问题。具体来说，我们引入了Wasserstein生成对抗网络（WGAN）和变分自动编码器（VAE），并将这些算法用于大规模人口合成应用。该模型实现了丹麦旅游调查的功能空间超过60个变量。该模型进行了验证，在交叉验证计划和一组新的指标的抽样零问题的评估。结果表明，这些模型是如何能够恢复采样零点，同时保持真正不可能的组合，结构零点，在一个相对较低的水平估计。特别地，对于低维实验，VAE，边际采样器和完全随机采样器分别产生5%，21%和26%，更多的结构零点由WGAN产生，而对于高维情况下，这些数字分别上升到44%，2217%和170440%。这项研究直接支持基于代理的系统的开发，特别是在需要详细的社会经济或地理代表性的情况下。
2019-09-17 cs.LG stat.AP stat.ML
Text2Action: Generative Adversarial Synthesis from Language to Action
Seoul National University（首尔大学）
在本文中，我们提出了一个生成模型，学习语言和人类行为之间的关系，以产生一个人类的动作序列给定的一个句子描述人类的行为。所提出的生成模型是一个生成对抗网络（GAN），它是基于序列到序列（SEQ 2SEQ）模型。使用建议的生成网络，我们可以合成各种行动的机器人或虚拟代理使用文本编码器递归神经网络（RNN）和动作解码器RNN。所提出的生成网络是从大规模视频数据集MSR-Video-to-Text（MSR-VTT）中提取的29，770对动作和句子注释进行训练的。我们证明了该网络可以生成类似人类的动作，这些动作可以转移到Baxter机器人上，这样机器人就可以根据所提供的句子执行动作。实验结果表明，所提出的生成网络正确地模拟了语言和动作之间的关系，可以从同一个句子中生成不同的动作集。
2017-10-24 cs.CL cs.LG cs.RO
Relational Data Synthesis using Generative Adversarial Networks: A Design Space Exploration
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
大数据的激增带来了对隐私保护数据发布的迫切需求。针对这一需求的传统解决方案在有效平衡所发布数据的隐私性和实用性之间的权衡方面存在局限性。因此，数据库社区和机器学习社区最近研究了使用生成对抗网络（GAN）的关系数据合成的新问题，并提出了各种算法。然而，这些算法没有在同一框架下进行比较，因此从业者很难理解GAN的优点和局限性。为了弥补这一差距，我们进行了迄今为止最全面的实验研究，研究将GAN应用于关系数据合成。我们引入了一个统一的基于GAN的框架，并为框架中的每个组件定义了一个设计解决方案空间，包括神经网络架构和训练策略。我们进行了广泛的实验，探索设计空间，并与传统的数据合成方法进行比较。通过大量的实验，我们发现GAN是非常有前途的关系数据综合，并提供指导，选择合适的设计方案。我们还指出了GAN的局限性，并确定未来的研究方向。
2020-08-28 cs.AI cs.DB cs.LG
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
Explainability in Generative Medical Diffusion Models: A Faithfulness-Based Analysis on MRI Synthesis
Rajiv Gandhi institute of petroleum technology（拉吉夫·甘地石油技术学院）
研究探讨生成扩散模型在医学影像中的可解释性，聚焦MRI合成，通过分析原型方法评估生成与训练特征的关系，实验表明EPPNet在忠实度上表现最佳，提升生成过程的透明度和可信度。
2026-04-22 cs.AI cs.LG
Population synthesis for urban resident modeling using deep generative models
Technical University of Denmark（丹麦技术大学）
新的房地产开发的影响与其人口分布（家庭类型和组成，收入，社会人口统计）密切相关，取决于住宅类型，价格，位置和楼层等方面。本文提出了一种基于机器学习的方法来模拟较大的社区/公寓设置内的新建筑物的即将到来的发展的人口分布。我们使用来自越南河内房地产开发项目Ecopark Township的真实数据集，在那里我们研究了来自深度生成模型文献的两种机器学习算法，以创建一个合成代理群体：条件变分自动编码器（CVAE）和条件生成对抗网络（CGAN）。一个大型的实验研究表明，CVAE优于经验分布，一个非平凡的基线模型，和CGAN在估计新的房地产开发项目的人口分布。
2020-11-13 cs.LG econ.EM
Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen University（深圳大学）；Central South University（中南大学）；Harbin Engineering University（哈尔滨工程大学）
融合多模态医学图像，如MR和PET，可以提供有关人体的各种解剖或功能信息。但由于成本、辐射或其他限制等不同原因，PET数据总是不可用。在本文中，我们提出了一个3D端到端合成网络，称为双向映射生成对抗网络（BMGAN），其中图像上下文和潜在向量被有效地使用并联合优化用于大脑MR到PET合成。具体而言，设计了一种双向映射机制，将PET图像的语义信息嵌入到高维潜空间中。并进一步利用3D DenseU-Net生成器结构和扩展目标函数来提高合成结果的视觉质量。最吸引人的部分是，所提出的方法可以合成的感知逼真的PET图像，同时保留不同的大脑结构的不同主题。实验结果表明，该方法的性能优于其他竞争力的跨模态合成方法的定量措施，定性显示，分类评价。
2020-08-08 cs.LG eess.IV
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内陆大学）；DeepNeuronic；NOVA LINCS（新里斯本大学计算机科学实验室）；C4-Cloud Computing Competence Center（C4云计算能力中心）
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务，不仅在所生成的形状的质量方面，而且在它们的多样性方面，特别是合成特定动作（动作调节）的逼真身体运动。在本文中，我们提出了Kinetic-GAN，这是一种新的架构，它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作，同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的，其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法，同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
Using generative modelling to produce varied intonation for speech synthesis
University of Edinburgh（爱丁堡大学）
与人类说话者不同，典型的文本到语音（TTS）系统无法产生给定句子的多个不同的再现。这一点以前已经通过增加明确的外部控制来解决。相比之下，生成模型能够捕获多个再现的分布，从而使用采样产生不同的再现。典型的神经TTS模型学习数据的平均值，因为它们最小化了均方误差。在韵律学的背景下，取平均值会产生更平淡、更无聊的演讲：一种“平均韵律”。通过设计，可以合成多个韵律的生成模型将不对平均韵律进行建模。我们使用变分自动编码器（VAE），它明确地将最“平均”的数据放置在高斯先验的平均值附近。我们建议，通过向先验分布的尾部移动，该模型将过渡到生成更多的特质，不同的渲染。这里集中在语调，我们调查自然和语调变化之间的权衡，并发现，典型的声学模型可以是自然的，或变化，但不能两者兼而有之。然而，从VAE先验的尾部采样产生比传统方法更多样的语调，同时保持相同的自然度水平。
2019-09-12 cs.CL cs.LG cs.SD
DrumGAN VST: A Plugin for Drum Sound Analysis/Synthesis With Autoencoding Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；National Institute of Applied Sciences, Lyon（里昂国立应用科学学院）
在当代流行音乐制作中，鼓的声音设计通常是通过在声音库中浏览和处理预先录制的样本来进行的。人们也可以使用专门的合成硬件，通常通过低层次的，音乐上无意义的参数控制。今天，深度学习领域提供了通过学习的高级特征控制合成过程的方法，并允许生成各种各样的声音。在本文中，我们提出了DrumGAN VST，一个使用生成对抗网络合成鼓声的插件。DrumGAN VST在44.1 kHz采样率音频上运行，提供独立和连续的乐器类控制，并具有编码神经网络，可将声音映射到GAN的潜在空间，从而实现对预先存在的鼓声的重新合成和操纵。我们提供了许多声音的例子和演示的建议VST插件。
2022-06-29 cs.LG cs.SD eess.AS
Discriminator Synthesis: On reusing the other half of Generative Adversarial Networks
Computer Vision Center (CVC)（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
生成对抗网络早已彻底改变了计算机视觉的世界，并与之相联系，艺术的世界。人们付出了艰苦的努力来充分利用和稳定训练，以便生成器网络的输出具有最高的保真度，但很少在训练完成后使用判别器。在这项工作中，我们建议使用后者，并展示了一种使用它从训练数据集中学习到的特征来改变图像并从头开始生成图像的方法。我们将这种方法命名为Discriminator Dreaming，完整的代码可以在https://github.com/PDillis/stylegan3-fun上找到。
2021-11-12 cs.CV cs.LG eess.IV
Generative Adversarial Synthesis of Radar Point Cloud Scenes
RWTH Aachen University（亚琛工业大学）；Technische Universität Ilmenau（伊尔梅瑙工业大学）；Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
本文提出基于PointNet++的GAN模型合成逼真雷达点云场景，以替代费力的真实数据采集与仿真方法，并通过二分类器验证其性能接近真实场景（约87%）。
2024-10-17 cs.CV cs.LG eess.IV
A Review of Human Emotion Synthesis Based on Generative Technology
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；MICS Thrust, The Hong Kong University of Science and Technology (GZ)（香港科技大学（广州）MICS学科）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院）；School of Information Technology, Carleton University（卡尔顿大学信息技术学院）
本文系统综述基于 Autoencoders、GAN、Diffusion Models、LLM 和 Seq2Seq 等生成模型的人类情感合成研究，梳理方法、数学原理、数据集、多模态应用与评估指标，并指出未来方向。
2024-12-10 cs.AI cs.CL cs.LG
FMRI data augmentation via synthesis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个经验性的评价功能磁共振数据增强通过合成。为了进行合成，我们使用在真实神经成像数据上训练的生成模型来生成新的任务依赖性功能脑图像。分析的生成模型包括经典的方法，如高斯混合模型（GMM），和现代隐式生成模型，如生成对抗网络（GAN）和变分自动编码器（VAE）。特别地，所提出的GAN和VAE模型利用3维卷积，这使得能够对具有结构化空间相关性的高维脑图像张量进行建模。然后，合成的数据集用于增强分类器，这些分类器旨在预测认知和行为结果。我们的研究结果表明，所提出的模型能够生成高质量的合成脑图像，这是多样的和任务相关的。也许最重要的是，通过合成的数据增强的性能改进被证明是互补的预测模型的选择。因此，我们的研究结果表明，通过合成的数据增强是一种很有前途的方法，以解决有限的可用性的功能磁共振成像数据，并提高预测功能磁共振成像模型的质量。
2019-07-13 cs.CV cs.LG eess.IV
Generative Semantic Communication for Text-to-Speech Synthesis
Shenzhen Future Network of Intelligence Institute（深圳未来网络智能研究院）；Guangdong Provincial Key Laboratory of Future Networks of Intelligence, The Chinese University of Hong Kong (Shenzhen)（广东省未来网络智能重点实验室，香港中文大学（深圳））；School of Automation, Central South University（中南大学自动化学院）
本文提出一种面向文本到语音合成的生成式语义通信框架，利用WavLM、残差向量量化、Transformer编码器和扩散模型构建收发端语义知识库并实现高效编码，在多种信道下生成语音保真度显著优于四个基线。
2024-10-04 cs.IT cs.LG cs.SD
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University（马凯特大学）
深度学习是计算机断层扫描（CT）图像处理（如器官分割）中流行且功能强大的工具，但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性，但由于对儿童的辐射风险，儿科CT扫描的训练数据集尤其难以获得。在本文中，我们提出了一种方法，有条件地合成逼真的儿科CT图像，使用一个新的辅助分类器生成对抗网络（ACGAN）架构，考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像，以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）；Univ. Lille（里尔大学）；Inserm（法国国家健康与医学研究院）；CHU Lille（里尔大学医院）
通过生成对抗网络（GANs）对三维（3D）医学图像进行图像合成具有巨大的潜力，可以扩展到许多医学应用，例如图像增强和疾病进展建模。然而，当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中，我们扩展了最先进的StyleGAN 2模型，该模型本身适用于二维图像，以实现3D图像合成。除了图像合成之外，我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性，这些风格向量非常适合医学应用：（i）潜在空间投影和重建看不见的真实图像，以及（ii）风格混合。我们使用~ 12，000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性，尽管它可以应用于任何3D体积图像。此外，我们探索了不同的超参数配置，以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得：https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
Generative adversarial network-based glottal waveform model for statistical parametric speech synthesis
Aalto University（阿尔托大学）
最近的研究表明，使用声门声码可以提高文本到语音合成的质量。这是指声码器，参数化语音分为两个部分，声门兴奋和声道，发生在人类的语音生产设备。当前的声门声码器通过使用深度神经网络（DNN）来生成声门激励波形。然而，目前声门激励模型的基于平方误差的训练仅限于生成条件平均波形，其未能捕获波形的随机变化。因此，作为后处理添加了整形噪声。在这项研究中，我们提出了一种新的方法来预测声门波形的生成对抗网络（GANs）。GANs是生成模型，旨在将数据分布嵌入潜在空间中，通过随机采样潜在分布来生成与原始实例非常相似的新实例。由GANs产生的声门脉冲显示出类似于自然声门脉冲的随机分量。在我们的实验中，我们比较了使用DNN和GANs产生的声门波形生成的合成语音。结果表明，新提出的GANs实现了与广泛使用的DNN相当的合成质量，而不使用加性噪声分量。
2019-03-14 cs.CL cs.LG cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis
Korea Advanced Institute of Science Technology（韩国科学技术院）；I-BRICKS
本文提出TESGAN，通过GAN生成连续文本嵌入空间并进行无监督学习，解决文本生成中的梯度反向传播与训练数据记忆问题。
2023-10-17 cs.CL cs.LG
medigan: a Python library of pretrained generative models for medical image synthesis
Universitat de Barcelona（巴塞罗那大学）；University of Arkansas for Medical Sciences（阿肯色医科大学）
生成模型生成的合成数据可以增强医学成像中数据饥渴型深度学习模型的性能和功能。然而，（1）（合成）数据集的可用性有限，以及（2）生成模型训练复杂，这阻碍了它们在研究和临床应用中的采用。为了减少这种进入障碍，我们提出了medigan，这是一个一站式的预训练生成模型，作为一个开源的框架无关的Python库实现。Medigan允许研究人员和开发人员在短短几行代码中创建，增加和调整他们的训练数据。在基于收集的最终用户需求的设计决策的指导下，我们基于生成模型的模块化组件实现了Medigan（i）执行，（ii）可视化，（iii）搜索和排名，以及（iv）贡献。该库的可扩展性和设计通过其越来越多的集成和易于使用的预训练生成模型来证明，该模型由21个模型组成，这些模型利用9种不同的生成对抗网络架构，在来自4个领域的11个数据集上进行训练，即乳房X光检查，内窥镜检查，x射线和MRI。此外，在这项工作中分析了Medigan的3个应用，包括（a）实现社区范围内的受限数据共享，（b）调查生成模型评估指标，以及（c）改善临床下游任务。在（b）中，扩展了常见的医学图像合成评估和报告标准，我们展示了基于图像归一化和放射学特定特征提取的Fréchet Inception Distance可变性。
2023-02-23 cs.CV cs.LG eess.IV
A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Beijing Institute of Technology（北京理工大学）
本综述系统梳理了音频扩散模型在文本到语音合成与语音增强任务中的最新进展，按扩散模型应用阶段对TTS方法分类，并按信号增减对语音增强任务分类，同时比较了实验结果。
2023-04-02 cs.AI cs.LG cs.MM
Range-GAN: Range-Constrained Generative Adversarial Network for Conditioned Design Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Siemens Technology（西门子技术公司）
典型的工程设计任务需要努力迭代地修改设计，直到它们满足某些约束，即，性能或属性要求。过去的工作已经提出了解决逆向设计问题的方法，其中所需的设计直接从指定的要求生成，从而避免了试错过程。在这些方法中，条件深度生成模型显示出巨大的潜力，因为1）它适用于复杂的高维设计，2）它可以在任何条件下生成多个备选设计。在这项工作中，我们提出了一个有条件的深度生成模型，范围GAN，以实现自动设计综合受范围约束。该模型通过引入标签感知的自增强方法解决了数据驱动反设计问题中的稀疏条件问题。我们还提出了一个新的均匀性损失，以确保生成的设计均匀地覆盖给定的要求范围。通过一个真实世界的约束三维形状生成的例子，我们表明，标签感知的自我增强导致的约束满足的平均提高14%的3D形状，和均匀性损失导致的均匀性的125%的平均增加生成的形状的属性。这项工作奠定了基础，数据驱动的反设计问题，我们考虑范围的限制，并有稀疏的区域条件空间。
2021-03-10 cs.LG
A Biophysically-Conditioned Generative Framework for 3D Brain Tumor MRI Synthesis
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（伦敦帝国学院）
本文提出了一种基于生物物理条件的生成框架，用于生成高保真的3D脑肿瘤MRI，通过条件生成模型实现肿瘤合成和健康组织修复，实验结果显示在PSNR指标上取得良好效果。
2025-12-08 cs.CV cs.LG eess.IV
Enhanced Magnetic Resonance Image Synthesis with Contrast-Aware Generative Adversarial Networks
Friedrich-Alexander Universität Erlangen-Nürnberg（弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校）；Technical University of Applied Sciences Amberg-Weiden（安贝格-魏登应用技术大学）；Siemens Healthcare GmbH（西门子医疗有限公司）
磁共振成像（MRI）检查通常包括采集多个MR脉冲序列，这是可靠诊断所需的。可以通过影响MR图像对比度、信噪比、分辨率或扫描时间的多个采集参数来参数化每个序列。随着生成式深度学习模型的兴起，开发了用于合成MR图像的方法，以合成额外的MR对比度、生成合成数据或增强现有数据以进行AI训练。然而，用于合成MR图像的当前生成方法仅在具有特定采集参数值集合的图像上训练，这限制了这些方法的临床价值，因为在临床实践中使用了各种采集参数设置集合。因此，我们训练了一个生成对抗网络（GAN），以生成以各种采集参数（重复时间、回波时间、图像方向）为条件的合成MR膝关节图像。这种方法使我们能够合成具有可调图像对比度的MR图像。在视觉图灵测试中，两位专家错误标记了40.5%的真实和合成MR图像，证明生成的合成和真实MR图像的图像质量相当。这项工作可以在MR序列参数化期间通过预览产生的MR对比度来支持放射科医生和技术人员，可以作为放射学培训的有价值的工具，并且可以用于定制数据生成以支持AI培训。
2021-03-01 cs.CV cs.LG eess.IV
DLGAN : Time Series Synthesis Based on Dual-Layer Generative Adversarial Networks
Shandong University（山东大学）
针对随机序列建模难以保持时间依赖和原始特征的问题，本文提出双层 GAN 模型 DLGAN，通过自编码器重建与 GAN 特征对齐两阶段提升时间序列合成质量。
2025-08-29 cs.AI cs.LG
Hierarchical Multi-Grained Generative Model for Expressive Speech Synthesis
Nagoya Institute of Technology（名古屋工业大学）；Microsoft Development Co., Ltd.（微软开发有限公司）
本文提出了一种多粒度隐变量的层次生成模型来合成表达性语音。近年来，文本到语音合成中引入了细粒度的隐变量，使得能够对合成语音的韵律和说话风格进行精细控制。然而，当这些潜变量通过从标准高斯先验中采样来获得时，语音的自然度降低。为了解决这个问题，我们提出了一个新的框架，考虑到依赖于输入文本，层次语言结构，和时间结构的潜变量建模的细粒度的潜变量。该框架包括一个多粒度的变分自编码器，一个条件先验，和一个多层次的自回归潜转换器，以获得不同的时间分辨率的潜变量，并考虑到输入文本从粗层次的潜变量采样细层次的潜变量。实验结果表明，适当的方法采样细粒度的潜变量没有参考信号在合成阶段。我们提出的框架还提供了在整个话语的说话风格的可控性。
2021-12-26 cs.LG cs.SD eess.AS
Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance
Singapore University of Technology and Design（新加坡科技设计大学）；Institute of High Performance Computing, A*STAR（新加坡A*STAR高性能计算研究院）
我们提出了一种基于高斯混合变分自编码器（GM-VAE）的可控神经音频合成器，它可以在音频域中生成逼真的钢琴演奏，该钢琴演奏紧密遵循钢琴演奏的两个基本风格特征的时间条件：清晰度和动态。我们演示了该模型是如何能够在合成音频的过程中应用细粒度的风格变形。这是基于条件，这些条件是可以从先验数据中采样或从其他数据中推断出的潜在变量。设想的用例之一是激发对现有钢琴音乐作品的创造性和全新的诠释。
2020-07-13 cs.LG cs.MM cs.SD
Accelerating Redshift-Conditioned Galaxy Image Synthesis with One-step Generative Modeling
The Center for Computational Science（计算科学中心）；University College London（伦敦大学学院）；Cavendish Laboratory（卡文迪许实验室）；Kavli Institute for Cosmology University of Cambridge（剑桥大学卡文迪许宇宙研究所）
本文研究了利用扩散模型和像素MeanFlow实现高效红移条件下的星系图像生成，通过对比不同模型在GalaxiesML-64数据集上的表现，发现一步生成模型在计算成本大幅降低的情况下能有效恢复星系形态统计信息，为大规模宇宙巡天和基于模拟的科学推断提供了新路径。
2026-05-17 astro-ph.GA astro-ph.IM cs.LG
Complementarity-Preserving Generative Theory for Multimodal ECG Synthesis: A Quantum-Inspired Approach
Morgan State University（摩根州立大学）
本文提出保持互补性的生成理论，通过量子启发框架Q-CFD-GAN生成多模态ECG数据，减少潜在嵌入方差并恢复三领域互补性，提升临床应用的生理意义。
2026-03-16 cs.AI cs.LG eess.IV
Parallel waveform synthesis based on generative adversarial networks with voicing-aware conditional discriminators
1 LINE Corp., Tokyo, Japan 2 NAVER Corp., Seongnam, Korea 3 Search Solutions Inc., Seongnam, Korea
本文提出了基于并行WaveGAN的波形合成系统中的感知条件鉴别器。在这个框架中，我们采用了一种基于投影的条件反射方法，可以显着提高神经网络的性能。此外，传统的波形鉴别器被分成两个波形鉴别器，用于建模有声和无声语音。随着每个训练器分别学习谐波和噪声分量的独特特征，对抗训练过程变得更加有效，使生成器能够产生更逼真的语音波形。主观测试结果表明，该方法优于传统的并行Wavegan和WaveNet系统。特别是，我们在基于FastSpeech 2的文本到语音框架内独立于说话者训练的模型分别为四名日语发言者获得了4.20，4.18，4.21和4.31的平均意见得分。
2021-04-26 cs.LG cs.SD eess.AS
MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis
Lyrebird AI（Lyrebird人工智能公司）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）；CIFAR（加拿大高等研究院）
先前的工作（Donahue等人，2018 a; Engel等人，2019 a）已经发现用GANs生成相干原始音频波形是具有挑战性的。在本文中，我们证明了通过引入一组结构变化和简单的训练技术，可以可靠地训练GANs以生成高质量的相干波形。主观评价指标（平均意见分数，或MOS）表明所提出的方法的有效性，高质量的梅尔频谱图反演。为了建立所提出的技术的一般性，我们展示了我们的模型在语音合成，音乐域翻译和无条件音乐合成的定性结果。我们通过消融研究评估模型的各个组成部分，并提出了一套指导原则，设计通用的鉴别器和发电机的条件序列合成任务。我们的模型是非自回归的，完全卷积的，比竞争模型的参数少得多，并推广到看不见的扬声器梅尔频谱图反转。我们的pytorch实现在GTX 1080Ti GPU上的运行速度比实时快100倍以上，在CPU上的运行速度比实时快2倍以上，没有任何硬件特定的优化技巧。
2019-12-09 cs.CL cs.LG cs.SD
