Neural Synthesis of Footsteps Sound Effects with Generative Adversarial Networks
Queen Mary University of London（伦敦玛丽女王大学）
脚步声是多媒体应用中最普遍的声音效果之一。有大量的研究了解的声学特性和发展的合成模型的脚步声效果。在本文中，我们提出了第一次尝试采用神经合成这项任务。我们实现了两种基于GAN的架构，并将结果与真实录音以及六种传统的声音合成方法进行了比较。我们的架构达到了与记录样本一样高的真实感分数，为手头的任务显示了令人鼓舞的结果。
2021-12-10 cs.AI cs.LG cs.SD
A Generative Adversarial Approach To ECG Synthesis And Denoising
生成对抗网络（GAN）已知会产生合成数据，这些数据很难被人类从真实数据中辨别出来。在本文中，我们提出了一种方法，使用GAN产生逼真的ECG信号。我们利用它们来训练和评估一个去噪自动编码器，实现了最先进的ECG信号的滤波质量。结果表明，生成的数据提高了模型的性能相比，模型训练的真实数据。我们还研究了迁移学习的效果，通过重用训练好的神经网络去噪模型。
2020-09-06 cs.LG eess.SP
CreativeGAN: Editing Generative Adversarial Networks for Creative Design Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Universiti Teknologi PETRONAS（马来西亚石油科技大学）
现代机器学习技术，如深度神经网络，通过发现大数据中的模式并做出准确的预测，正在改变从图像识别到语言理解的许多学科。它们在合成新设计方面也取得了可喜的成果，这对于创造产品和实现创新至关重要。生成模型，包括生成对抗网络（GANs），已被证明是有效的设计综合与应用范围从产品设计到超材料设计。这些自动化计算设计方法可以支持人类设计师，他们通常通过使用经验和知识反复探索想法的耗时过程来创建设计。然而，在自动合成“创意”设计方面仍然存在挑战。然而，GAN模型无法生成独特的设计，这是创新的关键，也是基于AI的设计自动化应用的主要差距。本文提出了一种自动化的方法，命名为CreativeGAN，用于生成新颖的设计。它通过识别使设计独特的组件并修改GAN模型来实现这一点，以便更有可能生成具有识别出的独特组件的设计。该方法结合了最先进的新颖性检测，分割，新颖性本地化，重写和生成模型的创意设计合成。使用自行车设计的数据集，我们证明了该方法可以创建新的自行车设计与独特的框架和处理，并推广到广泛的设计罕见的新奇。我们的自动化方法不需要人为干预，并展示了一种重新思考创意设计合成和探索的方法。
2021-03-10 cs.LG
A comparative study of stochastic and deep generative models for multisite precipitation synthesis
IBM Research（IBM研究院）
未来的气候变化情景通常是使用天气发生器的模拟来假设的。然而，只有少数作品比较和评估有前途的深度学习模型与经典方法的天气生成。这项研究显示了初步的结果，使这样的评价多点沉淀合成任务。我们比较了两个开源天气生成器：IBMWeathergen（Weathergen库的扩展）和RGeneratePrec，以及两个深度生成模型：GAN和VAE。我们的初步结果可以作为改进多位点沉淀合成任务的深度学习架构和算法设计的指导。
2021-07-16 cs.AI cs.LG physics.ao-ph
SimGANs: Simulator-Based Generative Adversarial Networks for ECG Synthesis to Improve Deep ECG Classification
Technion - Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
为监督任务生成训练示例是人工智能长期追求的目标。研究了用于改进心跳分类的心脏信号心电图（ECG）合成问题。ECG合成具有挑战性：由于这种生物-生理系统的动态特性，其中系统的各个部分以复杂的方式相互作用，因此生成用于这种生物-生理系统的训练示例并不简单。然而，多年来人们已经以数学过程模拟器的形式对这些动态特性进行了深入的了解。我们研究如何将这些知识纳入生成过程中，利用生物模拟器的任务，心电图分类。具体来说，我们使用一个表示心脏动力学的常微分方程系统，并将这个ODE系统纳入生成对抗网络的优化过程中，以创建生物学上合理的ECG训练示例。我们进行了实证评估，并表明在生成过程中的心脏模拟知识提高了ECG分类。
2020-06-27 cs.LG eess.SP
Skin Lesion Synthesis with Generative Adversarial Networks
University of Campinas (Unicamp)（坎皮纳斯大学）
皮肤癌是迄今为止最常见的癌症类型。早期发现是显著增加成功治疗机会的关键。目前，深度神经网络是自动皮肤癌分类的最新成果。为了进一步推动结果，我们需要解决缺乏注释数据的问题，这是昂贵的，需要专家的大量努力。为了绕过这个问题，我们建议使用生成对抗网络来生成逼真的合成皮肤病变图像。据我们所知，我们的结果是第一个显示视觉上吸引人的合成图像，包括临床意义的信息。
2019-02-08 cs.CV cs.LG
DiffSyn: A Generative Diffusion Approach to Materials Synthesis Planning
Instituto de Tecnología Química, Universitat Politècnica de València-Consejo Superior de Investigaciones Científicas（化学技术研究所，瓦伦西亚理工大学-西班牙高等科学研究理事会）
针对晶体材料合成空间高维、结构-合成关系复杂的问题，提出生成式扩散模型DiffSyn，基于超2.3万条配方生成合成路线，成功合成高Si/Al比的UFI材料。
2025-09-25 cond-mat.mtrl-sci cs.AI cs.LG
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington（华盛顿大学）；Institute of Systems Biology（系统生物学研究所）；Islamic Azad University（伊斯兰阿扎德大学）
本文综述了生成对抗网络（GAN）在脑图像跨模态合成中的最新进展，涵盖CT、PET和MRI之间的相互转换，以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Explainability in Generative Medical Diffusion Models: A Faithfulness-Based Analysis on MRI Synthesis
Rajiv Gandhi institute of petroleum technology（拉吉夫·甘地石油技术学院）
研究探讨生成扩散模型在医学影像中的可解释性，聚焦MRI合成，通过分析原型方法评估生成与训练特征的关系，实验表明EPPNet在忠实度上表现最佳，提升生成过程的透明度和可信度。
2026-04-22 cs.AI cs.LG
Population synthesis for urban resident modeling using deep generative models
Technical University of Denmark（丹麦技术大学）
新的房地产开发的影响与其人口分布（家庭类型和组成，收入，社会人口统计）密切相关，取决于住宅类型，价格，位置和楼层等方面。本文提出了一种基于机器学习的方法来模拟较大的社区/公寓设置内的新建筑物的即将到来的发展的人口分布。我们使用来自越南河内房地产开发项目Ecopark Township的真实数据集，在那里我们研究了来自深度生成模型文献的两种机器学习算法，以创建一个合成代理群体：条件变分自动编码器（CVAE）和条件生成对抗网络（CGAN）。一个大型的实验研究表明，CVAE优于经验分布，一个非平凡的基线模型，和CGAN在估计新的房地产开发项目的人口分布。
2020-11-13 cs.LG econ.EM
Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen University（深圳大学）；Central South University（中南大学）；Harbin Engineering University（哈尔滨工程大学）
融合多模态医学图像，如MR和PET，可以提供有关人体的各种解剖或功能信息。但由于成本、辐射或其他限制等不同原因，PET数据总是不可用。在本文中，我们提出了一个3D端到端合成网络，称为双向映射生成对抗网络（BMGAN），其中图像上下文和潜在向量被有效地使用并联合优化用于大脑MR到PET合成。具体而言，设计了一种双向映射机制，将PET图像的语义信息嵌入到高维潜空间中。并进一步利用3D DenseU-Net生成器结构和扩展目标函数来提高合成结果的视觉质量。最吸引人的部分是，所提出的方法可以合成的感知逼真的PET图像，同时保留不同的大脑结构的不同主题。实验结果表明，该方法的性能优于其他竞争力的跨模态合成方法的定量措施，定性显示，分类评价。
2020-08-08 cs.LG eess.IV
Text2Action: Generative Adversarial Synthesis from Language to Action
Seoul National University（首尔大学）
在本文中，我们提出了一个生成模型，学习语言和人类行为之间的关系，以产生一个人类的动作序列给定的一个句子描述人类的行为。所提出的生成模型是一个生成对抗网络（GAN），它是基于序列到序列（SEQ 2SEQ）模型。使用建议的生成网络，我们可以合成各种行动的机器人或虚拟代理使用文本编码器递归神经网络（RNN）和动作解码器RNN。所提出的生成网络是从大规模视频数据集MSR-Video-to-Text（MSR-VTT）中提取的29，770对动作和句子注释进行训练的。我们证明了该网络可以生成类似人类的动作，这些动作可以转移到Baxter机器人上，这样机器人就可以根据所提供的句子执行动作。实验结果表明，所提出的生成网络正确地模拟了语言和动作之间的关系，可以从同一个句子中生成不同的动作集。
2017-10-24 cs.CL cs.LG cs.RO
Relational Data Synthesis using Generative Adversarial Networks: A Design Space Exploration
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
大数据的激增带来了对隐私保护数据发布的迫切需求。针对这一需求的传统解决方案在有效平衡所发布数据的隐私性和实用性之间的权衡方面存在局限性。因此，数据库社区和机器学习社区最近研究了使用生成对抗网络（GAN）的关系数据合成的新问题，并提出了各种算法。然而，这些算法没有在同一框架下进行比较，因此从业者很难理解GAN的优点和局限性。为了弥补这一差距，我们进行了迄今为止最全面的实验研究，研究将GAN应用于关系数据合成。我们引入了一个统一的基于GAN的框架，并为框架中的每个组件定义了一个设计解决方案空间，包括神经网络架构和训练策略。我们进行了广泛的实验，探索设计空间，并与传统的数据合成方法进行比较。通过大量的实验，我们发现GAN是非常有前途的关系数据综合，并提供指导，选择合适的设计方案。我们还指出了GAN的局限性，并确定未来的研究方向。
2020-08-28 cs.AI cs.DB cs.LG
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内陆大学）；DeepNeuronic；NOVA LINCS（新里斯本大学计算机科学实验室）；C4-Cloud Computing Competence Center（C4云计算能力中心）
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务，不仅在所生成的形状的质量方面，而且在它们的多样性方面，特别是合成特定动作（动作调节）的逼真身体运动。在本文中，我们提出了Kinetic-GAN，这是一种新的架构，它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作，同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的，其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法，同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；National Research University Higher School of Economics（高等经济大学）
提出了一种基于生成对抗网络（GANs）的多纹理合成模型，该模型具有用户可控机制。用户控制功能允许明确指定应该由模型生成的纹理。该属性来自于使用编码器部分，该编码器部分从数据集中学习每个纹理的潜在表示。为了确保数据集的覆盖率，我们使用了一个对抗性的损失函数，该函数对给定纹理的不正确再现进行惩罚。在实验中，我们证明了我们的模型可以学习大型数据集和原始数据（如高分辨率照片）的描述性纹理流形。此外，我们应用我们的方法来产生3D纹理，并表明它优于现有的基线。
2019-04-24 cs.CV cs.LG stat.ML
Composite Travel Generative Adversarial Networks for Tabular and Sequential Population Synthesis
Concordia University（康考迪亚大学）；Ryerson University（瑞尔森大学）
基于代理人的交通建模已成为标准，以模拟旅行行为，流动性选择和活动偏好，使用整个人口的分类旅行需求数据，这些数据通常不易获得。为此目的提出了各种方法来综合人口数据。我们提出了一种复合旅行生成对抗网络（CTGAN），这是一种新型的深度生成模型，用于估计人口的潜在联合分布，能够重建具有表格（例如年龄和性别）以及连续移动数据（例如行程轨迹和序列）的复合合成代理。CTGAN模型与其他最近提出的方法，如变分自编码器（VAE）的方法，这表明在高维表格人口合成的成功。我们根据分布相似性、多变量相关性和时空度量来评估合成输出的性能。结果表明，一致和准确的生成合成人口和他们的表格和空间顺序的属性，在不同的空间尺度和尺寸。
2020-04-15 cs.LG cs.MA stat.ML
Bayesian Generative Adversarial Networks via Gaussian Approximation for Tabular Data Synthesis
Department of Social Statistics, The University of Manchester（社会统计系，曼彻斯特大学）；Alliance Manchester Business School, The University of Manchester（曼彻斯特商业联盟学院，曼彻斯特大学）
本文提出GACTGAN，通过高斯近似技术在CTGAN中整合贝叶斯后验近似，以更高效地生成表格数据，提升数据结构和统计信息的保真度并降低隐私风险。
2026-02-25 cs.LG stat.ML
DrumGAN VST: A Plugin for Drum Sound Analysis/Synthesis With Autoencoding Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；National Institute of Applied Sciences, Lyon（里昂国立应用科学学院）
在当代流行音乐制作中，鼓的声音设计通常是通过在声音库中浏览和处理预先录制的样本来进行的。人们也可以使用专门的合成硬件，通常通过低层次的，音乐上无意义的参数控制。今天，深度学习领域提供了通过学习的高级特征控制合成过程的方法，并允许生成各种各样的声音。在本文中，我们提出了DrumGAN VST，一个使用生成对抗网络合成鼓声的插件。DrumGAN VST在44.1 kHz采样率音频上运行，提供独立和连续的乐器类控制，并具有编码神经网络，可将声音映射到GAN的潜在空间，从而实现对预先存在的鼓声的重新合成和操纵。我们提供了许多声音的例子和演示的建议VST插件。
2022-06-29 cs.LG cs.SD eess.AS
Discriminator Synthesis: On reusing the other half of Generative Adversarial Networks
Computer Vision Center (CVC)（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
生成对抗网络早已彻底改变了计算机视觉的世界，并与之相联系，艺术的世界。人们付出了艰苦的努力来充分利用和稳定训练，以便生成器网络的输出具有最高的保真度，但很少在训练完成后使用判别器。在这项工作中，我们建议使用后者，并展示了一种使用它从训练数据集中学习到的特征来改变图像并从头开始生成图像的方法。我们将这种方法命名为Discriminator Dreaming，完整的代码可以在https://github.com/PDillis/stylegan3-fun上找到。
2021-11-12 cs.CV cs.LG eess.IV
Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis
Korea Advanced Institute of Science Technology（韩国科学技术院）；I-BRICKS
本文提出TESGAN，通过GAN生成连续文本嵌入空间并进行无监督学习，解决文本生成中的梯度反向传播与训练数据记忆问题。
2023-10-17 cs.CL cs.LG
Generative Adversarial Synthesis of Radar Point Cloud Scenes
RWTH Aachen University（亚琛工业大学）；Technische Universität Ilmenau（伊尔梅瑙工业大学）；Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
本文提出基于PointNet++的GAN模型合成逼真雷达点云场景，以替代费力的真实数据采集与仿真方法，并通过二分类器验证其性能接近真实场景（约87%）。
2024-10-17 cs.CV cs.LG eess.IV
A Review of Human Emotion Synthesis Based on Generative Technology
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；MICS Thrust, The Hong Kong University of Science and Technology (GZ)（香港科技大学（广州）MICS学科）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院）；School of Information Technology, Carleton University（卡尔顿大学信息技术学院）
本文系统综述基于 Autoencoders、GAN、Diffusion Models、LLM 和 Seq2Seq 等生成模型的人类情感合成研究，梳理方法、数学原理、数据集、多模态应用与评估指标，并指出未来方向。
2024-12-10 cs.AI cs.CL cs.LG
FMRI data augmentation via synthesis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个经验性的评价功能磁共振数据增强通过合成。为了进行合成，我们使用在真实神经成像数据上训练的生成模型来生成新的任务依赖性功能脑图像。分析的生成模型包括经典的方法，如高斯混合模型（GMM），和现代隐式生成模型，如生成对抗网络（GAN）和变分自动编码器（VAE）。特别地，所提出的GAN和VAE模型利用3维卷积，这使得能够对具有结构化空间相关性的高维脑图像张量进行建模。然后，合成的数据集用于增强分类器，这些分类器旨在预测认知和行为结果。我们的研究结果表明，所提出的模型能够生成高质量的合成脑图像，这是多样的和任务相关的。也许最重要的是，通过合成的数据增强的性能改进被证明是互补的预测模型的选择。因此，我们的研究结果表明，通过合成的数据增强是一种很有前途的方法，以解决有限的可用性的功能磁共振成像数据，并提高预测功能磁共振成像模型的质量。
2019-07-13 cs.CV cs.LG eess.IV
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University（马凯特大学）
深度学习是计算机断层扫描（CT）图像处理（如器官分割）中流行且功能强大的工具，但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性，但由于对儿童的辐射风险，儿科CT扫描的训练数据集尤其难以获得。在本文中，我们提出了一种方法，有条件地合成逼真的儿科CT图像，使用一个新的辅助分类器生成对抗网络（ACGAN）架构，考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像，以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）；Univ. Lille（里尔大学）；Inserm（法国国家健康与医学研究院）；CHU Lille（里尔大学医院）
通过生成对抗网络（GANs）对三维（3D）医学图像进行图像合成具有巨大的潜力，可以扩展到许多医学应用，例如图像增强和疾病进展建模。然而，当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中，我们扩展了最先进的StyleGAN 2模型，该模型本身适用于二维图像，以实现3D图像合成。除了图像合成之外，我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性，这些风格向量非常适合医学应用：（i）潜在空间投影和重建看不见的真实图像，以及（ii）风格混合。我们使用~ 12，000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性，尽管它可以应用于任何3D体积图像。此外，我们探索了不同的超参数配置，以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得：https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon（亚马逊）
我们提出了一个文本到语音的方法来创建一个看不见的表达风格，使用一个表达性的讲话约一秒的话语。具体而言，我们增强了一个国家的最先进的序列到序列的系统与变分自编码器（VAE）和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少，同时共同提高感知指标超过国家的最先进的。在合成时，我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明，我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音，同时还提高了感知的情感强度（59与中性语音的55相比）。
2020-02-17 cs.CL cs.LG cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
medigan: a Python library of pretrained generative models for medical image synthesis
Universitat de Barcelona（巴塞罗那大学）；University of Arkansas for Medical Sciences（阿肯色医科大学）
生成模型生成的合成数据可以增强医学成像中数据饥渴型深度学习模型的性能和功能。然而，（1）（合成）数据集的可用性有限，以及（2）生成模型训练复杂，这阻碍了它们在研究和临床应用中的采用。为了减少这种进入障碍，我们提出了medigan，这是一个一站式的预训练生成模型，作为一个开源的框架无关的Python库实现。Medigan允许研究人员和开发人员在短短几行代码中创建，增加和调整他们的训练数据。在基于收集的最终用户需求的设计决策的指导下，我们基于生成模型的模块化组件实现了Medigan（i）执行，（ii）可视化，（iii）搜索和排名，以及（iv）贡献。该库的可扩展性和设计通过其越来越多的集成和易于使用的预训练生成模型来证明，该模型由21个模型组成，这些模型利用9种不同的生成对抗网络架构，在来自4个领域的11个数据集上进行训练，即乳房X光检查，内窥镜检查，x射线和MRI。此外，在这项工作中分析了Medigan的3个应用，包括（a）实现社区范围内的受限数据共享，（b）调查生成模型评估指标，以及（c）改善临床下游任务。在（b）中，扩展了常见的医学图像合成评估和报告标准，我们展示了基于图像归一化和放射学特定特征提取的Fréchet Inception Distance可变性。
2023-02-23 cs.CV cs.LG eess.IV
Generative adversarial network-based glottal waveform model for statistical parametric speech synthesis
Aalto University（阿尔托大学）
最近的研究表明，使用声门声码可以提高文本到语音合成的质量。这是指声码器，参数化语音分为两个部分，声门兴奋和声道，发生在人类的语音生产设备。当前的声门声码器通过使用深度神经网络（DNN）来生成声门激励波形。然而，目前声门激励模型的基于平方误差的训练仅限于生成条件平均波形，其未能捕获波形的随机变化。因此，作为后处理添加了整形噪声。在这项研究中，我们提出了一种新的方法来预测声门波形的生成对抗网络（GANs）。GANs是生成模型，旨在将数据分布嵌入潜在空间中，通过随机采样潜在分布来生成与原始实例非常相似的新实例。由GANs产生的声门脉冲显示出类似于自然声门脉冲的随机分量。在我们的实验中，我们比较了使用DNN和GANs产生的声门波形生成的合成语音。结果表明，新提出的GANs实现了与广泛使用的DNN相当的合成质量，而不使用加性噪声分量。
2019-03-14 cs.CL cs.LG cs.SD
Generative Semantic Communication for Text-to-Speech Synthesis
Shenzhen Future Network of Intelligence Institute（深圳未来网络智能研究院）；Guangdong Provincial Key Laboratory of Future Networks of Intelligence, The Chinese University of Hong Kong (Shenzhen)（广东省未来网络智能重点实验室，香港中文大学（深圳））；School of Automation, Central South University（中南大学自动化学院）
本文提出一种面向文本到语音合成的生成式语义通信框架，利用WavLM、残差向量量化、Transformer编码器和扩散模型构建收发端语义知识库并实现高效编码，在多种信道下生成语音保真度显著优于四个基线。
2024-10-04 cs.IT cs.LG cs.SD
A Biophysically-Conditioned Generative Framework for 3D Brain Tumor MRI Synthesis
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（伦敦帝国学院）
本文提出了一种基于生物物理条件的生成框架，用于生成高保真的3D脑肿瘤MRI，通过条件生成模型实现肿瘤合成和健康组织修复，实验结果显示在PSNR指标上取得良好效果。
2025-12-08 cs.CV cs.LG eess.IV
Enhanced Magnetic Resonance Image Synthesis with Contrast-Aware Generative Adversarial Networks
Friedrich-Alexander Universität Erlangen-Nürnberg（弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校）；Technical University of Applied Sciences Amberg-Weiden（安贝格-魏登应用技术大学）；Siemens Healthcare GmbH（西门子医疗有限公司）
磁共振成像（MRI）检查通常包括采集多个MR脉冲序列，这是可靠诊断所需的。可以通过影响MR图像对比度、信噪比、分辨率或扫描时间的多个采集参数来参数化每个序列。随着生成式深度学习模型的兴起，开发了用于合成MR图像的方法，以合成额外的MR对比度、生成合成数据或增强现有数据以进行AI训练。然而，用于合成MR图像的当前生成方法仅在具有特定采集参数值集合的图像上训练，这限制了这些方法的临床价值，因为在临床实践中使用了各种采集参数设置集合。因此，我们训练了一个生成对抗网络（GAN），以生成以各种采集参数（重复时间、回波时间、图像方向）为条件的合成MR膝关节图像。这种方法使我们能够合成具有可调图像对比度的MR图像。在视觉图灵测试中，两位专家错误标记了40.5%的真实和合成MR图像，证明生成的合成和真实MR图像的图像质量相当。这项工作可以在MR序列参数化期间通过预览产生的MR对比度来支持放射科医生和技术人员，可以作为放射学培训的有价值的工具，并且可以用于定制数据生成以支持AI培训。
2021-03-01 cs.CV cs.LG eess.IV
A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Beijing Institute of Technology（北京理工大学）
本综述系统梳理了音频扩散模型在文本到语音合成与语音增强任务中的最新进展，按扩散模型应用阶段对TTS方法分类，并按信号增减对语音增强任务分类，同时比较了实验结果。
2023-04-02 cs.AI cs.LG cs.MM
Hierarchical Multi-Grained Generative Model for Expressive Speech Synthesis
Nagoya Institute of Technology（名古屋工业大学）；Microsoft Development Co., Ltd.（微软开发有限公司）
本文提出了一种多粒度隐变量的层次生成模型来合成表达性语音。近年来，文本到语音合成中引入了细粒度的隐变量，使得能够对合成语音的韵律和说话风格进行精细控制。然而，当这些潜变量通过从标准高斯先验中采样来获得时，语音的自然度降低。为了解决这个问题，我们提出了一个新的框架，考虑到依赖于输入文本，层次语言结构，和时间结构的潜变量建模的细粒度的潜变量。该框架包括一个多粒度的变分自编码器，一个条件先验，和一个多层次的自回归潜转换器，以获得不同的时间分辨率的潜变量，并考虑到输入文本从粗层次的潜变量采样细层次的潜变量。实验结果表明，适当的方法采样细粒度的潜变量没有参考信号在合成阶段。我们提出的框架还提供了在整个话语的说话风格的可控性。
2021-12-26 cs.LG cs.SD eess.AS
FedGAN: Federated Generative Adversarial Networks for Distributed Data
Stanford University（斯坦福大学）
我们提出了联邦生成对抗网络（Federated Generative Adversarial Network，FedGAN），用于在通信和隐私约束下训练跨非独立和相同分布数据源的分布式源的GAN。我们的算法使用本地生成器和鉴别器，它们通过平均和广播生成器和鉴别器参数的中介定期同步。我们从理论上证明了FedGAN的收敛性，在标准假设下，使用随机近似和通信效率的随机梯度下降，具有相等的和两个时间尺度更新的生成器和生成器。我们在玩具示例（2D系统，混合高斯和瑞士角色），图像数据集（MNIST，CIFAR-10和CelebA）和时间序列数据集（家庭用电量和电动汽车充电会话）上实验FedGAN。我们证明了FedGAN的收敛性，并具有与一般分布式GAN相似的性能，同时降低了通信复杂性。我们还显示了它的鲁棒性，以减少通信。
2020-06-15 cs.CV cs.LG cs.MA
Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance
Singapore University of Technology and Design（新加坡科技设计大学）；Institute of High Performance Computing, A*STAR（新加坡A*STAR高性能计算研究院）
我们提出了一种基于高斯混合变分自编码器（GM-VAE）的可控神经音频合成器，它可以在音频域中生成逼真的钢琴演奏，该钢琴演奏紧密遵循钢琴演奏的两个基本风格特征的时间条件：清晰度和动态。我们演示了该模型是如何能够在合成音频的过程中应用细粒度的风格变形。这是基于条件，这些条件是可以从先验数据中采样或从其他数据中推断出的潜在变量。设想的用例之一是激发对现有钢琴音乐作品的创造性和全新的诠释。
2020-07-13 cs.LG cs.MM cs.SD
Using generative modelling to produce varied intonation for speech synthesis
University of Edinburgh（爱丁堡大学）
与人类说话者不同，典型的文本到语音（TTS）系统无法产生给定句子的多个不同的再现。这一点以前已经通过增加明确的外部控制来解决。相比之下，生成模型能够捕获多个再现的分布，从而使用采样产生不同的再现。典型的神经TTS模型学习数据的平均值，因为它们最小化了均方误差。在韵律学的背景下，取平均值会产生更平淡、更无聊的演讲：一种“平均韵律”。通过设计，可以合成多个韵律的生成模型将不对平均韵律进行建模。我们使用变分自动编码器（VAE），它明确地将最“平均”的数据放置在高斯先验的平均值附近。我们建议，通过向先验分布的尾部移动，该模型将过渡到生成更多的特质，不同的渲染。这里集中在语调，我们调查自然和语调变化之间的权衡，并发现，典型的声学模型可以是自然的，或变化，但不能两者兼而有之。然而，从VAE先验的尾部采样产生比传统方法更多样的语调，同时保持相同的自然度水平。
2019-09-12 cs.CL cs.LG cs.SD
Complementarity-Preserving Generative Theory for Multimodal ECG Synthesis: A Quantum-Inspired Approach
Morgan State University（摩根州立大学）
本文提出保持互补性的生成理论，通过量子启发框架Q-CFD-GAN生成多模态ECG数据，减少潜在嵌入方差并恢复三领域互补性，提升临床应用的生理意义。
2026-03-16 cs.AI cs.LG eess.IV
Next-Generation Travel Demand Modeling with a Generative Framework for Household Activity Coordination
University of California, Los Angeles（加州大学洛杉矶分校）；UCLA Mobility Lab under the Department of Civil and Environmental Engineering（加州大学洛杉矶分校交通实验室）；University of Louisville（路易斯维尔大学）；Novateur Research Solutions（Novateur研究解决方案）
本文提出一种基于学习的出行需求建模框架，通过整合人口合成、协调活动生成、位置分配与微观交通仿真，在洛杉矶千万人口规模下实现低成本、高可扩展且精准匹配真实数据的家庭活动模式生成。
2025-07-09 cs.AI cs.LG
Generative Adversarial Training for Text-to-Speech Synthesis Based on Raw Phonetic Input and Explicit Prosody Modelling
Adobe Systems（奥多比系统公司）
本文提出一个基于生成对抗训练的端到端语音合成系统，通过显式韵律建模和离散风格令牌，实现高表现力角色声音匹配。
2023-10-14 cs.LG
Generative Audio Synthesis with a Parametric Model
IIT Bombay（印度理工学院孟买分校）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
使用音频的参数化表示来训练生成模型，以获得对所生成的声音的更灵活的控制。
2019-11-15 cs.LG cs.SD eess.AS
Deep Activity Model: A Generative Approach for Human Mobility Pattern Synthesis
University of Los Angeles（加州大学洛杉矶分校）；University of Louisville（路易斯维尔大学）；Texas A&M University（德克萨斯农工大学）
针对现有人类移动模型的局限，提出生成式Transformer模型，结合社会人口统计与家庭属性合成活动链，经数据训练微调后，在多区域模拟中表现良好，为城市规划提供实用工具。
2026-08-13 cs.AI cs.LG
Synthesising Activity Participations and Scheduling with Deep Generative Machine Learning
University College London (UCL), Behaviour and Infrastructure Group (BIG)（伦敦大学学院（UCL）、行为与基础设施组（BIG））
本研究提出一种基于深度生成机器学习的活动参与与调度合成方法，搭配新颖的调度表示与综合评估框架，可快速生成大量真实多样的合成样本，比现有方法更高效简便。
2025-07-07 cs.LG
Learning Neurosymbolic Generative Models via Program Synthesis
University of Pennsylvania（宾夕法尼亚大学）
近年来，在设计更好的生成模型方面取得了重大进展。然而，尽管取得了这一进展，最先进的方法在很大程度上仍然无法捕捉复杂的全球数据结构。例如，建筑物的图像通常包含空间模式，例如以规则间隔重复的窗户;最先进的生成方法无法轻松再现这些结构。我们建议通过将代表全局结构的程序合并到生成模型中来解决这个问题-例如，2D for循环可以表示窗口的配置。此外，我们提出了一个学习这些模型的框架，利用程序合成生成训练数据。在合成和真实世界的数据上，我们证明了我们的方法在生成和完成包含全局结构的图像方面比最先进的方法要好得多。
2019-01-24 cs.LG stat.ML
Visual Perception of Building and Household Vulnerability from Streets
University of Florida（佛罗里达大学）；World Bank Group（世界银行集团）
在发展中国家，建筑法规往往已经过时或没有得到执行。因此，很大一部分住房低于标准，容易受到自然灾害和气候相关事件的影响。评估住房质量是为公共政策和私人投资提供信息的关键。标准评估方法由于成本高，通常仅在抽样/试点基础上进行，或者在完成后，由于不符合建议的更新标准而往往过时，或者大多数用户无法获得采取关键政策或业务决策所需的详细程度。因此，我们提出了一个评估框架，是具有成本效益的第一次捕获和未来的更新，是可靠的块级。该框架补充了现有的工作，即使用街景图像结合深度学习来自动提取建筑信息，以帮助识别房屋特征。然后，我们检查其可扩展性和更高级别的可靠性的潜力。为此，我们创建了一个指数，它综合了住房单元和家庭级别的块级数据的最高可能级别的粒度，并评估我们的模型所做的预测是否可以用于以较低的预算和选定的区域来近似脆弱性条件。我们的研究结果表明，从图像的预测是明确相关的指数。
2022-05-28 cs.CV cs.LG
Exemplar-based synthesis of geology using kernel discrepancies and generative neural networks
Heriot-Watt University（赫瑞-瓦特大学）
我们提出了一个框架，地质图像的合成的基础上，一个样本图像。我们合成新的实现，使实现和样本图像之间的补丁分布的差异最小化。这种差异是量化使用核方法的两个样本测试称为最大平均差异。为了实现快速合成，我们在离线阶段训练生成神经网络，以在部署期间有效地对实现进行采样，同时还提供合成过程的参数化。我们评估一个经典的二进制图像表示渠道地下油藏的框架，发现该方法再现的视觉模式和空间统计学（图像直方图和两点概率函数）的范例图像。
2018-09-21 cs.CV cs.LG stat.AP
TSGM: Regular and Irregular Time-series Generation using Score-based Generative Models
LG AI Research（LG人工智能研究）
本文提出TSGM模型，通过条件分数网络和定制的去噪分数匹配损失，实现规则和不规则时间序列的高质量生成。
2025-11-26 cs.LG
Deep Generative Models, Synthetic Tabular Data, and Differential Privacy: An Overview and Synthesis
Queensland University of Technology（昆士兰科技大学）
该综述聚焦表格数据集场景，梳理了深度生成模型用于合成数据生成的最新进展，阐明其在隐私敏感数据场景的价值、优势与底层概念，分析了应用挑战，为相关研究者和从业者提供参考。
2023-08-27 cs.LG stat.AP stat.CO
Creative divergent synthesis with generative models
IRCAM（法国声学/音乐研究与协调研究所）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
机器学习方法现在在诸如图像、音频或视频等众多领域中实现了令人印象深刻的生成能力。然而，大多数训练和评估框架都围绕着严格建模原始数据分布的想法，而不是试图从中推断。这排除了这些模型偏离原始分布的能力，因此，表现出一些创造性的特征。在本文中，我们提出了如何实现这一复杂目标的各种观点，并提供了我们的新的训练目标称为\textit{Bounded Adversarial Divergence}（BAD）的初步结果。
2022-11-16 cs.LG stat.ML
IMAGIC-500: IMputation benchmark on A Generative Imaginary Country (500k samples)
University of Oxford（牛津大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
该研究基于世界银行合成家庭调查数据构建含500k样本的IMAGIC-500，并在多种缺失机制和缺失率下系统评估各类插补方法。
2025-06-10 cs.CE cs.LG
Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis
NVIDIA（英伟达）
在本文中，我们提出了Flowtron：一个自回归流为基础的生成网络的文本到语音合成控制语音变化和风格转移。Flowtron借鉴了IAF的见解，并对Tacotron进行了改造，以提供高质量和富有表现力的熔体光谱图合成。Flowtron通过最大化训练数据的可能性进行优化，这使得训练简单而稳定。Flowtron学习数据到潜在空间的可逆映射，可以操纵该潜在空间来控制语音合成的许多方面（音高、音调、语速、节奏、口音）。我们的平均意见得分（MOS）显示，Flowtron在语音质量方面与最先进的TTS模型相匹配。此外，我们还提供了控制语音变化，样本之间的插值和训练过程中看到和看不到的扬声器之间的风格转移的结果。代码和预训练模型将在https://github.com/NVIDIA/flowtron上公开提供
2020-07-16 cs.CL cs.LG cs.SD
