Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement
Sony Computer Science Laboratories, Tokyo, Japan（索尼计算机科学实验室，东京，日本）
本文提出无需 MIDI-音频配对数据的 CoSaRef，结合拼接合成与扩散生成式精修，实现多样化、可细粒度控制的逼真 MIDI 到音频合成，并在主客观评价中超过现有监督方法。
2025-06-11 cs.LG cs.SD eess.AS
Artificially Synthesising Data for Audio Classification and Segmentation to Improve Speech and Music Detection in Radio Broadcast
University of Plymouth（普利茅斯大学）；University of Glasgow（格拉斯哥大学）；Anglia Ruskin University（安格利亚鲁斯金大学）；Brighton and Sussex Medical School（布莱顿与苏塞克斯医学院）
将音频分割成音乐和语音等同质部分有助于我们理解音频的内容。它是一个有用的预处理步骤，索引，存储和修改录音，无线电广播和电视节目。用于分割的深度学习模型通常在受版权保护的材料上进行训练，这些材料不能共享。注释这些数据集既耗时又昂贵，因此会大大减缓研究进度。在这项研究中，我们提出了一种新的程序，人工合成类似于无线电信号的数据。我们复制了电台DJ在混音中的工作流程，并研究了淡入淡出曲线和音频回避等参数。我们在这些合成数据上训练了卷积递归神经网络（CRNN），并在音乐语音检测方面优于最先进的算法。本文展示了数据合成过程作为一种高效的技术来生成大型数据集，以训练深度神经网络进行音频分割。
2021-02-19 cs.LG cs.SD eess.AS
A Survey on Audio Synthesis and Audio-Visual Multimodal Processing
University of Electronic Science and Technology of China（电子科技大学）
随着深度学习和人工智能的发展，音频合成在机器学习领域有着举足轻重的地位，在行业中显示出很强的适用性。与此同时，研究者们也致力于处理多模态任务，如视听多模态处理。在本文中，我们进行了调查，音频合成和视听多模态处理，这有助于了解当前的研究和未来的趋势。本文综述了文本转语音（TTS），音乐生成和一些结合视觉和听觉信息的任务。对相应的技术方法进行了全面的分类介绍，并展望了其未来的发展趋势。本文的研究成果可为音频合成、视听多模态处理等领域的研究者提供一定的指导。
2021-08-01 cs.SD eess.AS
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Full-band General Audio Synthesis with Score-based Diffusion
Dolby Laboratories（杜比实验室）
最近的工作表明，深度生成模型能够从单个标签处理一般音频合成，产生各种脉冲，音调和环境声音。这样的模型对带限信号进行操作，并且作为自回归方法的结果，它们通常由预训练的潜在编码器和/或若干级联模块来符合。在这项工作中，我们提出了一个基于扩散的生成模型的一般音频合成，命名为DAG，它处理全频带信号端到端的波形域。结果表明，DAG优于现有的标签条件发电机的质量和多样性。更具体地，当与现有技术相比时，DAG的带限和全带版本分别实现了高达40%和65%的相对改进。我们相信，DAG是足够灵活，以适应不同的条件图式，同时提供高质量的合成。
2022-10-26 cs.LG cs.SD eess.AS
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin（都柏林理工大学）
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而，最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富，以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外，它并不代表声音的方式，它被认为是。因此，在许多情况下，原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外，有条件的形式选择，额外的条件表示，不同的模型架构，和众多的指标，用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外，它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法，这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis
IRCAM - Sorbonne Université（IRCAM - 索邦大学）；CNRS UMR 9912（法国国家科学研究中心 UMR 9912）
应用于音频的深度生成模型在许多语音和音乐相关任务中大大提高了最先进的水平。然而，由于原始波形建模仍然是固有地困难的任务，因此音频生成模型是计算密集型的，依赖于低采样率，控制或限制可能信号的性质是复杂的。在这些模型中，变分自编码器（VAE）通过暴露潜在变量来控制生成，尽管它们通常遭受低合成质量。在本文中，我们介绍了一种实时音频变分自编码器（RAVE），允许快速和高质量的音频波形合成。我们引入了一种新的两阶段训练过程，即表示学习和对抗性微调。我们表明，使用潜在空间的训练后分析允许重建保真度和表示紧凑性之间的直接控制。通过利用原始波形的多频带分解，我们证明了我们的模型是第一个能够生成48kHz音频信号的模型，同时在标准笔记本电脑CPU上运行的速度比实时快20倍。我们使用定量和定性主观实验来评估合成质量，并显示出我们的方法与现有模型相比的优越性。最后，我们提出了我们的模型的音色转移和信号压缩的应用。我们所有的源代码和音频示例都是公开的。
2021-12-15 cs.LG cs.SD eess.AS
Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics（国立信息学研究所）
语音合成和从符号输入生成音乐音频在许多方面不同，但有一些相似之处。在这项研究中，我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件，我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统，例如基于样本和基于物理建模的方法。主观实验结果表明，所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声，给定的自然声学特征，从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法，但我们鼓励TTS研究人员测试他们的TTS模型，以完成这项新任务，并提高性能。
2022-02-24 cs.SD eess.AS
Upsampling artifacts in neural audio synthesis
Dolby Laboratories（杜比实验室）
神经音频合成的许多最新进展依赖于上采样层，这可能会引入不期望的伪影。在计算机视觉中，上采样伪影已经被研究并且被称为棋盘伪影（由于其特征视觉图案）。然而，在音频处理中，它们的作用一直被忽视。在这里，我们通过从音频信号处理的角度研究这个问题来解决这个差距。我们首先表明上采样伪影的主要来源是：（i）有问题的上采样算子引入的色调和滤波伪影，以及（ii）上采样时出现的光谱副本。然后，我们比较了不同的上采样层，表明最近邻上采样器可以替代有问题的（但最先进的）转置和子像素卷积，这些卷积容易引入色调伪影。
2021-02-09 cs.LG cs.SD eess.AS
Learning Disentangled Audio Representations through Controlled Synthesis
Institute of Cognitive Science（认知科学研究所）；Universität Osnabrück（奥斯纳布吕克大学）
本文针对解耦听觉表示学习中基准数据稀缺的问题，提出具有明确真值解释因子的合成数据集SynTone，通过基准测试评估最先进方法，揭示了音频解耦的优势与局限，为未来研究提供动力。
2024-02-16 cs.LG cs.SD eess.AS
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University（庆北国立大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
用于音频合成的深度生成模型最近得到了显着改进。然而，对原始波形进行建模的任务仍然是一个困难的问题，特别是对于音频波形和音乐信号。最近，开发了用于高质量音频波形合成的实时音频变分自编码器（RAVE）方法。RAVE方法基于变分自编码器，并采用两阶段训练策略。不幸的是，RAVE模型在再现宽音高复调音乐声音方面受到限制。因此，为了提高重建性能，我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息，我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构，我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚（MUSHRA）与MAESTRO。结果表明，该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
VaPar Synth -- A Variational Parametric Model for Audio Synthesis
Indian Institute of Technology Bombay（印度理工学院孟买分校）；ENS Paris-Saclay（巴黎-萨克雷高等师范学院）
随着数据驱动的统计建模和丰富的计算能力的出现，研究人员越来越多地转向深度学习来进行音频合成。这些方法试图直接在时域或频域中对音频信号进行建模。为了更灵活地控制所生成的声音，利用更直接地对应于诸如音高、动态和音色的音乐属性的信号的参数表示来工作可能更有用。我们提出了VaPar合成器-变分参数合成器，它利用一个条件变分自动编码器（CVAE）训练一个合适的参数表示。我们证明了我们提出的模型的能力，通过重建和生成的乐器音调灵活控制其音高。
2020-03-30 cs.LG cs.SD eess.AS
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
BinauralGrad: A Two-Stage Conditional Diffusion Probabilistic Model for Binaural Audio Synthesis
University of Science and Technology of China（中国科学技术大学）；Imperial College London（帝国理工学院）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音部门）；University of Surrey（萨里大学）；South China University of Technology（华南理工大学）
双耳音频在构建沉浸式增强现实和虚拟现实中起着重要作用。由于从真实世界录制双耳音频的成本很高，因此从单声道音频合成双耳音频引起了越来越多的关注。该合成过程不仅涉及单声道音频的基本物理扭曲，而且涉及房间混响和头/耳相关滤波，然而，这些在传统的数字信号处理中难以准确地模拟。在本文中，我们从不同的角度制定的合成过程，通过分解的双耳音频到一个共同的部分，共享的左，右通道，以及一个特定的部分，在每个通道不同。因此，我们提出了BinauralGrad，一个新的两阶段的框架，配备了扩散模型，分别合成它们。具体地，在第一阶段中，利用以单声道音频为条件的单声道扩散模型来生成双耳音频的公共信息，基于此，在第二阶段中通过双声道扩散模型来生成双耳音频。将这种两阶段合成的新视角与先进的生成模型（即，扩散模型），所提出的BinauralGrad能够生成准确和高保真的双耳音频样本。实验结果表明，在基准数据集上，BinauralGrad在对象和主题评估指标方面都大大优于现有基线（Wave L2：0.128 vs. 0.157，MOS：3.80 vs. 3.61）。生成的音频样本（https：//speechresearch.github.io/binauralgrad）和代码（https：//github.com/microsoft/NeuralSpeech/tree/master/BinauralGrad）可在线…
2022-11-29 cs.LG cs.SD eess.AS
Introducing Latent Timbre Synthesis
Simon Fraser University（西蒙弗雷泽大学）；Zurich University of the Arts（苏黎世艺术大学）
我们提出了潜在音色合成（LTS），这是一种使用深度学习的新音频合成方法。该合成方法允许作曲家和声音设计师使用音频帧的潜在空间在多个声音的音色之间进行内插和外推。我们提供了两个变分自动编码器的LTS架构的细节，并比较他们的优点和缺点。该实现包括一个完全工作的应用程序与图形用户界面，称为\textit{interpolate\_two}，它使从业者能够探索他们选择的两个音频摘录之间的音色使用内插和外推在音频帧的潜在空间。我们的实现是开源的，我们的目标是通过为具有任何技术背景的用户提供指南来提高这项技术的可访问性。
2020-05-31 cs.LG cs.SD eess.AS
Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出SpanSynth-Edit，一种基于流匹配的MIDI引导多乐器音频合成与编辑模型，利用标量量化潜变量和MIDI Span条件化，实现帧内起始控制，并在基准上取得竞争力表现。
2026-09-23 cs.LG cs.SD eess.AS
Adversarial Generation of Time-Frequency Features with application in audio synthesis
Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）；Swiss Data Science Center, ETH Zürich（苏黎世联邦理工学院瑞士数据科学中心）
时频（TF）表示为时间序列（如音频）的分析提供了强大而直观的功能。但是，TF域中音频的生成建模仍然是一个微妙的问题。因此，神经音频合成广泛地依赖于直接对波形进行建模，并且先前从神经生成的可逆TF特征无条件地合成音频的尝试仍然难以以令人满意的质量产生音频。在这篇文章中，我们将重点关注短时傅里叶变换，讨论基于生成的可逆TF特征的音频合成中出现的挑战以及如何克服这些挑战。我们通过在短时傅立叶特征上训练生成对抗网络（GAN）来展示故意生成TF建模的潜力。我们表明，通过应用我们的指导方针，我们基于TF的网络能够超越直接生成波形的最先进的GAN，尽管这两个网络的架构相似。
2019-05-16 cs.LG cs.SD eess.AS
Adversarial Audio Synthesis
UC San Diego（加利福尼亚大学圣地亚哥分校）
音频信号以高时间分辨率进行采样，学习合成音频需要在一系列时间尺度上捕获结构。生成对抗网络（GANs）在生成局部和全局一致的图像方面取得了广泛的成功，但它们几乎没有应用于音频生成。在本文中，我们介绍了WaveGAN，这是首次尝试将GANs应用于原始波形音频的无监督合成。WaveGAN能够合成具有全局相干性的音频波形的一秒切片，适用于音效生成。我们的实验表明，在没有标签的情况下，WaveGAN在小词汇量语音数据集上训练时可以学习产生可理解的单词，并且还可以合成来自其他领域的音频，如鼓，鸟叫声和钢琴。我们将WaveGAN与一种方法进行了比较，该方法将为图像生成而设计的GANs应用于类似图像的音频特征表示，发现这两种方法都很有前途。
2019-02-09 cs.LG cs.SD
Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California（南加州大学）；National Institute of Informatics（国立信息学研究所）
由于音乐与符号输入的语音合成的相似性以及文语转换（TTS）技术的快速发展，借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中，我们分析了基于TTS的MIDI到音频系统的不足之处，并改进它的特征计算，模型选择和训练策略，旨在合成高度自然的声音。此外，我们进行了广泛的模型评估，通过听力测试，音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成，而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
GANSynth: Adversarial Neural Audio Synthesis
Google AI（谷歌AI）
高效的音频合成是一项固有的困难的机器学习任务，因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型，如WaveNet，以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模，而生成对抗网络（GANs）具有全局潜在条件和高效的并行采样，但难以生成局部相干的音频波形。在本文中，我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究，我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线，并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego（加州大学圣迭戈分校）；New York University（纽约大学）
提出 network modulation synthesis 框架及新生成算法，帮助用户在自编码器潜在空间中构造时变参数，扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
One Billion Audio Sounds from GPU-enabled Modular Synthesis
Spooky Audio；University of Victoria（维多利亚大学）；McGill University（麦吉尔大学）
我们发布了一个多模态音频语料库，由10亿个4秒合成声音组成，并与用于生成它们的合成参数配对。该数据集比文献中的任何音频数据集都大100倍。我们还介绍了torchsynth，这是一个开源的模块化合成器，它在单个GPU上以比实时（714MHz）快16200倍的速度动态生成1B1样本。最后，我们发布了两个新的音频数据集：FM合成音色和减法合成音高。使用这些数据集，我们展示了新的基于排名的评估标准，现有的音频表示。最后，我们提出了一种新的综合器超参数优化方法。
2021-07-20 cs.AI cs.LG cs.SD
Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance
Sony AI, Tokyo, Japan（索尼人工智能（东京，日本））；Sony Group Corporation, Tokyo, Japan（索尼集团公司（东京，日本））
提出逐步视频到音频生成方法，通过负音频引导避免重复生成，增强声音分离性和最终音频质量，优于现有基线。
2026-07-01 cs.CV cs.LG cs.SD
Relational Synthesis: Structure-Mediated Concatenative Synthesis for Foley and Retrieval-Augmented Audio Generation
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出关系合成方法，通过Gromov式结构代价将参考音频的时间结构与幅度运动转移到源音频颗粒拼接中，实现不复制片段且保持声学一致的拟音生成，并可与神经RAG自然集成。
2026-10-06 cs.AI cs.LG cs.SD
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University（纽约大学）
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成，提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
Zero-Shot Mono-to-Binaural Speech Synthesis
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
提出首个零样本神经方法 ZeroBAS，利用无参数几何变换与预训练去噪声码器，从单耳音频和位置信息合成双耳音频，在分布外数据上超越监督方法。
2025-05-28 cs.LG cs.SD eess.AS
Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本研究提出Rhythmic Foley视频转音频合成框架，通过语义对齐与时间同步双适配器及对比音视频预训练编码器，解决音视频不同步和语义丢失问题，提升生成音频质量与可控性，实验验证了其音视频无缝对齐的有效性。
2024-09-13 cs.MM cs.SD eess.AS
A Melody-Unsupervision Model for Singing Voice Synthesis
KAIST（韩国科学技术院）
最近在歌唱声音合成方面的研究已经取得了高质量的结果，这些结果利用了基于深度神经网络的文本到语音模型的进步。训练歌唱声音合成模型的主要问题之一是它们需要旋律和歌词标签与音频数据在时间上对齐。在准备训练数据时，时间对齐是一项耗时的手动工作。为了解决这个问题，我们提出了一个旋律无监督模型，只需要在训练时间没有时间对齐的音频和歌词对，但在推理时间给定的旋律和歌词输入生成歌声音频。该模型由一个音素分类器和一个歌唱声发生器组成，以端到端的方式联合训练。该模型可以通过调整时间对齐的旋律标签的监督量来微调。通过在旋律无监督和半监督环境下的实验，比较了合成歌唱声的音频质量。我们还表明，该模型能够用语音音频和文本标签进行训练，但可以在推理时间内生成歌声。
2022-04-14 cs.LG cs.SD eess.AS
Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
提出Diff-Foley，一种基于潜在扩散模型和对比视听预训练的同步视频到音频合成方法，通过双重引导显著提升生成质量，在大规模数据集上达到最先进性能。
2023-06-29 cs.CV cs.LG cs.SD
An Audio Synthesis Framework Derived from Industrial Process Control
University of Mumbai（孟买大学）
自其概念以来，数字合成对音乐的发展产生了重大影响，导致了新的流派和制作风格。通过现有的合成技术，人们可以重新创建自然发生的声音，以及产生创新的人造音色。然而，音频技术的研究继续追求合成声音的新方法，保持音乐的变化不变。本研究试图重新定义用于反馈过程控制的比例-积分-微分（PID）算法，以制定一个新的综合技术的框架。然后将该框架实现为Python应用程序，以研究可用的控制参数及其对合成输出的影响。此外，应用这种技术作为音频信号和LFO发生器，包括其潜在的替代FM和Wavetable合成技术，进行了详细研究。研究最后强调了目前框架中的一些不完善之处，以及为解决这些问题而可能考虑的研究方向。
2021-09-21 cs.SD eess.AS
CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models
Dolby（杜比实验室）
该研究提出CLIPSonic模型，以无标注视频的视觉模态为桥梁，结合预训练CLIP模型与扩散先验模型实现文本到音频合成，有效缩小模态迁移差距，性能可媲美现有图像到音频合成的最优模型。
2023-07-23 cs.LG cs.MM cs.SD
Large-scale unsupervised audio pre-training for video-to-speech synthesis
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
针对视频转语音合成难以利用纯音频数据的问题，本文提出用3500多小时24kHz无标签音频预训练编码器-解码器，再初始化跨模态音频解码器，显著提升重建语音质量。
2023-07-31 cs.CV cs.LG cs.SD
DarkGAN: Exploiting Knowledge Distillation for Comprehensible Audio Synthesis with GANs
Telecom Paris（巴黎电信学院）；IP Paris（巴黎综合理工学院）；Sony Computer Science Laboratories（索尼计算机科学研究所）
生成对抗网络（GANs）在过去几年中实现了出色的音频合成质量。然而，使它们与语义上有意义的控件一起操作仍然是一个开放的挑战。一种明显的方法是通过将GAN调节到音频数据集中包含的元数据来控制它。不幸的是，音频数据集往往缺乏所需的注释，特别是在音乐领域。避免这种注释缺乏的一种方法是生成注释，例如，使用自动音频标记系统。这种系统的输出概率（所谓的“软标签”）携带关于相应音频的特征的丰富信息，并且可以用于将知识从教师模型提取到学生模型中。在这项工作中，我们执行知识蒸馏从一个大型的音频标记系统到一个对抗性的音频合成器，我们称之为DarkGAN。结果表明，DarkGAN可以合成具有可接受质量的音乐音频，并且即使在分布外输入条件下也表现出适度的属性控制。我们在附带的网站上发布代码并提供音频示例。
2021-08-03 cs.SD eess.AS
AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
The Hong Kong University of Science and Technology（香港科学与技术大学）；University of Central Florida（佛罗里达中央大学）
本文提出AC-Foley模型，通过直接利用参考音频实现精确的音频合成与声学迁移，解决传统方法在语义粒度和文本模糊性上的瓶颈，提升音频生成质量与细粒度控制能力。
2026-03-20 cs.CV cs.LG cs.MM
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA；MIT（麻省理工学院）
本文提出Audio-SDS，将分数蒸馏采样推广到文本条件音频扩散模型，利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务，无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance
Singapore University of Technology and Design（新加坡科技设计大学）；Institute of High Performance Computing, A*STAR（新加坡A*STAR高性能计算研究院）
我们提出了一种基于高斯混合变分自编码器（GM-VAE）的可控神经音频合成器，它可以在音频域中生成逼真的钢琴演奏，该钢琴演奏紧密遵循钢琴演奏的两个基本风格特征的时间条件：清晰度和动态。我们演示了该模型是如何能够在合成音频的过程中应用细粒度的风格变形。这是基于条件，这些条件是可以从先验数据中采样或从其他数据中推断出的潜在变量。设想的用例之一是激发对现有钢琴音乐作品的创造性和全新的诠释。
2020-07-13 cs.LG cs.MM cs.SD
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
Real-valued parametric conditioning of an RNN for interactive sound synthesis
National University of Singapore（新加坡国立大学）
用于音频合成的递归神经网络（RNN）通过用关于信号特征（诸如音高、幅度和乐器）的信息来增强音频输入来训练。训练后的结果是音频合成器，其像乐器一样演奏，具有作为连续参数控制提供的期望的音乐特性。本文的重点是用实值参数调节数据驱动的综合模型，特别是系统a）泛化和b）响应训练期间未看到的参数值和序列的能力。
2018-05-30 cs.LG cs.SD eess.AS
Towards Lightweight Controllable Audio Synthesis with Conditional Implicit Neural Representations
University of Amsterdam（阿姆斯特丹大学）；Royal Conservatoire The Hague（海牙皇家音乐学院）；AMLab（阿姆斯特丹机器学习实验室）
音频的高时间分辨率和我们对波形中的小不规则性的感知敏感性使得以高采样率进行合成成为复杂且计算密集的任务，从而在许多方法中禁止实时可控合成。在这项工作中，我们的目标是阐明条件隐式神经表征（CINRs）作为音频合成生成框架中的轻量级骨干的潜力。我们的实验表明，小的周期性条件INR（PCINR）学习速度更快，通常比具有相同参数计数的转置卷积神经网络产生定量更好的音频重建。然而，它们的性能对激活缩放超参数非常敏感。当学习表示更均匀的集合时，PCINR倾向于在重建中引入人工高频分量。我们验证了这种噪声可以通过在训练过程中应用标准权重正则化或降低PCINR的组成深度来最小化，并为未来的研究提出了方向。
2021-12-02 cs.LG cs.SD
Streamable Neural Audio Synthesis With Non-Causal Convolutions
IRCAM（声学音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
深度学习模型大多以离线推理的方式使用。然而，这严重限制了这些模型在音频生成设置中的使用，因为大多数创意工作流程都基于实时数字信号处理。虽然基于递归网络的方法可以自然地适应这种基于缓冲区的计算，但卷积的使用仍然带来了一些严重的挑战。为了解决这个问题，已经提出了因果流卷积的使用。然而，这需要特定的复杂化训练，并可能影响最终的音频质量。在本文中，我们介绍了一种新的方法，允许产生非因果流模型。这允许使任何卷积模型与基于实时缓冲器的处理兼容。由于我们的方法是基于模型的训练后重新配置，我们证明了它能够将没有因果约束的训练模型转换为流模型。我们展示了我们的方法可以适应复杂的架构与并行分支。为了评估我们的方法，我们将其应用于最近的RAVE模型，该模型提供了高质量的实时音频合成。我们在多个音乐和语音数据集上测试了我们的方法，并表明它比附加方法更快，同时对生成质量没有影响。最后，我们介绍了两个开源的实现我们的工作作为Max/MSP和PureData外部，并作为一个VST音频插件。这允许在笔记本电脑CPU上赋予传统的数字音频工作站实时神经音频合成。
2022-04-14 cs.LG cs.SD eess.AS
Audio Texture Synthesis with Scattering Moments
New York University（纽约大学）；Courant Institute（库朗研究所）
提出了一种基于散射矩的音频纹理合成算法。散射变换是通过用复数小波滤波器组迭代地分解信号并计算它们的幅度包络来计算的。散射矩提供了作为散射系数的期望值计算的平稳过程的一般表示。它们是用来自单一实现的低方差估计量估计的。利用梯度下降算法合成具有预定散射矩的音频信号。音频合成的例子表明，散射表示提供了良好的合成音频纹理与更少的系数比现有技术。
2013-11-02 cs.SD stat.AP
Deep generative models for musical audio synthesis
National University of Singapore（新加坡国立大学）
声音建模是开发在参数控制下生成声音的算法的过程。历史上已经开发了一些不同的方法，包括对声音产生和传播的物理学进行建模，组装信号生成和处理元件以捕获声学特征，以及操纵记录的音频样本的集合。虽然这些方法中的每一种都能够为特定的应用实现高质量的合成和交互，但它们都是劳动密集型的，并且每一种都有自己的挑战，需要设计任意的控制策略。最近用于音频合成的生成式深度学习系统能够学习模型，这些模型可以遍历由它们训练的数据定义的任意声音空间。此外，机器学习系统正在为这些模型提供设计控制和导航策略的新技术。本文回顾了深度学习的发展，这些发展正在改变声音建模的实践。
2020-11-25 cs.LG cs.SD eess.AS
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney（悉尼大学）
针对神经音频合成依赖离散标签、难以细微控制声音的问题，本文提出基于GAN的隐式条件化方法ICGAN，构建连续条件空间实现无显式标签的可解释音色操控，并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
Comparing Representations for Audio Synthesis Using Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；Télecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
在本文中，我们比较了不同的音频信号表示，包括原始音频波形和各种时频表示，用于生成对抗网络（GANs）的音频合成任务。我们在NSynth数据集的一个子集上进行实验。该架构遵循基准Progressive Growing Wasserstein GAN。我们以完全无条件的方式进行实验，并在音高信息上调节网络。我们利用标准指标对生成的材料进行定量评估，以评估生成模型，并比较训练和采样时间。我们表明，复值以及幅度和瞬时频率的短时傅里叶变换达到最佳效果，并产生快速生成和反转时间。用于特征提取、训练和评估模型的代码可在线获得。
2020-06-17 cs.SD eess.AS
Deep Transform: Time-Domain Audio Error Correction via Probabilistic Re-Synthesis
University of Surrey（萨里大学）
在时域音频信号的记录、存储和传输过程中，可能会引入难以以无人监督的方式校正的错误。在这里，我们训练卷积深度神经网络，以在其输出层重新合成输入的时域语音信号。然后，我们使用这种抽象变换，我们称之为深度变换（DT），对已降级的（同一说话者的）进一步语音执行概率重新合成。使用卷积DT，我们证明了语音音频的恢复，已受到极端退化。这种方法对于校正通信设备中的错误可能是有用的。
2015-03-19 cs.LG cs.NE cs.SD
Efficient Neural Audio Synthesis
DeepMind（深度思维）；Google Brain（谷歌大脑）
序列模型在音频、视觉和文本领域实现了最先进的结果，既可以估计数据分布，又可以生成高质量的样本。然而，这类模型的有效采样仍然是一个难以捉摸的问题。重点放在文本到语音合成，我们描述了一套通用的技术，减少采样时间，同时保持高的输出质量。我们首先描述了一个单层递归神经网络WaveRNN，它有一个双softmax层，与最先进的WaveNet模型的质量相匹配。该网络的紧凑形式使得在GPU上生成24 kHz 16位音频的速度比实时的快4倍。其次，我们应用权重修剪技术来减少WaveRNN中的权重数量。我们发现，对于常数数量的参数，大型稀疏网络比小型密集网络表现更好，这种关系适用于稀疏度超过96%的网络。稀疏波RNN中的少量权重使得在移动CPU上实时的采样高保真音频成为可能。最后，我们提出了一个新的生成方案的基础上subscaling折叠成一批较短的序列，并允许一次生成多个样本的长序列。Subscale WaveRNN每步产生16个样本，而不会损失质量，并提供了一种提高采样效率的正交方法。
2018-06-25 cs.LG cs.SD eess.AS
Continuous descriptor-based control for deep audio synthesis
IRCAM - Sorbonne Université（声学与音乐研究协调研究所 - 索邦大学）；CNRS UMR 9912（法国国家科学研究中心 UMR 9912）
尽管在用于音乐生成的深度模型方面取得了重大进展，但这些技术的使用仍然限于专家用户。在音乐家中民主化之前，生成模型必须首先提供对生成的表达控制，因为这是将深度生成模型集成到创作工作流程中的条件。在本文中，我们通过引入一个深度生成音频模型来解决这个问题，该模型提供了表达性和连续的基于合成器的控制，同时保持足够的轻量级以嵌入到硬件合成器中。我们通过使用对抗性混淆标准明确删除潜在空间中的突出音乐特征来加强实时生成的可控性。用户指定的功能，然后重新引入作为额外的条件信息，允许连续控制的产生，类似于一个合成器旋钮。我们评估了我们的方法在各种各样的声音上的性能，包括乐器，乐器和语音录音，同时提供音色和属性转移，允许产生声音的新方法。
2023-02-27 cs.LG cs.SD eess.AS
Deep Performer: Score-to-Audio Music Performance Synthesis
Dolby Laboratories（杜比实验室）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
音乐演奏合成的目的是将乐谱合成为自然的演奏。在本文中，我们借用了文本到语音合成的最新进展，并提出了深度表演者-一种新的系统，用于乐谱到音频的音乐表演合成。与演讲不同，音乐通常包含复调和长音符。因此，我们提出了两种新的技术，用于处理复调输入，并提供了一个细粒度的条件下的Transformer编码器-解码器模型。为了训练我们提出的系统，我们提出了一个新的小提琴数据集，包括成对的录音和分数以及它们之间的估计对齐。我们表明，我们提出的模型可以合成清晰的复调和谐波结构的音乐。在听力测试中，我们实现了与基线模型（一种条件生成音频模型）在音高准确性、音色和噪声水平方面具有竞争力的质量。此外，我们提出的模型在整体质量上显着优于现有钢琴数据集的基线。
2022-02-21 cs.LG cs.MM cs.SD
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London（伦敦玛丽女王大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对文本到音频合成中迭代慢、计算重的问题，提出轻量级离散模型SpecMaskGIT，基于频谱图掩码生成建模，以少于16次迭代合成10秒音频，性能优于更大模型，并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis
National University of Singapore（新加坡国立大学）
针对潜在扩散模型长音频合成推理效率低的问题，提出LiteFocus方法，采用同频聚焦+跨频补偿的双稀疏注意力机制，实现80秒音频推理提速1.99倍且音质提升。
2024-07-15 cs.AI cs.SD eess.AS
WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis
Google Brain（谷歌大脑）
介绍了一种用于文本转语音合成的非自回归生成模型WaveGrad 2。WaveGrad 2被训练以估计给定音素序列的波形的对数条件密度的梯度。该模型采用输入音素序列，并通过迭代细化过程，生成音频波形。这与原始WaveGrad声码器形成对比，原始WaveGrad声码器以由单独模型生成的梅尔频谱图特征为条件。迭代细化过程从高斯噪声开始，并且通过一系列细化步骤（例如，50步），逐步恢复音频序列。WaveGrad 2提供了一种自然的方式，通过调整细化步骤的数量，在推理速度和样本质量之间进行权衡。实验表明，该模型能够产生高保真的音频，接近最先进的神经文语转换系统的性能。我们还报告了不同模型配置的各种消融研究。音频样本可在https://wavegrad.github.io/v2上获得。
2021-06-19 cs.LG cs.SD eess.AS
Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在[1，2]中，作者提供了从脑电图（EEG）特征合成语音的初步结果，其中他们首先从EEG特征预测声学特征，然后使用griffin lim重建算法从预测的声学特征重建语音。在本文中，我们首先介绍了一种深度学习模型，该模型将原始EEG波形信号作为输入，并直接产生音频波形作为输出。然后，我们展示了从EEG特征预测16种不同的声学特征。在本文中，我们展示了我们的研究结果为口语和听力条件。本文提出的结果显示了不同的声学特征是如何与非侵入性的神经脑电信号记录在语音感知和生产。
2020-05-29 cs.LG cs.SD eess.AS
PTQ4ADM: Post-Training Quantization for Efficient Text Conditional Audio Diffusion Models
University of California, Davis（加州大学戴维斯分校）；University of California Davis Health（加州大学戴维斯健康中心）；University of South Florida（南佛罗里达大学）
提出PTQ4ADM框架，通过覆盖驱动的提示增强和激活感知校准集生成算法量化音频扩散模型，在减少70%模型大小的同时保持与全精度模型相当的合成质量。
2024-09-20 cs.LG cs.SD eess.AS
Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出通过文本到音频嵌入模块重编程预训练音频驱动模型，使其支持文本驱动说话人脸合成，并保留音频输入灵活性。
2024-01-18 cs.CV cs.GR cs.SD
