Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出SpanSynth-Edit，一种基于流匹配的MIDI引导多乐器音频合成与编辑模型，利用标量量化潜变量和MIDI Span条件化，实现帧内起始控制，并在基准上取得竞争力表现。
2026-09-23 cs.LG cs.SD eess.AS
Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance
Singapore University of Technology and Design（新加坡科技设计大学）；Institute of High Performance Computing, A*STAR（新加坡A*STAR高性能计算研究院）
我们提出了一种基于高斯混合变分自编码器（GM-VAE）的可控神经音频合成器，它可以在音频域中生成逼真的钢琴演奏，该钢琴演奏紧密遵循钢琴演奏的两个基本风格特征的时间条件：清晰度和动态。我们演示了该模型是如何能够在合成音频的过程中应用细粒度的风格变形。这是基于条件，这些条件是可以从先验数据中采样或从其他数据中推断出的潜在变量。设想的用例之一是激发对现有钢琴音乐作品的创造性和全新的诠释。
2020-07-13 cs.LG cs.MM cs.SD
Introducing Latent Timbre Synthesis
Simon Fraser University（西蒙弗雷泽大学）；Zurich University of the Arts（苏黎世艺术大学）
我们提出了潜在音色合成（LTS），这是一种使用深度学习的新音频合成方法。该合成方法允许作曲家和声音设计师使用音频帧的潜在空间在多个声音的音色之间进行内插和外推。我们提供了两个变分自动编码器的LTS架构的细节，并比较他们的优点和缺点。该实现包括一个完全工作的应用程序与图形用户界面，称为\textit{interpolate\_two}，它使从业者能够探索他们选择的两个音频摘录之间的音色使用内插和外推在音频帧的潜在空间。我们的实现是开源的，我们的目标是通过为具有任何技术背景的用户提供指南来提高这项技术的可访问性。
2020-05-31 cs.LG cs.SD eess.AS
GANSynth: Adversarial Neural Audio Synthesis
Google AI（谷歌AI）
高效的音频合成是一项固有的困难的机器学习任务，因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型，如WaveNet，以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模，而生成对抗网络（GANs）具有全局潜在条件和高效的并行采样，但难以生成局部相干的音频波形。在本文中，我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究，我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线，并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Fre-GAN: Adversarial Frequency-consistent Audio Synthesis
Korea University（高丽大学）；Netmarble Corporation（网石公司）
虽然最近的神经声码器的工作已经提高了合成音频的质量，但在频率空间中生成的音频和地面真实音频之间仍然存在差距。这种差异会导致频谱伪像，如嘶嘶声噪声或混响，从而降低样本质量。在本文中，我们提出了Fre-GAN，它实现了频率一致的音频合成，并大大提高了生成质量。具体来说，我们首先提出了分辨率连接的生成器和分辨率鉴别器，这有助于学习多个频段上的各种尺度的频谱分布。此外，为了准确地再现高频分量，我们在鉴别器中利用离散小波变换。从我们的实验中，Fre-GAN实现了高保真波形生成，与地面实况音频相比，差距仅为0.03 MOS，同时在质量上优于标准模型。
2021-06-14 cs.LG eess.AS
Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
提出Diff-Foley，一种基于潜在扩散模型和对比视听预训练的同步视频到音频合成方法，通过双重引导显著提升生成质量，在大规模数据集上达到最先进性能。
2023-06-29 cs.CV cs.LG cs.SD
CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models
Dolby（杜比实验室）
该研究提出CLIPSonic模型，以无标注视频的视觉模态为桥梁，结合预训练CLIP模型与扩散先验模型实现文本到音频合成，有效缩小模态迁移差距，性能可媲美现有图像到音频合成的最优模型。
2023-07-23 cs.LG cs.MM cs.SD
Audio Input Generates Continuous Frames to Synthesize Facial Video Using Generative Adiversarial Networks
School of Information Technology and Electrical Engineering（信息技术与电气工程学院）；The University of Queensland（昆士兰大学）
本文提出了一种基于音频的语音视频生成的简单方法：给定一段音频，我们可以生成一个视频的目标人脸说这个音频。本文提出了一种生成对抗网络（GAN），它以剪切语音音频输入为条件，在生成器和搜索器中使用卷积门递归单元（GRU）。我们的模型通过利用短音频和此持续时间内的帧来训练。为了训练，我们剪切音频并在相应的帧中提取人脸。我们设计了一个简单的编码器，并比较了使用GAN和不使用GRU生成的帧。我们使用GRU的时间相干帧和结果表明，短音频可以产生相对真实的输出结果。
2022-07-18 cs.CV cs.GR cs.LG
Audio synthesizer inversion in symmetric parameter spaces with approximately equivariant flow matching
Queen Mary University of London（伦敦玛丽女王大学）
针对音频合成器参数反演中的排列对称性问题，提出近似等变的连续归一化流与自适应松弛等变策略，并在 Surge XT 上优于回归及生成基线。
2025-06-08 cs.LG cs.SD eess.AS
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA；MIT（麻省理工学院）
本文提出Audio-SDS，将分数蒸馏采样推广到文本条件音频扩散模型，利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务，无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sony AI（索尼人工智能公司）；Sony Group Corporation（索尼集团公司）
MMAudio 提出多模态联合训练框架，结合大规模文本-音频数据与帧级条件同步模块，以流匹配目标在视频到音频合成中实现高质量、语义对齐和音视频同步的新 state-of-the-art，同时保持低推理时间和较少参数量。
2025-04-07 cs.CV cs.LG cs.SD
VQCPC-GAN: Variable-Length Adversarial Audio Synthesis Using Vector-Quantized Contrastive Predictive Coding
Sony Computer Science Laboratory（索尼计算机科学实验室）；LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎综合理工学院）
受计算机视觉领域的影响，生成对抗网络（GANs）通常用于音频域，使用固定大小的二维频谱图表示作为“图像数据”。然而，在（音乐）音频域中，通常期望生成可变持续时间的输出。本文提出了VQCPC-GAN，一个对抗性的框架，通过利用矢量量化对比预测编码（VQCPC）合成可变长度的音频。从真实音频数据中提取的VQCPC令牌序列用作GAN架构的条件输入，提供所生成内容的逐步时间相关特征。输入噪声z（对抗架构中的特征）随时间保持固定，确保全局特征的时间一致性。我们通过比较不同的指标集对各种强基线来评估所提出的模型。结果表明，即使基线得分最好，VQCPC-GAN即使在生成可变长度音频时也能实现相当的性能。在附带的网站中提供了许多合理的示例，我们发布了可重复性的代码。
2021-07-30 cs.AI cs.LG cs.SD
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD（加州大学圣迭戈分校）；Baidu Research（百度研究院）；NVIDIA（英伟达）
在这项工作中，我们提出了DiffWave，一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的，通过马尔可夫链将白噪声信号转换为结构化波形，合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频，包括基于mel频谱图的神经声编码，类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配（MOS：4.44与4.43），同时合成速度更快。特别是，在具有挑战性的无条件生成任务中，它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
Adversarial Audio Synthesis with Complex-valued Polynomial Networks
KTH Royal Institute of Technology（KTH皇家理工学院）；EPFL（洛桑联邦理工学院）
音频合成中的时频（TF）表示越来越多地使用实值网络建模。然而，忽略TF表示的复值性质可能导致次优性能并且需要额外的模块（例如，用于对相位进行建模）。为此，我们引入复值多项式网络，称为APOLLO，以自然的方式集成这种复值表示。具体地说，APOLLO使用高阶张量作为尺度参数来捕获输入元素的高阶相关性。通过利用标准的张量分解，我们得到不同的架构，并使建模更丰富的相关性。我们概述了这样的架构，并展示了他们的性能在音频生成四个基准。作为一个亮点，APOLLO导致$17.5\%$优于对抗方法，$8.2\%$优于SC09数据集上最先进的音频生成扩散模型。我们的模型可以鼓励系统设计的其他高效的架构在复杂的领域。
2022-06-21 cs.LG eess.AS
Synthesizing Audio from Silent Video using Sequence to Sequence Modeling
Milwaukee School of Engineering（密尔沃基工程学院）
本文提出基于序列到序列模型和3D VQ-VAE从无声视频合成音频的方法，以提升声音多样性并应用于CCTV分析、无声电影修复等场景。
2024-04-25 cs.AI cs.CV cs.LG
Universal audio synthesizer control with normalizing flows
IRCAM（声学与音乐研究与协作所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Laboratorio d’Informatica Musicale (LIM)（音乐信息学实验室）；UNIMI（米兰大学）
无处不在的声音合成器重塑了音乐制作，甚至完全定义了新的音乐流派。然而，现代合成器中越来越多的复杂性和参数使它们更难掌握。因此，开发允许使用合成器轻松创建和探索的方法是一个至关重要的需求。在这里，我们介绍了一种新的配方的音频合成器控制。我们将其形式化为找到一个有组织的潜在的音频空间，表示合成器的能力，同时构建一个可逆的映射到其参数的空间。通过使用这个公式，我们表明，我们可以同时解决自动参数推断，宏观控制学习和基于音频的预设探索在一个单一的模型。为了解决这个新的公式，我们依靠变分自动编码器（VAE）和归一化流（NF）来组织和映射各自的听觉和参数空间。我们引入了解开流，它允许在单独的潜在空间之间执行可逆映射，同时通过将目标分割为部分密度评估来引导一些潜在维度的组织以匹配目标变化因素。我们评估我们的建议对一个大的基线模型，并显示其优越性，在参数推断和音频重建。我们还表明，该模型解开音频变化的主要因素作为潜在的维度，可以直接用作宏观参数。我们还表明，我们的模型是能够学习语义控制的合成器顺利映射到其参数。最后，我们讨论了我们的模型在创意应用程序中的使用及其在Ableton Live中的实时实现
2019-07-01 cs.HC cs.LG cs.MM
DPN-GAN: Inducing Periodic Activations in Generative Adversarial Networks for High-Fidelity Audio Synthesis
Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所、东部技术研究所）
本文提出DPN-GAN，通过周期性ReLU激活与可变形卷积增强生成器和判别器，在五个语音及音乐数据集上实现优于现有GAN的高保真、鲁棒音频合成。
2025-05-14 cs.AI cs.CV cs.LG
SyncFusion: Multimodal Onset-synchronized Video-to-Audio Foley Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Sapienza University of Rome（罗马第一大学）
提出SyncFusion系统，通过提取视频动作起始点并结合音频或文本嵌入条件化扩散模型，生成与视频同步的音效音轨，在保留创作控制权的同时消除手动同步负担。
2023-10-23 cs.CV cs.LG cs.MM
Synthetic Data Augmentation for Medical Audio Classification: A Preliminary Evaluation
Independent Researcher（独立研究者）；University of Toronto（多伦多大学）
本研究评估了合成数据增强在医学音频分类中的效果，发现仅在模型集合中应用增强时，F1分数有所提升，但标准CNN分类器未见明显性能提升。
2026-02-03 cs.AI cs.LG cs.SD
Generative Audio Synthesis with a Parametric Model
IIT Bombay（印度理工学院孟买分校）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
使用音频的参数化表示来训练生成模型，以获得对所生成的声音的更灵活的控制。
2019-11-15 cs.LG cs.SD eess.AS
Differentiable Wavetable Synthesis
ByteDance（字节跳动）
可微分波形表合成（DWTS）是一种用于神经音频合成的技术，其通过端到端训练来学习单周期波形（即波形表）的字典。我们实现了高保真音频合成，只需10到20个波表，并演示了数据驱动的波形字典如何在短音频片段上开辟前所未有的一次性学习范例。值得注意的是，我们展示了音频操作，例如高质量的音高转换，仅使用几秒钟的输入音频。最后，我们研究了使用学习的波形表进行实时和交互式音频合成的性能增益。
2022-02-13 cs.LG cs.SD eess.AS
Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement
Sony Computer Science Laboratories, Tokyo, Japan（索尼计算机科学实验室，东京，日本）
本文提出无需 MIDI-音频配对数据的 CoSaRef，结合拼接合成与扩散生成式精修，实现多样化、可细粒度控制的逼真 MIDI 到音频合成，并在主客观评价中超过现有监督方法。
2025-06-11 cs.LG cs.SD eess.AS
Synth-AC: Enhancing Audio Captioning with Synthetic Supervision
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出SynthAC框架，利用AudioLDM文本到音频生成模型和图像描述文本语料库创建合成文本-音频对，将文本-视觉领域的标注数据扩展到音频描述生成，缓解数据稀缺问题并显著提升现有音频描述生成模型的性能。
2023-09-18 cs.SD eess.AS
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
A Survey on Audio Synthesis and Audio-Visual Multimodal Processing
University of Electronic Science and Technology of China（电子科技大学）
随着深度学习和人工智能的发展，音频合成在机器学习领域有着举足轻重的地位，在行业中显示出很强的适用性。与此同时，研究者们也致力于处理多模态任务，如视听多模态处理。在本文中，我们进行了调查，音频合成和视听多模态处理，这有助于了解当前的研究和未来的趋势。本文综述了文本转语音（TTS），音乐生成和一些结合视觉和听觉信息的任务。对相应的技术方法进行了全面的分类介绍，并展望了其未来的发展趋势。本文的研究成果可为音频合成、视听多模态处理等领域的研究者提供一定的指导。
2021-08-01 cs.SD eess.AS
Creative Text-to-Audio Generation via Synthesizer Programming
Massachusetts Institute of Technology（麻省理工学院）；Media Lab（媒体实验室）
提出CTAG方法，利用仅78个参数的虚拟模块化合成器迭代更新参数以生成文本提示的高质量音频，解决了传统神经音频合成难以微调的问题，生成的声音独特且具艺术性，可识别性与现有模型相当。
2024-06-01 cs.LG cs.SD eess.AS
Learning Disentangled Audio Representations through Controlled Synthesis
Institute of Cognitive Science（认知科学研究所）；Universität Osnabrück（奥斯纳布吕克大学）
本文针对解耦听觉表示学习中基准数据稀缺的问题，提出具有明确真值解释因子的合成数据集SynTone，通过基准测试评估最先进方法，揭示了音频解耦的优势与局限，为未来研究提供动力。
2024-02-16 cs.LG cs.SD eess.AS
Audio Avatar Fingerprinting: An Approach for Authorized Use of Voice Cloning in the Era of Synthetic Audio
Research Directorate and AI Security Center（研究部和人工智能安全中心）
本文提出音频人像指纹技术，用于验证合成语音是否由授权身份生成，通过扩展现有说话人验证模型并引入新数据集解决合成语音授权使用验证问题。
2026-03-20 cs.SD eess.AS
One Billion Audio Sounds from GPU-enabled Modular Synthesis
Spooky Audio；University of Victoria（维多利亚大学）；McGill University（麦吉尔大学）
我们发布了一个多模态音频语料库，由10亿个4秒合成声音组成，并与用于生成它们的合成参数配对。该数据集比文献中的任何音频数据集都大100倍。我们还介绍了torchsynth，这是一个开源的模块化合成器，它在单个GPU上以比实时（714MHz）快16200倍的速度动态生成1B1样本。最后，我们发布了两个新的音频数据集：FM合成音色和减法合成音高。使用这些数据集，我们展示了新的基于排名的评估标准，现有的音频表示。最后，我们提出了一种新的综合器超参数优化方法。
2021-07-20 cs.AI cs.LG cs.SD
Upsampling artifacts in neural audio synthesis
Dolby Laboratories（杜比实验室）
神经音频合成的许多最新进展依赖于上采样层，这可能会引入不期望的伪影。在计算机视觉中，上采样伪影已经被研究并且被称为棋盘伪影（由于其特征视觉图案）。然而，在音频处理中，它们的作用一直被忽视。在这里，我们通过从音频信号处理的角度研究这个问题来解决这个差距。我们首先表明上采样伪影的主要来源是：（i）有问题的上采样算子引入的色调和滤波伪影，以及（ii）上采样时出现的光谱副本。然后，我们比较了不同的上采样层，表明最近邻上采样器可以替代有问题的（但最先进的）转置和子像素卷积，这些卷积容易引入色调伪影。
2021-02-09 cs.LG cs.SD eess.AS
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin（都柏林理工大学）
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而，最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富，以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外，它并不代表声音的方式，它被认为是。因此，在许多情况下，原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外，有条件的形式选择，额外的条件表示，不同的模型架构，和众多的指标，用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外，它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法，这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
Full-band General Audio Synthesis with Score-based Diffusion
Dolby Laboratories（杜比实验室）
最近的工作表明，深度生成模型能够从单个标签处理一般音频合成，产生各种脉冲，音调和环境声音。这样的模型对带限信号进行操作，并且作为自回归方法的结果，它们通常由预训练的潜在编码器和/或若干级联模块来符合。在这项工作中，我们提出了一个基于扩散的生成模型的一般音频合成，命名为DAG，它处理全频带信号端到端的波形域。结果表明，DAG优于现有的标签条件发电机的质量和多样性。更具体地，当与现有技术相比时，DAG的带限和全带版本分别实现了高达40%和65%的相对改进。我们相信，DAG是足够灵活，以适应不同的条件图式，同时提供高质量的合成。
2022-10-26 cs.LG cs.SD eess.AS
Synth-JEPA: Joint Embedding Prediction for Renderer-Free Synthesizer Parameter Search
Sony Computer Science Laboratories（索尼计算机科学实验室）；Queen Mary University of London（伦敦玛丽女王大学）
Synth-JEPA通过联合嵌入预测学习参数与音频的互预测表示，实现无需渲染的合成器参数搜索，在域内优于基线，域外有竞争力，且可增加搜索计算提升匹配质量。
2026-09-28 cs.LG cs.SD eess.AS
Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics（国立信息学研究所）
语音合成和从符号输入生成音乐音频在许多方面不同，但有一些相似之处。在这项研究中，我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件，我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统，例如基于样本和基于物理建模的方法。主观实验结果表明，所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声，给定的自然声学特征，从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法，但我们鼓励TTS研究人员测试他们的TTS模型，以完成这项新任务，并提高性能。
2022-02-24 cs.SD eess.AS
ADD 2022: the First Audio Deep Synthesis Detection Challenge
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
本文介绍首届 ADD 2022 挑战赛，设置低质量伪造、部分伪造检测及音频伪造博弈三赛道，并给出数据集、指标、协议与最新进展发现。
2024-07-02 cs.LG cs.SD eess.AS
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
SynthCloner: Synthesizer-style Audio Transfer via Factorized Codec with ADSR Envelope Control
National Taiwan University（国立台湾大学）；Academia Sinica（中国科学院）
SynthCloner通过分解编码器与ADSR包络控制实现合成器风格音频迁移，提供音色、包络和内容的独立控制，并引入新的合成器数据集SynthCAT。
2026-01-30 cs.SD eess.AS
DarkGAN: Exploiting Knowledge Distillation for Comprehensible Audio Synthesis with GANs
Telecom Paris（巴黎电信学院）；IP Paris（巴黎综合理工学院）；Sony Computer Science Laboratories（索尼计算机科学研究所）
生成对抗网络（GANs）在过去几年中实现了出色的音频合成质量。然而，使它们与语义上有意义的控件一起操作仍然是一个开放的挑战。一种明显的方法是通过将GAN调节到音频数据集中包含的元数据来控制它。不幸的是，音频数据集往往缺乏所需的注释，特别是在音乐领域。避免这种注释缺乏的一种方法是生成注释，例如，使用自动音频标记系统。这种系统的输出概率（所谓的“软标签”）携带关于相应音频的特征的丰富信息，并且可以用于将知识从教师模型提取到学生模型中。在这项工作中，我们执行知识蒸馏从一个大型的音频标记系统到一个对抗性的音频合成器，我们称之为DarkGAN。结果表明，DarkGAN可以合成具有可接受质量的音乐音频，并且即使在分布外输入条件下也表现出适度的属性控制。我们在附带的网站上发布代码并提供音频示例。
2021-08-03 cs.SD eess.AS
Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California（南加州大学）；National Institute of Informatics（国立信息学研究所）
由于音乐与符号输入的语音合成的相似性以及文语转换（TTS）技术的快速发展，借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中，我们分析了基于TTS的MIDI到音频系统的不足之处，并改进它的特征计算，模型选择和训练策略，旨在合成高度自然的声音。此外，我们进行了广泛的模型评估，通过听力测试，音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成，而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego（加州大学圣迭戈分校）；New York University（纽约大学）
提出 network modulation synthesis 框架及新生成算法，帮助用户在自编码器潜在空间中构造时变参数，扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance
Sony AI, Tokyo, Japan（索尼人工智能（东京，日本））；Sony Group Corporation, Tokyo, Japan（索尼集团公司（东京，日本））
提出逐步视频到音频生成方法，通过负音频引导避免重复生成，增强声音分离性和最终音频质量，优于现有基线。
2026-07-01 cs.CV cs.LG cs.SD
AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
The Hong Kong University of Science and Technology（香港科学与技术大学）；University of Central Florida（佛罗里达中央大学）
本文提出AC-Foley模型，通过直接利用参考音频实现精确的音频合成与声学迁移，解决传统方法在语义粒度和文本模糊性上的瓶颈，提升音频生成质量与细粒度控制能力。
2026-03-20 cs.CV cs.LG cs.MM
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University（纽约大学）
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成，提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本研究提出Rhythmic Foley视频转音频合成框架，通过语义对齐与时间同步双适配器及对比音视频预训练编码器，解决音视频不同步和语义丢失问题，提升生成音频质量与可控性，实验验证了其音视频无缝对齐的有效性。
2024-09-13 cs.MM cs.SD eess.AS
Partially Fake Audio Detection by Self-attention-based Fake Span Discovery
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；The Chinese University of Hong Kong（香港中文大学）
在过去的几年里，语音合成和语音转换技术取得了显著的进步。然而，这些技术可能会破坏广泛实施的生物识别模型的鲁棒性，并可能被野外攻击者用于非法用途。ASVspoof挑战赛主要关注通过高级语音合成和语音转换模型合成的音频，以及重放攻击。最近，第一个音频深度合成检测挑战赛（ADD 2022）将攻击场景扩展到更多方面。此外，ADD 2022是提出部分虚假音频检测任务的第一个挑战。这种全新的攻击是危险的，如何应对这种攻击仍然是一个悬而未决的问题。因此，我们提出了一个新的框架，通过引入问题回答（假跨度发现）策略与自我注意机制，以检测部分假音频。所提出的假跨度检测模块的任务反欺骗模型预测的假剪辑的开始和结束位置的部分假音频，解决模型的注意力到发现假跨度，而不是其他捷径与较少的泛化，并最终配备了真正的和部分假音频之间的辨别能力的模型。我们的提交在ADD 2022的部分虚假音频检测轨道中排名第二。
2022-02-15 cs.LG cs.SD eess.AS
Continuous descriptor-based control for deep audio synthesis
IRCAM - Sorbonne Université（声学与音乐研究协调研究所 - 索邦大学）；CNRS UMR 9912（法国国家科学研究中心 UMR 9912）
尽管在用于音乐生成的深度模型方面取得了重大进展，但这些技术的使用仍然限于专家用户。在音乐家中民主化之前，生成模型必须首先提供对生成的表达控制，因为这是将深度生成模型集成到创作工作流程中的条件。在本文中，我们通过引入一个深度生成音频模型来解决这个问题，该模型提供了表达性和连续的基于合成器的控制，同时保持足够的轻量级以嵌入到硬件合成器中。我们通过使用对抗性混淆标准明确删除潜在空间中的突出音乐特征来加强实时生成的可控性。用户指定的功能，然后重新引入作为额外的条件信息，允许连续控制的产生，类似于一个合成器旋钮。我们评估了我们的方法在各种各样的声音上的性能，包括乐器，乐器和语音录音，同时提供音色和属性转移，允许产生声音的新方法。
2023-02-27 cs.LG cs.SD eess.AS
A Melody-Unsupervision Model for Singing Voice Synthesis
KAIST（韩国科学技术院）
最近在歌唱声音合成方面的研究已经取得了高质量的结果，这些结果利用了基于深度神经网络的文本到语音模型的进步。训练歌唱声音合成模型的主要问题之一是它们需要旋律和歌词标签与音频数据在时间上对齐。在准备训练数据时，时间对齐是一项耗时的手动工作。为了解决这个问题，我们提出了一个旋律无监督模型，只需要在训练时间没有时间对齐的音频和歌词对，但在推理时间给定的旋律和歌词输入生成歌声音频。该模型由一个音素分类器和一个歌唱声发生器组成，以端到端的方式联合训练。该模型可以通过调整时间对齐的旋律标签的监督量来微调。通过在旋律无监督和半监督环境下的实验，比较了合成歌唱声的音频质量。我们还表明，该模型能够用语音音频和文本标签进行训练，但可以在推理时间内生成歌声。
2022-04-14 cs.LG cs.SD eess.AS
Large-scale unsupervised audio pre-training for video-to-speech synthesis
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
针对视频转语音合成难以利用纯音频数据的问题，本文提出用3500多小时24kHz无标签音频预训练编码器-解码器，再初始化跨模态音频解码器，显著提升重建语音质量。
2023-07-31 cs.CV cs.LG cs.SD
An Audio Synthesis Framework Derived from Industrial Process Control
University of Mumbai（孟买大学）
自其概念以来，数字合成对音乐的发展产生了重大影响，导致了新的流派和制作风格。通过现有的合成技术，人们可以重新创建自然发生的声音，以及产生创新的人造音色。然而，音频技术的研究继续追求合成声音的新方法，保持音乐的变化不变。本研究试图重新定义用于反馈过程控制的比例-积分-微分（PID）算法，以制定一个新的综合技术的框架。然后将该框架实现为Python应用程序，以研究可用的控制参数及其对合成输出的影响。此外，应用这种技术作为音频信号和LFO发生器，包括其潜在的替代FM和Wavetable合成技术，进行了详细研究。研究最后强调了目前框架中的一些不完善之处，以及为解决这些问题而可能考虑的研究方向。
2021-09-21 cs.SD eess.AS
Relational Synthesis: Structure-Mediated Concatenative Synthesis for Foley and Retrieval-Augmented Audio Generation
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出关系合成方法，通过Gromov式结构代价将参考音频的时间结构与幅度运动转移到源音频颗粒拼接中，实现不复制片段且保持声学一致的拟音生成，并可与神经RAG自然集成。
2026-10-06 cs.AI cs.LG cs.SD
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London（伦敦玛丽女王大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对文本到音频合成中迭代慢、计算重的问题，提出轻量级离散模型SpecMaskGIT，基于频谱图掩码生成建模，以少于16次迭代合成10秒音频，性能优于更大模型，并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney（悉尼大学）
针对神经音频合成依赖离散标签、难以细微控制声音的问题，本文提出基于GAN的隐式条件化方法ICGAN，构建连续条件空间实现无显式标签的可解释音色操控，并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis
National University of Singapore（新加坡国立大学）
针对潜在扩散模型长音频合成推理效率低的问题，提出LiteFocus方法，采用同频聚焦+跨频补偿的双稀疏注意力机制，实现80秒音频推理提速1.99倍且音质提升。
2024-07-15 cs.AI cs.SD eess.AS
LumièreNet: Lecture Video Synthesis from Audio
Udacity（优达学城）
我们介绍了LumièreNet，这是一个简单的，模块化的，完全基于深度学习的架构，它可以从讲师的任何长度的新音频叙述中合成高质量的全姿势头像演讲视频。与以前的作品不同，LumièreNet完全由可训练的神经网络模块组成，通过（中间）估计的基于姿势的紧凑和抽象潜码来学习从音频到视频的映射函数。我们的视频演示可在[22]和[23]中找到。
2019-07-04 cs.CV cs.LG eess.AS
