Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University（纽约大学）
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成，提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
Zero-Shot Mono-to-Binaural Speech Synthesis
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
提出首个零样本神经方法 ZeroBAS，利用无参数几何变换与预训练去噪声码器，从单耳音频和位置信息合成双耳音频，在分布外数据上超越监督方法。
2025-05-28 cs.LG cs.SD eess.AS
CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models
Dolby（杜比实验室）
该研究提出CLIPSonic模型，以无标注视频的视觉模态为桥梁，结合预训练CLIP模型与扩散先验模型实现文本到音频合成，有效缩小模态迁移差距，性能可媲美现有图像到音频合成的最优模型。
2023-07-23 cs.LG cs.MM cs.SD
Large-scale unsupervised audio pre-training for video-to-speech synthesis
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
针对视频转语音合成难以利用纯音频数据的问题，本文提出用3500多小时24kHz无标签音频预训练编码器-解码器，再初始化跨模态音频解码器，显著提升重建语音质量。
2023-07-31 cs.CV cs.LG cs.SD
Streamable Neural Audio Synthesis With Non-Causal Convolutions
IRCAM（声学音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
深度学习模型大多以离线推理的方式使用。然而，这严重限制了这些模型在音频生成设置中的使用，因为大多数创意工作流程都基于实时数字信号处理。虽然基于递归网络的方法可以自然地适应这种基于缓冲区的计算，但卷积的使用仍然带来了一些严重的挑战。为了解决这个问题，已经提出了因果流卷积的使用。然而，这需要特定的复杂化训练，并可能影响最终的音频质量。在本文中，我们介绍了一种新的方法，允许产生非因果流模型。这允许使任何卷积模型与基于实时缓冲器的处理兼容。由于我们的方法是基于模型的训练后重新配置，我们证明了它能够将没有因果约束的训练模型转换为流模型。我们展示了我们的方法可以适应复杂的架构与并行分支。为了评估我们的方法，我们将其应用于最近的RAVE模型，该模型提供了高质量的实时音频合成。我们在多个音乐和语音数据集上测试了我们的方法，并表明它比附加方法更快，同时对生成质量没有影响。最后，我们介绍了两个开源的实现我们的工作作为Max/MSP和PureData外部，并作为一个VST音频插件。这允许在笔记本电脑CPU上赋予传统的数字音频工作站实时神经音频合成。
2022-04-14 cs.LG cs.SD eess.AS
AudioVisual Speech Synthesis: A brief literature review
Ε.Κ. ΑΘΗΝΑ（希腊雅典娜研究与创新中心）
这篇简短的文献综述研究了视听语音合成的问题，这是一个问题，产生一个动画说话的头部作为输入的文本。由于这个问题的高度复杂性，我们将其视为两个问题的组合。具体而言，即文本到语音（TTS）合成以及语音驱动的说话的头部动画。对于TTS，我们提出了用于将文本映射到中间声学表示的模型，例如梅尔频谱图，以及生成以这些中间表示为条件的语音信号的模型，即声码器。对于会说话的头动画问题，我们分类的方法，根据它们是否产生人脸或拟人化的数字。本文还讨论了第二种情况下人脸模型选择的重要性。在整个审查中，我们简要介绍了最重要的工作，在视听语音合成，试图突出各种方法的优点和缺点。
2021-02-18 cs.CV cs.LG cs.SD
Deep Performer: Score-to-Audio Music Performance Synthesis
Dolby Laboratories（杜比实验室）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
音乐演奏合成的目的是将乐谱合成为自然的演奏。在本文中，我们借用了文本到语音合成的最新进展，并提出了深度表演者-一种新的系统，用于乐谱到音频的音乐表演合成。与演讲不同，音乐通常包含复调和长音符。因此，我们提出了两种新的技术，用于处理复调输入，并提供了一个细粒度的条件下的Transformer编码器-解码器模型。为了训练我们提出的系统，我们提出了一个新的小提琴数据集，包括成对的录音和分数以及它们之间的估计对齐。我们表明，我们提出的模型可以合成清晰的复调和谐波结构的音乐。在听力测试中，我们实现了与基线模型（一种条件生成音频模型）在音高准确性、音色和噪声水平方面具有竞争力的质量。此外，我们提出的模型在整体质量上显着优于现有钢琴数据集的基线。
2022-02-21 cs.LG cs.MM cs.SD
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London（伦敦玛丽女王大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对文本到音频合成中迭代慢、计算重的问题，提出轻量级离散模型SpecMaskGIT，基于频谱图掩码生成建模，以少于16次迭代合成10秒音频，性能优于更大模型，并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis
National University of Singapore（新加坡国立大学）
针对潜在扩散模型长音频合成推理效率低的问题，提出LiteFocus方法，采用同频聚焦+跨频补偿的双稀疏注意力机制，实现80秒音频推理提速1.99倍且音质提升。
2024-07-15 cs.AI cs.SD eess.AS
WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis
Google Brain（谷歌大脑）
介绍了一种用于文本转语音合成的非自回归生成模型WaveGrad 2。WaveGrad 2被训练以估计给定音素序列的波形的对数条件密度的梯度。该模型采用输入音素序列，并通过迭代细化过程，生成音频波形。这与原始WaveGrad声码器形成对比，原始WaveGrad声码器以由单独模型生成的梅尔频谱图特征为条件。迭代细化过程从高斯噪声开始，并且通过一系列细化步骤（例如，50步），逐步恢复音频序列。WaveGrad 2提供了一种自然的方式，通过调整细化步骤的数量，在推理速度和样本质量之间进行权衡。实验表明，该模型能够产生高保真的音频，接近最先进的神经文语转换系统的性能。我们还报告了不同模型配置的各种消融研究。音频样本可在https://wavegrad.github.io/v2上获得。
2021-06-19 cs.LG cs.SD eess.AS
PTQ4ADM: Post-Training Quantization for Efficient Text Conditional Audio Diffusion Models
University of California, Davis（加州大学戴维斯分校）；University of California Davis Health（加州大学戴维斯健康中心）；University of South Florida（南佛罗里达大学）
提出PTQ4ADM框架，通过覆盖驱动的提示增强和激活感知校准集生成算法量化音频扩散模型，在减少70%模型大小的同时保持与全精度模型相当的合成质量。
2024-09-20 cs.LG cs.SD eess.AS
Context-aware Coherent Speaking Style Prediction with Hierarchical Transformers for Audiobook Speech Synthesis
Xverse Inc.（Xverse公司）
针对有声书多句语音合成中风格不连贯的问题，本文提出基于层次化Transformer和混合注意力掩码的上下文感知风格预测方法，结合文本与语音历史信息，实现风格连贯的长篇语音生成。
2023-04-13 cs.SD eess.AS
Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出通过文本到音频嵌入模块重编程预训练音频驱动模型，使其支持文本驱动说话人脸合成，并保留音频输入灵活性。
2024-01-18 cs.CV cs.GR cs.SD
Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts
Rakuten Group, Inc.（乐天集团）；The University of Tokyo（东京大学）
我们提出了一个多扬声器日本有声读物文本到语音（TTS）系统，利用多模态上下文信息的声学上下文和双边文本上下文，以提高合成语音的韵律。以往的研究要么使用单通道语境，要么使用单通道语境，不能完全表征语境信息。该方法使用一个声学上下文编码器和一个文本上下文编码器来聚合上下文信息，并将其馈送到TTS模型，这使得该模型能够预测上下文相关的韵律。我们进行了全面的客观和主观评价的多扬声器日本有声读物数据集。实验结果表明，该方法显着优于以前的两个作品。此外，我们提出的见解不同的选择的背景下-模态，横向信息和长度-有声读物TTS，从来没有讨论过的文献。
2022-11-04 cs.SD eess.AS
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD（加州大学圣迭戈分校）；Baidu Research（百度研究院）；NVIDIA（英伟达）
在这项工作中，我们提出了DiffWave，一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的，通过马尔可夫链将白噪声信号转换为结构化波形，合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频，包括基于mel频谱图的神经声编码，类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配（MOS：4.44与4.43），同时合成速度更快。特别是，在具有挑战性的无条件生成任务中，它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sony AI（索尼人工智能公司）；Sony Group Corporation（索尼集团公司）
MMAudio 提出多模态联合训练框架，结合大规模文本-音频数据与帧级条件同步模块，以流匹配目标在视频到音频合成中实现高质量、语义对齐和音视频同步的新 state-of-the-art，同时保持低推理时间和较少参数量。
2025-04-07 cs.CV cs.LG cs.SD
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University（台湾大学）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通讯工程研究所）
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频，本文构建首个 CodecFake 数据集，并证明常用反欺骗模型失效，而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models
Korea University（高丽大学）
针对扩散模型用于歌声合成时复杂度高、可控性差的问题，提出结合神经音频编解码器与潜在扩散模型的HiddenSinger系统，还扩展出无监督框架HiddenSinger-U，音频质量优于现有模型，可基于无标注数据合成高质量歌声。
2023-06-12 cs.AI cs.SD eess.AS
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
The University of Tokyo（东京大学）
本文研究利用SSL模型从无配对原始音频中提取离散符号表征进行无文本语音合成，并与文本表征对比，发现前者更擅长保留韵律、语调等声学内容。
2024-12-04 cs.CL cs.SD eess.AS
Vocos: Closing the gap between time-domain and Fourier-based neural vocoders for high-quality audio synthesis
Gemelo AI
本研究提出了一种名为Vocos的新型神经声码器模型，通过直接生成傅里叶频谱系数来解决传统时域方法计算冗余和相位恢复难题，在保证音频质量的同时显著提升了计算效率。
2024-05-29 cs.LG cs.SD eess.AS
SqueezeWave: Extremely Lightweight Vocoders for On-device Speech Synthesis
UC Berkeley（加州大学伯克利分校）
自动语音合成是一项具有挑战性的任务，随着边缘设备开始通过语音与用户交互，该任务变得越来越重要。典型的文本到语音流水线包括声码器，其将中间音频表示转换成音频波形。大多数现有的声码器难以并行化，因为每个生成的样本是以先前的样本为条件的。WaveGlow是这些自回归模型的基于流量的前馈替代方案（Prenger等人，2019年）。然而，虽然WaveGlow可以很容易地并行化，但该模型对于边缘上的实时语音合成来说太昂贵了。本文介绍了SqueezeWave，一个基于WaveGlow的轻量级声码器家族，它可以生成与WaveGlow相似质量的音频，而MAC数减少61 - 214倍。代码、训练模型和生成的音频可在https://github.com/tianrengao/SqueezeWave上公开获取。
2020-01-16 cs.SD eess.AS
Audiovisual Speech Synthesis using Tacotron2
Apple（苹果公司）
视听语音合成是在最大化声学和视觉语音的相干性的同时合成说话的面部的问题。在本文中，我们提出并比较了两个视听语音合成系统的三维人脸模型。第一个系统是AVTacotron2，这是一个基于Tacotron2架构的端到端文本到视听语音合成器。AVTacotron2将表示句子的音素序列转换为声学特征序列和面部模型的相应控制器。输出的声学特征用于调节WaveRNN以重建语音波形，并且输出的面部控制器用于生成说话面部的相应视频。第二个视听语音合成系统是模块化的，其中使用传统的Tacotron 2从文本合成声学语音。然后，使用独立训练的音频到面部动画神经网络，使用重建的声学语音信号来驱动面部模型的面部控制。我们进一步条件的端到端和模块化的情感嵌入方法，编码所需的韵律生成情感的视听语音。我们分析了这两个系统的性能，并使用主观评价测试将它们与地面实况视频进行比较。端到端和模块化系统能够合成接近人类的视听语音，平均意见得分（MOS）分别为4.1和3.9，而专业录制视频生成的地面实况的MOS为4.1。虽然端到端系统给出了更好的整体质量，但模块化方法更灵活，并且声学语音和视觉语音合成的质量几乎是彼此独立的。
2021-08-30 cs.CL cs.SD eess.AS
Beyond Video-to-SFX: Video to Audio Synthesis with Environmentally Aware Speech
Australian National University（澳大利亚国立大学）；Dolby Laboratories（杜比实验室）；The University of New South Wales（新南威尔士大学）
本文提出BVS方法，通过视频引导的音频语义预测和语义到声学两阶段建模，实现与视频同步且具有环境感知的可理解语音合成。
2025-09-19 cs.MM cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University（阿尔托大学）；National Institute of Informatics（情报学研究所）
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器，利用波形域直通估计器实现黑盒增强，证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
Challenge on Sound Scene Synthesis: Evaluating Text-to-Audio Generation
KAIST（韩国科学技术院）；NYU（纽约大学）；Doshisha Univ.（同志社大学）；UTokyo（东京大学）；Nantes Université（南特大学）；CMU（卡内基梅隆大学）
本文介绍 DCASE 2024 的 Sound Scene Synthesis 挑战赛，结合 Fréchet Audio Distance 与人类感知评估文本转音频模型，揭示模型规模、架构和类别差异，并验证客观指标有效性。
2024-10-23 cs.AI cs.LG cs.MM
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
Yonsei University（延世大学）；CineLingo；Seoul National University（首尔国立大学）
本文提出JAM-Flow框架，通过流匹配和多模态扩散变压器架构，实现面部运动与语音的联合合成与条件生成，支持文本到说话人生成、音频驱动动画等多种任务。
2026-05-15 cs.CV cs.SD eess.AS
Using multiple reference audios and style embedding constraints for speech synthesis
Tianjin University（天津大学）；University of Science and Technology of China（中国科学技术大学）；Huiyan Technology (Tianjin) Co., Ltd（天津慧眼科技有限公司）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
端到端的语音合成模型可以直接将一段话语作为参考音频，从文本中生成韵律和说话人特征与参考音频相似的语音。然而，在推断期间必须手动选择适当的声学嵌入。由于在训练过程中只使用匹配的文本和语音，使用不匹配的文本和语音进行推理将导致模型合成内容质量较低的语音。在这项研究中，我们建议通过使用多个参考音频和风格嵌入约束来缓解这两个问题，而不是只使用目标音频。使用由来自Transformers的双向编码器表示（BERT）确定的句子相似性来自动选择多个参考音频。此外，我们通过考虑预测和“目标”风格嵌入之间的互信息，使用来自预训练编码器的“目标”风格嵌入作为约束。实验结果表明，该模型在多个参考音频的情况下，能够提高语音的自然度和内容质量，在风格相似度的ABX偏好测试中也优于基线模型。
2021-10-09 cs.AI cs.SD eess.AS
MeanFlow-Accelerated Multimodal Video-to-Audio Synthesis via One-Step Generation
School of Electronic Information, Wuhan University, Wuhan, China（武汉大学电子信息学院）；MiLM Plus, Xiaomi Inc., Wuhan, China（小米公司MiLM Plus团队）
本文提出MeanFlow加速模型，利用平均速度实现一步生成，在保持音频质量的同时显著提升视频到音频及文本到音频合成的推理效率。
2025-09-08 cs.AI cs.SD
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons（蒙斯大学Numediart研究所）；Acapela Group（Acapela集团）
文本到语音转换领域在过去几年中经历了巨大的进步，受益于深度学习技术。现在，制作逼真的演讲成为可能。因此，对表达性的控制，允许生成不同风格或方式的演讲，最近引起了越来越多的关注。能够控制风格的系统已经开发出来，并显示出令人印象深刻的结果。然而，控制参数往往包括潜变量，并保持复杂的解释。在本文中，我们分析和比较不同的潜在空间，并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
EDMSound: Spectrogram Based Diffusion Models for Efficient and High-Quality Audio Synthesis
University of Rochester（罗切斯特大学）；Ubisoft La Forge（育碧La Forge）
本文提出 EDMSound，一种基于频谱图域和 EDM 框架的扩散生成模型，结合高效确定性采样器，在 DCASE2023 基准上仅用 50 步即达 SOTA，并揭示了此类模型易生成与训练数据高感知相似样本的潜在问题。
2023-11-18 cs.SD eess.AS
NANSY++: Unified Voice Synthesis with Neural Analysis and Synthesis
Seoul National University（首尔国立大学）；Supertone, Inc.（Supertone公司）
语音合成的各种应用程序已经独立开发，尽管它们共同生成“语音”作为输出。此外，大多数语音合成模型仍然需要大量与注释标签配对的音频数据（例如，文本转录和乐谱）用于训练。为此，我们提出了一个统一的框架，合成和操纵语音信号的分析功能，被称为NANSY++。NANSY++的骨干网络以自我监督的方式进行训练，不需要任何与音频配对的注释。训练骨干网络后，我们通过对每个任务所需的分析功能进行部分建模，有效地解决了四个语音应用程序--即语音转换、文本到语音、歌唱语音合成和语音设计。大量的实验表明，所提出的框架提供了竞争优势，如可控性，数据效率和快速训练收敛，同时提供高质量的合成。音频示例：tinyurl.com/8tnsy3uc。
2022-11-17 cs.SD eess.AS
A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Beijing Institute of Technology（北京理工大学）
本综述系统梳理了音频扩散模型在文本到语音合成与语音增强任务中的最新进展，按扩散模型应用阶段对TTS方法分类，并按信号增减对语音增强任务分类，同时比较了实验结果。
2023-04-02 cs.AI cs.LG cs.MM
StyleSpeech: Self-supervised Style Enhancing with VQ-VAE-based Pre-training for Expressive Audiobook Speech Synthesis
The Chinese University of Hong Kong（香港中文大学）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Tsinghua University（清华大学）；Microsoft（微软）
针对有声书语音合成表现力受限及风格数据分布不均问题，提出基于VQ-VAE预训练的自监督风格增强方法，通过双路径架构分别建模发音与风格，有效提升合成语音的自然度与表现力。
2023-12-19 cs.AI cs.SD eess.AS
Speech inpainting: Context-based speech synthesis guided by video
Universitat Pompeu Fabra（庞培法布拉大学）；Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
针对受损语音片段的修复问题，本文提出由视频视觉线索和未受损音频上下文共同引导的音视频 transformer 模型，并验证 AV-HuBERT 特征可有效提升语音合成效果。
2023-06-01 cs.AI cs.SD eess.AS
Aliasing-Free Neural Audio Synthesis
Aalto University School of Science（阿alto大学科学学院）；Aalto University（阿alto大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Spellbrush, Akihabara, Tokyo（东京秋叶原Spellbrush）
本文提出Pupu-Vocoder和Pupu-Codec，通过可微抗混叠技术提升音乐和歌声合成质量，实验显示其在歌声、音乐和音频上表现更优。
2026-06-29 cs.SD eess.AS eess.SP
SpeedySpeech: Efficient Neural Speech Synthesis
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）
虽然最近的神经序列到序列模型已经极大地提高了语音合成的质量，但是还没有能够同时进行快速训练、快速推理和高质量音频合成的系统。我们提出了一个学生-教师网络，能够高质量的比实时更快的频谱图合成，对计算资源和快速训练时间的要求低。我们表明，自我注意层是不必要的生成高质量的音频。我们在学生网络和教师网络中使用具有剩余连接的简单卷积块，并且在教师模型中仅使用单个注意力层。再加上MelGAN声码器，我们的模型的语音质量被评为显着高于Tacotron 2。我们的模型可以在单个GPU上有效地训练，甚至可以在CPU上实时运行。我们在GitHub存储库中提供源代码和音频样本。
2020-08-09 cs.CL cs.LG cs.SD
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
针对基于序列到序列的细粒度情感语音合成，提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节，往往导致平均的情感表达交付，并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成，我们引入音素级的情感强度表示，通过学习排名功能来描述本地的情感细节，并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符，我们可以通过其情感描述符（用于传输）或直接从音素级手动标签（用于控制）从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成，该模型也可以从文本中预测音素级的情感表达，不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
SoundscapeAgent: Agentic Soundscape Construction for Controllable Synthesis and Scalable Audio-Language Supervision
Tencent（腾讯）
提出智能音景构建框架SoundscapeAgent，基于大语言模型的智能体将用户意图转化为场景计划，经多步骤实现可控音频合成与可扩展音频-语言数据构建，在生成性能及下游音频推理方面表现出色。
2026-07-27 cs.SD
STASE: A spatialized text-to-audio synthesis engine for music generation
提出STASE系统，利用LLM智能体解析文本空间线索，结合基于物理的渲染引擎，通过描述提示和RAG检索抽象提示两条路径实现用户可控的空间音频生成。
2025-09-14 cs.SD eess.AS
DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）
DAIEN-TTS通过解耦音频填充技术实现环境感知的文本到语音合成，支持独立控制语音音色和环境背景，提升合成语音的自然度和环境保真度。
2026-01-19 cs.SD eess.AS
High-Fidelity Music Vocoder using Neural Audio Codecs
ETH Zurich（苏黎世联邦理工学院）
本文提出 DisCoder，通过与 DAC 潜空间对齐的生成对抗编码器-解码器及微调 DAC 解码器，从梅尔频谱图重建高保真 44.1 kHz 音乐，并在客观指标与 MUSHRA 测试中达到最先进水平。
2025-02-18 cs.LG cs.SD
Foley-Omni: A Unified Multimodal Generation Model from Task-Level Audio Synthesis to Complete Video Soundtrack Generation
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Video Rebirth；Shanghai Jiao Tong University（上海交通大学）；Beijing Jiaotong University（北京交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出Foley-Omni统一多模态音频生成模型，通过共享潜变量生成过程联合建模语音、音效和音乐，实现从孤立任务级合成到完整视频配乐生成，并构建V2ST-Bench基准进行综合评估。
2026-06-02 cs.MM cs.SD
Environment Aware Text-to-Speech Synthesis
The Chinese University of Hong Kong（香港中文大学）
本研究旨在设计一个环境感知的文本转语音（TTS）系统，可以产生语音，以适应特定的声学环境。这也是出于在TTS系统开发中利用来自异构源的大量语音音频数据的愿望。其核心思想是将语音音频中的声学环境建模为数据可变性的因素，并将其作为基于神经网络的语音合成过程中的条件。使用两个专门构建的数据集训练两个嵌入提取器，用于表征和解开语音中的说话者和环境因素。训练神经网络模型以从提取的说话者和环境嵌入生成语音。客观和主观评价结果表明，该TTS系统能够有效地分离说话人和环境因素，合成出具有指定说话人特征和环境属性的语音音频。音频样本可在线演示https://daxintan-cuhk.github.io/Environment-Aware-TTS/。
2022-08-06 cs.SD eess.AS
Investigating Group Relative Policy Optimization for Diffusion Transformer based Text-to-Audio Generation
Tsinghua University（清华大学）；Microsoft（微软）
本文基于扩散变压器架构，利用群体相对策略优化提升文本到音频生成的保真度和提示遵循性。
2026-03-02 cs.SD eess.AS
Vulnerabilities of Audio-Based Biometric Authentication Systems Against Deepfake Speech Synthesis
Hong Kong Polytechnic University（香港理工大学）；AI Group, WeBank Co., Ltd（WeBank公司人工智能部）
本文揭示了基于深度伪造语音合成的音频生物认证系统存在两大安全漏洞，需通过架构创新和多因素认证提升安全性。
2026-01-06 cs.CR cs.SD
DPN-GAN: Inducing Periodic Activations in Generative Adversarial Networks for High-Fidelity Audio Synthesis
Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所、东部技术研究所）
本文提出DPN-GAN，通过周期性ReLU激活与可变形卷积增强生成器和判别器，在五个语音及音乐数据集上实现优于现有GAN的高保真、鲁棒音频合成。
2025-05-14 cs.AI cs.CV cs.LG
Drum Synthesis from Expressive Drum Grids via Neural Audio Codecs
Dept. of Music Technology and Acoustics, Hellenic Mediterranean University（音乐技术与声学系，希腊地中海大学）
本文提出通过神经音频编码器将表现性鼓组转换为鼓声，使用Transformer模型生成编码器令牌并评估不同编码器对生成鼓声质量的影响。
2026-05-11 cs.AI cs.SD
Break-the-Beat! Controllable MIDI-to-Drum Audio Synthesis
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文提出'Break-the-Beat!'模型，通过微调预训练文本到音频模型和混合条件机制，实现基于参考音频的鼓MIDI音色合成，生成高质量音频并满足节奏对齐和持续性要求。
2026-05-14 cs.AI cs.SD
How to Label Resynthesized Audio: The Dual Role of Neural Audio Codecs in Audio Deepfake Detection
University of Stuttgart, Institute for Natural Language Processing, Germany（斯图加特大学自然语言处理研究所）；AppTek GmbH, Germany（德国AppTek公司）
本研究提出扩展 ASVspoof 5 数据集以探索神经音频编解码器在音频深度伪造检测中的双重功能，并分析不同标记策略对检测性能的影响。
2026-02-18 cs.LG cs.SD
MIDI-VALLE: Improving Expressive Piano Performance Synthesis Through Neural Codec Language Modelling
针对传统音乐演奏合成模型泛化性差的问题，提出改编自VALLE的神经编解码器语言模型MIDI-VALLE，将MIDI和音频统一编码为离散token进行建模，在多项数据集和听音测试中显著优于基线。
2025-07-11 cs.AI cs.SD eess.AS
Self-supervised Context-aware Style Representation for Expressive Speech Synthesis
Microsoft（微软）
表达性语音合成与有声读物合成一样，对于风格表示学习和预测仍然具有挑战性。从参考音频中推导或从文本中预测风格标签需要大量的标记数据，这些数据获取成本高，并且难以准确定义和注释。在本文中，我们提出了一个新的框架，学习风格表示丰富的纯文本中的自我监督的方式。它利用情感词典并使用对比学习和深度聚类。我们进一步集成的风格表示作为一个条件嵌入多风格的Transformer TTS。与通过预测在相同数据集上训练但具有人类注释的风格标签的多风格TTS相比，我们的方法根据对有声读物语音中的域内和域外测试集的主观评价来实现改进的结果。此外，通过隐式上下文感知风格表示，合成音频在长段落中的情感过渡显得更自然。音频示例可在演示网站上获得。
2022-06-25 cs.AI cs.CL cs.SD
WaveGlow: A Flow-based Generative Network for Speech Synthesis
NVIDIA Corporation（英伟达公司）
在本文中，我们提出了WaveGlow：一个基于流的网络，能够从梅尔频谱图生成高质量的语音。WaveGlow结合了Glow和WaveNet的见解，以提供快速，高效和高质量的音频合成，而无需自回归。WaveGlow仅使用单个网络实现，仅使用单个成本函数进行训练：最大化训练数据的可能性，这使得训练过程简单且稳定。我们的PyTorch实现在NVIDIA V100 GPU上以超过500 kHz的速率生成音频样本。平均意见分数表明，它提供的音频质量与最好的公开WaveNet实现一样好。所有代码都将在网上公开。
2018-10-31 cs.AI cs.LG cs.SD
Cross-Lingual F5-TTS: Towards Language-Agnostic Voice Cloning and Speech Synthesis
Shanghai Innovation Institute, China（上海创新研究院）；Johns Hopkins University, USA（约翰霍普金斯大学）；Geely, China（吉利公司）
本文提出Cross-Lingual F5-TTS，通过强制对齐和说话速度预测实现无需转录文本的跨语言语音克隆与合成
2026-02-09 cs.SD
Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于音频编解码器的零样本 TTS 模型，通过 MMCE-Qformer 融合多模态长上下文信息，并利用预训练 LLM 与 SoundStorm 提升语音质量和说话人相似度，在多种上下文 TTS 场景中优于基线。
2024-06-06 cs.CL cs.SD eess.AS
