Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California(南加州大学);National Institute of Informatics(国立信息学研究所)
由于音乐与符号输入的语音合成的相似性以及文语转换(TTS)技术的快速发展,借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中,我们分析了基于TTS的MIDI到音频系统的不足之处,并改进它的特征计算,模型选择和训练策略,旨在合成高度自然的声音。此外,我们进行了广泛的模型评估,通过听力测试,音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成,而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego(加州大学圣迭戈分校);New York University(纽约大学)
提出 network modulation synthesis 框架及新生成算法,帮助用户在自编码器潜在空间中构造时变参数,扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University(纽约大学)
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成,提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
DarkGAN: Exploiting Knowledge Distillation for Comprehensible Audio Synthesis with GANs
Telecom Paris(巴黎电信学院);IP Paris(巴黎综合理工学院);Sony Computer Science Laboratories(索尼计算机科学研究所)
生成对抗网络(GANs)在过去几年中实现了出色的音频合成质量。然而,使它们与语义上有意义的控件一起操作仍然是一个开放的挑战。一种明显的方法是通过将GAN调节到音频数据集中包含的元数据来控制它。不幸的是,音频数据集往往缺乏所需的注释,特别是在音乐领域。避免这种注释缺乏的一种方法是生成注释,例如,使用自动音频标记系统。这种系统的输出概率(所谓的“软标签”)携带关于相应音频的特征的丰富信息,并且可以用于将知识从教师模型提取到学生模型中。在这项工作中,我们执行知识蒸馏从一个大型的音频标记系统到一个对抗性的音频合成器,我们称之为DarkGAN。结果表明,DarkGAN可以合成具有可接受质量的音乐音频,并且即使在分布外输入条件下也表现出适度的属性控制。我们在附带的网站上发布代码并提供音频示例。
2021-08-03 cs.SD eess.AS
Generative Audio Synthesis with a Parametric Model
IIT Bombay(印度理工学院孟买分校);ENS Paris-Saclay(巴黎萨克雷高等师范学校)
使用音频的参数化表示来训练生成模型,以获得对所生成的声音的更灵活的控制。
2019-11-15 cs.LG cs.SD eess.AS
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标,通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性,以客观评价文本到音频合成质量,实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney(悉尼大学)
针对神经音频合成依赖离散标签、难以细微控制声音的问题,本文提出基于GAN的隐式条件化方法ICGAN,构建连续条件空间实现无显式标签的可解释音色操控,并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
Differentiable Wavetable Synthesis
ByteDance(字节跳动)
可微分波形表合成(DWTS)是一种用于神经音频合成的技术,其通过端到端训练来学习单周期波形(即波形表)的字典。我们实现了高保真音频合成,只需10到20个波表,并演示了数据驱动的波形字典如何在短音频片段上开辟前所未有的一次性学习范例。值得注意的是,我们展示了音频操作,例如高质量的音高转换,仅使用几秒钟的输入音频。最后,我们研究了使用学习的波形表进行实时和交互式音频合成的性能增益。
2022-02-13 cs.LG cs.SD eess.AS
Comparing Representations for Audio Synthesis Using Generative Adversarial Networks
Sony Computer Science Laboratories(索尼计算机科学实验室);Télecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
在本文中,我们比较了不同的音频信号表示,包括原始音频波形和各种时频表示,用于生成对抗网络(GANs)的音频合成任务。我们在NSynth数据集的一个子集上进行实验。该架构遵循基准Progressive Growing Wasserstein GAN。我们以完全无条件的方式进行实验,并在音高信息上调节网络。我们利用标准指标对生成的材料进行定量评估,以评估生成模型,并比较训练和采样时间。我们表明,复值以及幅度和瞬时频率的短时傅里叶变换达到最佳效果,并产生快速生成和反转时间。用于特征提取、训练和评估模型的代码可在线获得。
2020-06-17 cs.SD eess.AS
Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
本研究提出Rhythmic Foley视频转音频合成框架,通过语义对齐与时间同步双适配器及对比音视频预训练编码器,解决音视频不同步和语义丢失问题,提升生成音频质量与可控性,实验验证了其音视频无缝对齐的有效性。
2024-09-13 cs.MM cs.SD eess.AS
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London(伦敦玛丽女王大学);Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
针对文本到音频合成中迭代慢、计算重的问题,提出轻量级离散模型SpecMaskGIT,基于频谱图掩码生成建模,以少于16次迭代合成10秒音频,性能优于更大模型,并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement
Sony Computer Science Laboratories, Tokyo, Japan(索尼计算机科学实验室,东京,日本)
本文提出无需 MIDI-音频配对数据的 CoSaRef,结合拼接合成与扩散生成式精修,实现多样化、可细粒度控制的逼真 MIDI 到音频合成,并在主客观评价中超过现有监督方法。
2025-06-11 cs.LG cs.SD eess.AS
Differentiable Modelling of Percussive Audio with Transient and Spectral Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Ableton AG(Ableton公司);Imperial College London(帝国理工学院)
针对DDSP缺乏暂态建模的问题,提出结合正弦建模与调制时序卷积网络的打击乐合成框架,有效提升了膜鸣打击乐器的起音信号重构效果。
2023-09-13 cs.SD eess.AS
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University(台湾大学);Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所)
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频,本文构建首个 CodecFake 数据集,并证明常用反欺骗模型失效,而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
Applying Visual Domain Style Transfer and Texture Synthesis Techniques to Audio - Insights and Challenges
National University of Singapore(新加坡国立大学)
风格转移是一种基于深度学习神经网络架构中的激活和特征统计来组合两个图像的技术。本文研究了音频领域的类似任务,并对采用原始的基于视觉的框架来处理声谱图表示时出现的问题进行了批判性的研究。我们的结论是,具有基于2D表示和卷积的特征的CNN架构更适合于视觉图像,而不是音频的时频表示。尽管不合适,但实验表明,确定音频“风格”的Gram矩阵与没有时间结构的音色签名更接近,而确定音频“内容”的网络层活动似乎捕获更多的音高和节奏结构。我们通过说明性的例子深入了解了域差异的几个原因。我们鼓励使用几种类型的一维CNN,这些CNN生成的结果比基于为图像构建的现有架构的结果更好地与音频纹理的直观概念保持一致。这些想法也促使探索音频纹理合成与建筑的变体扩展到无限的纹理,多纹理,参数控制的感受野和恒定Q变换作为一种替代的频谱图的频率缩放。
2019-01-29 cs.SD eess.AS
Artificially Synthesising Data for Audio Classification and Segmentation to Improve Speech and Music Detection in Radio Broadcast
University of Plymouth(普利茅斯大学);University of Glasgow(格拉斯哥大学);Anglia Ruskin University(安格利亚鲁斯金大学);Brighton and Sussex Medical School(布莱顿与苏塞克斯医学院)
将音频分割成音乐和语音等同质部分有助于我们理解音频的内容。它是一个有用的预处理步骤,索引,存储和修改录音,无线电广播和电视节目。用于分割的深度学习模型通常在受版权保护的材料上进行训练,这些材料不能共享。注释这些数据集既耗时又昂贵,因此会大大减缓研究进度。在这项研究中,我们提出了一种新的程序,人工合成类似于无线电信号的数据。我们复制了电台DJ在混音中的工作流程,并研究了淡入淡出曲线和音频回避等参数。我们在这些合成数据上训练了卷积递归神经网络(CRNN),并在音乐语音检测方面优于最先进的算法。本文展示了数据合成过程作为一种高效的技术来生成大型数据集,以训练深度神经网络进行音频分割。
2021-02-19 cs.LG cs.SD eess.AS
Soroll-IA: A Weakly Labeled Audio Dataset for Real-World Industrial Port Monitoring
Instituto Tecnologico de Informatica (ITI)(信息技术学院)
提出一个在西班牙瓦伦西亚真实工业港口环境中录制的弱标注音频数据集,包含22小时音频和26种声音事件类别,用于支持音频标注、弱监督声音事件检测及机器学习研究。
2026-06-26 cs.SD
SqueezeWave: Extremely Lightweight Vocoders for On-device Speech Synthesis
UC Berkeley(加州大学伯克利分校)
自动语音合成是一项具有挑战性的任务,随着边缘设备开始通过语音与用户交互,该任务变得越来越重要。典型的文本到语音流水线包括声码器,其将中间音频表示转换成音频波形。大多数现有的声码器难以并行化,因为每个生成的样本是以先前的样本为条件的。WaveGlow是这些自回归模型的基于流量的前馈替代方案(Prenger等人,2019年)。然而,虽然WaveGlow可以很容易地并行化,但该模型对于边缘上的实时语音合成来说太昂贵了。本文介绍了SqueezeWave,一个基于WaveGlow的轻量级声码器家族,它可以生成与WaveGlow相似质量的音频,而MAC数减少61 - 214倍。代码、训练模型和生成的音频可在https://github.com/tianrengao/SqueezeWave上公开获取。
2020-01-16 cs.SD eess.AS
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy(维苏阿尔公司)
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如,在工业过程中,机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决,因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器(无监督和半监督)和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
IMPACT: Industrial Machine Perception via Acoustic Cognitive Transformer
School of Mechanical Engineering, Purdue University(普渡大学机械工程学院);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃洛姆家族电气与计算机工程学院);Department of Mechanical Engineering, UNIST(UNIST机械工程系);Polytechnic Institute, Purdue University(普渡大学理工学院);The School of Aviation and Transportation Technology, Purdue University(普渡大学航空与交通技术学院)
针对工业声学分析中现有方法泛化差及数据稀缺的问题,本文提出大规模数据集DINOS和自监督预训练基础模型IMPACT,通过联合优化话语级与帧级损失,在30个下游任务中24项超越现有模型。
2025-07-09 cs.SD eess.AS
LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis
National University of Singapore(新加坡国立大学)
针对潜在扩散模型长音频合成推理效率低的问题,提出LiteFocus方法,采用同频聚焦+跨频补偿的双稀疏注意力机制,实现80秒音频推理提速1.99倍且音质提升。
2024-07-15 cs.AI cs.SD eess.AS
Audio Texture Synthesis with Scattering Moments
New York University(纽约大学);Courant Institute(库朗研究所)
提出了一种基于散射矩的音频纹理合成算法。散射变换是通过用复数小波滤波器组迭代地分解信号并计算它们的幅度包络来计算的。散射矩提供了作为散射系数的期望值计算的平稳过程的一般表示。它们是用来自单一实现的低方差估计量估计的。利用梯度下降算法合成具有预定散射矩的音频信号。音频合成的例子表明,散射表示提供了良好的合成音频纹理与更少的系数比现有技术。
2013-11-02 cs.SD stat.AP
EDMSound: Spectrogram Based Diffusion Models for Efficient and High-Quality Audio Synthesis
University of Rochester(罗切斯特大学);Ubisoft La Forge(育碧La Forge)
本文提出 EDMSound,一种基于频谱图域和 EDM 框架的扩散生成模型,结合高效确定性采样器,在 DCASE2023 基准上仅用 50 步即达 SOTA,并揭示了此类模型易生成与训练数据高感知相似样本的潜在问题。
2023-11-18 cs.SD eess.AS
NANSY++: Unified Voice Synthesis with Neural Analysis and Synthesis
Seoul National University(首尔国立大学);Supertone, Inc.(Supertone公司)
语音合成的各种应用程序已经独立开发,尽管它们共同生成“语音”作为输出。此外,大多数语音合成模型仍然需要大量与注释标签配对的音频数据(例如,文本转录和乐谱)用于训练。为此,我们提出了一个统一的框架,合成和操纵语音信号的分析功能,被称为NANSY++。NANSY++的骨干网络以自我监督的方式进行训练,不需要任何与音频配对的注释。训练骨干网络后,我们通过对每个任务所需的分析功能进行部分建模,有效地解决了四个语音应用程序--即语音转换、文本到语音、歌唱语音合成和语音设计。大量的实验表明,所提出的框架提供了竞争优势,如可控性,数据效率和快速训练收敛,同时提供高质量的合成。音频示例:tinyurl.com/8tnsy3uc。
2022-11-17 cs.SD eess.AS
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London(帝国理工学院);University of Athens(雅典大学)
本文研究视频转语音中训练与推理均利用音频输入的效果,提出用预训练模型合成语音并与无声视频共同训练视听合成模型,在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL(索尼计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院)
在本文中,我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展,这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择,并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率,我们的方法被称为CRASH(可控的原始音频合成与高分辨率)允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验,我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法(无条件生成,确定性生成,修复,插值,变化,类条件采样),并提出了类混合采样,一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距,同时提供了更灵活的生成功能,具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Full-band General Audio Synthesis with Score-based Diffusion
Dolby Laboratories(杜比实验室)
最近的工作表明,深度生成模型能够从单个标签处理一般音频合成,产生各种脉冲,音调和环境声音。这样的模型对带限信号进行操作,并且作为自回归方法的结果,它们通常由预训练的潜在编码器和/或若干级联模块来符合。在这项工作中,我们提出了一个基于扩散的生成模型的一般音频合成,命名为DAG,它处理全频带信号端到端的波形域。结果表明,DAG优于现有的标签条件发电机的质量和多样性。更具体地,当与现有技术相比时,DAG的带限和全带版本分别实现了高达40%和65%的相对改进。我们相信,DAG是足够灵活,以适应不同的条件图式,同时提供高质量的合成。
2022-10-26 cs.LG cs.SD eess.AS
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin(都柏林理工大学)
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而,最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富,以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外,它并不代表声音的方式,它被认为是。因此,在许多情况下,原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外,有条件的形式选择,额外的条件表示,不同的模型架构,和众多的指标,用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外,它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法,这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis
IRCAM - Sorbonne Université(IRCAM - 索邦大学);CNRS UMR 9912(法国国家科学研究中心 UMR 9912)
应用于音频的深度生成模型在许多语音和音乐相关任务中大大提高了最先进的水平。然而,由于原始波形建模仍然是固有地困难的任务,因此音频生成模型是计算密集型的,依赖于低采样率,控制或限制可能信号的性质是复杂的。在这些模型中,变分自编码器(VAE)通过暴露潜在变量来控制生成,尽管它们通常遭受低合成质量。在本文中,我们介绍了一种实时音频变分自编码器(RAVE),允许快速和高质量的音频波形合成。我们引入了一种新的两阶段训练过程,即表示学习和对抗性微调。我们表明,使用潜在空间的训练后分析允许重建保真度和表示紧凑性之间的直接控制。通过利用原始波形的多频带分解,我们证明了我们的模型是第一个能够生成48kHz音频信号的模型,同时在标准笔记本电脑CPU上运行的速度比实时快20倍。我们使用定量和定性主观实验来评估合成质量,并显示出我们的方法与现有模型相比的优越性。最后,我们提出了我们的模型的音色转移和信号压缩的应用。我们所有的源代码和音频示例都是公开的。
2021-12-15 cs.LG cs.SD eess.AS
Upsampling artifacts in neural audio synthesis
Dolby Laboratories(杜比实验室)
神经音频合成的许多最新进展依赖于上采样层,这可能会引入不期望的伪影。在计算机视觉中,上采样伪影已经被研究并且被称为棋盘伪影(由于其特征视觉图案)。然而,在音频处理中,它们的作用一直被忽视。在这里,我们通过从音频信号处理的角度研究这个问题来解决这个差距。我们首先表明上采样伪影的主要来源是:(i)有问题的上采样算子引入的色调和滤波伪影,以及(ii)上采样时出现的光谱副本。然后,我们比较了不同的上采样层,表明最近邻上采样器可以替代有问题的(但最先进的)转置和子像素卷积,这些卷积容易引入色调伪影。
2021-02-09 cs.LG cs.SD eess.AS
Learning Disentangled Audio Representations through Controlled Synthesis
Institute of Cognitive Science(认知科学研究所);Universität Osnabrück(奥斯纳布吕克大学)
本文针对解耦听觉表示学习中基准数据稀缺的问题,提出具有明确真值解释因子的合成数据集SynTone,通过基准测试评估最先进方法,揭示了音频解耦的优势与局限,为未来研究提供动力。
2024-02-16 cs.LG cs.SD eess.AS
A Mapping Strategy for Interacting with Latent Audio Synthesis Using Artistic Materials
Centre for Digital Music, Queen Mary University of London(伦敦大学玛丽皇后学院数字音乐中心);Creative Computing Institute, University of the Arts London(伦敦艺术大学创意计算学院)
本文提出一种映射策略,通过无监督特征学习将人类控制空间映射到生成式AI音频模型的潜在空间,并用视觉草图控制音频合成,以促进艺术语境中的可解释AI。
2024-07-05 cs.HC cs.SD eess.AS
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
MTCRNN: A multi-scale RNN for directed audio texture synthesis
National University of Singapore(新加坡国立大学)
音频纹理是环境声音的子集,通常被定义为在足够大的时间窗口内具有稳定的统计特性,但可能是局部非结构化的。它们包括常见的日常声音,如雨,风和发动机。鉴于这些复杂的声音包含多个时间尺度上的模式,它们是用传统方法建模的挑战。我们引入了一种新的纹理建模方法,将在不同抽象层次上训练的递归神经网络与允许用户指导合成的条件反射策略相结合。我们展示了模型在各种数据集上的性能,检查了它在各种指标上的性能,并讨论了一些潜在的应用。
2020-11-25 cs.SD eess.AS stat.ML
Lightweight Implicit Neural Network for Binaural Audio Synthesis
Shanghai Institute of Artificial Intelligence for Education, East China Normal University, China(上海人工智能教育研究院,东华大学);School of Computer Science and Technology, East China Normal University, China(计算机科学与技术学院,东华大学);Department of Big Data and Information Engineering, Guizhou Industry Polytechnic College, China(大数据与信息工程系,贵州工业职业技术学院)
本文提出轻量隐式神经网络,通过两阶段框架实现高效双耳音频合成,显著提升计算效率并保持高质量输出。
2026-01-23 cs.SD eess.AS
Adversarial Generation of Time-Frequency Features with application in audio synthesis
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所);Swiss Data Science Center, ETH Zürich(苏黎世联邦理工学院瑞士数据科学中心)
时频(TF)表示为时间序列(如音频)的分析提供了强大而直观的功能。但是,TF域中音频的生成建模仍然是一个微妙的问题。因此,神经音频合成广泛地依赖于直接对波形进行建模,并且先前从神经生成的可逆TF特征无条件地合成音频的尝试仍然难以以令人满意的质量产生音频。在这篇文章中,我们将重点关注短时傅里叶变换,讨论基于生成的可逆TF特征的音频合成中出现的挑战以及如何克服这些挑战。我们通过在短时傅立叶特征上训练生成对抗网络(GAN)来展示故意生成TF建模的潜力。我们表明,通过应用我们的指导方针,我们基于TF的网络能够超越直接生成波形的最先进的GAN,尽管这两个网络的架构相似。
2019-05-16 cs.LG cs.SD eess.AS
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院)
针对基于序列到序列的细粒度情感语音合成,提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节,往往导致平均的情感表达交付,并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成,我们引入音素级的情感强度表示,通过学习排名功能来描述本地的情感细节,并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符,我们可以通过其情感描述符(用于传输)或直接从音素级手动标签(用于控制)从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成,该模型也可以从文本中预测音素级的情感表达,不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
The University of Tokyo(东京大学)
本文研究利用SSL模型从无配对原始音频中提取离散符号表征进行无文本语音合成,并与文本表征对比,发现前者更擅长保留韵律、语调等声学内容。
2024-12-04 cs.CL cs.SD eess.AS
STASE: A spatialized text-to-audio synthesis engine for music generation
提出STASE系统,利用LLM智能体解析文本空间线索,结合基于物理的渲染引擎,通过描述提示和RAG检索抽象提示两条路径实现用户可控的空间音频生成。
2025-09-14 cs.SD eess.AS
DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家工程研究中心)
DAIEN-TTS通过解耦音频填充技术实现环境感知的文本到语音合成,支持独立控制语音音色和环境背景,提升合成语音的自然度和环境保真度。
2026-01-19 cs.SD eess.AS
VaPar Synth -- A Variational Parametric Model for Audio Synthesis
Indian Institute of Technology Bombay(印度理工学院孟买分校);ENS Paris-Saclay(巴黎-萨克雷高等师范学院)
随着数据驱动的统计建模和丰富的计算能力的出现,研究人员越来越多地转向深度学习来进行音频合成。这些方法试图直接在时域或频域中对音频信号进行建模。为了更灵活地控制所生成的声音,利用更直接地对应于诸如音高、动态和音色的音乐属性的信号的参数表示来工作可能更有用。我们提出了VaPar合成器-变分参数合成器,它利用一个条件变分自动编码器(CVAE)训练一个合适的参数表示。我们证明了我们提出的模型的能力,通过重建和生成的乐器音调灵活控制其音高。
2020-03-30 cs.LG cs.SD eess.AS
Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出通过文本到音频嵌入模块重编程预训练音频驱动模型,使其支持文本驱动说话人脸合成,并保留音频输入灵活性。
2024-01-18 cs.CV cs.GR cs.SD
BinauralGrad: A Two-Stage Conditional Diffusion Probabilistic Model for Binaural Audio Synthesis
University of Science and Technology of China(中国科学技术大学);Imperial College London(帝国理工学院);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门);University of Surrey(萨里大学);South China University of Technology(华南理工大学)
双耳音频在构建沉浸式增强现实和虚拟现实中起着重要作用。由于从真实世界录制双耳音频的成本很高,因此从单声道音频合成双耳音频引起了越来越多的关注。该合成过程不仅涉及单声道音频的基本物理扭曲,而且涉及房间混响和头/耳相关滤波,然而,这些在传统的数字信号处理中难以准确地模拟。在本文中,我们从不同的角度制定的合成过程,通过分解的双耳音频到一个共同的部分,共享的左,右通道,以及一个特定的部分,在每个通道不同。因此,我们提出了BinauralGrad,一个新的两阶段的框架,配备了扩散模型,分别合成它们。具体地,在第一阶段中,利用以单声道音频为条件的单声道扩散模型来生成双耳音频的公共信息,基于此,在第二阶段中通过双声道扩散模型来生成双耳音频。将这种两阶段合成的新视角与先进的生成模型(即,扩散模型),所提出的BinauralGrad能够生成准确和高保真的双耳音频样本。实验结果表明,在基准数据集上,BinauralGrad在对象和主题评估指标方面都大大优于现有基线(Wave L2:0.128 vs. 0.157,MOS:3.80 vs. 3.61)。生成的音频样本(https://speechresearch.github.io/binauralgrad)和代码(https://github.com/microsoft/NeuralSpeech/tree/master/BinauralGrad)可在线…
2022-11-29 cs.LG cs.SD eess.AS
Audio Explanation Synthesis with Generative Foundation Models
Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学)
本文提出一种利用音频基础模型生成能力的新颖音频解释方法,通过整合特征归因技术识别嵌入空间中的重要特征并生成可听音频解释,在关键词检测和语音情感识别数据集上验证了其有效性。
2024-10-10 cs.AI cs.SD eess.AS
SCENEBench: An Audio Understanding Benchmark Grounded in Assistive and Industrial Use Cases
Stanford University(斯坦福大学);Cornell Tech(康奈尔科技)
SCENEBench通过评估音频理解的四个现实场景,揭示了现有LALMs在不同任务中的性能差异,为改进模型能力提供指导。
2026-03-10 cs.AI cs.SD
Beyond Video-to-SFX: Video to Audio Synthesis with Environmentally Aware Speech
Australian National University(澳大利亚国立大学);Dolby Laboratories(杜比实验室);The University of New South Wales(新南威尔士大学)
本文提出BVS方法,通过视频引导的音频语义预测和语义到声学两阶段建模,实现与视频同步且具有环境感知的可理解语音合成。
2025-09-19 cs.MM cs.SD eess.AS
Introducing Latent Timbre Synthesis
Simon Fraser University(西蒙弗雷泽大学);Zurich University of the Arts(苏黎世艺术大学)
我们提出了潜在音色合成(LTS),这是一种使用深度学习的新音频合成方法。该合成方法允许作曲家和声音设计师使用音频帧的潜在空间在多个声音的音色之间进行内插和外推。我们提供了两个变分自动编码器的LTS架构的细节,并比较他们的优点和缺点。该实现包括一个完全工作的应用程序与图形用户界面,称为\textit{interpolate\_two},它使从业者能够探索他们选择的两个音频摘录之间的音色使用内插和外推在音频帧的潜在空间。我们的实现是开源的,我们的目标是通过为具有任何技术背景的用户提供指南来提高这项技术的可访问性。
2020-05-31 cs.LG cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University(阿尔托大学);National Institute of Informatics(情报学研究所)
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器,利用波形域直通估计器实现黑盒增强,证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning
Queen Mary University of London(伦敦玛丽女王大学)
本文提出SpanSynth-Edit,一种基于流匹配的MIDI引导多乐器音频合成与编辑模型,利用标量量化潜变量和MIDI Span条件化,实现帧内起始控制,并在基准上取得竞争力表现。
2026-09-23 cs.LG cs.SD eess.AS
Environment Aware Text-to-Speech Synthesis
The Chinese University of Hong Kong(香港中文大学)
本研究旨在设计一个环境感知的文本转语音(TTS)系统,可以产生语音,以适应特定的声学环境。这也是出于在TTS系统开发中利用来自异构源的大量语音音频数据的愿望。其核心思想是将语音音频中的声学环境建模为数据可变性的因素,并将其作为基于神经网络的语音合成过程中的条件。使用两个专门构建的数据集训练两个嵌入提取器,用于表征和解开语音中的说话者和环境因素。训练神经网络模型以从提取的说话者和环境嵌入生成语音。客观和主观评价结果表明,该TTS系统能够有效地分离说话人和环境因素,合成出具有指定说话人特征和环境属性的语音音频。音频样本可在线演示https://daxintan-cuhk.github.io/Environment-Aware-TTS/。
2022-08-06 cs.SD eess.AS
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models
Korea University(高丽大学)
针对扩散模型用于歌声合成时复杂度高、可控性差的问题,提出结合神经音频编解码器与潜在扩散模型的HiddenSinger系统,还扩展出无监督框架HiddenSinger-U,音频质量优于现有模型,可基于无标注数据合成高质量歌声。
2023-06-12 cs.AI cs.SD eess.AS
DARAS: Dynamic Audio-Room Acoustic Synthesis for Blind Room Impulse Response Estimation
School of Information Science and Technology, Beijing University of Technology(信息科学与技术学院,北京理工大学);Unseen AI Inc.(Unseen AI公司)
针对现有盲房间脉冲响应估计精度不足的问题,提出DARAS深度学习框架,通过深度音频编码器、基于Mamba的盲房间参数估计模块、交叉注意力特征融合及动态声学调整解码器,从单耳混响语音中有效合成RIR,显著优于基线模型。
2025-11-04 cs.SD eess.AS
On the Audio-visual Synchronization for Lip-to-Speech Synthesis
The Hong Kong University of Science and Technology(香港科技大学)
大多数唇语(LTS)合成模型都是在数据集中的音频-视频对完全同步的假设下进行训练和评估的。在这项工作中,我们表明,常用的视听数据集,如GRID,TCD-TIMIT,和Lip 2 Wav,可以有数据压缩问题。用这样的数据集训练唇到语音可能会进一步导致模型不稳定的问题--也就是说,生成的语音和输入的视频不同步。为了解决这些问题,我们提出了一个同步的唇到语音(SLTS)模型与自动同步机制(ASM),以纠正数据错误和惩罚模型错误。我们进一步证明了通常采用的评估指标的LTS与异步测试数据的局限性,并介绍了一个音频对齐前端之前的指标敏感的时间对齐更好的评估。我们将我们的方法与传统和时间对齐指标的最先进方法进行比较,以显示同步训练的好处。
2023-03-01 cs.CV cs.SD eess.AS
One Billion Audio Sounds from GPU-enabled Modular Synthesis
Spooky Audio;University of Victoria(维多利亚大学);McGill University(麦吉尔大学)
我们发布了一个多模态音频语料库,由10亿个4秒合成声音组成,并与用于生成它们的合成参数配对。该数据集比文献中的任何音频数据集都大100倍。我们还介绍了torchsynth,这是一个开源的模块化合成器,它在单个GPU上以比实时(714MHz)快16200倍的速度动态生成1B1样本。最后,我们发布了两个新的音频数据集:FM合成音色和减法合成音高。使用这些数据集,我们展示了新的基于排名的评估标准,现有的音频表示。最后,我们提出了一种新的综合器超参数优化方法。
2021-07-20 cs.AI cs.LG cs.SD