FBWave: Efficient and Scalable Neural Vocoders for Streaming Text-To-Speech on the Edge
Facebook Reality Labs(Facebook现实实验室);Facebook AI(Facebook人工智能实验室);UC Berkeley(加州大学伯克利分校)
目前,越来越多的应用可以受益于基于边缘的文本到语音(TTS)。然而,大多数现有的TTS模型在计算上过于昂贵,并且不够灵活,无法部署在具有同样不同计算能力的各种边缘设备上。为了解决这个问题,我们提出了FBWave,这是一系列高效且可扩展的神经声码器,可以为不同的边缘设备实现最佳的性能效率权衡。FBWave是一种基于流的混合生成模型,结合了自回归和非自回归模型的优点。它可以产生高质量的音频,并在推理过程中支持流式传输,同时保持高度的计算效率。我们的实验表明,FBWave可以实现与WaveRNN相似的音频质量,同时将MAC减少40倍。更高效的FBWave变体可以实现高达109倍的MAC,同时仍然提供可接受的音频质量。音频演示可在https://bichenwu09.github.io/vocoder_demos上获得。
2020-11-25 cs.LG cs.SD eess.AS
RingFormer: A Neural Vocoder with Ring Attention and Convolution-Augmented Transformer
Kwangwoon University(光云大学)
RingFormer通过引入环注意力机制和卷积增强变换器,提升神经语音合成器在实时音频生成中的性能。
2025-07-19 cs.LG cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London(帝国理工学院);Meta Reality Labs Research(Meta现实实验室);Meta
视听语音增强的目的是从噪声环境中提取干净的语音,不仅利用音频本身,而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强,特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展,但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频,通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中,我们提出了LA-VocE,一种新的两阶段方法,通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图,然后使用神经声码器(HiFi-GAN)将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估,并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明,LA-VocE优于现有的方法,根据多个指标,特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
SqueezeWave: Extremely Lightweight Vocoders for On-device Speech Synthesis
UC Berkeley(加州大学伯克利分校)
自动语音合成是一项具有挑战性的任务,随着边缘设备开始通过语音与用户交互,该任务变得越来越重要。典型的文本到语音流水线包括声码器,其将中间音频表示转换成音频波形。大多数现有的声码器难以并行化,因为每个生成的样本是以先前的样本为条件的。WaveGlow是这些自回归模型的基于流量的前馈替代方案(Prenger等人,2019年)。然而,虽然WaveGlow可以很容易地并行化,但该模型对于边缘上的实时语音合成来说太昂贵了。本文介绍了SqueezeWave,一个基于WaveGlow的轻量级声码器家族,它可以生成与WaveGlow相似质量的音频,而MAC数减少61 - 214倍。代码、训练模型和生成的音频可在https://github.com/tianrengao/SqueezeWave上公开获取。
2020-01-16 cs.SD eess.AS
UniverSR: Unified and Versatile Audio Super-Resolution via Vocoder-Free Flow Matching
Dept. of Electrical \& Electronic Engineering, Yonsei University, Seoul, South Korea
UniverSR提出了一种无需编解码器的音频超分辨率方法,通过流匹配生成模型直接重建波形,提升音频质量和效率。
2026-02-05 cs.AI cs.SD eess.AS
BigVGAN: A Universal Neural Vocoder with Large-Scale Training
Seoul National University(首尔国立大学);NVIDIA(英伟达)
尽管最近在基于生成对抗网络(GAN)的声码器中取得了进展,其中模型生成以声学特征为条件的原始波形,但是在各种记录环境中为众多扬声器合成高保真音频是具有挑战性的。在这项工作中,我们提出了BigVGAN,一个通用的声码器,以及推广各种出分布的情况下,没有微调。我们在GAN生成器中引入了周期性激活函数和抗锯齿表示,这为音频合成带来了所需的电感偏置,显著提高了音频质量。此外,我们训练我们的GAN声码器在最大规模高达112 M的参数,这是前所未有的文献。我们识别并解决大规模GAN音频训练中的故障模式,同时保持高保真输出而不过度正则化。我们的BigVGAN仅在干净语音(LibriTTS)上进行训练,可在各种zero-shot(分发外)条件下实现最先进的性能,包括看不见的扬声器、语言、录音环境、歌声、音乐和乐器音频。我们发布我们的代码和模型:https://github.com/NVIDIA/BigVGAN
2023-02-16 cs.CL cs.LG cs.SD
RawNet: Fast End-to-End Neural Vocoder
Xiaomi Corporation(小米集团)
最近,基于神经网络的声码器已经展示了合成高质量语音的强大能力。这些模型通常通过调节频谱特征来生成样本,例如梅尔频谱图和基频,这对语音合成至关重要。然而,特征提取过程往往严重依赖于人类的知识,导致原始音频的表达能力较低。在这项工作中,我们提出了RawNet,一个完整的端到端的神经声码器以下的自动编码器结构的说话人相关和独立的语音合成。它自动学习提取特征并使用神经网络恢复音频,其中包括编码器网络以捕获输入音频的更高表示和自回归voder网络以逐个样本的方式恢复音频。编码器和语音合成器直接在原始波形上联合训练,没有任何人为设计的特征。实验结果表明,RawNet在简化模型架构的基础上,获得了更好的语音质量,并在推理阶段获得了更快的语音生成速度。
2023-03-10 cs.LG cs.SD eess.AS
Neural Vocoder Feature Estimation for Dry Singing Voice Separation
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
歌唱声分离是将歌唱声从乐器声中分离出来的任务。以前的SVS研究主要采用了声谱图掩蔽方法,该方法在预测二进制掩码时需要很大的维数。此外,他们还专注于提取一个保留了混响效果的湿声的声干。这一结果可能会阻碍孤立的歌声的可重用性。本文通过预测混合音频中的干歌声的梅尔谱图作为神经声码器特征,并从神经声码器合成歌声波形来解决这个问题。我们尝试了两种分离方法。一种是在梅尔频谱图域中预测二进制掩码,另一种是直接预测梅尔频谱图。此外,我们增加了一个歌声检测器,以确定随着时间的推移更明确的歌声段。我们从音频、去混响、分离和整体质量方面测量了模型的性能。实验结果表明,该模型在客观和主观评价上均优于现有的歌唱声分离模型,但在音质评价上有较大的改进。
2022-11-29 cs.SD eess.AS
Differentiable WORLD Synthesizer-based Neural Vocoder With Application To End-To-End Audio Style Transfer
iZotope, Inc.(iZotope公司)
本文提出一种无参数的可微WORLD合成器作为基线,通过附加后处理网络或直接提取激励频谱提升质量,实现端到端音频风格迁移,并利用声学特征解耦音高与音色以稳定训练。
2023-05-08 cs.LG cs.SD eess.AS
Exposing AI-Synthesized Human Voices Using Neural Vocoder Artifacts
University at Buffalo, SUNY(纽约州立大学布法罗分校);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对AI合成人声的冒用与虚假信息威胁,提出基于神经声码器伪影的检测方法,通过多任务学习让RawNet2共享声码器识别模块的前端特征,提升了合成人声二分类检测性能。
2023-04-27 cs.MM cs.SD eess.AS
AI-Synthesized Voice Detection Using Neural Vocoder Artifacts
University at Buffalo, State University of New York(纽约州立大学布法罗分校)
针对 AI 合成语音威胁,本文提出多任务 RawNet2,通过声码器识别前置任务学习伪影特征,提升合成语音二分类检测性能。
2023-04-27 cs.MM cs.SD eess.AS
Aliasing-Free Neural Audio Synthesis
Aalto University School of Science(阿alto大学科学学院);Aalto University(阿alto大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Spellbrush, Akihabara, Tokyo(东京秋叶原Spellbrush)
本文提出Pupu-Vocoder和Pupu-Codec,通过可微抗混叠技术提升音乐和歌声合成质量,实验显示其在歌声、音乐和音频上表现更优。
2026-06-29 cs.SD eess.AS eess.SP
Enhancing GAN-Based Vocoders with Contrastive Learning Under Data-limited Condition
University of California, Berkeley(加州大学伯克利分校)
针对基于 GAN 的声码器在数据有限时表示学习不足的问题,本文引入梅尔频谱图与波形对比学习辅助任务,并与 GAN 目标联合优化,在不改变架构或增加数据的情况下显著提升感知质量。
2023-12-18 cs.SD eess.AS
HooliGAN: Robust, High Quality Neural Vocoding
Resemble AI
生成模型的最新发展表明,深度学习与传统数字信号处理(DSP)技术相结合可以成功生成令人信服的小提琴样本[1],源激励与WaveNet相结合可以产生高质量的声码器[2,3],生成对抗网络(GAN)训练可以提高自然度[4,5]。通过结合这些模型中的思想,我们引入了HooliGAN,这是一种强大的声码器,具有最先进的结果,可以很好地微调较小的数据集(<30分钟的语音数据),并在GPU上以2.2MHz和CPU上以35kHz生成音频。我们还展示了对基于Tacotron的模型的简单修改,该模型允许与HooliGAN无缝集成。我们的听力测试结果显示,该模型能够在各种大小数据集上始终如一地输出高质量音频。我们在以下演示页面提供示例:https://resemble-ai.github.io/hooligan_demo/
2020-08-06 cs.SD eess.AS
SnakeGAN: A Universal Vocoder Leveraging DDSP Prior Knowledge and Periodic Inductive Bias
The Chinese University of Hong Kong(香港中文大学)
提出基于 GAN 的通用声码器 SnakeGAN,利用 DDSP 先验和 Snake 激活引入周期性归纳偏置,仅用语音数据训练即可在多种分布外场景生成高保真音频。
2023-09-14 cs.SD eess.AS
PhaseGAN: High-Fidelity Vocoder via Decoupled Amplitude and GAN-Driven Phase Reconstruction
Inner Mongolia University(内蒙古大学)
PhaseGAN通过解耦幅度与相位重建的轻量级声码器,以少量参数实现高保真音频合成,并展现跨领域泛化能力。
2026-09-14 cs.SD
Codecfake: An Initial Dataset for Detecting LLM-based Deepfake Audio
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Information and Communication Engineering, Communication University of China(中国传媒大学信息与通信工程学院);Department of Automation, Tsinghua University(清华大学自动化系);Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学北京信息科学与技术国家研究中心);Shanghai Polytechnic University(上海第二工业大学)
针对基于LLM的深度伪造音频绕过声码器伪影导致现有检测失效的问题,提出由七种神经编解码方法生成的Codecfake数据集,并证明编解码器训练的ADD模型可将平均等错误率降低41.406%。
2024-06-12 cs.AI cs.SD eess.AS
How to Label Resynthesized Audio: The Dual Role of Neural Audio Codecs in Audio Deepfake Detection
University of Stuttgart, Institute for Natural Language Processing, Germany(斯图加特大学自然语言处理研究所);AppTek GmbH, Germany(德国AppTek公司)
本研究提出扩展 ASVspoof 5 数据集以探索神经音频编解码器在音频深度伪造检测中的双重功能,并分析不同标记策略对检测性能的影响。
2026-02-18 cs.LG cs.SD
WaveFM: A High-Fidelity and Efficient Vocoder Based on Flow Matching
Tsinghua Universtiy(清华大学)
针对流匹配直接用于神经声码器音质不佳的问题,提出WaveFM重参数化流匹配声码器,采用梅尔条件先验、多分辨率STFT辅助损失及定制一致性蒸馏,实现单步推理下更优的音质与效率。
2025-03-20 cs.CL cs.SD eess.AS
BemaGANv2: Discriminator Combination Strategies for GAN-based Vocoders in Long-Term Audio Generation
Department of Electronic Engineering, Kwangwoon University, Seoul, South Korea(韩国首尔 Kwangwoon 大学电子工程系);Graduate School of Smart Convergence, Kwangwoon University, Seoul, South Korea(韩国首尔 Kwangwoon 大学智能融合研究生院);Department of Electrical and Electronic Computer Engineering, DGIST, Daegu, South Korea(韩国大邱 DGIST 电子与计算机工程系);Ewha Womans University College of Medicine Seoul, South Korea(韩国首尔 Ewha 女子大学医学院);School of Medicine, Kyung Hee University Seoul, South Korea(韩国首尔 Kyung Hee 大学医学院)
BemaGANv2通过改进的判别器组合策略提升长期音频生成的保真度与一致性
2026-03-09 cs.AI cs.LG cs.LO
Vocoder-Free Non-Parallel Conversion of Whispered Speech With Masked Cycle-Consistent Generative Adversarial Networks
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡技术大学乔治·西蒙·欧姆学院)
本研究提出一种免声码器的统一模型,结合循环一致训练与自监督任务,实现非平行耳语语音转换,主观测试显示相对基线提升达6.7%。
2025-06-21 cs.SD eess.AS
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD(加州大学圣迭戈分校);Baidu Research(百度研究院);NVIDIA(英伟达)
在这项工作中,我们提出了DiffWave,一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的,通过马尔可夫链将白噪声信号转换为结构化波形,合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频,包括基于mel频谱图的神经声编码,类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配(MOS:4.44与4.43),同时合成速度更快。特别是,在具有挑战性的无条件生成任务中,它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
FeatherWave: An efficient high-fidelity neural vocoder with multi-band linear prediction
Tencent(腾讯)
在本文中,我们提出了FeatherWave,又一个变体的WaveRNN声码器结合多带信号处理和线性预测编码。LPCNet是最近提出的一种神经声码器,它利用了WaveRNN结构中语音信号的线性预测特性,可以在单个CPU核上以比实时更快的速度生成高质量的语音。然而,LPCNet对于在线语音生成任务仍然不够高效。为了解决这个问题,我们采用多带线性预测编码的WaveRNN声码器。多带方法使该模型能够在一个步骤中并行生成多个语音样本。因此,它可以显著提高语音合成的效率。所提出的模型与4个子带需要不到1.6 GFLOPS的语音生成。在我们的实验中,它可以在单个CPU上生成24 kHz高保真音频,速度比实时快9倍,比LPCNet声码器快得多。此外,我们的主观听力测试表明,FeatherWave可以生成比LPCNet更好的语音质量。
2020-09-03 cs.SD eess.AS
Speaker anonymization using neural audio codec language models
EURECOM;Microsoft UK(微软英国)
本文提出利用神经音频编解码器的量化编码作为说话人信息瓶颈,结合语言建模实现说话人匿名化,并通过Voice Privacy Challenge 2022评估框架验证了该方法的有效性。
2024-01-12 cs.SD eess.AS
iSTFTNet: Fast and Lightweight Mel-Spectrogram Vocoder Incorporating Inverse Short-Time Fourier Transform
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社通信科学实验室)
在最近的文本到语音合成和语音转换系统中,梅尔频谱图通常被用作中间表示,并且梅尔频谱图声码器的必要性正在增加。梅尔频谱声码器必须解决三个逆问题:恢复原始尺度幅度频谱,相位重建和频率到时间转换。当直接计算原始波形时,典型的卷积梅尔频谱图声码器使用包括时间上采样层的卷积神经网络来联合地和隐式地解决这些问题。这种方法允许在波形合成期间跳过冗余过程(例如,高维原始尺度谱图的直接重建)。相比之下,该方法解决了黑盒中的所有问题,并且不能有效地利用梅尔谱图中存在的时频结构。因此,我们提出了iSTFTNet,它取代了一些输出侧层的梅尔频谱声码器与逆短时傅立叶变换(iSTFT)后,充分降低了频率维度使用上采样层,降低了黑盒建模的计算成本,并避免冗余估计的高维频谱。在我们的实验中,我们将我们的想法应用于三个HiFi-GAN变体,并使模型更快,更轻量级,具有合理的语音质量。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/istftnet/上获得。
2022-03-04 cs.LG cs.SD eess.AS
Source-Filter-Based Generative Adversarial Neural Vocoder for High Fidelity Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家工程研究中心);University of Science and Technology of China(中国科学技术大学)
本文提出基于声源-滤波器的生成对抗神经声码器SF-GAN,通过引入F0激励信号结合多分辨率卷积滤波器重建波形,在AS和TTS任务中超越HiFi-GAN和Fre-GAN,合成质量媲美真实音频。
2023-04-26 cs.SD eess.AS
AudioNoisePrints: Model-free audio watermarking using spatial correlation in flow matching TTS
National Research Council Canada(加拿大国家研究委员会);University of British Columbia(不列颠哥伦比亚大学)
该研究提出无训练的AudioNoisePrints音频水印流水线,利用流匹配TTS的噪声-输出相关性实现水印,在强增强下优于AudioSeal,可适配多种TTS模型。
2026-08-25 cs.CL cs.SD
BridgeVoC: Revitalizing Neural Vocoder from a Restoration Perspective
Tencent AI Lab(腾讯人工智能实验室)
BridgeVoC将神经声码器建模为音频恢复问题,结合薛定谔桥扩散框架与子带感知卷积网络,并通过全向蒸馏实现单步推理,在低计算成本下取得最先进性能。
2025-11-10 cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL(索尼计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院)
在本文中,我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展,这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择,并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率,我们的方法被称为CRASH(可控的原始音频合成与高分辨率)允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验,我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法(无条件生成,确定性生成,修复,插值,变化,类条件采样),并提出了类混合采样,一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距,同时提供了更灵活的生成功能,具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Enhancing Gappy Speech Audio Signals with Generative Adversarial Networks
Dublin City University(都柏林城市大学);Insight Centre for Data Analytics(洞察数据分析中心)
本文利用生成对抗网络,通过将音频转化为梅尔频谱图进行图像修复,再经Parallel-WaveGAN声码器还原,实现长达320毫秒语音间隙的近乎实时高质量再生,在240毫秒间隙上达到3.737的MOS评分。
2023-05-09 cs.LG cs.SD eess.AS
Waveform Modeling and Generation Using Hierarchical Recurrent Neural Networks for Speech Bandwidth Extension
University of Science and Technology of China(中国科学技术大学);Baidu Speech Department(百度语音部门)
提出了一种基于层次循环神经网络的语音信号波形建模与生成方法。与传统的BWE方法预测频谱参数重建宽带语音波形不同,该方法不需要声码器,直接对波形样本进行建模和预测。受无条件神经音频生成器SampleRNN的启发,HRNN模型使用由长短期记忆(LSTM)层和前馈(FF)层组成的神经网络来表示以输入窄带波形样本为条件的每个宽带或高频波形样本的分布。LSTM层形成了一个分层结构,每一层都以特定的时间分辨率运行,以有效地捕获时间序列之间的长跨度依赖关系。此外,附加的条件,如瓶颈(BN)的特征,从窄带语音使用基于深度神经网络(DNN)的状态分类器,被用作辅助输入,以进一步提高所生成的宽带语音的质量。对比几种波形建模方法的实验结果表明,与基于扩展卷积神经网络(DCNN)的方法和基于简单样本级递归神经网络(SRNN)的方法相比,基于HRNN的方法可以获得更好的语音质量和运行时间效率。我们提出的方法也优于传统的基于声码器的BWE方法,使用LSTM-RNN重建的宽带语音的主观质量方面。
2018-01-24 cs.SD eess.AS
WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis
Google Brain(谷歌大脑)
介绍了一种用于文本转语音合成的非自回归生成模型WaveGrad 2。WaveGrad 2被训练以估计给定音素序列的波形的对数条件密度的梯度。该模型采用输入音素序列,并通过迭代细化过程,生成音频波形。这与原始WaveGrad声码器形成对比,原始WaveGrad声码器以由单独模型生成的梅尔频谱图特征为条件。迭代细化过程从高斯噪声开始,并且通过一系列细化步骤(例如,50步),逐步恢复音频序列。WaveGrad 2提供了一种自然的方式,通过调整细化步骤的数量,在推理速度和样本质量之间进行权衡。实验表明,该模型能够产生高保真的音频,接近最先进的神经文语转换系统的性能。我们还报告了不同模型配置的各种消融研究。音频样本可在https://wavegrad.github.io/v2上获得。
2021-06-19 cs.LG cs.SD eess.AS
RefineGAN: Universally Generating Waveform Better than Ground Truth with Highly Accurate Pitch and Intensity Responses
大多数基于GAN(生成对抗网络)的高保真波形生成方法严重依赖于鉴别器来提高其性能。然而,GAN方法在生成过程中引入了许多不确定性,并且经常导致音高和强度的不匹配,这在涉及到诸如歌唱声音合成(SVS)之类的敏感用例时是致命的。为了解决这个问题,我们提出了一种高保真神经声码器RefineGAN,专注于鲁棒性,音调和强度精度以及高速全频带音频生成。我们采用了一种音高引导的细化架构,并使用基于多尺度谱图的损失函数来帮助稳定训练过程,并在使用基于GAN的训练方法时保持神经声码器的鲁棒性。使用这种方法生成的音频在主观测试中表现出更好的性能时,与地面实况音频相比。这一结果表明,通过消除记录过程产生的缺陷,在波形重构期间甚至改善了保真度。此外,它表明,在特定类型的数据上训练的模型可以在完全看不见的语言和看不见的说话者上表现得同样好。生成的示例对在https://www.example.com上提供。timedomain-tech.github.io/refinegan/
2022-03-20 cs.AI cs.SD eess.AS
iSTFTNet2: Faster and More Lightweight iSTFT-Based Neural Vocoder Using 1D-2D CNN
NTT Communication Science Laboratories, NTT Corporation(NTT集团NTT通信科学实验室)
针对iSTFTNet中1D CNN难以建模高维频谱图且时间上采样限制速度的问题,本文提出结合1D与2D CNN的iSTFTNet2,在保持语音质量相当的同时实现更快、更轻量的神经声码器。
2023-08-14 cs.LG cs.SD eess.AS
FloWaveNet : A Generative Flow for Raw Audio
Seoul National University(首尔大学);Kakao Corporation(Kakao公司)
大多数现代文本到语音架构使用WaveNet声码器来合成高保真波形音频,但由于其原始采样方案,在其实际应用中存在限制,例如高推理时间。最近提出的并行WaveNet和ClariNet通过将逆自回归流用于并行采样来实现实时音频合成能力。然而,这些方法需要一个两阶段的训练管道和一个训练有素的教师网络,并且只能通过使用概率蒸馏和辅助损失项来产生自然的声音。我们提出了FloWaveNet,一个基于流的原始音频合成生成模型。FloWaveNet只需要一个单阶段的训练过程和一个最大似然损失,没有任何额外的辅助项,并且由于生成流的特性,它本质上是并行的。该模型可以实时有效地对原始音频进行采样,其清晰度可与以前的两级并行模型相媲美。所有模型的代码和示例,包括我们的FloWaveNet,都是公开的。
2019-05-20 cs.SD eess.AS
Phase Repair for Time-Domain Convolutional Neural Networks in Music Super-Resolution
Waseda University(早稻田大学);University of Amsterdam(阿姆斯特丹大学)
针对TD-CNN在音乐超分辨率中产生伪影的问题,首次通过实验证明其由相位失真引起,并提出TD-PR方法利用预训练声码器修复相位,显著提升了多种TD-CNN基线的感知质量。
2024-02-18 cs.SD eess.AS
FlashSR: One-step Versatile Audio Super-resolution via Diffusion Distillation
KAIST(韩国科学技术院);Graduate School of Culture Technology(文化技术研究生院)
本文提出FlashSR,一种基于扩散蒸馏的单步扩散模型,用于多功能音频超分辨率,通过蒸馏损失、对抗损失和分布匹配蒸馏损失实现快速推理,并设计SR声码器提升性能,在保持与最先进模型相当性能的同时,速度提升约22倍。
2025-01-18 cs.SD eess.AS
Zero-Shot Mono-to-Binaural Speech Synthesis
Google Research(谷歌研究);Google DeepMind(谷歌DeepMind)
提出首个零样本神经方法 ZeroBAS,利用无参数几何变换与预训练去噪声码器,从单耳音频和位置信息合成双耳音频,在分布外数据上超越监督方法。
2025-05-28 cs.LG cs.SD eess.AS
Multi-Rate Bandwidth Extension by Token Completion in Neural Audio Codecs
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院)
本文提出将带宽扩展视为音频令牌预测问题,通过解纠缠神经音频编解码器与Transformer语言模型联合设计,实现高质量重建,强调表示感知设计的重要性。
2026-10-01 cs.SD
Bridging the SEA Gap: An Initial Benchmark for Neural Audio Codec-Synthesized Speech Deepfakes in South-East Asian Languages
IIIT-Delhi, India(印度德里国家理工学院);UPES, India(印度UPES大学);VBSPU, India(印度VBSPU大学)
针对南亚语言神经音频编码合成语音深度伪造检测缺乏基准的问题,构建首个大规模基准SEA-CF,并提出轻量级小模型GARUDA,在低资源场景下实现高效检测。
2026-06-16 cs.SD eess.AS
Harmonic-Percussive Disentangled Neural Audio Codec for Bandwidth Extension
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎理工学院)
本文提出一种基于谐波- percussive 分离的神经音频编码器,通过将带宽扩展视为音频令牌预测问题,提升音频信号的高频重构质量。
2026-10-01 cs.SD
Hierarchical Sequence to Sequence Voice Conversion with Limited Data
Ford Greenfield Labs(福特格林菲尔德实验室)
我们提出了一个语音转换解决方案,使用递归序列到序列建模DNN。我们的解决方案利用了神经机器翻译(NMT),文本到语音(TTS)和自动语音识别(ASR)领域中基于注意力建模的最新进展。问题在于当{ \it $<$源、目标$>$ }音频对可用时,在并行设置中的语音之间进行转换。我们的seq 2seq架构利用分层编码器来汇总输入音频帧。在解码器端,我们使用的注意力为基础的架构在最近的TTS作品。由于缺乏训练DNN所需的大型多说话者语音转换数据库,我们采用大型单说话者数据集作为自动编码器来训练网络。然后,这适用于可用于语音转换的较小的多说话者语音转换数据集。与其他使用$F_0$,持续时间和语言特征的语音转换作品相比,我们的系统使用梅尔频谱图作为音频表示。输出梅尔帧转换回音频使用波网声码器。
2019-07-15 cs.LG cs.SD eess.AS
MelTok: 2D Tokenization for Single-Codebook Audio Compression
International Digital Economy Academy (IDEA)(国际数字经济学院);Chinese University of Hong Kong(香港中文大学);Shenzhen Graduate School, Peking University(北京大学深圳研究生院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生学院)
MelTok通过二维分token化和基于分token的vocoder,实现单代码本下的高效音频压缩与高质量重建。
2025-12-04 cs.SD eess.AS
SpeedySpeech: Efficient Neural Speech Synthesis
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院)
虽然最近的神经序列到序列模型已经极大地提高了语音合成的质量,但是还没有能够同时进行快速训练、快速推理和高质量音频合成的系统。我们提出了一个学生-教师网络,能够高质量的比实时更快的频谱图合成,对计算资源和快速训练时间的要求低。我们表明,自我注意层是不必要的生成高质量的音频。我们在学生网络和教师网络中使用具有剩余连接的简单卷积块,并且在教师模型中仅使用单个注意力层。再加上MelGAN声码器,我们的模型的语音质量被评为显着高于Tacotron 2。我们的模型可以在单个GPU上有效地训练,甚至可以在CPU上实时运行。我们在GitHub存储库中提供源代码和音频样本。
2020-08-09 cs.CL cs.LG cs.SD
An Objective Measure of Quality for Time-Scale Modification of Audio
Griffith University(格里菲斯大学)
对经过时间尺度修正(TSM)处理的音频进行客观评价仍然是一个悬而未决的问题。最近,发布了具有主观质量标签的时间缩放音频的数据集,并用于创建质量的初始客观度量。本文提出了一种改进的时间尺度音频质量客观度量方法。该方法使用手工制作的功能和完全连接的网络来预测主观平均意见得分。除了特定于TSM伪影的九个特征之外,还使用音频质量的基本和高级感知评估特征。六种方法的对齐进行了探讨,与插值的参考震级谱的长度的测试震级谱给出了最好的性能。所提出的措施达到了平均根均方误差为0.487和平均皮尔逊相关系数为0.865,相当于第98和第82次的主观会话分别。所提出的措施是用来评估时间尺度修改算法,发现Elastique为独奏乐器和语音信号提供了最高的客观质量,而身份锁相相位声码器为音乐信号提供了最高的客观质量和最好的整体质量。可在https://www.github.com/zygurt/TSM上查阅客观衡量标准。
2020-06-11 cs.SD eess.AS
Training Robust Zero-Shot Voice Conversion Models with Self-supervised Features
Microsoft(微软)
无监督Zero-Shot语音转换(VC)的目标是在不依赖并行训练数据的情况下,修改说话人的特征,以匹配一个看不见的目标说话人。最近,语音表示的自监督学习已经被证明可以在不使用转录本的情况下产生有用的语言单元,这些转录本可以直接传递给VC模型。在本文中,我们证明了高质量的音频样本可以通过使用长度恢复解码器来实现,这使得VC模型能够与不同的语言特征提取器和声码器一起工作,而不需要它们对相同的序列长度进行操作。我们表明,我们的方法可以在VCTK数据集上优于许多基线。在不修改架构的情况下,我们进一步证明了a)使用来自同一扬声器的不同音频段对,b)添加循环一致性损失,以及c)添加扬声器分类损失可以帮助学习更好的扬声器嵌入。使用这些技术在LibriTTS上训练的模型实现了最佳性能,产生的音频样本可以很好地传输到目标说话者的声音,同时保留了与实际人类话语在字符出错率方面相当的语言内容。
2022-02-10 cs.LG cs.SD eess.AS
A Novel Semantic Compression Approach for Ultra-low Bandwidth Voice Communication
本文提出一种利用生成式语音模型高层语义表示的新型语义通信方法,在比特率降低2-4倍的情况下,于转录、情感分析和说话人验证任务上达到或超越现有音频编解码器,并在感知质量与说话人验证上超越Encodec。
2025-09-18 cs.SD eess.AS
How Should We Extract Discrete Audio Tokens from Self-Supervised Models?
Concordia University(康考迪亚大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Avignon Université(阿维尼翁大学);Telecom Paris(巴黎电信学院);Université de Montréal(蒙特利尔大学);Université Laval(拉瓦尔大学)
本文研究从自监督模型中提取离散音频令牌的最佳配置,提出跨多层SSL训练通用声码器,并利用注意力机制识别任务关键层,以提升语义令牌在判别与生成任务中的适应性和性能。
2024-06-15 cs.AI cs.CL cs.SD
A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI
KAIST(韩国科学技术院);Kyung Hee University(庆熙大学);Beijing Institute of Technology(北京理工大学)
本综述系统梳理了音频扩散模型在文本到语音合成与语音增强任务中的最新进展,按扩散模型应用阶段对TTS方法分类,并按信号增减对语音增强任务分类,同时比较了实验结果。
2023-04-02 cs.AI cs.LG cs.MM
Empowering Communication: Speech Technology for Indian and Western Accents through AI-powered Speech Synthesis
Environmental Resources Management(环境资源管理公司)
本文提出一个开源Python包voice cloning and speech synthesis,通过包含说话人验证、合成器、声码器和降噪模块的系统架构,为语音障碍人士和专业人士生成个性化的合成语音,并使用MOS、GPE和SD等指标验证了其有效性。
2024-02-16 cs.SD eess.AS
Large-scale unsupervised audio pre-training for video-to-speech synthesis
Imperial College London(帝国理工学院);University of Athens(雅典大学)
针对视频转语音合成难以利用纯音频数据的问题,本文提出用3500多小时24kHz无标签音频预训练编码器-解码器,再初始化跨模态音频解码器,显著提升重建语音质量。
2023-07-31 cs.CV cs.LG cs.SD
Amphion: An Open-Source Audio, Music and Speech Generation Toolkit
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai AI Laboratory(上海人工智能实验室)
本研究推出开源音频、音乐与语音生成工具包Amphion,构建统一可扩展框架,提供新手友好流程与预训练模型,初始版本支持TTS、TTA、SVC等任务及配套组件,助力相关领域研究者快速开展项目。
2024-09-16 cs.SD eess.AS
Diverse and Vivid Sound Generation from Text Descriptions
Shanghai Jiao Tong University(上海交通大学)
针对以往音频生成类别受限的问题,提出结合变异量化GAN码本、Transformer和melgan声码器的文本驱动音频生成方法,可生成高质量、贴合文本的自然生动音频,效果优异。
2023-05-03 cs.SD eess.AS
SemanticVocoder: Bridging Audio Generation and Audio Understanding via Semantic Latents
Peking University(北京大学);Tencent AI Lab(腾讯AI实验室);Shanghai AI Lab(上海AI实验室);SJTU(上海交通大学)
SemanticVocoder通过引入语义潜在空间,实现了音频生成与理解的统一,提升了生成性能并推动了共享语义空间的研究。
2026-02-26 cs.SD