GLA-Grad: A Griffin-Lim Extended Waveform Generation Diffusion Model
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出GLA-Grad,通过在扩散过程每一步引入Griffin-Lim相位恢复算法,以最小化条件误差并提升噪声扩散效率,无需额外训练即可改进语音生成,尤其在未见说话人场景下优于现有扩散模型。
2024-02-09 cs.LG cs.SD eess.AS
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD(加州大学圣迭戈分校);Baidu Research(百度研究院);NVIDIA(英伟达)
在这项工作中,我们提出了DiffWave,一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的,通过马尔可夫链将白噪声信号转换为结构化波形,合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频,包括基于mel频谱图的神经声编码,类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配(MOS:4.44与4.43),同时合成速度更快。特别是,在具有挑战性的无条件生成任务中,它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
Source-Filter HiFi-GAN: Fast and Pitch Controllable High-Fidelity Neural Vocoder
Nagoya University(名古屋大学);Meta Reality Labs Research(Meta现实实验室)
我们之前的工作,统一的源滤波器GAN(uSF GAN)声码器,引入了一种新的架构,基于源滤波器理论的并行波形生成对抗网络,以实现高的语音质量和音高可控性。然而,高时间分辨率输入导致高计算成本。虽然HiFi-GAN声码器由于高效的基于上采样的生成器架构而实现了快速高保真语音生成,但音高可控性受到严重限制。为了实现一个快速和音高可控的高保真神经声码器,我们引入了源滤波器理论HiFi-GAN的分层条件下的谐振滤波网络的源激励信息估计。根据实验结果,我们所提出的方法优于HiFi-GAN和uSFGAN在单个CPU上的声音质量和合成速度的歌唱声音生成。此外,与uSFGAN声码器不同,所提出的方法可以容易地在实时应用和端到端系统中采用/集成。
2023-02-27 cs.LG cs.SD eess.AS
Full waveform inversion method based on diffusion model
School of Information and Mathematics, Yangtze University(信息与数学学院,长江大学);School of Electronic Information and Electrical Engineering, Yangtze University(电子信息与电气工程学院,长江大学)
本文提出基于条件扩散模型的全波形反演方法,通过引入二维密度信息提升反演精度与稳定性,改进了传统方法在非线性与初始模型依赖性方面的不足。
2026-03-18 cs.LG
FlowVocoder: A small Footprint Neural Vocoder based Normalizing flow for Speech Synthesis
Vinai Research(Vinai研究公司);Deezer Research(Deezer研究公司)
最近,自回归神经声码器在产生高保真语音方面提供了显著的性能,并且已经能够实时产生合成语音。然而,自回归神经声码器(如WaveFlow)能够从梅尔频谱图中建模波形信号,其参数数量对于部署在边缘设备上非常重要。虽然NanoFlow具有少量参数,是最先进的自回归神经声码器,但NanoFlow的性能略低于WaveFlow。因此,我们提出了一种新型的自回归神经声码器称为FlowVocoder,它具有较小的内存占用,能够实时生成高保真音频。我们提出的模型改进了流块的密度估计,利用混合的累积分布函数(CDF)的二分变换。因此,所提出的模型能够对波形信号进行建模,而其内存占用比WaveFlow小得多。实验结果表明,FlowVocoder算法在主观和客观评价方面都取得了与基线算法相当的效果,更适合于实时的文语转换应用。
2022-03-25 cs.LG cs.SD eess.AS
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise(Kakao企业(Kakao Enterprise))
最近几项关于语音合成的工作采用了生成对抗网络(GANs)来产生原始波形。虽然这些方法提高了采样效率和内存使用率,但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中,我们提出了HiFi-GAN,它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成,我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价(平均意见得分,MOS)表明,我们提出的方法与人类质量相似,同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后,HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍,质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Universal MelGAN: A Robust Neural Vocoder for High-Fidelity Waveform Generation in Multiple Domains
Kakao Enterprise Corp.(Kakao 企业公司);Kakao Corp.(Kakao公司)
我们提出了通用MelGAN,声码器,在多个域合成高保真语音。为了在使用数百个扬声器的数据集训练基于MelGAN的结构时保持音质,我们添加了多分辨率频谱图鉴别器来锐化生成波形的频谱分辨率。这使得模型能够通过减轻大覆盖区模型的高频段中的过平滑问题来生成多扬声器的真实波形。我们的结构通过在训练过程中区分波形和频谱图,在不降低推理速度的情况下生成接近地面实况数据的信号。该模型在大多数情况下使用地面实况mel-spectrogram作为输入,实现了最佳的平均意见得分(MOS)。特别是,它表现出优越的性能在看不见的领域方面的发言人,情感和语言。此外,在一个多说话人的文本到语音的场景中,使用由Transformer模型生成的梅尔频谱图,它合成高保真语音的4.22 MOS。这些结果,实现没有外部域的信息,突出了所提出的模型作为一个通用的声码器的潜力。
2021-03-04 cs.CL cs.LG cs.SD
High-Fidelity and Low-Latency Universal Neural Vocoder based on Multiband WaveRNN with Data-Driven Linear Prediction for Discrete Waveform Modeling
Nagoya University(名古屋大学)
本文提出了一种新的高保真和低延迟的通用神经声码器框架的基础上,多带WaveRNN与数据驱动的线性预测离散波形建模(MWDLP)。MWDLP采用粗-精位WaveRNN架构进行10位μ律波形建模。利用具有相对大的隐藏单元大小的稀疏门控递归单元,同时部署多频带建模以实现实时低延迟使用。提出了一种基于离散波形建模的数据驱动线性预测(LP)新技术,其中LP系数以数据驱动的方式进行估计。此外,一个新的损失函数使用短时傅立叶变换(STFT)的离散波形建模与Gumbel近似也提出了。实验结果表明,所提出的MWDLP框架在300个说话者训练数据上为可见和不可见的说话者和/或语言生成高保真合成语音,包括干净和嘈杂/混响条件,其中训练话语的数量被限制为每个说话者60个,同时允许使用具有$\sim\!$ 0.57- 0.64实时因子的$\sim\!$ 2.1- 2.7 GHz CPU的单核进行实时低等待时间处理,输出和特征提取。
2021-07-05 cs.CL cs.LG cs.SD
ZEUS: Accelerating Diffusion Models with Only Second-Order Predictor
Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系);Department of Computer Science, Duke University(杜克大学计算机科学系);Department of Statistical Science, Duke University(杜克大学统计科学系)
本文提出ZEUS方法,通过二阶预测器减少去噪器调用,结合交错方案稳定连续跳过,实现高效加速,提升速度-保真度性能,达到3.2倍端到端提速。
2026-04-02 cs.LG
UnivNet: A Neural Vocoder with Multi-Resolution Spectrogram Discriminators for High-Fidelity Waveform Generation
Kakao Enterprise Corporation(Kakao Enterprise 公司);Kakao Corporation(Kakao 公司)
大多数神经声码器采用带限梅尔频谱图来生成波形。如果使用全频带频谱特征作为输入,则可以向声码器提供尽可能多的声学信息。然而,在采用全频带梅尔频谱图的一些模型中,作为生成非尖锐频谱图的一部分,发生过平滑问题。为了解决这个问题,我们提出了UnivNet,一个神经声码器,实时合成高保真波形。受语音活动检测领域工作的启发,我们添加了一个多分辨率频谱图,它采用使用各种参数集计算的多个线性频谱图幅度。使用全波段梅尔频谱图作为输入,我们希望通过添加一个使用多个分辨率的频谱图作为输入的数字滤波器来生成高分辨率信号。在对包含数百名说话者信息的数据集进行评估时,UnivNet在竞争模型中获得了最佳的客观和主观结果,包括可见和不可见的说话者。这些结果,包括文本到语音的最佳主观评分,证明了快速适应新说话者的潜力,而无需从头开始训练。
2021-06-15 cs.SD eess.AS
RefineGAN: Universally Generating Waveform Better than Ground Truth with Highly Accurate Pitch and Intensity Responses
大多数基于GAN(生成对抗网络)的高保真波形生成方法严重依赖于鉴别器来提高其性能。然而,GAN方法在生成过程中引入了许多不确定性,并且经常导致音高和强度的不匹配,这在涉及到诸如歌唱声音合成(SVS)之类的敏感用例时是致命的。为了解决这个问题,我们提出了一种高保真神经声码器RefineGAN,专注于鲁棒性,音调和强度精度以及高速全频带音频生成。我们采用了一种音高引导的细化架构,并使用基于多尺度谱图的损失函数来帮助稳定训练过程,并在使用基于GAN的训练方法时保持神经声码器的鲁棒性。使用这种方法生成的音频在主观测试中表现出更好的性能时,与地面实况音频相比。这一结果表明,通过消除记录过程产生的缺陷,在波形重构期间甚至改善了保真度。此外,它表明,在特定类型的数据上训练的模型可以在完全看不见的语言和看不见的说话者上表现得同样好。生成的示例对在https://www.example.com上提供。timedomain-tech.github.io/refinegan/
2022-03-20 cs.AI cs.SD eess.AS
HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis
Microsoft STC Asia(微软亚洲软件技术中心);Microsoft Research Asia(微软亚洲研究院)
高保真歌声通常需要更高的采样率(例如,48kHz)来传达表情和情感。然而,更高的采样率导致更宽的频段和更长的波形序列,这给歌唱声合成(SVS)在频域和时域上都带来了挑战。采用小采样率的传统SVS系统不能很好地解决上述挑战。在本文中,我们开发了HiFiSinger,一个面向高保真歌唱声音的SVS系统。HiFiSinger由基于FastSpeech的声学模型和基于并行WaveGAN的声码器组成,以确保快速训练和推理以及高语音质量。针对高采样率(宽频段、长波形)给歌唱建模带来的困难,在声学模型和声码器中引入多尺度对抗训练,提高歌唱建模的效果。具体而言,1)为了处理由更高采样率引起的更大频率范围,我们提出了一种新的子频率GAN(SF-GAN)梅尔频谱图生成,其将完整的80维梅尔频率划分为多个子带,并用单独的子带对每个子带进行建模。2)针对采样率较高导致的波形序列较长的问题,提出了一种多长度GAN(ML-GAN GAN)的波形生成方法,利用不同的鉴别器对不同长度的波形序列进行建模。3)我们还介绍了HiFiSinger中的几个额外的设计和发现,这些设计和发现对于高保真语音至关重要,例如添加F0(音高)和V/UV(浊音/清音标志)作为声学特征,为梅尔频谱图选择合适的窗口/跳数大小,以及增加声码器中长元音建模的感受野。实验结果表明,HiFiSinger合成高保真歌唱声,具有更高的质量:0.32/0…
2020-09-03 cs.CL cs.LG cs.SD
Generative Adversarial Network based Speaker Adaptation for High Fidelity WaveNet Vocoder
Tencent Technology Co., Ltd(腾讯科技有限公司)
虽然最先进的并行WaveNet已经解决了实时波形生成的问题,但仍然存在问题。首先,由于模型的噪声输入信号,在生成的波形和自然波形的质量之间仍然存在差距。其次,在蒸馏框架下训练并行WaveNet,这使得将经过良好训练的模型适应新的扬声器变得繁琐。针对这两个问题,本文提出了一种基于生成对抗网络(GAN)的端到端自适应方法,该方法可以减少训练新说话人自适应的计算量。我们的主观实验表明,所提出的训练方法可以进一步减少生成的波形和自然波形之间的质量差距。
2019-07-19 cs.SD eess.AS
WG-WaveNet: Real-Time High-Fidelity Speech Synthesis without GPU
NVIDIA(英伟达);Taiwan AI Labs(台湾人工智能实验室)
在本文中,我们提出了WG-WaveNet,一个快速,轻量级,高质量的波形生成模型。WG-WaveNet由一个紧凑的基于流的模型和一个后置过滤器组成。通过最大化训练数据的可能性和优化频域上的损失函数来联合训练这两个分量。由于我们设计了一个基于流的模型,该模型被严重压缩,因此与其他波形生成模型相比,在训练和推理时间内,所提出的模型需要的计算资源要少得多;即使模型被高度压缩,后滤波器也能保持生成波形的质量。我们的PyTorch实现可以使用不到8 GB的GPU内存进行训练,并在NVIDIA 1080Ti GPU上以超过960 kHz的速率生成音频样本。此外,即使在CPU上合成,我们表明,所提出的方法是能够产生44.1 kHz的语音波形比实时快1.2倍。实验还表明,生成的音频质量与其他方法相当。音频样本可在网上公开获取。
2020-08-20 cs.SD eess.AS
WaveGrad: Estimating Gradients for Waveform Generation
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
本文介绍了WaveGrad,波形生成的条件模型,估计梯度的数据密度。该模型是建立在得分匹配和扩散概率模型的工作。它从高斯白噪声信号开始,并通过基于梅尔谱图的基于梯度的采样器迭代地细化信号。WaveGrad提供了一种自然的方式,通过调整细化步骤的数量来权衡推理速度和样本质量,并在音频质量方面弥合了非自回归模型和自回归模型之间的差距。我们发现,它可以生成高保真度的音频样本,只需六次迭代。实验表明,WaveGrad可以生成高保真音频,优于对抗性非自回归基线,并使用更少的顺序操作匹配基于强似然性的自回归基线。音频样本可在https://wavegrad.github.io/上获得。
2020-10-09 cs.LG cs.SD eess.AS
LongCat-AudioDiT: High-Fidelity Diffusion Text-to-Speech in the Waveform Latent Space
Meituan LongCat Team(美团LongCat团队)
LongCat-AudioDiT通过在波形潜在空间中直接操作,实现了高保真的文本到语音生成,无需复杂多阶段训练流程或高质量标注数据,展现出卓越的零样本语音克隆性能。
2026-03-31 cs.SD eess.AS
STFTCodec: High-Fidelity Audio Compression through Time-Frequency Domain Representation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
本研究提出新型神经音频编解码器STFTCodec,利用STFT构建紧凑频谱表示并引入解包裹相位导数作为辅助特征,采用并行幅相处理分支,在放宽相位重建约束的同时保持相位感知,实现了多比特率下优于现有方法的感知质量,且压缩比调节灵活。
2025-03-21 cs.SD eess.AS
SiFiSinger: A High-Fidelity End-to-End Singing Voice Synthesizer based on Source-filter Model
Tencent AI Lab(腾讯 AI 实验室)
本文提出基于声源-滤波器机制的端到端SVS系统SiFiSinger,通过引入mcep解耦与声源激励信号,并采用可微分损失监督,在Opencpop数据集上提升了合成质量与音调准确性。
2024-10-16 cs.LG cs.SD eess.AS
Source-Filter-Based Generative Adversarial Neural Vocoder for High Fidelity Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家工程研究中心);University of Science and Technology of China(中国科学技术大学)
本文提出基于声源-滤波器的生成对抗神经声码器SF-GAN,通过引入F0激励信号结合多分辨率卷积滤波器重建波形,在AS和TTS任务中超越HiFi-GAN和Fre-GAN,合成质量媲美真实音频。
2023-04-26 cs.SD eess.AS
HiFi-WaveGAN: Generative Adversarial Network with Auxiliary Spectrogram-Phase Loss for High-Fidelity Singing Voice Generation
Beijing Bombax XiaoIce Technology Co., Ltd(北京木棉小冰科技有限公司);National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学);Tsinghua University(清华大学)
本文提出HiFi-WaveGAN,通过扩展WaveNet生成器、多周期与多分辨率频谱判别器、脉冲提取器及辅助频谱-相位损失,实现48kHz高保真歌声的实时合成,MOS达4.23,显著优于其他神经声码器。
2023-09-17 cs.SD eess.AS
RFWave: Multi-band Rectified Flow for Audio Waveform Reconstruction
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对扩散模型重建音频波形延迟高的问题,提出多波段整流流方法RFWave,通过帧级并行处理子带与直线传输轨迹,仅10步采样即可实现高保真重建,效率达实时的160倍。
2024-10-07 cs.AI cs.SD eess.AS
DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
Northwestern Polytechnical University(西北工业大学);TAL Education Group(好未来集团)
本文提出DSPGAN,一种基于GAN的通用神经声码器,通过引入来自DSP模块的时频域监督和正弦激励时域监督,解决训练与推理阶段频谱不匹配问题,实现跨说话人、语言和风格的高保真语音合成。
2023-05-28 cs.SD eess.AS
WaveFM: A High-Fidelity and Efficient Vocoder Based on Flow Matching
Tsinghua Universtiy(清华大学)
针对流匹配直接用于神经声码器音质不佳的问题,提出WaveFM重参数化流匹配声码器,采用梅尔条件先验、多分辨率STFT辅助损失及定制一致性蒸馏,实现单步推理下更优的音质与效率。
2025-03-20 cs.CL cs.SD eess.AS
Differentiable Wavetable Synthesis
ByteDance(字节跳动)
可微分波形表合成(DWTS)是一种用于神经音频合成的技术,其通过端到端训练来学习单周期波形(即波形表)的字典。我们实现了高保真音频合成,只需10到20个波表,并演示了数据驱动的波形字典如何在短音频片段上开辟前所未有的一次性学习范例。值得注意的是,我们展示了音频操作,例如高质量的音高转换,仅使用几秒钟的输入音频。最后,我们研究了使用学习的波形表进行实时和交互式音频合成的性能增益。
2022-02-13 cs.LG cs.SD eess.AS
Avocodo: Generative Adversarial Network for Artifact-free Vocoder
NCSOFT(NCSoft公司)
基于生成式对抗神经网络(GAN)的神经声码器由于其快速的推理速度和轻量级的网络,同时产生高质量的语音波形而得到广泛应用。由于感知上重要的语音分量主要集中在低频段中,因此大多数基于GAN的声码器执行多尺度分析,以评估下采样的语音波形。这种多尺度分析有助于生成器提高语音清晰度。然而,在初步的实验中,我们发现集中于低频段的多尺度分析会导致非预期的伪影,例如,混叠和成像伪像,这降低了合成语音波形的质量。因此,在本文中,我们研究了这些伪影与基于GAN的声码器之间的关系,并提出了一种基于GAN的声码器,称为Avocodo,它允许合成高保真语音,减少伪影。我们介绍了两种鉴别器,以评估语音波形在不同的角度:一个合作的多带鉴别器和子带鉴别器。我们还利用伪正交镜像滤波器组,以获得下采样的多频带语音波形,同时避免混叠。根据实验结果,Avocodo在客观和主观上都优于基于GAN的基线声码器,同时以更少的伪影再现语音。
2023-01-03 cs.AI cs.SD eess.AS
DiffAR: Denoising Diffusion Autoregressive Model for Raw Speech Waveform Generation
Technion – Israel Institute of Technology(以色列理工学院)
本研究提出用于原始语音波形生成的扩散自回归模型DiffAR,可端到端生成任意时长高保真语音,支持无条件与条件生成,效果优于现有前沿系统。
2024-03-10 cs.CL cs.SD eess.AS
High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models
Tianjin University(天津大学);Kuaishou Technology Co., Ltd(快手科技有限公司)
针对现有最小监督语音合成存在的语义表示冗余、波形失真、韵律平均等问题,提出全模块基于扩散模型的高保真合成方法,采用CTAP语义表示与连续回归任务,性能优于基线方法。
2023-12-18 cs.AI cs.CL cs.SD
HiFi-SR: A Unified Generative Transformer-Convolutional Adversarial Network for High-Fidelity Speech Super-Resolution
Tongyi Lab, Alibaba Group(阿里集团通义实验室)
针对现有语音超分辨率方法表示不一致、域外质量差的问题,提出统一的HiFi-SR网络,结合Transformer-卷积生成器与多尺度判别结构,可将4-32kHz语音上采样至48kHz,在多场景下性能优于现有方法。
2025-01-17 cs.SD eess.AS
Improving Adversarial Waveform Generation based Singing Voice Conversion with Harmonic Signals
The Chinese University of Hong Kong(香港中文大学);Sogou Inc.(搜狗公司);Tencent PCG AIBU(腾讯平台与内容事业群AI业务单元)
对抗性波形生成作为歌唱声音转换(SVC)的后端以生成高质量的歌唱音频已经是流行的方法。然而,GAN的不稳定性也会导致其他问题,例如音调抖动和U/V误差。它影响了谐波的平滑性和连续性,从而严重降低了变换质量。本文提出了提前向SVC模型馈送谐波信号以增强音频生成。我们从音调中提取正弦激励,并使用由神经网络估计的线性时变(LTV)滤波器对其进行滤波。这两个谐波信号都被采用作为输入,以产生振鸣波形。在我们的实验中,两个主流模型,MelGAN和WaveGAN,进行了研究,以验证所提出的方法的有效性。我们在干净和有噪声的测试集上进行MOS测试。结果表明,两种信号在保真度和音色相似性方面都显著提高了SVC。实例分析进一步验证了该方法增强了生成音频中谐波的平滑性和连续性,滤波后的激励更好地匹配目标音频。
2022-01-25 cs.MM cs.SD eess.AS
VISinger 2: High-Fidelity End-to-End Singing Voice Synthesis Enhanced by Digital Signal Processing Synthesizer
Northwestern Polytechnical University(西北工业大学);DiDi Chuxing(滴滴出行)
端到端的歌唱声合成(SVS)模型VISinger可以实现更好的性能比典型的两阶段模型与较少的参数。但VISinger存在以下问题:文本到相位问题,端到端模型学习文本到相位的无意义映射;毛刺问题,浊音段周期信号对应的谐波分量发生突变,出现可听伪迹;低采样率,24 KHz的采样率不能满足全频段(44.1KHz以上)高保真产生的应用需求。在本文中,我们提出了VISinger 2来解决这些问题,通过集成数字信号处理(DSP)的方法与VISinger。具体来说,受可微数字信号处理(DDSP)的最新进展的启发,我们将DSP合成器的解码器,以解决上述问题。DSP合成器由谐波合成器和噪声合成器组成,分别从VISinger中的潜在表示z生成周期和非周期信号。它监督后验编码器提取没有相位信息的潜在表示,避免了前验编码器建模文本到相位映射。为了避免毛刺伪影,HiFi-GAN被修改为接受DSP合成器生成的波形作为产生歌声的条件。此外,通过改进的波形解码器,VISinger 2能够生成44.1kHz的歌唱音频,具有更丰富的表达和更好的质量。在OpenCpop语料库上的实验表明,VISinger 2在主观和客观指标上均优于VISinger、CpopSing和RefineSinger。
2022-11-05 cs.SD eess.AS
SemiCodec: Bridging Speech Tokenization and High-fidelity Reconstruction with Semi-discrete Representations
Tencent(腾讯)
本研究提出新型半离散神经语音编解码器SemiCodec,采用“先保留后基础”训练范式,在重建质量、可懂度上优于全离散编解码器,声学保真度与说话人保留能力可与连续表示媲美。
2026-10-14 cs.SD eess.AS
HILCodec: High-Fidelity and Lightweight Neural Audio Codec
Seoul National University(首尔大学);Institute of New Media and Communications(新媒体与通信研究所)
本文提出HILCodec,通过方差受限设计解决SEANet编解码器性能不随深度增加的问题,并引入无失真判别器,实现了实时流式的高保真轻量级神经音频编解码。
2024-09-24 cs.SD eess.AS
Quasi-Periodic WaveNet: An Autoregressive Raw Waveform Generative Model with Pitch-dependent Dilated Convolution Neural Network
Graduate School of Informatics, Nagoya University(名古屋大学情报学研究科);Graduate School of Information Science, Nagoya University(名古屋大学情报科学研究科);Information Technology Center, Nagoya University(名古屋大学信息技术中心)
本文提出了一种音调自适应的波形生成模型--准周期波形网(QPNet),利用音调相关的扩张卷积神经网络(PDCNN)来改善vanilla波形网(WN)有限的音调可控性。具体地,作为具有堆叠的扩张卷积层的概率自回归生成模型,WN实现高保真音频波形生成。然而,纯数据驱动的性质和缺乏音频信号的先验知识降低了WN的音高可控性。例如,当给定的辅助基频($F_{0}$)特征在训练数据中观察到的$F_{0}$范围之外时,WN难以精确地生成音频信号的周期分量。为了解决这个问题,QPNet提出了两种新颖的设计。首先,PDCNN组件被应用于根据给定的辅助$F_{0}$特征来动态地改变WN的网络架构。第二,级联网络结构被用来同时建模的长期和短期的依赖性的准周期信号,如语音。对单音正弦信号和语音产生的性能进行了评估。实验结果表明,PDCNN的有效性不可见的辅助$F_{0}$功能和语音生成的级联结构的有效性。
2021-03-27 cs.SD eess.AS
WOLONet: Wave Outlooker for Efficient and High Fidelity Speech Synthesis
最近,基于GAN的神经声码器(如Parallel WaveGAN、MelGAN、HiFiGAN和UnivNet)由于其轻量级和并行结构而变得流行,从而即使在CPU上也能实现高保真的实时合成波形。HiFiGAN和UnivNet是两种SOTA声码器。尽管质量很高,但仍有改进的余地。本文借鉴计算机视觉中的Vision Outlooker结构,提出了一种高效、轻量级的神经声码器WOLONet。在这个网络中,我们开发了一个新的轻量级块,它使用一个位置可变的,通道独立的,依赖性的动态卷积内核,具有正弦激活的动态内核权重。为了证明我们的方法的有效性和通用性,我们进行了消融研究来验证我们的新设计,并与典型的基于GAN的声码器进行了主观和客观的比较。结果表明,我们的WOLONet实现了最好的生成质量,同时需要更少的参数比两个神经SOTA声码器,HiFiGAN和UnivNet。
2022-06-20 cs.AI cs.CL cs.SD
Wavehax: Aliasing-Free Neural Waveform Synthesis Based on 2D Convolution and Harmonic Prior for Reliable Complex Spectrogram Estimation
Graduate School of Informatics, Nagoya University, Japan(名古屋大学信息科学研究生院);LY Corporation, Japan(日本LY公司);Information Technology Center, Nagoya University, Japan(名古屋大学信息技术中心)
Wavehax通过结合2D卷积和调谐先验,实现无混叠神经波形合成,提升高基频外推性能和效率。
2025-12-05 cs.SD eess.AS
Audio Dequantization for High Fidelity Audio Generation in Flow-based Neural Vocoder
Korea University(高丽大学);Netmarble Corporation(网石公司)
在最近的工作中,基于流的神经声码器在实时语音生成任务中表现出显着的改善。可逆流操作的序列允许模型将样本从简单分布转换为音频样本。然而,在离散音频数据上训练连续密度模型会由于潜在分布和实际分布之间的拓扑差异而降低模型性能。为了解决这个问题,我们提出了音频去量化方法在基于流的神经声码器高保真音频生成。数据去量化是图像生成中众所周知的方法,但尚未在音频域中进行研究。为此,我们在基于流的神经声码器中实现了各种音频去量化方法,并研究了其对生成音频的影响。我们进行了各种客观的性能评估和主观评价,以表明音频去量化可以提高音频生成质量。从我们的实验中,使用音频去量化产生波形音频具有更好的谐波结构和更少的数字伪影。
2020-08-16 cs.CL cs.SD eess.AS
WavFlow: Audio Generation in Waveform Space
Meta AI;Northeastern University(东北大学)
本文提出WavFlow框架,直接在原始波形空间生成高保真的音频,无需中间表示,通过波形分块和振幅提升实现稳定优化,通过自动化数据管道生成高质量视频-文本-音频三元组,实验结果显示在视频到音频和文本到音频基准测试中表现优异,证明了无需中间压缩即可实现高质量合成。
2026-05-18 cs.CV cs.SD
TQCodec: Towards neural audio codec for high-fidelity music streaming
Tencent Music Entertainment(腾讯音乐娱乐);The Chinese University of Hong Kong(香港中文大学);Southeast University(东南大学);Tsinghua University(清华大学)
TQCodec是一种针对高质量音乐流媒体设计的神经音频编解码器,通过改进的网络架构和感知驱动的比特分配策略,在高比特率下实现卓越的音频质量。
2026-03-02 cs.SD