Aliasing-Free Neural Audio Synthesis
Aalto University School of Science（阿alto大学科学学院）；Aalto University（阿alto大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Spellbrush, Akihabara, Tokyo（东京秋叶原Spellbrush）
本文提出Pupu-Vocoder和Pupu-Codec，通过可微抗混叠技术提升音乐和歌声合成质量，实验显示其在歌声、音乐和音频上表现更优。
2026-06-29 cs.SD eess.AS eess.SP
TQCodec: Towards neural audio codec for high-fidelity music streaming
Tencent Music Entertainment（腾讯音乐娱乐）；The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）；Tsinghua University（清华大学）
TQCodec是一种针对高质量音乐流媒体设计的神经音频编解码器，通过改进的网络架构和感知驱动的比特分配策略，在高比特率下实现卓越的音频质量。
2026-03-02 cs.SD
ESPnet-Codec: Comprehensive Training and Evaluation of Neural Codecs for Audio, Music, and Speech
Carnegie Mellon University（卡内基梅隆大学）；Renmin University of China（中国人民大学）；Nanyang Technological University（南洋理工大学）；Tokyo Metropolitan University（东京都立大学）；Fudan University（复旦大学）；University of Chicago（芝加哥大学）；National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
提出ESPnet-Codec开源平台，基于ESPnet支持音频、音乐和语音神经编解码器的训练与评估，并配套VERSA工具包，通过20个指标全面评估，可集成至六个ESPnet任务。
2025-02-24 cs.SD eess.AS
Generating Sample-Based Musical Instruments Using Neural Audio Codec Language Models
Native Instruments
本文提出用神经音频编解码器语言模型，基于文本或音频提示自动生成乐器，引入三种条件化方案与新的音色一致性指标，经客观与主观测试验证其有效性。
2024-07-22 cs.LG cs.SD eess.AS
PhaseGAN: High-Fidelity Vocoder via Decoupled Amplitude and GAN-Driven Phase Reconstruction
Inner Mongolia University（内蒙古大学）
PhaseGAN通过解耦幅度与相位重建的轻量级声码器，以少量参数实现高保真音频合成，并展现跨领域泛化能力。
2026-09-14 cs.SD
ADNAC: Audio Denoiser using Neural Audio Codec
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
本文提出ADNAC，通过在大规模定制合成数据集上训练Descript Audio Codec (DAC)并结合多目标损失函数，克服传统架构局限，实现高保真音乐去噪与生成式音频修复。
2025-11-03 cs.LG cs.SD
Hierarchical Diffusion Models for Singing Voice Neural Vocoder
Sony Group Corporation（索尼集团公司）
深度生成模型的最新进展提高了语音域中神经声码器的质量。然而，由于音高、响度和发音方面的音乐表现形式多种多样，产生高质量的歌声仍然具有挑战性。在这项工作中，我们提出了一个层次扩散模型歌唱声神经声码器。所提出的方法由多个扩散模型在不同的采样率操作;在最低采样率的模型专注于生成准确的低频分量，如音调，和其他模型逐步生成波形在较高的采样率的基础上，在较低的采样率和声学特征。实验结果表明，所提出的方法产生高质量的歌唱声音多个歌手，性能优于国家的最先进的神经声码器具有类似的计算成本范围。
2022-10-18 cs.LG cs.SD eess.AS
A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate
Fraunhofer（弗劳恩霍夫）；Fantasmo（范塔斯莫）
最近，GAN声码器在语音合成方面取得了快速进展，开始以更高的生成速度在感知质量方面优于自回归模型。然而，自回归声码器仍然是以非常低的比特率编码的语音信号的神经生成的常见选择。在本文中，我们提出了一个GAN声码器，它能够产生宽带语音波形的参数编码在1.6 kbit/s。该模型是一个修改版本的StyleMelGAN声码器，可以运行在逐帧的方式，使其适合于流媒体应用。实验结果表明，该模型在极低比特率语音编码中的性能明显优于LPCNet等自回归声码器，计算复杂度约为5 GMAC，为该领域提供了一个新的发展方向.此外，这种流式对抗声码器在干净语音上以5.9 kbit/s提供与高级语音编解码器（例如EVS）竞争的质量，这促使前馈全卷积模型进一步用于低比特率语音编码。
2021-08-09 cs.LG cs.SD eess.AS
An Initial study on Birdsong Re-synthesis Using Neural Vocoders
University of Eastern Finland（东芬兰大学）
现代语音合成使用神经声码器直接对原始波形样本进行建模。这种增加的多功能性已经将声码器的范围从语音扩展到其他领域，例如音乐。我们解决另一个有趣的生物声学领域。我们提供了初步的比较分析，再合成实验的鸟鸣使用传统的（世界）和两个神经（WaveNet自动编码器，并行WaveGAN）声码器。我们的主观结果表明，在三个声码器的物种歧视（ABX测试）方面没有差异。尽管如此，WORLD声码器样本在保持类似鸟的质量（MOS测试）方面被评为更高。所有声码器都面临音高和发声的问题。我们的研究结果表明，在处理低质量的野生动物音频数据的一些挑战。
2022-09-21 cs.SD eess.AS eess.SP
RADE: A Neural Codec for Transmitting Speech over HF Radio Channels
提出 RADE 神经编解码器，用自动编码器替代传统信号处理链路，直接生成并恢复 OFDM 传输的 QAM 声码器特征，在仿真和真实 HF 信道上提升噪声环境下的语音可懂度。
2025-07-26 cs.SD eess.AS
Deep Vocoder: Low Bit Rate Compression of Speech with Deep Autoencoder
National University of Defense Technology（国防科技大学）；Army Engineering University of PLA（中国人民解放军陆军工程大学）
受深度神经网络（DNN）在语音处理中的成功启发，本文提出了一种带深度自动编码器（DAE）的直接端到端低比特率语音压缩方法--深度声码器（Deep Vocoder）。在深度声码器中，DAE用于提取语音的潜在代表特征（LRF），然后通过合成分析矢量量化（AbS VQ）方法对其进行有效量化。AbS VQ的目标是最小化感知频谱重建失真，而不是LRF向量本身的失真。此外，提出了一种次优码本搜索技术，以进一步降低计算复杂性。实验结果表明，与传统的基于SQ或VQ的编解码器的输出相比，深度声码器在频率加权分段SNR、STOI和PESQ得分方面产生了实质性的改善。对于2400 bit/s和1200 bit/s的语音编码，在TIMIT语料库上产生的PESQ分数分别为3.34和3.08。
2019-05-14 cs.IT cs.MM cs.SD
Geometric Iterative Retrieval for Neural Audio Codec Resynthesis
ETH-DISCO
该研究针对神经音频编解码器从粗令牌重合成高质量音频的问题，提出几何迭代检索方法，在语音和音乐编解码器恢复任务上优于单次令牌预测和单步回归基线。
2026-08-20 cs.LG cs.SD
BigVGAN: A Universal Neural Vocoder with Large-Scale Training
Seoul National University（首尔国立大学）；NVIDIA（英伟达）
尽管最近在基于生成对抗网络（GAN）的声码器中取得了进展，其中模型生成以声学特征为条件的原始波形，但是在各种记录环境中为众多扬声器合成高保真音频是具有挑战性的。在这项工作中，我们提出了BigVGAN，一个通用的声码器，以及推广各种出分布的情况下，没有微调。我们在GAN生成器中引入了周期性激活函数和抗锯齿表示，这为音频合成带来了所需的电感偏置，显著提高了音频质量。此外，我们训练我们的GAN声码器在最大规模高达112 M的参数，这是前所未有的文献。我们识别并解决大规模GAN音频训练中的故障模式，同时保持高保真输出而不过度正则化。我们的BigVGAN仅在干净语音（LibriTTS）上进行训练，可在各种zero-shot（分发外）条件下实现最先进的性能，包括看不见的扬声器、语言、录音环境、歌声、音乐和乐器音频。我们发布我们的代码和模型：https://github.com/NVIDIA/BigVGAN
2023-02-16 cs.CL cs.LG cs.SD
Msanii: High Fidelity Music Synthesis on a Shoestring Budget
在本文中，我们提出了Msanii，一种新的基于扩散的模型，用于有效地合成长上下文，高保真音乐。我们的模型结合了梅尔频谱图的表现力，扩散模型的生成能力，和神经声码器的声码功能。我们证明了Msanii的有效性，合成几十秒（190秒）的立体声音乐在高采样率（44.1 kHz），而不使用级联合成，级联架构，或压缩技术。据我们所知，这是第一次成功地采用基于扩散的模型，以高采样率合成这样长的音乐样本。我们的演示可以在https://kinyugo.github.io/msanii-demo和我们的代码https://github.com/Kinyugo/msanii找到。
2023-01-16 cs.LG cs.SD eess.AS
FoundationTTS: Text-to-Speech for ASR Customization with Generative Language Model
Microsoft（微软）
神经文本转语音（TTS）通常包括具有单独优化的声学模型和声码器的级联架构，或者具有连续梅尔频谱图或自提取语音帧作为中间表示以桥接声学模型和声码器的端到端架构，其遭受两个限制：1）连续的声学帧很难仅用音素来预测，并且还需要诸如持续时间或音高的声学信息来解决一对多问题，其在大规模和噪声数据集上不容易缩放; 2）为了实现基于连续语音特征的多样化语音输出，通常需要复杂的VAE或基于流的模型。在本文中，我们提出了FoundationTTS，一个新的语音合成系统与神经音频编解码器的离散语音令牌提取和波形重建和一个大的语言模型的离散令牌生成语言（音素）令牌。具体而言，1）我们提出了一种基于矢量量化自编码器对抗训练（VQ-GAN）的分层编解码器网络，该网络首先使用细粒度编解码器提取连续帧级语音表示，然后使用粗粒度编解码器从每个连续语音帧中提取离散令牌; 2）将语音标记、语言标记、说话人标记与一个大的语言模型联合优化，并对离散的语音标记进行自回归预测。实验表明，与基线系统相比，FoundationTTS实现了+0.14的MOS增益。在ASR定制任务中，我们的方法在两个强定制ASR基线上分别获得了7.09%和10.35%的WERR。
2023-03-08 cs.SD eess.AS
Drum Synthesis from Expressive Drum Grids via Neural Audio Codecs
Dept. of Music Technology and Acoustics, Hellenic Mediterranean University（音乐技术与声学系，希腊地中海大学）
本文提出通过神经音频编码器将表现性鼓组转换为鼓声，使用Transformer模型生成编码器令牌并评估不同编码器对生成鼓声质量的影响。
2026-05-11 cs.AI cs.SD
Phase Repair for Time-Domain Convolutional Neural Networks in Music Super-Resolution
Waseda University（早稻田大学）；University of Amsterdam（阿姆斯特丹大学）
针对TD-CNN在音乐超分辨率中产生伪影的问题，首次通过实验证明其由相位失真引起，并提出TD-PR方法利用预训练声码器修复相位，显著提升了多种TD-CNN基线的感知质量。
2024-02-18 cs.SD eess.AS
Speaker anonymization using neural audio codec language models
EURECOM；Microsoft UK（微软英国）
本文提出利用神经音频编解码器的量化编码作为说话人信息瓶颈，结合语言建模实现说话人匿名化，并通过Voice Privacy Challenge 2022评估框架验证了该方法的有效性。
2024-01-12 cs.SD eess.AS
A Phase Vocoder based on Nonstationary Gabor Frames
Aalborg University（奥尔堡大学）；University of Vienna（维也纳大学）
基于非平稳Gabor框架理论，提出了一种新的音乐信号时间拉伸算法。该算法扩展了经典的相位声码器（PV）的技术，结合自适应时频（TF）表示和自适应锁相。自适应TF表示意味着攻击瞬变的起始良好的时间分辨率和正弦分量的良好的频率分辨率。我们只在峰值通道处估计相位值，然后以自适应方式将剩余相位锁定到峰值的值。在攻击瞬变过程中，我们保持拉伸因子等于1，我们提出了一种新的策略，用于确定哪些通道是相关的重新初始化相应的相位值。与以前发表的算法相比，我们使用非均匀NSGF来获得相应的TF表示的低冗余。我们表明，只有三倍的TF系数作为信号样本，文物，如相位和瞬态拖尾可以大大减少相比，经典的PV。所提出的算法进行了测试，在合成和真实世界的信号，并与最先进的算法在一个可重复的方式进行比较。
2017-09-06 cs.SD
Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding
Universidade de São Paulo（圣保罗大学）
本研究提出一种基于mel语谱图4×4块单阶段量化的神经语音编解码器，结合VQ-VAE后期对抗微调与HiFi-GAN声码器，在7.5kbits/s速率下达到与现有先进方案相当的语音质量，为低延迟编解码器提供开放基础。
2025-09-02 cs.CL cs.SD eess.AS
Practical cognitive speech compression
Université de Sherbrooke（舍布鲁克大学）
本文提出了一种新的神经语音压缩方法，它是实用的意义上，它工作在低比特率，引入了低延迟，是兼容的计算复杂度与当前的移动设备，并提供了一个主观的质量是可比的标准移动电话编解码器。最近提出的其他神经声码器也具有以低比特率操作的能力。然而，它们不产生与标准编解码器相同的主观质量水平。另一方面，标准编解码器依赖于客观和短期的指标，例如与感知仅弱相关的分段信噪比。此外，标准编解码器在捕获语音属性，特别是长期语音属性方面的效率低于无监督神经网络。所提出的方法结合了一个认知编码编码器，提取一个可解释的无监督分层表示与多级解码器，具有基于GAN的架构。我们观察到，这种方法是非常强大的量化表示功能。AB测试是在哈佛句子的一个子集上进行的，这些句子通常用于评估标准的移动电话编解码器。实验结果表明，该方法在时延、码率和主观质量方面均优于标准AMR-WB编解码器。
2022-03-08 cs.SD eess.AS
Bridging the SEA Gap: An Initial Benchmark for Neural Audio Codec-Synthesized Speech Deepfakes in South-East Asian Languages
IIIT-Delhi, India（印度德里国家理工学院）；UPES, India（印度UPES大学）；VBSPU, India（印度VBSPU大学）
针对南亚语言神经音频编码合成语音深度伪造检测缺乏基准的问题，构建首个大规模基准SEA-CF，并提出轻量级小模型GARUDA，在低资源场景下实现高效检测。
2026-06-16 cs.SD eess.AS
Neural Music Synthesis for Flexible Timbre Control
New York University（纽约大学）；Spotify
原始音频波形合成模型（如WaveNet）最近的成功激发了一种新的音乐合成方法，其中整个过程--从乐谱和乐器信息创建音频样本--使用生成神经网络建模。本文描述了一种具有灵活音色控制的神经音乐合成模型，该模型由一个以学习乐器嵌入为条件的递归神经网络和一个WaveNet声码器组成。学习的嵌入空间成功地捕获了大型数据集中音色的各种变化，并通过在嵌入空间中的乐器之间进行插值来实现音色控制和变形。合成质量的评价数字和感知，并提出了一个互动的Web演示。
2018-11-01 cs.SD eess.AS stat.ML
Source Separation of Multi-source Raw Music using a Residual Quantized Variational Autoencoder
Sapienza University of Rome（罗马第一大学）
本研究提出一种基于残差量化变分自编码器的神经音频编解码器模型，在Slakh2100数据集上训练后可实现音乐源分离，以远低于现有方法的算力取得接近当前最优水平的效果，且代码已公开。
2024-08-12 cs.LG cs.MM cs.SD
DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders
Microsoft Azure Speech（微软Azure语音）；Microsoft Research Asia（微软亚洲研究院）
当前的文本到语音（TTS）系统通常利用级联的声学模型和声码器流水线，其中梅尔频谱图作为中间表示，其受到两个限制：1）声学模型和声码器是单独训练的，而不是联合优化的，这导致级联的误差; 2）中间语音表示（例如，MEL频谱图）是预先设计的，并且丢失了相位信息，这是次优的。为了解决这些问题，本文开发了DelightfulTTS 2，这是一种新型端到端语音合成系统，具有自动学习的语音表示以及联合优化的声学模型和声码器。具体而言，1）我们提出了一种新的基于矢量量化自编码器与对抗训练（VQ-GAN）的编解码器网络，以提取中间帧级语音表示（而不是像梅尔频谱图这样的传统表示）并重建语音波形; 2）共同优化声学模型（基于DelightfulTTS）和声码器（VQ-GAN的解码器），在声学模型上具有辅助损失以预测中间语音表示。实验表明，DelightfulTTS 2的CMOS增益比DelightfulTTS提高了+0.14，进一步的方法分析进一步验证了所开发系统的有效性。
2022-07-11 cs.SD eess.AS eess.SP
LSCodec: Low-Bitrate and Speaker-Decoupled Discrete Speech Codec
Shanghai Jiao Tong University（上海交通大学）；X-LANCE Lab, MoE Kay Lab of Artificial Intelligence, School of Computer Science（X-LANCE实验室、MoE Kay人工智能实验室、计算机科学学院）
针对离散语音token高码率、含冗余音色信息的问题，提出低码率且说话人解耦的LSCodec离散语音编解码器，采用带说话人扰动的多阶段无监督训练框架，在重构质量、说话人解耦效果上均优于基线。
2025-05-21 cs.AI cs.SD eess.AS
UniSRCodec: Unified and Low-Bitrate Single Codebook Codec with Sub-Band Reconstruction
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院）；ModelBest Inc., Beijing, China（ModelBest公司）
UniSRCodec是一种低比特率单码本编解码器，通过子带重建技术实现高保真度压缩，优于现有单码本方法。
2026-01-06 cs.AI cs.MM cs.SD
SoundStream: An End-to-End Neural Audio Codec
我们提出了SoundStream，一种新型的神经音频编解码器，可以有效地压缩语音，音乐和一般音频的比特率通常由语音定制的编解码器的目标。SoundStream依赖于由完全卷积编码器/解码器网络和残差矢量量化器组成的模型架构，它们是端到端联合训练的。训练利用了文本到语音和语音增强的最新进展，这些进展结合了对抗和重建损失，允许从量化嵌入生成高质量的音频内容。通过对量化器层应用结构化丢弃进行训练，单个模型可以在从3 kbps到18 kbps的可变比特率上运行，与以固定比特率训练的模型相比，质量损失可以忽略不计。此外，该模型适合于低延迟实现，其支持流式推理并在智能手机CPU上实时的运行。在使用24 kHz采样率的音频的主观评估中，3 kbps的SoundStream优于12 kbps的Opus，并接近9.6kbps的EVS。此外，我们能够在编码器或解码器侧执行联合压缩和增强，而没有额外的延迟，我们通过语音的背景噪声抑制来证明这一点。
2021-07-07 cs.LG cs.SD eess.AS
Learning Source Disentanglement in Neural Audio Codec
LTCI, Télécom Paris, Institut Polytechnique de Paris（法国巴黎综合理工学院 Telecom Paris 理工学院 LTCI 实验室）；CVSSP, University of Surrey（萨里大学 CVSSP 实验室）
针对现有神经音频编解码器忽略不同声音域差异导致建模复杂和生成可控性差的问题，提出结合编码与分离的SD-Codec，实现不同源的码本解耦，在保持重合成质量的同时增强可解释性与生成可控性。
2025-02-11 cs.AI cs.LG cs.SD
SnakeGAN: A Universal Vocoder Leveraging DDSP Prior Knowledge and Periodic Inductive Bias
The Chinese University of Hong Kong（香港中文大学）
提出基于 GAN 的通用声码器 SnakeGAN，利用 DDSP 先验和 Snake 激活引入周期性归纳偏置，仅用语音数据训练即可在多种分布外场景生成高保真音频。
2023-09-14 cs.SD eess.AS
SpectroStream: A Versatile Neural Codec for General Audio
本文提出SpectroStream，一种全频带多通道神经音频编解码器，通过时频域表示和延迟融合策略，在4-16 kbps比特率下实现48 kHz立体声音乐的高质量重建。
2025-08-07 cs.AI cs.SD eess.AS
MIDI-VALLE: Improving Expressive Piano Performance Synthesis Through Neural Codec Language Modelling
针对传统音乐演奏合成模型泛化性差的问题，提出改编自VALLE的神经编解码器语言模型MIDI-VALLE，将MIDI和音频统一编码为离散token进行建模，在多项数据集和听音测试中显著优于基线。
2025-07-11 cs.AI cs.SD eess.AS
Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model
Hong Kong University of Science and Technology（香港科技大学）；University of Science and Technology Beijing（北京科技大学）；Hong Kong Baptist University（香港浸会大学）；Microsoft（微软公司）；Chinese University of Hong Kong（香港中文大学）
针对现有音频 LLM 编解码器因压缩设计导致的语义缺陷问题，提出 X-Codec 方法，通过在 RVQ 前后融入语义特征与损失，显著降低语音合成 WER 并扩展至非语音任务，提升音频生成性能。
2024-11-27 cs.AI cs.CL cs.SD
HARP: Harmonic-Aware Residual Partitioning for Neural Audio Codecs
Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）；Tencent Music Entertainment（腾讯音乐娱乐集团）
研究针对神经音频编解码器中码本频谱纠缠等问题，提出HARP训练策略，将RVQ阶段分组，在解码器能访问低频时各小组细化目标频带，重建泛音保留连贯性，该策略无需架构改变，性能优于标准RVQ和并行分解。
2026-07-21 cs.SD
SpecDiff-GAN: A Spectrally-Shaped Noise Diffusion GAN for Speech and Music Synthesis
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
本文提出SpecDiff-GAN，一种基于HiFi-GAN的神经声码器，通过向判别器输入前添加高斯噪声及频谱成形噪声的扩散过程增强训练稳定性，在语音和音乐合成上实现更优的音频质量与效率。
2024-01-30 cs.LG cs.SD eess.AS
SAME: A Semantically-Aligned Music Autoencoder
Stability AI
该研究提出SAME自编码器，通过结合Transformer架构和语义正则化方法，实现了4096倍的时间压缩比，同时保持重建质量和生成性能。
2026-05-18 cs.AI cs.SD
UniCodec: Unified Audio Codec with Single Domain-Adaptive Codebook
National University of Singapore（新加坡国立大学）；Tongyi Speech Lab（通义语音实验室）；Shanghai Jiao Tong University（上海交通大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
UniCodec提出分区域自适应码本与域专家混合策略，以单一码本统一处理语音、音乐和声音，通过自监督掩码预测增强语义，重建性能超越现有统一及特定域编解码器。
2025-02-27 cs.SD eess.AS
Art2Music: Generating Music for Art Images with Multi-modal Feeling Alignment
School of Computing Newcastle University（计算学院新castle大学）；Department of Computer Science University of Reading（计算机科学系阅读大学）
Art2Music通过多模态情感对齐生成艺术图像的音乐，利用轻量级跨模态框架提升音乐生成的感知自然性和频谱保真度。
2025-11-27 cs.AI cs.CV cs.LG
Amphion: An Open-Source Audio, Music and Speech Generation Toolkit
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai AI Laboratory（上海人工智能实验室）
本研究推出开源音频、音乐与语音生成工具包Amphion，构建统一可扩展框架，提供新手友好流程与预训练模型，初始版本支持TTS、TTA、SVC等任务及配套组件，助力相关领域研究者快速开展项目。
2024-09-16 cs.SD eess.AS
MelTok: 2D Tokenization for Single-Codebook Audio Compression
International Digital Economy Academy (IDEA)（国际数字经济学院）；Chinese University of Hong Kong（香港中文大学）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生学院）
MelTok通过二维分token化和基于分token的vocoder，实现单代码本下的高效音频压缩与高质量重建。
2025-12-04 cs.SD eess.AS
Do Neural Codecs Generalize? A Controlled Study Across Unseen Languages and Non-Speech Tasks
University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）；Meta
本文研究了神经音频编码器在未见语言和非语音任务上的泛化能力，发现预训练中引入非语音数据能提升非语音任务性能，但语音预训练的NACs在非语音任务上表现较差。
2026-01-18 cs.AI cs.SD eess.AS
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models
Korea University（高丽大学）
针对扩散模型用于歌声合成时复杂度高、可控性差的问题，提出结合神经音频编解码器与潜在扩散模型的HiddenSinger系统，还扩展出无监督框架HiddenSinger-U，音频质量优于现有模型，可基于无标注数据合成高质量歌声。
2023-06-12 cs.AI cs.SD eess.AS
DOSE : Drum One-Shot Extraction from Music Mixture
Music and Audio Research Group (MARG), Department of Intelligence and Information（音乐与音频研究组（MARG），智能信息系）；Department of Mechanical Engineering（机械工程系）；Interdisciplinary Program in Artificial Intelligence & Artificial Intelligence Institute（人工智能交叉学程及人工智能学院）
本文提出鼓单次采样提取任务及DOSE模型，利用神经音频编解码器语言模型和起始点损失，从音乐混合中端到端提取高质量鼓单次采样，优于基于源分离的基线方法。
2025-04-25 cs.SD eess.AS
BemaGANv2: Discriminator Combination Strategies for GAN-based Vocoders in Long-Term Audio Generation
Department of Electronic Engineering, Kwangwoon University, Seoul, South Korea（韩国首尔 Kwangwoon 大学电子工程系）；Graduate School of Smart Convergence, Kwangwoon University, Seoul, South Korea（韩国首尔 Kwangwoon 大学智能融合研究生院）；Department of Electrical and Electronic Computer Engineering, DGIST, Daegu, South Korea（韩国大邱 DGIST 电子与计算机工程系）；Ewha Womans University College of Medicine Seoul, South Korea（韩国首尔 Ewha 女子大学医学院）；School of Medicine, Kyung Hee University Seoul, South Korea（韩国首尔 Kyung Hee 大学医学院）
BemaGANv2通过改进的判别器组合策略提升长期音频生成的保真度与一致性
2026-03-09 cs.AI cs.LG cs.LO
How Should We Extract Discrete Audio Tokens from Self-Supervised Models?
Concordia University（康考迪亚大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Avignon Université（阿维尼翁大学）；Telecom Paris（巴黎电信学院）；Université de Montréal（蒙特利尔大学）；Université Laval（拉瓦尔大学）
本文研究从自监督模型中提取离散音频令牌的最佳配置，提出跨多层SSL训练通用声码器，并利用注意力机制识别任务关键层，以提升语义令牌在判别与生成任务中的适应性和性能。
2024-06-15 cs.AI cs.CL cs.SD
High-Quality, Low-Delay Music Coding in the Opus Codec
Mozilla（谋智）；Microsoft（微软）
IETF最近将Opus编解码器标准化为RFC 6716。Opus通过将线性预测编码器与变换编码器相结合，以广泛的实时互联网应用为目标。我们描述的变换编码器，特别注意的心理声学知识内置的格式。其结果优于现有的音频编解码器，这些编解码器不在实时约束下操作。
2016-02-15 cs.MM cs.SD
Trigonometric dictionary based codec for music compression with high quality recovery
Aston University（阿斯顿大学）
提出了一种用于音乐信号压缩的编解码器。该方法属于变换有损压缩类。它被认为是应用于高质量的恢复范围。这种变换依赖于对音乐信号构造高质量稀疏近似的能力，赋予了编解码器以其独特的特征。这是通过一个冗余的三角字典和一个专用的追求策略。该方法的潜力是通过与OGG Vorbis格式的比较来说明的，在一个由旋律音乐片段组成的样本上。该比较证明了对于相同质量的解压缩信号，压缩性能的显著改善。
2015-12-14 cs.IT cs.SD math.IT
MuCodec: Ultra Low-Bitrate Music Codec
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）
针对超低码率下复杂人声与背景音乐难以有效重建的问题，提出MuCodec，结合MuEncoder、RVQ与flow-matching提取特征并经预训练解码器重建高保真音乐，在0.35kbps和1.35kbps下均取得最优主客观指标。
2025-07-11 cs.SD eess.AS
Scalable and Efficient Neural Speech Coding: A Hybrid Design
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
我们提出了一个可扩展的和有效的神经波形编码系统的语音压缩。我们将语音编码问题表述为自动编码任务，其中卷积神经网络（CNN）在其前馈例程期间作为神经波形编解码器（NWC）执行编码和解码。建议的NWC还将量化和熵编码定义为可训练模块，因此在优化过程中处理编码伪像和比特率控制。我们通过在NWC中引入紧凑的模型组件来实现效率，例如门控残差网络和深度可分离卷积。此外，所提出的模型具有可扩展的架构，跨模块残差学习（CMRL），以覆盖广泛的比特率。为此，我们采用残差编码的概念来级联多个NWC自动编码模块，其中每个NWC模块执行残差编码以恢复其先前模块已经创建的任何重构损失。CMRL也可以缩小以覆盖较低的比特率，为此它采用线性预测编码（LPC）模块作为其第一个自动编码器。该混合设计通过将LPC的量化过程重新定义为可微分过程，将LPC和NWC相结合，使系统训练成为端到端的方式。所提出的系统的解码器具有在低至中等比特率范围（12至20 kbps）中的一个NWC（0.12百万个参数）或在高比特率（32 kbps）中的两个NWC。虽然解码复杂度还没有像传统语音编解码器那样低，但它比其他神经语音编码器（诸如基于WaveNet的声码器）的解码复杂度显著降低。对于宽带语音编码质量，我们的系统在低和中等比特率的TIMIT测试话语上产生与AMR-WB和Opus相当或更好的性能。所提出的系统可以扩展到更高的比特率，以…
2021-11-28 cs.LG cs.SD eess.AS
AudioLM: a Language Modeling Approach to Audio Generation
Google Research（谷歌研究院）
提出 AudioLM 框架，将音频生成转化为离散 token 空间的语言建模任务，采用混合分词方案结合掩码语言模型与神经音频编解码器，实现高质量且长期一致的语音与钢琴音乐续写。
2023-07-26 cs.LG cs.SD eess.AS
On the Geometry of Music Bandwidth Extension in Latent Spaces of Audio Codecs
本文分析了多种先进方法与简单算术变换在神经编解码器潜在空间中用于音乐带宽扩展的性能，发现简单向量加法可媲美大型扩散模型，建议将其设为研究基准。
2026-08-05 cs.SD
Speech Synthesis and Control Using Differentiable DSP
Sony Europe B.V.（索尼欧洲有限公司）；Technical University of Munich（慕尼黑工业大学）
现代文本到语音系统能够产生自然和高质量的语音，但语音包含文本本身无法包含的变化因素（例如音高，节奏，响度，音色）。在这项工作中，我们走向一个语音合成系统，可以通过允许（但不要求）明确控制的各种因素的变化，产生不同的语音再现的文本。我们提出了一种新的神经声码器，提供控制这些因素的变化。这是通过采用可微分数字信号处理（DDSP）（以前只用于音乐而不是语音）来实现的，其暴露了这些变化因素。实验结果表明，该方法能够产生具有真实音色的自然语音，并且可以自由控制语音的变化因素。
2020-10-28 cs.SD eess.AS
Attacking UTMOS: Probing the Robustness of a Speech Quality Assessment Model
Nagoya University（名古屋大学）
通过分数保持和质量保持两种攻击方式，在原始波形、mel谱图+HiFi-GAN声码器和EnCodec潜在空间三个输入空间上测试UTMOS的鲁棒性，发现分数保持攻击有效，而EnCodec潜在空间最有利于质量保持攻击。
2026-09-16 cs.SD eess.AS
AUV: Teaching Audio Universal Vector Quantization with Single Nested Codebook
X-LANCE Lab, Shanghai Jiao Tong University, China（上海交通大学X-LANCE实验室）；Shanghai Innovation Institute, China（上海创新研究院）；Tencent Hunyuan, China（腾讯 Hunyuan）；Peking University, Shenzhen, China（北京大学深圳校区）
AUV提出一种单一嵌套码本的统一神经音频编解码器，通过领域特定分区与教师蒸馏在单阶段训练中实现约700 bps下对16 kHz语音及通用音频的高质量重建，性能媲美领域特定最先进编解码器。
2025-09-26 cs.SD eess.AS
