Exploring Disentangled Neural Speech Codecs from Self-Supervised Representations
针对语音中语言内容与副语言特征纠缠限制灵活性的问题,提出一种基于自监督表示和$k$-means量化的离散神经音频编解码器,实现结构化解耦,在重构性能和语音转换效果上均达到常规方法水平。
2025-08-11 eess.AS eess.SP
Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
Collaboration AI, Cisco Systems, Inc.(思科系统公司协作AI部门);Faculty of Engineering and Natural Sciences, Yeditepe University(耶迪特佩大学工程与自然科学学院)
该研究针对干净语音条件,通过17种编解码器的主观听辨得分,评估45种客观语音质量指标,发现scoreq、utmos等神经指标相关性最高,非侵入式指标在高质量时易饱和。
2026-08-05 cs.AI cs.SD eess.AS
Codec2Vec: Self-Supervised Speech Representation Learning Using Neural Speech Codecs
Department of Computer Science University of Texas at Austin Texas, USA(计算机科学系 休斯顿大学 德州 美国)
Codec2Vec通过离散音频编解码单元实现自监督语音表示学习,有效提升存储效率和训练速度,同时在SUPERB基准上表现优异。
2025-11-20 cs.CL eess.AS
PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU(卡内基梅隆大学);SJTU(上海交通大学)
PURE编码器通过预训练语音增强模型指导多阶段量化,提升低比特率语音编码的训练稳定性与重建质量,尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
Balancing Speech Understanding and Generation Using Continual Pre-training for Codec-based Speech LLM
CMU(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出通过持续预训练框架平衡基于编码器的语音LLM的语音理解和生成,实现端到端的语音翻译系统,无需中间转录和翻译步骤。
2025-11-27 eess.AS
DS-Codec: Dual-Stage Training with Mirror-to-NonMirror Architecture Switching for Speech Codec
Xiamen University(厦门大学)
本文提出DS-Codec,一种采用镜像与非镜像架构切换的双阶段训练神经语音编解码器,通过平衡两者优势以增强码本鲁棒性并实现高保真语音重建。
2025-05-30 cs.SD eess.AS
Investigating Neural Audio Codecs for Speech Language Model-Based Speech Generation
Microsoft(微软公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究在统一设置下比较多种神经音频编解码器,并将其 token 集成到并行及 AR+NAR 两类 SLM 中,揭示重建质量不必然提升生成质量,解码器与量化机制分别影响自然度和可懂度。
2024-09-06 cs.SD eess.AS
Low Frame-rate Speech Codec: a Codec Designed for Fast High-quality Speech LLM Training and Inference
NVIDIA Corporation(英伟达公司)
针对现有音频编解码器高帧率导致语音LLM训练推理慢的问题,提出结合有限标量量化与对抗训练的低帧率语音编解码器LFSC,在低比特率下实现高质量压缩,可使文本转语音推理提速约三倍且质量相当。
2024-09-18 cs.CL cs.SD eess.AS
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University(台湾大学);Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所)
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频,本文构建首个 CodecFake 数据集,并证明常用反欺骗模型失效,而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
Benchmarking Neural Speech Codec Intelligibility with SITool
本文提出用于主观可懂度评估的SITool,在实验室和众包环境下对13种语音编解码器进行基准测试,发现神经编解码器主观表现更优,且仅STOI和ESTOI与主观结果显著相关。
2025-06-02 eess.AS
Speech Separation using Neural Audio Codecs with Embedding Loss
针对基于神经音频编解码器的语音分离在训练中依赖波形损失函数需解码步骤的问题,提出直接在压缩表示上操作的嵌入损失,消除训练解码需求,在WSJ0-2mix数据集上实现2倍训练速度提升且DNSMOS和STOI性能更优。
2024-11-27 eess.AS
CodecMOS-Accent: A MOS Benchmark of Resynthesized and TTS Speech from Neural Codecs Across English Accents
本文提出CodecMOS-Accent数据集,用于评估神经音频编码器和基于LLM的TTS模型,尤其针对非标准语音如口音。数据集包含24系统生成的4000个样本,涵盖10种口音,通过大规模主观测试收集19600条注解,揭示了说话人与口音相似性之间的紧密关系及客观指标的预测能力。
2026-03-15 cs.SD eess.AS
Personalized Neural Speech Codec
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
本文提出个性化神经语音编解码器,通过Siamese网络学习说话人嵌入并进行聚类,再为每个聚类训练专用LPCNet编解码器,在相同模型复杂度下提升语音质量或实现模型压缩。
2024-03-31 cs.SD eess.AS
Probing the Robustness Properties of Neural Speech Codecs
Department of Computer Science(计算机科学系)
本文系统评估了神经语音编解码器在噪声环境下的鲁棒性,通过分析其线性特性和频率响应,揭示了影响鲁棒性和音频保真度的关键因素,为未来编解码器设计提供了重要见解。
2025-05-30 cs.SD eess.AS
DualCodec: A Low-Frame-Rate, Semantically-Enhanced Neural Audio Codec for Speech Generation
School of Data Science(数据科学学院)
针对神经音频编解码器帧率与音质的权衡问题,本研究提出双流编码的DualCodec,整合自监督与波形表示增强语义,实现低帧率下的高音质,提升语音生成效率,性能优于现有主流编解码器。
2025-10-01 cs.SD eess.AS
EMO-Codec: An In-Depth Look at Emotion Preservation capacity of Legacy and Neural Codec Models With Subjective and Objective Evaluations
National Taiwan University(台湾大学);National Tsinghua University(清华大学);Academia Sinica(中央研究院)
该研究针对现有编解码器情感损失研究不足的问题,通过主客观方法评估传统与神经编解码器的情感保留能力,明确不同比特率下的最优类型,发现双语训练对中文情感保留效果有限,重合成语音会降低SER性能,为语音技术发展提供指导。
2024-07-30 cs.SD eess.AS
An Ultra-Low-Bitrate Neural Speech Codec with Plain-to-Pseudo Synergistic Vector Quantization
University of Science and Technology of China(中国科学技术大学);iFLYTEK Co., Ltd.(科大讯飞股份有限公司);Tsinghua University(清华大学)
提出P2PSynCodec,通过朴素到伪协同矢量量化器(P2PSVQ)结合一个朴素VQ和多个伪VQ,在0.5 kbps下实现与2.0 kbps竞品相当的语音重建质量。
2026-06-04 eess.AS
CodecFake+: Codec-Based Resynthesized Data as a Proxy for Detecting CodecFake Speech
Graduate Institute of Communication Engineering, National Taiwan University(国家交通大学通信工程研究院);Department of Computer Science and Information Engineering, National Taiwan University(国家交通大学计算机科学与信息工程系);Center for Language and Speech Processing at Johns Hopkins University(约翰霍普金斯大学语言与语音处理中心);Department of Electrical Engineering, National Taiwan University(国家交通大学电子工程系);Research Center for Information Technology Innovation, Academia Sinica(学术院信息技术创新研究中心);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国家交通大学人工智能研究中心)
针对新兴的CodecFake深度伪造语音检测挑战,提出大规模数据集CodecFake+,包含31种开源编解码器重合成训练数据和17种先进CoSG模型网络数据,并建立编解码器分类体系,验证了重合成语音作为训练数据的有效性。
2026-06-05 cs.SD eess.AS
CodeSep: Low-Bitrate Codec-Driven Speech Separation with Base-Token Disentanglement and Auxiliary-Token Serial Prediction
National Engineering Research Center of Speech and Language Information Processing(语音和语言信息处理国家工程研究中心);University of Science and Technology of China(中国科学技术大学)
CodeSep通过编码器驱动模型实现低比特率语音分离与压缩,利用基础令牌解耦和辅助令牌序列预测技术,在1 kbps下达到优异分离效果。
2026-01-19 eess.AS
On the Relation Between Speech Quality and Quantized Latent Representations of Neural Codecs
本研究探讨了神经编解码器潜在表示与语音质量的关系,提出了非侵入式LQR度量,其与主观语音质量相关性高达0.9,性能优于预训练和侵入式指标,为构建更复杂的语音质量度量提供了基础。
2025-03-05 eess.AS
Indic-CodecFake meets SATYAM: Towards Detecting Neural Audio Codec Synthesized Speech Deepfakes in Indic Languages
UPES, India(乌塔拉克德联合教育研究所);Veer Bahadur Singh Purvanchal University, India(维尔·巴哈杜尔·辛格普尔万恰尔大学);IIIT-Delhi, India(德里印度信息技术学院)
本文提出Indic-CodecFake数据集,用于检测印度语言中神经音频编解码器合成语音深度伪造,发现现有检测器在印度语音上表现不佳,并提出SATYAM模型以提升性能。
2026-04-21 eess.AS
Language-Codec: Bridging Discrete Codec Representations and Speech Language Models
Zhejiang University(浙江大学)
本文提出Language-Codec,通过引入掩码通道残差向量量化(MCRVQ)机制及改进的傅里叶变换结构、注意力模块和判别器设计,解决了离散编解码器与下游语音语言模型之间信息分布不均和码本负担过重的问题,并在音频压缩和下游任务中取得显著性能提升。
2025-06-04 cs.SD eess.AS
Optimizing Neural Speech Codec for Low-Bitrate Compression via Multi-Scale Encoding
Interactive Entertainment Group Tencent(腾讯互动娱乐集团)
本文提出多尺度神经语音编解码器MsCodec,通过为不同信息密度的语音特征分配不同时间尺度的离散编码并引入互信息损失,解决了RVQ统一时间尺度导致的冗余编码问题,显著提升了低比特率下的语音压缩性能。
2024-10-21 cs.SD eess.AS
VoCodec: An Efficient Lightweight Low-Bitrate Speech Codec
Nanjing University(南京大学);Horizon Robotics(地平线机器人)
VoCodec是一种低计算复杂度和低延迟的语音编解码器,利用Vocos作为骨干,在LRAC挑战赛中取得优异成绩,并通过前端轻量级网络提升语音增强能力。
2026-01-19 eess.AS
CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
CodecSlime通过动态帧率压缩神经语音编解码器中的时间冗余,显著降低重建WER并实现比特率与质量的灵活权衡。
2026-02-03 cs.SD eess.AS
Towards General Discrete Speech Codec for Complex Acoustic Environments: A Study of Reconstruction and Downstream Task Consistency
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence(人工智能摩尔实验室);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);X-LANCE Lab(X-LANCE实验室);School of Computer Science(计算机科学学院)
该研究提出新颖的ERSB基准,通过评估鲁棒重建与下游任务一致性,揭示神经语音编解码器在复杂声学环境下的性能退化,为其未来提升环境鲁棒性指明方向。
2025-05-28 cs.SD eess.AS
RepCodec: A Speech Representation Codec for Speech Tokenization
ByteDance(字节跳动)
本文提出了一种用于语义语音标记化的新型语音表示编解码器RepCodec,通过从语音编码器重建语音表示来学习向量量化码本,显著优于k-means聚类方法,提升了语音理解和生成性能。
2024-07-22 cs.LG cs.SD eess.AS
Enhancing into the codec: Noise Robust Speech Coding with Vector-Quantized Autoencoders
Amazon Web Services(亚马逊云科技)
最近已经开发出基于离散神经自编码器的音频编解码器,并且显示出对于相当质量的语音输出提供显著更高的压缩水平。然而,这些模型与语音内容紧密耦合,并且在噪声条件下产生非预期的输出。基于VQ-VAE自编码器和WaveRNN解码器,我们开发了压缩增强器编码器和附带的解码器,并表明它们在噪声条件下运行良好。我们还观察到,压缩增强器模型在干净的语音输入上的性能优于仅在干净的语音上训练的压缩器模型。
2021-02-12 cs.LG eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
VoCodec: A Low-bitrate Streamable Neural Speech Codec with Voicing-driven Quantization
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
提出VoCodec,通过浊音驱动量化(对浊音帧分配高比特率、清音帧分配低比特率)在1.1 kbps比特率下超越基线神经语音编解码器,相比均匀量化降低约27%比特率。
2026-06-04 eess.AS
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team(LongCat团队);Meituan(美团)
本文提出LongCat-Audio-Codec,一种面向语音大语言模型的音频分词器,通过解耦架构和多阶段训练,实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
ESPnet-Codec: Comprehensive Training and Evaluation of Neural Codecs for Audio, Music, and Speech
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);Nanyang Technological University(南洋理工大学);Tokyo Metropolitan University(东京都立大学);Fudan University(复旦大学);University of Chicago(芝加哥大学);National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院)
提出ESPnet-Codec开源平台,基于ESPnet支持音频、音乐和语音神经编解码器的训练与评估,并配套VERSA工具包,通过20个指标全面评估,可集成至六个ESPnet任务。
2025-02-24 cs.SD eess.AS
HCFD: A Benchmark for Audio Deepfake Detection in Healthcare
Veer Bahadur Singh Purvanchal University(维尔·巴哈杜尔·辛格普尔万恰尔大学);UPES(尤佩斯大学);Ulster University(阿尔斯特大学)
本文提出HCFD任务,针对病理语音条件下的编码器伪造检测,通过构建首个病理感知数据集和提出PHOENIX-Mamba框架,在多临床条件和编码器上实现最高性能。
2026-04-19 eess.AS
Noisy Environment Adaptation of Neural Speech Codec via Focal Mask and Noise Feature Separation
Wuhan University(武汉大学);Hubei Key Laboratory of Multimedia and Network Communication Engineering(多媒体与网络通信工程湖北省重点实验室)
针对现实噪声影响神经语音编解码器性能问题,提出FocalSE方法,通过聚焦调制进行压缩解压、生成掩码恢复干净特征嵌入,分离噪声嵌入并识别噪声类别,提升低比特率和低信噪比下性能。
2026-07-07 eess.AS
Codec-Based Deepfake Source Tracing via Neural Audio Codec Taxonomy
National Taiwan University(台湾大学);Brno University of Technology(布尔诺理工大学)
针对神经音频编解码器语音生成模型产生的深度伪造音频,提出基于神经音频编解码器分类法的源追踪方法,在CodecFake+数据集上验证了可行性并指出挑战。
2025-08-03 cs.SD eess.AS
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong(香港大学);Meituan Inc.(美团公司)
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架,通过引入兼容约束与异构下采样策略,提升了语言模型在语音数据上的持续预训练效果,验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
BSCodec: A Band-Split Neural Codec for High-Quality Universal Audio Reconstruction
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出频带分割神经音频编解码器 BSCodec,通过将频谱划分为独立频带并分别压缩,解决了语音优化编解码器在音乐和声音上质量下降的问题,在通用音频重建上优于基线方法。
2025-11-08 eess.AS
CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong(香港中文大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Vocal Engineering Technologies Limited(声动科技有限公司)
针对构音障碍语音重构中说话人相似度低、韵律自然度差的问题,提出基于神经编解码语言建模的多模态CoLM-DSR模型,经UASpeech语料库验证,在相关指标上取得显著提升。
2024-06-24 cs.CV cs.SD eess.AS
Enhancing Noise Robustness for Neural Speech Codecs through Resource-Efficient Progressive Quantization Perturbation Simulation
National Engineering Research Center of Speech
针对神经语音编解码器在真实噪声场景中因输入扰动导致量化码字偏移的问题,提出一种仅在纯净语音上训练的资源高效策略,通过距离加权概率top-K采样和渐进式量化扰动模拟,显著提升了编解码器的噪声鲁棒性并改善了纯净语音质量。
2025-10-13 eess.AS
SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch Injection for Low-Bitrate Coding and Zero-Shot Voice Conversion
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
提出SDP-Codec,通过单阶段优化从预训练自监督编码器中提取局部令牌并注入归一化F0,实现说话人解耦,在低比特率下达到竞争性重构和强零样本语音转换,且说话人泄露最少。
2026-06-23 cs.SD eess.AS
Probing Neural Audio Codecs with Speaker Traits and Speech Characteristics
University of Southern California(南加州大学);Johns Hopkins University(约翰斯·霍普金斯大学)
该研究探究17种多码本神经音频编解码器对7种说话人特质与语音特性的编码情况,发现码本层级具有特质依赖性,为未来编解码器的特质针对性评估与设计提供了依据。
2026-10-16 cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University(阿尔托大学);National Institute of Informatics(情报学研究所)
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器,利用波形域直通估计器实现黑盒增强,证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
Speaking from Coarse to Fine: Improving Neural Codec Language Model via Multi-Scale Speech Coding and Generation
The Chinese University of Hong Kong(香港中文大学);Xiaohongshu Inc.(小红书科技有限公司)
针对神经编解码器语言模型的近因偏差问题,提出由粗到细的CoFi-Speech方法,通过多尺度编解码与两种生成模式,显著提升零样本TTS的语音自然度与说话人相似度。
2024-09-18 cs.SD eess.AS
A High-Quality and Low-Complexity Streamable Neural Speech Codec with Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(语音和语言信息处理国家工程研究中心,中国科学技术大学)
本文提出 StreamCodec2,通过全因果架构与知识蒸馏,在低延迟、低复杂度下实现高质量流式语音编码。
2025-09-17 eess.AS
Neural Speech and Audio Coding: Modern AI Technology Meets Traditional Codecs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google LLC(谷歌公司)
本文研究神经语音与音频编码中传统模型与数据驱动方法的融合,提出并分析信号增强器、LPCNet、TF-Codec、MDCTNet 等混合架构及心理声学损失训练方案。
2025-01-07 cs.AI cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现,发现连续表示更优,非自回归模型更实用,编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Real-time speech enhancement in noise for throat microphone using neural audio codec as foundation model
本文提出利用神经音频编解码器Mimi微调喉麦语音增强,在Vibravox数据集上训练,实现实时处理并优于现有模型,提供交互式演示界面。
2025-08-05 eess.AS
XY-Tokenizer: Mitigating the Semantic-Acoustic Conflict in Low-Bitrate Speech Codecs
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
提出XY-Tokenizer,通过多阶段多任务学习缓解语音编解码器中语义与声学冲突,在语义和声学任务上均达到最先进水平,文本对齐强且重建说话人相似度达0.83。
2025-07-09 cs.AI cs.SD eess.AS
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China(上海交通大学X-LANCE实验室);Shanghai Innovation Institute, China(上海创新研究院);Soul AI Lab, China(Soul AI实验室)
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力,实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
A Unified Neural Codec Language Model for Selective Editable Text to Speech Generation
School of Electronic Information, Wuhan University, China(武汉大学电子信息学院);Microsoft Corporation(微软公司)
SpeechEdit是一种通过选择性控制机制实现灵活属性控制的神经编码语言模型,用于可编辑的文本到语音生成。
2026-01-18 cs.SD eess.AS
DTM-Codec: Dynamic Token Masking for VFR Speech Coding with Efficient Boundary Selection
Graduate School of Cultural Technology, KAIST, South Korea(韩国科学技术院文化技术研究生院)
提出DTM-Codec,通过动态令牌掩码和路径长度均衡(PLE)边界选择器,在严格匹配总比特率下优于固定帧率基线,提升重建质量和可懂度。
2026-06-28 cs.SD eess.AS
Bringing Interpretability to Neural Audio Codecs
Inria(法国国家信息与自动化研究所)
本文提出两步方法分析神经音频编解码器token中语音信息的编码方式,并训练AnCoGen网络从事后解释角度直接提取内容、身份和音高等语音属性,从而提升编解码器的可解释性。
2025-06-04 eess.AS
Codec-ASR: Training Performant Automatic Speech Recognition Systems with Discrete Speech Representations
NVIDIA Corporation(英伟达公司)
本文全面分析了基于离散码的ASR系统构建方法,提出了一种在相似比特率下优于Encodec且在ML-SUPERB基准上超越自监督模型的Codec-ASR流水线。
2024-07-03 cs.CL cs.LG eess.AS
Speech Codec Probing from Semantic and Phonetic Perspectives
University of Southern California(南加州大学);Dolby Laboratories(杜比实验室)
本文通过三项任务系统分析多种语音分词器编码的信息,发现当前分词器主要捕获语音结构而非词汇语义,为下一代语音分词方法设计提供指导。
2026-06-25 cs.CL eess.AS