Evaluating Objective Speech Quality Metrics for Neural Audio Codecs
ETH Zurich(苏黎世联邦理工学院)
本研究评估了神经音频编解码器的客观语音质量度量标准,通过MUSHRA测试分析主观评分与客观度量标准的相关性,发现部分度量标准与人类感知一致,但部分难以捕捉失真。
2025-11-24 cs.SD
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong(香港大学);Meituan Inc.(美团公司)
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架,通过引入兼容约束与异构下采样策略,提升了语言模型在语音数据上的持续预训练效果,验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
Investigating Codec-Internal Latent Audio Watermarking for Neural Codec Robustness
研究神经音频编解码器中用于鲁棒性的水印,将32位消息嵌入连续潜在表示,采用SEANet风格编码器 - 解码器等技术,表征水印载体移动时的权衡,在48kHz语音上提升了EnCodec - 24k比特准确率并降低了PESQ。
2026-07-24 cs.SD
LLM-Codec: Neural Audio Codec Meets Language Model Objectives
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心);ASUS Intelligent Cloud Services(ASUS智能云服务)
本文提出LLM-Codec,通过引入未来token预测和语义对齐,提升音频编解码器与语言模型的协同性能,实验表明在语音连贯性和语音Mel距离上均有显著提升。
2026-04-20 cs.SD
CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents
Department of Electrical Engineering(电气工程系);Indian Institute of Technology, Kanpur(印度理工学院,坎浦尔)
CodecSep通过在神经音频编解码器潜在空间中直接提取声源,实现开放词汇声音分离,相比AudioSep在SI-SDR指标上表现更优,且在ViSQOL和MOS-LQS上取得显著提升,同时提供低延迟的代码流部署方案。
2026-06-21 cs.LG cs.SD eess.AS
Towards audio language modeling -- an overview
National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院)
本文系统综述了神经音频编解码器及其作为音频分词器用于构建音频语言模型的研究进展,梳理了高性能编解码器与基于编解码器的语言模型。
2024-02-20 cs.SD eess.AS
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team(LongCat团队);Meituan(美团)
本文提出LongCat-Audio-Codec,一种面向语音大语言模型的音频分词器,通过解耦架构和多阶段训练,实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
Drum Synthesis from Expressive Drum Grids via Neural Audio Codecs
Dept. of Music Technology and Acoustics, Hellenic Mediterranean University(音乐技术与声学系,希腊地中海大学)
本文提出通过神经音频编码器将表现性鼓组转换为鼓声,使用Transformer模型生成编码器令牌并评估不同编码器对生成鼓声质量的影响。
2026-05-11 cs.AI cs.SD
AffectCodec: Emotion-Preserving Neural Speech Codec for Expressive Speech Modeling
College of William & Mary(威廉姆斯与玛丽学院);Emory University(埃默里大学);George Mason University(乔治·梅森大学)
本文提出AffectCodec,通过情感引导的神经语音编解码器在保持语义忠实和语调自然的同时,保留情感信息,提升语音重建、情感识别和文本到语音生成的性能。
2026-05-11 cs.SD
HILCodec: High-Fidelity and Lightweight Neural Audio Codec
Seoul National University(首尔大学);Institute of New Media and Communications(新媒体与通信研究所)
本文提出HILCodec,通过方差受限设计解决SEANet编解码器性能不随深度增加的问题,并引入无失真判别器,实现了实时流式的高保真轻量级神经音频编解码。
2024-09-24 cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University(阿尔托大学);National Institute of Informatics(情报学研究所)
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器,利用波形域直通估计器实现黑盒增强,证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
HiFi-Codec: Group-residual Vector quantization for High Fidelity Audio Codec
Tencent AI Lab(腾讯人工智能实验室)
本文提出分组残差向量量化(GRVQ)技术,构建仅需4个码本的高保真音频编解码器HiFi-Codec,在重建性能上优于Encodec,并开源AcademiCodec工具包以促进研究。
2023-05-07 cs.SD eess.AS
How to Label Resynthesized Audio: The Dual Role of Neural Audio Codecs in Audio Deepfake Detection
University of Stuttgart, Institute for Natural Language Processing, Germany(斯图加特大学自然语言处理研究所);AppTek GmbH, Germany(德国AppTek公司)
本研究提出扩展 ASVspoof 5 数据集以探索神经音频编解码器在音频深度伪造检测中的双重功能,并分析不同标记策略对检测性能的影响。
2026-02-18 cs.LG cs.SD
Latent Audio Watermarking for Robustness to Neural Codec Resynthesis
Munich Music Labs(慕尼黑音乐实验室);Technical University of Munich(慕尼黑工业大学)
本研究提出一种基于冻结EnCodec潜在表示的音频水印方法,通过前馈嵌入器添加加性扰动,在神经编解码器重合成下比现有方法退化更慢、迁移性更好,并保持高检测率与感知质量。
2026-09-23 cs.SD
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University(台湾大学);Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所)
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频,本文构建首个 CodecFake 数据集,并证明常用反欺骗模型失效,而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
Multi-Rate Bandwidth Extension by Token Completion in Neural Audio Codecs
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院)
本文提出将带宽扩展视为音频令牌预测问题,通过解纠缠神经音频编解码器与Transformer语言模型联合设计,实现高质量重建,强调表示感知设计的重要性。
2026-10-01 cs.SD
NeuMark-Native: Robust Text-to-Speech-Native Watermarking Through Full Utilization of Neural Audio Codec Latent Space
Nagoya University(名古屋大学)
NeuMark-Native提出一种TTS原生水印框架,在神经编解码器潜在空间中嵌入载荷,提升水印在DSP和编解码器攻击下的持久性,同时保持语音质量。
2026-10-06 cs.SD
Codec-SUPERB @ SLT 2024: A lightweight benchmark for neural audio codec models
National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院);Microsoft Corporation(微软公司);Meta;The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学)
本文介绍了SLT 2024的Codec-SUPERB挑战赛,通过提供统一的语音应用、客观指标和小规模免许可数据集,实现对神经音频编解码器模型公平且轻量级的评估,并报告了五个参赛系统的结果与发现。
2024-09-21 cs.SD eess.AS
PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU(卡内基梅隆大学);SJTU(上海交通大学)
PURE编码器通过预训练语音增强模型指导多阶段量化,提升低比特率语音编码的训练稳定性与重建质量,尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
Learning Source Disentanglement in Neural Audio Codec
LTCI, Télécom Paris, Institut Polytechnique de Paris(法国巴黎综合理工学院 Telecom Paris 理工学院 LTCI 实验室);CVSSP, University of Surrey(萨里大学 CVSSP 实验室)
针对现有神经音频编解码器忽略不同声音域差异导致建模复杂和生成可控性差的问题,提出结合编码与分离的SD-Codec,实现不同源的码本解耦,在保持重合成质量的同时增强可解释性与生成可控性。
2025-02-11 cs.AI cs.LG cs.SD
DualCodec: A Low-Frame-Rate, Semantically-Enhanced Neural Audio Codec for Speech Generation
School of Data Science(数据科学学院)
针对神经音频编解码器帧率与音质的权衡问题,本研究提出双流编码的DualCodec,整合自监督与波形表示增强语义,实现低帧率下的高音质,提升语音生成效率,性能优于现有主流编解码器。
2025-10-01 cs.SD eess.AS
ALMTokenizer: A Low-bitrate and Semantic-rich Audio Codec Tokenizer for Audio Language Modeling
The Chinese University of Hong Kong(香港中文大学)
针对音频语言建模中现有分词器未利用跨帧上下文且比特率较高的问题,提出ALMTokenizer,通过基于查询的压缩策略及三种损失增强语义,在低比特率下重建性能可比最先进方法,且在音频理解与生成任务中更优。
2025-04-14 cs.SD
Harmonic-Percussive Disentangled Neural Audio Codec for Bandwidth Extension
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎理工学院)
本文提出一种基于谐波- percussive 分离的神经音频编码器,通过将带宽扩展视为音频令牌预测问题,提升音频信号的高频重构质量。
2026-10-01 cs.SD
CodecBench: A Comprehensive Benchmark for Acoustic and Semantic Evaluation
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文提出 CodecBench,一个在四个数据域上从声学和语义两个角度综合评估音频编解码器性能的基准,旨在揭示现有局限并推动音频编解码器发展。
2025-08-28 cs.SD eess.AS
Low Frame-rate Speech Codec: a Codec Designed for Fast High-quality Speech LLM Training and Inference
NVIDIA Corporation(英伟达公司)
针对现有音频编解码器高帧率导致语音LLM训练推理慢的问题,提出结合有限标量量化与对抗训练的低帧率语音编解码器LFSC,在低比特率下实现高质量压缩,可使文本转语音推理提速约三倍且质量相当。
2024-09-18 cs.CL cs.SD eess.AS
DS-Codec: Dual-Stage Training with Mirror-to-NonMirror Architecture Switching for Speech Codec
Xiamen University(厦门大学)
本文提出DS-Codec,一种采用镜像与非镜像架构切换的双阶段训练神经语音编解码器,通过平衡两者优势以增强码本鲁棒性并实现高保真语音重建。
2025-05-30 cs.SD eess.AS
ParaGSE: Parallel Generative Speech Enhancement with Group-Vector-Quantization-based Neural Speech Codec
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家级工程研究中心);University of Science and Technology of China(中国科学技术大学)
ParaGSE通过基于分组向量量化神经语音编解码器的并行生成式语音增强方法,实现了更高的效率和更优的语音质量。
2026-02-02 cs.SD
ESPnet-Codec: Comprehensive Training and Evaluation of Neural Codecs for Audio, Music, and Speech
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);Nanyang Technological University(南洋理工大学);Tokyo Metropolitan University(东京都立大学);Fudan University(复旦大学);University of Chicago(芝加哥大学);National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院)
提出ESPnet-Codec开源平台,基于ESPnet支持音频、音乐和语音神经编解码器的训练与评估,并配套VERSA工具包,通过20个指标全面评估,可集成至六个ESPnet任务。
2025-02-24 cs.SD eess.AS
Investigating Neural Audio Codecs for Speech Language Model-Based Speech Generation
Microsoft(微软公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究在统一设置下比较多种神经音频编解码器,并将其 token 集成到并行及 AR+NAR 两类 SLM 中,揭示重建质量不必然提升生成质量,解码器与量化机制分别影响自然度和可懂度。
2024-09-06 cs.SD eess.AS
Toward a Sparse and Interpretable Audio Codec
本文提出一种概念验证音频编码器,将音频表示为稀疏事件及其发生时间,并利用物理假设建模起音与共振,以获得比传统块编码更直观、可解释的表示。
2025-05-08 cs.SD eess.AS
Codec-Robust Attacks on Audio LLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Qualcomm(高通)
提出CodecAttack,通过在神经音频编解码器的连续潜在空间中优化扰动,实现对抗Opus、MP3和AAC-LC等有损压缩的鲁棒攻击,平均目标子串攻击成功率85.5%。
2026-05-21 cs.AI cs.SD
Speex: A Free Codec For Free Speech
CSIRO ICT Centre(联邦科学与工业研究组织信息与通信技术中心);Xiph.Org Foundation(Xiph.Org基金会)
Speex项目于2002年启动,旨在解决对免费开源语音编解码器的需求。Speex基于码激励线性预测(CELP)算法,与先前存在的Vorbis编解码器不同,Speex针对通过不可靠的分组网络传输语音进行了优化,以实现低延迟通信。本文介绍了Speex的概述,它所涉及的技术以及如何在应用程序中使用它。文中还介绍了Speex的最新发展,如定点端口、回声消除和噪声抑制等。
2016-02-28 cs.SD
Analyzing and Mitigating Inconsistency in Discrete Audio Tokens for Neural Codec Language Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
针对离散音频令牌的离散表示不一致性(DRI)导致神经编解码器语言模型语音生成出现遗漏重复的问题,该研究定量分析DRI现象并提出缓解方法,经多数据集验证有效且通用。
2024-10-04 cs.SD eess.AS
Exposing and Mitigating Neural Codec Vulnerabilities in Audio Deepfake Detection
University of Michigan-Flint(密歇根大学弗林特分校)
本研究揭示神经编解码器压缩使现有音频深度伪造检测器性能大幅下降,提出PCL-NET方法,通过成对一致性学习微调XLS-R,将平均EER从28.67%降至12.77%,并构建了Audio Neural Codec-Spoof数据集。
2026-10-07 cs.SD
Speaking Clearly: A Simplified Whisper-Based Codec for Low-Bitrate Speech Coding
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);Wuhan University of Technology(武汉理工大学);NEC Corporation(日本电气株式会社);The Hong Kong Polytechnic University(香港理工大学)
本文提出SimWhisper-Codec,通过简化Whisper编码器实现低比特率下的高音质和语义保留。
2026-01-27 cs.SD
SNAC: Multi-Scale Neural Audio Codec
Papla Media(帕普拉媒体);ETH Zurich(苏黎世联邦理工学院)
本文提出多尺度神经音频编解码器SNAC,通过在不同时间分辨率上扩展残差矢量量化,实现更高效的音频压缩,并开源代码与模型权重。
2024-10-18 cs.LG cs.SD eess.AS
ADNAC: Audio Denoiser using Neural Audio Codec
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文提出ADNAC,通过在大规模定制合成数据集上训练Descript Audio Codec (DAC)并结合多目标损失函数,克服传统架构局限,实现高保真音乐去噪与生成式音频修复。
2025-11-03 cs.LG cs.SD
Latent-Mark: An Audio Watermark Robust to Neural Codec Compression
针对神经音频编解码器压缩导致现有水印失效的问题,提出Latent-Mark,首个在编解码器不变潜空间嵌入水印的零比特音频水印框架,通过优化波形诱导潜表示方向偏移并引入跨编解码器优化,实现鲁棒零样本迁移。
2026-06-26 cs.AI cs.SD
Neural Morphing: Sequence-Optimized Token-Level Morphing in Neural Audio Codecs
研究神经音频编解码器中令牌级变形,提出神经变形方法,结合RVQ组转移策略与连续性约束序列匹配器,实现可控音频转换,专注于可部署系统的实现及实时行为。
2026-08-05 cs.SD
On the Language and Gender Biases in PSTN, VoIP and Neural Audio Codecs
Faculty of Science(科学学院)
本研究分析超200万多语言音频经PSTN、VoIP及神经编解码器转码后的质量,发现PSTN存在性别偏见,神经编解码器存在语言偏见。
2025-09-25 cs.SD eess.AS
SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound
University of Surrey(萨里大学);Shanghai Jiao Tong University(上海交通大学)
针对传统音频编解码器高比特率、窄域及缺乏语义线索的问题,提出具有双编码器架构的SemantiCodec,可在超低比特率下压缩多类型音频且语义信息更丰富,重建质量优于现有技术。
2024-11-28 cs.AI cs.MM cs.SD
Soft Disentanglement in Frequency Bands for Neural Audio Codecs
European Research Council(欧洲研究理事会)
针对现有音频特征解耦方法依赖数据或任务假设的问题,提出基于频谱分解与多分支编解码器的可泛化解耦方法,在重构、感知性能上优于SOTA基线,且在补全任务有潜力。
2025-10-04 cs.SD
Code Drift: Towards Idempotent Neural Audio Codecs
Northwestern University(西北大学);Adobe Research(奥多比研究院)
针对神经音频编解码器被忽视的幂等性问题,研究发现现有模型多次编码后音频退化,通过微调提升幂等性且不影响下游性能,扩展其在文件压缩和迭代生成中的应用。
2025-04-14 cs.SD eess.AS
Baseline Systems For The 2025 Low-Resource Audio Codec Challenge
Collaboration AI, Cisco Systems, Inc.(Collaboration AI,思科系统公司)
本文介绍了2025年低资源音频编解码器挑战赛的基线系统,采用带残差矢量量化的卷积神经编解码器,通过对抗与重建目标端到端训练,覆盖透明与增强两个赛道。
2025-10-07 cs.LG cs.SD
UniCodec: Unified Audio Codec with Single Domain-Adaptive Codebook
National University of Singapore(新加坡国立大学);Tongyi Speech Lab(通义语音实验室);Shanghai Jiao Tong University(上海交通大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
UniCodec提出分区域自适应码本与域专家混合策略,以单一码本统一处理语音、音乐和声音,通过自监督掩码预测增强语义,重建性能超越现有统一及特定域编解码器。
2025-02-27 cs.SD eess.AS
DeCodec: Rethinking Audio Codecs as Universal Disentangled Representation Learners
Jiutian Artificial Intelligence Research Institute, China Mobile, China State Key Laboratory of Multimedia Information Processing, Peking University, China(九天人工智能研究院,中国移动,国家多媒体信息处理重点实验室,北京大学)
DeCodec通过正交子空间投影和表示交换训练,将音频编解码器转化为通用解耦表示学习器,实现语音与背景声音及语义与副语言的分层解耦,支持灵活特征选择,在语音增强、声音转换、ASR和TTS中展现新能力。
2025-09-11 cs.SD
Low-Resource Audio Codec (LRAC): 2025 Challenge Description
Collaboration AI, Cisco Systems, Inc.(Collaboration AI,Cisco系统公司);Hebrew University of Jerusalem, Israel(耶路撒冷希伯来大学);University of Illinois Urbana-Champaign, United States(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University, United States(卡内基梅隆大学)
针对神经音频编解码器在低资源、抗声学失真等边缘部署约束下的研究空白,该文推出2025低资源音频编解码器挑战赛,提供数据集、基线与评估框架,以推动资源受限场景下神经/混合编解码器的研发。
2025-10-28 cs.SD eess.AS
EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning
MAUM AI Inc.(MAUM AI公司);Seoul National University(首尔大学);Soongsil University(崇实大学)
本研究提出自动音频字幕生成框架EnCLAP,结合EnCodec、CLAP与预训练模型BART,通过掩码编解码器建模提升声学感知,在AudioCaps和Clotho数据集上性能优于基线,并开源代码与演示。
2024-01-31 cs.AI cs.SD eess.AS
Adapting Neural Audio Codecs to EEG
ETH Zurich(苏黎世联邦理工学院)
本文提出将预训练的神经音频编解码器适应于EEG压缩,通过多通道扩展和注意力机制提升EEG重建质量与泛化能力。
2025-11-28 cs.LG cs.SD
Geometric Iterative Retrieval for Neural Audio Codec Resynthesis
ETH-DISCO
该研究针对神经音频编解码器从粗令牌重合成高质量音频的问题,提出几何迭代检索方法,在语音和音乐编解码器恢复任务上优于单次令牌预测和单步回归基线。
2026-08-20 cs.LG cs.SD
DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec
China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.(中国移动Nineverse人工智能技术(北京)有限公司);Nineverse Institute of Artificial Intelligence(Nineverse人工智能研究院);The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China(多媒体信息处理国家重点实验室,北京大学,北京,中国)
DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成,提升语音克隆与语调控制性能。
2026-01-04 cs.SD
ComplexDec: A Domain-robust High-fidelity Neural Audio Codec with Complex Spectrum Modeling
Codec Avatars Lab(Codec Avatars实验室);Meta
本文提出48 kHz全频带神经音频编解码器ComplexDec,通过复数频谱建模缓解压缩信息损失,在24 kbps比特率下仅用30小时VCTK数据训练即实现领域外鲁棒性。
2025-02-04 cs.SD eess.AS
CodecMOS-Accent: A MOS Benchmark of Resynthesized and TTS Speech from Neural Codecs Across English Accents
本文提出CodecMOS-Accent数据集,用于评估神经音频编码器和基于LLM的TTS模型,尤其针对非标准语音如口音。数据集包含24系统生成的4000个样本,涵盖10种口音,通过大规模主观测试收集19600条注解,揭示了说话人与口音相似性之间的紧密关系及客观指标的预测能力。
2026-03-15 cs.SD eess.AS
TQCodec: Towards neural audio codec for high-fidelity music streaming
Tencent Music Entertainment(腾讯音乐娱乐);The Chinese University of Hong Kong(香港中文大学);Southeast University(东南大学);Tsinghua University(清华大学)
TQCodec是一种针对高质量音乐流媒体设计的神经音频编解码器,通过改进的网络架构和感知驱动的比特分配策略,在高比特率下实现卓越的音频质量。
2026-03-02 cs.SD