PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU（卡内基梅隆大学）；SJTU（上海交通大学）
PURE编码器通过预训练语音增强模型指导多阶段量化，提升低比特率语音编码的训练稳定性与重建质量，尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
DS-Codec: Dual-Stage Training with Mirror-to-NonMirror Architecture Switching for Speech Codec
Xiamen University（厦门大学）
本文提出DS-Codec，一种采用镜像与非镜像架构切换的双阶段训练神经语音编解码器，通过平衡两者优势以增强码本鲁棒性并实现高保真语音重建。
2025-05-30 cs.SD eess.AS
Investigating Neural Audio Codecs for Speech Language Model-Based Speech Generation
Microsoft（微软公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究在统一设置下比较多种神经音频编解码器，并将其 token 集成到并行及 AR+NAR 两类 SLM 中，揭示重建质量不必然提升生成质量，解码器与量化机制分别影响自然度和可懂度。
2024-09-06 cs.SD eess.AS
How Similar or Different Is Rakugo Speech Synthesizer to Professional Performers?
RevComm Inc.（RevComm公司）
我们一直致力于为rakugo（一种类似单人单口喜剧的日本传统语言娱乐形式）进行语音合成，以实现真正娱乐观众的语音合成。在本文中，我们提出了一种新的评估方法，使用合成的落语语音和真正的落语语音由三个不同等级的专业表演者。合成语音的自然度与人类语音相当，但合成语音比任何级别的表演者都更难取悦听众。然而，我们获得了一些有趣的见解，以解决挑战，以实现一个真正有趣的落语合成器。例如，自然度不是最重要的因素，即使在传统的语音合成领域中它通常被强调为要评估的最重要的点。更重要的因素是内容的可理解性和落语故事中人物的可理解性，与专业表演者相比，合成落语语音在这两方面都相对较差。我们还发现基频模型还需要进一步改进，以更好地娱乐观众。这些结果显示了达到真正娱乐性语音合成的重要步骤。
2020-10-22 cs.SD eess.AS
Adjusting Pleasure-Arousal-Dominance for Continuous Emotional Text-to-speech Synthesizer
KAIST Institute for Artificial Intelligence（KAIST人工智能研究院）；Korea Advanced Institute of Technology（韩国科学技术院）
情绪并不局限于快乐、悲伤、愤怒、恐惧、厌恶、惊讶等离散的类别，相反，每一种情绪类别都被投射到一组几乎独立的维度中，称为快乐（或效价）、唤醒和支配，称为PAD。每个维度的值从-1到1变化，使得中性情绪处于具有全零值的中心。在独立维度上训练情感连续文本转语音（TTS）合成器提供了具有无限情感类别的情感语音合成的可能性。我们的端到端神经语音合成器基于著名的Tacotron。根据经验，我们已经找到了注入3D PAD的最佳网络架构。此外，为了语音合成的目的调整PAD值。
2019-06-13 cs.LG cs.SD eess.AS
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University（台湾大学）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通讯工程研究所）
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频，本文构建首个 CodecFake 数据集，并证明常用反欺骗模型失效，而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
A Fully Time-domain Neural Model for Subband-based Speech Synthesizer
Korea Advanced Institute of Science and Technology（韩国科学技术院）；KAIST Institute for Artificial Intelligence（KAIST人工智能研究院）
介绍了一种用于子带语音合成器的深度神经网络模型。该模型利用子带信号的短带宽，降低了时域语音发生器的复杂度。我们采用多层次小波分析/合成分解/重构信号到子带的时域。受WaveNet的启发，提出了一种卷积神经网络（CNN）模型，在时域内对子带语音信号进行完全预测。由于子带的带宽较短，简单的网络架构足以精确地训练子带的简单模式。在教师强迫的地面实况实验中，子带合成器在主观和客观测量方面都显着优于全带模型。此外，通过使用发音字典的音素序列上的条件的模型，我们已经实现了基于子带的文本到语音（TTS）合成器，这是近端到端的全时域神经模型。生成的语音的子带TTS表现出相当的质量作为全带一个与一个更轻的网络结构为每个子带。
2019-07-02 cs.LG cs.SD eess.AS
Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding
Universidade de São Paulo（圣保罗大学）
本研究提出一种基于mel语谱图4×4块单阶段量化的神经语音编解码器，结合VQ-VAE后期对抗微调与HiFi-GAN声码器，在7.5kbits/s速率下达到与现有先进方案相当的语音质量，为低延迟编解码器提供开放基础。
2025-09-02 cs.CL cs.SD eess.AS
CodecMOS-Accent: A MOS Benchmark of Resynthesized and TTS Speech from Neural Codecs Across English Accents
本文提出CodecMOS-Accent数据集，用于评估神经音频编码器和基于LLM的TTS模型，尤其针对非标准语音如口音。数据集包含24系统生成的4000个样本，涵盖10种口音，通过大规模主观测试收集19600条注解，揭示了说话人与口音相似性之间的紧密关系及客观指标的预测能力。
2026-03-15 cs.SD eess.AS
Personalized Neural Speech Codec
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
本文提出个性化神经语音编解码器，通过Siamese网络学习说话人嵌入并进行聚类，再为每个聚类训练专用LPCNet编解码器，在相同模型复杂度下提升语音质量或实现模型压缩。
2024-03-31 cs.SD eess.AS
Probing the Robustness Properties of Neural Speech Codecs
Department of Computer Science（计算机科学系）
本文系统评估了神经语音编解码器在噪声环境下的鲁棒性，通过分析其线性特性和频率响应，揭示了影响鲁棒性和音频保真度的关键因素，为未来编解码器设计提供了重要见解。
2025-05-30 cs.SD eess.AS
DualCodec: A Low-Frame-Rate, Semantically-Enhanced Neural Audio Codec for Speech Generation
School of Data Science（数据科学学院）
针对神经音频编解码器帧率与音质的权衡问题，本研究提出双流编码的DualCodec，整合自监督与波形表示增强语义，实现低帧率下的高音质，提升语音生成效率，性能优于现有主流编解码器。
2025-10-01 cs.SD eess.AS
CodecFake+: Codec-Based Resynthesized Data as a Proxy for Detecting CodecFake Speech
Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究院）；Department of Computer Science and Information Engineering, National Taiwan University（国家交通大学计算机科学与信息工程系）；Center for Language and Speech Processing at Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）；Department of Electrical Engineering, National Taiwan University（国家交通大学电子工程系）；Research Center for Information Technology Innovation, Academia Sinica（学术院信息技术创新研究中心）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国家交通大学人工智能研究中心）
针对新兴的CodecFake深度伪造语音检测挑战，提出大规模数据集CodecFake+，包含31种开源编解码器重合成训练数据和17种先进CoSG模型网络数据，并建立编解码器分类体系，验证了重合成语音作为训练数据的有效性。
2026-06-05 cs.SD eess.AS
MFCCGAN: A Novel MFCC-Based Speech Synthesizer Using Adversarial Learning
Shahid Beheshti University（沙希德·贝赫什蒂大学）
本文提出基于对抗学习的语音合成器MFCCGAN，以MFCCs为输入生成原始波形，在STOI和NISQA指标上显著优于Librosa和WORLD，提升了语音可懂度与自然度。
2023-06-22 cs.AI cs.SD eess.AS
Optimizing Neural Speech Codec for Low-Bitrate Compression via Multi-Scale Encoding
Interactive Entertainment Group Tencent（腾讯互动娱乐集团）
本文提出多尺度神经语音编解码器MsCodec，通过为不同信息密度的语音特征分配不同时间尺度的离散编码并引入互信息损失，解决了RVQ统一时间尺度导致的冗余编码问题，显著提升了低比特率下的语音压缩性能。
2024-10-21 cs.SD eess.AS
CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
CodecSlime通过动态帧率压缩神经语音编解码器中的时间冗余，显著降低重建WER并实现比特率与质量的灵活权衡。
2026-02-03 cs.SD eess.AS
Towards General Discrete Speech Codec for Complex Acoustic Environments: A Study of Reconstruction and Downstream Task Consistency
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence（人工智能摩尔实验室）；Jiangsu Key Lab of Language Computing（江苏语言计算重点实验室）；X-LANCE Lab（X-LANCE实验室）；School of Computer Science（计算机科学学院）
该研究提出新颖的ERSB基准，通过评估鲁棒重建与下游任务一致性，揭示神经语音编解码器在复杂声学环境下的性能退化，为其未来提升环境鲁棒性指明方向。
2025-05-28 cs.SD eess.AS
ESPnet-Codec: Comprehensive Training and Evaluation of Neural Codecs for Audio, Music, and Speech
Carnegie Mellon University（卡内基梅隆大学）；Renmin University of China（中国人民大学）；Nanyang Technological University（南洋理工大学）；Tokyo Metropolitan University（东京都立大学）；Fudan University（复旦大学）；University of Chicago（芝加哥大学）；National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
提出ESPnet-Codec开源平台，基于ESPnet支持音频、音乐和语音神经编解码器的训练与评估，并配套VERSA工具包，通过20个指标全面评估，可集成至六个ESPnet任务。
2025-02-24 cs.SD eess.AS
Codec-Based Deepfake Source Tracing via Neural Audio Codec Taxonomy
National Taiwan University（台湾大学）；Brno University of Technology（布尔诺理工大学）
针对神经音频编解码器语音生成模型产生的深度伪造音频，提出基于神经音频编解码器分类法的源追踪方法，在CodecFake+数据集上验证了可行性并指出挑战。
2025-08-03 cs.SD eess.AS
SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch Injection for Low-Bitrate Coding and Zero-Shot Voice Conversion
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
提出SDP-Codec，通过单阶段优化从预训练自监督编码器中提取局部令牌并注入归一化F0，实现说话人解耦，在低比特率下达到竞争性重构和强零样本语音转换，且说话人泄露最少。
2026-06-23 cs.SD eess.AS
Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于音频编解码器的零样本 TTS 模型，通过 MMCE-Qformer 融合多模态长上下文信息，并利用预训练 LLM 与 SoundStorm 提升语音质量和说话人相似度，在多种上下文 TTS 场景中优于基线。
2024-06-06 cs.CL cs.SD eess.AS
Probing Neural Audio Codecs with Speaker Traits and Speech Characteristics
University of Southern California（南加州大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
该研究探究17种多码本神经音频编解码器对7种说话人特质与语音特性的编码情况，发现码本层级具有特质依赖性，为未来编解码器的特质针对性评估与设计提供了依据。
2026-10-16 cs.SD eess.AS
Speaking from Coarse to Fine: Improving Neural Codec Language Model via Multi-Scale Speech Coding and Generation
The Chinese University of Hong Kong（香港中文大学）；Xiaohongshu Inc.（小红书科技有限公司）
针对神经编解码器语言模型的近因偏差问题，提出由粗到细的CoFi-Speech方法，通过多尺度编解码与两种生成模式，显著提升零样本TTS的语音自然度与说话人相似度。
2024-09-18 cs.SD eess.AS
Parameter Enhancement for MELP Speech Codec in Noisy Communication Environment
Search Solutions Inc.（搜索解决方案公司）；Yonsei University（延世大学）
在本文中，我们提出了一种基于深度学习（DL）的参数增强方法，用于噪声通信环境中的混合激励线性预测（MELP）语音编解码器。与传统的语音增强模块不同，传统的语音增强模块被设计成通过在语音编解码器处理之前去除噪声分量来获得干净的语音信号，所提出的方法直接增强编码器或解码器侧的编解码器参数。由于所提出的方法已经由小型网络实现而不需要传统增强系统中所需的任何附加过程，时频（T-F）分析/综合模块，其计算复杂度非常低。通过增强噪声破坏的编解码器参数与建议的DL框架，我们实现了一个增强系统，这是更简单和更快的比传统的基于T-F掩码的语音增强方法，而其性能的质量保持相似。
2019-06-20 cs.SD eess.AS eess.SP
CleanCodec: Efficient and Robust Speech Tokenization via Perceptually Guided Encoding
Pennsylvania State University（宾夕法尼亚州立大学）；Drexel University（德雷塞尔大学）
提出CleanCodec，一种去噪音频编解码器，通过选择性信息瓶颈编码仅保留感知重要特征，以12.5 tokens/s实现最先进的分词效率，在说话人相似度和语音可懂度上显著优于现有编解码器，并在下游任务中实现高达17倍推理加速。
2026-06-03 cs.CL cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现，发现连续表示更优，非自回归模型更实用，编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Eigenresiduals for improved Parametric Speech Synthesis
Acapela Group（Acapela集团）
统计参数语音合成器最近显示出它们产生自然声音和灵活声音的能力。不幸的是，由于语音是声码的事实，所传递的质量受到典型的噪声的影响。本文提出了一种新的激励模型，以减少这种不良影响。该模型是基于主成分分析得到的正交基上的音高同步残留帧的分解。该基础包含有限数量的本征残差，并且在相对较小的语音数据库上计算。基于PCA的系数流被添加到我们基于HMM的合成器，并允许在合成期间生成有声激励。与传统的激励相比，改进的报告，而合成引擎的足迹保持在约1Mb以下。
2020-01-02 cs.CL cs.SD eess.AS
A Situational Speech Synthesizer for Yoruba: System Design, Phonological Rule Architecture, and Orthographic Extensions for Contour
介绍用于约鲁巴语的基于规则的双音素拼接语音合成器TTSYoruba，阐述其音系架构，包括声调处理等，还介绍正字法扩展，通过听众研究评估性能，为约鲁巴语语音合成及相关研究提供支持。
2026-10-19 cs.CL cs.SD eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google（谷歌）
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音，但它们使用的递归或卷积层通常会限制它们的有效感受域，这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率，由于它们的电感偏置，能够利用输入信号中的长程依赖性。因此，我们使用预训练的Transformer与卷积编码器串联，卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明，用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器，当以相同的比特率训练时，该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明，所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
NanoCodec: Towards High-Quality Ultra Fast Speech LLM Inference
NVIDIA Corporation（英伟达公司）
本文提出低帧率音频编解码器NanoCodec，通过消融研究帧率、比特率与因果性影响，以12.5 FPS实现高质量压缩，为语音LLM训练与推理确立了低延迟高效新基准。
2025-08-07 cs.CL cs.SD eess.AS
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong（香港大学）；Meituan Inc.（美团公司）
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架，通过引入兼容约束与异构下采样策略，提升了语言模型在语音数据上的持续预训练效果，验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China（上海交通大学X-LANCE实验室）；Shanghai Innovation Institute, China（上海创新研究院）；Soul AI Lab, China（Soul AI实验室）
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力，实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
A Unified Neural Codec Language Model for Selective Editable Text to Speech Generation
School of Electronic Information, Wuhan University, China（武汉大学电子信息学院）；Microsoft Corporation（微软公司）
SpeechEdit是一种通过选择性控制机制实现灵活属性控制的神经编码语言模型，用于可编辑的文本到语音生成。
2026-01-18 cs.SD eess.AS
DTM-Codec: Dynamic Token Masking for VFR Speech Coding with Efficient Boundary Selection
Graduate School of Cultural Technology, KAIST, South Korea（韩国科学技术院文化技术研究生院）
提出DTM-Codec，通过动态令牌掩码和路径长度均衡（PLE）边界选择器，在严格匹配总比特率下优于固定帧率基线，提升重建质量和可懂度。
2026-06-28 cs.SD eess.AS
U-Codec: Ultra Low Frame-rate Neural Speech Codec for Fast High-fidelity Speech Generation
Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）；Tencent Hunyuan（腾讯文生）
本文提出 5Hz 超低帧率神经语音编解码器 U-Codec，通过 Transformer 帧间建模与 RVQ 配置优化，使 LLM-TTS 在保持音质的同时推理提速约 3 倍。
2025-10-19 cs.CL cs.LG cs.SD
Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling
Microsoft（微软）
我们提出了一个跨语言的神经编解码语言模型，VALL-E X，用于跨语言的语音合成。具体来说，我们扩展VALL-E和训练多语种条件编解码器语言模型预测的声学令牌序列的目标语言语音使用源语言语音和目标语言文本作为提示。VALL-E X继承了强大的上下文学习能力，可应用于zero-shot跨语言文本到语音合成和zero-shot语音到语音翻译任务。实验结果表明，该方法能够以源语言中的一段语音作为提示，生成高质量的目标语言语音，同时保留了说话人的声音、情感和声环境。此外，VALL-E X有效地消除了外国口音问题，这可以通过语言ID进行控制。音频样本可在\url{https://aka.ms/vallex}上获得。
2023-03-07 cs.AI cs.CL cs.SD
Speech Codec Probing from Semantic and Phonetic Perspectives
University of Southern California（南加州大学）；Dolby Laboratories（杜比实验室）
本文通过三项任务系统分析多种语音分词器编码的信息，发现当前分词器主要捕获语音结构而非词汇语义，为下一代语音分词方法设计提供指导。
2026-06-25 cs.CL eess.AS
Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
Collaboration AI, Cisco Systems, Inc.（思科系统公司协作AI部门）；Faculty of Engineering and Natural Sciences, Yeditepe University（耶迪特佩大学工程与自然科学学院）
该研究针对干净语音条件，通过17种编解码器的主观听辨得分，评估45种客观语音质量指标，发现scoreq、utmos等神经指标相关性最高，非侵入式指标在高质量时易饱和。
2026-08-05 cs.AI cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University（阿尔托大学）；National Institute of Informatics（情报学研究所）
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器，利用波形域直通估计器实现黑盒增强，证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
LMCodec: A Low Bitrate Speech Codec With Causal Transformer Models
Google（谷歌）
我们介绍LMCodec，一种因果神经语音编解码器，以非常低的比特率提供高质量的音频。该系统的骨干是一个因果卷积编解码器，它使用残差矢量量化将音频编码成一个由粗到细的令牌层次。LMCodec训练一个Transformer语言模型，以生成的方式从粗糙的令牌中预测精细的令牌，从而允许传输更少的代码。第二个Transformer预测给定过去发送的代码的下一个代码的不确定性，并用于执行条件熵编码。进行了MUSHRA主观测试，结果表明，在更高的比特率下，质量与参考编解码器相当。示例音频可在https://mjenrungrot.github.io/chrome-media-audio-papers/publications/lmcodec上获得。
2023-03-23 cs.SD eess.AS
XY-Tokenizer: Mitigating the Semantic-Acoustic Conflict in Low-Bitrate Speech Codecs
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
提出XY-Tokenizer，通过多阶段多任务学习缓解语音编解码器中语义与声学冲突，在语义和声学任务上均达到最先进水平，文本对齐强且重建说话人相似度达0.83。
2025-07-09 cs.AI cs.SD eess.AS
Staged Depth-Pruning Distillation of a Flow-Matching Text-to-Speech Teacher: A Compact Hindi Speech Synthesizer
研究在数据量严重不足时构建紧凑印地语TTS模型的方法，通过分层深度剪枝蒸馏大型流匹配教师模型热启动学生模型，经多步剪枝与微调，得到不同参数的模型，在特定参数下效果良好，还解决了一些模型问题并进行了基准测试。
2026-07-22 cs.CL cs.SD eess.AS
ESC: Efficient Speech Coding with Cross-Scale Residual Vector Quantized Transformers
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）
本文提出高效语音编解码器ESC，通过跨尺度残差向量量化与镜像分层窗口Transformer实现从粗到细的逐步解码，以更低模型复杂度取得高保真语音重建效果。
2024-10-03 cs.SD eess.AS
ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion
KAIST, South Korea（韩国科学技术院）；Chung-Ang University, South Korea（Chung-Ang 大学）；The Chinese University of Hong Kong, China（香港中文大学）
提出ProsoCodec，通过将韵律建模为条件残差而非分离流，在语音转换中改善韵律保留并减少源音色泄漏。
2026-06-23 cs.SD eess.AS
SuperCodec: A Neural Speech Codec with Selective Back-Projection Network
Wuhan University（武汉大学）
提出神经语音编解码器SuperCodec，通过引入选择性上采样和下采样反向投影模块替换标准上下采样层，在低比特率下实现了优于现有方法的语音重建质量。
2024-07-30 cs.SD eess.AS
WMCodec: End-to-End Neural Speech Codec with Deep Watermarking for Authenticity Verification
Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；Department of Automation Tsinghua University（清华大学自动化系）
本文提出WMCodec，首个端到端联合训练语音压缩重建与水印嵌入提取的神经语音编解码器，通过迭代式注意力印记单元深度融合水印与语音特征，在6 kbps带宽和16 bps容量下实现常见攻击下超过99%的水印提取精度，兼顾不可感知性与鲁棒性。
2024-12-27 cs.SD eess.AS
BigCodec: Pushing the Limits of Low-Bitrate Neural Speech Codec
The University of Tokyo（东京大学）；Microsoft（微软公司）；Keio University（庆应义塾大学）
本文提出 159M 参数的低比特率神经语音编解码器 BigCodec，通过融合序列与卷积架构及低维向量量化，在 1.04 kbps 下取得优于现有方案的主客观表现。
2024-09-09 cs.SD eess.AS
Fewer-token Neural Speech Codec with Time-invariant Codes
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tsinghua University（清华大学）
针对神经语音编解码器令牌过多制约语言模型TTS发展的问题，提出带时不变编码的TiCodec，通过分离时不变信息减令牌号，结合一致性损失增强全局信息捕捉，实现更少令牌下更好的重建与TTS合成效果。
2024-03-11 cs.SD eess.AS
AffectCodec: Emotion-Preserving Neural Speech Codec for Expressive Speech Modeling
College of William & Mary（威廉姆斯与玛丽学院）；Emory University（埃默里大学）；George Mason University（乔治·梅森大学）
本文提出AffectCodec，通过情感引导的神经语音编解码器在保持语义忠实和语调自然的同时，保留情感信息，提升语音重建、情感识别和文本到语音生成的性能。
2026-05-11 cs.SD
SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec
School of New Media and Communication, Tianjin University（新媒体与传播学院，天津大学）；Kuaishou Technology（快手科技）；Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University（认知计算与应用重点实验室，智能计算学院，天津大学）；Department of Automation, BNRist, Tsinghua University（自动化系，北研所，清华大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Science（深圳先进技术研究院，中国科学院）
针对现有语音编解码器在语义编码中的副语言残留、语义不完整等问题，提出SecoustiCodec，一种跨模态对齐的低比特率流式单码本语音编解码器，通过VAE-FSQ量化、对比学习解耦和多阶段优化，在0.27/1 kbps下达到SOTA重建质量。
2025-08-04 cs.AI cs.CL cs.SD
NeuMark-Native: Robust Text-to-Speech-Native Watermarking Through Full Utilization of Neural Audio Codec Latent Space
Nagoya University（名古屋大学）
NeuMark-Native提出一种TTS原生水印框架，在神经编解码器潜在空间中嵌入载荷，提升水印在DSP和编解码器攻击下的持久性，同时保持语音质量。
2026-10-06 cs.SD
How Robust Are Neural Audio Codecs for African Speech? A Multi-Task Benchmark and the Limits of Perceptual Quality
University of Florida（佛罗里达大学）
本研究通过多任务基准测试七个神经音频编解码器在非洲语音上的鲁棒性，发现信号指标与下游退化相关性差异大，且退化可通过LoRA适配部分恢复，强调任务感知评估的必要性。
2026-10-02 cs.CL cs.SD
Bayesian Speech Synthesizers Can Learn from Multiple Teachers
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
BELLE通过贝叶斯推断提升语音合成的不确定性建模，以更少的数据实现更优的语音生成性能。
2026-10-12 cs.SD eess.AS
Tracking the Trend in How Speech Synthesizers Deceive People
Brno University of Technology（布尔诺理工大学）
该研究对比了三款不同年份的现代语音合成器的欺骗性，发现人类和检测器对部分伪造语音的检测准确率极低，仅靠人类感知不可靠，需推进相关验证与检测技术。
2026-08-21 cs.CR cs.SD eess.AS
