SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation
Tsinghua University(清华大学);ByteDance(字节跳动);University of Cambridge(剑桥大学)
针对全双工语音理解与生成任务,提出无编解码器的SALMONN-omni模型,通过双工口语对话框架及“思考”机制实现异步生成,在多任务中表现通用且能处理复杂对话场景。
2024-11-27 cs.AI cs.CL cs.SD
AffectCodec: Emotion-Preserving Neural Speech Codec for Expressive Speech Modeling
College of William & Mary(威廉姆斯与玛丽学院);Emory University(埃默里大学);George Mason University(乔治·梅森大学)
本文提出AffectCodec,通过情感引导的神经语音编解码器在保持语义忠实和语调自然的同时,保留情感信息,提升语音重建、情感识别和文本到语音生成的性能。
2026-05-11 cs.SD
NeuMark-Native: Robust Text-to-Speech-Native Watermarking Through Full Utilization of Neural Audio Codec Latent Space
Nagoya University(名古屋大学)
NeuMark-Native提出一种TTS原生水印框架,在神经编解码器潜在空间中嵌入载荷,提升水印在DSP和编解码器攻击下的持久性,同时保持语音质量。
2026-10-06 cs.SD
ParaGSE: Parallel Generative Speech Enhancement with Group-Vector-Quantization-based Neural Speech Codec
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家级工程研究中心);University of Science and Technology of China(中国科学技术大学)
ParaGSE通过基于分组向量量化神经语音编解码器的并行生成式语音增强方法,实现了更高的效率和更优的语音质量。
2026-02-02 cs.SD
Speaking Clearly: A Simplified Whisper-Based Codec for Low-Bitrate Speech Coding
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);Wuhan University of Technology(武汉理工大学);NEC Corporation(日本电气株式会社);The Hong Kong Polytechnic University(香港理工大学)
本文提出SimWhisper-Codec,通过简化Whisper编码器实现低比特率下的高音质和语义保留。
2026-01-27 cs.SD
Evaluating Objective Speech Quality Metrics for Neural Audio Codecs
ETH Zurich(苏黎世联邦理工学院)
本研究评估了神经音频编解码器的客观语音质量度量标准,通过MUSHRA测试分析主观评分与客观度量标准的相关性,发现部分度量标准与人类感知一致,但部分难以捕捉失真。
2025-11-24 cs.SD
DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec
China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.(中国移动Nineverse人工智能技术(北京)有限公司);Nineverse Institute of Artificial Intelligence(Nineverse人工智能研究院);The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China(多媒体信息处理国家重点实验室,北京大学,北京,中国)
DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成,提升语音克隆与语调控制性能。
2026-01-04 cs.SD
AffectCodec: Emotion-Preserving Neural Speech Codec with Block-Diagonal Residual FSQ
Beijing University of Posts and Telecommunications(北京邮电大学)
针对神经语音编解码器在量化过程中丢弃情感线索的问题,提出基于块对角残差有限标量量化(BD-RFSQ)的AffectCodec,通过结构约束的量化实现情感保持,在低比特率下显著提升情感保留度。
2026-05-22 cs.SD
DeCodec: Rethinking Audio Codecs as Universal Disentangled Representation Learners
Jiutian Artificial Intelligence Research Institute, China Mobile, China State Key Laboratory of Multimedia Information Processing, Peking University, China(九天人工智能研究院,中国移动,国家多媒体信息处理重点实验室,北京大学)
DeCodec通过正交子空间投影和表示交换训练,将音频编解码器转化为通用解耦表示学习器,实现语音与背景声音及语义与副语言的分层解耦,支持灵活特征选择,在语音增强、声音转换、ASR和TTS中展现新能力。
2025-09-11 cs.SD
Investigating Codec-Internal Latent Audio Watermarking for Neural Codec Robustness
研究神经音频编解码器中用于鲁棒性的水印,将32位消息嵌入连续潜在表示,采用SEANet风格编码器 - 解码器等技术,表征水印载体移动时的权衡,在48kHz语音上提升了EnCodec - 24k比特准确率并降低了PESQ。
2026-07-24 cs.SD
NeuMark: Neural Codec Resynthesis-Robust Audio Watermarking in the Codec Latent Space
Nagoya University(名古屋大学)
NeuMark在编解码器潜空间嵌入水印,利用交叉注意力在RVQ层注入16位消息,显著提升神经编解码器重合成下的鲁棒性,兼顾检测与恢复。
2026-09-23 cs.SD
Interpreting and Evaluating Dynamic-Rate Speech Codec Boundaries
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Amphion Technology Co., Ltd.(Amphion科技有限公司);Zhejiang University(浙江大学)
本研究通过对比预测边界与语言及声学参考,发现动态帧率编解码器边界含义取决于底层表示,且音节级边界对语义丰富的语音重建更有效。
2026-09-30 cs.SD
Optimising Neural Speech Codecs for 300bps Communication using Reinforcement Learning
Tsinghua University(清华大学);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出ClariCodec,一种在300bps下工作的神经语音编解码器,通过将量化视为随机策略,利用强化学习优化可懂度,从而在极端压缩水平下减少词错误率。
2026-11-13 cs.SD
SACodec: Asymmetric Quantization with Semantic Anchoring for Low-Bitrate High-Fidelity Neural Speech Codecs
SACodec通过非对称双量化器和语义锚定机制,在低比特率下实现语音保真度与语义丰富性的平衡,提升语音重建质量与下游任务的语义表现。
2025-12-24 cs.SD
PACodec: A Low-bitrate Neural Speech Codec with Parallel Additive Vector Quantization
National Engineering Research Center of Speech and Language Information Processing(国家语言与语音信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
本文提出基于并行加性矢量量化(PAVQ)的PACodec,采用“全局-局部-全局”设计,在相同解码质量下比基线降低30%码率,且具备解纠缠友好性,可应用于语音转换等下游任务。
2026-09-04 cs.SD
FAC-FACodec: Controllable Zero-Shot Foreign Accent Conversion with Factorized Speech Codec
The Grainger College of Engineering, Siebel School of Computing and Data Science(伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院,Siebel计算与数据科学学院)
本文提出FAC-FACodec框架,通过可控制参数实现发音层面口音修改,实现与最新AC系统相当的性能,同时增强说话人身份保真度。
2026-01-24 cs.SD
PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU(卡内基梅隆大学);SJTU(上海交通大学)
PURE编码器通过预训练语音增强模型指导多阶段量化,提升低比特率语音编码的训练稳定性与重建质量,尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
DS-Codec: Dual-Stage Training with Mirror-to-NonMirror Architecture Switching for Speech Codec
Xiamen University(厦门大学)
本文提出DS-Codec,一种采用镜像与非镜像架构切换的双阶段训练神经语音编解码器,通过平衡两者优势以增强码本鲁棒性并实现高保真语音重建。
2025-05-30 cs.SD eess.AS
Investigating Neural Audio Codecs for Speech Language Model-Based Speech Generation
Microsoft(微软公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究在统一设置下比较多种神经音频编解码器,并将其 token 集成到并行及 AR+NAR 两类 SLM 中,揭示重建质量不必然提升生成质量,解码器与量化机制分别影响自然度和可懂度。
2024-09-06 cs.SD eess.AS
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University(台湾大学);Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所)
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频,本文构建首个 CodecFake 数据集,并证明常用反欺骗模型失效,而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
CodecMOS-Accent: A MOS Benchmark of Resynthesized and TTS Speech from Neural Codecs Across English Accents
本文提出CodecMOS-Accent数据集,用于评估神经音频编码器和基于LLM的TTS模型,尤其针对非标准语音如口音。数据集包含24系统生成的4000个样本,涵盖10种口音,通过大规模主观测试收集19600条注解,揭示了说话人与口音相似性之间的紧密关系及客观指标的预测能力。
2026-03-15 cs.SD eess.AS
Personalized Neural Speech Codec
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
本文提出个性化神经语音编解码器,通过Siamese网络学习说话人嵌入并进行聚类,再为每个聚类训练专用LPCNet编解码器,在相同模型复杂度下提升语音质量或实现模型压缩。
2024-03-31 cs.SD eess.AS
Probing the Robustness Properties of Neural Speech Codecs
Department of Computer Science(计算机科学系)
本文系统评估了神经语音编解码器在噪声环境下的鲁棒性,通过分析其线性特性和频率响应,揭示了影响鲁棒性和音频保真度的关键因素,为未来编解码器设计提供了重要见解。
2025-05-30 cs.SD eess.AS
DualCodec: A Low-Frame-Rate, Semantically-Enhanced Neural Audio Codec for Speech Generation
School of Data Science(数据科学学院)
针对神经音频编解码器帧率与音质的权衡问题,本研究提出双流编码的DualCodec,整合自监督与波形表示增强语义,实现低帧率下的高音质,提升语音生成效率,性能优于现有主流编解码器。
2025-10-01 cs.SD eess.AS
EMO-Codec: An In-Depth Look at Emotion Preservation capacity of Legacy and Neural Codec Models With Subjective and Objective Evaluations
National Taiwan University(台湾大学);National Tsinghua University(清华大学);Academia Sinica(中央研究院)
该研究针对现有编解码器情感损失研究不足的问题,通过主客观方法评估传统与神经编解码器的情感保留能力,明确不同比特率下的最优类型,发现双语训练对中文情感保留效果有限,重合成语音会降低SER性能,为语音技术发展提供指导。
2024-07-30 cs.SD eess.AS
CodecFake+: Codec-Based Resynthesized Data as a Proxy for Detecting CodecFake Speech
Graduate Institute of Communication Engineering, National Taiwan University(国家交通大学通信工程研究院);Department of Computer Science and Information Engineering, National Taiwan University(国家交通大学计算机科学与信息工程系);Center for Language and Speech Processing at Johns Hopkins University(约翰霍普金斯大学语言与语音处理中心);Department of Electrical Engineering, National Taiwan University(国家交通大学电子工程系);Research Center for Information Technology Innovation, Academia Sinica(学术院信息技术创新研究中心);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国家交通大学人工智能研究中心)
针对新兴的CodecFake深度伪造语音检测挑战,提出大规模数据集CodecFake+,包含31种开源编解码器重合成训练数据和17种先进CoSG模型网络数据,并建立编解码器分类体系,验证了重合成语音作为训练数据的有效性。
2026-06-05 cs.SD eess.AS
Language-Codec: Bridging Discrete Codec Representations and Speech Language Models
Zhejiang University(浙江大学)
本文提出Language-Codec,通过引入掩码通道残差向量量化(MCRVQ)机制及改进的傅里叶变换结构、注意力模块和判别器设计,解决了离散编解码器与下游语音语言模型之间信息分布不均和码本负担过重的问题,并在音频压缩和下游任务中取得显著性能提升。
2025-06-04 cs.SD eess.AS
Optimizing Neural Speech Codec for Low-Bitrate Compression via Multi-Scale Encoding
Interactive Entertainment Group Tencent(腾讯互动娱乐集团)
本文提出多尺度神经语音编解码器MsCodec,通过为不同信息密度的语音特征分配不同时间尺度的离散编码并引入互信息损失,解决了RVQ统一时间尺度导致的冗余编码问题,显著提升了低比特率下的语音压缩性能。
2024-10-21 cs.SD eess.AS
CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
CodecSlime通过动态帧率压缩神经语音编解码器中的时间冗余,显著降低重建WER并实现比特率与质量的灵活权衡。
2026-02-03 cs.SD eess.AS
Towards General Discrete Speech Codec for Complex Acoustic Environments: A Study of Reconstruction and Downstream Task Consistency
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence(人工智能摩尔实验室);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);X-LANCE Lab(X-LANCE实验室);School of Computer Science(计算机科学学院)
该研究提出新颖的ERSB基准,通过评估鲁棒重建与下游任务一致性,揭示神经语音编解码器在复杂声学环境下的性能退化,为其未来提升环境鲁棒性指明方向。
2025-05-28 cs.SD eess.AS
Low Frame-rate Speech Codec: a Codec Designed for Fast High-quality Speech LLM Training and Inference
NVIDIA Corporation(英伟达公司)
针对现有音频编解码器高帧率导致语音LLM训练推理慢的问题,提出结合有限标量量化与对抗训练的低帧率语音编解码器LFSC,在低比特率下实现高质量压缩,可使文本转语音推理提速约三倍且质量相当。
2024-09-18 cs.CL cs.SD eess.AS
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team(LongCat团队);Meituan(美团)
本文提出LongCat-Audio-Codec,一种面向语音大语言模型的音频分词器,通过解耦架构和多阶段训练,实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
ESPnet-Codec: Comprehensive Training and Evaluation of Neural Codecs for Audio, Music, and Speech
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);Nanyang Technological University(南洋理工大学);Tokyo Metropolitan University(东京都立大学);Fudan University(复旦大学);University of Chicago(芝加哥大学);National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院)
提出ESPnet-Codec开源平台,基于ESPnet支持音频、音乐和语音神经编解码器的训练与评估,并配套VERSA工具包,通过20个指标全面评估,可集成至六个ESPnet任务。
2025-02-24 cs.SD eess.AS
Codec-Based Deepfake Source Tracing via Neural Audio Codec Taxonomy
National Taiwan University(台湾大学);Brno University of Technology(布尔诺理工大学)
针对神经音频编解码器语音生成模型产生的深度伪造音频,提出基于神经音频编解码器分类法的源追踪方法,在CodecFake+数据集上验证了可行性并指出挑战。
2025-08-03 cs.SD eess.AS
SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch Injection for Low-Bitrate Coding and Zero-Shot Voice Conversion
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
提出SDP-Codec,通过单阶段优化从预训练自监督编码器中提取局部令牌并注入归一化F0,实现说话人解耦,在低比特率下达到竞争性重构和强零样本语音转换,且说话人泄露最少。
2026-06-23 cs.SD eess.AS
Probing Neural Audio Codecs with Speaker Traits and Speech Characteristics
University of Southern California(南加州大学);Johns Hopkins University(约翰斯·霍普金斯大学)
该研究探究17种多码本神经音频编解码器对7种说话人特质与语音特性的编码情况,发现码本层级具有特质依赖性,为未来编解码器的特质针对性评估与设计提供了依据。
2026-10-16 cs.SD eess.AS
Speaking from Coarse to Fine: Improving Neural Codec Language Model via Multi-Scale Speech Coding and Generation
The Chinese University of Hong Kong(香港中文大学);Xiaohongshu Inc.(小红书科技有限公司)
针对神经编解码器语言模型的近因偏差问题,提出由粗到细的CoFi-Speech方法,通过多尺度编解码与两种生成模式,显著提升零样本TTS的语音自然度与说话人相似度。
2024-09-18 cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现,发现连续表示更优,非自回归模型更实用,编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
CodecFlow: Efficient Bandwidth Extension via Conditional Flow Matching in Neural Codec Latent Space
Singapore Institute of Technology(新加坡理工学院);Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学)
CodecFlow通过条件流匹配和结构受限量化器,在神经编解码器潜在空间中实现高效语音带宽扩展,提升频谱保真度和感知质量。
2026-10-14 cs.AI cs.SD
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China(上海交通大学X-LANCE实验室);Shanghai Innovation Institute, China(上海创新研究院);Soul AI Lab, China(Soul AI实验室)
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力,实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
A Unified Neural Codec Language Model for Selective Editable Text to Speech Generation
School of Electronic Information, Wuhan University, China(武汉大学电子信息学院);Microsoft Corporation(微软公司)
SpeechEdit是一种通过选择性控制机制实现灵活属性控制的神经编码语言模型,用于可编辑的文本到语音生成。
2026-01-18 cs.SD eess.AS
DTM-Codec: Dynamic Token Masking for VFR Speech Coding with Efficient Boundary Selection
Graduate School of Cultural Technology, KAIST, South Korea(韩国科学技术院文化技术研究生院)
提出DTM-Codec,通过动态令牌掩码和路径长度均衡(PLE)边界选择器,在严格匹配总比特率下优于固定帧率基线,提升重建质量和可懂度。
2026-06-28 cs.SD eess.AS
Parameter Enhancement for MELP Speech Codec in Noisy Communication Environment
Search Solutions Inc.(搜索解决方案公司);Yonsei University(延世大学)
在本文中,我们提出了一种基于深度学习(DL)的参数增强方法,用于噪声通信环境中的混合激励线性预测(MELP)语音编解码器。与传统的语音增强模块不同,传统的语音增强模块被设计成通过在语音编解码器处理之前去除噪声分量来获得干净的语音信号,所提出的方法直接增强编码器或解码器侧的编解码器参数。由于所提出的方法已经由小型网络实现而不需要传统增强系统中所需的任何附加过程,时频(T-F)分析/综合模块,其计算复杂度非常低。通过增强噪声破坏的编解码器参数与建议的DL框架,我们实现了一个增强系统,这是更简单和更快的比传统的基于T-F掩码的语音增强方法,而其性能的质量保持相似。
2019-06-20 cs.SD eess.AS eess.SP
A High-Quality Speech and Audio Codec With Less Than 10 ms Delay
Octasic Inc.(奥克塔希克公司);CSIRO ICT Centre(联邦科学与工业研究组织信息与通信技术中心);RedHat Inc.(红帽公司);Juniper Networks Inc.(瞻博网络公司);Xiph.Org Foundation(Xiph.Org基金会)
随着对多媒体通信质量要求的提高,音频编解码器必须同时保持高质量和低延迟。通常,音频编解码器提供低延迟或高质量,但很少同时提供。我们提出了一个编解码器,同时解决这两个要求,在44.1 kHz的延迟只有8.7毫秒。它使用增益形状代数矢量量化在频域与时域音高预测。我们证明,建议的编解码器工作在48 kbit/s和64 kbit/s的性能优于G.722.1C和MP3,并具有质量媲美AAC-LD,尽管有不到四分之一的这些编解码器的算法延迟。
2016-02-17 cs.MM cs.SD
RepCodec: A Speech Representation Codec for Speech Tokenization
ByteDance(字节跳动)
本文提出了一种用于语义语音标记化的新型语音表示编解码器RepCodec,通过从语音编码器重建语音表示来学习向量量化码本,显著优于k-means聚类方法,提升了语音理解和生成性能。
2024-07-22 cs.LG cs.SD eess.AS
LMCodec: A Low Bitrate Speech Codec With Causal Transformer Models
Google(谷歌)
我们介绍LMCodec,一种因果神经语音编解码器,以非常低的比特率提供高质量的音频。该系统的骨干是一个因果卷积编解码器,它使用残差矢量量化将音频编码成一个由粗到细的令牌层次。LMCodec训练一个Transformer语言模型,以生成的方式从粗糙的令牌中预测精细的令牌,从而允许传输更少的代码。第二个Transformer预测给定过去发送的代码的下一个代码的不确定性,并用于执行条件熵编码。进行了MUSHRA主观测试,结果表明,在更高的比特率下,质量与参考编解码器相当。示例音频可在https://mjenrungrot.github.io/chrome-media-audio-papers/publications/lmcodec上获得。
2023-03-23 cs.SD eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong(香港大学);Meituan Inc.(美团公司)
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架,通过引入兼容约束与异构下采样策略,提升了语言模型在语音数据上的持续预训练效果,验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong(香港中文大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Vocal Engineering Technologies Limited(声动科技有限公司)
针对构音障碍语音重构中说话人相似度低、韵律自然度差的问题,提出基于神经编解码语言建模的多模态CoLM-DSR模型,经UASpeech语料库验证,在相关指标上取得显著提升。
2024-06-24 cs.CV cs.SD eess.AS
U-Codec: Ultra Low Frame-rate Neural Speech Codec for Fast High-fidelity Speech Generation
Peking University(北京大学);Tencent AI Lab(腾讯AI实验室);Tencent Hunyuan(腾讯文生)
本文提出 5Hz 超低帧率神经语音编解码器 U-Codec,通过 Transformer 帧间建模与 RVQ 配置优化,使 LLM-TTS 在保持音质的同时推理提速约 3 倍。
2025-10-19 cs.CL cs.LG cs.SD
ESC: Efficient Speech Coding with Cross-Scale Residual Vector Quantized Transformers
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学)
本文提出高效语音编解码器ESC,通过跨尺度残差向量量化与镜像分层窗口Transformer实现从粗到细的逐步解码,以更低模型复杂度取得高保真语音重建效果。
2024-10-03 cs.SD eess.AS
Masked Autoregressive Speech Enhancement with Continuous Neural Audio Codec Representations
CentraleSupélec(中央高等电力学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔综合理工学院);GIPSA-lab(吉普萨实验室)
该研究提出MARSE方法,利用连续NAC表示迭代解码掩码纯净语音帧,可灵活权衡语音增强性能与计算成本。
2026-09-04 cs.AI cs.SD
ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion
KAIST, South Korea(韩国科学技术院);Chung-Ang University, South Korea(Chung-Ang 大学);The Chinese University of Hong Kong, China(香港中文大学)
提出ProsoCodec,通过将韵律建模为条件残差而非分离流,在语音转换中改善韵律保留并减少源音色泄漏。
2026-06-23 cs.SD eess.AS
SuperCodec: A Neural Speech Codec with Selective Back-Projection Network
Wuhan University(武汉大学)
提出神经语音编解码器SuperCodec,通过引入选择性上采样和下采样反向投影模块替换标准上下采样层,在低比特率下实现了优于现有方法的语音重建质量。
2024-07-30 cs.SD eess.AS