PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU(卡内基梅隆大学);SJTU(上海交通大学)
PURE编码器通过预训练语音增强模型指导多阶段量化,提升低比特率语音编码的训练稳定性与重建质量,尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
Codec-ASR: Training Performant Automatic Speech Recognition Systems with Discrete Speech Representations
NVIDIA Corporation(英伟达公司)
本文全面分析了基于离散码的ASR系统构建方法,提出了一种在相似比特率下优于Encodec且在ML-SUPERB基准上超越自监督模型的Codec-ASR流水线。
2024-07-03 cs.CL cs.LG eess.AS
Balancing Speech Understanding and Generation Using Continual Pre-training for Codec-based Speech LLM
CMU(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出通过持续预训练框架平衡基于编码器的语音LLM的语音理解和生成,实现端到端的语音翻译系统,无需中间转录和翻译步骤。
2025-11-27 eess.AS
DS-Codec: Dual-Stage Training with Mirror-to-NonMirror Architecture Switching for Speech Codec
Xiamen University(厦门大学)
本文提出DS-Codec,一种采用镜像与非镜像架构切换的双阶段训练神经语音编解码器,通过平衡两者优势以增强码本鲁棒性并实现高保真语音重建。
2025-05-30 cs.SD eess.AS
Investigating Neural Audio Codecs for Speech Language Model-Based Speech Generation
Microsoft(微软公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究在统一设置下比较多种神经音频编解码器,并将其 token 集成到并行及 AR+NAR 两类 SLM 中,揭示重建质量不必然提升生成质量,解码器与量化机制分别影响自然度和可懂度。
2024-09-06 cs.SD eess.AS
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University(台湾大学);Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所)
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频,本文构建首个 CodecFake 数据集,并证明常用反欺骗模型失效,而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
Benchmarking Neural Speech Codec Intelligibility with SITool
本文提出用于主观可懂度评估的SITool,在实验室和众包环境下对13种语音编解码器进行基准测试,发现神经编解码器主观表现更优,且仅STOI和ESTOI与主观结果显著相关。
2025-06-02 eess.AS
Speech Separation using Neural Audio Codecs with Embedding Loss
针对基于神经音频编解码器的语音分离在训练中依赖波形损失函数需解码步骤的问题,提出直接在压缩表示上操作的嵌入损失,消除训练解码需求,在WSJ0-2mix数据集上实现2倍训练速度提升且DNSMOS和STOI性能更优。
2024-11-27 eess.AS
WARP-Q: Quality Prediction For Generative Neural Speech Codecs
使用波形匹配和参数重构编码器实现了良好的语音质量。近年来发展起来的甚低比特率生成式编解码器可以在比特流小于3 kb/s的情况下重建高质量的宽带语音。这些编解码器使用具有参数输入的DNN来合成高质量的语音输出。现有的客观语音质量模型(例如,POLQA、ViSQOL)不能从这些生成模型中准确地预测编码语音的质量,由于主观听力测试中没有突出的信号差异而低估了质量。我们提出了WARP-Q,一个完整的参考客观语音质量度量,使用动态时间规整成本MFCC语音表示。它对小的感知信号变化具有鲁棒性。使用波形匹配,参数和生成神经声码器的编解码器以及信道和环境噪声的评估表明,WARP-Q具有更好的相关性和编解码器的质量排名的新的编解码器相比,传统的指标,除了通用性一般的质量评估方案。
2021-02-20 eess.AS eess.SP
CodecMOS-Accent: A MOS Benchmark of Resynthesized and TTS Speech from Neural Codecs Across English Accents
本文提出CodecMOS-Accent数据集,用于评估神经音频编码器和基于LLM的TTS模型,尤其针对非标准语音如口音。数据集包含24系统生成的4000个样本,涵盖10种口音,通过大规模主观测试收集19600条注解,揭示了说话人与口音相似性之间的紧密关系及客观指标的预测能力。
2026-03-15 cs.SD eess.AS
Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding
Universidade de São Paulo(圣保罗大学)
本研究提出一种基于mel语谱图4×4块单阶段量化的神经语音编解码器,结合VQ-VAE后期对抗微调与HiFi-GAN声码器,在7.5kbits/s速率下达到与现有先进方案相当的语音质量,为低延迟编解码器提供开放基础。
2025-09-02 cs.CL cs.SD eess.AS
Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers
Microsoft(微软)
介绍了一种用于文本到语音合成(TTS)的语言建模方法.具体来说,我们训练神经编解码器语言模型(称为Vall-E)使用离散代码来自现成的神经音频编解码器模型,并把TTS作为一个有条件的语言建模任务,而不是在以前的工作连续信号回归。在预训练阶段,我们将TTS训练数据扩展到60 K小时的英语语音,这是现有系统的数百倍。Vall-E出现了上下文学习能力,可以用来合成高质量的个性化语音,只需3秒的注册记录一个看不见的发言者作为声学提示。实验结果表明,Vall-E在语音自然度和说话人相似度方面明显优于现有的zero-shot TTS系统。另外,我们发现Vall-E在合成时可以保留说话人的情感和声音提示的声学环境。请访问https://aka.ms/valle查看我们工作的演示。
2023-01-05 cs.CL cs.SD eess.AS
Analysing the Language of Neural Audio Codecs
The University of Tokyo(东京大学);Keio University(庆应大学);University of California, Berkeley(加州大学伯克利分校)
本研究分析神经音频编解码器离散语音token的类语言统计特性,验证其与语音识别、重合成性能的相关性,为生成式语音模型设计提供参考。
2025-09-01 cs.CL eess.AS
MARS6: A Small and Robust Hierarchical-Codec Text-to-Speech Model
Stellenbosch University(斯坦陵布什大学);Camb.ai Inc.(Camb.ai公司)
本文提出小型鲁棒的分层编解码器 TTS 模型 MARS6,利用 12 Hz 分层解码器及多种训练推理技术,以 7000 万参数达到媲美数倍大模型的语音合成与零样本克隆效果。
2025-01-10 cs.CL eess.AS
Personalized Neural Speech Codec
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
本文提出个性化神经语音编解码器,通过Siamese网络学习说话人嵌入并进行聚类,再为每个聚类训练专用LPCNet编解码器,在相同模型复杂度下提升语音质量或实现模型压缩。
2024-03-31 cs.SD eess.AS
Probing the Robustness Properties of Neural Speech Codecs
Department of Computer Science(计算机科学系)
本文系统评估了神经语音编解码器在噪声环境下的鲁棒性,通过分析其线性特性和频率响应,揭示了影响鲁棒性和音频保真度的关键因素,为未来编解码器设计提供了重要见解。
2025-05-30 cs.SD eess.AS
DualCodec: A Low-Frame-Rate, Semantically-Enhanced Neural Audio Codec for Speech Generation
School of Data Science(数据科学学院)
针对神经音频编解码器帧率与音质的权衡问题,本研究提出双流编码的DualCodec,整合自监督与波形表示增强语义,实现低帧率下的高音质,提升语音生成效率,性能优于现有主流编解码器。
2025-10-01 cs.SD eess.AS
EMO-Codec: An In-Depth Look at Emotion Preservation capacity of Legacy and Neural Codec Models With Subjective and Objective Evaluations
National Taiwan University(台湾大学);National Tsinghua University(清华大学);Academia Sinica(中央研究院)
该研究针对现有编解码器情感损失研究不足的问题,通过主客观方法评估传统与神经编解码器的情感保留能力,明确不同比特率下的最优类型,发现双语训练对中文情感保留效果有限,重合成语音会降低SER性能,为语音技术发展提供指导。
2024-07-30 cs.SD eess.AS
An Ultra-Low-Bitrate Neural Speech Codec with Plain-to-Pseudo Synergistic Vector Quantization
University of Science and Technology of China(中国科学技术大学);iFLYTEK Co., Ltd.(科大讯飞股份有限公司);Tsinghua University(清华大学)
提出P2PSynCodec,通过朴素到伪协同矢量量化器(P2PSVQ)结合一个朴素VQ和多个伪VQ,在0.5 kbps下实现与2.0 kbps竞品相当的语音重建质量。
2026-06-04 eess.AS
CodecFake+: Codec-Based Resynthesized Data as a Proxy for Detecting CodecFake Speech
Graduate Institute of Communication Engineering, National Taiwan University(国家交通大学通信工程研究院);Department of Computer Science and Information Engineering, National Taiwan University(国家交通大学计算机科学与信息工程系);Center for Language and Speech Processing at Johns Hopkins University(约翰霍普金斯大学语言与语音处理中心);Department of Electrical Engineering, National Taiwan University(国家交通大学电子工程系);Research Center for Information Technology Innovation, Academia Sinica(学术院信息技术创新研究中心);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国家交通大学人工智能研究中心)
针对新兴的CodecFake深度伪造语音检测挑战,提出大规模数据集CodecFake+,包含31种开源编解码器重合成训练数据和17种先进CoSG模型网络数据,并建立编解码器分类体系,验证了重合成语音作为训练数据的有效性。
2026-06-05 cs.SD eess.AS
CodeSep: Low-Bitrate Codec-Driven Speech Separation with Base-Token Disentanglement and Auxiliary-Token Serial Prediction
National Engineering Research Center of Speech and Language Information Processing(语音和语言信息处理国家工程研究中心);University of Science and Technology of China(中国科学技术大学)
CodeSep通过编码器驱动模型实现低比特率语音分离与压缩,利用基础令牌解耦和辅助令牌序列预测技术,在1 kbps下达到优异分离效果。
2026-01-19 eess.AS
On the Relation Between Speech Quality and Quantized Latent Representations of Neural Codecs
本研究探讨了神经编解码器潜在表示与语音质量的关系,提出了非侵入式LQR度量,其与主观语音质量相关性高达0.9,性能优于预训练和侵入式指标,为构建更复杂的语音质量度量提供了基础。
2025-03-05 eess.AS
Indic-CodecFake meets SATYAM: Towards Detecting Neural Audio Codec Synthesized Speech Deepfakes in Indic Languages
UPES, India(乌塔拉克德联合教育研究所);Veer Bahadur Singh Purvanchal University, India(维尔·巴哈杜尔·辛格普尔万恰尔大学);IIIT-Delhi, India(德里印度信息技术学院)
本文提出Indic-CodecFake数据集,用于检测印度语言中神经音频编解码器合成语音深度伪造,发现现有检测器在印度语音上表现不佳,并提出SATYAM模型以提升性能。
2026-04-21 eess.AS
Language-Codec: Bridging Discrete Codec Representations and Speech Language Models
Zhejiang University(浙江大学)
本文提出Language-Codec,通过引入掩码通道残差向量量化(MCRVQ)机制及改进的傅里叶变换结构、注意力模块和判别器设计,解决了离散编解码器与下游语音语言模型之间信息分布不均和码本负担过重的问题,并在音频压缩和下游任务中取得显著性能提升。
2025-06-04 cs.SD eess.AS
SpeechAlign: Aligning Speech Generation to Human Preferences
Fudan University(复旦大学)
本文提出 SpeechAlign,通过构建黄金与合成编解码器令牌的偏好数据集并迭代进行偏好优化,使语音语言模型对齐人类偏好、弥合训练推理分布差距。
2024-04-08 cs.CL cs.SD eess.AS
Optimizing Neural Speech Codec for Low-Bitrate Compression via Multi-Scale Encoding
Interactive Entertainment Group Tencent(腾讯互动娱乐集团)
本文提出多尺度神经语音编解码器MsCodec,通过为不同信息密度的语音特征分配不同时间尺度的离散编码并引入互信息损失,解决了RVQ统一时间尺度导致的冗余编码问题,显著提升了低比特率下的语音压缩性能。
2024-10-21 cs.SD eess.AS
VoCodec: An Efficient Lightweight Low-Bitrate Speech Codec
Nanjing University(南京大学);Horizon Robotics(地平线机器人)
VoCodec是一种低计算复杂度和低延迟的语音编解码器,利用Vocos作为骨干,在LRAC挑战赛中取得优异成绩,并通过前端轻量级网络提升语音增强能力。
2026-01-19 eess.AS
Parameter Enhancement for MELP Speech Codec in Noisy Communication Environment
Search Solutions Inc.(搜索解决方案公司);Yonsei University(延世大学)
在本文中,我们提出了一种基于深度学习(DL)的参数增强方法,用于噪声通信环境中的混合激励线性预测(MELP)语音编解码器。与传统的语音增强模块不同,传统的语音增强模块被设计成通过在语音编解码器处理之前去除噪声分量来获得干净的语音信号,所提出的方法直接增强编码器或解码器侧的编解码器参数。由于所提出的方法已经由小型网络实现而不需要传统增强系统中所需的任何附加过程,时频(T-F)分析/综合模块,其计算复杂度非常低。通过增强噪声破坏的编解码器参数与建议的DL框架,我们实现了一个增强系统,这是更简单和更快的比传统的基于T-F掩码的语音增强方法,而其性能的质量保持相似。
2019-06-20 cs.SD eess.AS eess.SP
CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
CodecSlime通过动态帧率压缩神经语音编解码器中的时间冗余,显著降低重建WER并实现比特率与质量的灵活权衡。
2026-02-03 cs.SD eess.AS
Towards General Discrete Speech Codec for Complex Acoustic Environments: A Study of Reconstruction and Downstream Task Consistency
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence(人工智能摩尔实验室);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);X-LANCE Lab(X-LANCE实验室);School of Computer Science(计算机科学学院)
该研究提出新颖的ERSB基准,通过评估鲁棒重建与下游任务一致性,揭示神经语音编解码器在复杂声学环境下的性能退化,为其未来提升环境鲁棒性指明方向。
2025-05-28 cs.SD eess.AS
TacoLM: GaTed Attention Equipped Codec Language Model are Efficient Zero-Shot Text to Speech Synthesizers
Shanghai Jiao Tong University(上海交通大学);ByteDance(字节跳动);Microsoft(微软公司)
针对神经编解码器语言模型在零样本TTS中推理慢、稳定性不足的问题,提出带门控注意力与门控交叉注意力的TacoLM,相比VALL-E参数量减90%、速度提5.2倍且语音质量更优。
2024-06-22 cs.AI cs.CL eess.AS
Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
Collaboration AI, Cisco Systems, Inc.(思科系统公司协作AI部门);Faculty of Engineering and Natural Sciences, Yeditepe University(耶迪特佩大学工程与自然科学学院)
该研究针对干净语音条件,通过17种编解码器的主观听辨得分,评估45种客观语音质量指标,发现scoreq、utmos等神经指标相关性最高,非侵入式指标在高质量时易饱和。
2026-08-05 cs.AI cs.SD eess.AS
RepCodec: A Speech Representation Codec for Speech Tokenization
ByteDance(字节跳动)
本文提出了一种用于语义语音标记化的新型语音表示编解码器RepCodec,通过从语音编码器重建语音表示来学习向量量化码本,显著优于k-means聚类方法,提升了语音理解和生成性能。
2024-07-22 cs.LG cs.SD eess.AS
VioLA: Unified Codec Language Models for Speech Recognition, Synthesis, and Translation
Microsoft(微软)
本文提出统一编解码器语言模型 VioLA,通过将语音离散化为 token 并结合任务与语言 ID,以单一自回归 Transformer 仅解码器统一处理语音与文本间的多种单模态及跨模态任务,性能达到或超越强基线。
2023-05-25 cs.CL cs.SD eess.AS
Enhancing into the codec: Noise Robust Speech Coding with Vector-Quantized Autoencoders
Amazon Web Services(亚马逊云科技)
最近已经开发出基于离散神经自编码器的音频编解码器,并且显示出对于相当质量的语音输出提供显著更高的压缩水平。然而,这些模型与语音内容紧密耦合,并且在噪声条件下产生非预期的输出。基于VQ-VAE自编码器和WaveRNN解码器,我们开发了压缩增强器编码器和附带的解码器,并表明它们在噪声条件下运行良好。我们还观察到,压缩增强器模型在干净的语音输入上的性能优于仅在干净的语音上训练的压缩器模型。
2021-02-12 cs.LG eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Quantizer-Aware Hierarchical Neural Codec Modeling for Speech Deepfake Detection
Agency for Science, Technology and Research (A*STAR)(科技研究局(A*STAR));The University of New South Wales(新南威尔士大学)
本文提出一种量化器感知的分层神经编解码器建模框架,通过可学习的全局加权机制建模量化器层面的贡献,提升语音深度伪造检测的性能。
2026-03-10 cs.AI cs.CL cs.SD
VoCodec: A Low-bitrate Streamable Neural Speech Codec with Voicing-driven Quantization
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
提出VoCodec,通过浊音驱动量化(对浊音帧分配高比特率、清音帧分配低比特率)在1.1 kbps比特率下超越基线神经语音编解码器,相比均匀量化降低约27%比特率。
2026-06-04 eess.AS
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team(LongCat团队);Meituan(美团)
本文提出LongCat-Audio-Codec,一种面向语音大语言模型的音频分词器,通过解耦架构和多阶段训练,实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
ESPnet-Codec: Comprehensive Training and Evaluation of Neural Codecs for Audio, Music, and Speech
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);Nanyang Technological University(南洋理工大学);Tokyo Metropolitan University(东京都立大学);Fudan University(复旦大学);University of Chicago(芝加哥大学);National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院)
提出ESPnet-Codec开源平台,基于ESPnet支持音频、音乐和语音神经编解码器的训练与评估,并配套VERSA工具包,通过20个指标全面评估,可集成至六个ESPnet任务。
2025-02-24 cs.SD eess.AS
HCFD: A Benchmark for Audio Deepfake Detection in Healthcare
Veer Bahadur Singh Purvanchal University(维尔·巴哈杜尔·辛格普尔万恰尔大学);UPES(尤佩斯大学);Ulster University(阿尔斯特大学)
本文提出HCFD任务,针对病理语音条件下的编码器伪造检测,通过构建首个病理感知数据集和提出PHOENIX-Mamba框架,在多临床条件和编码器上实现最高性能。
2026-04-19 eess.AS
Noisy Environment Adaptation of Neural Speech Codec via Focal Mask and Noise Feature Separation
Wuhan University(武汉大学);Hubei Key Laboratory of Multimedia and Network Communication Engineering(多媒体与网络通信工程湖北省重点实验室)
针对现实噪声影响神经语音编解码器性能问题,提出FocalSE方法,通过聚焦调制进行压缩解压、生成掩码恢复干净特征嵌入,分离噪声嵌入并识别噪声类别,提升低比特率和低信噪比下性能。
2026-07-07 eess.AS
Codec-Based Deepfake Source Tracing via Neural Audio Codec Taxonomy
National Taiwan University(台湾大学);Brno University of Technology(布尔诺理工大学)
针对神经音频编解码器语音生成模型产生的深度伪造音频,提出基于神经音频编解码器分类法的源追踪方法,在CodecFake+数据集上验证了可行性并指出挑战。
2025-08-03 cs.SD eess.AS
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong(香港大学);Meituan Inc.(美团公司)
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架,通过引入兼容约束与异构下采样策略,提升了语言模型在语音数据上的持续预训练效果,验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
BSCodec: A Band-Split Neural Codec for High-Quality Universal Audio Reconstruction
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出频带分割神经音频编解码器 BSCodec,通过将频谱划分为独立频带并分别压缩,解决了语音优化编解码器在音乐和声音上质量下降的问题,在通用音频重建上优于基线方法。
2025-11-08 eess.AS
CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong(香港中文大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Vocal Engineering Technologies Limited(声动科技有限公司)
针对构音障碍语音重构中说话人相似度低、韵律自然度差的问题,提出基于神经编解码语言建模的多模态CoLM-DSR模型,经UASpeech语料库验证,在相关指标上取得显著提升。
2024-06-24 cs.CV cs.SD eess.AS
DM-Codec: Distilling Multimodal Representations for Speech Tokenization
Center for Computational & Data Sciences, Independent University, Bangladesh(计算与数据科学中心,独立大学,孟加拉国);Amazon GenAI(亚马逊生成人工智能);Qatar Computing Research Institute(卡塔尔计算研究所);University of Virginia(弗吉尼亚大学)
针对语音离散令牌缺少上下文表示的问题,提出DM-Codec,通过LM与SM引导蒸馏融合声学、语义和上下文信息,显著降低转写错误并提升语音质量。
2025-09-29 cs.AI cs.CL cs.SD
Enhancing Noise Robustness for Neural Speech Codecs through Resource-Efficient Progressive Quantization Perturbation Simulation
National Engineering Research Center of Speech
针对神经语音编解码器在真实噪声场景中因输入扰动导致量化码字偏移的问题,提出一种仅在纯净语音上训练的资源高效策略,通过距离加权概率top-K采样和渐进式量化扰动模拟,显著提升了编解码器的噪声鲁棒性并改善了纯净语音质量。
2025-10-13 eess.AS
SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch Injection for Low-Bitrate Coding and Zero-Shot Voice Conversion
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
提出SDP-Codec,通过单阶段优化从预训练自监督编码器中提取局部令牌并注入归一化F0,实现说话人解耦,在低比特率下达到竞争性重构和强零样本语音转换,且说话人泄露最少。
2026-06-23 cs.SD eess.AS
SpeechX: Neural Codec Language Model as a Versatile Speech Transformer
Microsoft Corporation(微软公司);Microsoft Research Asia(微软亚洲研究院)
本文提出多功能语音生成模型SpeechX,通过结合神经编解码器语言建模与多任务学习及任务相关提示,统一实现零样本TTS及多种语音转换任务,并在多项任务上取得优于专用模型的性能。
2024-06-25 cs.CL cs.LG cs.SD
Probing Neural Audio Codecs with Speaker Traits and Speech Characteristics
University of Southern California(南加州大学);Johns Hopkins University(约翰斯·霍普金斯大学)
该研究探究17种多码本神经音频编解码器对7种说话人特质与语音特性的编码情况,发现码本层级具有特质依赖性,为未来编解码器的特质针对性评估与设计提供了依据。
2026-10-16 cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University(阿尔托大学);National Institute of Informatics(情报学研究所)
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器,利用波形域直通估计器实现黑盒增强,证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation
Tsinghua University(清华大学);ByteDance(字节跳动);University of Cambridge(剑桥大学)
针对全双工语音理解与生成任务,提出无编解码器的SALMONN-omni模型,通过双工口语对话框架及“思考”机制实现异步生成,在多任务中表现通用且能处理复杂对话场景。
2024-11-27 cs.AI cs.CL cs.SD
Speaking from Coarse to Fine: Improving Neural Codec Language Model via Multi-Scale Speech Coding and Generation
The Chinese University of Hong Kong(香港中文大学);Xiaohongshu Inc.(小红书科技有限公司)
针对神经编解码器语言模型的近因偏差问题,提出由粗到细的CoFi-Speech方法,通过多尺度编解码与两种生成模式,显著提升零样本TTS的语音自然度与说话人相似度。
2024-09-18 cs.SD eess.AS