NDVQ: Robust Neural Audio Codec with Normal Distribution-Based Vector Quantization
Microsoft Research Asia(微软亚洲研究院)
针对极低带宽下VQ码本对噪声敏感导致音频质量下降的问题,提出基于正态分布的向量量化方法NDVQ,通过学习方差引入码间间隔,提升音频压缩与零样本TTS性能。
2024-09-19 cs.SD eess.AS
Improving Test-Time Performance of RVQ-based Neural Codecs
Supertone Inc.(Supertone公司);Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰霍普金斯大学)
针对基于残差矢量量化(RVQ)的神经音频编解码器,提出一种测试时编码算法以优化码本选择,降低量化误差并提升合成质量,实验验证其有效性。
2025-09-23 cs.SD eess.AS
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China(上海交通大学X-LANCE实验室);Shanghai Innovation Institute, China(上海创新研究院);Soul AI Lab, China(Soul AI实验室)
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力,实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
Attack-Dependent Robustness of Neural Audio Codecs for Adversarial ASR
Signal Analysis and Interpretation Laboratory, University of Southern California, USA(南加州大学信号分析与解释实验室)
本文研究了神经音频编解码器中容量与鲁棒性之间的权衡,发现中间深度量化能平衡对抗扰动与语音内容质量,从而最小化转录错误。
2026-09-24 cs.SD eess.AS
RepCodec: A Speech Representation Codec for Speech Tokenization
ByteDance(字节跳动)
本文提出了一种用于语义语音标记化的新型语音表示编解码器RepCodec,通过从语音编码器重建语音表示来学习向量量化码本,显著优于k-means聚类方法,提升了语音理解和生成性能。
2024-07-22 cs.LG cs.SD eess.AS
CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents
Department of Electrical Engineering(电气工程系);Indian Institute of Technology, Kanpur(印度理工学院,坎浦尔)
CodecSep通过在神经音频编解码器潜在空间中直接提取声源,实现开放词汇声音分离,相比AudioSep在SI-SDR指标上表现更优,且在ViSQOL和MOS-LQS上取得显著提升,同时提供低延迟的代码流部署方案。
2026-06-21 cs.LG cs.SD eess.AS
Generative De-Quantization for Neural Speech Codec via Latent Diffusion
Electronics and Telecommunications Research Institute(韩国电子通信研究院)
本文提出将表示学习与重建分离,用端到端编码器学习离散令牌,并用潜在扩散模型去量化,在1.5和3 kbps低比特率下优于现有最优方法。
2023-11-15 cs.SD eess.AS
BAMU: Bitstream-Aware Marginal-Utility Allocation for Frozen Pretrained Neural Speech Codecs
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent(腾讯);Central Conservatory of Music(中央音乐学院)
针对预训练神经语音编解码器固定RVQ深度忽略量化难度时间变化的问题,提出BAMU框架,通过预测器与分配器优化RVQ深度分配,在EnCodec和DAC上实现MOS提升。
2026-08-11 eess.AS
LILAC: An Idempotent Neural Speech Codec
本文提出具备结构幂等性的神经语音编解码器 LILAC,其码率0.75 kbit/s,在 LibriSpeech 和 LibriTTS-R 测试集上的 UTMOS 分别达4.14和4.24,性能与亚1 kbit/s 神经音频编解码器最优水平相当,解决了现有编解码器幂等性不足的问题。
2026-08-27 cs.LG cs.SD eess.AS
Codec-Based Deepfake Source Tracing via Neural Audio Codec Taxonomy
National Taiwan University(台湾大学);Brno University of Technology(布尔诺理工大学)
针对神经音频编解码器语音生成模型产生的深度伪造音频,提出基于神经音频编解码器分类法的源追踪方法,在CodecFake+数据集上验证了可行性并指出挑战。
2025-08-03 cs.SD eess.AS
SNAC: Multi-Scale Neural Audio Codec
Papla Media(帕普拉媒体);ETH Zurich(苏黎世联邦理工学院)
本文提出多尺度神经音频编解码器SNAC,通过在不同时间分辨率上扩展残差矢量量化,实现更高效的音频压缩,并开源代码与模型权重。
2024-10-18 cs.LG cs.SD eess.AS
PitchFlower: A flow-based neural audio codec with pitch controllability
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);IRCAM(巴黎音乐学院)
PitchFlower通过输入扰动和条件化实现音高解耦,采用向量量化瓶颈和流解码器,在保持DSP级音高控制的同时提升音频质量,并展现对输入退化的鲁棒性。
2026-09-17 cs.LG eess.AS
Learning Source Disentanglement in Neural Audio Codec
LTCI, Télécom Paris, Institut Polytechnique de Paris(法国巴黎综合理工学院 Telecom Paris 理工学院 LTCI 实验室);CVSSP, University of Surrey(萨里大学 CVSSP 实验室)
针对现有神经音频编解码器忽略不同声音域差异导致建模复杂和生成可控性差的问题,提出结合编码与分离的SD-Codec,实现不同源的码本解耦,在保持重合成质量的同时增强可解释性与生成可控性。
2025-02-11 cs.AI cs.LG cs.SD
Bringing Interpretability to Neural Audio Codecs
Inria(法国国家信息与自动化研究所)
本文提出两步方法分析神经音频编解码器token中语音信息的编码方式,并训练AnCoGen网络从事后解释角度直接提取内容、身份和音高等语音属性,从而提升编解码器的可解释性。
2025-06-04 eess.AS
An Efficient Parametric Codec for Low-Bitrate First-Order Ambisonics
The Australian National University(澳大利亚国立大学)
本文提出一种轻量级参数化FOA编解码器,通过将DOA和扩散度组合为3D指向性向量并采用RVQ联合量化,实现低码率高效编码,在重建质量和下游任务上优于或媲美现有方法。
2026-09-29 cs.SD eess.AS
LDCodec: A high quality neural audio codec with low-complexity decoder
ByteDance China(字节跳动中国)
针对神经音频编解码器复杂度高的问题,提出LDCodec,通过结合LSRVQ、子带-全带判别器和感知损失,在6kbps下优于Opus 12kbps,适用于智能手机等流媒体客户端。
2025-10-17 eess.AS
GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
School of Electrical and Computer Engineering(电气与计算机工程学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
GS-Codec提出用参数化信号分解替代量化器作为神经音频编码瓶颈,通过高斯溅射拟合一维潜在表示,实现训练后比特率控制,性能媲美EnCodec和DAC。
2026-10-06 cs.AI cs.LG cs.SD
A Closer Look at Neural Codec Resynthesis: Bridging the Gap between Codec and Waveform Generation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Washington(华盛顿大学);xAI Corp.(xAI公司)
该研究针对神经音频编解码器语音生成中粗粒度令牌重合成波形的被忽视问题,对比令牌预测、回归策略并提出基于Schrödinger Bridge的新方法,验证了学习目标与重合成方法对音频质量的显著影响。
2024-10-29 cs.CL cs.LG cs.SD
SwitchCodec: A High-Fidelity Nerual Audio Codec With Sparse Quantization
本文提出SwitchCodec,通过残差专家向量量化和多级判别器提升音频压缩质量,在低比特率下保持高保真度,实现高效压缩与低训练成本。
2026-05-07 cs.SD eess.AS
EMO-Codec: An In-Depth Look at Emotion Preservation capacity of Legacy and Neural Codec Models With Subjective and Objective Evaluations
National Taiwan University(台湾大学);National Tsinghua University(清华大学);Academia Sinica(中央研究院)
该研究针对现有编解码器情感损失研究不足的问题,通过主客观方法评估传统与神经编解码器的情感保留能力,明确不同比特率下的最优类型,发现双语训练对中文情感保留效果有限,重合成语音会降低SER性能,为语音技术发展提供指导。
2024-07-30 cs.SD eess.AS
Codec-SUPERB @ SLT 2024: A lightweight benchmark for neural audio codec models
National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院);Microsoft Corporation(微软公司);Meta;The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学)
本文介绍了SLT 2024的Codec-SUPERB挑战赛,通过提供统一的语音应用、客观指标和小规模免许可数据集,实现对神经音频编解码器模型公平且轻量级的评估,并报告了五个参赛系统的结果与发现。
2024-09-21 cs.SD eess.AS
Neural Codec-based Adversarial Sample Detection for Speaker Verification
National Taiwan University(台湾大学)
本文提出基于神经编解码器的说话人验证对抗样本检测方法,通过比较原始与重合成音频的ASV得分差异进行检测,其中Descript-audio-codec在15个编解码器中检测率最高,并超越多种SOTA方法。
2024-06-07 cs.SD eess.AS
ESPnet-Codec: Comprehensive Training and Evaluation of Neural Codecs for Audio, Music, and Speech
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);Nanyang Technological University(南洋理工大学);Tokyo Metropolitan University(东京都立大学);Fudan University(复旦大学);University of Chicago(芝加哥大学);National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院)
提出ESPnet-Codec开源平台,基于ESPnet支持音频、音乐和语音神经编解码器的训练与评估,并配套VERSA工具包,通过20个指标全面评估,可集成至六个ESPnet任务。
2025-02-24 cs.SD eess.AS
Codec2Vec: Self-Supervised Speech Representation Learning Using Neural Speech Codecs
Department of Computer Science University of Texas at Austin Texas, USA(计算机科学系 休斯顿大学 德州 美国)
Codec2Vec通过离散音频编解码单元实现自监督语音表示学习,有效提升存储效率和训练速度,同时在SUPERB基准上表现优异。
2025-11-20 cs.CL eess.AS
Benchmarking Neural Speech Codec Intelligibility with SITool
本文提出用于主观可懂度评估的SITool,在实验室和众包环境下对13种语音编解码器进行基准测试,发现神经编解码器主观表现更优,且仅STOI和ESTOI与主观结果显著相关。
2025-06-02 eess.AS
Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding
Universidade de São Paulo(圣保罗大学)
本研究提出一种基于mel语谱图4×4块单阶段量化的神经语音编解码器,结合VQ-VAE后期对抗微调与HiFi-GAN声码器,在7.5kbits/s速率下达到与现有先进方案相当的语音质量,为低延迟编解码器提供开放基础。
2025-09-02 cs.CL cs.SD eess.AS
Speech Separation using Neural Audio Codecs with Embedding Loss
针对基于神经音频编解码器的语音分离在训练中依赖波形损失函数需解码步骤的问题,提出直接在压缩表示上操作的嵌入损失,消除训练解码需求,在WSJ0-2mix数据集上实现2倍训练速度提升且DNSMOS和STOI性能更优。
2024-11-27 eess.AS
Code Drift: Towards Idempotent Neural Audio Codecs
Northwestern University(西北大学);Adobe Research(奥多比研究院)
针对神经音频编解码器被忽视的幂等性问题,研究发现现有模型多次编码后音频退化,通过微调提升幂等性且不影响下游性能,扩展其在文件压缩和迭代生成中的应用。
2025-04-14 cs.SD eess.AS
Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
研究评估经典和神经语音编解码器在干净及嘈杂条件下的可懂度与听觉努力,还评估编码前语音增强的影响,发现经典编解码器更抗噪,语音增强可提升受噪声影响编解码器的可懂度等。
2026-07-07 eess.AS
CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
CodecSlime通过动态帧率压缩神经语音编解码器中的时间冗余,显著降低重建WER并实现比特率与质量的灵活权衡。
2026-02-03 cs.SD eess.AS
Quantizer-Aware Hierarchical Neural Codec Modeling for Speech Deepfake Detection
Agency for Science, Technology and Research (A*STAR)(科技研究局(A*STAR));The University of New South Wales(新南威尔士大学)
本文提出一种量化器感知的分层神经编解码器建模框架,通过可学习的全局加权机制建模量化器层面的贡献,提升语音深度伪造检测的性能。
2026-03-10 cs.AI cs.CL cs.SD
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
ESC: Efficient Speech Coding with Cross-Scale Residual Vector Quantized Transformers
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学)
本文提出高效语音编解码器ESC,通过跨尺度残差向量量化与镜像分层窗口Transformer实现从粗到细的逐步解码,以更低模型复杂度取得高保真语音重建效果。
2024-10-03 cs.SD eess.AS
CodecMOS-Accent: A MOS Benchmark of Resynthesized and TTS Speech from Neural Codecs Across English Accents
本文提出CodecMOS-Accent数据集,用于评估神经音频编码器和基于LLM的TTS模型,尤其针对非标准语音如口音。数据集包含24系统生成的4000个样本,涵盖10种口音,通过大规模主观测试收集19600条注解,揭示了说话人与口音相似性之间的紧密关系及客观指标的预测能力。
2026-03-15 cs.SD eess.AS
Probing the Robustness Properties of Neural Speech Codecs
Department of Computer Science(计算机科学系)
本文系统评估了神经语音编解码器在噪声环境下的鲁棒性,通过分析其线性特性和频率响应,揭示了影响鲁棒性和音频保真度的关键因素,为未来编解码器设计提供了重要见解。
2025-05-30 cs.SD eess.AS
DualCodec: A Low-Frame-Rate, Semantically-Enhanced Neural Audio Codec for Speech Generation
School of Data Science(数据科学学院)
针对神经音频编解码器帧率与音质的权衡问题,本研究提出双流编码的DualCodec,整合自监督与波形表示增强语义,实现低帧率下的高音质,提升语音生成效率,性能优于现有主流编解码器。
2025-10-01 cs.SD eess.AS
HILCodec: High-Fidelity and Lightweight Neural Audio Codec
Seoul National University(首尔大学);Institute of New Media and Communications(新媒体与通信研究所)
本文提出HILCodec,通过方差受限设计解决SEANet编解码器性能不随深度增加的问题,并引入无失真判别器,实现了实时流式的高保真轻量级神经音频编解码。
2024-09-24 cs.SD eess.AS
SoundStream: An End-to-End Neural Audio Codec
我们提出了SoundStream,一种新型的神经音频编解码器,可以有效地压缩语音,音乐和一般音频的比特率通常由语音定制的编解码器的目标。SoundStream依赖于由完全卷积编码器/解码器网络和残差矢量量化器组成的模型架构,它们是端到端联合训练的。训练利用了文本到语音和语音增强的最新进展,这些进展结合了对抗和重建损失,允许从量化嵌入生成高质量的音频内容。通过对量化器层应用结构化丢弃进行训练,单个模型可以在从3 kbps到18 kbps的可变比特率上运行,与以固定比特率训练的模型相比,质量损失可以忽略不计。此外,该模型适合于低延迟实现,其支持流式推理并在智能手机CPU上实时的运行。在使用24 kHz采样率的音频的主观评估中,3 kbps的SoundStream优于12 kbps的Opus,并接近9.6kbps的EVS。此外,我们能够在编码器或解码器侧执行联合压缩和增强,而没有额外的延迟,我们通过语音的背景噪声抑制来证明这一点。
2021-07-07 cs.LG cs.SD eess.AS
Investigating Neural Audio Codecs for Speech Language Model-Based Speech Generation
Microsoft(微软公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究在统一设置下比较多种神经音频编解码器,并将其 token 集成到并行及 AR+NAR 两类 SLM 中,揭示重建质量不必然提升生成质量,解码器与量化机制分别影响自然度和可懂度。
2024-09-06 cs.SD eess.AS
BSCodec: A Band-Split Neural Codec for High-Quality Universal Audio Reconstruction
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出频带分割神经音频编解码器 BSCodec,通过将频谱划分为独立频带并分别压缩,解决了语音优化编解码器在音乐和声音上质量下降的问题,在通用音频重建上优于基线方法。
2025-11-08 eess.AS
Tracing the Origins: Legacy Codec Identification in Neural Audio Transcoding
DGIST(大邱庆北科学技术院)
本研究针对神经音频转码掩盖遗留压缩痕迹的取证空白,提出基于Transformer的框架,利用RVQ序列的层次与时间依赖,实现97%以上准确率的编解码器识别,证明神经转码后传统痕迹仍可追溯。
2026-09-15 cs.MM cs.SD eess.AS
On the Relation Between Speech Quality and Quantized Latent Representations of Neural Codecs
本研究探讨了神经编解码器潜在表示与语音质量的关系,提出了非侵入式LQR度量,其与主观语音质量相关性高达0.9,性能优于预训练和侵入式指标,为构建更复杂的语音质量度量提供了基础。
2025-03-05 eess.AS
AudioDec: An Open-source Streaming High-fidelity Neural Audio Codec
本文提出开源实时神经音频编解码器AudioDec,在12 kbps比特率下重建48 kHz高自然度语音,延迟低于6 ms(GPU)/10 ms(CPU),并提供高效训练范式与VCTK评估,成为即插即用基准。
2023-05-26 eess.AS
BridgeCodec: Mamba Enhanced Neural Audio Codec with Schrödinger Bridge at Low Bitrate
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Central Media Technology Institute, Huawei(华为中央媒体技术研究院)
本文提出BridgeCodec框架,通过薛定谔桥最优传输解耦神经音频编解码器的编码器-解码器对,结合Mamba增强型U-Net,在1 kbps超低码率下实现8 kHz到48 kHz编解码器的鲁棒映射,获优异重建与感知质量。
2026-10-14 cs.AI cs.LG cs.SD
WARP-Q: Quality Prediction For Generative Neural Speech Codecs
使用波形匹配和参数重构编码器实现了良好的语音质量。近年来发展起来的甚低比特率生成式编解码器可以在比特流小于3 kb/s的情况下重建高质量的宽带语音。这些编解码器使用具有参数输入的DNN来合成高质量的语音输出。现有的客观语音质量模型(例如,POLQA、ViSQOL)不能从这些生成模型中准确地预测编码语音的质量,由于主观听力测试中没有突出的信号差异而低估了质量。我们提出了WARP-Q,一个完整的参考客观语音质量度量,使用动态时间规整成本MFCC语音表示。它对小的感知信号变化具有鲁棒性。使用波形匹配,参数和生成神经声码器的编解码器以及信道和环境噪声的评估表明,WARP-Q具有更好的相关性和编解码器的质量排名的新的编解码器相比,传统的指标,除了通用性一般的质量评估方案。
2021-02-20 eess.AS eess.SP
SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch Injection for Low-Bitrate Coding and Zero-Shot Voice Conversion
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
提出SDP-Codec,通过单阶段优化从预训练自监督编码器中提取局部令牌并注入归一化F0,实现说话人解耦,在低比特率下达到竞争性重构和强零样本语音转换,且说话人泄露最少。
2026-06-23 cs.SD eess.AS
Noisy Environment Adaptation of Neural Speech Codec via Focal Mask and Noise Feature Separation
Wuhan University(武汉大学);Hubei Key Laboratory of Multimedia and Network Communication Engineering(多媒体与网络通信工程湖北省重点实验室)
针对现实噪声影响神经语音编解码器性能问题,提出FocalSE方法,通过聚焦调制进行压缩解压、生成掩码恢复干净特征嵌入,分离噪声嵌入并识别噪声类别,提升低比特率和低信噪比下性能。
2026-07-07 eess.AS
APCodec+: A Spectrum-Coding-Based High-Fidelity and High-Compression-Rate Neural Audio Codec with Staged Training Paradigm
National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
该研究提出改进型神经音频编解码器APCodec+,以音频幅度和相位谱为编码对象,采用两阶段联合-独立训练范式降低解码器学习难度,在低比特率下实现了与更高比特率基线编解码器相当的性能。
2024-10-30 cs.SD eess.AS
On the Language and Gender Biases in PSTN, VoIP and Neural Audio Codecs
Faculty of Science(科学学院)
本研究分析超200万多语言音频经PSTN、VoIP及神经编解码器转码后的质量,发现PSTN存在性别偏见,神经编解码器存在语言偏见。
2025-09-25 cs.SD eess.AS
Low Frame-rate Speech Codec: a Codec Designed for Fast High-quality Speech LLM Training and Inference
NVIDIA Corporation(英伟达公司)
针对现有音频编解码器高帧率导致语音LLM训练推理慢的问题,提出结合有限标量量化与对抗训练的低帧率语音编解码器LFSC,在低比特率下实现高质量压缩,可使文本转语音推理提速约三倍且质量相当。
2024-09-18 cs.CL cs.SD eess.AS
ComplexDec: A Domain-robust High-fidelity Neural Audio Codec with Complex Spectrum Modeling
Codec Avatars Lab(Codec Avatars实验室);Meta
本文提出48 kHz全频带神经音频编解码器ComplexDec,通过复数频谱建模缓解压缩信息损失,在24 kbps比特率下仅用30小时VCTK数据训练即实现领域外鲁棒性。
2025-02-04 cs.SD eess.AS
Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
Collaboration AI, Cisco Systems, Inc.(思科系统公司协作AI部门);Faculty of Engineering and Natural Sciences, Yeditepe University(耶迪特佩大学工程与自然科学学院)
该研究针对干净语音条件,通过17种编解码器的主观听辨得分,评估45种客观语音质量指标,发现scoreq、utmos等神经指标相关性最高,非侵入式指标在高质量时易饱和。
2026-08-05 cs.AI cs.SD eess.AS
Personalized Neural Speech Codec
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
本文提出个性化神经语音编解码器,通过Siamese网络学习说话人嵌入并进行聚类,再为每个聚类训练专用LPCNet编解码器,在相同模型复杂度下提升语音质量或实现模型压缩。
2024-03-31 cs.SD eess.AS
Streaming Endpointer for Spoken Dialogue using Neural Audio Codecs and Label-Delayed Training
Brno University of Technology(布拉格技术大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出利用流式低比特率神经音频编解码器特征和标签延迟训练方案,在160毫秒延迟下将端点检测截断错误降低42.7%(单流)和37.5%(双流),并集成到语音大模型中提升响应时间1200毫秒、减少截断错误35%。
2025-06-19 cs.SD eess.AS