Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong（香港大学）；Meituan Inc.（美团公司）
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架，通过引入兼容约束与异构下采样策略，提升了语言模型在语音数据上的持续预训练效果，验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
Compress the Cache, Not the Speech Embedding: KV Compression for Efficient Speech LLMs
Microsoft, USA（微软公司，美国）；National Taiwan University, Taiwan（台湾国立大学）
研究针对语音语言模型解码效率瓶颈，提出SpeechKV方法，对语言模型内语音令牌的键值缓存应用学习池化，在大量语音数据训练后，能压缩语音至文本级粒度，保持性能并大幅提升解码速度。
2026-07-09 cs.SD eess.AS
CodeSep: Low-Bitrate Codec-Driven Speech Separation with Base-Token Disentanglement and Auxiliary-Token Serial Prediction
National Engineering Research Center of Speech and Language Information Processing（语音和语言信息处理国家工程研究中心）；University of Science and Technology of China（中国科学技术大学）
CodeSep通过编码器驱动模型实现低比特率语音分离与压缩，利用基础令牌解耦和辅助令牌序列预测技术，在1 kbps下达到优异分离效果。
2026-01-19 eess.AS
Deep Neural Compression for RIR-Characterized Acoustic Environments with Structure-Aware Constraints
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（语音和语言信息处理国家重点实验室，中国科学技术大学）
针对RIR存储负担问题，提出基于EnCodec的神经RIR压缩方法，引入结构感知约束，在低比特率下实现更优的RIR重建与混响语音感知性能。
2026-09-04 eess.AS
A two-stage full-band speech enhancement model with effective spectral compression mapping
Nanjing University（南京大学）；Horizon Robotics（地平线机器人）；Nanjing Institute of Advanced Artificial Intelligence（南京前沿人工智能研究院）
基于深度神经网络（DNN）的宽带语音增强（SE）直接扩展到全带处理面临着低频范围内低频率分辨率的挑战，这很可能导致模型性能恶化。在本文中，我们提出了一个可学习的频谱压缩映射（SCM），以有效地压缩高频分量，使它们可以以更有效的方式进行处理。通过这样做，模型可以更多地关注语音功率集中的中低频范围。我们不是在单个网络结构中抑制噪声，而是首先估计频谱幅度掩码，将语音转换为高信噪比（SNR）状态，然后利用后续模型进一步优化预增强信号的实部和虚部掩码。我们进行了全面的实验，以验证所提出的方法的有效性。
2022-06-27 cs.SD eess.AS
Hybrid Pruning: In-Situ Compression of Self-Supervised Speech Models for Speaker Verification and Anti-Spoofing
本文提出将结构化剪枝与下游微调统一在单阶段的混合剪枝框架，在保持性能的同时实现最高70%参数压缩，并在低资源场景下取得更优泛化。
2025-11-08 eess.AS
A Model Compression Method with Matrix Product Operators for Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Science, Renmin University of China（中国人民大学理学院）；Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）
基于深度神经网络（DNN）的语音增强方法已经取得了令人满意的性能。然而，在这些方法中涉及的参数的数量通常是巨大的语音增强的设备上的资源有限的实际应用。这严重限制了应用。为了解决这个问题，人们正在广泛研究模型压缩技术。在本文中，我们提出了一个模型压缩方法的基础上矩阵乘积算子（MPO），大大减少了参数的数量DNN模型的语音增强。该方法在训练前将神经网络模型线性变换中的权矩阵替换为MPO分解形式。在实验中，这一过程被应用于因果神经网络模型，如前馈多层感知器（MLP）和长短期记忆（LSTM）模型。然后利用具有/不具有压缩的MLP和LSTM模型来估计用于单声道语音增强的理想比率掩模。实验结果表明，我们提出的基于MPO的方法优于广泛使用的修剪方法的语音增强在各种压缩率下，并进一步改善可以实现相对于低压缩率。我们的建议提供了一个有效的模型压缩方法的语音增强，特别是在无云的应用。
2020-10-10 cs.LG cs.SD eess.AS
FUSE: Universal Speech Enhancement using Multi-Stage Fusion of Sparse Compression and Token Generation Models for the URGENT 2025 Challenge
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
针对URGENT 2025挑战赛，提出FUSE多阶段通用语音增强框架，结合稀疏压缩分离、基于声学令牌的生成式细化与融合网络，并利用时移预测聚合和输出混合，在复杂多语言含噪数据上同时提升信号保真度与感知质量。
2025-06-01 cs.SD eess.AS
CLEAR: Continuous Latent Autoregressive Modeling for High-quality and Low-latency Speech Synthesis
针对传统AR-based TTS系统离散token化的有损压缩、高延迟问题，提出连续潜在自回归模型CLEAR，直接建模连续音频表示，在零样本TTS任务中实现高质量低延迟合成，在LibriSpeech数据集上取得SOTA结果。
2025-08-26 eess.AS
Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
Multi-channel Opus compression for far-field automatic speech recognition with a fixed bitrate budget
与设备上的处理相比，云中的自动语音识别（ASR）允许使用更大的模型和更强大的多通道信号处理前端。然而，由于音频信号的传输，特别是当传输麦克风阵列的多个通道时，它也增加了固有的延迟。降低网络带宽要求的单向式方法之一是使用有损编解码器（如Opus）进行客户端压缩。然而，由于编解码器引入的空间信息的失真和丢失，这种压缩可能具有不利影响，特别是在多通道ASR前端上。在这篇文章中，我们提出了一种改进的方法，用于基于Opus的麦克风阵列信号的压缩，使用修改的联合信道编码方法，并另外引入多信道空间解相关变换，以减少传输中的冗余。我们说明了所提出的方法对压缩后多通道信号中保留的空间信息的影响，并评估了多通道波束成形前端对远场ASR的性能。我们证明，我们的方法可以导致37.5%的比特率减少或5.1%的相对字错误率减少固定的比特率预算在七通道设置。
2021-06-15 cs.SD eess.AS
Rate-Aware Learned Speech Compression
Shanghai Jiao Tong University（上海交通大学）
提出一种速率感知的语音压缩学习方案，用通道级熵模型替代量化器，并采用多尺度卷积与线性注意力混合块，实现最先进的率失真性能，平均节省53.51%比特率。
2025-01-21 cs.SD eess.AS
Frame-Wise Streaming for Efficient Learned Speech Compression
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与工程学院）
本文针对现有学习型语音压缩模型缺乏流式支持的问题，提出StreamLSC模型，通过三大核心组件及可流式熵量化器实现流式处理，其性能与离线模型相当，获最优率失真结果及主观评估提升。
2026-10-16 cs.SD eess.AS
Once-for-All Sequence Compression for Self-Supervised Speech Models
National Taiwan University（国立台湾大学）
本文提出一种用于自监督语音模型的通用序列压缩框架，支持连续压缩率，在多种任务上性能下降极小，并能自适应选择任务特定帧周期。
2023-05-09 cs.CL cs.SD eess.AS
Variational Speech Waveform Compression to Catalyze Semantic Communications
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）
我们提出了一种新的神经波形压缩方法来催化新兴的语音语义通信。通过引入非线性变换和变分建模，我们有效地捕捉语音帧内的依赖关系，估计语音特征的概率分布更准确，从而产生更好的压缩性能。特别地，通过一对非线性变换来分析和合成语音信号，从而产生潜在特征。该方法首先建立一个超先验熵模型来获取潜在特征的概率分布，然后进行量化和熵编码。所提出的波形编解码器可以灵活地优化到任意速率，并且另一个吸引人的特征是，它可以容易地优化任何可微的损失函数，包括在语义通信中使用的感知损失。为了进一步提高保真度，我们将残差编码，以减轻在潜在空间的量化失真所产生的退化。实验结果表明，在达到相同性能的前提下，该方法比广泛使用的自适应多速率宽带（AMR-WB）编解码器以及新兴的神经波形编码方法节省了高达27%的编码速率。
2022-12-13 cs.IT cs.SD eess.AS
MP3 Compression To Diminish Adversarial Noise in End-to-End Speech Recognition
Chair of Human-Machine Communication, Department of Electrical and Computer Engineering, Technical University of Munich（慕尼黑工业大学电气与计算机工程系人机通信教席）
音频对抗示例（AAE）表示专门创建的输入，旨在欺骗自动语音识别（ASR）系统进行错误分类。目前的工作提出了MP3压缩作为一种手段，以减少由ASR系统转录的音频样本中的对抗性噪声（AN）的影响。为此，我们使用快速梯度符号方法为端到端的混合CTC注意力ASR系统生成AAE。然后，我们的方法通过两个客观指标进行验证：（1）字符错误率（CER），用于测量在未压缩以及MP3压缩数据集上训练的四个ASR模型的语音解码性能;（2）通过特征反转在时域中重建的未压缩和MP3压缩AAE的信噪比（SNR）。我们发现，与未压缩的AAE相比，应用于AAE的MP3压缩确实降低了CER。此外，特征反转（重建）AAE在MP3压缩后具有显著更高的SNR，表明AN减少。与AN相比，MP3压缩应用于用常规噪声增强的话语导致更多的转录错误，进一步证明MP3编码仅能有效减少AN。
2020-07-25 cs.CR cs.SD eess.AS
Practical cognitive speech compression
Université de Sherbrooke（舍布鲁克大学）
本文提出了一种新的神经语音压缩方法，它是实用的意义上，它工作在低比特率，引入了低延迟，是兼容的计算复杂度与当前的移动设备，并提供了一个主观的质量是可比的标准移动电话编解码器。最近提出的其他神经声码器也具有以低比特率操作的能力。然而，它们不产生与标准编解码器相同的主观质量水平。另一方面，标准编解码器依赖于客观和短期的指标，例如与感知仅弱相关的分段信噪比。此外，标准编解码器在捕获语音属性，特别是长期语音属性方面的效率低于无监督神经网络。所提出的方法结合了一个认知编码编码器，提取一个可解释的无监督分层表示与多级解码器，具有基于GAN的架构。我们观察到，这种方法是非常强大的量化表示功能。AB测试是在哈佛句子的一个子集上进行的，这些句子通常用于评估标准的移动电话编解码器。实验结果表明，该方法在时延、码率和主观质量方面均优于标准AMR-WB编解码器。
2022-03-08 cs.SD eess.AS
Deep Vocoder: Low Bit Rate Compression of Speech with Deep Autoencoder
National University of Defense Technology（国防科技大学）；Army Engineering University of PLA（中国人民解放军陆军工程大学）
受深度神经网络（DNN）在语音处理中的成功启发，本文提出了一种带深度自动编码器（DAE）的直接端到端低比特率语音压缩方法--深度声码器（Deep Vocoder）。在深度声码器中，DAE用于提取语音的潜在代表特征（LRF），然后通过合成分析矢量量化（AbS VQ）方法对其进行有效量化。AbS VQ的目标是最小化感知频谱重建失真，而不是LRF向量本身的失真。此外，提出了一种次优码本搜索技术，以进一步降低计算复杂性。实验结果表明，与传统的基于SQ或VQ的编解码器的输出相比，深度声码器在频率加权分段SNR、STOI和PESQ得分方面产生了实质性的改善。对于2400 bit/s和1200 bit/s的语音编码，在TIMIT语料库上产生的PESQ分数分别为3.34和3.08。
2019-05-14 cs.IT cs.MM cs.SD
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
SEOFP-NET: Compression and Acceleration of Deep Neural Networks for Speech Enhancement Using Sign-Exponent-Only Floating-Points
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；City University of Hong Kong（香港城市大学）
众多的压缩和加速策略在各个领域的分类任务上取得了出色的效果，例如计算机视觉和语音信号处理。然而，同样的策略在回归任务上产生了令人不满意的表现，因为这些任务和分类任务之间的性质不同。本文提出了一种新的符号指数浮点网络（SEOFP-NET）技术，以压缩模型的大小，加快推理时间的语音增强，语音信号处理的回归任务。该方法通过量化训练过程中单精度浮点参数的小数位来压缩基于深度神经网络（DNN）的语音增强模型的规模。在推理实现之前，训练的SEOFP-NET模型中的所有参数都被稍微调整，通过用整数加法器代替浮点乘法器来加速推理时间。为了推广，SEOFP-NET技术被引入到不同的语音增强任务中的语音信号处理与不同的模型结构下的各种语料库。实验结果表明，SEOFP-NET模型的大小可以显着压缩高达81.249%，而不会显着降低其语音增强性能，推理时间可以加快到1.212倍，与基线模型相比。实验结果也验证了所提出的SEOFP-NET可以与其他效率策略协同工作，达到模型压缩的协同效果。此外，最小可察觉差异（JND）被应用到用户学习实验中，以统计分析语音增强对听力的影响。结果表明，听者不能轻易区分增强的语音信号处理的基线模型和建议的SEOFP-NET。
2021-11-08 cs.LG cs.SD eess.AS
Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization
Korea University（高丽大学）
Q-SPT提出可学习查询式双流压缩器，分别处理语义和声学流，并辅以文本损失监督，在低帧率下实现最优重建、识别与合成质量。
2026-10-02 cs.CL cs.SD eess.AS
Compression Robust Synthetic Speech Detection Using Patched Spectrogram Transformer
Purdue University（普渡大学）；Politecnico di Milano（米兰理工大学）
本文提出PS3DT检测器，将语音转为梅尔频谱图并用Transformer分块处理，在ASVspoof2019和In-the-Wild数据集上表现出优于现有方法的泛化能力与压缩鲁棒性。
2024-02-22 cs.CV cs.LG cs.SD
Unfolding A Few Structures for The Many: Memory-Efficient Compression of Conformer and Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Institute of Software（软件研究所）；Department of Electronic Engineering（电子工程系）
本文提出一种内存高效的模型压缩方法，通过训练并多次展开少量结构的种子模型来模拟大模型，结合自蒸馏最小化性能差距，在Conformer和wav2vec2上实现无性能损失的参数量减少。
2025-05-27 cs.SD eess.AS
Model-Guided Design of Low-Context Speech Probes for Cochlear Synaptopathy
Harvard University（哈佛大学）；Eaton-Peabody Laboratories, Massachusetts Eye and Ear (MEEI)（伊顿-皮博迪实验室，马萨诸塞眼耳医院）；National Acoustic Laboratories (NAL)（国家声学实验室）
本研究利用听觉神经模型设计低语境语音探针，发现时间压缩与调幅噪声组合可区分有听力困难的听众，支持基于互信息的探针设计框架。
2026-09-30 eess.AS
Efficient Speech Translation through Model Compression and Knowledge Distillation
ADAPT Centre School of Computer Science and Statistics（ADAPT中心计算机科学与统计学学院）
针对大型音频语言模型计算需求大的问题，本文结合迭代层剪枝、QLoRA和知识蒸馏，在IWSLT 2025模型压缩赛道中使Qwen2-Audio-7B-Instruct的参数与存储减半，且保留97-100%翻译质量。
2025-06-02 cs.CL cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
CodecSlime通过动态帧率压缩神经语音编解码器中的时间冗余，显著降低重建WER并实现比特率与质量的灵活权衡。
2026-02-03 cs.SD eess.AS
Effective and Efficient One-pass Compression of Speech Foundation Models Using Sparsity-aware Self-pinching Gates
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究理事会）
本文提出一种将剪枝与参数更新整合为单阶段的语音基础模型压缩方法，利用层级自挤压门实现细粒度神经元剪枝，在大幅降低参数量与压缩时间的同时保持极低的词错误率。
2025-05-28 cs.AI cs.SD eess.AS
Curved Worlds, Clear Boundaries: Generalizing Speech Deepfake Detection using Hyperbolic and Spherical Geometry Spaces
针对跨多种语音合成范式的语音深度伪造检测泛化难题，提出融合双曲与球面几何空间表征的RHYME框架，实现跨范式检测性能突破。
2025-11-13 eess.AS
Towards Bitrate-Efficient and Noise-Robust Speech Coding with Variable Bitrate RVQ
Department of Intelligence and Information（智能与信息系）；Artificial Intelligence Institute（人工智能研究所）
针对噪声环境下语音编码比特率浪费问题，提出变比特率RVQ框架，动态调整每帧比特率并集成特征去噪器，在噪声条件下提升压缩效率与感知质量。
2025-06-19 cs.SD eess.AS
A light-weight full-band speech enhancement model
Nanjing University（南京大学）
基于深度神经网络的全频带语音增强系统面临着计算资源需求高和频率分布不均衡的挑战。在本文中，提出了一个轻量级的全频带模型，具有两个专用的策略，即，用于更有效的高波段频谱信息压缩的可学习频谱压缩映射，以及用于全局频谱模式的更有效建模的多头注意机制的利用。实验验证了所提出的策略的有效性，并表明所提出的模型具有竞争力的性能，只有0.89M的参数。
2022-07-03 cs.SD eess.AS
Restoring degraded speech via a modified diffusion model
Arizona State University（亚利桑那州立大学）
有许多确定性的数学运算（例如压缩、限幅、下采样）会显著降低语音质量。在本文中，我们介绍了一个神经网络架构，基于修改的DiffWave模型，旨在恢复原始的语音信号。DiffWave是最近发表的一种基于扩散的声码器，它具有最先进的合成语音质量和相对较短的波形生成时间，并且只有一小部分参数。我们用深度CNN上采样器替换DiffWave中的梅尔频谱上采样器，该上采样器经过训练以改变降级语音的梅尔频谱以匹配原始语音。该模型使用原始语音波形进行训练，但以退化的语音梅尔频谱为条件。在训练后，仅使用降级的梅尔频谱作为输入，并且模型生成原始语音的估计。我们的模型在几个不同的实验中提高了语音质量（原始DiffWave模型作为基线）。这些包括改善由LPC-10压缩、AMR-NB压缩和信号限幅降低的语音质量。与原始的DiffWave架构相比，我们的方案在几个客观的感知指标和主观比较中取得了更好的性能。在语料库外评价设置中，基线的改进被进一步放大。
2021-09-02 cs.LG cs.SD eess.AS
Acoustic-to-Text KV Compression for Full-Duplex Speech Models
Sungkyunkwan University（成均馆大学）
针对全双工语音模型内存密集问题，提出声学到文本KV压缩，利用聆听空隙将语音转文本并驱逐旧声学状态，减少64.6%峰值缓存，提升转录与问答性能。
2026-09-28 cs.AI cs.SD eess.AS
Weakly Supervised Data Refinement and Flexible Sequence Compression for Efficient Thai LLM-based ASR
Northwestern Polytechnical University（西北工业大学）；iQIYI
本文提出EThai-ASR系统，首次将LLM应用于泰语ASR，通过自演化数据精炼策略解决数据稀缺问题，并设计可插拔序列压缩模块降低计算需求，在多个数据集上达到SOTA。
2025-05-28 cs.SD eess.AS
EfficientASR: Speech Recognition Network Compression via Attention Redundancy and Chunk-Level FFN Optimization
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出轻量级语音识别模型EfficientASR，通过共享残差多头注意力和块级前馈网络减少冗余计算与参数，在Aishell-1和HKUST上实现参数减少36%并提升识别精度。
2024-04-30 cs.SD eess.AS
One-pass Multiple Conformer and Foundation Speech Systems Compression and Quantization Using An All-in-one Neural Model
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
提出一体化神经模型的单遍多 ASR 系统联合压缩量化方法，可一次构建多种嵌套配置，并在显著压缩模型、缩短训练时间的同时保持或降低 WER。
2024-06-14 cs.AI cs.SD eess.AS
Probing the Robustness Properties of Neural Speech Codecs
Department of Computer Science（计算机科学系）
本文系统评估了神经语音编解码器在噪声环境下的鲁棒性，通过分析其线性特性和频率响应，揭示了影响鲁棒性和音频保真度的关键因素，为未来编解码器设计提供了重要见解。
2025-05-30 cs.SD eess.AS
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA（英伟达）
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现，发现其性能与梅尔频谱图接近且对窄带数据更鲁棒，并可在20倍压缩下保持较低性能损失，同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
CLEAR: Online Speech Content Leakage Estimation through Cross-ASR Disagreement
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
CLEAR提出一种无参考的在线语音内容泄露估计方法，利用异构ASR系统的不一致性在运行时评估隐私保护效果，实现动态调整隐私强度并保留声学效用。
2026-09-28 cs.SD eess.AS
Convolutional Variational Autoencoders for Spectrogram Compression in Automatic Speech Recognition
NSU（新西伯利亚国立大学）；Zolotaya Korona（金冠公司）
本文提出用卷积变分自编码器将频谱图压缩为低维嵌入，并在 LibriSpeech 上训练、在 GoogleSpeechCommands 上生成特征构建 ASR 系统，与 MFCC 特征模型进行比较。
2024-10-04 cs.CL cs.SD eess.AS
The WER Trap: Shattering the Illusion of Unified Tokens in Speech Language Models
The University of New South Wales（新南威尔士大学）；Nanyang Technological University（南洋理工大学）
本文通过动态压缩分词器提取纯语义令牌，揭示了低WER令牌无法保留声学合成所需的连续语音轨迹，从而打破统一令牌的幻觉。
2026-05-28 eess.AS
MBCodec:Thorough disentangle for high-fidelity audio compression
Tsinghua University（清华大学）；AMAP Speech（AMAP语音）
本文提出MBCodec，一种基于残差向量量化的多码本音频编解码器，通过自监督语义标记、子带特征和自适应训练策略彻底解耦语义与声学信息，实现24 kHz音频170倍压缩至2.2 kbps的近无损重建。
2025-09-21 cs.SD eess.AS
Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）
提出一种基于k-means通道聚类的无数据无训练压缩方法，通过层间不同参数簇数实现细粒度混合稀疏剪枝，在HuBERT-large和Whisper-large-v3上显著降低WER。
2026-06-12 cs.AI cs.SD eess.AS
End-to-End Optimized Speech Coding with Deep Neural Networks
University of Maryland（马里兰大学）
现代压缩算法通常是特定领域艰苦研究的结果; MP3、JPEG和AMR-WB等行业标准花了数年时间才开发出来，并且主要是手工设计的。我们提出了一个深度神经网络模型，它直接从原始语音数据端到端地优化宽带语音编码管道（压缩，量化，熵编码和解压缩）的所有步骤-无需手动特征工程，并且它在数小时内训练。在测试中，我们基于DNN的编码器在各种比特率（~ 9 kbps到~ 24 kbps）下的性能与AMR-WB标准相当。它还可以在3.8GhZ Intel CPU上实时运行。
2021-07-08 cs.LG cs.SD eess.AS
A Neural Speech Codec for Noise Robust Speech Coding
Brain-Inspired Application Technology Center (BATC), School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（脑启发应用技术中心（BATC）、电子信息与电气工程学院、上海交通大学）；Hangzhou Dianzi University（杭州电子科技大学）；Shanghai Aero Measurement Controlling Research Institute（上海航空测量控制研究所）
该研究针对含噪语音的联合压缩增强问题，提出有理论支撑的两阶段训练框架，训练出的神经语音编解码器在主客观指标上均优于SoundStream等现有编解码器。
2025-09-02 cs.SD eess.AS
Streaming Sequence Transduction through Dynamic Compression
Johns Hopkins University（约翰霍普金斯大学）；Microsoft（微软）；Stanford University（斯坦福大学）
本研究提出基于Transformer的流式序列转导模型STAR，通过动态切分输入流生成压缩锚点表示，在ASR任务中实现12倍近无损压缩且性能优于现有方法，同时在同步语音转文本任务中优化了延迟、内存与质量的权衡。
2025-05-21 cs.CL cs.SD eess.AS
Compression of end-to-end non-autoregressive image-to-speech system for low-resourced devices
Saarland University（萨尔大学）；Intel Corporation（英特尔公司）；Intel Labs（英特尔实验室）；Technische Hochschule Ingolstadt（英戈尔施塔特应用科学大学）
本文提出一种基于视觉变换器和知识蒸馏的端到端非自回归图像转语音压缩方法，将模型参数从610万降至246万，在保持性能的同时使推理速度提升22%，适用于低资源嵌入式设备。
2023-11-30 cs.AI cs.CL cs.CV
Is Smaller Always Faster? Tradeoffs in Compressing Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所）；University of California, Los Angeles, United States（美国加州大学洛杉矶分校）；University of Washington, United States（美国华盛顿大学）；University of Edinburgh, United Kingdom（英国爱丁堡大学）
本文研究了压缩自监督语音Transformer的权衡，评估了四种压缩方法并比较了几种最新技术，为实际部署提供指导。
2025-08-17 cs.CL cs.LG cs.SD
HH-Codec: High Compression High-fidelity Discrete Neural Codec for Spoken Language Modeling
The School of Automation Science and Engineering, Xi'an Jiaotong University, Xi'an, China（自动化科学与工程学院，西安交通大学）；Shanghai AI Laboratory, Shanghai, China（上海人工智能实验室）；SenseTime Research, Shanghai, China（商汤研究）；Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）
针对多量化器并行流复杂和高时间维度编解码器成本高的问题，本文提出 HH-Codec，通过单量化器、专用 VQ 空间和非对称 Audio-VQ-Mel-Audio 架构，在0.3 kbps 下实现高保真语音重建。
2025-07-25 cs.AI cs.SD eess.AS
ClearBuds: Wireless Binaural Earbuds for Learning-Based Speech Enhancement
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
我们提出ClearBuds，第一个硬件和软件系统，利用神经网络，以提高语音流从两个无线耳塞。无线耳塞的实时语音增强需要高质量的声音分离和背景消除，在移动电话上实时操作。Clear-Buds通过两项关键技术贡献，将盲音频声源分离和入耳式移动系统的最先进深度学习连接起来：1）能够作为同步双耳麦克风阵列运行的新型无线耳塞设计，以及2）在移动终端上运行的轻量级双通道语音增强神经网络。我们的神经网络有一个新的级联架构，结合了时域传统的神经网络与基于频谱的频率掩蔽神经网络，以减少在音频输出的文物。结果表明，我们的无线耳塞实现了小于64微秒的同步误差，我们的网络在配套手机上的运行时间为21.4毫秒。在以前看不见的室内和室外多径场景中对八个用户进行的野外评估表明，我们的神经网络可以概括学习空间和声学线索，以执行噪声抑制和背景语音去除。在一项用户研究中，37名参与者花了超过15.4小时对1041个野外收集的音频样本进行评级，我们的系统实现了改善的平均意见得分和背景噪声抑制。项目演示页面：https://clearbuds.cs.washington.edu
2022-06-27 cs.SD eess.AS
Towards Audio Codec-based Speech Separation
Alibaba-NTU Singapore JRI（阿里巴巴-南洋理工大学新加坡联合研究计划）；Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
本文提出在神经音频编解码器嵌入空间内进行语音分离的新任务，并设计Codecformer模型，在推理时以52倍MAC减少实现与云部署Sepformer相当的分离性能，为边缘场景高效语音分离开辟新方向。
2024-07-05 cs.LG cs.SD eess.AS
Towards Audio Token Compression in Large Audio Language Models
MIT（麻省理工学院）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学）
本文提出通过无监督分割和低秩适配器技术，压缩音频标记以提升大型音频语言模型在资源受限平台上的性能。
2026-08-21 cs.AI cs.CL eess.AS
Efficient Compression of Multitask Multilingual Speech Models
PSL（巴黎文理研究大学）；Meta AI；NAVER LABS Europe（NAVER欧洲实验室）
本文提出 DistilWhisper，通过语言特定专家的轻量级模块化微调与 whisper-large-v2 知识蒸馏相结合，在保持多任务多语言能力的同时，高效提升低资源语言的 ASR 性能。
2024-05-02 cs.AI cs.CL cs.SD
Effective and Efficient Mixed Precision Quantization of Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）
本研究提出一种将混合精度学习与参数量化整合至单阶段的语音基础模型混合精度量化新方法，在LibriSpeech数据集上验证了其在提升压缩比、缩短压缩时间的同时可维持甚至降低词错误率。
2025-01-11 cs.AI cs.SD eess.AS
