The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们研究了几种现有的和一种新的最先进的基于生成对抗网络（GAN）的语音转换方法，用于增强构音障碍语音，以改进构音障碍语音识别。我们比较现有方法的关键组成部分，作为严格的消融研究的一部分，以找到最有效的解决方案，以改善构音障碍的语音识别。我们发现，简单的信号处理方法，如静态噪声去除和基于声码器的时间拉伸，导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当，如使用音素识别任务测量的。此外，与我们的时间拉伸基线相比，我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Collaborative Training of Acoustic Encoders for Speech Recognition
Facebook
设备上语音识别需要不同大小的训练模型，以部署在具有各种计算预算的设备上。在构建这些不同的模型时，我们可以通过联合训练它们来利用它们之间共享的知识。联合训练也是有效的，因为它减少了训练程序的数据处理操作中的冗余。我们提出了一种方法，用于协同训练不同大小的声学编码器的语音识别。我们使用一个序列传感器设置，其中不同的声学编码器共享一个共同的预测器和连接器模块。声学编码器还通过用于帧级chenone预测的辅助任务以及换能器损耗使用共蒸馏来训练。我们使用LibriSpeech语料库进行实验，并证明协同训练的声学编码器可以提供高达11%的相对改善的字出错率的测试分区。
2021-07-13 cs.CL cs.SD eess.AS
Stochastic Attention Head Removal: A simple and effective method for improving Transformer Based ASR Models
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
最近，基于Transformer的模型已经显示出有竞争力的自动语音识别（ASR）性能。这些模型成功的一个关键因素是多头注意力机制。然而，对于训练好的模型，我们之前已经观察到许多注意力矩阵接近对角线，这表明相应注意力头部的冗余。我们还发现，一些减少注意力头数量的架构具有更好的性能。由于搜索最佳结构的时间限制，我们建议在训练过程中随机删除注意头，并在测试时保留所有注意头，因此最终模型是具有不同架构的模型的集合。所提出的方法还迫使每个头独立地学习最有用的模式。我们应用所提出的方法训练基于Transformer和基于卷积增强的Transformer（Conformer）的ASR模型。我们的方法在华尔街日报，AISHELL，Switchboard和AMI数据集的强基线上提供了一致的性能增益。据我们所知，我们已经在Switchboard和AMI上实现了最先进的基于端到端Transformer的模型性能。
2021-04-06 cs.CL cs.SD eess.AS
Advanced Zero-Shot Text-to-Speech for Background Removal and Preservation with Controllable Masked Speech Prediction
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
针对零样本文本转语音系统处理含背景语音提示的不足，提出结合双说话人编码器的可控掩码语音预测策略，实现多声学条件下背景去除与保留的精确控制及强泛化能力。
2025-02-11 cs.SD eess.AS
Multi-channel Opus compression for far-field automatic speech recognition with a fixed bitrate budget
与设备上的处理相比，云中的自动语音识别（ASR）允许使用更大的模型和更强大的多通道信号处理前端。然而，由于音频信号的传输，特别是当传输麦克风阵列的多个通道时，它也增加了固有的延迟。降低网络带宽要求的单向式方法之一是使用有损编解码器（如Opus）进行客户端压缩。然而，由于编解码器引入的空间信息的失真和丢失，这种压缩可能具有不利影响，特别是在多通道ASR前端上。在这篇文章中，我们提出了一种改进的方法，用于基于Opus的麦克风阵列信号的压缩，使用修改的联合信道编码方法，并另外引入多信道空间解相关变换，以减少传输中的冗余。我们说明了所提出的方法对压缩后多通道信号中保留的空间信息的影响，并评估了多通道波束成形前端对远场ASR的性能。我们证明，我们的方法可以导致37.5%的比特率减少或5.1%的相对字错误率减少固定的比特率预算在七通道设置。
2021-06-15 cs.SD eess.AS
Removing Speech, Keeping Activities: Speech Removal for Privacy-Preserving Acoustic Sensing in Assisted Living
KIOS Research and Innovation Center of Excellence, University of Cyprus（塞浦路斯大学KIOS卓越研究与创新中心）；School of Computing, University of Kent（肯特大学计算机学院）
该研究提出基于U-Net编解码器的隐私防火墙流水线，可去除环境音频中的语音并保留活动相关环境音，在ESC-50、SINS及真实家庭录音上验证了其隐私保护与活动识别性能，解决老年护理声学感知的隐私障碍。
2026-11-03 cs.CR cs.HC cs.SD
Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper
Chung-Ang University（中央大学）
该研究提出无需训练的步长k子采样方法，可减少Whisper音频令牌，降低计算量与延迟，在多数ASR基准上仅产生小的WER损失，适用于Whisper及基于其的语音语言模型。
2026-09-01 cs.AI cs.SD
Exploring Filterbank Learning for Keyword Spotting
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
尽管手工制作的语音功能多年来表现出色，但对于任何特定的语音应用程序来说，它们并不一定是最佳的。因此，或多或少的成功，最佳滤波器组学习已经研究了不同的语音处理任务。在本文中，我们通过探索过滤器组学习关键字定位（KWS）来填补空白。审查了两种方法：功率谱域中的滤波器组矩阵学习和心理声学激励的伽马啁啾滤波器组的参数学习。滤波器组参数与基于现代深度残差神经网络的KWS后端联合优化。我们的实验结果表明，在一般情况下，有没有统计学上的显着差异，在KWS的准确性，使用一个学习的滤波器组和手工制作的语音功能。因此，虽然我们得出结论，后者仍然是一个明智的选择时，使用现代的KWS后端，我们还假设，这可能是一个症状的信息冗余，这开辟了新的研究可能性，在该领域的小足迹KWS。
2020-05-30 cs.LG cs.SD eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Convexity-based Pruning of Speech Representation Models
Technical University of Denmark（丹麦技术大学）
本文研究基于凸性准则对自监督语音Transformer模型进行层剪枝，在显著降低计算开销的同时保持甚至提升下游任务性能。
2024-08-16 cs.CL cs.SD eess.AS
Discrete Speech Unit Extraction via Independent Component Analysis
National Institute of Advanced Industrial Science and Technology（日本国立先进工业科学技术研究院）；Carnegie Mellon University（卡内基梅隆大学）；Toyohashi University of Technology（丰桥技术科学大学）
针对自监督语音模型表征聚类前缺乏预处理优化的问题，本文研究了多种线性预处理方法对离散语音单元提取的效果，验证了其在k-means聚类前的有效性并分析了相关特性。
2025-01-11 cs.AI cs.LG cs.SD
ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition
Hugging Face（拥抱脸公司）
语音识别应用程序涵盖一系列不同的音频和文本分布，具有不同的说话风格、背景噪声、转录标点和字符大小写。然而，许多语音识别系统需要特定于语音集的调谐（音频滤波、标点符号去除和大小写的归一化），因此假设音频和文本分布两者的先验知识。这种调优要求可能导致系统无法推广到其他数据集和域。为了促进多域语音系统的发展，本文引入了端到端语音基准测试（ESB），用于评估单个自动语音识别（ASR）系统在大量语音数据集上的性能。基准测试系统必须跨数据集使用相同的数据预处理和后处理算法-假设音频和文本数据分布是先验未知的。我们在此基准测试中比较了一系列最先进的（SoTA）端到端（E2 E）系统，展示了如何在广泛的数据分布上应用和评估单个语音系统。我们发现E2 E系统在数据集上是有效的：在一个公平的比较中，E2 E系统在2.6%的SoTA系统中实现了对特定数据集的调整。我们的分析表明，转录文物，如标点符号和套管，造成的ASR系统的困难，应包括在评估。我们相信，在一系列数据集上的E2 E基准测试促进了多领域语音识别系统的研究。ESB可以从https://huggingface.co/esb获得。
2022-10-24 cs.CL cs.SD eess.AS
Speech Unlearning
University of Massachusetts Lowell（马萨诸塞大学洛维尔分校）
本文提出语音任务中的机器遗忘问题，定义样本遗忘与类别遗忘两类任务，并通过关键词识别和说话人识别实验表明语音遗忘比图像和文本遗忘更具挑战性，同时指出未来研究方向。
2025-06-01 cs.AI cs.LG cs.SD
dLLM-ASR: A Faster Diffusion LLM-based Framework for Speech Recognition
Northwestern Polytechnical University（西北工业大学）
dLLM-ASR通过将扩散大语言模型的解码过程转化为先验引导的去噪流程，实现高效的语音识别，达到与自回归模型相当的准确率并提升4.44倍推理速度。
2026-01-25 cs.SD eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出一种基于跨模态对话表示的对话ASR系统，通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性，在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
DRED: Deep REDundancy Coding of Speech Using a Rate-Distortion-Optimized Variational Autoencoder
本文提出基于率失真优化变分自编码器的 DRED 深度语音冗余编码算法，以低于 32 kb/s 传输最高 50 倍冗余，并在 Opus 与 WebRTC 场景中验证其抗突发丢包优势。
2024-10-25 eess.AS
CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
CodecSlime通过动态帧率压缩神经语音编解码器中的时间冗余，显著降低重建WER并实现比特率与质量的灵活权衡。
2026-02-03 cs.SD eess.AS
Multi-scale Octave Convolutions for Robust Speech Recognition
University of Edinburgh（爱丁堡大学）
我们提出了一个多尺度倍频程卷积层，以有效地学习鲁棒的语音表示。八度卷积由Chen等人[1]在计算机视觉领域引入，通过将卷积层的输出分解为两个不同空间分辨率的特征图来减少特征图的空间冗余，相隔一个八度。这种方法提高了CNN模型的效率和准确性。准确度的提高归因于原始输入空间中感受野的扩大。我们认为，倍频程卷积同样提高了学习表示的鲁棒性，因为在较低分辨率组中使用了平均池，充当低通滤波器。我们测试这一假设，通过评估两个嘈杂的语音语料库-极光-4和AMI。我们将八度卷积概念扩展到多分辨率组和多个八度。为了评估推断表示的鲁棒性，我们使用仿射投影损失作为代理鲁棒性度量来报告清洁和噪声编码之间的相似性。结果表明，所提出的方法相对于Aurora-4和AMI分别降低了6.6%和3.6%的WER，同时提高了CNN声学模型的计算效率。
2019-10-31 cs.CL cs.LG cs.SD
Understanding Self-Supervised Learning of Speech Representation via Invariance and Redundancy Reduction
Osnabrueck University（奥斯纳布吕克大学）
本文实证分析Barlow Twins在语音自监督表征学习中的作用，验证其跨域迁移与样本高效编码潜力，并指出仅靠不变性和冗余约简仍难实现层级化解耦。
2024-01-24 cs.LG cs.SD eess.AS
Speech Artifact Removal from EEG Recordings of Spoken Word Production with Tensor Decomposition
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）；Bandung Institute of Technology（万隆理工学院）
由于语音伪影的未被发现的特征，关于涉及口语词产生的大脑活动的研究相当不发达，语音伪影污染了脑电图（EEG）信号并阻止了对潜在认知过程的检查。为了进一步推动EEG研究与语音产生，提出了一种使用三模式张量分解（时间x空间x频率）来执行语音伪影去除的方法。张量分解能够同时检测多个模式，这适合EEG数据的多路性质。在图片命名任务中，我们通过在嘴附近放置两个电极来记录嘴唇EMG来收集带有语音伪影的原始数据。基于我们的评估，它计算的总平均语音伪影和唇肌电信号之间的相关值，张量分解优于以前的方法，基于独立分量分析（ICA）和盲声源分离（BSS），无论是在检测语音伪影（0.985）和产生干净的数据（0.101）。我们提出的方法正确地保留了与语音无关的成分，通过计算没有EOG的总平均原始数据与语音开始前的清洁数据之间的相关值（0.92-0.94）来验证。
2022-06-01 cs.AI cs.SD eess.AS
Light Gated Recurrent Units for Speech Recognition
直接受益于深度学习最新进展的一个领域是自动语音识别（ASR）。然而，尽管过去几十年取得了巨大成就，但自然和强大的人机语音交互似乎仍然遥不可及，特别是在以显著噪声和混响为特征的具有挑战性的环境中。为了提高鲁棒性，现代语音识别器通常采用基于递归神经网络（RNN）的声学模型，这些模型自然能够利用大时间上下文和长期语音调制。因此，继续研究适当的技术来提高RNN在处理语音信号中的有效性是非常有意义的。在本文中，我们修改了最流行的RNN模型之一，即门控递归单元（GRU），并提出了一种简化的架构，该架构对ASR非常有效。这项工作的贡献是双重的：首先，我们分析了复位门所扮演的角色，显示出一个显着的冗余与更新门发生。因此，我们建议从GRU设计中删除前者，从而实现更高效和紧凑的单门模型。其次，我们建议用ReLU激活来取代双曲正切。这种变化与批量归一化很好地结合在一起，可以帮助模型学习长期依赖关系，而不会出现数值问题。结果表明，所提出的称为Light GRU（Li-GRU）的架构不仅比标准GRU减少了30%以上的每历元训练时间，而且在不同的任务、输入特征、噪声条件以及不同的ASR范例（从标准DNN-HMM语音识别器到端到端CTC模型）之间，都能持续提高识别准确性。
2018-03-26 cs.NE cs.SD eess.AS
CIF-T: A Novel CIF-based Transducer Architecture for Automatic Speech Recognition
SenseTime Research（商汤科技研究院）；University of Science and Technology Beijing（北京科技大学）；Nankai University（南开大学）
针对RNN-T模型在ASR中的计算冗余和预测器网络作用减弱问题，提出结合CIF机制的CIF-T模型，舍弃RNN-T损失并引入多策略优化，在AISHELL-1和WenetSpeech数据集上实现更优性能与更低计算开销。
2024-11-27 cs.CL cs.SD eess.AS
Contrastive Augmentation: An Unsupervised Learning Approach for Keyword Spotting in Speech Technology
Trine University（特莱恩大学）；Boston University（波士顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Dalhousie University（达尔豪斯大学）；Texas A&M University（德克萨斯农工大学）
本文提出CAB-KWS方法，将无监督对比学习与语音增强及压缩卷积架构相结合，在有限标注数据下提升关键词识别性能，并在Google Speech Commands V2数据集上验证了其有效性。
2024-08-31 cs.AI cs.SD eess.AS
Task splitting for DNN-based acoustic echo and noise removal
Microsoft Corporation（微软公司）
神经网络已经为单任务语音增强带来了巨大的性能增益，例如噪声抑制和声学回声消除（AEC）。在这项工作中，我们评估它是否是更有用的使用一个单一的联合或单独的模块来解决这些问题。我们描述了不同的可能实现，并深入了解其性能和效率。我们表明，使用一个单独的回声消除模块和一个模块的噪声和残留回声去除结果在更少的近端语音失真和更好的性能在相同的复杂度在双通话。
2022-07-13 cs.SD eess.AS
Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale
FAIR（基础人工智能研究院）；Hebrew University of Jerusalem（希伯来大学）；Fundamental AI Research (FAIR), Meta（Meta基础人工智能研究院（FAIR））
提出Voicebox，一种基于非自回归流匹配的大规模文本引导多语言语音生成模型，通过上下文学习实现零样本TTS等任务，在可懂度和相似度上优于VALL-E且速度提升20倍。
2023-10-19 cs.CL cs.LG cs.SD
Listen Again and Choose the Right Answer: A New Paradigm for Automatic Speech Recognition with Large Language Models
Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）；University of Aberdeen（阿伯丁大学）
针对大语言模型驱动的ASR生成式纠错存在的无语音感知、输入冗余易致错的问题，提出融合源语音输入、带logits校准的完形填空式纠错范式ClozeGER，在9个主流数据集上实现性能突破。
2024-05-16 cs.AI cs.CL cs.LG
Parameter Tuning of Time-Frequency Masking Algorithms for Reverberant Artifact Removal within the Cochlear Implant Stimulus
Duke University（杜克大学）
人工耳蜗使用者很难在混响环境中理解语音。为了恢复语音感知，可以从耳蜗植入刺激中去除由混响反射主导的伪影。伪影可以通过应用增益值矩阵来识别和去除，该技术被称为时频掩蔽。增益值由oracle算法确定，该算法使用未失真信号的知识来最小化由混响反射主导的信号分量的保留。在实践中，增益值是从失真信号中估计的，其中oracle算法提供了估计目标。存在不同的oracle技术用于确定增益值，并且每种技术都必须被参数化以设置信号保持量。这项工作评估的甲骨文掩蔽策略和参数化导致最好的改善语音清晰度的人工耳蜗植入用户在混响条件下使用在线语音清晰度测试的正常听力个体与声码。
2021-08-12 cs.SD eess.AS
Transient Noise Removal via Diffusion-based Speech Inpainting
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
提出基于扩散的语音修复框架PGDI，利用音素级分类器引导，在保留说话人身份和韵律的同时重构长达一秒的瞬态噪声掩盖片段，在有无转录文本的推理场景下均表现优异。
2025-08-12 cs.SD eess.AS
End-to-End Integration of Speech Separation and Voice Activity Detection for Low-Latency Diarization of Telephone Conversations
Università Politecnica delle Marche（马尔凯理工大学）；Almawave S.p.A.（阿尔马威公司）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本研究提出一种低延迟电话对话日记化方法，集成语音分离与语音活动检测，并采用因果泄漏移除算法，在CALLHOME上达到8.8%的DER，优于现有模型。
2024-05-22 cs.LG cs.SD eess.AS
Eta-WavLM: Efficient Speaker Identity Removal in Self-Supervised Speech Representations Using a Simple Linear Equation
Università degli studi di Torino（托斯纳大学）；Cerence Inc（Cerence公司）
本文提出Eta-WavLM，通过线性分解自监督语音表示中的说话人特定与无关成分，实现高效说话人身份去除，在语音转换等任务上优于现有方法。
2025-05-25 cs.AI cs.SD eess.AS
Leveraging Redundancy in Multiple Audio Signals for Far-Field Speech Recognition
为了实现鲁棒的远场自动语音识别（ASR），现有技术通常采用与神经换能器（NT）ASR模型级联的声学前端（AFE）。然而，AFE输出可能是不可靠的，因为AFE中的波束成形输出被引导到错误的方向。解决这个问题的一种有希望的方法是在AFE中的波束成形阶段之前和声学回声消除（后AEC）之后利用麦克风信号。我们认为，后AEC和AFE输出，是互补的，它是可以利用这些信号之间的冗余，以补偿潜在的AFE处理错误。我们提出了两种融合网络来探索这种冗余并聚合这些多通道（MC）信号：（1）基于频率的LSTM，以及（2）基于卷积神经网络的融合网络。我们将MC融合网络扩展到一个构象传感器模型，并以端到端的方式对其进行训练。我们在商业虚拟助理任务上的实验结果表明，使用AFE输出和两个AEC后信号与融合网络相比，仅使用AFE输出的模型的字错误率（WER）相对改善高达25.9%，成本为<= 2%的参数增加。
2023-03-01 eess.AS
Acoustically-Driven Phoneme Removal That Preserves Vocal Affect Cues
Stanford University（斯坦福大学）；Stanford School of Medicine（斯坦福大学医学院）
在本文中，我们提出了一种方法，用于从语音中删除语言信息的目的是隔离的影响的语言指标。该方法的直接效用在于不受语言干扰的对声音影响的敏感性的临床测试，语言在各种临床人群中受损。该方法是基于语音音频和电声门图（EGG）信号的同时记录。语音音频信号用于估计平均声道滤波器响应和幅度包络。EGG信号提供了与语音源活动的直接相关性，其主要独立于语音清晰度。语音音频的动态能量和平均声道滤波器被应用于EGG信号，从而创建第三信号，该第三信号被设计为从发声系统捕获尽可能多的非语言信息-最大化生物声学线索的保留以影响-同时消除对言语含义的语音线索。为了评估这种方法的成功，我们研究了感知相应的语音音频和转换EGG信号的影响评级实验与在线听众。结果表明，匹配信号的感知影响具有高度的相似性，表明我们的方法是有效的。
2023-03-14 cs.SD eess.AS
On the Generation and Removal of Speaker Adversarial Perturbation for Voice-Privacy Protection
University of Science and Technology of China（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
该研究针对语音隐私保护场景，提出联合训练说话人对抗扰动生成与去除模块的方法，在LibriSpeech数据集上验证了可在实现隐私保护的同时，由授权方从匿名语音中恢复原始语音，也可用于安全法医的语音去匿名。
2024-12-12 cs.LG cs.SD eess.AS
DisfluencySpeech -- Single-Speaker Conversational Speech Dataset with Paralanguage
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出DisfluencySpeech数据集，由单说话人录制近10小时含笑、叹气、口吃等副语言的英语会话语音，并提供三种信息移除级别的转录文本及基准TTS模型，以支持从纯文本预测性合成副语言的会话语音研究。
2024-06-13 cs.CL eess.AS
The Sounds of Home: A Speech-Removed Residential Audio Dataset for Sound Event Detection
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）
本文构建了一个面向老年人智能家居的住宅音频数据集，通过级联预训练音频神经网络自动去除语音片段以保护隐私，同时保留其他声音事件，为家庭场景声音事件检测模型的开发与评测提供基础。
2024-10-04 cs.AI cs.SD eess.AS
FluentSpeech: Stutter-Oriented Automatic Speech Editing with Context-Aware Diffusion Models
Zhejiang University（浙江大学）；Bytedance AI Lab（字节跳动人工智能实验室）
本文提出FluentSpeech，一个面向口吃的自动语音编辑模型，通过上下文感知扩散模型和口吃预测器模块，结合SASE数据集，有效解决了口吃去除中的过度平滑、鲁棒性不足和手动编辑区域问题，在语音编辑任务上达到SOTA性能。
2023-05-23 cs.SD eess.AS
Hearing's Blind Spots: Toward Perceptual Compute Allocation in Neural Text-to-Speech
Deployment Inc.（迪普洛门特公司）
该研究针对神经文本到语音（TTS）的听觉盲区问题，提出低能量优先策略，在频谱退化移除任务中表现优于随机删除和心理声学掩蔽策略，为感知计算分配提供基线并推动解码器内相关测试。
2026-10-14 cs.SD eess.AS
Compress the Cache, Not the Speech Embedding: KV Compression for Efficient Speech LLMs
Microsoft, USA（微软公司，美国）；National Taiwan University, Taiwan（台湾国立大学）
研究针对语音语言模型解码效率瓶颈，提出SpeechKV方法，对语言模型内语音令牌的键值缓存应用学习池化，在大量语音数据训练后，能压缩语音至文本级粒度，保持性能并大幅提升解码速度。
2026-07-09 cs.SD eess.AS
Predicting interviewee attitude and body language from speech descriptors
National Police, Israel（以色列国家警察）；Tel Hai College, Israel（以色列特尔海学院）
本研究旨在探讨个人印象与受访员工所传达的声音非语言沟通之间的关系。首先，我们调查了在何种程度上不同的谈话主题解决在采访中引起的变化，受访者的声学参数。接下来，我们试图预测观察和自我评估的态度和身体语言的受访者的基础上的声学数据。结果表明，话题性导致了声学参数统计的显著偏差，但由于声学属性固有的冗余性，基于被访者的声学非语言交流预测其个人感知的能力相对独立于话题性。我们的研究结果表明，联合建模的语音和视觉线索可能会提高受访者的个人资料的评估。
2017-09-25 cs.SD eess.AS
High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models
Tianjin University（天津大学）；Kuaishou Technology Co., Ltd（快手科技有限公司）
针对现有最小监督语音合成存在的语义表示冗余、波形失真、韵律平均等问题，提出全模块基于扩散模型的高保真合成方法，采用CTAP语义表示与连续回归任务，性能优于基线方法。
2023-12-18 cs.AI cs.CL cs.SD
Speech language models lack important brain-relevant semantics
Inria Bordeaux（法国国立计算机与自动化研究所波尔多分部）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Technische Universität Berlin（柏林工业大学）
本文通过系统性移除语言模型表征中的文本、语音和视觉低层特征并比较其与 fMRI 记录的对齐，发现语音模型能表征早期听觉信息却缺乏晚期语言语义。
2024-06-16 cs.CL cs.LG eess.AS
SpeechX: Neural Codec Language Model as a Versatile Speech Transformer
Microsoft Corporation（微软公司）；Microsoft Research Asia（微软亚洲研究院）
本文提出多功能语音生成模型SpeechX，通过结合神经编解码器语言建模与多任务学习及任务相关提示，统一实现零样本TTS及多种语音转换任务，并在多项任务上取得优于专用模型的性能。
2024-06-25 cs.CL cs.LG cs.SD
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
Attention-Based Efficient Breath Sound Removal in Studio Audio Recordings
Robert Gordon University（罗伯特戈登大学）；Informatics Institute of Technology（信息技术学院）
针对录音室人声中的呼吸声去除问题，本文提出基于注意力U-Net的参数高效模型，利用DAPS数据集、对数频谱图和早停训练，以1.9M参数、3.2小时训练实现同等输出和更高精度。
2024-09-08 cs.AI cs.CV cs.LG
Task-aware Warping Factors in Mask-based Speech Enhancement
NEC Corporation（日本电气株式会社）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Yokohama City University（横滨市立大学）
本文提出了使用两个任务感知的翘曲因子在基于掩码的语音增强（SE）。一个控制在训练阶段中语音保持和噪声去除之间的平衡，而另一个控制在测试阶段中应用于特定下游任务的SE功率。我们的目的是减轻SE系统训练，以提高语音质量往往无法改善其他下游任务，如自动说话人验证（ASV）和自动语音识别（ASR），因为他们不共享相同的对象的问题。这是很容易应用所提出的双翘曲因子的方法，任何基于掩模的SE方法，它允许一个单一的SE系统来处理多个任务，而无需任务相关的培训。我们所提出的方法的有效性已被证实的SITW数据集的ASV评估和LibriSpeech数据集的ASR和语音质量评估的0- 20 dB。我们表明，单个SE需要不同的翘曲值才能实现最佳性能三项任务。使用任务相关的翘曲因子，语音质量提高了84.7%的PESQ增加，ASV有22.4%的EER减少，和ASR有52.2%的WER减少，在0 dB的语音。还在用于ASV的VoxCeleb-1测试集和用于ASV和质量评估的LibriSpeech dev-clean集上交叉验证了任务相关扭曲因子的有效性。所提出的方法是非常有效的，易于在实践中应用。
2021-08-27 cs.AI cs.SD eess.AS
DiffSoundStream: Efficient Speech Tokenization via Diffusion Decoding
Google LLC.（谷歌公司）
本文提出DiffSoundStream，通过以语义标记为条件减少标记冗余，并利用潜在扩散模型从语义和粗粒度声学标记合成波形，在非流式场景下提升了语音标记化效率，在低标记率下实现了与双倍标记率标准模型相当的语音质量。
2025-06-27 cs.LG eess.AS
A Novel Semantic Compression Approach for Ultra-low Bandwidth Voice Communication
本文提出一种利用生成式语音模型高层语义表示的新型语义通信方法，在比特率降低2-4倍的情况下，于转录、情感分析和说话人验证任务上达到或超越现有音频编解码器，并在感知质量与说话人验证上超越Encodec。
2025-09-18 cs.SD eess.AS
Semantic-VAE: Semantic-Alignment Latent Representation for Better Speech Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；The Chinese University of Hong Kong（香港中文大学）；KAIST（韩国科学技术院）
针对VAE潜在表示在语音合成中重构质量与可懂度间的权衡问题，提出Semantic-VAE，通过潜在空间中的语义对齐正则化捕获高维潜在表示中的语义结构，在F5-TTS上实现2.10% WER和0.64说话人相似度，优于梅尔谱和原始VAE基线。
2026-06-16 eess.AS
LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
Department of Artificial Intelligence, Korea University（韩国大学人工智能系）；Multi-modal Model Training, Kakao Corp（Kakao公司多模态模型训练部）
提出LM-SPT方法，通过语义语音重合成蒸馏，在不降低帧率的情况下生成与语言模型更对齐的离散语音标记，在ASR和TTS任务中优于现有方法。
2026-06-16 cs.AI cs.CL cs.SD
Global Rhythm Style Transfer Without Text Transcriptions
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
韵律在描述说话人的风格或情感方面起着重要的作用，但大多数非并行语音或情感风格转换算法不转换任何韵律信息。韵律的两个主要组成部分是音高和节奏。从语音中分离韵律信息，特别是节奏分量，是具有挑战性的，因为它涉及打破输入语音和分离的语音表示之间的同步。因此，大多数现有的韵律风格转换算法需要依赖于某种形式的文本转换来识别内容信息，这将其应用限制在高资源语言中。最近，SpeechSplit在无监督韵律风格迁移方面取得了相当大的进展，但无法以无监督的方式提取高级别的全局韵律风格。在本文中，我们提出了AutoPST，它可以从语音中分离出全局韵律风格，而不依赖于任何文本transanterior。AutoPST是一个基于自动编码器的韵律风格转换框架，具有一个由自我表达表征学习指导的彻底的节奏去除模块。在不同的风格转换任务上的实验表明，AutoPST可以有效地转换韵律，正确地反映目标领域的风格。
2021-06-16 cs.LG cs.SD eess.AS
Entropy-based Coarse and Compressed Semantic Speech Representation Learning
Zhejiang University（浙江大学）；LIGHTSPEED；Independent Researcher（独立研究者）
针对现有离散语音表示令牌细粒度高、冗余度大的问题，提出基于熵的动态聚合框架学习压缩语义语音表示，在多任务上性能与密集令牌序列相当或更优。
2025-08-30 cs.CL eess.AS
Silent Speech Interfaces for Speech Restoration: A Review
University of Granada（格拉纳达大学）
本文综述了无声语音接口（SSI）的研究现状。SSI依赖于在语音产生期间由人体产生的非声学生物信号，以在正常的口头通信不可能或不期望时实现通信。在这篇综述中，我们专注于第一例，并提出最新的SSI研究，旨在为严重言语障碍的人提供新的替代和增强的沟通方法。SSI可以采用各种生物信号来实现无声通信，例如神经活动的电生理记录、声道运动的肌电图（EMG）记录或使用成像技术直接跟踪咬合架运动。根据疾病的不同，一些传感技术可能比其他技术更适合捕捉语音相关信息。例如，肌电图和成像技术非常适合喉切除术患者，他们的声道几乎保持完整，但在声带切除后无法说话，但对于严重瘫痪的人来说却失败了。SSI使用自动语音识别或语音合成算法从生物信号中解码预期消息。尽管近年来取得了相当大的进展，但目前大多数SSI仅在实验室环境中对健康用户进行了验证。因此，如本文所讨论的，一些挑战仍有待解决，在未来的研究，然后才可以推广到现实世界的应用。如果这些问题能够得到成功解决，未来的SSI将通过恢复他们的沟通能力来改善严重语言障碍者的生活。
2020-09-27 cs.HC cs.LG eess.AS
Minimally-Supervised Speech Synthesis with Conditional Diffusion Model and Language Model: A Comparative Study of Semantic Coding
Tianjin University（天津大学）；Kuaishou Technology Co., Ltd（快手科技有限公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对最小监督 TTS 中离散表示、韵律平均和语义编码冗余等问题，提出 Diff-LM-Speech、Tetra-Diff-Speech 和 Tri-Diff-Speech 三种渐进式扩散架构，实验证明其优于基线。
2023-12-18 cs.AI cs.CL cs.SD
Moshi: a speech-text foundation model for real-time dialogue
Kyutai（久泰公司）
本文提出全双工语音-文本基础模型 Moshi，通过语音到语音生成、并行双流建模和 Inner Monologue 时间对齐文本前缀，实现低延迟实时口语对话。
2024-10-02 cs.AI cs.CL cs.LG
