Elevating Robust Multi-Talker ASR by Decoupling Speaker Separation and Speech Recognition
The Ohio State University（俄亥俄州立大学）；Center for Cognitive and Brain Sciences, The Ohio State University（俄亥俄州立大学认知与脑科学中心）
针对多说话人场景下ASR前端分离引入伪影导致性能下降的问题，提出分离前端与ASR后端训练解耦、后端仅用干净语音训练的方法，在多个基准数据集上取得了最优词错误率，为鲁棒多说话人ASR提供了有效方案。
2025-03-23 cs.SD eess.AS
Pretraining Conformer with ASR or ASV for Anti-Spoofing Countermeasure
University of Yamanashi（山梨大学）；Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）
本文提出基于迁移学习的MFA-Conformer反欺骗对策，通过ASR或ASV预训练增强鲁棒性，在FAD干净集上EER达0.04%，显著优于基线并与Wav2Vec 2.0方法相当。
2023-10-30 cs.SD eess.AS
Speaker Reinforcement Using Target Source Extraction for Robust Automatic Speech Recognition
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
提高单通道自动语音识别（ASR）在噪声条件下的准确性是具有挑战性的。强大的语音增强前端是可用的，然而，它们通常需要重新训练ASR模型以应对处理伪影。在本文中，我们探讨了扬声器增强策略，提高识别性能，而无需重新训练的声学模型（AM）。这是通过将增强的信号与未处理的输入重新混合以减轻处理伪影来实现的。我们使用基于DNN说话人提取的语音去噪器来评估所提出的方法，该语音去噪器使用感知动机损失函数进行训练。结果表明，（没有AM再训练）我们的方法产生约23%和25%的相对精度增益相比，未经处理的单声道模拟和真实的CHiME-4评估集，分别，并优于一个国家的最先进的参考方法。
2022-05-09 cs.SD eess.AS
Training-Free Intelligibility-Guided Observation Addition for Noisy ASR
Nanyang Technological University（南洋理工大学）；Nara Institute of Science and Technology（奈良科学技術大學）
提出一种无训练的可懂度引导观测添加方法，通过后端ASR的可懂度估计推导融合权重，提升噪声环境下ASR鲁棒性，无需修改SE或ASR模型参数。
2026-06-06 cs.AI cs.SD eess.AS
On the Difficulty of Token-Level Modeling of Dysfluency and Fluency Shaping Artifacts
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡技术大学乔治·西蒙·奥姆学院）；Technische Hochschule Rosenheim（罗森海姆技术大学）；KST Institut GmbH（KST研究所）
本文提出一种轻量级适应方法，用于提升ASR对语流和流畅性修改的识别能力，同时揭示多语言端到端系统在处理德语数据时的局限性。
2025-11-18 cs.AI cs.CL cs.LG
SW-ASR: A Context-Aware Hybrid ASR Pipeline for Robust Single Word Speech Recognition
Tetranetics Private Limited（特兰尼克斯私人有限公司）
SW-ASR通过结合上下文感知和轻量验证机制，提升单字语音识别在噪声和压缩信道中的鲁棒性，适用于实时通信场景。
2026-01-28 cs.CL cs.SD eess.AS
Learning to Enhance or Not: Neural Network-Based Switching of Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation（日本电报电话公司）
基于深度神经网络（DNN）的语音增强（SE）前端和自动语音识别（ASR）后端的组合是实现重叠语音识别的广泛使用的方法。但是，SE前端会生成可能降低ASR性能的处理工件。我们以前发现，这种性能下降，甚至可以发生在完全重叠的条件下，这取决于信号干扰比（SIR）和信噪比（SNR）。为了减轻这种退化，我们引入了一种基于规则的方法来在增强信号和观测信号之间切换ASR输入，这显示了有希望的结果。然而，该规则的最优性并不清楚，因为它是按经验设计的，并且仅基于SIR和SNR值。在这项工作中，我们提出了一种基于DNN的切换方法，直接估计ASR是否会在增强或观察到的信号上表现更好。我们还介绍了软开关，计算增强和观察到的信号的加权和ASR输入，开关模型的输出后验给出的权重。建议学习为基础的切换表现出的性能与基于规则的Oracle交换。软开关进一步提高了ASR性能，与传统方法相比，实现了高达23%的相对字符错误率降低。
2022-01-11 cs.SD eess.AS
Human Listening and Live Captioning: Multi-Task Training for Speech Enhancement
随着在线会议的激增，在各种噪声条件下提供高质量的语音音频和实时字幕变得比以往任何时候都更加重要。然而，大多数单声道语音增强（SE）模型引入处理伪像，从而降低下游任务（包括自动语音识别（ASR））的性能。本文提出了一个多任务训练框架，使SE模型无害的ASR。由于大多数ASR训练样本没有相应的干净信号参考，我们交替执行两个模型更新步骤，称为SE步骤和ASR步骤。SE步骤使用干净和有噪声的信号对以及基于信号的损失函数。ASR步骤将预训练的ASR模型应用于利用SE模型增强的训练信号。计算ASR输出和参考瞬态之间的交叉熵损失以更新SE模型参数。使用在75，000小时数据上训练的ASR模型进行实际大规模设置的实验结果表明，所提出的框架将SE输出的单词错误率提高了11.82%，而SE质量几乎没有影响。还通过改变ASR模型、用于ASR步骤的数据以及两个更新步骤的时间表来进行性能分析。
2021-06-05 eess.AS
Topic Identification For Spontaneous Speech: Enriching Audio Features With Embedded Linguistic Information
Aalto University（阿尔托大学）
针对低资源场景下ASR转录质量差及自发语音影响主题识别的问题，本文对比纯音频与混合多模态方案，验证了无ASR时纯音频方案可行，混合方案效果最优。
2023-07-21 cs.CL eess.AS
Bridging the Gap: Integrating Pre-trained Speech Enhancement and Recognition Models for Robust Speech Recognition
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Columbia University（哥伦比亚大学）；Chunghwa Telecom Co., Ltd.（中华电信股份有限公司）；Tsinghua University（清华大学）
针对独立训练的预训练语音增强模型作为自动语音识别前端时易引入伪影损害性能的问题，提出含轻量桥接模块和观测相加技术的后处理方法，无需先验知识与微调即可整合多类模型，提升鲁棒性与泛化性。
2024-06-18 cs.SD eess.AS eess.SP
Enhancing Synthetic Training Data for Speech Commands: From ASR-Based Filtering to Domain Adaptation in SSL Latent Space
IRIT；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立综合理工学院）；UT3（图卢兹第三大学）
本研究针对语音命令分类，提出基于ASR的过滤方法提升合成数据质量，并利用CycleGAN在自监督潜在空间中缩小合成与真实语音差距，实验验证了性能提升。
2024-09-19 cs.AI cs.LG cs.SD
ASR-Agnostic Multimodal Spectrotemporal Modeling for Early Dementia Detection
提出一种不依赖语音识别的框架，直接从梅尔频谱图中提取谱时位移场作为数字生物标志物，结合CNN-ConvGRU声学嵌入和交叉注意力融合，在三种语言语料库上验证了多模态融合的语料依赖性。
2026-07-01 cs.AI cs.CL cs.SD
GhostWord: A Fine-Grained Backdoor Attack on Automatic Speech Recognition
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；Sharif University of Technology（谢里夫理工大学）；Isfahan University（伊斯法罕大学）
该研究提出词级时间定位的ASR后门GhostWord，在多数据集和多模型上实现89.3%平均攻击成功率，可跨语言迁移，且揭示后门抑制会导致干净样本性能下降的鲁棒性-准确率权衡。
2026-09-07 cs.SD eess.AS
Rethinking Training Targets, Architectures and Data Quality for Universal Speech Enhancement
NVIDIA
本文针对通用语音增强中的训练目标选择、失真与感知权衡及数据质量问题，提出改进方法，通过时间移位的无回声干净语音作为学习目标，提出两阶段框架以最小化失真并提升感知质量，并分析训练数据规模与质量的权衡，取得SOTA性能。
2026-10-07 cs.SD
Beyond Oversmoothing: Evaluating DDPM and MSE for Scalable Speech Synthesis in ASR
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学言语技术研究中心）
本研究探讨了 TTS 模型的过平滑行为是否导致 ASR 在合成数据上训练后真实语音表现不佳，系统比较了 DDPM 和 MSE 模型在 ASR 训练中的可扩展性，发现 DDPM 能更好利用数据和多样化说话人，并取得最佳真实与合成语音 WER 比率。
2024-10-16 cs.AI cs.CL eess.AS
Downstream-Task-Aware Unified Source Separation
Mitsubishi Electric Corporation（三菱电机株式会社）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出一种下游任务感知的提示扩展框架，将任务信息融入TUSS提示并切换损失函数，使单一模型既能提升ASR性能又能保持语音增强质量。
2026-09-11 eess.AS
Where Speech Enhancement Hurts Recognition: An Inference Time Polar Projection Diagnosis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Wuhan University（武汉大学）
研究语音增强对自动语音识别的影响，提出推理时间极坐标投影诊断方法，通过扫描控制参数将ASR退化转化为幅度和相位效应，分析得出幅度强度是关键，最佳强度因识别器而异，该投影可为SE前端提供简单缓解方法。
2026-09-29 eess.AS
Task Oriented Dialogue as a Catalyst for Self-Supervised Automatic Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；Amazon Alexa AI（亚马逊Alexa AI）
针对ASR系统错误导致NLU应用失败且助手无法离线学习的问题，提出自监督对比微调方法CLC，利用不成功对话中的伪影改进模型，在公开元数据集OD3和真实系统中分别实现最高19.2%和6.7%的性能提升。
2024-01-04 cs.CL cs.LG cs.SD
Combining TF-GridNet and Mixture Encoder for Continuous Speech Separation for Meeting Transcription
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）；Paderborn University（帕德博恩大学）
本文提出结合 TF-GridNet 与混合编码器的方法，用于会议转录中的连续语音分离，在 LibriCSS 单麦克风上取得最先进性能，并分析了改进空间。
2025-02-26 cs.CL cs.LG cs.SD
Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
Voice-Light提出级联全双工语音智能体，结合因果轮换与投机式生成，实现低延迟交互，并通过混合控制器在真实场景中平衡误切断与轮次召回率。
2026-09-21 cs.CL cs.SD eess.AS
Synt++: Utilizing Imperfect Synthetic Data to Improve Speech Recognition
Apple（苹果公司）
随着语音合成的最新进展，合成数据正在成为训练语音识别模型的真实数据的可行替代方案。然而，由于合成数据和真实数据分布之间的差距，使用合成数据的机器学习并不是微不足道的。合成数据集可能包含真实数据中不存在的伪影，例如结构化噪声，内容错误或不切实际的说话风格。此外，由于数据流形的不均匀采样，合成过程可能引入偏差。我们在训练过程中提出了两种新的技术来缓解由于分布间隙引起的问题：（i）拒绝采样算法和（ii）对真实和合成样本使用单独的批量归一化统计。我们表明，这些方法显着提高训练的语音识别模型使用合成数据。我们评估所提出的方法对关键字检测和自动语音识别（ASR）的任务，并观察到高达18%和13%的相对误差减少，分别相比，天真地使用合成数据。
2021-10-21 cs.LG cs.SD eess.AS
SepALM: Audio Language Models Are Error Correctors for Robust Speech Separation
Xi’an Jiaotong University（西安交通大学）
SepALM利用音频语言模型对初步分离的语音进行端到端误差校正，提升分离精度并增强对嘈杂、混响等新声学环境的适应性。
2025-05-26 cs.CL cs.SD eess.AS
