Kid-Whisper: Towards Bridging the Performance Gap in Automatic Speech Recognition for Children VS. Adults
University of Maryland（马里兰大学）；Stanford University（斯坦福大学）
针对儿童ASR数据少、性能差的问题，本研究通过高效预处理MyST儿童语音语料库优化Whisper模型，显著降低词错误率且效果可泛化，为儿童语音识别提供可行方案。
2024-05-15 cs.CL cs.SD eess.AS
N-Shot Benchmarking of Whisper on Diverse Arabic Speech Recognition
The University of British Columbia（不列颠哥伦比亚大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文在多种阿拉伯语方言及n样本微调设置下系统评测Whisper的ASR性能，并构建未见方言与带口音标准语数据，发现其零样本整体优于XLS-R但对五种新方言显著退化。
2023-06-05 cs.CL cs.SD eess.AS
The University of Tokyo（东京大学）；Sony CSL Kyoto（索尼计算机科学实验室京都）
Interactions based on automatic speech recognition (ASR) have become widely used, with speech input being increasingly utilized to create documents. However, as there is no easy way to distinguish between commands being issued and text required to be input in speech, misrecognitions are difficult to identify and correct, meaning that documents need to be manually edited and corrected. The input of symbols and commands is also challenging because these may be misrecognized as text letters. To address these problems, this study proposes a speech interaction method called DualVoice, by which comm…
2022-08-22 cs.HC cs.LG cs.SD
Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现语音识别模型Whisper的音频表征与非语音声音高度相关，基于此冻结其主干并添加轻量标记头构建Whisper-AT，以极低额外成本实现单前向传播同时完成语音识别与通用音频事件标记。
2023-07-06 cs.SD eess.AS
Leveraging Self-Supervised Models for Automatic Whispered Speech Recognition
University of Zurich（苏黎世大学）；University of Isfahan（伊斯法罕大学）
针对耳语语音声学特性特殊、训练数据稀缺导致识别效果差的问题，提出用预训练WavLM模型结合多数据集微调的爱尔兰方言耳语语音识别方法，性能显著优于Whisper基线。
2024-11-03 cs.SD eess.AS
State-Space Models in Efficient Whispered and Multi-dialect Speech Recognition
Department of Computational Linguistics（计算语言学系）；Recognition Technologies（语音识别技术）；Faculty of New Sciences and Technologies（新科学与技术学院）；Faculty of New Sciences（新科学学院）
本文提出基于 Mamba 的状态空间模型结合 Wav2Vec2、WavLM、HuBERT 和 Whisper 四个微调自监督模型，在低量数据与处理负载下解决耳语音与多方言双重识别挑战，并在 wTIMIT 和 CHAINS 数据集上取得最佳性能。
2025-06-27 cs.SD eess.AS
Muting Whisper: A Universal Acoustic Adversarial Attack on Speech Foundation Models
本文提出一种通用声学对抗攻击，通过学习Whisper的<|endoftext|>标记的声学实现并前置到语音上，使模型忽略语音并仅转录该标记，实现97%以上样本的静音效果，且可跨数据集迁移，既带来风险也有隐私保护等潜在益处。
2024-07-17 cs.CL cs.SD eess.AS
Careful Whisper -- leveraging advances in automatic speech recognition for robust and interpretable aphasia subtype classification
nyra health GmbH（nyra健康有限公司）
本文提出一种结合CTC和编码器-解码器自动语音识别模型及自然语言处理技术的全自动化流程，通过提取语音特征生成健康语音原型，实现了区分失语症与健康对照组的人类水平准确率及90%的亚型分类准确率。
2023-08-02 cs.CL cs.LG cs.SD
WhisperMask: A Noise Suppressive Mask-Type Microphone for Whisper Speech
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；Sony Computer Science Laboratory（索尼计算机科学实验室）
针对嘈杂环境中耳语语音难以与噪声隔离的问题，提出口罩型麦克风WhisperMask，通过低灵敏度大振膜设计使佩戴者声音成为主要输入，无需信号处理即可有效抑噪，在多项指标上显著优于传统麦克风和软件降噪方案。
2024-08-22 cs.HC cs.SD eess.AS
WhisperNER: Unified Open Named Entity and Speech Recognition
aiOla Research（aiOla研究）
本文提出WhisperNER，一种联合语音转录与开放类型命名实体识别的模型，通过合成数据训练，在跨领域NER和监督微调上优于基线。
2025-08-07 cs.CL cs.LG
Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation
本文提出Whisper-Flamingo，通过门控交叉注意力将视觉特征融入Whisper，在LRS2/LRS3上取得最先进AVSR性能，并支持多语言音视频识别与翻译。
2024-11-19 cs.CV cs.SD eess.AS
Adapting Diarization-Conditioned Whisper for End-to-End Multi-Talker Speech Recognition
本文提出一种基于Whisper的多说话人语音识别模型，通过联合解码和序列化输出提升多说话人场景下的识别性能。
2026-02-03 cs.CL cs.SD eess.AS
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Improving Whisper's Recognition Performance for Under-Represented Language Kazakh Leveraging Unpaired Speech and Text
Tsinghua University（清华大学）
本文针对 Whisper 在哈萨克语等低资源语言上表现不佳的问题，提出结合非配对语音与文本、GPT 语言模型、EOT 修正、幻觉惩罚及伪标注微调的方法，在多个实验中实现超过 10% 的绝对 WER 降低。
2024-08-10 cs.CL cs.SD eess.AS
Probing Whisper for Dysarthric Speech in Detection and Assessment
TU Delft, the Netherlands（代尔夫特理工大学）；King's College London, UK（伦敦国王学院）
本研究针对构音障碍语音的检测与评估任务，对Whisper-Medium编码器进行逐层探测分析，发现中间13-15层信息量最高，微调仅带来小幅变化，提升了模型可解释性并为病理语音应用提供指导。
2025-10-05 cs.SD eess.AS
Whisper-RIR-Mega: A Paired Clean-Reverberant Speech Benchmark for ASR Robustness to Room Acoustics
本文提出Whisper-RIR-Mega数据集，用于评估ASR在房间声学中的鲁棒性。该数据集包含干净和混响语音的配对样本，评估了五种Whisper模型在清洁和混响条件下的性能，发现混响会降低所有模型的性能。
2026-03-15 cs.AI cs.LG cs.SD
PI-Whisper: Designing an Adaptive and Incremental Automatic Speech Recognition System for Edge Devices
University at Buffalo（布法罗大学）
本文提出PI-Whisper，一种面向边缘设备的自适应增量ASR系统，通过实时识别说话人特征实现无需重训练的增量适应，在提升多样化群体公平性的同时，将词错率相对降低13.7%。
2024-12-23 cs.CL cs.SD eess.AS
Speech Emotion Recognition Leveraging OpenAI's Whisper Representations and Attentive Pooling Methods
本文提出利用Whisper预训练模型和注意力池化方法提升语音情绪识别的性能，实验显示多头QKV架构在ShEMO数据集上取得显著改进。
2026-02-05 cs.AI cs.CL cs.LG
Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down
Elm CompanyKSA（Elm公司）；Concordia University（康科迪亚大学）；MilaCanada（Mila加拿大研究中心）
针对Whisper在非语音片段易产生幻觉的问题，研究通过逐头掩码定位3个关键致幻注意力头并微调，推出Calm-Whisper模型，大幅减少幻觉且语音识别性能损失极小。
2025-05-19 cs.CL
Empowering Whisper as a Joint Multi-Talker and Target-Talker Speech Recognition System
The Chinese University of Hong Kong（香港中文大学）
本文提出一种开创性方法，通过冻结 Whisper 并插入 Sidecar 分离器、引入 Target Talker Identifier 及软提示微调，使其能同时处理多说话人与目标说话人语音识别任务，在多个数据集上超越以往方法并具备零样本能力。
2024-08-24 cs.CL cs.SD eess.AS
Whisper in Focus: Enhancing Stuttered Speech Classification with Encoder Layer Optimization
Prince Sultan University（苏丹亲王大学）
本研究针对口吃语音不流利分类任务，优化SEP28-k数据集，探索Whisper模型的分类能力并提出高效编码器层冻结策略，取得0.81的平均F1分数，证实深层编码器贡献更大，为该任务提供了高效解决方案。
2023-11-09 cs.LG cs.SD eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge（剑桥大学）
本文提出一种通用声学对抗攻击方法，通过在输入语音前添加简短的对抗性声学片段，无需访问模型提示即可覆盖 ASR 基础模型的设置，成功控制 Whisper 模型将语音转录强制转变为语音翻译，揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
A Speech Corpus for Mizo Automatic Speech Recognition: Whisper and SraVaani 1.0 Fine-Tuning with Morphology-Aware Evaluation
本研究构建米佐语语音语料库，通过微调Whisper与SraVaani 1.0模型开发米佐语ASR系统，发现Whisper-large-v3结合形态感知评估WER仅7.22%，SraVaani 1.0经米佐语微调后性能显著提升。
2026-08-21 cs.CL eess.AS
A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica（中央研究院）；University of Palermo（巴勒莫大学）
本研究提出GPT-Whisper，结合Whisper与提示工程实现零样本非侵入式语音评估，在可懂度和CER相关性上优于现有模型，验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
Prompting Whisper for Joint Speech Transcription and Diarization
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文研究如何高效结合Whisper与说话人识别，通过提示和微调提高转录准确性与一致性，解决重叠语音和时间戳问题。
2026-04-24 cs.SD eess.AS
FlowW2N: Whispered-to-Normal Speech Conversion via Flow-Matching
Samsung Electronics, Mobile eXperience Business（三星电子移动体验业务）
FlowW2N通过条件流匹配方法，在无需真实配对数据的情况下实现whisper到normal语音转换，显著提升可懂度并减少词错误率。
2026-10-02 cs.SD eess.AS
WhisperAlign: Word-Boundary-Aware ASR and WhisperX-Anchored Pyannote Diarization for Long-Form Bengali Speech
WhisperAlign通过词边界感知的ASR和WhisperX锚定的Pyannote分离方法，有效提升了孟加拉语长形式语音的转录和说话人分离精度。
2026-03-05 cs.LG cs.SD
Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition
Qwen Business Unit of Alibaba（阿里巴巴通义千问业务部）
本文提出Whisper-Aware LLM框架，通过自监督学习量化声学信号缺陷并结合置信融合解码机制，在AISHELL6-Whisper数据集上将耳语语音识别的CER相对降低17%，幻觉率降至4.5%，达到最优性能。
2026-08-12 cs.AI cs.SD
Keyword-Guided Adaptation of Automatic Speech Recognition
aiOla Research（aiOla研究机构）
本文提出一种基于Whisper模型的关键词引导上下文偏置方法，通过关键词检索模型动态生成提示引导解码器，显著提升了专业术语识别准确率并降低了词错误率。
2024-06-04 cs.LG cs.SD eess.AS
Can Whisper perform speech-based in-context learning?
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于语音的上下文学习方法（SICL），通过少量标注样本在测试时适应 Whisper 模型，无需梯度下降即可显著降低词错误率，并结合 k 近邻示例选择进一步提升效率。
2024-03-20 cs.CL cs.SD eess.AS
A Study of ASR Adaptation and Representation Dimensionality Reduction in Persian Speech Emotion Recognition Using Whisper
本研究针对低资源语言波斯语的语音情感识别问题，提出基于PCA降维的SER框架，实验表明该方法可提升性能并降低资源消耗，而ASR微调仅带来小幅增益。
2026-08-10 cs.AI cs.CL cs.LG
SQ-Whisper: Speaker-Querying based Whisper Model for Target-Speaker ASR
针对语音基础模型难以处理多说话人重叠语音的问题，提出SQ-Whisper模型，通过可训练说话人查询引导模型提取目标说话人特征，在多个数据集上实现词错误率显著下降并刷新最优性能。
2024-12-07 cs.SD eess.AS
Performance Comparison of Pre-trained Models for Speech-to-Text in Turkish: Whisper-Small and Wav2Vec2-XLS-R-300M
AdresGezgini A.Ş.（AdresGezgini股份公司）；Dokuz Eylül Üniversitesi（Dokuz Eylül大学）
本文比较 Whisper-Small 与 Wav2Vec2-XLS-R-300M 在土耳其语语音转文本任务上的性能，使用 Mozilla Common Voice 11.0 微调，并以呼叫中心数据测试，Whisper-Small 的 WER 更低。
2023-07-06 cs.CL cs.SD eess.AS
Mi-Go: Test Framework which uses YouTube as Data Source for Evaluating Speech Recognition Models like OpenAI's Whisper
Jagiellonian University（雅盖隆大学）
Mi-Go框架利用YouTube作为数据源，通过124个视频测试Whisper模型各版本，评估其鲁棒性与适应性，并对比机器转录与人工字幕以发现字幕滥用。
2023-09-01 cs.LG cs.SD cs.SE
WhisperX: Time-Accurate Speech Transcription of Long-Form Audio
University of Oxford（牛津大学）
WhisperX 通过语音活动检测与强制音素对齐解决长音频转录中的漂移、幻觉及时间戳不准确问题，实现词级时间戳和十二倍批量推理加速，并在长音频转录与词分割基准上达到最先进性能。
2023-07-11 cs.SD eess.AS
Adapting Whisper for Streaming Speech Recognition via Two-Pass Decoding
BloombergUSA（布莱尔集团美国分公司）；WeNet Open Source CommunityChina（WeNet开源社区中国）
针对Whisper模型原生不支持流式语音识别的问题，研究基于WeNet工具包采用U2两遍结构微调Whisper，新增因果注意力掩码训练的CTC解码器生成流式部分转录、原Whisper解码器重排序，还提出混合分词器方法，经实验验证可实现高性能流式ASR并提升数据效率与泛化性。
2025-06-13 cs.SD eess.AS
Application of Whisper in Clinical Practice: the Post-Stroke Speech Assessment during a Naming Task
Department of Neuroimaging, King’s College London, UK（伦敦国王学院神经影像部门）；Department of Brain Sciences, Imperial College London, UK（伦敦帝国学院脑科学部门）
本研究评估ASR基础模型Whisper在卒中患者图片命名任务言语分析中的应用，发现微调可大幅提升转录准确率并支持言语质量预测，但跨域泛化仍有局限，为卒中相关言语障碍的自动化评估提供了新思路。
2025-10-28 cs.SD eess.AS
Whisper-CD: Accurate Long-Form Speech Recognition using Multi-Negative Contrastive Decoding
Sungkyunkwan University, Republic of Korea（全州大学，韩国）
针对Whisper长语音识别中的幻觉、重复和遗漏问题，提出无需训练的对比解码框架Whisper-CD，通过三种声学扰动构造负样本并聚合，显著降低词错误率并加速解码。
2026-06-23 cs.AI cs.SD eess.AS
Transcript-Prompted Whisper with Dictionary-Enhanced Decoding for Japanese Speech Annotation
Baidu Inc.（百度公司）
本文面向日语 TTS 数据集构建，提出以真实转写为条件微调 Whisper，并结合词典增强解码同步生成字素与音位、韵律标签，显著提升标注质量且合成语音自然度媲美人工标注。
2025-06-09 cs.CL cs.SD eess.AS
Semi-Supervised Speech Confidence Detection using Pseudo-Labelling and Whisper Embeddings
Durham University（杜伦大学）；Shanghai Open University（上海开放大学）
提出一种结合人工特征与Whisper嵌入的框架，通过伪标签技术扩充数据，利用共注意力机制融合特征，实现75%的语音自信度检测准确率。
2026-06-16 cs.LG cs.SD
OWSM-Biasing: Contextualizing Open Whisper-Style Speech Models for Automatic Speech Recognition with Dynamic Vocabulary
SB IntuitionsJapan（SB Intuitions日本）
本文提出将现有上下文偏置方法集成到冻结参数的 OWSM v3.1 中，以借助预训练语音基础模型知识改善罕见词识别，并在 LibriSpeech 上显著降低 B-WER、WER 和实时因子。
2025-06-11 cs.CL cs.SD eess.AS
Optimizing Multi-Stuttered Speech Classification: Leveraging Whisper's Encoder for Efficient Parameter Reduction in Automated Assessment
School of Electrical Engineering and Computer Science (SEECS)（电气工程与计算机科学学院（SEECS））；National University of Sciences and Technology (NUST)（国家科技大学（NUST））
本研究利用Whisper编码器进行多标签分类，通过层冻结策略仅微调单层，将可训练参数减少83.7%，在Fluency-Bank上实现高F1分数，高效识别多口吃语音。
2025-02-26 cs.LG cs.SD eess.AS
Quantization for OpenAI's Whisper Models: A Comparative Analysis
Independent Researcher Washington DC, United States
该研究比较三种 Whisper 模型，并在 LibriSpeech 上评估 whispercpp 的 INT4、INT5、INT8 量化，证明其可降低延迟与体积且保持 WER。
2025-03-12 cs.CL cs.LG cs.SD
Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对中文构音障碍语音识别数据少、说话人差异大的问题，提出 Perceiver-Prompt，通过 LoRA 微调 Whisper 并利用可训练 Perceiver 生成定长说话人提示，CER 最高相对降低 13.04%。
2024-06-14 cs.AI cs.SD eess.AS
Whispy: Adapting STT Whisper Models to Real-Time Environments
Meetecho LTD（米特乔有限公司）；University of Napoli Federico II（那不勒斯费德里科二世大学）
本文提出Whispy系统，通过架构优化使Whisper预训练模型具备实时语音流转录能力，在保持低计算成本的同时实现了高鲁棒性、及时性和准确性。
2024-05-06 cs.LG cs.SD eess.AS
Whisper-MLA: Reducing GPU Memory Consumption of ASR Models based on MHA2MLA Conversion
College of Intelligence and Computing, Tianjin University, Tianjin, China（智能与计算学院，天津大学，天津，中国）；Banma Network Technology Co., Ltd.（Banma网络技术有限公司）
Whisper-MLA通过将多头潜在注意力应用于解码器自注意力模块，有效降低ASR模型的GPU内存消耗，同时保持较高的识别准确性。
2026-02-28 cs.AI cs.SD
Fine-Tuning Whisper for Automatic Speech Recognition in Baniwa: A Preliminary Study
University of Brasilia（巴西利亚大学）
本研究对Whisper Small进行微调，构建巴尼瓦语ASR初始基准，证实多语言基础模型可适配资源匮乏的土著语言，为后续相关研究提供支撑。
2026-08-27 cs.CL stat.ML
Qwen vs. Gemma Integration with Whisper: A Comparative Study in Multilingual SpeechLLM Systems
Institute for Infocomm Research (I$^{2}$R), A$^{\ast}$STAR, Singapore（信息与通信研究所（I²R）、A*STAR、新加坡）；SoICT, Hanoi University of Science and Technology, Vietnam（河内科学技术大学SoICT、越南）
本文面向 MLC-SLM Challenge 2025，比较了 Qwen 与 Gemma 集成 Whisper 的多语言 SpeechLLM 系统，通过三阶段训练优化各组件，Gemma3-12B 取得 16.63% 的平均 WER/CER。
2025-07-07 cs.CL cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Pisets: A Robust Speech Recognition System for Lectures and Interviews
Novosibirsk State University（新西伯利亚州立大学）；Siberian Neuronets LLC（西伯利亚神经网络有限公司）
Pisets通过三组件架构和课程学习提升语音识别鲁棒性，适用于讲座和访谈场景。
2026-01-26 cs.CL cs.SD eess.AS
Evaluating ASR robustness to spontaneous speech errors: A study of WhisperX using a Speech Error Database
Khoury College of Computer Sciences（科里学院计算机科学学院）
本文利用SFUSED语音错误数据库的多维标注，评估WhisperX在5300个自发语音错误上的转写准确率，证明该数据库可作为ASR系统性能诊断的有效工具。
2025-08-18 cs.CL
A Self-Training Approach for Whisper to Enhance Long Dysarthric Speech Recognition
College of Computer Science（计算机科学学院）
针对长构音障碍语音识别数据受限问题，提出一种新颖的 Whisper 模型自训练方法，通过增加训练数据并适应不完整语音片段，在 SAP Challenge 中取得第二名。
2025-06-28 cs.SD eess.AS
Reproducing Whisper-Style Training Using an Open-Source Toolkit and Publicly Available Data
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Honda Research Institute Japan（日本本田研究所）
为解决OpenAI Whisper开发流程未公开的问题，本工作使用开源工具包和公开数据复现了Whisper风格训练，提出OWSM模型，支持更多翻译方向且训练更高效，并公开全部脚本与模型以促进开放科学。
2023-10-24 cs.CL cs.SD eess.AS
