OCR-Enhanced Multimodal ASR Can Read While Listening
Department of Electrical Engineering, Tsinghua University, Beijing, China（电子工程系，清华大学，北京，中国）
Donut-Whisper通过结合双编码器和交叉注意力模块，利用视觉信息提升中英文语音识别性能，实现显著的WER和CER降低。
2026-01-26 cs.CL cs.SD eess.AS
Overcoming Data Scarcity in Multi-Dialectal Arabic ASR via Whisper Fine-Tuning
Department of Internal Medicine, Division of Nephrology（内科学部，肾病科）；Bernoulli Institute for Mathematics, Computer Science（伯努利数学、计算机科学研究所）；Speech Technology Lab, Campus Fryslân（语音技术实验室，弗里西恩校区）
本研究通过微调 Whisper 模型，利用少量 MSA 数据及方言池化策略，有效提升了五种阿拉伯语方言的识别性能，缓解了数据稀缺问题。
2025-06-03 cs.CL cs.SD eess.AS
PI-Whisper: Designing an Adaptive and Incremental Automatic Speech Recognition System for Edge Devices
University at Buffalo（布法罗大学）
本文提出PI-Whisper，一种面向边缘设备的自适应增量ASR系统，通过实时识别说话人特征实现无需重训练的增量适应，在提升多样化群体公平性的同时，将词错率相对降低13.7%。
2024-12-23 cs.CL cs.SD eess.AS
Improving Whispered Speech Recognition Performance using Pseudo-whispered based Data Augmentation
Delft University of Technology（代尔夫特理工大学）
针对耳语语音训练数据稀缺导致ASR性能低的问题，提出基于信号处理的伪耳语数据增强方法，使端到端ASR词错误率相对降低18.2%，并发现声门信息缺失是主要影响因素。
2023-11-09 cs.SD eess.AS
LoRA-Whisper: Parameter-Efficient and Extensible Multilingual ASR
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯AI实验室）
本文提出 LoRA-Whisper，通过将 LoRA 矩阵融入 Whisper 缓解多语言干扰并支持语言扩展，在八种语言的真实任务中分别取得 18.5% 和 23.0% 的相对增益。
2024-06-07 cs.AI cs.CL eess.AS
On the Role of Encoder Depth: Pruning Whisper and LoRA Fine-Tuning in SLAM-ASR
School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
研究分析了在SLAM-ASR中剪枝Whisper编码器对性能的影响，并探讨LoRA微调如何补偿剪枝导致的性能下降，发现剪枝两层编码器仅导致2-4%的WER下降，结合LoRA可有效提升性能并减少参数量。
2026-03-30 cs.CL cs.SD
SQ-Whisper: Speaker-Querying based Whisper Model for Target-Speaker ASR
针对语音基础模型难以处理多说话人重叠语音的问题，提出SQ-Whisper模型，通过可训练说话人查询引导模型提取目标说话人特征，在多个数据集上实现词错误率显著下降并刷新最优性能。
2024-12-07 cs.SD eess.AS
Adaptability of ASR Models on Low-Resource Language: A Comparative Study of Whisper and Wav2Vec-BERT on Bangla
Department of Computer Science and Engineering（计算机科学与工程系）；Ahsanullah University of Science and Technology（阿沙努拉大学科学与技术学院）
本文比较了Whisper和Wav2Vec-BERT两种ASR模型在孟加拉语上的表现，发现Wav2Vec-BERT在WER、CER和计算效率上全面优于Whisper，为低资源语言语音识别提供了参考。
2025-07-02 cs.AI cs.CL cs.SD
Kid-Whisper: Towards Bridging the Performance Gap in Automatic Speech Recognition for Children VS. Adults
University of Maryland（马里兰大学）；Stanford University（斯坦福大学）
针对儿童ASR数据少、性能差的问题，本研究通过高效预处理MyST儿童语音语料库优化Whisper模型，显著降低词错误率且效果可泛化，为儿童语音识别提供可行方案。
2024-05-15 cs.CL cs.SD eess.AS
Adapting Whisper for Streaming Speech Recognition via Two-Pass Decoding
BloombergUSA（布莱尔集团美国分公司）；WeNet Open Source CommunityChina（WeNet开源社区中国）
针对Whisper模型原生不支持流式语音识别的问题，研究基于WeNet工具包采用U2两遍结构微调Whisper，新增因果注意力掩码训练的CTC解码器生成流式部分转录、原Whisper解码器重排序，还提出混合分词器方法，经实验验证可实现高性能流式ASR并提升数据效率与泛化性。
2025-06-13 cs.SD eess.AS
Whisper-RIR-Mega: A Paired Clean-Reverberant Speech Benchmark for ASR Robustness to Room Acoustics
本文提出Whisper-RIR-Mega数据集，用于评估ASR在房间声学中的鲁棒性。该数据集包含干净和混响语音的配对样本，评估了五种Whisper模型在清洁和混响条件下的性能，发现混响会降低所有模型的性能。
2026-03-15 cs.AI cs.LG cs.SD
Bridging the gap: A comparative exploration of Speech-LLM and end-to-end architecture for multilingual conversational ASR
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（Unisound AI技术有限公司）
本文提出一种结合微调Whisper和mHuBERT编码器与LLM的ASR框架，通过交叉注意力机制提升多语言对话ASR性能，实验表明其在性能上接近端到端模型，但仍有提升空间。
2026-02-02 cs.CL cs.SD eess.AS
Efficient Adaptation of Multilingual Models for Japanese ASR
Georgia Institute of Technology（佐治亚理工学院）
本研究通过LoRA和端到端微调Whisper-Tiny多语言模型，利用日语数据集将CER从32.7降至14.7，超越Whisper-Base，证明微调多语言模型可在保持灵活性的同时提升特定语言性能。
2024-12-14 cs.AI cs.CL cs.SD
M2R-Whisper: Multi-stage and Multi-scale Retrieval Augmentation for Enhancing Whisper
Nankai University（南开大学）；Lingxi (Beijing) Technology Co., Ltd.（灵汐（北京）科技有限公司）
本文提出M2R-whisper，通过句子级上下文学习与token级kNN检索的多阶段多尺度检索增强，在不更新参数的情况下提升Whisper在低资源子方言ASR上的识别准确率。
2025-03-12 cs.SD eess.AS
Fast Streaming Transducer ASR Prototyping via Knowledge Distillation with Whisper
Idiap Research Institute（Idiap研究所）；University of Zurich（苏黎世大学）；EPFL（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；Uniphore（Uniphore公司）
针对低/无监督数据的ASR训练难题，提出利用基础语音模型Whisper的伪标记，在消费级GPU上单阶段从零训练流式Transformer-Transducer模型，经多维度消融和6种语言验证有效，还提出了伪标记过滤方法。
2024-10-07 cs.CL cs.SD eess.AS
Whisper Turns Stronger: Augmenting Wav2Vec 2.0 for Superior ASR in Low-Resource Languages
Ariel University（阿里尔大学）；College of Management（管理学院）；Holon Institue of Technology（霍隆理工学院）
本文提出一种基于数据增强的端到端框架来增强 Wav2Vec2 微调的 ASR 系统，在阿拉伯语、俄语和葡萄牙语低资源语言上超越 Wav2Vec2 和 Whisper 基线，词错误率平均相对降低 33.9%，字符错误率相对降低 53.2%。
2024-12-31 cs.CL cs.SD eess.AS
From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection
Signal Processing Group, Institute of Electronics, AGH University of Krakow, Poland（信号处理组，电子学研究所，AGH克拉科夫大学，波兰）
研究Whisper大模型在真实语音数据上的幻觉检测，通过文本、LLM和内部解码器状态三种方法，发现无参考文本时探测解码器表示性能最强，融合文本与内部状态的元分类器效果最佳。
2026-06-23 cs.AI cs.SD eess.AS
On the Transferability of Whisper-based Representations for "In-the-Wild" Cross-Task Downstream Speech Applications
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Institut National de la Recherche Scientifique（国家科学研究所）
本文研究Whisper语音表示在SUPERB基准四项任务及噪声混响“野外”条件下的可迁移性与鲁棒性，实验证明其具备跨任务真实部署潜力。
2023-05-23 cs.CL cs.LG cs.SD
Adapting Whisper for Parameter-efficient Code-Switching Speech Recognition via Soft Prompt Tuning
School of Computer Science（计算机科学学院）；College of Computing and Data Science（计算与数据科学学院）；College of Computing（计算学院）
本文提出基于软提示调优的参数高效方法，增强Whisper在低资源语码转换语音识别中的表现，通过深度提示调优和SPT4ASR组合，在SEAME和ASRU2019上实现错误率降低，且不损害原有语言性能。
2025-06-16 cs.AI cs.CL cs.SD
Adapting an ASR Foundation Model for Spoken Language Assessment
ALTA Institute（ALTA研究所）；Cambridge University（剑桥大学）；Cambridge University Press & Assessment（剑桥大学出版社与评估部）；EST Ltd（EST有限公司）
针对口语评估中ASR输出可读性高但不够精确的问题，分析Whisper输出，提出微调和软提示调优两种方法，实验表明能有效生成考生实际所说的单词。
2023-10-10 cs.CL cs.SD eess.AS
Whisper in Medusa's Ear: Multi-head Efficient Decoding for Transformer-based ASR
aiOla Research（aiOla研究院）
提出Whisper-Medusa模型，通过扩展OpenAI的Whisper架构实现每次迭代预测多个token，在保持词错误率基本不变的情况下将延迟降低50%，有效提升了基于Transformer的ASR推理速度。
2024-09-24 cs.AI cs.LG cs.SD
Exploring the limits of decoder-only models trained on public speech recognition corpora
IBM Research（IBM研究院）
本研究探究仅用公开英文ASR语料训练纯解码器模型的性能上限，提出的DOTA模型在多数基准上优于开源Whisper复刻版，部分测试集超过Whisper large-v3，并开源相关资源。
2024-01-31 cs.CL cs.SD eess.AS
Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio
AGH University of Krakow（克拉科夫AGH科技大学）；Institute of Electronics（电子研究所）
本文研究 Whisper ASR 被非语音音频诱发的幻觉，构建幻觉袋（BoH）并通过转写文本后处理降低 WER、防范异常输出。
2025-01-20 cs.AI cs.SD eess.AS
Enhanced ASR Robustness to Packet Loss with a Front-End Adaptation Network
Faculty of Electrical；Computer Engineering, Technion -- Israel Institute of Technology, Israel
本研究提出一种连接冻结 ASR 模型的前端自适应网络，通过最小化 ASR 模型准则与增强损失函数来修复丢包导致的受损频谱，显著降低了跨领域和跨语言的词错率且几乎不影响模型基础性能。
2024-06-27 cs.CL cs.LG cs.SD
A Study of ASR Adaptation and Representation Dimensionality Reduction in Persian Speech Emotion Recognition Using Whisper
本研究针对低资源语言波斯语的语音情感识别问题，提出基于PCA降维的SER框架，实验表明该方法可提升性能并降低资源消耗，而ASR微调仅带来小幅增益。
2026-08-10 cs.AI cs.CL cs.LG
Probing the Hidden Talent of ASR Foundation Models for L2 English Oral Assessment
National Taiwan Normal University（国立台湾师范大学）
本文通过探测Whisper模型的隐藏能力，展示了其在二语英语口语评估中的潜力，通过轻量级分类器和辅助线索提升性能。
2026-01-26 cs.AI cs.CL cs.SD
WhisperAlign: Word-Boundary-Aware ASR and WhisperX-Anchored Pyannote Diarization for Long-Form Bengali Speech
WhisperAlign通过词边界感知的ASR和WhisperX锚定的Pyannote分离方法，有效提升了孟加拉语长形式语音的转录和说话人分离精度。
2026-03-05 cs.LG cs.SD
Can Contextual Biasing Remain Effective with Whisper and GPT-2?
University of Cambridge（剑桥大学）
本文针对 Whisper 与 GPT-2 中的低频实词识别问题，提出适配 TCPGen 的神经上下文偏置方法及专用训练方案，在不修改 Whisper 参数的前提下显著降低偏置词错误并保持模型通用性。
2023-06-02 cs.CL cs.SD eess.AS
Whisper-MLA: Reducing GPU Memory Consumption of ASR Models based on MHA2MLA Conversion
College of Intelligence and Computing, Tianjin University, Tianjin, China（智能与计算学院，天津大学，天津，中国）；Banma Network Technology Co., Ltd.（Banma网络技术有限公司）
Whisper-MLA通过将多头潜在注意力应用于解码器自注意力模块，有效降低ASR模型的GPU内存消耗，同时保持较高的识别准确性。
2026-02-28 cs.AI cs.SD
Bangla-WhisperDiar: Fine-Tuning Whisper and PyAnnote for Bangla Long-Form Speech Recognition and Speaker Diarization
Department of ECE, North South University（北南大学电子与计算机工程系）
本文通过微调Whisper和PyAnnote模型，解决孟加拉语长篇语音识别和说话人辨识的挑战，实现了WER 0.2441和DER 0.2392的性能提升。
2026-05-06 cs.AI cs.SD eess.AS
WER We Stand: Benchmarking Urdu ASR Models
Lahore University of Management Sciences（拉瓦尔大学管理科学学院）；University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；EMBL European Bioinformatics Institute（欧洲生物信息学研究所）
本文通过WER评测Whisper、MMS和Seamless-M4T三类乌尔都语ASR模型，并发布首个乌尔都语对话语音基准数据集，揭示不同模型在朗读与对话场景下的性能差异及文本规范化需求。
2025-06-06 cs.CL cs.SD eess.AS
Evaluating ASR robustness to spontaneous speech errors: A study of WhisperX using a Speech Error Database
Khoury College of Computer Sciences（科里学院计算机科学学院）
本文利用SFUSED语音错误数据库的多维标注，评估WhisperX在5300个自发语音错误上的转写准确率，证明该数据库可作为ASR系统性能诊断的有效工具。
2025-08-18 cs.CL
Itgan at NADI 2026 shared task: Parameter-Efficient Whisper Adaptation for Robust, Mixed-Dialect and Code-Switched Arabic ASR
Itgan系统利用LoRA适配Whisper，在NADI 2026三个阿拉伯语ASR子任务中分别通过方言专用模型、基础模型选择和权重平均等策略，取得57.1%、46.7%和14.49%的WER，并报告了无效方向。
2026-10-08 cs.AI cs.CL cs.SD
Fine-Tuning Whisper for Inclusive Prosodic Stress Analysis
Rutgers University – New Brunswick（罗格斯大学新不伦瑞克分校）
本研究通过微调Whisper large-v2模型识别语音中的三种韵律重音，实现了接近人类的准确率，并在性别与神经类型分类上达到近乎完美的精确度，推动了面向多样人群的公平且稳健的转录技术发展。
2025-03-03 cs.LG cs.SD eess.AS
Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling
National Taiwan University（台湾大学）；ASUS（华硕电脑）；AICS（先进创新研究中心）
针对Whisper模型在未见语言上的识别局限，提出利用语言间共享特征的方法，通过加权求和与预测器优化语言嵌入，显著提升了零样本和微调设置下的多语言ASR性能。
2024-12-21 cs.CL eess.AS
A Multitask Training Approach to Enhance Whisper with Contextual Biasing and Open-Vocabulary Keyword Spotting
Huawei Translation Services Center（华为翻译服务中心）
本文提出KWS-Whisper，通过在Whisper编码器隐藏状态上进行开放词汇关键词识别，并以多任务训练结合上下文ASR，显著提升罕见命名实体的识别召回率，且OV-KWS可作为即插即用模块增强纠错与冻结模型。
2024-06-06 cs.AI cs.CL
CantoASR: Prosody-Aware ASR-LALM Collaboration for Low-Resource Cantonese
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hong Kong University of Science and Technology（香港科学与技术大学）；National Taiwan University, Taiwan（台湾国立台湾大学）；Columbia University（哥伦比亚大学）；WeBank Co., Ltd., Shenzhen, China（深圳网商银行有限公司）
CantoASR通过强制对齐、LoRA微调Whisper和指令微调Qwen-Audio的协作纠错框架，利用韵律与声学线索显著降低低资源粤语ASR的字符错误率。
2025-11-06 cs.CL cs.SD
Audio-Conditioned Diffusion LLMs for ASR and Deliberation Processing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文提出基于扩散的LLaDA模型用于ASR，通过改进解码策略降低WER，展示其在语音识别中的有效性。
2026-02-27 cs.AI cs.SD eess.AS
When Audio Separation Hurts Zero-Shot ASR: Evaluating SAM-Audio with Whisper on Bengali and English Speech
Department of Computer Science and Engineering, University of Rajshahi（计算机科学与工程系，拉贾沙希大学）；Anan National College of Technology（安安国立技术学院）
研究发现，SAM-Audio预处理虽提升信号质量，但导致零样本ASR识别性能下降，揭示了机器识别与人类感知的不匹配问题。
2026-07-16 cs.AI cs.LG cs.SD
There is more than one kind of robustness: Fooling Whisper with adversarial examples
Carnegie Mellon University（卡内基梅隆大学）
本文发现 Whisper 对随机噪声的鲁棒性不适用于对抗噪声，极小扰动即可使其性能大幅下降或被诱导输出指定句子，并指出其语言检测器漏洞及对对抗鲁棒 ASR 的需求。
2023-08-10 cs.AI cs.CL cs.LG
Language-Aware Prompt Tuning for Parameter-Efficient Seamless Language Expansion in Multilingual ASR
School of Computer Science（计算机科学学院）；College of Computing and Data Science（计算与数据科学学院）；College of Computing（计算学院）
本文提出全软提示调优和语言感知提示调优，集成到Whisper中，在FLEURS上语言扩展任务分别提升5.0%和16.0%，实现低开销的多语言ASR扩展。
2025-06-16 cs.AI cs.CL cs.SD
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
NAVER LABS Europe（NAVER欧洲实验室）；Télécom Paris（巴黎电信学院）
DistilWhisper通过语言特定专家和知识蒸馏提升欠代表语言的ASR性能，同时保持多任务和多语言能力。
2025-11-29 cs.CL cs.SD eess.AS
Muting Whisper: A Universal Acoustic Adversarial Attack on Speech Foundation Models
本文提出一种通用声学对抗攻击，通过学习Whisper的<|endoftext|>标记的声学实现并前置到语音上，使模型忽略语音并仅转录该标记，实现97%以上样本的静音效果，且可跨数据集迁移，既带来风险也有隐私保护等潜在益处。
2024-07-17 cs.CL cs.SD eess.AS
Mai Ho'omāuna i ka 'Ai: Language Models Improve Automatic Speech Recognition in Hawaiian
The MITRE Corporation（米特里公司）；University of Hawai‘i at Hilo（夏威夷大学希洛分校）；University of Oxford（牛津大学）
针对夏威夷语低资源ASR难题，本文用约150万词文本训练外部语言模型并重打分Whisper，在人工测试集上显著降低WER，证明充分利用可用数据可改进代表性不足语言的语音识别。
2024-04-03 cs.CL cs.LG cs.SD
BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR System for the Balti Language
Independent Researcher（独立研究员）；The Islamia University of Bahawalpur（伊斯兰巴哈瓦尔普尔大学）
针对无公开ASR资源的巴尔蒂语，构建16.8小时朗读语音语料库并微调Whisper-small模型，在验证集上词错误率从182.18%降至30.07%。
2026-09-10 cs.AI cs.CL
Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
针对多语言低资源语音识别中微调导致灾难性遗忘及跨任务干扰问题，提出统一梯度投影（UGP）方法，通过语言平衡重放的参考梯度约束参数更新，结合梯度级与数据级重放，有效减轻遗忘，实现有效适应。
2026-07-14 cs.CL cs.SD eess.AS
ASR Under the Stethoscope: Evaluating Biases in Clinical Speech Recognition across Indian Languages
本研究评估了印度多种语言中临床语音识别的偏见，发现不同模型在不同语言和人口群体中的表现差异显著，凸显了开发包容性ASR系统的重要性。
2025-11-30 cs.CL cs.SD eess.AS
Flavors of Moonshine: Tiny Specialized ASR Models for Edge Devices
本研究提出Flavors of Moonshine小型单语言ASR模型套件，通过混合多类数据训练，在27M参数量下性能远超同等及更大规模的Whisper系列模型，为多语言提供了高效的端侧语音识别方案并开源相关模型。
2025-09-02 cs.CL cs.LG cs.SD
FlowW2N: Whispered-to-Normal Speech Conversion via Flow-Matching
Samsung Electronics, Mobile eXperience Business（三星电子移动体验业务）
FlowW2N通过条件流匹配方法，在无需真实配对数据的情况下实现whisper到normal语音转换，显著提升可懂度并减少词错误率。
2026-10-02 cs.SD eess.AS
DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition
Brno University of Technology（布尔诺理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出 DiCoW，通过将说话人分离输出作为条件直接整合到预训练 Whisper 中，并引入 FDDT 与 QKb 技术，以摆脱对说话人嵌入的依赖，提升多说话人目标 ASR 对未见说话人的泛化能力与重叠语音处理效果。
2024-12-30 cs.SD eess.AS
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Can Whisper perform speech-based in-context learning?
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于语音的上下文学习方法（SICL），通过少量标注样本在测试时适应 Whisper 模型，无需梯度下降即可显著降低词错误率，并结合 k 近邻示例选择进一步提升效率。
2024-03-20 cs.CL cs.SD eess.AS
Fine-tuning Whisper for Pashto ASR: strategies and scale
Independent Researcher（独立研究员）
本文探讨了在普什图语语音识别中对Whisper进行微调的四种策略，发现基础模型微调在CV20上取得21.22%的WER，优于其他方法，且在CV24上whisper-small和whisper-large-v3-turbo分别达到24.89%和23.37%的WER。
2026-04-07 cs.CL
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan（美团）
本文提出MSR-86K，一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库，并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
