Navigating the Reality Gap: On-Device Continual Adaptation of ASR for Clinical Telephony
BITS Pilani, Pilani Campus, India(印度比斯帕利尼学院帕利尼校区);Qure.ai, India(印度Qure.ai)
针对临床电话场景中ASR性能严重下降的问题,使用Gram Vaani语料库作为代理,研究设备端持续适应方法,发现经验回放与弹性权重巩固之间的关键交互作用。
2026-10-02 cs.CL
Building an ASR Solution for Training and Assessing Children's Reading
针对班巴拉语儿童阅读语音识别空白,提出端到端开源系统,通过移动应用收集数据、构建基准、微调Soloni模型(Fast-Conformer+TDT/CTC),将WER从0.42降至0.22,并在课堂验证中支持持续使用。
2026-07-01 cs.CL cs.SD
WER is Unaware: Assessing How ASR Errors Distort Clinical Understanding in Patient Facing Dialogue
Ufonia Limited(Ufonia有限公司);University of York(约克大学);Oxford University Hospitals(牛津大学医院);Moorfields Eye Hospital(摩尔菲尔兹眼科医院)
本文提出通过LLM作为判断者评估ASR错误的临床影响,发现WER等指标与临床风险标签相关性低,引入优化的LLM模型提升评估准确性。
2026-01-19 cs.AI cs.CL
Speech Recognition for Automatically Assessing Afrikaans and isiXhosa Preschool Oral Narratives
Stellenbosch University(斯泰伦博斯大学);University of Edinburgh(爱丁堡大学)
本研究针对南非语和科萨语学龄前儿童口头叙事评估场景,基于Whisper模型验证多种儿童语音ASR策略,发现领域内成人数据结合语音转换提升最大,半监督学习对两种语言均有效。
2025-01-11 cs.CL cs.SD eess.AS
The Impact of ASR on the Automatic Analysis of Linguistic Complexity and Sophistication in Spontaneous L2 Speech
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
近年来,自动化的方法来评估语言的复杂性在第二语言(L2)的写作取得了显着的进展,在衡量学习者的表现,预测人类的评级的质量学习者的产品,并基准L2的发展。相比之下,在口语领域的工作相对较少,特别是在评估L2自发语音的全自动方法方面。虽然一个性能良好的ASR系统的重要性被广泛认可,很少有研究已经进行了调查,其性能对后续的自动文本分析的影响。在本文中,我们专注于这个问题,并检查使用国家的最先进的ASR系统的影响,随后自动分析的语言复杂性自发产生的L2语音。一组30个选定的措施被认为是,分为四类:句法,词汇,n-语法频率,和信息理论的措施。通过相关性分析确定了基于ASR生成与手动transmittance获得的这些测量值之间的一致性。还提出了在控制任务类型影响时,ASR性能对特定类型的复杂性措施的更有区别的影响。
2021-06-16 cs.CL
LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立高等理工学院);LIG(格勒诺布尔信息学实验室);Atos(源讯公司);ESPCI(巴黎高等物理化工学院);PSL Research University(巴黎文理研究大学);Naver Labs Europe(Naver欧洲实验室)
使用大量未标记数据的自监督学习(SSL)已成功地用于图像和自然语言处理。最近的作品也调查了SSL从语音。它们在提高下游任务(如自动语音识别(ASR))的性能方面取得了显著成功。虽然这些工作表明,有可能减少对标记数据的依赖,以建立有效的语音系统,他们的评估主要是在ASR和使用多个和异构的实验设置(其中大部分是英语)。这对SSL方法的客观比较以及它们对构建语音系统的影响的评估提出了质疑。在本文中,我们提出了LeBenchmark:一个可重复的框架,用于评估SSL从语音。它不仅包括ASR(高和低资源)任务,还包括口语语言理解、语音翻译和情感识别。我们还专注于不同于英语的语言:法语的语音技术。不同大小的SSL模型都是从精心来源和记录的数据集中训练出来的。实验表明,SSL对大多数但不是所有的任务都是有益的,这证实了需要详尽和可靠的基准来评估其真正的影响。LeBenchmark与科学界共享,用于从语音中进行SSL的可重复研究。
2021-06-10 cs.CL cs.SD eess.AS
HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics
Nantes University(南特大学);Le Mans University(勒曼大学);Avignon University(阿维尼昂大学)
本文提出HATS数据集,通过人类评估对比不同ASR系统的转录错误,探讨人类偏好与ASR评估指标的关系。
2026-04-30 cs.CL
Assessing the Feasibility of Lightweight Whisper Models for Low-Resource Urdu Transcription
National University of Computer and Emerging Sciences (FAST-NUCES)(国家计算机与新兴科学大学);PTCL Group(巴基斯坦电信公司集团)
本研究评估了轻量级 Whisper 模型在低资源乌尔都语语音识别中的可行性,发现未经微调的 Whisper-Small 取得最低 33.68% 的词错率,但仍面临语音准确性与词汇连贯性挑战,为低资源 ASR 研究奠定基础。
2025-08-13 cs.CL
WER We Stand: Benchmarking Urdu ASR Models
Lahore University of Management Sciences(拉瓦尔大学管理科学学院);University of Michigan - Ann Arbor(密歇根大学安娜堡分校);EMBL European Bioinformatics Institute(欧洲生物信息学研究所)
本文通过WER评测Whisper、MMS和Seamless-M4T三类乌尔都语ASR模型,并发布首个乌尔都语对话语音基准数据集,揭示不同模型在朗读与对话场景下的性能差异及文本规范化需求。
2025-06-06 cs.CL cs.SD eess.AS
FormalASR: End-to-End Spoken Chinese to Formal Text
本文提出FormalASR,一种端到端的中文语音到正式文本转换模型,通过构建大规模的语音到正式文本数据集,并使用Qwen3-ASR进行微调,实现了比原声基线减少37.4%的CER,同时提升了ROUGE-L和BERTScore指标,提供了一个轻量级的设备端解决方案。
2026-10-23 cs.AI cs.CL
Useful Blunders: Can Automated Speech Recognition Errors Improve Downstream Dementia Classification?
Institute of Health Informatics, University of Minnesota(明尼苏达大学健康信息学研究所);Biomedical Informatics and Medical Education, University of Washington(华盛顿大学生物医学信息学与医学教育系);Department of Pharmaceutical Care & Health Systems, University of Minnesota(明尼苏达大学药物护理与卫生系统系)
该研究发现在“Cookie Theft”图片描述任务中,不完美的ASR转录文本反而优于人工转录,能捕捉痴呆症相关语言异常并提升AD分类准确率,表明ASR错误具有临床应用价值。
2024-01-10 cs.CL cs.SD eess.AS
Proficiency assessment of L2 spoken English using wav2vec 2.0
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
英语作为第二语言学习的需求日益增长,导致人们对自动评估口语能力的方法越来越感兴趣。大多数方法使用手工制作的功能,但它们的有效性依赖于它们特定的基本假设,并且它们有可能丢弃有关熟练程度的潜在显着信息。其他方法依赖于由ASR系统产生的transmittance,其在特定场景中可能不提供学习者话语的忠实再现(例如,非母语儿童的自发言语)。此外,音准不产生任何有关方面的信息,如语调,节奏或韵律。在本文中,我们研究了使用wav2vec 2.0来评估两个小数据集的总体和个人方面的熟练程度,其中一个是公开的。我们发现,这种方法显着优于基于BERT的基线系统训练的ASR和手动transmittance用于比较。
2022-10-24 cs.CL cs.SD eess.AS
Investigating self-supervised, weakly supervised and fully supervised training approaches for multi-domain automatic speech recognition: a study on Bangladeshi Bangla
Shahjalal University of Science and Technology(沙贾拉尔科技大学);University of Malta(马耳他大学);Leading University(领先大学)
本研究通过BanSpeech基准(6.52小时、13领域)评估自监督wav2vec 2.0、弱监督Whisper和全监督CNN,发现自监督跨语言预训练最优,且模型对自发语音领域识别困难。
2023-05-11 cs.CL cs.SD eess.AS
The Balancing Act: Unmasking and Alleviating ASR Biases in Portuguese
MBZUAI(穆罕默德·本·扎耶德人工智能大学);ADAPT Centre, Trinity College Dublin(都柏林圣三一学院ADAPT中心);University of Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室)
本研究全面评估了Whisper和MMS在葡萄牙语日常对话ASR中的性别、年龄等偏见,引入p值统计分析,并证明过采样技术能有效缓解此类刻板偏见。
2024-02-12 cs.AI cs.CL cs.CY
StutterZero and StutterFormer: End-to-End Speech Conversion for Stuttering Transcription and Correction
Millburn High School(米尔伯恩高中)
本文提出 StutterZero 和 StutterFormer 两种端到端波形到波形模型,直接将口吃语音转换为流利语音并联合预测转写,在 WER 和 BERTScore 上显著优于 Whisper-Medium。
2025-11-05 cs.AI cs.CL eess.AS
ContextASR-Bench: A Massive Contextual Speech Recognition Benchmark
Alibaba Group(阿里巴巴集团)
针对现有ASR基准忽视语言能力评估的问题,提出大规模基准ContextASR-Bench,含4万条目、30万命名实体、覆盖10余领域,并设计三种评估模式,验证LALMs凭借世界知识大幅超越传统ASR模型。
2025-08-06 cs.CL cs.SD eess.AS
Zero-Shot Cross-lingual Aphasia Detection using Automatic Speech Recognition
Athena Research Center(雅典研究中心);Behavioral Signal Technologies(行为信号技术公司);National and Kapodistrian University of Athens(雅典国立卡波季斯特里亚大学)
失语症是一种常见的言语和语言障碍,通常由脑损伤或中风引起,影响全球数百万人。检测和评估患者的失语症是一个困难、耗时的过程,已经进行了许多尝试来自动化它,最成功的是使用在失语症语音数据上训练的机器学习模型。像在许多医疗应用中一样,失语症语音数据是稀缺的,并且在所谓的“低资源”语言中,这个问题更加严重,对于这项任务来说,大多数语言都不包括英语。我们试图利用现有的数据在英语和实现zero-shot失语症检测在低资源的语言,如希腊语和法语,通过使用语言不可知的语言特征。目前的跨语言失语症检测方法依赖于手动提取的成绩单。我们提出了一个端到端的管道使用预训练的自动语音识别(ASR)模型,共享跨语言的语音表示,并微调为我们所需的低资源语言。为了进一步提高ASR模型的性能,我们还将其与语言模型相结合。我们表明,我们基于ASR的端到端管道提供了与以前使用人类注释的转录本的设置相当的结果。
2022-04-01 cs.AI cs.CL cs.LG
Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models
HKUST(香港科技大学)
本文首次在自动语音识别(ASR)中定义并研究幻觉现象,提出一种无需训练数据的基于扰动的方法,以区分具有相似词错误率的幻觉与非幻觉模型,并构建识别框架与探究噪声对幻觉的影响。
2024-01-03 cs.CL cs.SD eess.AS
Automatic Assessment of Oral Reading Accuracy for Reading Diagnostics
Radboud University Nijmegen(拉德堡德大学奈梅亨分校)
本研究评估了六个基于ASR的系统使用Kaldi和Whisper自动评估荷兰语口语阅读准确性的效果,发现包含阅读错误的语言模型系统表现最佳,与人类评估达到了实质性一致。
2023-06-06 cs.CL cs.SD eess.AS
Can large audio language models understand child stuttering speech? speech summarization, and source separation
Department of Computer Science, University of Florida, Gainesville, FL, USA(佛罗里达大学计算机科学系);Department of Computer Science, Lebanese American University(黎巴嫩美国大学计算机科学系)
本研究评估大型音频语言模型在儿童口吃语音上的源分离与摘要能力,发现其性能受场景影响,并为临床应用提供指导。
2025-10-21 cs.CL cs.SD eess.AS
Transcending Controlled Environments Assessing the Transferability of ASRRobust NLU Models to Real-World Applications
NUCES(巴基斯坦国立计算机与新兴科学大学)
本文研究乌尔都语智能家居场景下ASR鲁棒NLU模型从受控环境到真实应用的迁移能力,基于UrduBERT结合迁移学习与领域自适应等方法评估其鲁棒性和适应性。
2024-01-12 cs.AI cs.SD eess.AS
Benchmarking Automatic Speech Recognition Tools for Iberian Languages
Telefónica Innovación Digital(西班牙电信数字创新);Universidad Autónoma de Madrid(马德里自治大学)
该研究对十一个ASR系统在五种伊比利亚语言及两种对照语言上进行基准测试,发现无单一模型全面占优,低资源语言性能显著下降且存在性别差异,为实际模型选择提供指导。
2026-09-30 cs.CL
Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech
Carnegie Mellon University(卡内基梅隆大学);Mohammed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
针对现有合成语音自动评估指标多局限于可懂度的问题,提出通过在合成语音上训练ASR模型、用其在真实语音上的WER衡量语音分布相似性的评估方法,该指标与MOS的自然度和可懂度均有强相关性。
2023-10-01 cs.CL cs.SD eess.AS
FairLENS: Assessing Fairness in Law Enforcement Speech Recognition
Texas A&M University(德克萨斯农工大学);Axon Enterprise, Inc.(安讯企业公司);Rice University(莱斯大学)
本文提出FairLENS公平性评估框架,含新评估方法与多场景数据集,对12个ASR模型评估发现模型间偏见差异及声学域变化引发新偏见,为用户选择模型提供指南。
2024-05-28 cs.AI cs.CY eess.AS
Adapting an ASR Foundation Model for Spoken Language Assessment
ALTA Institute(ALTA研究所);Cambridge University(剑桥大学);Cambridge University Press & Assessment(剑桥大学出版社与评估部);EST Ltd(EST有限公司)
针对口语评估中ASR输出可读性高但不够精确的问题,分析Whisper输出,提出微调和软提示调优两种方法,实验表明能有效生成考生实际所说的单词。
2023-10-10 cs.CL cs.SD eess.AS
Automatic Pronunciation Error Detection and Correction of the Holy Quran's Learners Using Deep Learning
Faculty of Engineering, Ain Shams University(艾因夏姆斯大学工程学院)
本研究针对《古兰经》学习者的发音错误检测与纠正问题,构建了自动化数据集生成流水线与基准qdat_bench,提出基于QPS的ASR方法与多级CTC模型,实现了高精度的发音错误检测。
2026-08-31 cs.AI cs.CL cs.LG
Detecting Adversarial Examples for Speech Recognition via Uncertainty Quantification
Ruhr University Bochum(波鸿鲁尔大学)
机器学习系统,特别是自动语音识别(ASR)系统容易受到对抗性攻击,其中攻击者恶意地改变输入。在ASR系统的情况下,最有趣的情况是有针对性的攻击,其中攻击者的目的是迫使系统识别任意音频样本中的给定目标传输。越来越多的复杂的,准不可察觉的攻击提出了对策的问题。在本文中,我们专注于混合ASR系统,并比较了四种声学模型在攻击下指示不确定性的能力:前馈神经网络和三个专门为不确定性量化设计的神经网络,即贝叶斯神经网络,蒙特卡洛辍学和深度合奏。我们采用声学模型的不确定性度量来构建一个简单的一类分类模型,用于评估输入是良性的还是敌对的。基于这种方法,我们能够检测到接收算子曲线得分超过0.99的对抗性示例。用于不确定性量化的神经网络同时减少了对攻击的脆弱性,这反映在与标准混合ASR系统相比恶意目标文本的识别准确性较低。
2020-08-02 cs.CR cs.LG cs.SD
Advanced accent/dialect identification and accentedness assessment with multi-embedding models and automatic speech recognition
本研究利用预训练语言识别和说话人识别模型的嵌入,结合端到端口音识别模型,提高口音分类准确率,并利用ASR和AID模型估计口音程度,验证了其与人类感知的主观评分强相关。
2023-10-17 eess.AS eess.SP
Simulating Native Speaker Shadowing for Nonnative Speech Assessment with Latent Speech Representations
Graduate School of Engineering(工学研究生院);The University of Tokyo(东京大学)
本研究提出一种基于语音转换和潜在语音表示的语音生成系统,模拟母语者跟读过程,以评估非母语者的语音可懂度,实验证明该方法有效且使用自监督表示效果更佳。
2024-09-19 cs.SD eess.AS
Towards Temporally Explainable Dysarthric Speech Clarity Assessment
National University of Singapore(新加坡国立大学);Korea University(韩国大学);Alexandra Hospital(亚历山大医院)
本研究针对构音障碍语音,提出一种包含清晰度打分、错误定位与类型分类的三阶段可解释评估框架,利用预训练ASR模型分析自动发音错误反馈,为临床干预与患者独立练习提供见解。
2025-05-31 cs.HC cs.SD eess.AS
Learnings from curating a trustworthy, well-annotated, and useful dataset of disordered English speech
Google Research(谷歌研究院);MGH-IHP(麻省总医院-哈佛医学院卫生科学与技术部);Language and Cognition UCL(伦敦大学学院语言与认知学院);CPUnlimited
本文介绍Google的Project Euphonia项目在构建高质量障碍英语语音数据集上的进展,包括扩充说话人多样性、添加人工修正转录与音频标签、收集元数据,并分析了相关方法的效果与局限。
2024-09-13 cs.SD eess.AS