Open Source Automatic Speech Recognition for German
Universität Hamburg(汉堡大学)
高质量的自动语音识别(ASR)是语音应用和研究的前提。虽然最先进的ASR软件是免费可用的,但由于免费可用的训练数据的量有限,因此缺乏针对英语以外的语言的语言相关声学模型。我们用Kaldi在两个数据集上为德语训练声学模型,这两个数据集都是在知识共享许可下分发的。由此产生的模型可以自由再分配,降低了德国ASR的进入成本。这些模型在总共412小时的德语阅读语音数据上进行训练,通过将来自口语维基百科语料库的数据添加到以前最好的免费德语声学模型配方和数据集,我们实现了26%的相对单词错误减少。我们最好的模型在Tuda-De测试集上实现了14.38的字出错率。由于训练数据中包含大量的说话人和话题的多样性,我们的模型对说话人变化和话题转移具有鲁棒性。
2018-07-26 cs.CL
wav2vec and its current potential to Automatic Speech Recognition in German for the usage in Digital History: A comparative assessment of available ASR-technologies for the use in cultural heritage contexts
University of Graz(格拉茨大学)
在本案例研究中,我们为德语自动语音识别(ASR)培训并发布了一个最先进的开源模型,以评估该技术在数字人文和文化遗产更大背景下的当前潜力。随着这篇论文,我们发布了我们基于wav2vec2的语音到文本模型,同时我们评估了它在我们收集的历史录音语料库上的性能,并与基于商业云的专有服务进行了比较。虽然我们的模型取得了中等的结果,但我们看到专有云服务的表现要好得多。正如我们的结果所示,目前可以实现超过90%的识别率,但是,一旦录音的音频质量有限或使用非日常或过时的语言,这些数字就会迅速下降。一个大问题是德语中不同方言和口音的高度多样性。尽管如此,本文强调,目前可用的识别质量足够高,可以解决数字人文学科中的各种用例。我们认为,ASR将成为一个关键技术的文件和分析的视听来源,并确定了一系列的重要问题,卫生署社区和文化遗产的利益相关者将不得不在不久的将来解决。
2023-03-06 cs.CL cs.LG cs.SD
Subtitle-Aligned Fine-Tuning of Whisper for Swiss German ASR: Benchmark Contamination, Convention Mismatch, and an Honest Baseline at 25.6% WER (13.8% cWER)
Independent Researcher, Zurich, Switzerland(独立研究员,瑞士苏黎世);ETH Zürich(苏黎世联邦理工学院);University of Bern(伯尔尼大学);FHNW(西北应用科学与艺术大学);CeTIM Leiden/Munich(CeTIM 莱顿/慕尼黑)
通过1,367小时广播语音与标准德语字幕的弱监督,系统微调Whisper large-v3用于瑞士德语音识,发现公开结果因基准污染被高估,并发布两个诚实评估的模型。
2026-05-29 cs.AI cs.CL cs.LG
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
A Technical Report: BUT Speech Translation Systems
Brno University of Technology(布尔诺理工大学)
本文介绍了BUT的语音翻译系统。该系统是英语$\longrightarrow$德语离线语音翻译系统。该系统是基于我们以前的工作\cite{Jointly_trained_transformers}。虽然端到端和级联(ASR-MT)口语翻译系统达到了相当的性能,但与Oracle输入文本相比,在翻译ASR假设时观察到了很大的下降。为了减少这种性能下降,我们联合训练了ASR和MT模块,ASR目标作为辅助损失。两个网络通过神经隐藏表示连接。该模型具有相对于最终目标函数的端到端可微路径,并且还利用ASR目标进行更好的优化。在推理期间,两个模块(即,ASR和MT)通过对应于n个最佳假设的隐藏表示连接。与独立训练的ASR和MT模型相结合,进一步提高了系统的性能。
2020-10-22 cs.AI cs.CL
Using Kaldi for Automatic Speech Recognition of Conversational Austrian German
Graz University of Technology(格拉茨工业大学)
随着对话系统的交互性和社会化程度的提高,对对话语音进行准确的自动语音识别(ASR)也变得越来越重要。这将焦点从简短的、自发的、以任务为导向的对话转移到了更复杂的、随意的面对面对话上。然而,这种对话的收集和注释是一个耗时的过程,并且对于这种特定的说话风格来说,数据是稀疏的。本文介绍了ASR实验与阅读和会话的奥地利德语为目标。为了处理只有有限的资源可用于德语会话,并在同一时间,与扬声器之间的发音特征有很大的变化,我们改进了基于Kaldi的ASR系统,通过将(大)基于知识的发音词典,同时探索不同的基于数据的方法来限制每个词条的发音变体的数量。我们实现了最好的WER的0.4%,奥地利德语阅读语音和最好的平均WER的48.5%,会话语音。我们发现,通过使用我们最好的发音词典,可以实现类似的高性能比通过增加用于语言模型的数据的大小约。360%到760%。我们的研究结果表明,对于低资源的情况下,尽管语音技术的一般趋势是只使用基于数据的方法,基于知识的方法是一个成功的,有效的方法。
2023-01-16 cs.CL cs.SD eess.AS
Language Dependencies in Adversarial Attacks on Speech Recognition Systems
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Technical University Munich(慕尼黑工业大学);Technische Universität Darmstadt(达姆施塔特工业大学)
自动语音识别(ASR)系统普遍存在于我们的日常设备中。它们容易受到对抗攻击的攻击,其中操纵的输入样本欺骗了ASR系统的识别。虽然已经分析了各种英语ASR系统的对抗性示例,但还没有跨语言比较脆弱性分析。我们以Deepspeech为例,比较了德语和英语ASR系统的可攻击性。我们调查,如果一个语言模型是更容易受到操纵比其他。我们的实验结果表明,在成功生成对抗性示例所需的计算工作量方面,英语和德语之间存在统计上的显著差异。这一结果鼓励进一步研究的语言依赖特性的鲁棒性分析的ASR。
2022-02-02 cs.CL cs.CR cs.SD
Understanding Multilingual Medical ASR Adaptation Through Layer-Wise Analysis
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);University of Sheffield(谢菲尔德大学);Technical University of Munich (TUM)(慕尼黑工业大学)
本文通过分层分析Whisper模型,对比多种适配方案,发现微调可提升多语言医学ASR性能,不同设置下最优模型有别,且英语医学微调引发编码器主导偏移,多语言延续保留适配表征空间。
2026-08-20 cs.AI cs.CL cs.LG
Does Whisper understand Swiss German? An automatic, qualitative, and human evaluation
Linguistics Center Zurich(苏黎世语言学中心);German Department(德语系);University of Zurich(苏黎世大学);Department of Computational Linguistics(计算语言学系);Phonetics & Speech Sciences(语音与言语科学系)
本文通过自动指标、定性分析和28人人工调查,在四个测试集上评估 Whisper 对瑞士德语的转写表现,证明其可作为输出标准德语的可行 ASR 系统。
2024-05-09 cs.CL
Benchmarking von ASR-Modellen im deutschen medizinischen Kontext: Eine Leistungsanalyse anhand von Anamnesegesprächen
Hochschule Pforzheim(波恩大学);XPACE GmbH(XPACE公司)
本文在德语医疗背景下评估了29种ASR模型的性能,发现不同模型在处理医疗术语和方言影响时存在显著差异。
2026-01-23 cs.AI cs.CL
Replay to Remember: Continual Layer-Specific Fine-tuning for German Speech Recognition
University of Hamburg(汉堡大学)
本文针对大规模ASR模型微调新领域时原始领域性能下降的问题,利用SVC-de数据集,通过层级特定微调和Experience Replay持续学习,在新领域达到低于5%的WER并稳定通用识别性能。
2023-10-18 cs.CL cs.SD eess.AS
Swiss Parliaments Corpus, an Automatically Aligned Swiss German Speech to Standard German Text Corpus
Institute for Data Science(数据科学研究所);University of Applied Sciences and Arts Northwestern Switzerland(瑞士西北应用科学与艺术大学)
我们提供瑞士议会语料库(SPC),这是一个自动对齐的瑞士德语演讲与标准德语文本语料库。该语料库的第一版基于伯尔尼州议会的公开数据,包括293小时的数据。它是使用一种新的强制句子对齐过程和对齐质量估计器创建的,可以用来权衡语料库的大小和质量。我们在不同的数据子集上训练了自动语音识别(ASR)模型作为基线,并在SPC测试集上实现了0.278的单词出错率(WER)和0.586的BLEU得分。语料库可免费下载。
2021-06-09 cs.CL cs.LG
On the Difficulty of Token-Level Modeling of Dysfluency and Fluency Shaping Artifacts
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡技术大学乔治·西蒙·奥姆学院);Technische Hochschule Rosenheim(罗森海姆技术大学);KST Institut GmbH(KST研究所)
本文提出一种轻量级适应方法,用于提升ASR对语流和流畅性修改的识别能力,同时揭示多语言端到端系统在处理德语数据时的局限性。
2025-11-18 cs.AI cs.CL cs.LG
Improving RNN Transducer Based ASR with Auxiliary Tasks
Facebook AI(Facebook人工智能)
与传统的混合语音识别器相比,具有单个神经网络的端到端自动语音识别(ASR)模型最近已经展示了最先进的结果。具体而言,循环神经网络传感器(RNN-T)在各种基准测试中表现出具有竞争力的ASR性能。在这项工作中,我们研究了RNN-T通过执行辅助任务来实现更好的ASR准确性的方法。我们建议(i)使用与主要RNN-T ASR任务相同的辅助任务,以及(ii)像传统的混合建模一样执行上下文相关的字形状态预测。在转录具有不同训练数据大小的社交媒体视频时,我们首先评估三种语言的流式ASR性能:罗马尼亚语,土耳其语和德语。我们发现,这两种方法提供了一致的改进。接下来,我们观察到两个辅助任务在学习RNN-T标准的深度Transformer编码器方面都表现出了有效性,从而与之前的顶级模型相比,在LibriSpeech测试-干净/其他上实现了具有竞争力的结果- 2.0%/4.2% WER。
2020-11-09 cs.CL cs.SD eess.AS
A Swiss German Dictionary: Variation in Speech and Writing
University of Zurich(苏黎世大学);University of Fribourg(弗里堡大学);Swisscom AG(瑞士电信公司)
我们介绍了一个字典,其中包含各种瑞士德语方言的常见单词的形式规范化为高地德语。由于瑞士德语目前是一种主要的口头语言,即使在同一方言的使用者之间,书面形式也有很大的差异。为了减轻与这种多样性相关的不确定性,我们补充了瑞士德语-高地德语单词与瑞士德语音标(SAMPA)。这本词典因此成为第一个将大规模自发翻译与语音翻译相结合的资源。此外,我们控制区域分布,并确保主要瑞士方言的平等代表性。瑞士德语的语音和书面形式的结合是强大的。我们表明,他们是足够的训练一个变压器为基础的音素字形模型,产生可信的小说瑞士德语作品。此外,我们表明,逆映射-从字素到音素-可以建模与Transformer训练与新的字典。这种生成以前未知单词的发音是训练可扩展自动语音识别(ASR)系统的关键,ASR系统是本词典的主要受益者。
2020-03-31 cs.CL
Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing
nyra labs(nyra实验室)
研究针对现代语音识别模型中因转录风格为潜在变量导致的问题,通过覆盖感知解码器任务令牌等方法,提升德语不流畅F1,全英文微调超越基线,引入监督交叉注意力微调改进时间戳,还提出新任务用于创建和丰富语音语料库。
2026-07-22 cs.CL
Faster, Simpler and More Accurate Hybrid ASR Systems Using Wordpieces
Facebook AI(Facebook人工智能)
在这项工作中,我们首先表明,在广泛使用的LibriSpeech基准,我们的基于变换的上下文相关的连接主义时间分类(CTC)系统产生的最先进的结果。然后,我们表明,使用词片作为建模单元结合CTC训练,与传统的基于帧的交叉熵训练相比,我们可以通过排除所有的GMM自举,决策树构建和力对齐步骤来大大简化工程管道,同时仍然实现非常有竞争力的单词错误率。此外,使用字段作为建模单元可以显着提高运行时效率,因为我们可以使用更大的步幅而不会失去准确性。我们在两个内部VideoASR数据集上进一步证实了这些发现:德语,类似于英语作为融合语言,土耳其语,这是一种粘着语言。
2020-08-16 cs.CL eess.AS
Cascaded Models With Cyclic Feedback For Direct Speech Translation
Heidelberg University(海德堡大学);Computational Linguistics(计算语言学);IWR, Heidelberg University(海德堡大学IWR研究所)
针对直接语音翻译数据稀缺问题,提出带循环反馈的ASR-MT级联模型,通过自训练优化ASR、微调MT提升拼写容忍度,在德英翻译任务上取得优于同条件端到端模型的BLEU提升。
2021-02-11 cs.CL
The IWSLT 2021 BUT Speech Translation Systems
Brno University of Technology(布尔诺理工大学)
本文介绍了BUT为IWSLT 2021开发的英语到德语离线语音翻译(ST)系统。它们基于联合训练的自动语音识别-机器翻译模型。它们的性能在MustC-Common测试集上进行了评估。在这项工作中,我们从具有大量单独的ASR训练数据和MT训练数据以及少量的语音翻译训练数据的角度来研究它们的效率。大量的ASR和MT训练数据被用于预训练ASR和MT模型。语音翻译数据用于通过定义从语音到翻译的端到端可区分路径来联合优化ASR-MT模型。为此,我们使用ASR解码器的内部连续表示作为MT模块的输入。我们表明,语音翻译可以进一步提高训练ASR解码器联合MT模块使用大量的纯文本MT训练数据。我们还通过训练能够生成标点文本的ASR模块,而不是将标点任务留给MT模块来显示显着的改进。
2021-07-13 cs.CL cs.SD eess.AS
Transfer Learning for Speech Recognition on a Budget
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
自动语音识别(ASR)系统的端到端训练需要大量数据和计算资源。我们探索基于模型自适应的迁移学习,作为在受限的GPU内存、吞吐量和训练数据下训练ASR模型的方法。我们进行了几个系统的实验,适应Wav2Letter卷积神经网络最初训练英语ASR的德语。我们表明,这种技术可以更快地训练消费级资源,同时需要更少的训练数据,以达到相同的准确性,从而降低其他语言的培训ASR模型的成本。模型内省表明,对网络权重的小调整足以获得良好的性能,特别是对于内层。
2017-06-01 cs.CL cs.LG cs.NE
Speaker adaptation for Wav2vec2 based dysarthric ASR
Brno University of Technology(布尔诺理工大学)
由于缺乏训练数据和说话人特征严重失配,构音障碍语音识别面临着重大挑战。最近的ASR系统受益于现成的预训练模型,如wav2vec2,以提高识别性能。使用fMLLR和xvectors的说话者自适应为构音障碍语音提供了主要增益,而自适应数据非常少。然而,在wav2vec2微调期间,wav2vec2与fMLLR功能或xvectors的集成还有待探索。在这项工作中,我们提出了一个简单的自适应网络微调wav2vec2使用fMLLR功能。自适应网络还可以灵活地处理其他扬声器自适应功能,如xvectors。实验分析表明,使用我们提出的方法在所有损伤严重程度上都有稳定的改善,并且在UASpeech数据集上达到了57.72\%WER。我们还在德国数据集上进行了实验,以证实我们提出的方法在不同领域的一致性。
2022-04-02 cs.AI cs.LG cs.SD
The USFD Spoken Language Translation System for IWSLT 2014
University of Sheffield(谢菲尔德大学)
谢菲尔德大学(USFD)于2014年参加了国际口语翻译研讨会(IWSTO)。本文将介绍USFD系统在IWESCDMA中的应用。自动语音识别(ASR)是通过两个多通道深度神经网络系统与适应和重新评分技术。机器翻译是通过基于短语的系统来实现的。USFD主系统采用了最先进的ASR和MT技术,并在使用IWITH2014数据的英语到法语和英语到德语语音到文本翻译任务中给出了23.45和14.75的BLEU分数。USFD对比系统通过使用质量评估系统对ASR输出进行重新评分,从而优化更好的翻译,从而探索ASR和MT的集成。这使得IWITH2012和2014年的评估数据分别进一步提高了0.54和0.26 BLEU。
2015-09-13 cs.CL
Guided contrastive self-supervised pre-training for automatic speech recognition
Amazon(亚马逊)
对比预测编码(CPC)是一种表示学习方法,它最大化中间潜在表示与给定模型的输出之间的互信息。它可用于有效地初始化自动语音识别(ASR)模型的编码器。我们提出了一种新的修改CPC称为引导对比预测编码(GCPC)。我们所提出的方法最大限度地提高了从先验知识模型的表示和模型的输出之间的互信息进行预训练,允许在预训练过程中的先验知识注入。我们验证我们的方法3 ASR任务:德语,法语和英语。与从头开始训练相比,我们的方法在所有三个数据集上的表现都优于CPC预训练,德语、法语和英语(Librisepeech)任务的单词出错率(WER)相对分别降低了4.44%、6.55%和15.43%,而CPC预训练仅带来了2.96%、1.01%和14.39%的相对WER降低。
2022-10-22 cs.CL cs.SD eess.AS
Data Efficient Direct Speech-to-Text Translation with Modality Agnostic Meta-Learning
Samsung Research(三星研究院)
端到端语音翻译(ST)模型具有几个优点,例如较低的延迟、较小的模型大小以及比组合自动语音识别(ASR)和文本机器翻译(MT)模型的常规流水线更少的错误复合。然而,收集大量的并行数据的ST任务是更困难的ASR和MT任务相比。以往的研究提出了使用迁移学习的方法来克服上述困难。这些方法受益于弱监督的训练数据,例如ASR语音到转录本或MT文本到文本翻译对。然而,这些模型中的参数独立于每个任务进行更新,这可能导致次优解决方案。在这项工作中,我们采用Meta学习算法训练一个模态无关的多任务模型,将知识从源任务=ASR+MT转移到目标任务=ST,其中ST任务严重缺乏数据。在元学习阶段,模型的参数暴露于大量的语音转录(例如,英语ASR)和文本翻译(例如,英语-德语MT)。在此阶段,参数以理解语音、文本表示、它们之间的关系的方式更新,并作为目标ST任务的良好初始化点。我们评估建议的元学习方法ST任务的英语-德语(En-De)和英语-法语(En-Fr)的语言对多语言语音翻译语料库(Must-C)。我们的方法优于以前的迁移学习方法,并通过分别获得9.18和11.76的BLEU点改进,为En-De和En-Fr ST任务设置了新的最先进的结果。
2020-04-28 cs.CL cs.LG cs.SD
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory(信号处理与语音通信实验室);Speech Communication Laboratory(语音通信实验室)
本文提出一种结合突显检测的突显感知自动语音识别方法,通过微调wav2vec2模型标注语料并训练新型ASR系统,在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
AMPS: ASR with Multimodal Paraphrase Supervision
Indian Institute of Technology Bombay(印度孟买理工学院)
针对多语言对话式语音给ASR带来的挑战,本研究提出AMPS技术,通过复述监督增强多语言多模态ASR系统,结合SeamlessM4T模型实现WER最高5%的相对降低,并完成详细评估。
2025-04-16 cs.AI cs.CL cs.LG
Learning to Hear Hesitation: Continual Learning for Disfluency-Aware ASR
Knowledge Technology, Department of Informatics, University of Hamburg(汉堡大学信息学系知识技术研究所)
针对ASR系统忽略非流畅导致信息丢失的问题,提出基于连续学习与显式非流畅标记的方法,在预训练模型中引入标记并持续训练,分析标记学习与ASR性能的权衡及跨方法共享的交叉注意力头机制。
2026-06-15 cs.AI cs.CL cs.SD
Variational Low-Rank Adaptation for Personalized Impaired Speech Recognition
本文提出基于贝叶斯低秩适应的新型ASR个性化方法,通过高效微调提升受损语音识别准确率,同时保持数据和标注效率,解决低资源环境下语音障碍者的识别问题。
2026-03-16 cs.AI eess.AS
ASR Under Noise: Exploring Robustness for Sundanese and Javanese
MBZUAI;University of Waterloo(滑铁卢大学)
该研究针对爪哇语和巽他语,探索基于Whisper的ASR模型在噪声环境下的鲁棒性,通过实验合成噪声增强、SpecAugment等训练策略,发现噪声感知训练可显著提升鲁棒性,并揭示了语言特定的挑战与改进方向。
2025-09-30 cs.CL
Development of Hybrid ASR Systems for Low Resource Medical Domain Conversational Telephone Speech
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
本文针对德语-阿拉伯语和德语-越南语医疗会话电话语音翻译任务,开发混合ASR系统,通过数据收集、多种声学模型架构设计及方言困难处理,支持非专业口译员以改善医患沟通。
2023-09-22 cs.CL cs.SD eess.AS
Efficient Utilization of Large Pre-Trained Models for Low Resource ASR
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
针对越南语和德语医疗电话低资源ASR,本文研究大型预训练模型的高效利用,结合无监督技术、带宽迁移、架构与训练改进及少量领域内适配数据,显著超越项目基线。
2023-08-17 cs.CL cs.LG cs.SD
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft(微软)
神经传感器在自动语音识别(ASR)中得到了广泛的应用。在本文中,我们将其引入流端到端语音翻译(ST),其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译(MT)的级联ST相比,所提出的基于Transformer transducer(TT)的ST模型大大减少了推理延迟,利用了语音信息,并避免了从ASR到MT的错误传播。为了提高建模能力,我们提出了注意力池的联合网络在TT。此外,我们扩展了基于TT的ST多语言ST,它产生的文本在同一时间的多种语言。在大规模5万(K)小时伪标记训练集上的实验结果表明,基于TT的ST不仅显著减少了推理时间,而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
Evaluating Standard and Dialectal Frisian ASR: Multilingual Fine-tuning and Language Identification for Improved Low-resource Performance
Center for Language and Cognition(语言与认知中心);University of Groningen(格罗宁根大学);Mercator European Research Centre(默卡托欧洲研究中心);Fryske Akademy(弗里斯克学院);Speech Technology Lab(语音技术实验室)
本文针对低资源弗里斯兰语及其方言ASR性能不足问题,提出基于多语言微调和辅助语言识别任务的自监督迁移学习方法,并揭示方言数据采集方式对方言识别性能的调节作用。
2025-02-07 cs.CL cs.LG cs.SD
Making More of Little Data: Improving Low-Resource Automatic Speech Recognition Using Data Augmentation
University of Groningen(格罗宁根大学);Stanford University(斯坦福大学);University of Hawai’i at Mānoa(夏威夷大学马诺阿分校)
本研究探讨了数据增强技术对低资源语言ASR性能的提升,通过自训练和TTS生成数据,在四种少数民族语言上实现最高25.5%的相对词错率降低,有效缓解了数据稀缺问题。
2023-05-19 cs.CL eess.AS
Phonologically Informed Tokenization for German Speech Recognition: A Cross-Domain Study
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学)
本研究对比三类分词器在wav2vec 2.0-CTC模型上的德语跨域语音识别表现,发现分词器性能随词汇量和分布偏移变化,无单一通用最优解。
2026-10-09 cs.CL cs.LG
When Does an ASR Error Matter? Task-Role Diagnostics for Tool-Using Voice Agents
Leibniz University Hannover(汉诺威莱布尼茨大学)
该研究针对面向工具使用的语音智能体,提出SpeechEvalX配对诊断协议,发现ASR错误的下游影响取决于受影响的任务角色,数字和否定编辑对工具调用准确率的损失影响远大于控制编辑。
2026-10-14 cs.CL
Integrating Categorical Features in End-to-End ASR
Apple(苹果公司)
全神经、端到端的ASR系统迅速引起了语音识别社区的兴趣。这样的系统使用单个可训练神经网络模型将语音输入转换成文本单元。E2E模型需要大量的成对语音文本数据,这是昂贵的获得。可用的数据量因不同语言和方言而异。利用所有这些数据是至关重要的,这样低资源语言和高资源语言都可以得到改进。当我们想要为新的应用领域部署ASR系统时,特定于领域的训练数据的量非常有限。能够利用现有领域的数据对于新领域中的ASR准确性非常重要。在本文中,我们把所有这些方面作为分类信息的ASR系统,并提出了一个简单而有效的方法来集成到E2E模型的分类特征。我们对各种训练策略进行了详细的分析,发现构建一个包含分类特征的联合模型比多个独立训练的模型更准确。
2021-10-06 cs.CL cs.SD eess.AS
WER We Stand: Benchmarking Urdu ASR Models
Lahore University of Management Sciences(拉瓦尔大学管理科学学院);University of Michigan - Ann Arbor(密歇根大学安娜堡分校);EMBL European Bioinformatics Institute(欧洲生物信息学研究所)
本文通过WER评测Whisper、MMS和Seamless-M4T三类乌尔都语ASR模型,并发布首个乌尔都语对话语音基准数据集,揭示不同模型在朗读与对话场景下的性能差异及文本规范化需求。
2025-06-06 cs.CL cs.SD eess.AS
TEVR: Improving Speech Recognition by Token Entropy Variance Reduction
hajo UG(hajo有限责任公司);Institute for Neuro- and Bioinformatics, University of Lübeck(吕贝克大学神经与生物信息学研究所)
本文提出了TEVR,一个语音识别模型,旨在最大限度地减少变化的令牌熵w.r.t.到语言模型。这利用了这样一个事实,即如果语言模型无论如何都能可靠而准确地预测一个标记,那么声学模型在识别它时就不需要准确。我们用9亿个参数训练德语ASR模型,结果表明,在CommonVoice德语中,TEVR的单词出错率为3.64%,其通过字出错率的相对16.89%的降低而优于最好的报告结果。我们希望向社区发布我们经过充分训练的语音识别管道将在未来带来保护隐私的离线虚拟助手。
2022-06-25 cs.CL cs.SD eess.AS
MultiMed: Multilingual Medical Speech Recognition via Attention Encoder Decoder
University of Toronto(多伦多大学);University Health Network(大学健康网络);Knovel Engineering Lab(Knovel工程实验室);FPT University(佛邦大学);Florida Institute of Technology(佛罗里达技术学院);KU Leuven(鲁文大学);VNU University of Engineering and Technology(越南工程与技术大学);Johns Hopkins University(约翰霍普金斯大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本研究推出首个覆盖5种语言的多语种医疗ASR数据集MultiMed及配套端到端模型,开展多维度对比研究并提出工业场景优化的训练方案,所有资源均已开源。
2025-05-15 cs.CL cs.SD eess.AS
M-CIF: Multi-Scale Alignment For CIF-Based Non-Autoregressive ASR
School of Computer Science and Engineering, Northeastern University, Shenyang, China(计算机科学与工程学院,东北大学,沈阳,中国);NiuTrans Research(NiuTrans研究院);Kunming University of Science and Technology, China(昆明理工大学,中国)
针对CIF机制在非自回归语音识别中对齐稳定性不足的问题,提出多尺度CIF(M-CIF),通过逐步蒸馏字符和音素监督到子词表示实现多级对齐,在CommonVoice上德语和法语WER分别降低4.21%和3.05%。
2026-09-22 cs.CL cs.SD
Enhancing and Adversarial: Improve ASR with Speaker Labels
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
本研究提出利用说话人标签结合领域增强与对抗训练改进基于conformer的ASR,并设计自适应梯度反转层以稳定训练,实验验证了最优应用位置及组合策略,在Switchboard Hub5'00上实现7%相对提升。
2023-02-24 cs.CL cs.LG cs.SD
How much speech data is necessary for ASR in African languages? An evaluation of data scaling in Kinyarwanda and Kikuyu
本研究评估Whisper在非洲低资源语言基尼亚卢旺达语和基库尤语上的数据扩展需求,发现50小时数据即可实现实用性能,并指出数据质量对系统稳健性至关重要。
2025-10-08 cs.CL
Benchmarking Automatic Speech Recognition Tools for Iberian Languages
Telefónica Innovación Digital(西班牙电信数字创新);Universidad Autónoma de Madrid(马德里自治大学)
该研究对十一个ASR系统在五种伊比利亚语言及两种对照语言上进行基准测试,发现无单一模型全面占优,低资源语言性能显著下降且存在性别差异,为实际模型选择提供指导。
2026-09-30 cs.CL
Hard to Be Heard: Phoneme-Level ASR Analysis of Phonologically Complex, Low-Resource Endangered Languages
University of Tübingen(图宾根大学);University of Jena(耶拿大学)
研究通过音素级分析,探讨发音复杂且低资源的濒危语言在ASR中的表现,发现数据稀缺性比发音复杂性更影响识别性能。
2026-04-20 cs.CL
Code-Switching Detection Using ASR-Generated Language Posteriors
National University of Singapore(新加坡国立大学)
语码转换检测是指对语码混合话语中语言转换的自动检测。该任务可以通过使用能够处理这种语言切换的CS自动语音识别(ASR)系统来实现。在我们以前的工作中,我们已经调查了代码切换检测性能的弗里斯兰语-荷兰语CS ASR系统通过使用时间对齐的最有可能的假设,并发现这种技术遭受过度切换由于许多非常短的虚假语言开关。在本文中,我们提出了一种新的方法CS检测,旨在弥补这一缺点,通过使用的语言后验是属于同一语言的手机的帧级后验的总和。与ASR输出的时间对齐相比,CS ASR生成的语言后验包含帧级别上更完整的语言特定信息。因此,期望产生更准确和鲁棒的CS检测。CS检测实验表明,所提出的基于语言后验的方法提供了更高的检测精度比基线系统在相同的出错率。此外,一个详细的CS检测错误分析表明,使用语言后验减少了误报,结果在更强大的CS检测。
2019-06-19 cs.CL cs.SD eess.AS
Improving child speech recognition with augmented child-like speech
Delft University of Technology(代尔夫特理工大学)
针对儿童语音数据稀缺问题,本文提出儿童到儿童语音转换增强方法,发现跨语言VC可显著降低ASR词错误率,并确定不同训练方式下的最佳增强倍数。
2024-06-12 cs.CL cs.SD eess.AS
Exploring Dynamic Parameters for Vietnamese Gender-Independent ASR
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Institute of Digital Research and Innovation, CADT(数字研究与创新研究所,CADT)
本研究针对越南语ASR,提出结合极坐标SSCF动态参数与MFCC、用SSCF0作F0伪特征的方法,有效降低词错率并提升性别无关性。
2025-07-30 cs.CL cs.SD eess.AS
SpeeChain: A Speech Toolkit for Large-Scale Machine Speech Chain
本文介绍了SpeeChain,这是一个基于Pytorch的开源工具包,旨在开发大规模使用的机器语音链。第一个版本的重点是TTS到ASR链,这是机器语音链的核心组件,指的是通过未说出的文本为ASR进行TTS数据增强。为了为大规模TTS-to-ASR链构建高效的流水线,我们实现了易于使用的多GPU批处理级模型推理、多数据加载器批处理生成和动态数据选择技术。在本文中,我们首先解释了TTS-to-ASR链的整体过程和每个步骤的难点。然后,我们提出了一个详细的消融研究不同类型的未标记的数据,数据过滤阈值,批次组成,和真正的合成数据的比例。我们在LibriSpeech的train_clean_460上的实验结果表明,我们的TTS-to-ASR链可以显着提高半监督设置中的WER。
2023-01-08 cs.CL cs.LG eess.AS
LLM-based phoneme-to-grapheme for phoneme-based speech recognition
Xinjiang University(新疆大学);Tsinghua University(清华大学);School of Computer Science and Technology(计算机科学与技术学院);Guangxi Radio and Television Monitoring Center(广西广播电视监测中心)
本文提出LLM-P2G解码方法,通过DANP和TKM两种训练策略缓解级联信息损失,在波兰语和德语跨语言ASR中相比WFST系统分别降低3.6%和6.9%的相对WER。
2025-06-05 cs.CL cs.SD eess.AS
Earnings-21: A Practical Benchmark for ASR in the Wild
Center for Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence(卓越人类语言技术中心);Johns Hopkins University(约翰斯·霍普金斯大学)
常用的语音语料库不足以挑战学术和商业ASR系统。特别是,语音语料库缺乏详细的分析和WER测量所需的元数据。作为回应,我们提出了Earnings-21,这是一个39小时的财报电话语料库,包含来自九个不同金融行业的实体密集语音。该语料库旨在对ASR系统进行基准测试,特别关注命名实体识别。我们对四种商业ASR模型、两种使用开源工具构建的内部模型和一种开源LibriSpeech模型进行了基准测试,并讨论了它们在Earnings-21上的表现差异。使用我们最近发布的fstalign工具,我们提供了一个坦率的分析每个模型的识别能力在不同的分区。我们的分析发现,ASR的准确性,某些NER类别是穷人,提出了一个显着的障碍,成绩单的理解和使用。Earnings-21连接学术和商业ASR系统评估,并支持对实体建模和真实世界音频的WER进行进一步研究。
2021-06-16 cs.CL cs.SD eess.AS
CLiFT-ASR: A Cross-Lingual Fine-Tuning Framework for Low-Resource Taiwanese Hokkien Speech Recognition
National Taiwan Normal University(国立台湾师范大学);EZAI
针对低资源台语语音识别中汉字与罗马字标注难以兼顾的问题,提出基于普通话 HuBERT 的两阶段跨语言微调框架 CLiFT-ASR,在 TAT-MOE 上实现 CER 相对降低 24.88%。
2025-11-10 cs.CL cs.SD
Enhancing Code-Switching ASR Leveraging Non-Peaky CTC Loss and Deep Language Posterior Injection
National Taiwan Normal University(国立台湾师范大学)
针对语码转换场景下端到端ASR系统性能下降的问题,提出融入语言识别信息、应用语言边界对齐损失、利用语言后验促进编码器深度交互的方法,在SEAME语料库上性能优于D-MoE方法。
2024-11-26 cs.CL cs.LG cs.SD
An Adaptive Psychoacoustic Model for Automatic Speech Recognition
University of Western Ontario(西安大略大学);Pulse Infoframe Inc.(Pulse Infoframe 公司);Toronto Rehabilitation Institute - UHN(多伦多康复研究所 - 大学健康网络);Nanyang Technological University(南洋理工大学)
与自动语音识别(ASR)相比,人类听觉系统更善于处理噪声不利的情况,包括环境噪声和信道失真。为了模仿这种熟练,听觉模型已被广泛纳入ASR系统,以提高其鲁棒性。本文提出了一种新的听觉模型,将心理声学和耳声发射(OAEs)到ASR。特别是,我们成功地实现了心理声学模型的频率依赖性,并有效地提高了系统的性能。我们还提出了一种新的双变换频谱分析技术,它可以定性地预测ASR性能的不同类型的噪声。详细的理论分析证明了该算法的有效性。在AURORA2数据库上进行的实验表明,使用我们提出的特征提取方法的单词识别率显着提高了基线。给定使用干净语音训练的模型,我们提出的方法在噪声数据上实现了高达85.39%的单词识别准确率。
2016-09-14 cs.CL cs.SD