Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中,通常很少的训练数据可用于特定的具有挑战性的任务,但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题,我们提出了一种两阶段的声学建模方法,该方法将噪声和混响数据增强与迁移学习相结合,以鲁棒地解决困难的声学记录条件,自发语音和老年人语音等挑战。我们评估我们的方法使用的例子,德国口述历史访谈,其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Multitask Learning for Grapheme-to-Phoneme Conversion of Anglicisms in German Speech Recognition
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所)
本文提出多任务序列到序列方法,通过区分外来词与本土词提升德语外来词发音转换效果,减少识别错误率。
2022-01-18 cs.CL cs.SD eess.AS
Phonologically Informed Tokenization for German Speech Recognition: A Cross-Domain Study
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学)
本研究对比三类分词器在wav2vec 2.0-CTC模型上的德语跨域语音识别表现,发现分词器性能随词汇量和分布偏移变化,无单一通用最优解。
2026-10-09 cs.CL cs.LG
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
Does Whisper understand Swiss German? An automatic, qualitative, and human evaluation
Linguistics Center Zurich(苏黎世语言学中心);German Department(德语系);University of Zurich(苏黎世大学);Department of Computational Linguistics(计算语言学系);Phonetics & Speech Sciences(语音与言语科学系)
本文通过自动指标、定性分析和28人人工调查,在四个测试集上评估 Whisper 对瑞士德语的转写表现,证明其可作为输出标准德语的可行 ASR 系统。
2024-05-09 cs.CL
Using Kaldi for Automatic Speech Recognition of Conversational Austrian German
Graz University of Technology(格拉茨工业大学)
随着对话系统的交互性和社会化程度的提高,对对话语音进行准确的自动语音识别(ASR)也变得越来越重要。这将焦点从简短的、自发的、以任务为导向的对话转移到了更复杂的、随意的面对面对话上。然而,这种对话的收集和注释是一个耗时的过程,并且对于这种特定的说话风格来说,数据是稀疏的。本文介绍了ASR实验与阅读和会话的奥地利德语为目标。为了处理只有有限的资源可用于德语会话,并在同一时间,与扬声器之间的发音特征有很大的变化,我们改进了基于Kaldi的ASR系统,通过将(大)基于知识的发音词典,同时探索不同的基于数据的方法来限制每个词条的发音变体的数量。我们实现了最好的WER的0.4%,奥地利德语阅读语音和最好的平均WER的48.5%,会话语音。我们发现,通过使用我们最好的发音词典,可以实现类似的高性能比通过增加用于语言模型的数据的大小约。360%到760%。我们的研究结果表明,对于低资源的情况下,尽管语音技术的一般趋势是只使用基于数据的方法,基于知识的方法是一个成功的,有效的方法。
2023-01-16 cs.CL cs.SD eess.AS
Multi-Staged Cross-Lingual Acoustic Model Adaption for Robust Speech Recognition in Real-World Applications -- A Case Study on German Oral History Interviews
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所)
虽然当大量的足够的、高质量的带注释的语音数据用于训练时,最近的自动语音识别系统实现了显著的性能,但是相同的系统对于在极大地偏离由训练数据表示的条件的域中的任务通常仅实现不令人满意的结果。对于许多现实世界的应用,缺乏足够的数据,可以直接用于训练鲁棒的语音识别系统。为了解决这个问题,我们提出并研究了一种方法,该方法以跨语言,多阶段的方式对目标域进行鲁棒的声学模型自适应。我们的方法可以利用来自其他领域的相同和其他语言的大规模训练数据。我们使用具有挑战性的德国口述历史采访任务来评估我们的方法,与仅在目标领域从头开始训练的模型相比,我们实现了单词错误率的相对降低超过30%,与在1000小时的相同语言域外训练数据上训练的模型相比,相对降低了6-7%。
2020-05-26 cs.CL eess.AS
Non-native children speech recognition through transfer learning
Center for Information and Communication Technology(信息与通信技术中心);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
这项工作涉及非母语儿童的语音,并调查多任务和迁移学习方法,以适应多语言深度神经网络(DNN)的扬声器,特别是儿童,学习外语。应用场景的特点是年轻学生学习英语和德语,并阅读这些第二语言以及母语的句子。本文分析和讨论了从儿童母语开始训练有效的基于DNN的声学模型并使用有限的非母语音频材料进行适配的技术。采用多语言模型作为基线,其中根据国际音标(IPA)的单位定义的公共语音词典在三种语言(意大利语,德语和英语)之间共享;基于迁移学习的DNN自适应方法在重要的非母语评估集上进行评估。结果表明,由此产生的非母语模型允许一个显着的改善,相对于单语言系统适应的目标语言的扬声器。
2018-09-25 cs.CL
An elitist approach for extracting automatically well-realized speech sounds with high confidence
本文提出了一种“精英主义方法”,用于自动提取具有高置信度的良好实现的语音。精英方法使用基于隐马尔可夫模型(HMM)的语音识别系统。HMM是在语音上训练的,语音在迭代过程中被系统地检测到。结果表明,通过使用在训练阶段定义的HMM模型,语音识别器可靠地检测到特定的语音声音,错误率很小。
2005-11-22 cs.CL
Human and Automatic Speech Recognition Performance on German Oral History Interviews
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所);Haus der Geschichte der Bundesrepublik Deutschland Foundation (HdG)(德意志联邦共和国历史之家基金会);Autonomous Intelligent Systems (AIS), Computer Science Institute VI, Univ. of Bonn(波恩大学计算机科学第六研究所自主智能系统)
近年来,自动语音识别系统在转录准确性方面取得了显著的改进。在某些领域,模型现在达到了接近人类的性能。然而,口述历史的转录性能尚未达到人类的准确性。在目前的工作中,我们调查人类和机器转录之间的差距仍然有多大。为此目的,我们分析和比较三个人的一个新的口述历史数据集的transparency。我们估计,最近的德国口述历史访谈与干净的声学条件下的人字错误率为8.7%。为了与最近的机器转录精度比较,我们提出了一个声学模型的适应实验,实现接近人类的性能广播语音。我们研究了不同的适应数据的鲁棒性和泛化的影响,干净和嘈杂的口述历史采访。我们优化了我们的声学模型的5至8%,相对于这项任务,并实现23.9%的WER噪声和15.6%的词错误率干净的口述历史采访。
2022-01-18 cs.CL cs.SD eess.AS
A Deep Learning Approach for Similar Languages, Varieties and Dialects
Amrita School of Engineering(阿姆里塔工程学院)
深度学习机制是近年来用于自然语言处理、语音识别、图像处理和许多其他任务中的各种任务的流行方法。为了利用这一点,我们使用基于深度学习的机制,特别是双向长短期记忆(B-LSTM)用于阿拉伯语和德语广播语音中的辩证识别任务,以及长短期记忆(LSTM)用于区分类似语言。使用基于大词汇量连续语音识别(LVCSR)的词汇特征和由i-vector框架生成的每个话语400个固定长度的瓶颈特征来创建两个独特的B-LSTM模型。这些模型在VarDial 2017数据集上进行了评估,用于阿拉伯语,德语方言识别与埃及,海湾,黎凡特,北非的方言,以及阿拉伯语和巴塞尔,伯尔尼,卢塞恩和苏黎世德语的MSA。此外,还负责区分波斯尼亚语、克罗地亚语和塞尔维亚语等类似语言的任务。B-LSTM模型在词汇特征上的准确率为0.246,在i-Vector框架的瓶颈特征上的准确率为0.577。
2019-01-02 cs.CL
wav2vec and its current potential to Automatic Speech Recognition in German for the usage in Digital History: A comparative assessment of available ASR-technologies for the use in cultural heritage contexts
University of Graz(格拉茨大学)
在本案例研究中,我们为德语自动语音识别(ASR)培训并发布了一个最先进的开源模型,以评估该技术在数字人文和文化遗产更大背景下的当前潜力。随着这篇论文,我们发布了我们基于wav2vec2的语音到文本模型,同时我们评估了它在我们收集的历史录音语料库上的性能,并与基于商业云的专有服务进行了比较。虽然我们的模型取得了中等的结果,但我们看到专有云服务的表现要好得多。正如我们的结果所示,目前可以实现超过90%的识别率,但是,一旦录音的音频质量有限或使用非日常或过时的语言,这些数字就会迅速下降。一个大问题是德语中不同方言和口音的高度多样性。尽管如此,本文强调,目前可用的识别质量足够高,可以解决数字人文学科中的各种用例。我们认为,ASR将成为一个关键技术的文件和分析的视听来源,并确定了一系列的重要问题,卫生署社区和文化遗产的利益相关者将不得不在不久的将来解决。
2023-03-06 cs.CL cs.LG cs.SD
Replay to Remember: Continual Layer-Specific Fine-tuning for German Speech Recognition
University of Hamburg(汉堡大学)
本文针对大规模ASR模型微调新领域时原始领域性能下降的问题,利用SVC-de数据集,通过层级特定微调和Experience Replay持续学习,在新领域达到低于5%的WER并稳定通用识别性能。
2023-10-18 cs.CL cs.SD eess.AS
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University(查尔斯大学);Faculty of Mathematics and Physics(数学与物理系);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文提出结合预训练语音编码器与LLMs的端到端架构,同时执行ASR和ST任务,在英德翻译中超越SeamlessM4T并匹敌级联系统,COMET指标提升达8%。
2025-10-11 cs.CL
Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German
Perle AI
针对四种语言对的代码切换语音,通过两阶段管道选择样本并评估五个商业ASR系统,发现WER夸大质量差距而BERTScore更准确,ElevenLabs Scribe v2表现最佳。
2026-05-22 cs.AI cs.CL
ASR in German: A Detailed Error Analysis
Hof University of Applied Sciences(霍夫应用科学大学)
基于神经网络的自动语音识别(ASR)的免费可用系统的数量正在稳步增长,预测的可靠性也在不断提高。然而,对训练模型的评估通常仅基于诸如WER或CER的统计度量,其不提供对当从语音输入预测转录本时所产生的错误的性质或影响的任何洞察。这项工作提出了一系列ASR模型架构,这些架构在德语上进行了预训练,并在不同测试数据集的基准上对其进行了评估。它识别跨架构的预测错误,将其分类,并将每个类别的错误源追溯到训练数据以及其他来源。最后,它讨论了解决方案,以创建质量更好的训练数据集和更强大的ASR系统。
2022-04-12 cs.AI cs.CL
Towards Unsupervised Automatic Speech Recognition Trained by Unaligned Speech and Text only
National Taiwan University(国立台湾大学)
自动语音识别(ASR)已被广泛研究,但许多低资源语言缺乏音频-文本对齐数据,无法使用监督方法。在这项工作中,我们提出了一个框架,以实现无监督的ASR阅读英语语音数据集,其中音频和文本是不对齐的。在第一阶段中,话语中的每个单词级音频段由序列自动编码器提取的向量表示来表示,其中语音信息和说话者信息被解开。其次,使用skip-gram模型从向量表示训练音频片段的语义嵌入。最后,利用无监督的方法将音频片段的语义嵌入转换到文本嵌入空间,并最终将转换后的嵌入映射到单词。有了上述框架,我们将只使用未对齐的文本和语音训练无监督ASR。
2018-08-11 cs.CL
ASR Bundestag: A Large-Scale political debate dataset in German
University of Applied Sciences Hof(霍夫应用科学大学)
我们介绍了ASR Bundestag,这是一个用于德语自动语音识别的数据集,包括610小时的用于监督训练的对齐音频-转录对以及1,038小时的用于自监督学习的未标记音频片段,这些音频片段基于原始音频数据和德国议会全体会议和委员会会议的转录。此外,我们还讨论了用于自动创建语音数据集的方法,并基于对预训练的最新模型的评估和微调来评估所产生的数据集的质量。我们公开数据集,包括所有子集。
2023-02-12 cs.AI cs.CL cs.LG
Arabic Language Learning Assisted by Computer, based on Automatic Speech Recognition
Higher School of Science and Technology of Tunis(突尼斯高等科学技术学院)
这项工作包括创建一个系统的计算机辅助语言学习(CALL)的基础上,自动语音识别(ASR)的阿拉伯语使用的工具CMU Sphinx 3 [1],基于HMM的方法。为了这项工作,我们已经构建了一个语料库的六个小时的语音录音与数量的九个扬声器。我们在对噪声的鲁棒性中找到了选择HMM方法的理由[2]。由于我们的语料库只有九位讲者,所以成绩令人鼓舞,但这也是其他改善工作的理由。
2012-05-15 cs.CL
Automatic recognition of suprasegmentals in speech
Baidu Research USA(百度研究院(美国));Linguistic Data Consortium, University of Pennsylvania(宾夕法尼亚大学语言数据联盟)
本研究报告了我们的努力,以提高自动识别的超音段微调wav2vec 2.0与CTC,一种方法,已成功地在自动语音识别。我们证明,该方法可以提高国家的最先进的自动识别音节,音调和音高口音。利用音段信息,以声调韵母或声调音节为识别单位,可以显著提高普通话声调识别率。语言模型在声调音节被用作识别单元时是有帮助的,但在声调是识别单元时没有帮助。最后,通过在wav2vec 2.0中结合这两个任务,普通话声调识别可以受益于英语音素识别。
2021-08-04 cs.CL
Stuttering-Aware Automatic Speech Recognition for Indonesian Language
本文提出一种针对印尼语口吃语音识别的数据增强方法,通过合成数据提升模型对不流畅语音的识别性能。
2026-01-14 cs.CL
Textless Speech-to-Speech Translation With Limited Parallel Data
The University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学)
提出PFB框架,仅需数十小时平行语音数据即可训练文本无关的语音到语音翻译模型,通过预训练、微调和反向翻译,在多个语言对和领域上达到接近高资源基线的性能。
2024-11-06 cs.CL eess.AS
Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation
SB Intuitions;Waseda University(早稻田大学)
针对方言数据稀缺导致SLM性能下降的问题,提出用标准TTS合成伪方言语音并引入中间标准文本预测,在日德汉方言翻译上显著提升性能,且无需方言语音资源。
2026-10-08 cs.CL eess.AS
TEVR: Improving Speech Recognition by Token Entropy Variance Reduction
hajo UG(hajo有限责任公司);Institute for Neuro- and Bioinformatics, University of Lübeck(吕贝克大学神经与生物信息学研究所)
本文提出了TEVR,一个语音识别模型,旨在最大限度地减少变化的令牌熵w.r.t.到语言模型。这利用了这样一个事实,即如果语言模型无论如何都能可靠而准确地预测一个标记,那么声学模型在识别它时就不需要准确。我们用9亿个参数训练德语ASR模型,结果表明,在CommonVoice德语中,TEVR的单词出错率为3.64%,其通过字出错率的相对16.89%的降低而优于最好的报告结果。我们希望向社区发布我们经过充分训练的语音识别管道将在未来带来保护隐私的离线虚拟助手。
2022-06-25 cs.CL cs.SD eess.AS
2nd Swiss German Speech to Standard German Text Shared Task at SwissText 2022
Institute for Data Science(数据科学研究所);University of Applied Sciences and Arts Northwestern Switzerland(瑞士西北应用科学与艺术大学)
我们在SwissText 2022上展示了第二届瑞士德语演讲的结果和发现。参与者被要求建立一个高级瑞士德语演讲标准德语文本系统,专门针对格劳宾登方言。其目的是最大限度地提高BLEU分数的Grisons语音测试集。3支队伍参加了比赛,表现最好的系统获得了70.1的BLEU分数。
2023-01-17 cs.CL
Opportunities & Challenges In Automatic Speech Recognition
GHRCE;S. G. B. Amaravati University(S. G. B. 阿马拉瓦蒂大学)
自动语音识别能够实现广泛的当前和新兴应用,例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度,对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性:在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战,采取的方法,以及未来的研究可能的方向,以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
IMS-Speech: A Speech to Text Tool
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所)
我们提出的IMS语音,德语和英语语音转录的一个基于网络的工具,旨在促进在各个学科的研究,需要访问口语材料中的词汇信息。该工具基于现代开放源码软件栈、先进的语音识别方法和公共数据资源,学术研究人员可以免费获得。所使用的模型被构建为通用的,以提供在不同的任务和条件下的竞争力的准确性的transanimation。
2019-08-13 cs.CL cs.SD eess.AS
A Broadcast News Corpus for Evaluation and Tuning of German LVCSR Systems
Duisburg University(杜伊斯堡大学)
广播新闻的转录是大词汇量连续语音识别(LVCSR)的一个有趣且具有挑战性的应用。我们详细介绍了手动分割和注释语料库的结构,包括超过160小时的德国广播新闻,并提出它作为LVCSR系统的评估框架。我们展示了我们自己的实验结果的语料库,实现了一个国家的最先进的LVCSR解码器,测量不同的功能集和解码参数的效果,从而证明,我们的测试集的实时解码是可行的在台式PC上的9.2%字出错率。
2014-12-15 cs.CL cs.SD
Language Dependencies in Adversarial Attacks on Speech Recognition Systems
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Technical University Munich(慕尼黑工业大学);Technische Universität Darmstadt(达姆施塔特工业大学)
自动语音识别(ASR)系统普遍存在于我们的日常设备中。它们容易受到对抗攻击的攻击,其中操纵的输入样本欺骗了ASR系统的识别。虽然已经分析了各种英语ASR系统的对抗性示例,但还没有跨语言比较脆弱性分析。我们以Deepspeech为例,比较了德语和英语ASR系统的可攻击性。我们调查,如果一个语言模型是更容易受到操纵比其他。我们的实验结果表明,在成功生成对抗性示例所需的计算工作量方面,英语和德语之间存在统计上的显著差异。这一结果鼓励进一步研究的语言依赖特性的鲁棒性分析的ASR。
2022-02-02 cs.CL cs.CR cs.SD
BeaverTalk: Oregon State University's IWSLT 2025 Simultaneous Speech Translation System
Oregon State University(俄勒冈州立大学)
本文介绍了IWSLT 2025同声语音翻译级联系统BeaverTalk,采用VAD分割、Whisper Large V2语音识别和微调后的Gemma 3 12B模型,利用单句记忆库实现低延迟与高延迟场景下的英德及英中翻译。
2025-05-29 cs.CL cs.LG
Guided contrastive self-supervised pre-training for automatic speech recognition
Amazon(亚马逊)
对比预测编码(CPC)是一种表示学习方法,它最大化中间潜在表示与给定模型的输出之间的互信息。它可用于有效地初始化自动语音识别(ASR)模型的编码器。我们提出了一种新的修改CPC称为引导对比预测编码(GCPC)。我们所提出的方法最大限度地提高了从先验知识模型的表示和模型的输出之间的互信息进行预训练,允许在预训练过程中的先验知识注入。我们验证我们的方法3 ASR任务:德语,法语和英语。与从头开始训练相比,我们的方法在所有三个数据集上的表现都优于CPC预训练,德语、法语和英语(Librisepeech)任务的单词出错率(WER)相对分别降低了4.44%、6.55%和15.43%,而CPC预训练仅带来了2.96%、1.01%和14.39%的相对WER降低。
2022-10-22 cs.CL cs.SD eess.AS
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory(信号处理与语音通信实验室);Speech Communication Laboratory(语音通信实验室)
本文提出一种结合突显检测的突显感知自动语音识别方法,通过微调wav2vec2模型标注语料并训练新型ASR系统,在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
Cloud-based Automatic Speech Recognition Systems for Southeast Asian Languages
Institute for Infocomm Research(资讯通信研究院)
本文全面介绍了我们的东南亚语言自动语音识别(ASR)系统。由于没有太多的现有工作已经进行了这样的区域语言,一些困难应该得到解决之前,建立系统:语音和文本资源的限制,缺乏语言知识,等这项工作以印度尼西亚语和泰国为例,说明收集所需的各种资源建设ASR系统的策略。
2022-10-07 cs.CL eess.AS
Automatic speech recognition for launch control center communication using recurrent neural networks with data augmentation and custom language model
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在美国宇航局的发射控制中心转录语音通信对信息利用很重要。然而,由于缺乏训练数据、首字母缩略词中的陌生单词、多个不同的说话者和口音以及说话的会话特征,在这种环境中的自动语音识别特别具有挑战性。我们使用双向深度循环神经网络来训练和测试语音识别性能。我们表明,数据增强和自定义语言模型可以提高语音识别的准确性。转录来自发射控制中心的通信将有助于机器分析信息并加速知识生成。
2018-04-24 cs.CL cs.HC
Automatic Restoration of Diacritics for Speech Data Sets
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Princess Nourah Bint Abdulrahman University(努拉·本特·阿卜杜勒拉赫曼公主大学)
针对文本变音符号恢复模型在语音转录上因领域与风格差异而错误率较高的问题,本文利用并行口语语句,通过微调 Whisper ASR 生成粗略带符转录作为辅助输入,构建并验证了新的语音变音符号恢复基线。
2024-04-07 cs.CL cs.SD
PhoWhisper: Automatic Speech Recognition for Vietnamese
VinAI Research(VinAI研究院)
本文提出五个版本的PhoWhisper,通过在844小时多口音越南语数据上微调Whisper,在越南语ASR基准上取得最先进性能并开源。
2024-03-27 cs.CL eess.AS
Automatic Screening for Children with Speech Disorder using Automatic Speech Recognition: Opportunities and Challenges
University at Buffalo(布法罗大学);Nichols School(尼科尔斯学校);Thomas Jefferson High School for Science & Technology(托马斯·杰斐逊科技高中);Langley High School(兰利高中)
本文综述了基于自动语音识别(ASR)技术自动化儿童言语语言评估(SLA)流程的现有方法,探讨了AI驱动方案的技术可行性、实际部署挑战及隐私问题。
2024-10-07 cs.CL eess.AS q-bio.QM
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg(G H Raisoni工程学院);SGB Amravati University(SGB阿姆拉瓦蒂大学);RTM Nagpur University(RTM那格浦尔大学)
四十多年来,人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式,这台机器应该包括两个子系统,即自动语音识别(ASR)和语音理解(SU)。ASR的目标是转录自然语音,而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程,它必须考虑到所有的变量信息的语音通信过程中,从声学到语义和语用。在开发自动语音识别系统时,观察到一些不利条件降低了语音识别系统的性能。在这篇文章中,语音增强系统的介绍,以增强被加性噪声污染的语音信号,提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明,用相应的增强后的语音信号代替含噪的语音信号,识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo(纽约州立大学布法罗分校)
针对儿童语音ASR缺乏高质量对齐数据的问题,提出灵活自动语音对齐工具FASA,从含噪数据中提取高质量对齐儿童语音,在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Advancing CTC-CRF Based End-to-End Speech Recognition with Wordpieces and Conformers
Tsinghua University(清华大学);Beijing Language and Culture University(北京语言大学)
自动语音识别系统在过去的几十年中已经得到了很大的改进,并且当前的系统主要是基于混合的和基于端到端的。最近提出的气候技术中心通用报告格式框架继承了混合方法的数据效率和端到端方法的简单性。在本文中,我们进一步提出了基于CTC-CRF的ASR技术与探索的建模单元和神经结构。具体来说,我们调查的技术,使最近开发的词段建模单元和构象神经网络成功地应用于CTC-CRF。实验进行了两个英语数据集(Switchboard,Librispeech)和德国数据集从CommonVoice。实验结果表明,(i)Conformer可以显着提高识别性能;(ii)与基于音素的系统相比,基于单词的系统执行略差的目标语言与低程度的字形音素的对应关系(如英语),而这两个系统可以执行同样强大的对应程度高的目标语言(如德语)。
2021-07-08 cs.CL cs.SD eess.AS
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学);Facebook(脸书)
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列,导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译(AST)的任务,以及低资源英语自动语音识别(ASR)的任务。此外,在消融中,我们展示了增强数据的数量和多样性的好处。最后,我们表明,我们可以结合我们的方法与增强机器翻译的成绩单,以获得一个有竞争力的端到端AST模型,优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般,它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
White-Box Attacks on Hate-speech BERT Classifiers in German with Explicit and Implicit Character Level Defense
在这项工作中,我们评估了在德国仇恨语音数据集上训练的BERT模型的对抗鲁棒性。我们还补充了我们的评估与两个新的白盒字符和单词级攻击,从而有助于攻击的范围。此外,我们还进行了两个新的字符级防御策略的比较,并评估其鲁棒性与彼此。
2022-02-14 cs.CL
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia(澳大利亚联邦大学)
在基于人工神经网络的序列到序列模型中,注意力是一种非常流行和有效的机制。在这篇调查论文中,提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University(密歇根州立大学);RPI(伦斯勒理工学院);Vanderbilt University(范德堡大学);Rice University(莱斯大学)
孟加拉语是世界上使用最多的语言之一,全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎,但由于缺乏多样化的开源数据集,对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向,我们已经众包了孟加拉语通用语音语音数据集,这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集,是正在进行的活动的一部分,该活动在两个月内收集了超过400小时的数据,并且正在迅速增长。我们的分析表明,与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比,该数据集具有更多的扬声器,音素和环境多样性。我们提出了从数据集中获得的见解,并讨论了需要在未来版本中解决的关键语言挑战。此外,我们报告了一些自动语音识别(ASR)算法的当前性能,并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University(阿联酋大学);National University of Science & Technology(国家科学技术大学)
自动语音识别(ASR)系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能,但是对于所有感兴趣的语言而言,获取大的标记数据集可能是困难的或昂贵的。在本文中,我们回顾了研究文献,以确定可能导致完全无监督ASR的模型和想法,包括语音信号的无监督分割,从语音段到文本的无监督映射,以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性,并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Spaiche: Extending State-of-the-Art ASR Models to Swiss German Dialects
ETH Zürich(苏黎世联邦理工学院)
针对瑞士德语方言低资源语音识别问题,提出考虑预测与真实标签语义距离的新损失函数,通过微调OpenAI Whisper模型超越现有最优ASR性能。
2023-09-13 cs.CL cs.LG cs.SD
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research(谷歌研究院)
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别(ASR)识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型,训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率(WER)阈值来确定不同应用场景下的成功百分比(个性化模型达到目标WER的百分比)。对于家庭自动化场景,79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲,63%的发言者也达到了目标WER。进一步的评估发现,在具有会话和域外,自发短语的测试集上也有类似的改善。我们的研究结果表明,只有几分钟的录音,语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg(汉堡大学)
在本文中,我们描述了KT-语音爬虫:一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤,提取可用于训练端到端神经语音识别系统的样本。在我们的实验中,我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音,其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音,包括背景噪音和音乐,远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时,通过将200小时收集的样本整合到训练集中,我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示(http://emnlp-demo.lakomkin.me/)和爬虫代码(https://github.com/EgorLakomkin/KTSpeechCrawler)是公开的。
2019-03-01 cs.CL cs.LG cs.SD
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University(马凯雷雷大学);Ronin Institute(罗宁研究所);Coqui
建立一个可用的无线电监测自动语音识别(ASR)系统是一项具有挑战性的任务,资源不足的语言,但这是至关重要的社会,无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明,了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而,这些努力受到缺乏转录语音数据集的挑战。在本文中,Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知,这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展,并提出了基线Luganda ASR的性能结果使用Coqui STT工具包,一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
Codec-ASR: Training Performant Automatic Speech Recognition Systems with Discrete Speech Representations
NVIDIA Corporation(英伟达公司)
本文全面分析了基于离散码的ASR系统构建方法,提出了一种在相似比特率下优于Encodec且在ML-SUPERB基准上超越自监督模型的Codec-ASR流水线。
2024-07-03 cs.CL cs.LG eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology(云从科技)
虽然自动语音识别(ASR)系统近年来取得了显著的进步,但是口语识别错误仍然存在,并且很容易被人类发现。各种语言建模技术已经开发出后识别任务,如语义校正。在本文中,我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化,在10000小时的汉语语音数据集上的实验表明,字符出错率(CER)可以有效地减少21.7%,相对于我们的基线ASR系统。专家评估表明,我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google(谷歌)
虽然当前最先进的自动语音识别(ASR)系统在典型语音上实现了高准确度,但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化(对该问题的常用解决方案)通常在基于服务器的训练环境中执行,从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中,我们提出了一种基于设备的ASR个性化的方法,具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话,并发现中位数相对字错误率提高了71%,只有50个短的话语,每个发言者。当在语音控制的家庭自动化平台上进行测试时,设备上的个性化模型显示出81%的任务成功率中位数,而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung(万隆理工学院);University of Indonesia(印度尼西亚大学);Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Nara Institute of Science and Technology(奈良科学技术大学)
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力,发现微调的Whisper模型表现最佳,且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS