Arabic Language Learning Assisted by Computer, based on Automatic Speech Recognition
Higher School of Science and Technology of Tunis(突尼斯高等科学技术学院)
这项工作包括创建一个系统的计算机辅助语言学习(CALL)的基础上,自动语音识别(ASR)的阿拉伯语使用的工具CMU Sphinx 3 [1],基于HMM的方法。为了这项工作,我们已经构建了一个语料库的六个小时的语音录音与数量的九个扬声器。我们在对噪声的鲁棒性中找到了选择HMM方法的理由[2]。由于我们的语料库只有九位讲者,所以成绩令人鼓舞,但这也是其他改善工作的理由。
2012-05-15 cs.CL
Automatic recognition of suprasegmentals in speech
Baidu Research USA(百度研究院(美国));Linguistic Data Consortium, University of Pennsylvania(宾夕法尼亚大学语言数据联盟)
本研究报告了我们的努力,以提高自动识别的超音段微调wav2vec 2.0与CTC,一种方法,已成功地在自动语音识别。我们证明,该方法可以提高国家的最先进的自动识别音节,音调和音高口音。利用音段信息,以声调韵母或声调音节为识别单位,可以显著提高普通话声调识别率。语言模型在声调音节被用作识别单元时是有帮助的,但在声调是识别单元时没有帮助。最后,通过在wav2vec 2.0中结合这两个任务,普通话声调识别可以受益于英语音素识别。
2021-08-04 cs.CL
Stuttering-Aware Automatic Speech Recognition for Indonesian Language
本文提出一种针对印尼语口吃语音识别的数据增强方法,通过合成数据提升模型对不流畅语音的识别性能。
2026-01-14 cs.CL
Towards End-to-end Automatic Code-Switching Speech Recognition
HKUST(香港科技大学)
混合语言中的语音识别由于缺乏数据和重叠的音素集(例如,在诸如英语中的“one”和中文中的“wàn”的单词中)而难以适应端到端框架。本文提出了一种基于CTC的端到端自动语音识别模型,用于语码转换。该模型通过在单语数据集上进行联合训练,并与混合语言语料库进行微调来训练。在解码过程中,我们应用束搜索并结合CTC预测和语言模型得分。该方法在利用单语语料库和检测语言转换方面是有效的,它将CER提高了5%。
2018-10-30 cs.CL
Large Scale Language Modeling in Automatic Speech Recognition
Google, Inc.(谷歌公司)
大语言模型已被证明对Google中的各种自动语音识别任务非常有益。我们总结了语音搜索和一些YouTube语音转录任务的结果,以强调增加训练数据量和根据这些数据估计的语言模型大小所能带来的影响。根据任务、所使用的训练数据的可用性和量、语言模型的大小以及在网格重新评分步骤中将它们集成的工作量和注意力,我们观察到相对于在17%和52%之间的字出错率的宽范围的操作点上的系统,字出错率的降低在6%和10%之间。
2012-10-31 cs.CL
Benchmarking Human and Automatic Speech Recognition of Diverse Speech: Initial Results
研究对多样化语音(荷兰儿童、老年人语音及弗拉芒语)中人类与自动语音识别性能进行初步比较,发现谷歌电话识别系统表现优,ASR系统与听众表现相似,特定情况超越听众,还发现相关性能差异,未来研究应增强ASR系统对声学变异性的鲁棒性。
2026-07-22 cs.CL
Configurable Privacy-Preserving Automatic Speech Recognition
Imperial College London(帝国理工学院)
语音辅助技术引起了广泛的隐私和安全问题。在本文中,我们调查模块化自动语音识别(ASR)是否可以提高语音辅助系统的隐私相结合的独立训练的分离,识别和离散化模块设计可配置的隐私保护ASR系统。我们评估隐私问题以及在系统的每个阶段应用各种最先进技术的效果,并使用特定于任务的指标(即WER,ABX和准确性)报告结果。我们发现,重叠的语音输入ASR系统提出了进一步的隐私问题,以及如何使用语音分离和优化技术来减轻这些问题。我们的离散化模块,以尽量减少从ASR声学模型到水平相称的随机猜测的语言隐私泄漏。我们表明,语音隐私是可以配置的,并认为这为隐私保护应用程序结合ASR提供了新的机会。
2021-04-01 cs.CL
Automatic Quality Assessment for Speech Translation Using Joint ASR and MT Features
Laboratoire d’Informatique de Grenoble, University of Grenoble Alpes(格勒诺布尔计算机科学实验室,格勒诺布尔阿尔卑斯大学)
本文研究口语翻译质量的自动评估。这个相对较新的任务被定义和形式化为一个序列标签问题,其中根据一个大的特征集,将假设中的每个单词标记为好或坏。我们提出了几个字的信心估计(WCE)的基础上,我们的自动评估转录(ASR)的质量,翻译(MT)的质量,或两者兼而有之(结合ASR+MT)。这项研究工作是可能的,因为我们建立了一个特定的语料库,其中包含6.7k的话语,其中一个五元组包括:ASR输出,逐字记录,文本翻译,语音翻译和翻译后编辑。我们使用联合ASR和MT特征进行WCE的多次实验的结论是,MT特征仍然是最有影响力的,而ASR特征可以带来有趣的补充信息。我们的鲁棒质量估计器可用于重新评分语音翻译图或在交互式语音翻译或计算机辅助语音到文本场景中向用户提供反馈。
2016-09-20 cs.CL
Evaluating Automatic Speech Recognition Systems in Comparison With Human Perception Results Using Distinctive Feature Measures
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
本文介绍了评估自动语音识别(ASR)系统与人类的感知结果相比,使用来自语言的区别性特征的措施的方法。错误模式的方式,地点和发声,以及通过一个独特的特征距离度量检查混淆矩阵。这些评估方法与传统的性能标准,重点放在电话或单词的水平,并打算提供一个更详细的配置文件的ASR系统的性能,以及一种手段,直接比较与人类的感知结果在子音素水平。
2016-12-13 cs.CL
Use of Knowledge Graph in Rescoring the N-Best List in Automatic Speech Recognition
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学)
随着基于神经网络的方法的发展,自动语音识别(ASR)领域已经发展到构建具有语音接口的应用成为现实的水平。尽管有这些进步,建立一个实时语音识别器面临着几个问题,如识别精度低,域约束,和词汇表外的话。通过改进声学模型、语言模型、解码器以及在解码器输出端对N-最佳列表进行再评分,解决了识别准确率低的问题。我们正在考虑的N-最好的列表重新评分的方法,以提高识别精度。文献中的大多数方法都使用已识别句子中单词之间的语法,词汇,句法和语义联系作为特征来重新评分。在本文中,我们试图看到一个句子中的词之间的语义相关性,以重新核的N-最好的列表。语义相关度的计算使用transE~\cite{bordes2013translating},一种低维嵌入的三元组在知识图谱的方法。本文的创新之处在于将语义网应用于自动语音识别。
2017-05-22 cs.CL
Opportunities & Challenges In Automatic Speech Recognition
GHRCE;S. G. B. Amaravati University(S. G. B. 阿马拉瓦蒂大学)
自动语音识别能够实现广泛的当前和新兴应用,例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度,对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性:在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战,采取的方法,以及未来的研究可能的方向,以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory(信号处理与语音通信实验室);Speech Communication Laboratory(语音通信实验室)
本文提出一种结合突显检测的突显感知自动语音识别方法,通过微调wav2vec2模型标注语料并训练新型ASR系统,在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
Cloud-based Automatic Speech Recognition Systems for Southeast Asian Languages
Institute for Infocomm Research(资讯通信研究院)
本文全面介绍了我们的东南亚语言自动语音识别(ASR)系统。由于没有太多的现有工作已经进行了这样的区域语言,一些困难应该得到解决之前,建立系统:语音和文本资源的限制,缺乏语言知识,等这项工作以印度尼西亚语和泰国为例,说明收集所需的各种资源建设ASR系统的策略。
2022-10-07 cs.CL eess.AS
Automatic speech recognition for launch control center communication using recurrent neural networks with data augmentation and custom language model
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在美国宇航局的发射控制中心转录语音通信对信息利用很重要。然而,由于缺乏训练数据、首字母缩略词中的陌生单词、多个不同的说话者和口音以及说话的会话特征,在这种环境中的自动语音识别特别具有挑战性。我们使用双向深度循环神经网络来训练和测试语音识别性能。我们表明,数据增强和自定义语言模型可以提高语音识别的准确性。转录来自发射控制中心的通信将有助于机器分析信息并加速知识生成。
2018-04-24 cs.CL cs.HC
Automatic Restoration of Diacritics for Speech Data Sets
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Princess Nourah Bint Abdulrahman University(努拉·本特·阿卜杜勒拉赫曼公主大学)
针对文本变音符号恢复模型在语音转录上因领域与风格差异而错误率较高的问题,本文利用并行口语语句,通过微调 Whisper ASR 生成粗略带符转录作为辅助输入,构建并验证了新的语音变音符号恢复基线。
2024-04-07 cs.CL cs.SD
PhoWhisper: Automatic Speech Recognition for Vietnamese
VinAI Research(VinAI研究院)
本文提出五个版本的PhoWhisper,通过在844小时多口音越南语数据上微调Whisper,在越南语ASR基准上取得最先进性能并开源。
2024-03-27 cs.CL eess.AS
Automatic Screening for Children with Speech Disorder using Automatic Speech Recognition: Opportunities and Challenges
University at Buffalo(布法罗大学);Nichols School(尼科尔斯学校);Thomas Jefferson High School for Science & Technology(托马斯·杰斐逊科技高中);Langley High School(兰利高中)
本文综述了基于自动语音识别(ASR)技术自动化儿童言语语言评估(SLA)流程的现有方法,探讨了AI驱动方案的技术可行性、实际部署挑战及隐私问题。
2024-10-07 cs.CL eess.AS q-bio.QM
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg(G H Raisoni工程学院);SGB Amravati University(SGB阿姆拉瓦蒂大学);RTM Nagpur University(RTM那格浦尔大学)
四十多年来,人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式,这台机器应该包括两个子系统,即自动语音识别(ASR)和语音理解(SU)。ASR的目标是转录自然语音,而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程,它必须考虑到所有的变量信息的语音通信过程中,从声学到语义和语用。在开发自动语音识别系统时,观察到一些不利条件降低了语音识别系统的性能。在这篇文章中,语音增强系统的介绍,以增强被加性噪声污染的语音信号,提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明,用相应的增强后的语音信号代替含噪的语音信号,识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
Swiss Parliaments Corpus, an Automatically Aligned Swiss German Speech to Standard German Text Corpus
Institute for Data Science(数据科学研究所);University of Applied Sciences and Arts Northwestern Switzerland(瑞士西北应用科学与艺术大学)
我们提供瑞士议会语料库(SPC),这是一个自动对齐的瑞士德语演讲与标准德语文本语料库。该语料库的第一版基于伯尔尼州议会的公开数据,包括293小时的数据。它是使用一种新的强制句子对齐过程和对齐质量估计器创建的,可以用来权衡语料库的大小和质量。我们在不同的数据子集上训练了自动语音识别(ASR)模型作为基线,并在SPC测试集上实现了0.278的单词出错率(WER)和0.586的BLEU得分。语料库可免费下载。
2021-06-09 cs.CL cs.LG
LoASR-Bench: Evaluating Large Speech Language Models on Low-Resource Automatic Speech Recognition Across Language Families
Kyoto University(京都大学);Institute for Infocomm Research, Agency for Science, Technology and Research(信息通信研究机构,科技研究局)
本文提出LoASR-Bench,评估最新SpeechLM在低资源语言上的ASR性能,涵盖25种语言9个语系,揭示最新SpeechLM在低资源语言处理中的局限性。
2026-03-20 cs.AI cs.CL
Automatic Speech Recognition Using Template Model for Man-Machine Interface
G H Raisoni College of Engg.(G H Raisoni工程学院);Nagpur University(那格浦尔大学);SGB Amravati University(SGB阿姆拉瓦蒂大学)
语音是人类交流的自然形式,具有理解语音和用人类声音说话的能力的计算机有望有助于开发更自然的人机界面。通过语音识别技术的发展,具有这种能力的计算机正逐渐成为现实。语音是与计算机交互的重要方式。在本文中,特征提取实现使用著名的梅尔频率倒谱系数(MFCC)。模式匹配采用动态时间规整(DTW)算法。
2013-05-09 cs.CL cs.SD
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo(纽约州立大学布法罗分校)
针对儿童语音ASR缺乏高质量对齐数据的问题,提出灵活自动语音对齐工具FASA,从含噪数据中提取高质量对齐儿童语音,在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Automatic Speech Recognition for the Basaà Language: A Low-Resource Approach
针对低资源语言巴萨语,提出一种自动语音识别方法,利用深度神经网络和Transformer架构,旨在解决资源匮乏语言的技术鸿沟。
2026-09-29 cs.AI cs.CL
Automatic Speech Recognition with Very Large Conversational Finnish and Estonian Vocabularies
Aalto University(阿尔托大学)
如今,大词汇量语音识别中的语言模型的词汇量通常是几十万个单词。虽然这在某些应用程序中已经足够了,但词汇表外的单词仍然限制了其他应用程序的可用性。在黏着语中,除了复合词和词形变化之外,用于会话的词汇应该包括数百万个单词形式,以覆盖由于口语发音而引起的拼写变化。例如,当识别罕见的专有名称很重要时,也需要非常大的词汇表。
2017-09-29 cs.CL cs.SD
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学);Facebook(脸书)
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列,导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译(AST)的任务,以及低资源英语自动语音识别(ASR)的任务。此外,在消融中,我们展示了增强数据的数量和多样性的好处。最后,我们表明,我们可以结合我们的方法与增强机器翻译的成绩单,以获得一个有竞争力的端到端AST模型,优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般,它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
Fine-Tuning Whisper for Automatic Speech Recognition in Baniwa: A Preliminary Study
University of Brasilia(巴西利亚大学)
本研究对Whisper Small进行微调,构建巴尼瓦语ASR初始基准,证实多语言基础模型可适配资源匮乏的土著语言,为后续相关研究提供支撑。
2026-08-27 cs.CL stat.ML
A Speech Corpus for Mizo Automatic Speech Recognition: Whisper and SraVaani 1.0 Fine-Tuning with Morphology-Aware Evaluation
本研究构建米佐语语音语料库,通过微调Whisper与SraVaani 1.0模型开发米佐语ASR系统,发现Whisper-large-v3结合形态感知评估WER仅7.22%,SraVaani 1.0经米佐语微调后性能显著提升。
2026-08-21 cs.CL eess.AS
Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出自动文本发音相关性(ATPC)方法,利用语音与文本标注对齐和语音嵌入距离比较,在无需人工发音词典的情况下提升端到端语音识别的上下文偏置性能。
2025-01-01 cs.CL eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia(澳大利亚联邦大学)
在基于人工神经网络的序列到序列模型中,注意力是一种非常流行和有效的机制。在这篇调查论文中,提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University(密歇根州立大学);RPI(伦斯勒理工学院);Vanderbilt University(范德堡大学);Rice University(莱斯大学)
孟加拉语是世界上使用最多的语言之一,全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎,但由于缺乏多样化的开源数据集,对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向,我们已经众包了孟加拉语通用语音语音数据集,这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集,是正在进行的活动的一部分,该活动在两个月内收集了超过400小时的数据,并且正在迅速增长。我们的分析表明,与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比,该数据集具有更多的扬声器,音素和环境多样性。我们提出了从数据集中获得的见解,并讨论了需要在未来版本中解决的关键语言挑战。此外,我们报告了一些自动语音识别(ASR)算法的当前性能,并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University(阿联酋大学);National University of Science & Technology(国家科学技术大学)
自动语音识别(ASR)系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能,但是对于所有感兴趣的语言而言,获取大的标记数据集可能是困难的或昂贵的。在本文中,我们回顾了研究文献,以确定可能导致完全无监督ASR的模型和想法,包括语音信号的无监督分割,从语音段到文本的无监督映射,以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性,并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research(谷歌研究院)
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别(ASR)识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型,训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率(WER)阈值来确定不同应用场景下的成功百分比(个性化模型达到目标WER的百分比)。对于家庭自动化场景,79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲,63%的发言者也达到了目标WER。进一步的评估发现,在具有会话和域外,自发短语的测试集上也有类似的改善。我们的研究结果表明,只有几分钟的录音,语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University(马凯雷雷大学);Ronin Institute(罗宁研究所);Coqui
建立一个可用的无线电监测自动语音识别(ASR)系统是一项具有挑战性的任务,资源不足的语言,但这是至关重要的社会,无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明,了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而,这些努力受到缺乏转录语音数据集的挑战。在本文中,Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知,这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展,并提出了基线Luganda ASR的性能结果使用Coqui STT工具包,一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg(汉堡大学)
在本文中,我们描述了KT-语音爬虫:一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤,提取可用于训练端到端神经语音识别系统的样本。在我们的实验中,我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音,其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音,包括背景噪音和音乐,远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时,通过将200小时收集的样本整合到训练集中,我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示(http://emnlp-demo.lakomkin.me/)和爬虫代码(https://github.com/EgorLakomkin/KTSpeechCrawler)是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Codec-ASR: Training Performant Automatic Speech Recognition Systems with Discrete Speech Representations
NVIDIA Corporation(英伟达公司)
本文全面分析了基于离散码的ASR系统构建方法,提出了一种在相似比特率下优于Encodec且在ML-SUPERB基准上超越自监督模型的Codec-ASR流水线。
2024-07-03 cs.CL cs.LG eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology(云从科技)
虽然自动语音识别(ASR)系统近年来取得了显著的进步,但是口语识别错误仍然存在,并且很容易被人类发现。各种语言建模技术已经开发出后识别任务,如语义校正。在本文中,我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化,在10000小时的汉语语音数据集上的实验表明,字符出错率(CER)可以有效地减少21.7%,相对于我们的基线ASR系统。专家评估表明,我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung(万隆理工学院);University of Indonesia(印度尼西亚大学);Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Nara Institute of Science and Technology(奈良科学技术大学)
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力,发现微调的Whisper模型表现最佳,且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen(丹麦技术大学);AppleDenmark(苹果丹麦)
本文提出联合ASR与音高重音检测模型,音高重音检测F1差距缩小41%,ASR在LibriSpeech上WER降低28.3%,凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
Homophone-based Label Smoothing in End-to-End Automatic Speech Recognition
UBTECH Robotics Inc(优必选机器人公司)
提出了一种新的标签平滑方法,该方法利用人类语言水平上的先验知识--同音字,用于自动语音识别(ASR)。与前人相比,该方法以更复杂的方式利用了同音字的发音知识。联合学习声学模型和语言模型的端到端ASR模型以及对字符单元的建模是该方法的必要条件。在混合CTC序列到序列模型上的实验表明,该方法可以将字符错误率(CER)绝对降低0.4%。
2020-05-14 cs.CL cs.SD eess.AS
Robustness of end-to-end Automatic Speech Recognition Models -- A Case Study using Mozilla DeepSpeech
University of Duisburg-Essen(杜伊斯堡-埃森大学)
在评估自动语音识别模型的性能时,通常使用特定数据集内的单词出错率。在理解数据集时必须特别小心,以便报告真实的性能数字。我们认为,许多性能数据报告可能低估了预期的出错率。我们进行实验,控制选择偏差,性别以及重叠(训练和测试数据之间)的内容,声音和录音条件。我们发现,内容重叠的影响最大,但其他因素,如性别也发挥了作用。
2021-05-08 cs.CL cs.SD eess.AS
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google(谷歌)
虽然当前最先进的自动语音识别(ASR)系统在典型语音上实现了高准确度,但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化(对该问题的常用解决方案)通常在基于服务器的训练环境中执行,从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中,我们提出了一种基于设备的ASR个性化的方法,具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话,并发现中位数相对字错误率提高了71%,只有50个短的话语,每个发言者。当在语音控制的家庭自动化平台上进行测试时,设备上的个性化模型显示出81%的任务成功率中位数,而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University(台湾师范大学);EZAI;Academia Sinica(中央研究院)
针对低资源语言ASR的监督证据不足问题,提出轻量级多模态适配器机制SAMA-ASR,结合语义与声学锚,在台湾闽南语和客家话数据集上优于多种基线,且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
Bringing NURC/SP to Digital Life: the Role of Open-source Automatic Speech Recognition Models
Federal University of Goiás(戈亚斯联邦大学);São Paulo State University(圣保罗州立大学);University of São Paulo(圣保罗大学)
1969年开始的巴西语文化中心项目研究巴西五个首都的文化语言城市规范,负责为每个首都编制一个大型语料库。数字化的CNAS/SP包括在圣保罗首都进行的334小时录音中的375项查询。虽然47项调查有录音记录,但录音记录之间没有一致性,328项调查没有录音记录。本文提出了一个评估和错误分析的三个自动语音识别模型与葡萄牙语的自发语音训练和一个模型与准备的语音训练。评估使我们能够选择最佳模型,使用WER和CER指标,在手动对齐的CNOC/SP样本中,自动转录284小时。
2022-10-14 cs.CL cs.SD eess.AS
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
University of Michigan(密歇根大学);AWS AI Labs(AWS AI实验室)
本文提出SpeechRAG框架,通过微调语音编码器对齐文本与语音嵌入空间,实现无需ASR的直接语音检索,并利用语音语言模型以音频片段为条件进行生成,在ASR错误较高时优于传统级联文本方法。
2025-01-03 cs.AI cs.CL eess.AS
On monoaural speech enhancement for automatic recognition of real noisy speech using mixture invariant training
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们探讨了一个改进的框架,训练单耳神经增强模型的鲁棒语音识别。所设计的训练框架扩展了现有的混合不变训练标准,以利用未配对的干净语音和真实的噪声数据。研究发现,不成对的纯净语音是提高从实际噪声中分离出的语音质量的关键。所提出的方法还执行处理和未处理的信号的再混合,以减轻处理伪影。在单通道CHiME-3真实测试集上的实验表明,该方法在语音识别性能方面明显优于在非监督方式下训练的增强系统,无论是在不匹配的模拟数据上训练,还是在匹配的真实数据上训练。与使用端到端和混合声学模型的未处理信号相比,所提出的系统已经实现了16%至39%的相对WER降低,而无需对失真数据进行再训练。
2022-09-20 cs.CL cs.SD eess.AS
Analysis of Deep Clustering as Preprocessing for Automatic Speech Recognition of Sparsely Overlapping Speech
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
当音频信号包含串扰时,自动语音识别(ASR)系统的性能显著下降。最近提出的解决多说话者ASR问题的方法之一是深度聚类(DPCL)方法。将DPCL与最先进的混合声学模型相结合,我们在常用的wsj 0 - 2 mix数据集上获得了16.5%的单词出错率(WER),这是迄今为止据我们所知的最佳性能。wsj 0 - 2 mix数据集包含模拟的串扰,其中多个说话者的语音几乎在整个话语中重叠。在更现实的ASR场景中,音频信号包含单说话者语音的显著部分,并且仅信号的一部分包含多个竞争说话者的语音。本文研究了在这种情况下,稀疏重叠的语音应用DPCL作为预处理方法的ASR的障碍。为此,我们提出了一种数据模拟方法,密切相关的wsj 0 - 2 mix数据集,生成稀疏重叠的语音数据集的任意重叠率。将DPCL应用于稀疏重叠语音的分析是完全重叠数据集(如wsj 0 - 2 mix)和更真实的ASR数据集(如CHiME-5或AMI)之间的重要中间步骤。
2019-09-25 cs.CL cs.SD eess.AS
Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses
University of Stuttgart(斯图加特大学)
我们提出了一种新的方法,结合CycleGAN和域间损失的半监督端到端自动语音识别。域间丢失的目标是使用共享网络提取语音和文本输入的中间共享表示。CycleGAN使用循环一致性损失和身份映射损失来保留从一个域转换到另一个域后输入特征的相关特征。因此,这两种方法都适合于在不成对的语音-文本输入上训练端到端模型。在本文中,我们利用域间损失和CycleGAN的优势来实现未配对语音和文本输入的更好共享表示,从而改进语音到文本的映射。我们在WSJ eval 92和Voxforge(非英语)上的实验结果显示,字符出错率比基线降低了8~8.5%,在LibriSpeech test_clean上的结果也显示出明显的改善。
2022-10-20 cs.CL cs.SD eess.AS
Bangla-Wave: Improving Bangla Automatic Speech Recognition Utilizing N-gram Language Models
North South University(北南大学);Apurba Technologies(阿普尔巴技术公司)
虽然全世界有超过3亿人说孟加拉语,但由于孟加拉语是一种低资源语言,因此在改善孟加拉语语音到文本转录方面的工作很少。然而,随着孟加拉语通用语音9.0语音数据集的引入,自动语音识别(ASR)模型现在可以得到显着改进。孟加拉语共同之声拥有399小时的语音记录,是世界上最大和最多样化的孟加拉语开源语音语料库。在本文中,我们通过在普通语音数据集上微调预训练的wav 2 vec 2模型,超越了SOTA预训练的孟加拉语ASR模型。我们还演示了如何通过添加一个n-gram语言模型作为后处理器来显着提高ASR模型的性能。最后,我们做了一些实验和超参数调整,以产生一个强大的孟加拉ASR模型,比现有的ASR模型。
2022-09-13 cs.AI cs.CL eess.AS
Do We Still Need Automatic Speech Recognition for Spoken Language Understanding?
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Corti(Corti公司)
口语理解(SLU)任务通常通过首先用自动语音识别(ASR)转录话语,然后将输出馈送到基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进ASR组件上。我们调查是否表示学习语音已经成熟到足以取代ASR SLU。我们比较了从wav2vec 2.0,最先进的ASR成绩单和地面真实文本中学习到的语音特征,作为一种新的基于语音的命名实体识别任务,一种真实世界紧急呼叫的心脏骤停检测任务和两种现有SLU基准的输入。我们发现,学习语音功能优于ASR成绩单上的三个分类任务。对于机器翻译,ASR成绩单仍然是更好的选择。我们强调了wav2vec 2.0表示的内在鲁棒性,以词汇表外的单词作为提高性能的关键。
2021-11-29 cs.CL cs.LG eess.AS
SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition
Electrical Engineering Department National Taiwan University Taipei, Taiwan(电子工程系 国立台湾大学 台北 台湾)
针对低资源语言ASR数据不足、现有适配策略存在缺陷的问题,提出融合元学习与语音上下文学习的SMILE框架,通过高资源语言元训练实现低资源语言少样本泛化,在ML-SUPERB基准上性能优于基线。
2025-06-14 cs.CL cs.SD eess.AS
Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition
New York University Abu Dhabi(纽约大学阿布扎比分校);University of Stuttgart(斯图加特大学);Johns Hopkins University(约翰斯·霍普金斯大学);Stanford University(斯坦福大学);Qatar Computing Research Institute(卡塔尔计算研究所);Microsoft Research India(微软印度研究院)
语码转换为多语种自动语音识别带来了许多挑战和机遇。在本文中,我们专注于鲁棒性和公平的评价指标的问题。为此,我们开发了一个参考基准数据集的代码切换语音识别假设与人类的判断。我们为自动假设的最小编辑定义了明确的指导方针。我们使用4路注释器间协议来验证指南。我们评估了大量的指标与人类判断的相关性。我们考虑的指标在表示(正字法,语音,语义),直接性(内在与外在),粒度(例如单词,字符)和相似性计算方法方面有所不同。与人类判断的最高相关性是使用音译,然后是文本规范化。我们发布了第一个语料库的人类接受的代码切换语音识别结果在方言阿拉伯语/英语对话语音。
2022-11-22 cs.CL cs.SD eess.AS
Automatic Documentation of ICD Codes with Far-Field Speech Recognition
Stanford University(斯坦福大学);Rush University Medical Center(拉什大学医学中心)
文件错误增加了医疗保健成本,并导致不必要的患者死亡。作为诊断和计费的标准语言,ICD代码是全球医疗文档的基础。尽管电子医疗记录的普及,医院仍然见证了高水平的ICD错误编码。在本文中,我们提出了自动文档ICD代码与远场语音识别。远场语音发生在麦克风位于距离源几米处时,这在灵巧家庭和安全系统中很常见。我们的方法结合了声学信号处理和递归神经网络识别和ICD代码的实时的。为了评估我们的模型,我们收集了ICD-10代码的远场语音数据集,发现我们的模型达到了87%的准确率,BLEU评分为85%。通过从无监督的医学语言模型中采样,我们的方法能够优于现有的方法。总的来说,这项工作显示了自动语音识别的潜力,以提供高效,准确和具有成本效益的医疗保健文件。
2018-11-27 cs.CL cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Facebook AI(Facebook人工智能研究院)
我们介绍了双解码器Transformer,一个新的模型架构,共同执行自动语音识别(ASR)和多语言语音翻译(ST)。我们的模型基于原始的Transformer架构(Vaswani等人,2017),但由两个解码器组成,每个解码器负责一个任务(ASR或ST)。我们的主要贡献在于这些解码器是如何相互作用的:一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种,这些架构对应于两个不同级别的解码器之间的依赖关系,称为并行和交叉双解码器Transformers,分别。在MuST-C数据集上进行的大量实验表明,我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能,并且优于双语一对一的结果。此外,我们的并行模型表明没有权衡ASR和ST相比,香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS