Towards End-to-end Unsupervised Speech Recognition
Meta AI;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
无监督语音识别显示出巨大的潜力,使自动语音识别(ASR)系统可访问的每一种语言。然而,现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似,我们引入了wav 2 vec-U 2.0,它取消了所有音频端的预处理,并通过更好的架构提高了准确性。此外,我们引入了一个辅助的自监督目标,将模型预测与输入联系起来。实验表明,wav 2 vec-U 2.0改进了不同语言的无监督识别结果,同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales(新南威尔士大学)
儿童语音识别是一个至关重要的领域,但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而,自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中,我们利用自我监督的成人语音表示,并使用三个著名的儿童语音语料库,建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能,检查跨域儿童语料库的效果,并调查微调模型所需的最小儿童语音量,该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明,微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明,只要5个小时的转录儿童的讲话,它是可能的微调儿童的语音识别系统,表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
CHiME-6 Challenge:Tackling Multispeaker Speech Recognition for Unsegmented Recordings
Johns Hopkins University(约翰斯·霍普金斯大学);The City University of New York(纽约城市大学);University of Sheffield(谢菲尔德大学);Inria(法国国家信息与自动化研究所);Paderborn University(帕德博恩大学);Hitachi, Ltd.(日立公司);Microsoft(微软公司);Linguistic Data Consortium(语言数据联盟)
在第一、二、三、四、五届CHiME挑战赛取得成功后,我们组织了第六届CHiME语音分离和识别挑战赛(CHiME-6)。新的挑战重新审视了之前的CHiME-5挑战,并进一步考虑了日常家庭环境中远程多麦克风对话语音日记和识别的问题。除了精确的阵列同步之外,语音材料与之前的CHiME-5录音相同。该材料是使用一个晚宴的情况下,努力捕捉的数据,是自然的会话语音的代表。本文提供了CHiME-6的分段多说话者语音识别(轨道1)和未分段多说话者语音识别(轨道2)的挑战的基线描述。值得注意的是,轨道2是社区中的第一个挑战活动,以解决未分段的多扬声器语音识别场景,具有一套完整的可重复的开源基线,提供语音增强,扬声器日记和语音识别模块。
2020-05-02 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University(西江大学);Seoul Hospital(首尔医院);Ewha Womans University College of Medicine(梨花女子大学医学院)
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测,并设计标注方案与独立评估指标,实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur(贝兰布尔印度科学教育与研究院(IISER))
自动语音识别是计算机科学和语言学的交叉学科应用,它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用,如高性能战斗机,直升机,空中交通管制员。除了军事领域,语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本(STT)的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech,它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统,它使用利用多个图形处理单元(GPU)的优化的递归神经网络(RNN)训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的,这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到,有几种英语口音因州而异。在这项工作中,我们使用了迁移学习方法,使用最新的深度语音模型,即,deepspeech-0.9.3,用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型,我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络,结合会话上下文/词/语音嵌入。与传统的语音识别模型不同,我们的模型学习跨越句子的较长对话上下文信息,因此更好地识别长对话。具体地,我们提出使用基于文本的外部词和/或句子嵌入(即,fastText,BERT),从而显著改善了单词出错率,并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University(俄亥俄州立大学)
对于语音增强任务,局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准,以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后,频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合,训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia(澳大利亚联邦大学)
在基于人工神经网络的序列到序列模型中,注意力是一种非常流行和有效的机制。在这篇调查论文中,提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group(好未来教育集团)
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库,它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景,包含约587小时16 kHz的语音样本。据我们所知,TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别(ASR)数据集。在本文中,我们将详细介绍录音过程,包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库,我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验,建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率(MER)性能。实验结果表明,音频记录和传输的质量是有希望的,基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
End-to-end Speech-to-Punctuated-Text Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);RevComm, Inc.(RevComm公司)
传统的自动语音识别系统不产生对语音识别结果的可读性很重要的标点符号。它们也需要用于后续的自然语言处理任务,如机器翻译。在标点符号预测模型方面已经有很多工作,这些模型将标点符号插入到语音识别结果中作为后处理。然而,这些研究并没有利用声学信息的标点符号的预测,并直接受到语音识别错误。在这项研究中,我们提出了一个端到端的模型,以语音作为输入和输出标点文本。该模型有望在使用声学信息的同时对语音识别错误鲁棒地预测标点符号。我们还建议将一个辅助损失训练模型使用的输出的中间层和不加标点的文本。通过实验,我们比较了所提出的模型的级联系统的性能。该模型在不牺牲语音识别错误率的前提下,实现了比级联系统更高的标点预测精度。实验还表明,使用中间输出对不加标点的文本进行多任务学习是有效的。此外,所提出的模型只有约1/7的参数相比,级联系统。
2022-07-07 cs.CL cs.SD eess.AS
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境,利用一定量的训练语音数据的混响环境,和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换,我们将房间诱导卷积转换为对数谱域中的加法。接下来,我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间,该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University(阿联酋大学);National University of Science & Technology(国家科学技术大学)
自动语音识别(ASR)系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能,但是对于所有感兴趣的语言而言,获取大的标记数据集可能是困难的或昂贵的。在本文中,我们回顾了研究文献,以确定可能导致完全无监督ASR的模型和想法,包括语音信号的无监督分割,从语音段到文本的无监督映射,以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性,并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University(密歇根州立大学);RPI(伦斯勒理工学院);Vanderbilt University(范德堡大学);Rice University(莱斯大学)
孟加拉语是世界上使用最多的语言之一,全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎,但由于缺乏多样化的开源数据集,对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向,我们已经众包了孟加拉语通用语音语音数据集,这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集,是正在进行的活动的一部分,该活动在两个月内收集了超过400小时的数据,并且正在迅速增长。我们的分析表明,与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比,该数据集具有更多的扬声器,音素和环境多样性。我们提出了从数据集中获得的见解,并讨论了需要在未来版本中解决的关键语言挑战。此外,我们报告了一些自动语音识别(ASR)算法的当前性能,并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University(康奈尔大学);NAVER Cloud Corporation(NAVER云公司)
本文提出两种数据驱动方法,利用语音语料库和注意力映射自动检测非母语者发音错误模式,在母语和非母语英语语音识别上分别提升5.7%和12.8%,增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research(谷歌研究院)
在非洲使用的2,000多种语言中,几乎没有一种具有广泛使用的自动语音识别系统,所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术,这可能会提供途径,非洲语言的大词汇语音识别:多语言建模和自监督学习。我们收集了可用的开放源数据,收集了15种语言的数据,并使用这些技术训练了实验模型。我们的研究结果表明,汇集多语言端到端模型中可用的少量数据,并对无监督数据进行预训练,可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中,通常很少的训练数据可用于特定的具有挑战性的任务,但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题,我们提出了一种两阶段的声学建模方法,该方法将噪声和混响数据增强与迁移学习相结合,以鲁棒地解决困难的声学记录条件,自发语音和老年人语音等挑战。我们评估我们的方法使用的例子,德国口述历史访谈,其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung(万隆理工学院);University of Indonesia(印度尼西亚大学);Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Nara Institute of Science and Technology(奈良科学技术大学)
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力,发现微调的Whisper模型表现最佳,且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Noise-robust Speech Recognition with 10 Minutes Unparalleled In-domain Data
Nanyang Technological University(南洋理工大学);Air Traffic Management Research Institute(空中交通管理研究院)
抗噪语音识别系统需要大量的训练数据,包括带噪语音数据和相应的文本,以在各种实际环境中获得最佳性能。然而,如此大量的域内数据在现实世界中并不总是可用的。在本文中,我们提出了一个生成对抗网络来从干净的频谱(Simu-GAN)中模拟噪声频谱,其中只需要10分钟的无与伦比的域内噪声语音数据作为标签。此外,我们也提出了一个双路径语音识别系统,以提高系统在噪声条件下的鲁棒性。实验结果表明,所提出的语音识别系统实现了7.3%的绝对改善与模拟噪声数据的Simu-GAN在最佳基线方面的字出错率(WER)。
2022-03-29 cs.CL cs.SD eess.AS
Accented Speech Recognition: A Survey
自动语音识别(ASR)系统对带口音语音的概括性较差。口音的语音和语言变异性在数据汇集和建模策略方面都对当今的ASR系统提出了严峻的挑战。不同口音的ASR性能的偏差对ASR的用户和提供商都是有代价的。我们提出了一个调查目前有前途的方法,口音语音识别,并强调在空间的关键挑战。目前的方法主要集中在单模型综合和重点特征工程。在这些挑战中,缺乏标准基准使得研究和比较特别困难。
2021-06-02 cs.CL cs.SD eess.AS
NIESR: Nuisance Invariant End-to-end Speech Recognition
USC Information Sciences Institute(南加州大学信息科学研究所)
用于语音识别的深度神经网络模型最近取得了巨大的成功,但它们可以学习语音的目标和滋扰因素之间的不正确关联(例如,说话者身份、背景噪声等),这可能导致过拟合。虽然已经提出了几种方法来解决这个问题,但现有的方法在训练过程中结合了关于滋扰因素的额外信息来开发不变模型。然而,在语音数据中的所有可能的滋扰因素的枚举和它们的注释的收集是困难和昂贵的。我们提出了一个强大的端到端语音识别的训练方案,采用无监督对抗不变性诱导框架,从滋扰中分离出语音识别的基本因素,而不使用任何补充标签,除了translance。实验结果表明,该训练方案训练的语音识别模型在WSJ0、CHiME3和TIMIT数据集上的识别率分别比基础模型提高了5.48%、6.16%和6.61%。此外,该方法在WSJ0+CHiME3组合数据集上实现了14.44%的相对改进。
2019-07-07 cs.CL cs.SD eess.AS
MIMO-SPEECH: End-to-End Multi-Channel Multi-Speaker Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
最近,端到端的方法已经证明了其在单声道多说话人语音识别中的有效性。然而,高字错误率(WER)仍然阻止这些系统在实际应用中使用。另一方面,多通道信号中的空间信息已被证明有助于远场语音识别任务。在这项工作中,我们提出了一种新的神经序列到序列(seq 2seq)的架构,MIMO-Speech,它扩展了原来的seq 2seq处理多通道输入和多通道输出,使它可以完全模拟多通道多说话人语音分离和识别。MIMO-Speech是一个完全神经的端到端框架,仅通过ASR标准进行优化。它包括:1)单耳掩蔽网络,2)多源神经波束形成器,和3)多输出语音识别模型。通过这种处理,输入的重叠语音被直接映射到文本序列。我们进一步采用了课程学习策略,充分利用训练集来提高性能。在空间化wsj 1 - 2 mix语料库上的实验表明,与单通道系统相比,该模型可以实现60%以上的WER降低,并具有高质量的增强信号(SI-SDR = 23.1 dB)。
2019-10-16 cs.CL cs.SD eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology(云从科技)
虽然自动语音识别(ASR)系统近年来取得了显著的进步,但是口语识别错误仍然存在,并且很容易被人类发现。各种语言建模技术已经开发出后识别任务,如语义校正。在本文中,我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化,在10000小时的汉语语音数据集上的实验表明,字符出错率(CER)可以有效地减少21.7%,相对于我们的基线ASR系统。专家评估表明,我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
VHASR: A Multimodal Speech Recognition System With Vision Hotwords
Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学)
针对部分研究认为图像信息无助于提升ASR性能的问题,提出以视觉为热词的多模态语音识别系统VHASR,采用双流架构,在四个数据集上验证其性能超单模ASR且达同类SOTA。
2024-10-04 cs.CL cs.SD eess.AS
Algorithm of Segment-Syllabic Synthesis in Speech Recognition Problem
本文讨论了基于音节段的语音识别。本文研究了分段音节参数轨迹合成语音识别问题的状态空间搜索方法。识别作为比较的参数轨迹在选定的语音单元上的分段语音的部分实现。给出了一些实验结果并进行了讨论。
2007-03-10 cs.CL cs.SD
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA(英伟达)
构建准确的自动语音识别(ASR)系统需要一个大型数据集,该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题,我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率(WER)的字符级为基础的模型,而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin(德克萨斯大学奥斯汀分校脑机接口实验室)
在本文中,我们展示了端到端的连续语音识别(CSR)使用脑电图(EEG)信号,没有语音信号作为输入。实现了基于注意模型的自动语音识别(ASR)和基于连接主义时间分类(CTC)的ASR系统,用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech(弗吉尼亚理工学院暨州立大学)
SpeechPy是一个开源Python包,包含语音预处理技术,语音功能和重要的后处理操作。它提供了最常用的语音特征,包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具,用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon(亚马逊公司);Rasa Technologies(Rasa科技公司)
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据,并评估两种说话模式的匹配测试集:无声和模态语音。我们观察到,与模态语音识别相比,来自成像数据的无声语音识别表现不佳,这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术,如fMLLR和无监督模型自适应,来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间,我们计算从超声舌图像中提取的舌样条的凸包。总的来说,我们观察到,沉默语的持续时间比情态语的持续时间长,并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义,但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC(海盐人工智能有限责任公司);Xiaoice, Microsoft Corporation(微软公司小冰团队);Xiaomi Corporation(小米公司)
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题,特别是儿童语音识别训练数据不足的问题,提出了各种数据处理和增强技术。详细的实验设计和进行,以显示每种技术的有效性,在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统,该系统在2021年儿童语音识别挑战赛中提供了最先进的结果,在Track 1评估集上获得了21.66%的CER(总体排名第四),在Track 2评估集上获得了16.53%的CER(总体排名第一)。挑战后分析显示,我们的系统实际上在轨道1评估集上实现了18.82%的CER,但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California(南加州大学)
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是,这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比,儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外,缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究,对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求,适应儿童数据,儿童年龄的影响,话语长度,不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg(G H Raisoni工程学院);SGB Amravati University(SGB阿姆拉瓦蒂大学);RTM Nagpur University(RTM那格浦尔大学)
四十多年来,人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式,这台机器应该包括两个子系统,即自动语音识别(ASR)和语音理解(SU)。ASR的目标是转录自然语音,而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程,它必须考虑到所有的变量信息的语音通信过程中,从声学到语义和语用。在开发自动语音识别系统时,观察到一些不利条件降低了语音识别系统的性能。在这篇文章中,语音增强系统的介绍,以增强被加性噪声污染的语音信号,提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明,用相应的增强后的语音信号代替含噪的语音信号,识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
State-of-the-art Speech Recognition using EEG and Towards Decoding of Speech Spectrum From EEG
Brain Machine Interface Lab(脑机接口实验室);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在本文中,我们首先展示了连续噪声语音识别使用脑电图(EEG)信号的英语词汇使用不同类型的最先进的端到端自动语音识别(ASR)模型,我们进一步提供了使用不同的实验条件下记录的EEG数据获得的结果。最后,我们展示了使用基于长短期记忆(LSTM)的回归模型和基于生成对抗网络(GAN)的模型从EEG信号解码语音频谱。我们的研究结果表明,在不同的实验条件下,连续噪声语音识别的EEG信号的可行性,我们提供了初步的结果,从EEG特征的语音合成。
2020-03-04 cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg(奥尔登堡大学)
在日常生活中,人类听者的语音识别性能受到各种因素的影响,例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确,但它们已经可以执行并且需要可访问的表示。在这方面的贡献,语音识别性能的交互式表示提出,它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集,证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标,比较和验证不同的建模方法在生态相关的上下文中。最终,它可以作为一种工具,在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Opportunities & Challenges In Automatic Speech Recognition
GHRCE;S. G. B. Amaravati University(S. G. B. 阿马拉瓦蒂大学)
自动语音识别能够实现广泛的当前和新兴应用,例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度,对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性:在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战,采取的方法,以及未来的研究可能的方向,以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg(汉堡大学)
在本文中,我们描述了KT-语音爬虫:一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤,提取可用于训练端到端神经语音识别系统的样本。在我们的实验中,我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音,其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音,包括背景噪音和音乐,远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时,通过将200小时收集的样本整合到训练集中,我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示(http://emnlp-demo.lakomkin.me/)和爬虫代码(https://github.com/EgorLakomkin/KTSpeechCrawler)是公开的。
2019-03-01 cs.CL cs.LG cs.SD
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute(日立金科AI研究院)
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统,结合端到端说话人日志分离与自监督表示的 ASR 模型,显著降低 DER,并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University(印第安纳大学)
这份技术报告描述了为期三周的冲刺的方法和结果,为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤,超参数选择,以及官方测试集的准确性。除此之外,我们还评估了多个任务的模型:封闭词汇语音识别,预转录,强制对齐和关键词定位。下面的实验使用Coqui STT,这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland(三星波兰研发研究院);Samsung AI Center Warsaw(三星华沙人工智能中心)
针对Poleval 2024波兰语自动语音识别挑战赛,研究提出基于Voicebox的语音合成流水线,用合成数据增强Conformer和Whisper模型,证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而,标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度(即,更高的严重性使其本身更难理解)。为了解决这个问题,我们提出了一种新的声学模型的基础上的混合专家(MoE),它处理不同的可懂度阶段,目前在失语症的语音明确定义的严重程度为基础的专家。在测试时,每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器(SID)。我们表明,我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比,基线方法,不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失,用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
在近距离说话语音上训练的语音识别器不能推广到远距离语音,并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题,留下很少的努力,以适应近距离说话的语音识别器,以遥远的语音。在这项工作中,我们回顾了几种方法从领域自适应的角度来看。这些方法,包括语音增强,多条件训练,数据增强,和自动编码器,都涉及域之间的数据转换。我们在AMI数据集上进行实验,这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距,为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University(国立清华大学);Shuang-Ho Hospital(双和医院);Taipei Medical University(台北医学大学);Taipei Medical University Hospital(台北医学大学附设医院)
针对痴呆症诊断复杂耗时的问题,本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统,在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University(西北工业大学);Du Xiaoman Financial(度小满金融)
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型,通过因果注意力掩码、右块注意力及数据增强,在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research(谷歌研究院)
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别(ASR)识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型,训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率(WER)阈值来确定不同应用场景下的成功百分比(个性化模型达到目标WER的百分比)。对于家庭自动化场景,79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲,63%的发言者也达到了目标WER。进一步的评估发现,在具有会话和域外,自发短语的测试集上也有类似的改善。我们的研究结果表明,只有几分钟的录音,语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London(帝国理工学院);University of Southampton(南安普顿大学)
语音识别系统在过去的几年中已经有了显著的改进,然而,对于口音或受损语音的情况,它们的性能显著下降。这项工作探讨域对抗神经网络(DANN)的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应(SA)模型以及说话者相关(SD)和多任务学习模型(MTL)进行比较。实验结果表明,DANN的绝对识别率为74.91%,比基线识别率提高了12.18%。此外,DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到,当标记的构音障碍的语音数据是可用的DANN和MTL执行类似,但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
LeVoice ASR Systems for the ISCSLP 2022 Intelligent Cockpit Speech Recognition Challenge
本文介绍了LeVoice自动语音识别系统,以跟踪2022年智能驾驶舱语音识别挑战赛2。Track 2是一个语音识别任务,对模型大小的范围没有限制。我们的主要观点包括基于深度学习的语音增强,基于文本到语音的语音生成,通过各种技术进行训练数据增强和语音识别模型融合。对混合架构和两种端到端架构进行了比较和融合。对于端到端建模,我们使用基于连接主义时间分类/基于注意力的编码器-解码器架构和递归神经网络换能器/基于注意力的编码器-解码器架构的模型。这些模型的性能评估与一个额外的语言模型,以提高单词错误率。结果表明,该系统在挑战测试集数据上的字符错误率为10.2%,在提交的挑战系统中排名第三。
2022-10-17 cs.SD eess.AS
A Change of Heart: Improving Speech Emotion Recognition through Speech-to-Text Modality Conversion
Sharif University of Technology(谢里夫理工大学)
针对语音情感识别任务,提出语音到文本的模态转换思路,通过两种转换方法在MELD数据集上验证,其中理想ASR下的方法超越现有语音类SOTA的加权F1得分,展现模态转换的应用潜力。
2023-07-21 cs.CL cs.LG cs.SD
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University(阿达玛科技大学);Addis Ababa University(亚的斯亚贝巴大学)
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统,使用Sphinx工具构建声学模型,并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Pushing the Limits of Non-Autoregressive Speech Recognition
Google Research(谷歌研究院)
我们将端到端语音识别的最新进展与非自回归自动语音识别相结合。我们推动了多个数据集的非自回归最先进结果的极限:LibriSpeech,Fisher+Switchboard和华尔街日报。我们的配方的关键是,我们利用CTC在巨型Conformer神经网络架构上进行SpecAugment和wav 2 vec 2预训练。我们在LibriSpeech测试/其他测试集上实现了1.8%/3.6%的WER,在Switchboard上实现了5.1%/9.8%的WER,在华尔街日报上实现了3.4%的WER,所有这些都没有语言模型。
2021-09-11 cs.CL cs.LG cs.SD
End-to-End Speech Recognition and Disfluency Removal
Macquarie University(麦考瑞大学);Oracle Corporation(甲骨文公司)
不流利检测通常是自动语音识别(ASR)系统和下游任务之间的中间步骤。相比之下,本文旨在研究端到端语音识别和不流利消除的任务。我们专门探讨是否有可能训练ASR模型直接映射到流利的成绩单,不依赖于一个单独的不流利检测模型。我们表明,端到端模型确实可以直接生成流畅的成绩单;然而,它们的性能略差于由ASR系统和不流畅检测模型组成的基线管道方法。我们还提出了两个新的指标,可用于评估综合ASR和不流利模型。本文的研究结果可以作为未来进一步研究端到端语音识别和不流利消除任务的基准。
2020-09-28 cs.CL cs.LG cs.SD
Robust Raw Waveform Speech Recognition Using Relevance Weighted Representations
Indian Institute of Science(印度科学研究所)
在噪声和信道失真的情况下的语音识别通常是具有挑战性的,因为当前的声学建模方案不适应于在存在噪声的情况下信号分布的变化。在这项工作中,我们开发了一种新的声学建模框架噪声鲁棒语音识别的基础上相关加权机制。使用子网络方法执行特征选择来实现相关性加权。在对原始语音信号进行操作的卷积网络模型的第一层的输出上应用相关子网络,而在第二卷积层输出上应用第二相关子网络。第一层的相关性权重对应于声学滤波器组选择,而第二层中的相关性权重执行调制滤波器选择。该模型被训练用于对有噪声和混响语音的语音识别任务。在多个数据集(Aurora-4、CHiME-3、VOiCES)上的语音识别实验表明,在神经网络架构中结合相关性加权显著改善了语音识别单词错误率(相对于基线系统平均相对改善10%)。
2020-10-29 cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY(纽约市立大学研究生中心);Microsoft Research(微软研究院)
语音增强最近通过各种深度学习方法取得了巨大成功。然而,大多数传统的语音增强系统是用监督方法训练的,这带来了两个重大挑战。首先,用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时,在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次,在提高语音增强性能和降低语音识别(ASR)性能之间存在权衡。因此,我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明,该函数有效地提高了语音增强的性能相比,在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线,但通过联合超级和无监督训练,系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo(东京大学);Technical University of Munich(慕尼黑工业大学);Tokyo Metropolitan University(东京都立大学);Carnegie Mellon University(卡内基梅隆大学)
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库,但尚未建立英语以外语言的开源语料库。在本文中,我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕,几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类(CTC)的自动语音识别(ASR)和自动说话人验证(ASV)的基于说话人变异的方法的技术。我们建立了1)一个大规模的日本ASR基准,拥有超过1,300小时的数据,2)日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS