Deformable TDNN with adaptive receptive fields for speech recognition
Tsinghua University(清华大学)
时间延迟神经网络(TDNN)广泛应用于基于DNN-HMM的混合语音识别系统和最近的端到端系统中。然而,TDNN的感受野是有限的和固定的,这对于像语音识别这样的任务是不期望的,其中语音的时间动态变化并受许多因素影响。本文提出在端到端语音识别中使用可变形TDNN进行自适应时间动态建模。受可变形ConvNets的启发,可变形TDNN使用额外的偏移量来增强时间采样位置,并基于ASR标准自动学习偏移量,而无需额外的监督。实验结果表明,可变形TDNN在WSJ测试中取得了最佳的测试结果(WSJ eval 92/dev 93测试的WER分别为1.42%和3.45%),明显优于标准TDNN.此外,我们提出了可变形TDNN的延迟控制机制,这使得可变形TDNN能够在不降低精度的情况下进行流式ASR。
2021-04-30 cs.CL cs.SD eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.(微软公司)
本文提出了一个端到端的说话人属性自动语音识别模型,该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练(SOT)与基于注意力的编码器-解码器,最近提出的方法,用于识别重叠的语音,包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入,以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化,该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明,该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)(日本国立信息通信技术研究所)
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题,提出带说话人掩码分支的自回归Transformer模型,可单模型同时完成两项任务,在LibriSpeech重叠数据集上验证了有效性,尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University(卡内基梅隆大学);Yahoo Japan Corporation(雅虎日本公司)
本文提出了一种端到端(E2 E)的自动语音识别(ASR)模型,该模型以鲁棒的语音识别为目标,称为增强语音输入的集成语音识别自监督学习表示(IRIS)。与传统的E2 E ASR模型相比,该模型集成了语音增强(SE)和自监督学习表示(SSLR)两个重要模块。SE模块增强带噪语音。然后,SSLR模块从增强的语音中提取用于语音识别(ASR)的特征。为了对模型进行训练,我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明,IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能(实际开发为2.0%,实际测试为3.9%),这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart(斯图加特大学)
本文介绍了我们最新的研究,提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN,以减少输入语音的噪声,从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强,而不需要任何并行数据,并通过引入多个鉴别器来检查不同的频率区域来改进它。此外,我们表明,在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法,并在开发集上观察到高达10.03%的相对WER改善,在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Speech Recognition with Augmented Synthesized Speech
Google(谷歌公司)
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间,从而允许对合成语音的操纵。在本文中,我们评估的可行性,提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法,以提供必要的声学和词汇的多样性需要强大的语音识别。最后,我们证明了这种方法的可行性,作为一个数据增强策略域转移。我们发现,语音识别性能的改善是可以实现的,通过增加合成材料的训练数据。然而,在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud(NAVER 云)
多语言语音识别的目标是区分不同语言的语言表达,同时集成声学处理。相比之下,当前的多语言语音识别研究遵循语言感知范式,主要针对提高识别性能而不是区分语言特征。在本文中,我们提出了一个多语言语音识别网络命名为混合的语音识别专家(MoLE),它在各种语言的语音识别。具体来说,MoLE从任意语言的输入语音中分析语言表达,使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家,而且还估计激活的可靠性。基于可靠性,激活的专家和语言不可知的专家聚集来表示语言条件的嵌入,用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估,实验结果表明,我们的结构是有利的多语言识别,特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University(俄亥俄州立大学)
自几年前引入深度学习以来,单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众,它直接馈送到自动语音识别(ASR)系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处,或者单耳语音增强和识别之间的差距,通常归因于在增强过程中引入的语音失真。在这项研究中,我们分析了失真的问题,比较不同的声学模型,并探讨了失真无关的单耳语音识别的训练计划。实验结果表明,与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外,在CHiME-2语料库上,本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
无监督语音识别显示出巨大的潜力,使自动语音识别(ASR)系统可访问的每一种语言。然而,现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似,我们引入了wav 2 vec-U 2.0,它取消了所有音频端的预处理,并通过更好的架构提高了准确性。此外,我们引入了一个辅助的自监督目标,将模型预测与输入联系起来。实验表明,wav 2 vec-U 2.0改进了不同语言的无监督识别结果,同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales(新南威尔士大学)
儿童语音识别是一个至关重要的领域,但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而,自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中,我们利用自我监督的成人语音表示,并使用三个著名的儿童语音语料库,建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能,检查跨域儿童语料库的效果,并调查微调模型所需的最小儿童语音量,该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明,微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明,只要5个小时的转录儿童的讲话,它是可能的微调儿童的语音识别系统,表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
CHiME-6 Challenge:Tackling Multispeaker Speech Recognition for Unsegmented Recordings
Johns Hopkins University(约翰斯·霍普金斯大学);The City University of New York(纽约城市大学);University of Sheffield(谢菲尔德大学);Inria(法国国家信息与自动化研究所);Paderborn University(帕德博恩大学);Hitachi, Ltd.(日立公司);Microsoft(微软公司);Linguistic Data Consortium(语言数据联盟)
在第一、二、三、四、五届CHiME挑战赛取得成功后,我们组织了第六届CHiME语音分离和识别挑战赛(CHiME-6)。新的挑战重新审视了之前的CHiME-5挑战,并进一步考虑了日常家庭环境中远程多麦克风对话语音日记和识别的问题。除了精确的阵列同步之外,语音材料与之前的CHiME-5录音相同。该材料是使用一个晚宴的情况下,努力捕捉的数据,是自然的会话语音的代表。本文提供了CHiME-6的分段多说话者语音识别(轨道1)和未分段多说话者语音识别(轨道2)的挑战的基线描述。值得注意的是,轨道2是社区中的第一个挑战活动,以解决未分段的多扬声器语音识别场景,具有一套完整的可重复的开源基线,提供语音增强,扬声器日记和语音识别模块。
2020-05-02 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University(西江大学);Seoul Hospital(首尔医院);Ewha Womans University College of Medicine(梨花女子大学医学院)
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测,并设计标注方案与独立评估指标,实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur(贝兰布尔印度科学教育与研究院(IISER))
自动语音识别是计算机科学和语言学的交叉学科应用,它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用,如高性能战斗机,直升机,空中交通管制员。除了军事领域,语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本(STT)的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech,它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统,它使用利用多个图形处理单元(GPU)的优化的递归神经网络(RNN)训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的,这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到,有几种英语口音因州而异。在这项工作中,我们使用了迁移学习方法,使用最新的深度语音模型,即,deepspeech-0.9.3,用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型,我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络,结合会话上下文/词/语音嵌入。与传统的语音识别模型不同,我们的模型学习跨越句子的较长对话上下文信息,因此更好地识别长对话。具体地,我们提出使用基于文本的外部词和/或句子嵌入(即,fastText,BERT),从而显著改善了单词出错率,并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University(俄亥俄州立大学)
对于语音增强任务,局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准,以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后,频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合,训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia(澳大利亚联邦大学)
在基于人工神经网络的序列到序列模型中,注意力是一种非常流行和有效的机制。在这篇调查论文中,提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group(好未来教育集团)
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库,它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景,包含约587小时16 kHz的语音样本。据我们所知,TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别(ASR)数据集。在本文中,我们将详细介绍录音过程,包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库,我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验,建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率(MER)性能。实验结果表明,音频记录和传输的质量是有希望的,基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
End-to-end Speech-to-Punctuated-Text Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);RevComm, Inc.(RevComm公司)
传统的自动语音识别系统不产生对语音识别结果的可读性很重要的标点符号。它们也需要用于后续的自然语言处理任务,如机器翻译。在标点符号预测模型方面已经有很多工作,这些模型将标点符号插入到语音识别结果中作为后处理。然而,这些研究并没有利用声学信息的标点符号的预测,并直接受到语音识别错误。在这项研究中,我们提出了一个端到端的模型,以语音作为输入和输出标点文本。该模型有望在使用声学信息的同时对语音识别错误鲁棒地预测标点符号。我们还建议将一个辅助损失训练模型使用的输出的中间层和不加标点的文本。通过实验,我们比较了所提出的模型的级联系统的性能。该模型在不牺牲语音识别错误率的前提下,实现了比级联系统更高的标点预测精度。实验还表明,使用中间输出对不加标点的文本进行多任务学习是有效的。此外,所提出的模型只有约1/7的参数相比,级联系统。
2022-07-07 cs.CL cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing(滴滴出行);DiDi Research America(滴滴美国研究院);Peking University(北京大学)
语音情感识别是一个具有挑战性的问题,因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别,可以从音频信号中提取情感相关特征,或者采用语音识别技术从语音生成文本,然后应用自然语言处理来分析情感。此外,情感识别将受益于使用音频文本多模态信息,这是不平凡的建立一个系统,从多模态学习。人们可以分别为两个输入源建立模型,并在决策层将它们组合起来,但这种方法忽略了语音和文本在时域中的相互作用。在本文中,我们提出使用注意力机制来学习语音帧和文本单词之间的对齐,旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估,实验结果表明,该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA(英伟达)
构建准确的自动语音识别(ASR)系统需要一个大型数据集,该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题,我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率(WER)的字符级为基础的模型,而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Algorithm of Segment-Syllabic Synthesis in Speech Recognition Problem
本文讨论了基于音节段的语音识别。本文研究了分段音节参数轨迹合成语音识别问题的状态空间搜索方法。识别作为比较的参数轨迹在选定的语音单元上的分段语音的部分实现。给出了一些实验结果并进行了讨论。
2007-03-10 cs.CL cs.SD
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon(亚马逊公司);Rasa Technologies(Rasa科技公司)
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据,并评估两种说话模式的匹配测试集:无声和模态语音。我们观察到,与模态语音识别相比,来自成像数据的无声语音识别表现不佳,这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术,如fMLLR和无监督模型自适应,来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间,我们计算从超声舌图像中提取的舌样条的凸包。总的来说,我们观察到,沉默语的持续时间比情态语的持续时间长,并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义,但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech(弗吉尼亚理工学院暨州立大学)
SpeechPy是一个开源Python包,包含语音预处理技术,语音功能和重要的后处理操作。它提供了最常用的语音特征,包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具,用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC(海盐人工智能有限责任公司);Xiaoice, Microsoft Corporation(微软公司小冰团队);Xiaomi Corporation(小米公司)
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题,特别是儿童语音识别训练数据不足的问题,提出了各种数据处理和增强技术。详细的实验设计和进行,以显示每种技术的有效性,在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统,该系统在2021年儿童语音识别挑战赛中提供了最先进的结果,在Track 1评估集上获得了21.66%的CER(总体排名第四),在Track 2评估集上获得了16.53%的CER(总体排名第一)。挑战后分析显示,我们的系统实际上在轨道1评估集上实现了18.82%的CER,但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University(台湾大学)
语码转换在日常会话中很常见,在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此,本文使用最近成功的自监督学习(SSL)方法,利用许多未标记的语音数据没有CS。我们发现,隐藏表示的SSL模型提供帧级的语言身份,即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外,使用多语种的语音数据进行预训练,获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California(南加州大学)
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是,这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比,儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外,缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究,对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求,适应儿童数据,儿童年龄的影响,话语长度,不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin(德克萨斯大学奥斯汀分校脑机接口实验室)
在本文中,我们展示了端到端的连续语音识别(CSR)使用脑电图(EEG)信号,没有语音信号作为输入。实现了基于注意模型的自动语音识别(ASR)和基于连接主义时间分类(CTC)的ASR系统,用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC,一个多语言的视听语料库,用于强大的语音识别和强大的语音到文本的翻译,提供1200小时的视听语音在9种语言。它完全转录,涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知,这是第一个视听语音到文本翻译的开放基准,也是多语言视听语音识别的最大开放基准。我们的基线结果表明,MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg(G H Raisoni工程学院);SGB Amravati University(SGB阿姆拉瓦蒂大学);RTM Nagpur University(RTM那格浦尔大学)
四十多年来,人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式,这台机器应该包括两个子系统,即自动语音识别(ASR)和语音理解(SU)。ASR的目标是转录自然语音,而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程,它必须考虑到所有的变量信息的语音通信过程中,从声学到语义和语用。在开发自动语音识别系统时,观察到一些不利条件降低了语音识别系统的性能。在这篇文章中,语音增强系统的介绍,以增强被加性噪声污染的语音信号,提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明,用相应的增强后的语音信号代替含噪的语音信号,识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
State-of-the-art Speech Recognition using EEG and Towards Decoding of Speech Spectrum From EEG
Brain Machine Interface Lab(脑机接口实验室);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在本文中,我们首先展示了连续噪声语音识别使用脑电图(EEG)信号的英语词汇使用不同类型的最先进的端到端自动语音识别(ASR)模型,我们进一步提供了使用不同的实验条件下记录的EEG数据获得的结果。最后,我们展示了使用基于长短期记忆(LSTM)的回归模型和基于生成对抗网络(GAN)的模型从EEG信号解码语音频谱。我们的研究结果表明,在不同的实验条件下,连续噪声语音识别的EEG信号的可行性,我们提供了初步的结果,从EEG特征的语音合成。
2020-03-04 cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
本文介绍了我们在重叠语音的端到端自动语音识别(ASR)方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统,并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料,并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明,对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg(奥尔登堡大学)
在日常生活中,人类听者的语音识别性能受到各种因素的影响,例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确,但它们已经可以执行并且需要可访问的表示。在这方面的贡献,语音识别性能的交互式表示提出,它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集,证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标,比较和验证不同的建模方法在生态相关的上下文中。最终,它可以作为一种工具,在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg(汉堡大学)
在本文中,我们描述了KT-语音爬虫:一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤,提取可用于训练端到端神经语音识别系统的样本。在我们的实验中,我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音,其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音,包括背景噪音和音乐,远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时,通过将200小时收集的样本整合到训练集中,我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示(http://emnlp-demo.lakomkin.me/)和爬虫代码(https://github.com/EgorLakomkin/KTSpeechCrawler)是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Opportunities & Challenges In Automatic Speech Recognition
GHRCE;S. G. B. Amaravati University(S. G. B. 阿马拉瓦蒂大学)
自动语音识别能够实现广泛的当前和新兴应用,例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度,对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性:在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战,采取的方法,以及未来的研究可能的方向,以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University(印第安纳大学)
这份技术报告描述了为期三周的冲刺的方法和结果,为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤,超参数选择,以及官方测试集的准确性。除此之外,我们还评估了多个任务的模型:封闭词汇语音识别,预转录,强制对齐和关键词定位。下面的实验使用Coqui STT,这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
在近距离说话语音上训练的语音识别器不能推广到远距离语音,并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题,留下很少的努力,以适应近距离说话的语音识别器,以遥远的语音。在这项工作中,我们回顾了几种方法从领域自适应的角度来看。这些方法,包括语音增强,多条件训练,数据增强,和自动编码器,都涉及域之间的数据转换。我们在AMI数据集上进行实验,这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距,为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute(日立金科AI研究院)
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统,结合端到端说话人日志分离与自监督表示的 ASR 模型,显著降低 DER,并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University(国立清华大学);Shuang-Ho Hospital(双和医院);Taipei Medical University(台北医学大学);Taipei Medical University Hospital(台北医学大学附设医院)
针对痴呆症诊断复杂耗时的问题,本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统,在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland(三星波兰研发研究院);Samsung AI Center Warsaw(三星华沙人工智能中心)
针对Poleval 2024波兰语自动语音识别挑战赛,研究提出基于Voicebox的语音合成流水线,用合成数据增强Conformer和Whisper模型,证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而,标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度(即,更高的严重性使其本身更难理解)。为了解决这个问题,我们提出了一种新的声学模型的基础上的混合专家(MoE),它处理不同的可懂度阶段,目前在失语症的语音明确定义的严重程度为基础的专家。在测试时,每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器(SID)。我们表明,我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比,基线方法,不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University(西北工业大学);Du Xiaoman Financial(度小满金融)
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型,通过因果注意力掩码、右块注意力及数据增强,在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna(科雷大学恩纳分校);Politecnico di Torino(托里诺理工学院);Università di Palermo(巴勒莫大学)
针对构音障碍语音识别难题,提出结合先进ASR模型与LLM生成式纠错的两阶段框架,并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
LeVoice ASR Systems for the ISCSLP 2022 Intelligent Cockpit Speech Recognition Challenge
本文介绍了LeVoice自动语音识别系统,以跟踪2022年智能驾驶舱语音识别挑战赛2。Track 2是一个语音识别任务,对模型大小的范围没有限制。我们的主要观点包括基于深度学习的语音增强,基于文本到语音的语音生成,通过各种技术进行训练数据增强和语音识别模型融合。对混合架构和两种端到端架构进行了比较和融合。对于端到端建模,我们使用基于连接主义时间分类/基于注意力的编码器-解码器架构和递归神经网络换能器/基于注意力的编码器-解码器架构的模型。这些模型的性能评估与一个额外的语言模型,以提高单词错误率。结果表明,该系统在挑战测试集数据上的字符错误率为10.2%,在提交的挑战系统中排名第三。
2022-10-17 cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失,用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.(微软公司)
在会议和对话等多人场景中,语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的,因此常规方法通常以级联方式解决该问题,该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中,我们提出了流式解混,识别和识别传感器(SURIT)-一个新的框架,处理这个问题,在一个端到端的流式方式。SURIT采用递归神经网络转换器(RNN-T)作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集,并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
Robust Raw Waveform Speech Recognition Using Relevance Weighted Representations
Indian Institute of Science(印度科学研究所)
在噪声和信道失真的情况下的语音识别通常是具有挑战性的,因为当前的声学建模方案不适应于在存在噪声的情况下信号分布的变化。在这项工作中,我们开发了一种新的声学建模框架噪声鲁棒语音识别的基础上相关加权机制。使用子网络方法执行特征选择来实现相关性加权。在对原始语音信号进行操作的卷积网络模型的第一层的输出上应用相关子网络,而在第二卷积层输出上应用第二相关子网络。第一层的相关性权重对应于声学滤波器组选择,而第二层中的相关性权重执行调制滤波器选择。该模型被训练用于对有噪声和混响语音的语音识别任务。在多个数据集(Aurora-4、CHiME-3、VOiCES)上的语音识别实验表明,在神经网络架构中结合相关性加权显著改善了语音识别单词错误率(相对于基线系统平均相对改善10%)。
2020-10-29 cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY(纽约市立大学研究生中心);Microsoft Research(微软研究院)
语音增强最近通过各种深度学习方法取得了巨大成功。然而,大多数传统的语音增强系统是用监督方法训练的,这带来了两个重大挑战。首先,用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时,在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次,在提高语音增强性能和降低语音识别(ASR)性能之间存在权衡。因此,我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明,该函数有效地提高了语音增强的性能相比,在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线,但通过联合超级和无监督训练,系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo(东京大学);Technical University of Munich(慕尼黑工业大学);Tokyo Metropolitan University(东京都立大学);Carnegie Mellon University(卡内基梅隆大学)
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库,但尚未建立英语以外语言的开源语料库。在本文中,我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕,几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类(CTC)的自动语音识别(ASR)和自动说话人验证(ASV)的基于说话人变异的方法的技术。我们建立了1)一个大规模的日本ASR基准,拥有超过1,300小时的数据,2)日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University(阿达玛科技大学);Addis Ababa University(亚的斯亚贝巴大学)
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统,使用Sphinx工具构建声学模型,并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology(代尔夫特理工大学);Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学)
在本文中,我们研究了几种现有的和一种新的最先进的基于生成对抗网络(GAN)的语音转换方法,用于增强构音障碍语音,以改进构音障碍语音识别。我们比较现有方法的关键组成部分,作为严格的消融研究的一部分,以找到最有效的解决方案,以改善构音障碍的语音识别。我们发现,简单的信号处理方法,如静态噪声去除和基于声码器的时间拉伸,导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当,如使用音素识别任务测量的。此外,与我们的时间拉伸基线相比,我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras(印度理工学院马德拉斯分校)
自动语音识别是模式识别中的一个难题,因为语音输入中存在多种可变性来源,例如通道变化,输入可能是干净的或有噪声的,说话者可能具有不同的口音和性别变化等。因此,域自适应在语音识别中很重要,其中我们训练特定源域的模型,并在不同的目标域上对其进行测试。在本文中,我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验,使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.(谷歌公司)
本文提出口音聚类与挖掘方案,结合预训练、分布鲁棒优化和无监督聚类,在挖掘出的印度口音语音上微调ASR,相对随机采样分别提升10.0%和5.3%,实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University(卡内基梅隆大学);dot Inc.(42dot公司)
本文提出统一仅解码器模型 VoxtLM,通过融合文本词汇与离散语音 token 及特殊 token,支持识别、合成、文本生成和语音续写,并在多项任务上优于单任务模型,且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS