End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
本文介绍了我们在重叠语音的端到端自动语音识别(ASR)方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统,并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料,并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明,对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Recent Progress in the CUHK Dysarthric Speech Recognition System
Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
尽管自动语音识别(ASR)技术在过去的几十年中取得了快速的进步,但迄今为止,对无序语音的识别仍然是一项极具挑战性的任务。无序语音对当前主要针对正常语音的基于数据密集型深度神经网络(DNN)的ASR技术提出了广泛的挑战。本文介绍了最近的研究工作,在香港中文大学(CUHK),以提高性能的障碍语音识别系统上最大的公开可用的UASpeech构音障碍语音语料库。一组新的建模技术,包括神经架构搜索,数据增强使用频谱时间扰动,基于模型的说话人自适应和跨域生成的视觉特征的视听语音识别(AVSR)系统框架内,以解决上述挑战。这些技术的结合在UASpeech测试集(16名构音障碍说话者)上产生了最低的已发布单词错误率(WER),为25.21%,并且与中大2018年构音障碍语音识别系统相比,总体WER绝对降低了5.4%(相对降低了17.6%),该系统具有6路DNN系统组合和域外正常语音数据训练系统的交叉自适应。贝叶斯模型自适应还允许使用少至3.06秒的语音来执行对个体构音障碍说话者的快速自适应。这些技术的有效性进一步证明了CUDYS广东话构音障碍语音识别任务。
2022-02-26 cs.AI cs.LG cs.SD
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg(汉堡大学)
在本文中,我们描述了KT-语音爬虫:一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤,提取可用于训练端到端神经语音识别系统的样本。在我们的实验中,我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音,其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音,包括背景噪音和音乐,远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时,通过将200小时收集的样本整合到训练集中,我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示(http://emnlp-demo.lakomkin.me/)和爬虫代码(https://github.com/EgorLakomkin/KTSpeechCrawler)是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University(印第安纳大学)
这份技术报告描述了为期三周的冲刺的方法和结果,为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤,超参数选择,以及官方测试集的准确性。除此之外,我们还评估了多个任务的模型:封闭词汇语音识别,预转录,强制对齐和关键词定位。下面的实验使用Coqui STT,这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University(阿达玛科技大学);Addis Ababa University(亚的斯亚贝巴大学)
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统,使用Sphinx工具构建声学模型,并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School(雷文伍德高中)
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数(MFCC)是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数(GFCC)作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
在近距离说话语音上训练的语音识别器不能推广到远距离语音,并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题,留下很少的努力,以适应近距离说话的语音识别器,以遥远的语音。在这项工作中,我们回顾了几种方法从领域自适应的角度来看。这些方法,包括语音增强,多条件训练,数据增强,和自动编码器,都涉及域之间的数据转换。我们在AMI数据集上进行实验,这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距,为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University(国立清华大学);Shuang-Ho Hospital(双和医院);Taipei Medical University(台北医学大学);Taipei Medical University Hospital(台北医学大学附设医院)
针对痴呆症诊断复杂耗时的问题,本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统,在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research(谷歌研究院)
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别(ASR)识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型,训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率(WER)阈值来确定不同应用场景下的成功百分比(个性化模型达到目标WER的百分比)。对于家庭自动化场景,79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲,63%的发言者也达到了目标WER。进一步的评估发现,在具有会话和域外,自发短语的测试集上也有类似的改善。我们的研究结果表明,只有几分钟的录音,语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London(帝国理工学院);University of Southampton(南安普顿大学)
语音识别系统在过去的几年中已经有了显著的改进,然而,对于口音或受损语音的情况,它们的性能显著下降。这项工作探讨域对抗神经网络(DANN)的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应(SA)模型以及说话者相关(SD)和多任务学习模型(MTL)进行比较。实验结果表明,DANN的绝对识别率为74.91%,比基线识别率提高了12.18%。此外,DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到,当标记的构音障碍的语音数据是可用的DANN和MTL执行类似,但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.(微软公司)
本文提出了一个端到端的说话人属性自动语音识别模型,该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练(SOT)与基于注意力的编码器-解码器,最近提出的方法,用于识别重叠的语音,包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入,以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化,该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明,该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
A Change of Heart: Improving Speech Emotion Recognition through Speech-to-Text Modality Conversion
Sharif University of Technology(谢里夫理工大学)
针对语音情感识别任务,提出语音到文本的模态转换思路,通过两种转换方法在MELD数据集上验证,其中理想ASR下的方法超越现有语音类SOTA的加权F1得分,展现模态转换的应用潜力。
2023-07-21 cs.CL cs.LG cs.SD
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)(日本国立信息通信技术研究所)
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题,提出带说话人掩码分支的自回归Transformer模型,可单模型同时完成两项任务,在LibriSpeech重叠数据集上验证了有效性,尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Online Continual Learning of End-to-End Speech Recognition Models
Carnegie Mellon University(卡内基梅隆大学)
持续学习,也被称为终身学习,旨在不断地从新的数据中学习,因为它变得可用。虽然先前的研究在自动语音识别的持续学习集中在多个不同的语音识别任务的模型的适应,在本文中,我们提出了一个实验设置\textit{online continual learning}自动语音识别的一个单一的任务。特别关注的情况下,额外的训练数据为同一个任务变得越来越可用随着时间的推移,我们证明了执行增量模型更新到端到端的语音识别模型的有效性与在线梯度情景记忆(GEM)的方法。此外,我们表明,通过在线持续学习和选择性采样策略,我们可以保持类似于从头开始重新训练模型的准确性,同时需要显着降低计算成本。我们还验证了我们的方法与自监督学习(SSL)功能。
2022-07-11 cs.AI cs.LG cs.SD
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University(卡内基梅隆大学);Yahoo Japan Corporation(雅虎日本公司)
本文提出了一种端到端(E2 E)的自动语音识别(ASR)模型,该模型以鲁棒的语音识别为目标,称为增强语音输入的集成语音识别自监督学习表示(IRIS)。与传统的E2 E ASR模型相比,该模型集成了语音增强(SE)和自监督学习表示(SSLR)两个重要模块。SE模块增强带噪语音。然后,SSLR模块从增强的语音中提取用于语音识别(ASR)的特征。为了对模型进行训练,我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明,IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能(实际开发为2.0%,实际测试为3.9%),这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Pushing the Limits of Non-Autoregressive Speech Recognition
Google Research(谷歌研究院)
我们将端到端语音识别的最新进展与非自回归自动语音识别相结合。我们推动了多个数据集的非自回归最先进结果的极限:LibriSpeech,Fisher+Switchboard和华尔街日报。我们的配方的关键是,我们利用CTC在巨型Conformer神经网络架构上进行SpecAugment和wav 2 vec 2预训练。我们在LibriSpeech测试/其他测试集上实现了1.8%/3.6%的WER,在Switchboard上实现了5.1%/9.8%的WER,在华尔街日报上实现了3.4%的WER,所有这些都没有语言模型。
2021-09-11 cs.CL cs.LG cs.SD
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart(斯图加特大学)
本文介绍了我们最新的研究,提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN,以减少输入语音的噪声,从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强,而不需要任何并行数据,并通过引入多个鉴别器来检查不同的频率区域来改进它。此外,我们表明,在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法,并在开发集上观察到高达10.03%的相对WER改善,在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Speech Recognition with Augmented Synthesized Speech
Google(谷歌公司)
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间,从而允许对合成语音的操纵。在本文中,我们评估的可行性,提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法,以提供必要的声学和词汇的多样性需要强大的语音识别。最后,我们证明了这种方法的可行性,作为一个数据增强策略域转移。我们发现,语音识别性能的改善是可以实现的,通过增加合成材料的训练数据。然而,在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
End-to-End Speech Recognition and Disfluency Removal
Macquarie University(麦考瑞大学);Oracle Corporation(甲骨文公司)
不流利检测通常是自动语音识别(ASR)系统和下游任务之间的中间步骤。相比之下,本文旨在研究端到端语音识别和不流利消除的任务。我们专门探讨是否有可能训练ASR模型直接映射到流利的成绩单,不依赖于一个单独的不流利检测模型。我们表明,端到端模型确实可以直接生成流畅的成绩单;然而,它们的性能略差于由ASR系统和不流畅检测模型组成的基线管道方法。我们还提出了两个新的指标,可用于评估综合ASR和不流利模型。本文的研究结果可以作为未来进一步研究端到端语音识别和不流利消除任务的基准。
2020-09-28 cs.CL cs.LG cs.SD
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud(NAVER 云)
多语言语音识别的目标是区分不同语言的语言表达,同时集成声学处理。相比之下,当前的多语言语音识别研究遵循语言感知范式,主要针对提高识别性能而不是区分语言特征。在本文中,我们提出了一个多语言语音识别网络命名为混合的语音识别专家(MoLE),它在各种语言的语音识别。具体来说,MoLE从任意语言的输入语音中分析语言表达,使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家,而且还估计激活的可靠性。基于可靠性,激活的专家和语言不可知的专家聚集来表示语言条件的嵌入,用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估,实验结果表明,我们的结构是有利的多语言识别,特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology(代尔夫特理工大学);Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学)
在本文中,我们研究了几种现有的和一种新的最先进的基于生成对抗网络(GAN)的语音转换方法,用于增强构音障碍语音,以改进构音障碍语音识别。我们比较现有方法的关键组成部分,作为严格的消融研究的一部分,以找到最有效的解决方案,以改善构音障碍的语音识别。我们发现,简单的信号处理方法,如静态噪声去除和基于声码器的时间拉伸,导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当,如使用音素识别任务测量的。此外,与我们的时间拉伸基线相比,我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Morse Code-Enabled Speech Recognition for Individuals with Visual and Hearing Impairments
School of Computer Engineering Kalinga Institute of Industrial Technology(卡林加工业技术学院计算机工程学院)
提出一种面向视觉与听力障碍人士的语音识别系统,将语音转为文本再转为摩尔斯电码,测试词错误率10.18%,准确率89.82%。
2024-07-07 cs.AI cs.CL cs.HC
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University(俄亥俄州立大学)
自几年前引入深度学习以来,单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众,它直接馈送到自动语音识别(ASR)系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处,或者单耳语音增强和识别之间的差距,通常归因于在增强过程中引入的语音失真。在这项研究中,我们分析了失真的问题,比较不同的声学模型,并探讨了失真无关的单耳语音识别的训练计划。实验结果表明,与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外,在CHiME-2语料库上,本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras(印度理工学院马德拉斯分校)
自动语音识别是模式识别中的一个难题,因为语音输入中存在多种可变性来源,例如通道变化,输入可能是干净的或有噪声的,说话者可能具有不同的口音和性别变化等。因此,域自适应在语音识别中很重要,其中我们训练特定源域的模型,并在不同的目标域上对其进行测试。在本文中,我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验,使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
无监督语音识别显示出巨大的潜力,使自动语音识别(ASR)系统可访问的每一种语言。然而,现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似,我们引入了wav 2 vec-U 2.0,它取消了所有音频端的预处理,并通过更好的架构提高了准确性。此外,我们引入了一个辅助的自监督目标,将模型预测与输入联系起来。实验表明,wav 2 vec-U 2.0改进了不同语言的无监督识别结果,同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.(谷歌公司)
本文提出口音聚类与挖掘方案,结合预训练、分布鲁棒优化和无监督聚类,在挖掘出的印度口音语音上微调ASR,相对随机采样分别提升10.0%和5.3%,实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales(新南威尔士大学)
儿童语音识别是一个至关重要的领域,但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而,自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中,我们利用自我监督的成人语音表示,并使用三个著名的儿童语音语料库,建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能,检查跨域儿童语料库的效果,并调查微调模型所需的最小儿童语音量,该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明,微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明,只要5个小时的转录儿童的讲话,它是可能的微调儿童的语音识别系统,表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin(德克萨斯大学奥斯汀分校脑机接口实验室)
在本文中,我们展示了连续噪声语音识别使用连接主义时间分类(CTC)模型在有限的中文词汇使用脑电(EEG)特征,没有语音信号作为输入,我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征,没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果,并且我们在本文中提出了一种新的深度学习架构,该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Algorithm of Segment-Syllabic Synthesis in Speech Recognition Problem
本文讨论了基于音节段的语音识别。本文研究了分段音节参数轨迹合成语音识别问题的状态空间搜索方法。识别作为比较的参数轨迹在选定的语音单元上的分段语音的部分实现。给出了一些实验结果并进行了讨论。
2007-03-10 cs.CL cs.SD
CHiME-6 Challenge:Tackling Multispeaker Speech Recognition for Unsegmented Recordings
Johns Hopkins University(约翰斯·霍普金斯大学);The City University of New York(纽约城市大学);University of Sheffield(谢菲尔德大学);Inria(法国国家信息与自动化研究所);Paderborn University(帕德博恩大学);Hitachi, Ltd.(日立公司);Microsoft(微软公司);Linguistic Data Consortium(语言数据联盟)
在第一、二、三、四、五届CHiME挑战赛取得成功后,我们组织了第六届CHiME语音分离和识别挑战赛(CHiME-6)。新的挑战重新审视了之前的CHiME-5挑战,并进一步考虑了日常家庭环境中远程多麦克风对话语音日记和识别的问题。除了精确的阵列同步之外,语音材料与之前的CHiME-5录音相同。该材料是使用一个晚宴的情况下,努力捕捉的数据,是自然的会话语音的代表。本文提供了CHiME-6的分段多说话者语音识别(轨道1)和未分段多说话者语音识别(轨道2)的挑战的基线描述。值得注意的是,轨道2是社区中的第一个挑战活动,以解决未分段的多扬声器语音识别场景,具有一套完整的可重复的开源基线,提供语音增强,扬声器日记和语音识别模块。
2020-05-02 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University(西江大学);Seoul Hospital(首尔医院);Ewha Womans University College of Medicine(梨花女子大学医学院)
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测,并设计标注方案与独立评估指标,实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们探讨了连续无声语音识别使用脑电图(EEG)信号。我们实现了一个连接主义的时间分类(CTC)的自动语音识别(ASR)模型,以翻译并行记录的EEG信号,而受试者正在阅读英语句子在他们的脑海中,没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果,有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon(亚马逊公司);Rasa Technologies(Rasa科技公司)
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据,并评估两种说话模式的匹配测试集:无声和模态语音。我们观察到,与模态语音识别相比,来自成像数据的无声语音识别表现不佳,这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术,如fMLLR和无监督模型自适应,来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间,我们计算从超声舌图像中提取的舌样条的凸包。总的来说,我们观察到,沉默语的持续时间比情态语的持续时间长,并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义,但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur(贝兰布尔印度科学教育与研究院(IISER))
自动语音识别是计算机科学和语言学的交叉学科应用,它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用,如高性能战斗机,直升机,空中交通管制员。除了军事领域,语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本(STT)的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech,它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统,它使用利用多个图形处理单元(GPU)的优化的递归神经网络(RNN)训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的,这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到,有几种英语口音因州而异。在这项工作中,我们使用了迁移学习方法,使用最新的深度语音模型,即,deepspeech-0.9.3,用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型,我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络,结合会话上下文/词/语音嵌入。与传统的语音识别模型不同,我们的模型学习跨越句子的较长对话上下文信息,因此更好地识别长对话。具体地,我们提出使用基于文本的外部词和/或句子嵌入(即,fastText,BERT),从而显著改善了单词出错率,并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Understanding effect of speech perception in EEG based speech recognition systems
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
与语音并行记录的脑电(EEG)信号用于执行孤立和连续语音识别。在说话过程中,一个人也听到他或她自己的语音,这种语音感知也反映在记录的EEG信号中。在本文中,我们研究是否有可能分离出这个语音感知分量从EEG信号,以设计更强大的EEG为基础的语音识别系统。我们进一步证明了预测EEG信号记录在平行与被动听力,反之亦然,非常低的归一化根均方误差(RMSE)从EEG信号记录在平行说话。最后,我们使用与听、说并行记录的EEG信号演示了孤立和连续语音识别,并使用他们的数据集改进了作者在[1]中演示的先前的连接主义时间分类(CTC)模型结果。
2020-05-29 cs.LG cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University(卡内基梅隆大学);dot Inc.(42dot公司)
本文提出统一仅解码器模型 VoxtLM,通过融合文本词汇与离散语音 token 及特殊 token,支持识别、合成、文本生成和语音续写,并在多项任务上优于单任务模型,且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University(俄亥俄州立大学)
对于语音增强任务,局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准,以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后,频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合,训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech(弗吉尼亚理工学院暨州立大学)
SpeechPy是一个开源Python包,包含语音预处理技术,语音功能和重要的后处理操作。它提供了最常用的语音特征,包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具,用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC(海盐人工智能有限责任公司);Xiaoice, Microsoft Corporation(微软公司小冰团队);Xiaomi Corporation(小米公司)
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题,特别是儿童语音识别训练数据不足的问题,提出了各种数据处理和增强技术。详细的实验设计和进行,以显示每种技术的有效性,在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统,该系统在2021年儿童语音识别挑战赛中提供了最先进的结果,在Track 1评估集上获得了21.66%的CER(总体排名第四),在Track 2评估集上获得了16.53%的CER(总体排名第一)。挑战后分析显示,我们的系统实际上在轨道1评估集上实现了18.82%的CER,但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia(澳大利亚联邦大学)
在基于人工神经网络的序列到序列模型中,注意力是一种非常流行和有效的机制。在这篇调查论文中,提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Curriculum optimization for low-resource speech recognition
现代端到端语音识别模型在将音频信号转录成书面文本方面显示出惊人的结果。然而,传统的数据馈送流水线对于低资源语音识别来说可能是次优的,这仍然是一项具有挑战性的任务。我们提出了一种自动化的课程学习方法,根据模型在训练时的进度和关于训练示例难度的先验知识来优化训练示例的序列。我们引入了一个新的难度度量,称为压缩比,可以用作各种噪声条件下原始音频的评分函数。所提出的方法提高了语音识别字错误率性能高达33%,相对于基线系统
2022-02-17 cs.LG cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University(台湾大学)
语码转换在日常会话中很常见,在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此,本文使用最近成功的自监督学习(SSL)方法,利用许多未标记的语音数据没有CS。我们发现,隐藏表示的SSL模型提供帧级的语言身份,即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外,使用多语种的语音数据进行预训练,获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
Global Normalization for Streaming Speech Recognition in a Modular Framework
Google Research(谷歌研究院)
我们引入了全局归一化自回归转换器(GNAT)来解决流语音识别中的标签偏差问题。我们的解决方案承认一个易于处理的精确计算的分母的序列级规范化。通过理论和实证结果,我们证明,通过切换到一个全球标准化的模型,流和非流语音识别模型之间的单词出错率差距可以大大减少(超过50%的Librispeech数据集)。这个模型是在一个模块化的框架,其中包括所有常见的神经语音识别模型。该框架的模块化使得能够对建模选择和新模型的创建进行受控比较。
2022-05-26 cs.AI cs.CL cs.LG
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California(南加州大学)
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是,这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比,儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外,缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究,对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求,适应儿童数据,儿童年龄的影响,话语长度,不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group(好未来教育集团)
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库,它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景,包含约587小时16 kHz的语音样本。据我们所知,TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别(ASR)数据集。在本文中,我们将详细介绍录音过程,包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库,我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验,建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率(MER)性能。实验结果表明,音频记录和传输的质量是有希望的,基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
End-to-end Speech-to-Punctuated-Text Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);RevComm, Inc.(RevComm公司)
传统的自动语音识别系统不产生对语音识别结果的可读性很重要的标点符号。它们也需要用于后续的自然语言处理任务,如机器翻译。在标点符号预测模型方面已经有很多工作,这些模型将标点符号插入到语音识别结果中作为后处理。然而,这些研究并没有利用声学信息的标点符号的预测,并直接受到语音识别错误。在这项研究中,我们提出了一个端到端的模型,以语音作为输入和输出标点文本。该模型有望在使用声学信息的同时对语音识别错误鲁棒地预测标点符号。我们还建议将一个辅助损失训练模型使用的输出的中间层和不加标点的文本。通过实验,我们比较了所提出的模型的级联系统的性能。该模型在不牺牲语音识别错误率的前提下,实现了比级联系统更高的标点预测精度。实验还表明,使用中间输出对不加标点的文本进行多任务学习是有效的。此外,所提出的模型只有约1/7的参数相比,级联系统。
2022-07-07 cs.CL cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing(滴滴出行);DiDi Research America(滴滴美国研究院);Peking University(北京大学)
语音情感识别是一个具有挑战性的问题,因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别,可以从音频信号中提取情感相关特征,或者采用语音识别技术从语音生成文本,然后应用自然语言处理来分析情感。此外,情感识别将受益于使用音频文本多模态信息,这是不平凡的建立一个系统,从多模态学习。人们可以分别为两个输入源建立模型,并在决策层将它们组合起来,但这种方法忽略了语音和文本在时域中的相互作用。在本文中,我们提出使用注意力机制来学习语音帧和文本单词之间的对齐,旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估,实验结果表明,该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC,一个多语言的视听语料库,用于强大的语音识别和强大的语音到文本的翻译,提供1200小时的视听语音在9种语言。它完全转录,涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知,这是第一个视听语音到文本翻译的开放基准,也是多语言视听语音识别的最大开放基准。我们的基线结果表明,MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境,利用一定量的训练语音数据的混响环境,和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换,我们将房间诱导卷积转换为对数谱域中的加法。接下来,我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间,该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg(G H Raisoni工程学院);SGB Amravati University(SGB阿姆拉瓦蒂大学);RTM Nagpur University(RTM那格浦尔大学)
四十多年来,人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式,这台机器应该包括两个子系统,即自动语音识别(ASR)和语音理解(SU)。ASR的目标是转录自然语音,而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程,它必须考虑到所有的变量信息的语音通信过程中,从声学到语义和语用。在开发自动语音识别系统时,观察到一些不利条件降低了语音识别系统的性能。在这篇文章中,语音增强系统的介绍,以增强被加性噪声污染的语音信号,提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明,用相应的增强后的语音信号代替含噪的语音信号,识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation(英特尔公司);SIL International(SIL国际)
由于资源限制,在边缘设备上运行自动语音识别(ASR)并非易事,特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一,每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的,我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University(南洋理工大学)
语音增强(speech enhancement,SE)的目的是抑制含噪语音信号中的加性噪声,以提高语音的感知质量和可懂度。然而,增强语音中的过抑制现象可能会降低下游的自动语音识别(ASR)任务的性能,由于丢失的潜在信息。为了缓解这个问题,我们提出了一个交互式的特征融合网络(IFF-Net)的噪声鲁棒语音识别学习互补的信息,从增强功能和原始的噪声功能。实验结果表明,该方法实现了绝对词错误率(WER)降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明,建议的IFF-Net可以补充一些丢失的信息,在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS