Are Soft Prompts Good Zero-shot Learners for Speech Recognition?
Alibaba Group(阿里巴巴集团);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院);Nanyang Technological University(南洋理工大学)
本文探究软提示在语音识别中的零样本学习能力,揭示其内容细化与噪声增强作用,并提出噪声提示修改方法以提升对分布外噪声的适应性。
2023-09-18 cs.SD eess.AS
Enhancing Automatic Speech Recognition Through Integrated Noise Detection Architecture
Independent Researcher(独立研究者)
通过集成噪声检测架构提升语音识别的准确性和噪声辨别能力
2025-12-02 cs.AI cs.LG cs.SD
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失,用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Recent Progress in the CUHK Dysarthric Speech Recognition System
Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
尽管自动语音识别(ASR)技术在过去的几十年中取得了快速的进步,但迄今为止,对无序语音的识别仍然是一项极具挑战性的任务。无序语音对当前主要针对正常语音的基于数据密集型深度神经网络(DNN)的ASR技术提出了广泛的挑战。本文介绍了最近的研究工作,在香港中文大学(CUHK),以提高性能的障碍语音识别系统上最大的公开可用的UASpeech构音障碍语音语料库。一组新的建模技术,包括神经架构搜索,数据增强使用频谱时间扰动,基于模型的说话人自适应和跨域生成的视觉特征的视听语音识别(AVSR)系统框架内,以解决上述挑战。这些技术的结合在UASpeech测试集(16名构音障碍说话者)上产生了最低的已发布单词错误率(WER),为25.21%,并且与中大2018年构音障碍语音识别系统相比,总体WER绝对降低了5.4%(相对降低了17.6%),该系统具有6路DNN系统组合和域外正常语音数据训练系统的交叉自适应。贝叶斯模型自适应还允许使用少至3.06秒的语音来执行对个体构音障碍说话者的快速自适应。这些技术的有效性进一步证明了CUDYS广东话构音障碍语音识别任务。
2022-02-26 cs.AI cs.LG cs.SD
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg(汉堡大学)
在本文中,我们描述了KT-语音爬虫:一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤,提取可用于训练端到端神经语音识别系统的样本。在我们的实验中,我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音,其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音,包括背景噪音和音乐,远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时,通过将200小时收集的样本整合到训练集中,我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示(http://emnlp-demo.lakomkin.me/)和爬虫代码(https://github.com/EgorLakomkin/KTSpeechCrawler)是公开的。
2019-03-01 cs.CL cs.LG cs.SD
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间,自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别,例如执行语音搜索查询,发送短信,以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前,大多数人很少使用语音识别。在过去的十年里,语音识别发生了巨大的变化,我们对未来的十年有何期待?我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目,但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University(印第安纳大学)
这份技术报告描述了为期三周的冲刺的方法和结果,为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤,超参数选择,以及官方测试集的准确性。除此之外,我们还评估了多个任务的模型:封闭词汇语音识别,预转录,强制对齐和关键词定位。下面的实验使用Coqui STT,这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
在近距离说话语音上训练的语音识别器不能推广到远距离语音,并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题,留下很少的努力,以适应近距离说话的语音识别器,以遥远的语音。在这项工作中,我们回顾了几种方法从领域自适应的角度来看。这些方法,包括语音增强,多条件训练,数据增强,和自动编码器,都涉及域之间的数据转换。我们在AMI数据集上进行实验,这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距,为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University(国立清华大学);Shuang-Ho Hospital(双和医院);Taipei Medical University(台北医学大学);Taipei Medical University Hospital(台北医学大学附设医院)
针对痴呆症诊断复杂耗时的问题,本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统,在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University(阿达玛科技大学);Addis Ababa University(亚的斯亚贝巴大学)
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统,使用Sphinx工具构建声学模型,并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research(谷歌研究院)
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别(ASR)识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型,训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率(WER)阈值来确定不同应用场景下的成功百分比(个性化模型达到目标WER的百分比)。对于家庭自动化场景,79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲,63%的发言者也达到了目标WER。进一步的评估发现,在具有会话和域外,自发短语的测试集上也有类似的改善。我们的研究结果表明,只有几分钟的录音,语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London(帝国理工学院);University of Southampton(南安普顿大学)
语音识别系统在过去的几年中已经有了显著的改进,然而,对于口音或受损语音的情况,它们的性能显著下降。这项工作探讨域对抗神经网络(DANN)的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应(SA)模型以及说话者相关(SD)和多任务学习模型(MTL)进行比较。实验结果表明,DANN的绝对识别率为74.91%,比基线识别率提高了12.18%。此外,DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到,当标记的构音障碍的语音数据是可用的DANN和MTL执行类似,但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
A Change of Heart: Improving Speech Emotion Recognition through Speech-to-Text Modality Conversion
Sharif University of Technology(谢里夫理工大学)
针对语音情感识别任务,提出语音到文本的模态转换思路,通过两种转换方法在MELD数据集上验证,其中理想ASR下的方法超越现有语音类SOTA的加权F1得分,展现模态转换的应用潜力。
2023-07-21 cs.CL cs.LG cs.SD
Online Continual Learning of End-to-End Speech Recognition Models
Carnegie Mellon University(卡内基梅隆大学)
持续学习,也被称为终身学习,旨在不断地从新的数据中学习,因为它变得可用。虽然先前的研究在自动语音识别的持续学习集中在多个不同的语音识别任务的模型的适应,在本文中,我们提出了一个实验设置\textit{online continual learning}自动语音识别的一个单一的任务。特别关注的情况下,额外的训练数据为同一个任务变得越来越可用随着时间的推移,我们证明了执行增量模型更新到端到端的语音识别模型的有效性与在线梯度情景记忆(GEM)的方法。此外,我们表明,通过在线持续学习和选择性采样策略,我们可以保持类似于从头开始重新训练模型的准确性,同时需要显着降低计算成本。我们还验证了我们的方法与自监督学习(SSL)功能。
2022-07-11 cs.AI cs.LG cs.SD
Bridging Modalities: Knowledge Distillation and Masked Training for Translating Multi-Modal Emotion Recognition to Uni-Modal, Speech-Only Emotion Recognition
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种利用知识蒸馏与掩码训练技术的新框架,将依赖多模态输入的情感识别模型转化为更实用且资源高效的纯语音情感识别模型。
2024-01-04 cs.AI cs.LG cs.SD
TICL: Text-Embedding KNN For Speech In-Context Learning Unlocks Speech Recognition Abilities of Large Multimodal Models
本文提出TICL方法,利用文本嵌入KNN为语音上下文学习选择有效示例,无需微调即可增强大型多模态模型的语音识别能力,在多项挑战性任务中相对WER最高降低84.7%。
2025-09-16 cs.AI cs.CL cs.LG
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University(卡内基梅隆大学);Yahoo Japan Corporation(雅虎日本公司)
本文提出了一种端到端(E2 E)的自动语音识别(ASR)模型,该模型以鲁棒的语音识别为目标,称为增强语音输入的集成语音识别自监督学习表示(IRIS)。与传统的E2 E ASR模型相比,该模型集成了语音增强(SE)和自监督学习表示(SSLR)两个重要模块。SE模块增强带噪语音。然后,SSLR模块从增强的语音中提取用于语音识别(ASR)的特征。为了对模型进行训练,我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明,IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能(实际开发为2.0%,实际测试为3.9%),这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart(斯图加特大学)
本文介绍了我们最新的研究,提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN,以减少输入语音的噪声,从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强,而不需要任何并行数据,并通过引入多个鉴别器来检查不同的频率区域来改进它。此外,我们表明,在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法,并在开发集上观察到高达10.03%的相对WER改善,在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Speech Recognition with Augmented Synthesized Speech
Google(谷歌公司)
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间,从而允许对合成语音的操纵。在本文中,我们评估的可行性,提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法,以提供必要的声学和词汇的多样性需要强大的语音识别。最后,我们证明了这种方法的可行性,作为一个数据增强策略域转移。我们发现,语音识别性能的改善是可以实现的,通过增加合成材料的训练数据。然而,在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud(NAVER 云)
多语言语音识别的目标是区分不同语言的语言表达,同时集成声学处理。相比之下,当前的多语言语音识别研究遵循语言感知范式,主要针对提高识别性能而不是区分语言特征。在本文中,我们提出了一个多语言语音识别网络命名为混合的语音识别专家(MoLE),它在各种语言的语音识别。具体来说,MoLE从任意语言的输入语音中分析语言表达,使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家,而且还估计激活的可靠性。基于可靠性,激活的专家和语言不可知的专家聚集来表示语言条件的嵌入,用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估,实验结果表明,我们的结构是有利的多语言识别,特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Experiments of ASR-based mispronunciation detection for children and adult English learners
University of Trento(特伦托大学);University of Groningen(格罗宁根大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会(FBK))
发音是语言学习的基础之一,当涉及到理解和被他人理解时,它被认为是口语的主要因素。在语音识别领域中,由于发音错误而导致的高出错率的持续存在促使我们寻找用于处理发音错误的替代技术。在这项研究中,我们开发了一个发音错误的评估系统,检查发音的非英语母语者,确定了意大利英语学习者的常见发音错误的音素,并提出了一个评价的语音注释语音语料库中观察到的非母语发音。在这项工作中,为了检测发音错误,我们使用了基于电话的ASR,使用Kaldi实现。我们使用了两个非母语的英语标记语料库;(i)意大利成年人的语料库包含来自46个扬声器的5,867话语,(ii)意大利儿童的语料库由来自78个儿童的5,268话语组成。我们的研究结果表明,所选择的错误模型可以区分正确的声音从不正确的声音在本族语和非本族语的话,因此可以用来检测发音错误在非本族语。电话出错率显示使用错误语言模型的改善。ASR系统显示出更好的准确性后,我们所选择的语料库中应用的错误模型。
2021-04-13 cs.CL cs.SD eess.AS
Morse Code-Enabled Speech Recognition for Individuals with Visual and Hearing Impairments
School of Computer Engineering Kalinga Institute of Industrial Technology(卡林加工业技术学院计算机工程学院)
提出一种面向视觉与听力障碍人士的语音识别系统,将语音转为文本再转为摩尔斯电码,测试词错误率10.18%,准确率89.82%。
2024-07-07 cs.AI cs.CL cs.HC
The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology(代尔夫特理工大学);Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学)
在本文中,我们研究了几种现有的和一种新的最先进的基于生成对抗网络(GAN)的语音转换方法,用于增强构音障碍语音,以改进构音障碍语音识别。我们比较现有方法的关键组成部分,作为严格的消融研究的一部分,以找到最有效的解决方案,以改善构音障碍的语音识别。我们发现,简单的信号处理方法,如静态噪声去除和基于声码器的时间拉伸,导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当,如使用音素识别任务测量的。此外,与我们的时间拉伸基线相比,我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras(印度理工学院马德拉斯分校)
自动语音识别是模式识别中的一个难题,因为语音输入中存在多种可变性来源,例如通道变化,输入可能是干净的或有噪声的,说话者可能具有不同的口音和性别变化等。因此,域自适应在语音识别中很重要,其中我们训练特定源域的模型,并在不同的目标域上对其进行测试。在本文中,我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验,使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
无监督语音识别显示出巨大的潜力,使自动语音识别(ASR)系统可访问的每一种语言。然而,现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似,我们引入了wav 2 vec-U 2.0,它取消了所有音频端的预处理,并通过更好的架构提高了准确性。此外,我们引入了一个辅助的自监督目标,将模型预测与输入联系起来。实验表明,wav 2 vec-U 2.0改进了不同语言的无监督识别结果,同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.(谷歌公司)
本文提出口音聚类与挖掘方案,结合预训练、分布鲁棒优化和无监督聚类,在挖掘出的印度口音语音上微调ASR,相对随机采样分别提升10.0%和5.3%,实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales(新南威尔士大学)
儿童语音识别是一个至关重要的领域,但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而,自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中,我们利用自我监督的成人语音表示,并使用三个著名的儿童语音语料库,建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能,检查跨域儿童语料库的效果,并调查微调模型所需的最小儿童语音量,该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明,微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明,只要5个小时的转录儿童的讲话,它是可能的微调儿童的语音识别系统,表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
语音情感识别是一项具有挑战性的任务,也是实现更自然的人机交互的重要一步。我们表明,预先训练的语言模型可以进行微调,用于文本情感识别,在SemEval 2017的任务4A上实现了69.5%的准确率,比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合,当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时,达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中,我们创建了IADNet,这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后,我们讨论了使用情感分类器作为强化学习的奖励的想法,作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
CHiME-6 Challenge:Tackling Multispeaker Speech Recognition for Unsegmented Recordings
Johns Hopkins University(约翰斯·霍普金斯大学);The City University of New York(纽约城市大学);University of Sheffield(谢菲尔德大学);Inria(法国国家信息与自动化研究所);Paderborn University(帕德博恩大学);Hitachi, Ltd.(日立公司);Microsoft(微软公司);Linguistic Data Consortium(语言数据联盟)
在第一、二、三、四、五届CHiME挑战赛取得成功后,我们组织了第六届CHiME语音分离和识别挑战赛(CHiME-6)。新的挑战重新审视了之前的CHiME-5挑战,并进一步考虑了日常家庭环境中远程多麦克风对话语音日记和识别的问题。除了精确的阵列同步之外,语音材料与之前的CHiME-5录音相同。该材料是使用一个晚宴的情况下,努力捕捉的数据,是自然的会话语音的代表。本文提供了CHiME-6的分段多说话者语音识别(轨道1)和未分段多说话者语音识别(轨道2)的挑战的基线描述。值得注意的是,轨道2是社区中的第一个挑战活动,以解决未分段的多扬声器语音识别场景,具有一套完整的可重复的开源基线,提供语音增强,扬声器日记和语音识别模块。
2020-05-02 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University(西江大学);Seoul Hospital(首尔医院);Ewha Womans University College of Medicine(梨花女子大学医学院)
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测,并设计标注方案与独立评估指标,实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur(贝兰布尔印度科学教育与研究院(IISER))
自动语音识别是计算机科学和语言学的交叉学科应用,它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用,如高性能战斗机,直升机,空中交通管制员。除了军事领域,语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本(STT)的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech,它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统,它使用利用多个图形处理单元(GPU)的优化的递归神经网络(RNN)训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的,这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到,有几种英语口音因州而异。在这项工作中,我们使用了迁移学习方法,使用最新的深度语音模型,即,deepspeech-0.9.3,用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型,我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络,结合会话上下文/词/语音嵌入。与传统的语音识别模型不同,我们的模型学习跨越句子的较长对话上下文信息,因此更好地识别长对话。具体地,我们提出使用基于文本的外部词和/或句子嵌入(即,fastText,BERT),从而显著改善了单词出错率,并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin(德克萨斯大学奥斯汀分校脑机接口实验室)
在本文中,我们展示了连续噪声语音识别使用连接主义时间分类(CTC)模型在有限的中文词汇使用脑电(EEG)特征,没有语音信号作为输入,我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征,没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果,并且我们在本文中提出了一种新的深度学习架构,该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University(卡内基梅隆大学);dot Inc.(42dot公司)
本文提出统一仅解码器模型 VoxtLM,通过融合文本词汇与离散语音 token 及特殊 token,支持识别、合成、文本生成和语音续写,并在多项任务上优于单任务模型,且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University(俄亥俄州立大学)
对于语音增强任务,局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准,以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后,频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合,训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们探讨了连续无声语音识别使用脑电图(EEG)信号。我们实现了一个连接主义的时间分类(CTC)的自动语音识别(ASR)模型,以翻译并行记录的EEG信号,而受试者正在阅读英语句子在他们的脑海中,没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果,有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon(亚马逊公司);Rasa Technologies(Rasa科技公司)
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据,并评估两种说话模式的匹配测试集:无声和模态语音。我们观察到,与模态语音识别相比,来自成像数据的无声语音识别表现不佳,这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术,如fMLLR和无监督模型自适应,来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间,我们计算从超声舌图像中提取的舌样条的凸包。总的来说,我们观察到,沉默语的持续时间比情态语的持续时间长,并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义,但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
Algorithm of Segment-Syllabic Synthesis in Speech Recognition Problem
本文讨论了基于音节段的语音识别。本文研究了分段音节参数轨迹合成语音识别问题的状态空间搜索方法。识别作为比较的参数轨迹在选定的语音单元上的分段语音的部分实现。给出了一些实验结果并进行了讨论。
2007-03-10 cs.CL cs.SD
Understanding effect of speech perception in EEG based speech recognition systems
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
与语音并行记录的脑电(EEG)信号用于执行孤立和连续语音识别。在说话过程中,一个人也听到他或她自己的语音,这种语音感知也反映在记录的EEG信号中。在本文中,我们研究是否有可能分离出这个语音感知分量从EEG信号,以设计更强大的EEG为基础的语音识别系统。我们进一步证明了预测EEG信号记录在平行与被动听力,反之亦然,非常低的归一化根均方误差(RMSE)从EEG信号记录在平行说话。最后,我们使用与听、说并行记录的EEG信号演示了孤立和连续语音识别,并使用他们的数据集改进了作者在[1]中演示的先前的连接主义时间分类(CTC)模型结果。
2020-05-29 cs.LG cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia(澳大利亚联邦大学)
在基于人工神经网络的序列到序列模型中,注意力是一种非常流行和有效的机制。在这篇调查论文中,提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Curriculum optimization for low-resource speech recognition
现代端到端语音识别模型在将音频信号转录成书面文本方面显示出惊人的结果。然而,传统的数据馈送流水线对于低资源语音识别来说可能是次优的,这仍然是一项具有挑战性的任务。我们提出了一种自动化的课程学习方法,根据模型在训练时的进度和关于训练示例难度的先验知识来优化训练示例的序列。我们引入了一个新的难度度量,称为压缩比,可以用作各种噪声条件下原始音频的评分函数。所提出的方法提高了语音识别字错误率性能高达33%,相对于基线系统
2022-02-17 cs.LG cs.SD eess.AS
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group(好未来教育集团)
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库,它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景,包含约587小时16 kHz的语音样本。据我们所知,TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别(ASR)数据集。在本文中,我们将详细介绍录音过程,包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库,我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验,建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率(MER)性能。实验结果表明,音频记录和传输的质量是有希望的,基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
End-to-end Speech-to-Punctuated-Text Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);RevComm, Inc.(RevComm公司)
传统的自动语音识别系统不产生对语音识别结果的可读性很重要的标点符号。它们也需要用于后续的自然语言处理任务,如机器翻译。在标点符号预测模型方面已经有很多工作,这些模型将标点符号插入到语音识别结果中作为后处理。然而,这些研究并没有利用声学信息的标点符号的预测,并直接受到语音识别错误。在这项研究中,我们提出了一个端到端的模型,以语音作为输入和输出标点文本。该模型有望在使用声学信息的同时对语音识别错误鲁棒地预测标点符号。我们还建议将一个辅助损失训练模型使用的输出的中间层和不加标点的文本。通过实验,我们比较了所提出的模型的级联系统的性能。该模型在不牺牲语音识别错误率的前提下,实现了比级联系统更高的标点预测精度。实验还表明,使用中间输出对不加标点的文本进行多任务学习是有效的。此外,所提出的模型只有约1/7的参数相比,级联系统。
2022-07-07 cs.CL cs.SD eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech(弗吉尼亚理工学院暨州立大学)
SpeechPy是一个开源Python包,包含语音预处理技术,语音功能和重要的后处理操作。它提供了最常用的语音特征,包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具,用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境,利用一定量的训练语音数据的混响环境,和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换,我们将房间诱导卷积转换为对数谱域中的加法。接下来,我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间,该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC(海盐人工智能有限责任公司);Xiaoice, Microsoft Corporation(微软公司小冰团队);Xiaomi Corporation(小米公司)
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题,特别是儿童语音识别训练数据不足的问题,提出了各种数据处理和增强技术。详细的实验设计和进行,以显示每种技术的有效性,在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统,该系统在2021年儿童语音识别挑战赛中提供了最先进的结果,在Track 1评估集上获得了21.66%的CER(总体排名第四),在Track 2评估集上获得了16.53%的CER(总体排名第一)。挑战后分析显示,我们的系统实际上在轨道1评估集上实现了18.82%的CER,但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University(南洋理工大学)
语音增强(speech enhancement,SE)的目的是抑制含噪语音信号中的加性噪声,以提高语音的感知质量和可懂度。然而,增强语音中的过抑制现象可能会降低下游的自动语音识别(ASR)任务的性能,由于丢失的潜在信息。为了缓解这个问题,我们提出了一个交互式的特征融合网络(IFF-Net)的噪声鲁棒语音识别学习互补的信息,从增强功能和原始的噪声功能。实验结果表明,该方法实现了绝对词错误率(WER)降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明,建议的IFF-Net可以补充一些丢失的信息,在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University(阿联酋大学);National University of Science & Technology(国家科学技术大学)
自动语音识别(ASR)系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能,但是对于所有感兴趣的语言而言,获取大的标记数据集可能是困难的或昂贵的。在本文中,我们回顾了研究文献,以确定可能导致完全无监督ASR的模型和想法,包括语音信号的无监督分割,从语音段到文本的无监督映射,以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性,并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University(密歇根州立大学);RPI(伦斯勒理工学院);Vanderbilt University(范德堡大学);Rice University(莱斯大学)
孟加拉语是世界上使用最多的语言之一,全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎,但由于缺乏多样化的开源数据集,对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向,我们已经众包了孟加拉语通用语音语音数据集,这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集,是正在进行的活动的一部分,该活动在两个月内收集了超过400小时的数据,并且正在迅速增长。我们的分析表明,与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比,该数据集具有更多的扬声器,音素和环境多样性。我们提出了从数据集中获得的见解,并讨论了需要在未来版本中解决的关键语言挑战。此外,我们报告了一些自动语音识别(ASR)算法的当前性能,并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University(康奈尔大学);NAVER Cloud Corporation(NAVER云公司)
本文提出两种数据驱动方法,利用语音语料库和注意力映射自动检测非母语者发音错误模式,在母语和非母语英语语音识别上分别提升5.7%和12.8%,增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
Incorporating Talker Identity Aids With Improving Speech Recognition in Adversarial Environments
Harvard University(哈佛大学)
针对语音识别模型在噪声等分布外条件下性能脆弱的问题,提出融合Whisper语音嵌入与ECAPA-TDNN说话人嵌入的Transformer联合模型,在高噪声和强增强语音场景下鲁棒性优于Whisper,干净环境下性能相当。
2024-10-07 cs.AI cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research(谷歌研究院)
在非洲使用的2,000多种语言中,几乎没有一种具有广泛使用的自动语音识别系统,所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术,这可能会提供途径,非洲语言的大词汇语音识别:多语言建模和自监督学习。我们收集了可用的开放源数据,收集了15种语言的数据,并使用这些技术训练了实验模型。我们的研究结果表明,汇集多语言端到端模型中可用的少量数据,并对无监督数据进行预训练,可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中,通常很少的训练数据可用于特定的具有挑战性的任务,但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题,我们提出了一种两阶段的声学建模方法,该方法将噪声和混响数据增强与迁移学习相结合,以鲁棒地解决困难的声学记录条件,自发语音和老年人语音等挑战。我们评估我们的方法使用的例子,德国口述历史访谈,其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS