Front-End Adapter: Adapting Front-End Input of Speech based Self-Supervised Learning for Speech Recognition
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
近年来,自监督学习(SSL)在包括语音处理在内的各个领域蓬勃发展。基于语音的SSL模型在一系列与语音相关的任务中表现出良好的性能。然而,SSL模型的训练在计算上是昂贵的,并且常见的做法是在特定任务上微调已发布的SSL模型。在预训练和微调期间使用一致的前端输入至关重要。当最佳前端与预训练中使用的前端不相同时,这种一致性可能会引入潜在的问题。在本文中,我们提出了一个简单但有效的前端适配器来解决这个前端的差异。通过最小化不同前端的输出之间的距离,滤波器组特征(Fbank)可以与用波形预训练的SSL模型兼容。实验结果表明,我们提出的前端适配器上的几个流行的SSL模型的语音识别任务的有效性。
2023-02-18 cs.CL cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin(德克萨斯大学奥斯汀分校脑机接口实验室)
在本文中,我们展示了端到端的连续语音识别(CSR)使用脑电图(EEG)信号,没有语音信号作为输入。实现了基于注意模型的自动语音识别(ASR)和基于连接主义时间分类(CTC)的ASR系统,用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA(英伟达)
构建准确的自动语音识别(ASR)系统需要一个大型数据集,该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题,我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率(WER)的字符级为基础的模型,而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition
语音识别近来已成为现实世界应用的实用技术。针对语音驱动的文本检索,这有助于检索信息的口语查询,我们提出了一种方法来集成语音识别和检索方法。由于用户说的内容与目标集合相关,我们适应的统计语言模型用于语音识别的基础上的目标集合,以提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明,我们的方法的有效性。
2002-06-24 cs.CL
Global Normalization for Streaming Speech Recognition in a Modular Framework
Google Research(谷歌研究院)
我们引入了全局归一化自回归转换器(GNAT)来解决流语音识别中的标签偏差问题。我们的解决方案承认一个易于处理的精确计算的分母的序列级规范化。通过理论和实证结果,我们证明,通过切换到一个全球标准化的模型,流和非流语音识别模型之间的单词出错率差距可以大大减少(超过50%的Librispeech数据集)。这个模型是在一个模块化的框架,其中包括所有常见的神经语音识别模型。该框架的模块化使得能够对建模选择和新模型的创建进行受控比较。
2022-05-26 cs.AI cs.CL cs.LG
Algorithm of Segment-Syllabic Synthesis in Speech Recognition Problem
本文讨论了基于音节段的语音识别。本文研究了分段音节参数轨迹合成语音识别问题的状态空间搜索方法。识别作为比较的参数轨迹在选定的语音单元上的分段语音的部分实现。给出了一些实验结果并进行了讨论。
2007-03-10 cs.CL cs.SD
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
AISHELL-1: An Open-Source Mandarin Speech Corpus and A Speech Recognition Baseline
Beijing Shell Shell Technology Co. Ltd(北京希尔贝壳科技有限公司)
一个名为AISHELL-1的开源汉语语音语料库发布。它是目前最大的语料库,适合进行语音识别研究和建立普通话语音识别系统。详细介绍了录音过程,包括音频采集设备和环境。介绍了相关资源的准备,包括译文和词典。该语料库与Kaldi配方一起发布。实验结果表明,音频记录和传输的质量是有前途的。
2017-09-16 cs.CL
Integrating HMM-Based Speech Recognition With Direct Manipulation In A Multimodal Korean Natural Language Interface
本文提出了一种基于HMM的语音识别引擎,并将其集成到韩语文档编辑器的直接操作界面中。语音识别可以减少标准GUI(图形用户界面)中不可避免的典型繁琐和重复操作。我们的系统包括通用的语音识别引擎ABrain(AuditoryBrain)和语音命令文档编辑器SHE(SimpleHearingEditor)。ABrain是一个基于音素的语音识别引擎,其离散命令识别率高达97%。SHE是一个基于EuroBridge控件的文档编辑器,支持语音命令以及直接操作界面。
1996-11-18 cmp-lg cs.CL
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York(纽约哥伦比亚大学)
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说,我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法,格重新评分,允许更长的范围内的历史记录捕获的一个基于多变量的语言模型,并利用一个Transformer的能力,以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.(谷歌公司)
我们目前的结果表明,它是有可能建立一个有竞争力的,大大简化,大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125,000小时的半监督声学训练数据上训练的,这使我们能够减轻单词模型的数据稀疏问题。我们表明,CTC字模型工作得很好,作为一个端到端的全神经语音识别模型,而不使用传统的上下文相关的子字音素单位,需要一个发音词典,没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的,更复杂的,最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University(台湾大学)
语码转换在日常会话中很常见,在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此,本文使用最近成功的自监督学习(SSL)方法,利用许多未标记的语音数据没有CS。我们发现,隐藏表示的SSL模型提供帧级的语言身份,即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外,使用多语种的语音数据进行预训练,获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
Reinforcement Learning of Speech Recognition System Based on Policy Gradient and Hypothesis Selection
Tokyo Institute of Technology(东京工业大学)
语音识别系统已经实现了几个任务的高识别性能。然而,这种系统的性能取决于准备大量任务匹配的转录语音数据用于监督训练的非常昂贵的开发工作。这里的关键问题是转录语音数据的成本。为支持新的语言和新的任务,一再需要这笔费用。假设为许多用户转录语音数据的广泛网络服务,如果系统具有从来自用户的非常轻微的反馈中学习而不打扰用户的能力,则系统将变得更加自给自足和更加有用。本文提出了一种基于策略梯度方法的语音识别系统的通用强化学习框架。作为该框架的一个特例,我们还提出了一种基于假设选择的强化学习方法。建议的框架提供了一个新的观点,现有的几个培训和适应方法。实验结果表明,该方法提高了识别性能相比,无监督的适应。
2017-11-10 cs.CL cs.LG stat.ML
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间,自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别,例如执行语音搜索查询,发送短信,以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前,大多数人很少使用语音识别。在过去的十年里,语音识别发生了巨大的变化,我们对未来的十年有何期待?我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目,但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
End-to-end attention-based distant speech recognition with Highway LSTM
Amirkabir University of Technology(阿米尔卡比尔理工大学)
在语音识别系统中,基于注意力的端到端模型已被证明是传统DNN-HMM模型的有竞争力的替代方案。在本文中,我们扩展了现有的端到端的注意力为基础的模型,可以应用于远程语音识别(DSR)的任务。具体来说,我们提出了一个端到端的注意力为基础的语音识别器,多通道输入,直接在字符级进行序列预测。为了获得更好的性能,我们还将高速公路长短期记忆(HLSTM),它优于以前的模型在AMI远程语音识别任务。
2016-10-17 cs.CL
Phonological modeling for continuous speech recognition in Korean
本文提出了一种新的表示连续语音识别过程中音位变化的方法。设计了一个与其形态标记相结合的语音标记来表示韩国语语音变化的情况。在韩语语音识别系统中实现了这些形态和语音标记的成对语言模型。通过基于TDNN的语音识别实验验证了该模型的性能。
1996-07-18 cmp-lg cs.CL
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC,一个多语言的视听语料库,用于强大的语音识别和强大的语音到文本的翻译,提供1200小时的视听语音在9种语言。它完全转录,涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知,这是第一个视听语音到文本翻译的开放基准,也是多语言视听语音识别的最大开放基准。我们的基线结果表明,MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
本文介绍了我们在重叠语音的端到端自动语音识别(ASR)方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统,并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料,并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明,对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg(G H Raisoni工程学院);SGB Amravati University(SGB阿姆拉瓦蒂大学);RTM Nagpur University(RTM那格浦尔大学)
四十多年来,人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式,这台机器应该包括两个子系统,即自动语音识别(ASR)和语音理解(SU)。ASR的目标是转录自然语音,而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程,它必须考虑到所有的变量信息的语音通信过程中,从声学到语义和语用。在开发自动语音识别系统时,观察到一些不利条件降低了语音识别系统的性能。在这篇文章中,语音增强系统的介绍,以增强被加性噪声污染的语音信号,提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明,用相应的增强后的语音信号代替含噪的语音信号,识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
Evaluation of Automated Speech Recognition Systems for Conversational Speech: A Linguistic Perspective
自动语音识别(ASR)作为语音用户界面和对话代理(例如Alexa、Google Home等语音助理)满足更多非正式和自由形式的输入数据,获得知名度。会话语音是语音识别中最困难的和与环境相关的一类数据。本文从语言学的角度,以法语为例,对法语同音异义词的消歧进行了研究。我们的贡献旨在提供更多的洞察人类语音转录准确性的条件下,重现那些国家的最先进的ASR系统,虽然在一个非常集中的情况。我们调查了一个案例研究,涉及最常见的错误,在法语的自动转录。
2022-12-05 cs.CL
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg(汉堡大学)
在本文中,我们描述了KT-语音爬虫:一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤,提取可用于训练端到端神经语音识别系统的样本。在我们的实验中,我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音,其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音,包括背景噪音和音乐,远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时,通过将200小时收集的样本整合到训练集中,我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示(http://emnlp-demo.lakomkin.me/)和爬虫代码(https://github.com/EgorLakomkin/KTSpeechCrawler)是公开的。
2019-03-01 cs.CL cs.LG cs.SD
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University(印第安纳大学)
这份技术报告描述了为期三周的冲刺的方法和结果,为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤,超参数选择,以及官方测试集的准确性。除此之外,我们还评估了多个任务的模型:封闭词汇语音识别,预转录,强制对齐和关键词定位。下面的实验使用Coqui STT,这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法,联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据,并且(自)监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务,以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别,分别,以减轻子任务的干扰。实验结果表明,该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进,并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
在近距离说话语音上训练的语音识别器不能推广到远距离语音,并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题,留下很少的努力,以适应近距离说话的语音识别器,以遥远的语音。在这项工作中,我们回顾了几种方法从领域自适应的角度来看。这些方法,包括语音增强,多条件训练,数据增强,和自动编码器,都涉及域之间的数据转换。我们在AMI数据集上进行实验,这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距,为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School(雷文伍德高中)
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数(MFCC)是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数(GFCC)作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University(国立清华大学);Shuang-Ho Hospital(双和医院);Taipei Medical University(台北医学大学);Taipei Medical University Hospital(台北医学大学附设医院)
针对痴呆症诊断复杂耗时的问题,本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统,在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
Opportunities & Challenges In Automatic Speech Recognition
GHRCE;S. G. B. Amaravati University(S. G. B. 阿马拉瓦蒂大学)
自动语音识别能够实现广泛的当前和新兴应用,例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度,对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性:在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战,采取的方法,以及未来的研究可能的方向,以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
Morse Code-Enabled Speech Recognition for Individuals with Visual and Hearing Impairments
School of Computer Engineering Kalinga Institute of Industrial Technology(卡林加工业技术学院计算机工程学院)
提出一种面向视觉与听力障碍人士的语音识别系统,将语音转为文本再转为摩尔斯电码,测试词错误率10.18%,准确率89.82%。
2024-07-07 cs.AI cs.CL cs.HC
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research(谷歌研究院)
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别(ASR)识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型,训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率(WER)阈值来确定不同应用场景下的成功百分比(个性化模型达到目标WER的百分比)。对于家庭自动化场景,79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲,63%的发言者也达到了目标WER。进一步的评估发现,在具有会话和域外,自发短语的测试集上也有类似的改善。我们的研究结果表明,只有几分钟的录音,语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London(帝国理工学院);University of Southampton(南安普顿大学)
语音识别系统在过去的几年中已经有了显著的改进,然而,对于口音或受损语音的情况,它们的性能显著下降。这项工作探讨域对抗神经网络(DANN)的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应(SA)模型以及说话者相关(SD)和多任务学习模型(MTL)进行比较。实验结果表明,DANN的绝对识别率为74.91%,比基线识别率提高了12.18%。此外,DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到,当标记的构音障碍的语音数据是可用的DANN和MTL执行类似,但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.(微软公司)
本文提出了一个端到端的说话人属性自动语音识别模型,该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练(SOT)与基于注意力的编码器-解码器,最近提出的方法,用于识别重叠的语音,包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入,以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化,该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明,该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
A Change of Heart: Improving Speech Emotion Recognition through Speech-to-Text Modality Conversion
Sharif University of Technology(谢里夫理工大学)
针对语音情感识别任务,提出语音到文本的模态转换思路,通过两种转换方法在MELD数据集上验证,其中理想ASR下的方法超越现有语音类SOTA的加权F1得分,展现模态转换的应用潜力。
2023-07-21 cs.CL cs.LG cs.SD
Arabic Speech Recognition System using CMU-Sphinx4
Carnegie Mellon University(卡内基梅隆大学);UFR Informatique et Nouvelles Technologies d'Information et de Communication(信息与通信新技术学院);Faculté des Sciences(理学院)
在本文中,我们提出了创建一个阿拉伯语版本的自动语音识别系统(ASR)。该系统基于卡内基梅隆大学的开源Sphinx-4。该系统是一个基于离散隐马尔可夫模型(HMM)的语音识别系统。我们调查的变化,必须作出的模型,以适应阿拉伯语话音识别。关键词:语音识别,声学模型,阿拉伯语,HALTH,CMUSphinx-4,人工智能。
2007-04-17 cs.AI cs.CL
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)(日本国立信息通信技术研究所)
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题,提出带说话人掩码分支的自回归Transformer模型,可单模型同时完成两项任务,在LibriSpeech重叠数据集上验证了有效性,尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Pushing the Limits of Non-Autoregressive Speech Recognition
Google Research(谷歌研究院)
我们将端到端语音识别的最新进展与非自回归自动语音识别相结合。我们推动了多个数据集的非自回归最先进结果的极限:LibriSpeech,Fisher+Switchboard和华尔街日报。我们的配方的关键是,我们利用CTC在巨型Conformer神经网络架构上进行SpecAugment和wav 2 vec 2预训练。我们在LibriSpeech测试/其他测试集上实现了1.8%/3.6%的WER,在Switchboard上实现了5.1%/9.8%的WER,在华尔街日报上实现了3.4%的WER,所有这些都没有语言模型。
2021-09-11 cs.CL cs.LG cs.SD
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University(卡内基梅隆大学);Yahoo Japan Corporation(雅虎日本公司)
本文提出了一种端到端(E2 E)的自动语音识别(ASR)模型,该模型以鲁棒的语音识别为目标,称为增强语音输入的集成语音识别自监督学习表示(IRIS)。与传统的E2 E ASR模型相比,该模型集成了语音增强(SE)和自监督学习表示(SSLR)两个重要模块。SE模块增强带噪语音。然后,SSLR模块从增强的语音中提取用于语音识别(ASR)的特征。为了对模型进行训练,我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明,IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能(实际开发为2.0%,实际测试为3.9%),这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University(海德堡大学);Computational Linguistics(计算语言学);IWR Heidelberg University(海德堡大学IWR研究所)
我们提出了一个语料库的德语音频,德语文本,英语翻译,德语有声读物的基础上,对齐的三元组。语音翻译数据由110小时的音频材料组成,与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音,因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查,表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当,并且可以通过自动对齐分数的截止值进行调整。据我们所知,该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart(斯图加特大学)
本文介绍了我们最新的研究,提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN,以减少输入语音的噪声,从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强,而不需要任何并行数据,并通过引入多个鉴别器来检查不同的频率区域来改进它。此外,我们表明,在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法,并在开发集上观察到高达10.03%的相对WER改善,在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Huqariq: A Multilingual Speech Corpus of Native Languages of Peru for Speech Recognition
Pompeu Fabra University(庞培法布拉大学);Pontifical Catholic University of Peru(秘鲁天主教大学)
Huqariq语料库是秘鲁本土语言的多语言集合。转录的语料库旨在研究和开发语音技术,以保护秘鲁濒临灭绝的语言。Huqariq主要用于开发自动语音识别、语言识别和文本到语音工具。为了实现语料库的可持续收集,我们采用了众包的方法。Huqariq包括秘鲁的四种土著语言,预计到2022年底,秘鲁48种土著语言中的20种语言将被使用。该语料库有500多名志愿者录制的220小时转录音频,使其成为秘鲁最大的土著语言语音语料库。为了验证语料库的质量,我们提出了语音识别实验使用220小时的完全转录的音频。
2022-07-12 cs.CL
Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq
NVIDIA(英伟达)
我们提出了OpenSeq 2Seq-一个基于TensorFlow的工具包,用于训练具有分布式和混合精度训练的序列到序列模型。机器翻译和语音识别任务的基准测试表明,使用OpenSeq 2Seq构建的模型可以以1.5- 3倍的训练时间提供最先进的性能。OpenSeq 2Seq目前为解决各种任务的模型提供构建模块,包括神经机器翻译,自动语音识别和语音合成。
2018-11-21 cs.CL
Speech Recognition with Augmented Synthesized Speech
Google(谷歌公司)
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间,从而允许对合成语音的操纵。在本文中,我们评估的可行性,提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法,以提供必要的声学和词汇的多样性需要强大的语音识别。最后,我们证明了这种方法的可行性,作为一个数据增强策略域转移。我们发现,语音识别性能的改善是可以实现的,通过增加合成材料的训练数据。然而,在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud(NAVER 云)
多语言语音识别的目标是区分不同语言的语言表达,同时集成声学处理。相比之下,当前的多语言语音识别研究遵循语言感知范式,主要针对提高识别性能而不是区分语言特征。在本文中,我们提出了一个多语言语音识别网络命名为混合的语音识别专家(MoLE),它在各种语言的语音识别。具体来说,MoLE从任意语言的输入语音中分析语言表达,使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家,而且还估计激活的可靠性。基于可靠性,激活的专家和语言不可知的专家聚集来表示语言条件的嵌入,用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估,实验结果表明,我们的结构是有利的多语言识别,特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Modelling word learning and recognition using visually grounded speech
Radboud University(拉德堡德大学);Delft University of Technology(代尔夫特理工大学)
背景:语音识别的计算模型通常假设目标词的集合已经给定。这意味着这些模型在没有先验知识和明确监督的情况下无法从头开始学习识别语音。基于视觉的语音模型通过利用语音和视觉输入之间的统计依赖关系,在没有先验知识的情况下学习识别语音。虽然以前已经表明,视觉接地语音模型学习识别输入中的单词的存在,我们明确调查这样的模型作为人类语音识别的模型。研究方法:我们调查的时间过程中的单词识别模拟的模型,使用门控范式,以测试其识别是否受到众所周知的词竞争效应在人类语音处理。我们进一步调查是否矢量量化,离散表示学习的技术,艾滋病的发现和识别的话的模型。结果/结论:我们的实验表明,该模型能够孤立地识别名词,甚至能够正确区分复数名词和单数名词。我们还发现,识别的影响字竞争的字初始队列和邻居密度,反映了字竞争效应在人类的语音理解。最后,我们没有发现任何证据表明矢量量化有助于发现和识别单词。我们的门控实验甚至表明,矢量量化模型需要更多的输入序列的正确识别。
2022-03-14 cs.CL
Dialog-context aware end-to-end speech recognition
Carnegie Mellon University(卡内基梅隆大学)
现有的语音识别系统通常是在句子级别上构建的,尽管已知对话上下文(例如,跨越句子或说话者的更高级别的知识)可以帮助处理长对话。端到端语音识别系统的最新进展有望将所有可用信息(例如声学、语言资源)集成到单个模型中,然后对其进行联合优化。因此,这样的对话上下文信息也应该被集成到端到端模型中以进一步提高识别准确性,这似乎是自然的。在这项工作中,我们提出了一个对话上下文感知的语音识别模型,它显式地使用上下文信息超出会话级别的信息,在一个端到端的方式。我们的对话上下文模型捕获了一个历史的会话级上下文,使整个系统可以训练与对话上下文信息在一个端到端的方式。我们评估我们提出的方法上的开关板会话语音语料库,并表明我们的系统优于一个可比的双级端到端的语音识别系统。
2018-08-07 cs.CL
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna(科雷大学恩纳分校);Politecnico di Torino(托里诺理工学院);Università di Palermo(巴勒莫大学)
针对构音障碍语音识别难题,提出结合先进ASR模型与LLM生成式纠错的两阶段框架,并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
Automatic recognition of suprasegmentals in speech
Baidu Research USA(百度研究院(美国));Linguistic Data Consortium, University of Pennsylvania(宾夕法尼亚大学语言数据联盟)
本研究报告了我们的努力,以提高自动识别的超音段微调wav2vec 2.0与CTC,一种方法,已成功地在自动语音识别。我们证明,该方法可以提高国家的最先进的自动识别音节,音调和音高口音。利用音段信息,以声调韵母或声调音节为识别单位,可以显著提高普通话声调识别率。语言模型在声调音节被用作识别单元时是有帮助的,但在声调是识别单元时没有帮助。最后,通过在wav2vec 2.0中结合这两个任务,普通话声调识别可以受益于英语音素识别。
2021-08-04 cs.CL
Why has (reasonably accurate) Automatic Speech Recognition been so hard to achieve?
Nuance Communications(Nuance通讯公司);Mobile Research(移动研究院)
隐马尔可夫模型(HMM)已经成功地应用于自动语音识别超过35年,尽管语音数据明显违反了HMM的一个关键假设--帧的统计独立性。事实上,这种数据/模型的不匹配激发了许多尝试,用能够更好地考虑帧的统计依赖性的替代模型来修改或替换HALCOST。然而,公平地说,在2010年,HMM是语音识别的共识选择模型,并且HMM是商用产品和当代研究系统的核心。在本文中,我们提出了一个初步的探索,旨在了解语音数据如何从HALTH出发,以及这种出发对基于HMM的语音识别的准确性有什么影响。我们的分析使用了统计学领域的标准诊断工具--假设检验、模拟和响应--这些工具在语音识别领域很少使用。我们的主要结果,获得了新的操作的真实和重新采样的数据,表明真实的数据具有统计依赖性,这种依赖性是负责大量的识别错误。我们还表明,使用模拟和rescue,如果我们“删除”的统计依赖数据,那么由此产生的识别出错率变得微不足道。两者合计,这些结果表明,更好地理解语音数据中的统计依赖性的结构是改善基于HMM的语音识别的关键的第一步。
2010-02-28 cs.CL
Speech Commands: A Dataset for Limited-Vocabulary Speech Recognition
Google Brain(谷歌大脑);Mountain View, California(加利福尼亚州山景城(注:此处原文本中该部分是地址,按要求不应提取为机构,正确应为仅提取Google Brain))
描述了一个语音数据集,旨在帮助训练和评估关键字定位系统。讨论了为什么这个任务是一个有趣的挑战,为什么它需要一个专门的数据集,是不同于传统的数据集用于自动语音识别的完整的句子。提出了一种方法,为这项任务的可重复性和可比性的准确性指标。描述如何收集和验证数据、数据包含的内容、以前的版本和属性。最后报告在此数据集上训练的模型的基线结果。
2018-04-09 cs.CL cs.HC
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon(亚马逊公司);Rasa Technologies(Rasa科技公司)
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据,并评估两种说话模式的匹配测试集:无声和模态语音。我们观察到,与模态语音识别相比,来自成像数据的无声语音识别表现不佳,这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术,如fMLLR和无监督模型自适应,来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间,我们计算从超声舌图像中提取的舌样条的凸包。总的来说,我们观察到,沉默语的持续时间比情态语的持续时间长,并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义,但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
Speech Recognition by Machine, A Review
Sri Jayachamarajendra College of Engineering(斯里贾亚 chamarajendra 工程学院)
本文简要介绍了自动语音识别的研究概况,讨论了60年来的主要研究课题和研究进展,从而对语音通信这一重要领域所取得的基本进展提供了一个技术视角和评价。经过多年的研究和开发,自动语音识别的准确性仍然是重要的研究挑战之一(例如,语音识别系统的设计需要注意以下问题:各种类型语音的定义、语音表示、特征提取技术、语音分类器、数据库和性能评估。按时间顺序介绍了ASR中存在的问题以及各种研究人员为解决这些问题而提出的各种技术。因此作者希望这项工作能对语音识别领域有所贡献。这篇综述论文的目的是总结和比较一些众所周知的方法,用于语音识别系统的各个阶段,并确定研究主题和应用程序,这是在这个令人兴奋的和具有挑战性的领域的最前沿。
2010-01-13 cs.CL
Improving End-to-end Speech Recognition with Pronunciation-assisted Sub-word Modeling
Johns Hopkins University(约翰斯·霍普金斯大学)
大多数端到端语音识别系统直接将文本建模为字符或子词的序列。当前的子词提取方法仅考虑字符序列频率,这有时会产生可能导致错误的语音识别输出的较差的子分词。我们提出了发音辅助子词建模(PASM),一个子词提取方法,利用一个词的发音信息。实验结果表明,该方法可以大大提高基于字符的基线,也优于常用的字节对编码方法。
2019-02-21 cs.CL
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
我们提出了一种用于语音识别评估的常用字错误率(WER)指标的变体,该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后,相邻错误的跨度被转换成具有单词和音节边界的音素,并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词,这些单词调整每个错误区域中的单词对齐标签。我们证明,我们的语音导向的单词错误率(POWER)产生类似的分数WER与更好的单词对齐的附加优势,并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Structured Language Modeling for Speech Recognition
提出了一种新的用于语音识别的语言模型。该模型逐步发展隐藏的层次句法结构,并使用它来提取有意义的信息,从单词的历史,从而补充了目前使用的三元模型的地方。本文介绍了结构化语言模型及其在格型译码两遍语音识别器中的性能。在华尔街日报语料库上的实验表明,该模型在困惑度(PPL)和单词出错率(WER)方面都优于传统的三元模型。
2000-01-25 cs.CL
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University(俄亥俄州立大学)
自几年前引入深度学习以来,单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众,它直接馈送到自动语音识别(ASR)系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处,或者单耳语音增强和识别之间的差距,通常归因于在增强过程中引入的语音失真。在这项研究中,我们分析了失真的问题,比较不同的声学模型,并探讨了失真无关的单耳语音识别的训练计划。实验结果表明,与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外,在CHiME-2语料库上,本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS