End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University（印第安纳大学）
这份技术报告描述了为期三周的冲刺的方法和结果，为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤，超参数选择，以及官方测试集的准确性。除此之外，我们还评估了多个任务的模型：封闭词汇语音识别，预转录，强制对齐和关键词定位。下面的实验使用Coqui STT，这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失，用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University（国立清华大学）；Shuang-Ho Hospital（双和医院）；Taipei Medical University（台北医学大学）；Taipei Medical University Hospital（台北医学大学附设医院）
针对痴呆症诊断复杂耗时的问题，本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统，在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间，自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别，例如执行语音搜索查询，发送短信，以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前，大多数人很少使用语音识别。在过去的十年里，语音识别发生了巨大的变化，我们对未来的十年有何期待？我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目，但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research（谷歌研究院）
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别（ASR）识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型，训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率（WER）阈值来确定不同应用场景下的成功百分比（个性化模型达到目标WER的百分比）。对于家庭自动化场景，79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲，63%的发言者也达到了目标WER。进一步的评估发现，在具有会话和域外，自发短语的测试集上也有类似的改善。我们的研究结果表明，只有几分钟的录音，语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London（帝国理工学院）；University of Southampton（南安普顿大学）
语音识别系统在过去的几年中已经有了显著的改进，然而，对于口音或受损语音的情况，它们的性能显著下降。这项工作探讨域对抗神经网络（DANN）的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应（SA）模型以及说话者相关（SD）和多任务学习模型（MTL）进行比较。实验结果表明，DANN的绝对识别率为74.91%，比基线识别率提高了12.18%。此外，DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到，当标记的构音障碍的语音数据是可用的DANN和MTL执行类似，但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
A Change of Heart: Improving Speech Emotion Recognition through Speech-to-Text Modality Conversion
Sharif University of Technology（谢里夫理工大学）
针对语音情感识别任务，提出语音到文本的模态转换思路，通过两种转换方法在MELD数据集上验证，其中理想ASR下的方法超越现有语音类SOTA的加权F1得分，展现模态转换的应用潜力。
2023-07-21 cs.CL cs.LG cs.SD
A review of on-device fully neural end-to-end automatic speech recognition algorithms
Samsung Electronics（三星电子）；Samsung Research（三星研究院）
在本文中，我们回顾了各种端到端的自动语音识别算法及其优化技术的设备上的应用。传统的语音识别系统包括大量的离散组件，例如声学模型、语言模型、发音模型、文本规范器、逆文本规范器、基于加权有限状态变换器（WFST）的解码器等。通常需要非常大的大语言模型（高达100 GB）。因此，相应的WFST大小变得巨大，这禁止了它们在设备上的实现。最近，已经提出了全神经网络端到端语音识别算法。示例包括基于连接时间分类（CTC）的语音识别系统、循环神经网络转换器（RNN-T）、基于注意力的编码器-解码器模型（AED）、单调组块注意力（MoChA）、基于转换器的语音识别系统等。与传统算法相比，这些完全基于神经网络的系统需要小得多的存储器占用。因此它们的设备上实现已经变得可行。在本文中，我们回顾这样的端到端的语音识别模型。我们广泛地讨论了它们的结构，性能和优势相比，传统的算法。
2021-08-27 cs.CL cs.LG
Pushing the Limits of Non-Autoregressive Speech Recognition
Google Research（谷歌研究院）
我们将端到端语音识别的最新进展与非自回归自动语音识别相结合。我们推动了多个数据集的非自回归最先进结果的极限：LibriSpeech，Fisher+Switchboard和华尔街日报。我们的配方的关键是，我们利用CTC在巨型Conformer神经网络架构上进行SpecAugment和wav 2 vec 2预训练。我们在LibriSpeech测试/其他测试集上实现了1.8%/3.6%的WER，在Switchboard上实现了5.1%/9.8%的WER，在华尔街日报上实现了3.4%的WER，所有这些都没有语言模型。
2021-09-11 cs.CL cs.LG cs.SD
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
SpeechStew: Simply Mix All Available Speech Recognition Data to Train One Large Neural Network
Google Research（谷歌研究院）
我们提出了SpeechStew，一个语音识别模型，该模型是在各种公开的语音识别数据集的组合上训练的：AMI，广播新闻，共同的声音，LibriSpeech，Switchboard/Fisher，Tedews和华尔街日报。SpeechStew只是将所有这些数据集混合在一起，而没有对数据集进行任何特殊的重新加权或重新平衡。SpeechStew在各种任务中实现SoTA或接近SoTA的结果，而无需使用外部语言模型。我们的结果包括AMI-IHM上的9.0\% WER，Switchboard上的4.7\% WER，CallHome上的8.3\% WER，以及WSJ上的1.3\%，这显著优于具有强外部语言模型的先前工作。我们还证明了SpeechStew学习强大的迁移学习表示。我们在嘈杂的低资源语音数据集CHiME-6上微调SpeechStew。在没有语言模型的情况下，我们实现了38.9\%的WER，相比之下，在有语言模型的情况下，强HMM基线的WER为38.6\%。
2021-04-27 cs.CL cs.LG
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.（微软公司）
本文提出了一个端到端的说话人属性自动语音识别模型，该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练（SOT）与基于注意力的编码器-解码器，最近提出的方法，用于识别重叠的语音，包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入，以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化，该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明，该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
A network of deep neural networks for distant speech recognition
Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））
尽管最近在远程语音识别中取得了显著的进步，但是现有技术仍然缺乏鲁棒性，特别是当满足以非平稳噪声和混响为特征的不利声学条件时。当前系统的一个突出限制在于在远程语音识别过程中涉及的各种技术之间缺乏匹配和通信。例如，语音增强和语音识别模块通常是独立训练的。此外，语音增强通常帮助语音识别器，但后者的输出通常不用于改善语音增强。为了解决这两个问题，我们提出了一种基于深度神经网络网络的新架构，其中所有组件都经过联合训练，并且由于它们之间的完整通信方案而更好地相互合作。使用不同的数据集，任务和声学条件进行的实验表明，所提出的框架可以超越其他竞争解决方案，包括最近的联合训练方法。
2017-03-23 cs.CL cs.LG
Unsupervised Domain Adaptation for Robust Speech Recognition via Variational Autoencoder-Based Data Augmentation
Massachusetts Institute of Technology（麻省理工学院）
在许多机器学习场景中，训练和测试之间的域不匹配可能导致性能显著下降。不幸的是，对于实际应用中的自动语音识别部署，这种情况并不罕见。鲁棒语音识别的研究可以被看作是试图克服这个域失配问题。在本文中，我们解决了鲁棒语音识别的无监督领域自适应问题，其中源和目标域的语音，但单词成绩单只适用于源域语音。我们提出了新的增强为基础的方法，转换语音的方式，不改变成绩单。具体来说，我们首先训练一个变分自编码器的源和目标域数据（没有监督）学习语音的潜在表示。然后，我们通过修改潜在表示来变换与识别无关的语音的讨厌属性，以便用分布更类似于目标域的附加数据来增强标记的训练数据。在CHiME-4数据集上对所提出的方法进行了评估，与非适应基线相比，该方法将绝对字出错率（WER）降低了35%。
2017-09-22 cs.CL cs.LG
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart（斯图加特大学）
本文介绍了我们最新的研究，提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN，以减少输入语音的噪声，从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强，而不需要任何并行数据，并通过引入多个鉴别器来检查不同的频率区域来改进它。此外，我们表明，在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法，并在开发集上观察到高达10.03%的相对WER改善，在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Morse Code-Enabled Speech Recognition for Individuals with Visual and Hearing Impairments
School of Computer Engineering Kalinga Institute of Industrial Technology（卡林加工业技术学院计算机工程学院）
提出一种面向视觉与听力障碍人士的语音识别系统，将语音转为文本再转为摩尔斯电码，测试词错误率10.18%，准确率89.82%。
2024-07-07 cs.AI cs.CL cs.HC
Speech Recognition with Augmented Synthesized Speech
Google（谷歌公司）
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间，从而允许对合成语音的操纵。在本文中，我们评估的可行性，提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法，以提供必要的声学和词汇的多样性需要强大的语音识别。最后，我们证明了这种方法的可行性，作为一个数据增强策略域转移。我们发现，语音识别性能的改善是可以实现的，通过增加合成材料的训练数据。然而，在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University（俄亥俄州立大学）
自几年前引入深度学习以来，单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众，它直接馈送到自动语音识别（ASR）系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处，或者单耳语音增强和识别之间的差距，通常归因于在增强过程中引入的语音失真。在这项研究中，我们分析了失真的问题，比较不同的声学模型，并探讨了失真无关的单耳语音识别的训练计划。实验结果表明，与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外，在CHiME-2语料库上，本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales（新南威尔士大学）
儿童语音识别是一个至关重要的领域，但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而，自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中，我们利用自我监督的成人语音表示，并使用三个著名的儿童语音语料库，建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能，检查跨域儿童语料库的效果，并调查微调模型所需的最小儿童语音量，该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明，微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明，只要5个小时的转录儿童的讲话，它是可能的微调儿童的语音识别系统，表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了连续噪声语音识别使用连接主义时间分类（CTC）模型在有限的中文词汇使用脑电（EEG）特征，没有语音信号作为输入，我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征，没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果，并且我们在本文中提出了一种新的深度学习架构，该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition
语音识别近来已成为现实世界应用的实用技术。针对语音驱动的文本检索，这有助于检索信息的口语查询，我们提出了一种方法来集成语音识别和检索方法。由于用户说的内容与目标集合相关，我们适应的统计语言模型用于语音识别的基础上的目标集合，以提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明，我们的方法的有效性。
2002-06-24 cs.CL
CHiME-6 Challenge:Tackling Multispeaker Speech Recognition for Unsegmented Recordings
Johns Hopkins University（约翰斯·霍普金斯大学）；The City University of New York（纽约城市大学）；University of Sheffield（谢菲尔德大学）；Inria（法国国家信息与自动化研究所）；Paderborn University（帕德博恩大学）；Hitachi, Ltd.（日立公司）；Microsoft（微软公司）；Linguistic Data Consortium（语言数据联盟）
在第一、二、三、四、五届CHiME挑战赛取得成功后，我们组织了第六届CHiME语音分离和识别挑战赛（CHiME-6）。新的挑战重新审视了之前的CHiME-5挑战，并进一步考虑了日常家庭环境中远程多麦克风对话语音日记和识别的问题。除了精确的阵列同步之外，语音材料与之前的CHiME-5录音相同。该材料是使用一个晚宴的情况下，努力捕捉的数据，是自然的会话语音的代表。本文提供了CHiME-6的分段多说话者语音识别（轨道1）和未分段多说话者语音识别（轨道2）的挑战的基线描述。值得注意的是，轨道2是社区中的第一个挑战活动，以解决未分段的多扬声器语音识别场景，具有一套完整的可重复的开源基线，提供语音增强，扬声器日记和语音识别模块。
2020-05-02 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University（西江大学）；Seoul Hospital（首尔医院）；Ewha Womans University College of Medicine（梨花女子大学医学院）
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测，并设计标注方案与独立评估指标，实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur（贝兰布尔印度科学教育与研究院（IISER））
自动语音识别是计算机科学和语言学的交叉学科应用，它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用，如高性能战斗机，直升机，空中交通管制员。除了军事领域，语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本（STT）的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech，它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统，它使用利用多个图形处理单元（GPU）的优化的递归神经网络（RNN）训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的，这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到，有几种英语口音因州而异。在这项工作中，我们使用了迁移学习方法，使用最新的深度语音模型，即，deepspeech-0.9.3，用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型，我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络，结合会话上下文/词/语音嵌入。与传统的语音识别模型不同，我们的模型学习跨越句子的较长对话上下文信息，因此更好地识别长对话。具体地，我们提出使用基于文本的外部词和/或句子嵌入（即，fastText，BERT），从而显著改善了单词出错率，并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型，并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们探讨了连续无声语音识别使用脑电图（EEG）信号。我们实现了一个连接主义的时间分类（CTC）的自动语音识别（ASR）模型，以翻译并行记录的EEG信号，而受试者正在阅读英语句子在他们的脑海中，没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果，有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon（亚马逊公司）；Rasa Technologies（Rasa科技公司）
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据，并评估两种说话模式的匹配测试集：无声和模态语音。我们观察到，与模态语音识别相比，来自成像数据的无声语音识别表现不佳，这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术，如fMLLR和无监督模型自适应，来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间，我们计算从超声舌图像中提取的舌样条的凸包。总的来说，我们观察到，沉默语的持续时间比情态语的持续时间长，并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义，但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
Understanding effect of speech perception in EEG based speech recognition systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
与语音并行记录的脑电（EEG）信号用于执行孤立和连续语音识别。在说话过程中，一个人也听到他或她自己的语音，这种语音感知也反映在记录的EEG信号中。在本文中，我们研究是否有可能分离出这个语音感知分量从EEG信号，以设计更强大的EEG为基础的语音识别系统。我们进一步证明了预测EEG信号记录在平行与被动听力，反之亦然，非常低的归一化根均方误差（RMSE）从EEG信号记录在平行说话。最后，我们使用与听、说并行记录的EEG信号演示了孤立和连续语音识别，并使用他们的数据集改进了作者在[1]中演示的先前的连接主义时间分类（CTC）模型结果。
2020-05-29 cs.LG cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University（卡内基梅隆大学）；dot Inc.（42dot公司）
本文提出统一仅解码器模型 VoxtLM，通过融合文本词汇与离散语音 token 及特殊 token，支持识别、合成、文本生成和语音续写，并在多项任务上优于单任务模型，且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University（俄亥俄州立大学）
对于语音增强任务，局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准，以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后，频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合，训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Curriculum optimization for low-resource speech recognition
现代端到端语音识别模型在将音频信号转录成书面文本方面显示出惊人的结果。然而，传统的数据馈送流水线对于低资源语音识别来说可能是次优的，这仍然是一项具有挑战性的任务。我们提出了一种自动化的课程学习方法，根据模型在训练时的进度和关于训练示例难度的先验知识来优化训练示例的序列。我们引入了一个新的难度度量，称为压缩比，可以用作各种噪声条件下原始音频的评分函数。所提出的方法提高了语音识别字错误率性能高达33%，相对于基线系统
2022-02-17 cs.LG cs.SD eess.AS
Global Normalization for Streaming Speech Recognition in a Modular Framework
Google Research（谷歌研究院）
我们引入了全局归一化自回归转换器（GNAT）来解决流语音识别中的标签偏差问题。我们的解决方案承认一个易于处理的精确计算的分母的序列级规范化。通过理论和实证结果，我们证明，通过切换到一个全球标准化的模型，流和非流语音识别模型之间的单词出错率差距可以大大减少（超过50%的Librispeech数据集）。这个模型是在一个模块化的框架，其中包括所有常见的神经语音识别模型。该框架的模块化使得能够对建模选择和新模型的创建进行受控比较。
2022-05-26 cs.AI cs.CL cs.LG
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group（好未来教育集团）
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库，它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景，包含约587小时16 kHz的语音样本。据我们所知，TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录音过程，包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库，我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验，建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率（MER）性能。实验结果表明，音频记录和传输的质量是有希望的，基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
End-to-end Speech-to-Punctuated-Text Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；RevComm, Inc.（RevComm公司）
传统的自动语音识别系统不产生对语音识别结果的可读性很重要的标点符号。它们也需要用于后续的自然语言处理任务，如机器翻译。在标点符号预测模型方面已经有很多工作，这些模型将标点符号插入到语音识别结果中作为后处理。然而，这些研究并没有利用声学信息的标点符号的预测，并直接受到语音识别错误。在这项研究中，我们提出了一个端到端的模型，以语音作为输入和输出标点文本。该模型有望在使用声学信息的同时对语音识别错误鲁棒地预测标点符号。我们还建议将一个辅助损失训练模型使用的输出的中间层和不加标点的文本。通过实验，我们比较了所提出的模型的级联系统的性能。该模型在不牺牲语音识别错误率的前提下，实现了比级联系统更高的标点预测精度。实验还表明，使用中间输出对不加标点的文本进行多任务学习是有效的。此外，所提出的模型只有约1/7的参数相比，级联系统。
2022-07-07 cs.CL cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
DeepEMO: Deep Learning for Speech Emotion Recognition
Technidoo Solutions Lab（Technidoo Solutions实验室）；Mongolian University of Science and Technology（蒙古科技大学）
我们提出了用于语音情感识别任务的行业级深度学习方法。在工业中，精心提出的深度迁移学习技术显示出了实际的结果，这是由于训练数据的可用性、机器训练成本以及对专用AI任务的专门学习都很低。提出的语音识别框架称为DeepEMO，由两个主要管道组成，即提取有效主要特征的预处理和用于训练和识别的深度迁移学习模型。主要源代码在https://github.com/enkhtogtokh/deepemo存储库中
2021-09-09 cs.LG cs.SD eess.AS
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境，利用一定量的训练语音数据的混响环境，和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换，我们将房间诱导卷积转换为对数谱域中的加法。接下来，我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间，该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation（英特尔公司）；SIL International（SIL国际）
由于资源限制，在边缘设备上运行自动语音识别（ASR）并非易事，特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一，每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的，我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
AISHELL-1: An Open-Source Mandarin Speech Corpus and A Speech Recognition Baseline
Beijing Shell Shell Technology Co. Ltd（北京希尔贝壳科技有限公司）
一个名为AISHELL-1的开源汉语语音语料库发布。它是目前最大的语料库，适合进行语音识别研究和建立普通话语音识别系统。详细介绍了录音过程，包括音频采集设备和环境。介绍了相关资源的准备，包括译文和词典。该语料库与Kaldi配方一起发布。实验结果表明，音频记录和传输的质量是有前途的。
2017-09-16 cs.CL
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University（南洋理工大学）
语音增强（speech enhancement，SE）的目的是抑制含噪语音信号中的加性噪声，以提高语音的感知质量和可懂度。然而，增强语音中的过抑制现象可能会降低下游的自动语音识别（ASR）任务的性能，由于丢失的潜在信息。为了缓解这个问题，我们提出了一个交互式的特征融合网络（IFF-Net）的噪声鲁棒语音识别学习互补的信息，从增强功能和原始的噪声功能。实验结果表明，该方法实现了绝对词错误率（WER）降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明，建议的IFF-Net可以补充一些丢失的信息，在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
