Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland（三星波兰研发研究院）；Samsung AI Center Warsaw（三星华沙人工智能中心）
针对Poleval 2024波兰语自动语音识别挑战赛，研究提出基于Voicebox的语音合成流水线，用合成数据增强Conformer和Whisper模型，证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而，标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度（即，更高的严重性使其本身更难理解）。为了解决这个问题，我们提出了一种新的声学模型的基础上的混合专家（MoE），它处理不同的可懂度阶段，目前在失语症的语音明确定义的严重程度为基础的专家。在测试时，每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器（SID）。我们表明，我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比，基线方法，不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
LeVoice ASR Systems for the ISCSLP 2022 Intelligent Cockpit Speech Recognition Challenge
本文介绍了LeVoice自动语音识别系统，以跟踪2022年智能驾驶舱语音识别挑战赛2。Track 2是一个语音识别任务，对模型大小的范围没有限制。我们的主要观点包括基于深度学习的语音增强，基于文本到语音的语音生成，通过各种技术进行训练数据增强和语音识别模型融合。对混合架构和两种端到端架构进行了比较和融合。对于端到端建模，我们使用基于连接主义时间分类/基于注意力的编码器-解码器架构和递归神经网络换能器/基于注意力的编码器-解码器架构的模型。这些模型的性能评估与一个额外的语言模型，以提高单词错误率。结果表明，该系统在挑战测试集数据上的字符错误率为10.2%，在提交的挑战系统中排名第三。
2022-10-17 cs.SD eess.AS
Robust Raw Waveform Speech Recognition Using Relevance Weighted Representations
Indian Institute of Science（印度科学研究所）
在噪声和信道失真的情况下的语音识别通常是具有挑战性的，因为当前的声学建模方案不适应于在存在噪声的情况下信号分布的变化。在这项工作中，我们开发了一种新的声学建模框架噪声鲁棒语音识别的基础上相关加权机制。使用子网络方法执行特征选择来实现相关性加权。在对原始语音信号进行操作的卷积网络模型的第一层的输出上应用相关子网络，而在第二卷积层输出上应用第二相关子网络。第一层的相关性权重对应于声学滤波器组选择，而第二层中的相关性权重执行调制滤波器选择。该模型被训练用于对有噪声和混响语音的语音识别任务。在多个数据集（Aurora-4、CHiME-3、VOiCES）上的语音识别实验表明，在神经网络架构中结合相关性加权显著改善了语音识别单词错误率（相对于基线系统平均相对改善10%）。
2020-10-29 cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY（纽约市立大学研究生中心）；Microsoft Research（微软研究院）
语音增强最近通过各种深度学习方法取得了巨大成功。然而，大多数传统的语音增强系统是用监督方法训练的，这带来了两个重大挑战。首先，用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时，在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次，在提高语音增强性能和降低语音识别（ASR）性能之间存在权衡。因此，我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明，该函数有效地提高了语音增强的性能相比，在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线，但通过联合超级和无监督训练，系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库，但尚未建立英语以外语言的开源语料库。在本文中，我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕，几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类（CTC）的自动语音识别（ASR）和自动说话人验证（ASV）的基于说话人变异的方法的技术。我们建立了1）一个大规模的日本ASR基准，拥有超过1，300小时的数据，2）日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
Speech-Mamba: Long-Context Speech Recognition with Selective State Spaces Models
Institute for Infocomm Research, Agency for Science, Technology；Research (A STAR), Singapore
针对Transformer模型处理长语音序列复杂度高的问题，提出Speech-Mamba架构，通过融合选择性状态空间模型与Transformer低层特征，实现近线性扩展并显著提升长程依赖建模能力。
2024-09-27 cs.SD eess.AS
The Accented English Speech Recognition Challenge 2020: Open Datasets, Tracks, Baselines, Results and Methods
Northwestern Polytechnical University（西北工业大学）；Shanghai Jiao Tong University（上海交通大学）；Datatang (Beijing) Technology Co., LTD（北京数语科技有限公司）
口音的多样性给语音识别提出了很大的挑战。口音英语语音识别挑战赛（AESRC 2020）旨在提供一个通用的测试平台，并促进口音相关的研究。挑战中设置了两个轨道--英语口音识别（轨道1）和带口音的英语语音识别（轨道2）。从8个国家收集了一组160小时的口音英语语音，并将标签作为训练集。另外20个小时没有标签的语音后来作为测试集发布，其中包括来自另外两个国家的两个看不见的口音，用于测试轨道2中的模型泛化能力。我们还为参与者提供基线系统。本文首先回顾了已发布的数据集，跟踪设置，基线，然后总结了挑战结果和提交中使用的主要技术。
2021-02-20 cs.SD eess.AS
Intermediate Fine-Tuning Using Imperfect Synthetic Speech for Improving Electrolaryngeal Speech Recognition
Nagoya University（名古屋大学）
针对电喉语音识别中预训练与目标数据域偏移过大的问题，提出利用不完美合成语音进行中间微调的方法，在电喉语音数据集上较基线提升6.1%识别率，并表明该阶段主要学习高层固有特征而非低层可懂度特征。
2023-05-30 cs.SD eess.AS
Anchored Speech Recognition with Neural Transducers
Meta AI
神经传感器在标准语音识别基准测试中达到了人类水平的性能。然而，它们的性能在存在串扰的情况下显著降低，特别是当主扬声器具有低信噪比时。锚定语音识别是指使用来自锚定段（例如，唤醒词）来识别设备引导的语音而忽略干扰的背景语音。在本文中，我们研究锚定语音识别，使神经传感器的背景语音鲁棒。我们用一个微小的辅助网络从锚段中提取上下文信息，并使用编码器偏置和连接器门控来引导换能器朝向目标语音。此外，为了提高上下文嵌入提取的鲁棒性，我们提出了辅助训练目标，以从说话风格中分离词汇内容。我们评估我们的方法合成LibriSpeech为基础的混合物，包括几个SNR和重叠条件;他们提高了19.6%的相对字错误率在一个强基线，平均在所有条件下。
2023-03-29 cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Leveraging Self-Supervised Models for Automatic Whispered Speech Recognition
University of Zurich（苏黎世大学）；University of Isfahan（伊斯法罕大学）
针对耳语语音声学特性特殊、训练数据稀缺导致识别效果差的问题，提出用预训练WavLM模型结合多数据集微调的爱尔兰方言耳语语音识别方法，性能显著优于Whisper基线。
2024-11-03 cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失，用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间，自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别，例如执行语音搜索查询，发送短信，以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前，大多数人很少使用语音识别。在过去的十年里，语音识别发生了巨大的变化，我们对未来的十年有何期待？我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目，但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart（斯图加特大学）
本文介绍了我们最新的研究，提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN，以减少输入语音的噪声，从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强，而不需要任何并行数据，并通过引入多个鉴别器来检查不同的频率区域来改进它。此外，我们表明，在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法，并在开发集上观察到高达10.03%的相对WER改善，在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Speech Recognition with Augmented Synthesized Speech
Google（谷歌公司）
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间，从而允许对合成语音的操纵。在本文中，我们评估的可行性，提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法，以提供必要的声学和词汇的多样性需要强大的语音识别。最后，我们证明了这种方法的可行性，作为一个数据增强策略域转移。我们发现，语音识别性能的改善是可以实现的，通过增加合成材料的训练数据。然而，在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们研究了几种现有的和一种新的最先进的基于生成对抗网络（GAN）的语音转换方法，用于增强构音障碍语音，以改进构音障碍语音识别。我们比较现有方法的关键组成部分，作为严格的消融研究的一部分，以找到最有效的解决方案，以改善构音障碍的语音识别。我们发现，简单的信号处理方法，如静态噪声去除和基于声码器的时间拉伸，导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当，如使用音素识别任务测量的。此外，与我们的时间拉伸基线相比，我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.（谷歌公司）
本文提出口音聚类与挖掘方案，结合预训练、分布鲁棒优化和无监督聚类，在挖掘出的印度口音语音上微调ASR，相对随机采样分别提升10.0%和5.3%，实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales（新南威尔士大学）
儿童语音识别是一个至关重要的领域，但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而，自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中，我们利用自我监督的成人语音表示，并使用三个著名的儿童语音语料库，建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能，检查跨域儿童语料库的效果，并调查微调模型所需的最小儿童语音量，该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明，微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明，只要5个小时的转录儿童的讲话，它是可能的微调儿童的语音识别系统，表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
CHiME-6 Challenge:Tackling Multispeaker Speech Recognition for Unsegmented Recordings
Johns Hopkins University（约翰斯·霍普金斯大学）；The City University of New York（纽约城市大学）；University of Sheffield（谢菲尔德大学）；Inria（法国国家信息与自动化研究所）；Paderborn University（帕德博恩大学）；Hitachi, Ltd.（日立公司）；Microsoft（微软公司）；Linguistic Data Consortium（语言数据联盟）
在第一、二、三、四、五届CHiME挑战赛取得成功后，我们组织了第六届CHiME语音分离和识别挑战赛（CHiME-6）。新的挑战重新审视了之前的CHiME-5挑战，并进一步考虑了日常家庭环境中远程多麦克风对话语音日记和识别的问题。除了精确的阵列同步之外，语音材料与之前的CHiME-5录音相同。该材料是使用一个晚宴的情况下，努力捕捉的数据，是自然的会话语音的代表。本文提供了CHiME-6的分段多说话者语音识别（轨道1）和未分段多说话者语音识别（轨道2）的挑战的基线描述。值得注意的是，轨道2是社区中的第一个挑战活动，以解决未分段的多扬声器语音识别场景，具有一套完整的可重复的开源基线，提供语音增强，扬声器日记和语音识别模块。
2020-05-02 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University（西江大学）；Seoul Hospital（首尔医院）；Ewha Womans University College of Medicine（梨花女子大学医学院）
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测，并设计标注方案与独立评估指标，实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur（贝兰布尔印度科学教育与研究院（IISER））
自动语音识别是计算机科学和语言学的交叉学科应用，它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用，如高性能战斗机，直升机，空中交通管制员。除了军事领域，语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本（STT）的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech，它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统，它使用利用多个图形处理单元（GPU）的优化的递归神经网络（RNN）训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的，这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到，有几种英语口音因州而异。在这项工作中，我们使用了迁移学习方法，使用最新的深度语音模型，即，deepspeech-0.9.3，用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型，我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络，结合会话上下文/词/语音嵌入。与传统的语音识别模型不同，我们的模型学习跨越句子的较长对话上下文信息，因此更好地识别长对话。具体地，我们提出使用基于文本的外部词和/或句子嵌入（即，fastText，BERT），从而显著改善了单词出错率，并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型，并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University（卡内基梅隆大学）；dot Inc.（42dot公司）
本文提出统一仅解码器模型 VoxtLM，通过融合文本词汇与离散语音 token 及特殊 token，支持识别、合成、文本生成和语音续写，并在多项任务上优于单任务模型，且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University（俄亥俄州立大学）
对于语音增强任务，局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准，以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后，频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合，训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了端到端的连续语音识别（CSR）使用脑电图（EEG）信号，没有语音信号作为输入。实现了基于注意模型的自动语音识别（ASR）和基于连接主义时间分类（CTC）的ASR系统，用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
Improving Multimodal Speech Recognition by Data Augmentation and Speech Representations
Speech and Dialogue Research Laboratory（语音与对话研究实验室）；University Politehnica of Bucharest（布加勒斯特理工大学）
多模态语音识别旨在通过利用通常与音频输入相关联的附加视觉信息来提高自动语音识别（ASR）系统的性能。虽然以前的方法对强大的视觉表示进行了关键性的使用，例如通过微调预训练的图像识别网络，但对其对应部分（语音组件）的关注却少得多。在这项工作中，我们调查的方式，改善基础语音识别系统以下类似的技术用于视觉编码器，即传输表示和数据增强。首先，我们证明了从预训练的ASR开始显着提高了最先进的性能;值得注意的是，即使在构建强大的单峰系统时，我们仍然可以通过包含视觉模态来获得收益。其次，我们采用语音数据增强技术，以鼓励多模态系统出席的视觉刺激。这种技术取代了以前使用的词掩蔽，并具有概念上更简单的好处，并在多模态设置中产生一致的改进。我们提供了三个多模态数据集的实证结果，包括新引入的本地化叙事。
2022-04-27 cs.SD eess.AS eess.IV
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Curriculum optimization for low-resource speech recognition
现代端到端语音识别模型在将音频信号转录成书面文本方面显示出惊人的结果。然而，传统的数据馈送流水线对于低资源语音识别来说可能是次优的，这仍然是一项具有挑战性的任务。我们提出了一种自动化的课程学习方法，根据模型在训练时的进度和关于训练示例难度的先验知识来优化训练示例的序列。我们引入了一个新的难度度量，称为压缩比，可以用作各种噪声条件下原始音频的评分函数。所提出的方法提高了语音识别字错误率性能高达33%，相对于基线系统
2022-02-17 cs.LG cs.SD eess.AS
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group（好未来教育集团）
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库，它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景，包含约587小时16 kHz的语音样本。据我们所知，TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录音过程，包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库，我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验，建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率（MER）性能。实验结果表明，音频记录和传输的质量是有希望的，基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
End-to-end Speech-to-Punctuated-Text Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；RevComm, Inc.（RevComm公司）
传统的自动语音识别系统不产生对语音识别结果的可读性很重要的标点符号。它们也需要用于后续的自然语言处理任务，如机器翻译。在标点符号预测模型方面已经有很多工作，这些模型将标点符号插入到语音识别结果中作为后处理。然而，这些研究并没有利用声学信息的标点符号的预测，并直接受到语音识别错误。在这项研究中，我们提出了一个端到端的模型，以语音作为输入和输出标点文本。该模型有望在使用声学信息的同时对语音识别错误鲁棒地预测标点符号。我们还建议将一个辅助损失训练模型使用的输出的中间层和不加标点的文本。通过实验，我们比较了所提出的模型的级联系统的性能。该模型在不牺牲语音识别错误率的前提下，实现了比级联系统更高的标点预测精度。实验还表明，使用中间输出对不加标点的文本进行多任务学习是有效的。此外，所提出的模型只有约1/7的参数相比，级联系统。
2022-07-07 cs.CL cs.SD eess.AS
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境，利用一定量的训练语音数据的混响环境，和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换，我们将房间诱导卷积转换为对数谱域中的加法。接下来，我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间，该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University（南洋理工大学）
语音增强（speech enhancement，SE）的目的是抑制含噪语音信号中的加性噪声，以提高语音的感知质量和可懂度。然而，增强语音中的过抑制现象可能会降低下游的自动语音识别（ASR）任务的性能，由于丢失的潜在信息。为了缓解这个问题，我们提出了一个交互式的特征融合网络（IFF-Net）的噪声鲁棒语音识别学习互补的信息，从增强功能和原始的噪声功能。实验结果表明，该方法实现了绝对词错误率（WER）降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明，建议的IFF-Net可以补充一些丢失的信息，在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University（康奈尔大学）；NAVER Cloud Corporation（NAVER云公司）
本文提出两种数据驱动方法，利用语音语料库和注意力映射自动检测非母语者发音错误模式，在母语和非母语英语语音识别上分别提升5.7%和12.8%，增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
Incorporating Talker Identity Aids With Improving Speech Recognition in Adversarial Environments
Harvard University（哈佛大学）
针对语音识别模型在噪声等分布外条件下性能脆弱的问题，提出融合Whisper语音嵌入与ECAPA-TDNN说话人嵌入的Transformer联合模型，在高噪声和强增强语音场景下鲁棒性优于Whisper，干净环境下性能相当。
2024-10-07 cs.AI cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中，通常很少的训练数据可用于特定的具有挑战性的任务，但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题，我们提出了一种两阶段的声学建模方法，该方法将噪声和混响数据增强与迁移学习相结合，以鲁棒地解决困难的声学记录条件，自发语音和老年人语音等挑战。我们评估我们的方法使用的例子，德国口述历史访谈，其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Noise-robust Speech Recognition with 10 Minutes Unparalleled In-domain Data
Nanyang Technological University（南洋理工大学）；Air Traffic Management Research Institute（空中交通管理研究院）
抗噪语音识别系统需要大量的训练数据，包括带噪语音数据和相应的文本，以在各种实际环境中获得最佳性能。然而，如此大量的域内数据在现实世界中并不总是可用的。在本文中，我们提出了一个生成对抗网络来从干净的频谱（Simu-GAN）中模拟噪声频谱，其中只需要10分钟的无与伦比的域内噪声语音数据作为标签。此外，我们也提出了一个双路径语音识别系统，以提高系统在噪声条件下的鲁棒性。实验结果表明，所提出的语音识别系统实现了7.3%的绝对改善与模拟噪声数据的Simu-GAN在最佳基线方面的字出错率（WER）。
2022-03-29 cs.CL cs.SD eess.AS
Accented Speech Recognition: A Survey
自动语音识别（ASR）系统对带口音语音的概括性较差。口音的语音和语言变异性在数据汇集和建模策略方面都对当今的ASR系统提出了严峻的挑战。不同口音的ASR性能的偏差对ASR的用户和提供商都是有代价的。我们提出了一个调查目前有前途的方法，口音语音识别，并强调在空间的关键挑战。目前的方法主要集中在单模型综合和重点特征工程。在这些挑战中，缺乏标准基准使得研究和比较特别困难。
2021-06-02 cs.CL cs.SD eess.AS
NIESR: Nuisance Invariant End-to-end Speech Recognition
USC Information Sciences Institute（南加州大学信息科学研究所）
用于语音识别的深度神经网络模型最近取得了巨大的成功，但它们可以学习语音的目标和滋扰因素之间的不正确关联（例如，说话者身份、背景噪声等），这可能导致过拟合。虽然已经提出了几种方法来解决这个问题，但现有的方法在训练过程中结合了关于滋扰因素的额外信息来开发不变模型。然而，在语音数据中的所有可能的滋扰因素的枚举和它们的注释的收集是困难和昂贵的。我们提出了一个强大的端到端语音识别的训练方案，采用无监督对抗不变性诱导框架，从滋扰中分离出语音识别的基本因素，而不使用任何补充标签，除了translance。实验结果表明，该训练方案训练的语音识别模型在WSJ0、CHiME3和TIMIT数据集上的识别率分别比基础模型提高了5.48%、6.16%和6.61%。此外，该方法在WSJ0+CHiME3组合数据集上实现了14.44%的相对改进。
2019-07-07 cs.CL cs.SD eess.AS
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们探讨了连续无声语音识别使用脑电图（EEG）信号。我们实现了一个连接主义的时间分类（CTC）的自动语音识别（ASR）模型，以翻译并行记录的EEG信号，而受试者正在阅读英语句子在他们的脑海中，没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果，有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
MIMO-SPEECH: End-to-End Multi-Channel Multi-Speaker Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
最近，端到端的方法已经证明了其在单声道多说话人语音识别中的有效性。然而，高字错误率（WER）仍然阻止这些系统在实际应用中使用。另一方面，多通道信号中的空间信息已被证明有助于远场语音识别任务。在这项工作中，我们提出了一种新的神经序列到序列（seq 2seq）的架构，MIMO-Speech，它扩展了原来的seq 2seq处理多通道输入和多通道输出，使它可以完全模拟多通道多说话人语音分离和识别。MIMO-Speech是一个完全神经的端到端框架，仅通过ASR标准进行优化。它包括：1）单耳掩蔽网络，2）多源神经波束形成器，和3）多输出语音识别模型。通过这种处理，输入的重叠语音被直接映射到文本序列。我们进一步采用了课程学习策略，充分利用训练集来提高性能。在空间化wsj 1 - 2 mix语料库上的实验表明，与单通道系统相比，该模型可以实现60%以上的WER降低，并具有高质量的增强信号（SI-SDR = 23.1 dB）。
2019-10-16 cs.CL cs.SD eess.AS
