AISHELL-1: An Open-Source Mandarin Speech Corpus and A Speech Recognition Baseline
Beijing Shell Shell Technology Co. Ltd（北京希尔贝壳科技有限公司）
一个名为AISHELL-1的开源汉语语音语料库发布。它是目前最大的语料库，适合进行语音识别研究和建立普通话语音识别系统。详细介绍了录音过程，包括音频采集设备和环境。介绍了相关资源的准备，包括译文和词典。该语料库与Kaldi配方一起发布。实验结果表明，音频记录和传输的质量是有前途的。
2017-09-16 cs.CL
Convolutional Attention Networks for Multimodal Emotion Recognition from Speech and Text Data
情感识别已经成为一个热门的研究课题，特别是在人机交互领域。以前的工作涉及单峰分析的情绪，而最近的努力集中在多模态的情绪识别从视觉和语音。在本文中，我们提出了一种新的方法，使用卷积注意力网络来学习语音和文本数据之间的隐藏表示。与采用简单的特征向量拼接的浅层模型相比，所提出的注意力模型在从CMU-MOSEI数据集中包含的语音和文本数据中分类情感方面表现得更好。
2019-03-08 cs.AI cs.CL cs.HC
End-to-end attention-based distant speech recognition with Highway LSTM
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在语音识别系统中，基于注意力的端到端模型已被证明是传统DNN-HMM模型的有竞争力的替代方案。在本文中，我们扩展了现有的端到端的注意力为基础的模型，可以应用于远程语音识别（DSR）的任务。具体来说，我们提出了一个端到端的注意力为基础的语音识别器，多通道输入，直接在字符级进行序列预测。为了获得更好的性能，我们还将高速公路长短期记忆（HLSTM），它优于以前的模型在AMI远程语音识别任务。
2016-10-17 cs.CL
Speech Emotion Recognition Considering Local Dynamic Features
Tianjin University（天津大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
近年来，语音情感识别的研究越来越受到重视，其中大多数使用话语的全局声学特征来消除内容差异。然而，言语情感的表达是一个动态的过程，它通过说话时的动态时长、能量等韵律信息来体现。本文提出了一种新的局部动态基音概率分布特征，该特征是通过绘制直方图得到的，用于提高语音情感识别的准确率。与以往大多数使用全局特征的方法相比，该方法利用了情感语音所传达的局部动态信息。在柏林情感语音数据库上的实验验证了该方法的有效性。实验结果表明，该方法获得的局部动态信息比传统的全局特征更有效地用于语音情感识别。
2018-03-21 cs.AI cs.CL cs.HC
Evaluation of Automated Speech Recognition Systems for Conversational Speech: A Linguistic Perspective
自动语音识别（ASR）作为语音用户界面和对话代理（例如Alexa、Google Home等语音助理）满足更多非正式和自由形式的输入数据，获得知名度。会话语音是语音识别中最困难的和与环境相关的一类数据。本文从语言学的角度，以法语为例，对法语同音异义词的消歧进行了研究。我们的贡献旨在提供更多的洞察人类语音转录准确性的条件下，重现那些国家的最先进的ASR系统，虽然在一个非常集中的情况。我们调查了一个案例研究，涉及最常见的错误，在法语的自动转录。
2022-12-05 cs.CL
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
Algorithm of Segment-Syllabic Synthesis in Speech Recognition Problem
本文讨论了基于音节段的语音识别。本文研究了分段音节参数轨迹合成语音识别问题的状态空间搜索方法。识别作为比较的参数轨迹在选定的语音单元上的分段语音的部分实现。给出了一些实验结果并进行了讨论。
2007-03-10 cs.CL cs.SD
Integrating HMM-Based Speech Recognition With Direct Manipulation In A Multimodal Korean Natural Language Interface
本文提出了一种基于HMM的语音识别引擎，并将其集成到韩语文档编辑器的直接操作界面中。语音识别可以减少标准GUI（图形用户界面）中不可避免的典型繁琐和重复操作。我们的系统包括通用的语音识别引擎ABrain（AuditoryBrain）和语音命令文档编辑器SHE（SimpleHearingEditor）。ABrain是一个基于音素的语音识别引擎，其离散命令识别率高达97%。SHE是一个基于EuroBridge控件的文档编辑器，支持语音命令以及直接操作界面。
1996-11-18 cmp-lg cs.CL
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
Attentive Convolutional Neural Network based Speech Emotion Recognition: A Study on the Impact of Input Features, Signal Length, and Acted Speech
University of Stuttgart（斯图加特大学）
语音情感识别是人机交互领域中一个重要而又具有挑战性的课题。先前的工作提出了各种模型和特征集来训练系统。在这项工作中，我们进行了广泛的实验，使用一个专注的卷积神经网络与多视图学习目标函数。我们使用不同长度的输入信号，不同类型的声学特征和不同类型的情感语音（即兴/脚本）的系统性能进行比较。我们的实验结果的交互式情绪运动捕捉（IEMOCAP）数据库显示，识别性能强烈依赖于独立的输入功能的选择的语音数据的类型。此外，我们取得了国家的最先进的结果即兴语音数据的IEMOCAP。
2017-06-02 cs.CL
Phonological modeling for continuous speech recognition in Korean
本文提出了一种新的表示连续语音识别过程中音位变化的方法。设计了一个与其形态标记相结合的语音标记来表示韩国语语音变化的情况。在韩语语音识别系统中实现了这些形态和语音标记的成对语言模型。通过基于TDNN的语音识别实验验证了该模型的性能。
1996-07-18 cmp-lg cs.CL
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg（G H Raisoni工程学院）；SGB Amravati University（SGB阿姆拉瓦蒂大学）；RTM Nagpur University（RTM那格浦尔大学）
四十多年来，人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式，这台机器应该包括两个子系统，即自动语音识别（ASR）和语音理解（SU）。ASR的目标是转录自然语音，而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程，它必须考虑到所有的变量信息的语音通信过程中，从声学到语义和语用。在开发自动语音识别系统时，观察到一些不利条件降低了语音识别系统的性能。在这篇文章中，语音增强系统的介绍，以增强被加性噪声污染的语音信号，提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明，用相应的增强后的语音信号代替含噪的语音信号，识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology（计算、信息与技术学院）；Institute of Neuroinformatics（神经信息研究所）；Department of Computational Linguistics（计算语言学系）
针对Whisper等ASR模型识别非规范受损语音困难的问题，提出一种轻量级语义重链流水线，通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型，实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
Huqariq: A Multilingual Speech Corpus of Native Languages of Peru for Speech Recognition
Pompeu Fabra University（庞培法布拉大学）；Pontifical Catholic University of Peru（秘鲁天主教大学）
Huqariq语料库是秘鲁本土语言的多语言集合。转录的语料库旨在研究和开发语音技术，以保护秘鲁濒临灭绝的语言。Huqariq主要用于开发自动语音识别、语言识别和文本到语音工具。为了实现语料库的可持续收集，我们采用了众包的方法。Huqariq包括秘鲁的四种土著语言，预计到2022年底，秘鲁48种土著语言中的20种语言将被使用。该语料库有500多名志愿者录制的220小时转录音频，使其成为秘鲁最大的土著语言语音语料库。为了验证语料库的质量，我们提出了语音识别实验使用220小时的完全转录的音频。
2022-07-12 cs.CL
Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq
NVIDIA（英伟达）
我们提出了OpenSeq 2Seq-一个基于TensorFlow的工具包，用于训练具有分布式和混合精度训练的序列到序列模型。机器翻译和语音识别任务的基准测试表明，使用OpenSeq 2Seq构建的模型可以以1.5- 3倍的训练时间提供最先进的性能。OpenSeq 2Seq目前为解决各种任务的模型提供构建模块，包括神经机器翻译，自动语音识别和语音合成。
2018-11-21 cs.CL
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间，自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别，例如执行语音搜索查询，发送短信，以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前，大多数人很少使用语音识别。在过去的十年里，语音识别发生了巨大的变化，我们对未来的十年有何期待？我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目，但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
Modelling word learning and recognition using visually grounded speech
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）
背景：语音识别的计算模型通常假设目标词的集合已经给定。这意味着这些模型在没有先验知识和明确监督的情况下无法从头开始学习识别语音。基于视觉的语音模型通过利用语音和视觉输入之间的统计依赖关系，在没有先验知识的情况下学习识别语音。虽然以前已经表明，视觉接地语音模型学习识别输入中的单词的存在，我们明确调查这样的模型作为人类语音识别的模型。研究方法：我们调查的时间过程中的单词识别模拟的模型，使用门控范式，以测试其识别是否受到众所周知的词竞争效应在人类语音处理。我们进一步调查是否矢量量化，离散表示学习的技术，艾滋病的发现和识别的话的模型。结果/结论：我们的实验表明，该模型能够孤立地识别名词，甚至能够正确区分复数名词和单数名词。我们还发现，识别的影响字竞争的字初始队列和邻居密度，反映了字竞争效应在人类的语音理解。最后，我们没有发现任何证据表明矢量量化有助于发现和识别单词。我们的门控实验甚至表明，矢量量化模型需要更多的输入序列的正确识别。
2022-03-14 cs.CL
LaSR: Context-Aware Speech Recognition via Latent Reasoning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
提出LaSR训练范式，利用潜在推理轨迹增强语音大语言模型的上下文感知能力，在学术术语识别上显著提升性能且不增加延迟。
2026-09-18 cs.CL
Dialog-context aware end-to-end speech recognition
Carnegie Mellon University（卡内基梅隆大学）
现有的语音识别系统通常是在句子级别上构建的，尽管已知对话上下文（例如，跨越句子或说话者的更高级别的知识）可以帮助处理长对话。端到端语音识别系统的最新进展有望将所有可用信息（例如声学、语言资源）集成到单个模型中，然后对其进行联合优化。因此，这样的对话上下文信息也应该被集成到端到端模型中以进一步提高识别准确性，这似乎是自然的。在这项工作中，我们提出了一个对话上下文感知的语音识别模型，它显式地使用上下文信息超出会话级别的信息，在一个端到端的方式。我们的对话上下文模型捕获了一个历史的会话级上下文，使整个系统可以训练与对话上下文信息在一个端到端的方式。我们评估我们提出的方法上的开关板会话语音语料库，并表明我们的系统优于一个可比的双级端到端的语音识别系统。
2018-08-07 cs.CL
TICL: Text-Embedding KNN For Speech In-Context Learning Unlocks Speech Recognition Abilities of Large Multimodal Models
本文提出TICL方法，利用文本嵌入KNN为语音上下文学习选择有效示例，无需微调即可增强大型多模态模型的语音识别能力，在多项挑战性任务中相对WER最高降低84.7%。
2025-09-16 cs.AI cs.CL cs.LG
Automatic recognition of suprasegmentals in speech
Baidu Research USA（百度研究院（美国））；Linguistic Data Consortium, University of Pennsylvania（宾夕法尼亚大学语言数据联盟）
本研究报告了我们的努力，以提高自动识别的超音段微调wav2vec 2.0与CTC，一种方法，已成功地在自动语音识别。我们证明，该方法可以提高国家的最先进的自动识别音节，音调和音高口音。利用音段信息，以声调韵母或声调音节为识别单位，可以显著提高普通话声调识别率。语言模型在声调音节被用作识别单元时是有帮助的，但在声调是识别单元时没有帮助。最后，通过在wav2vec 2.0中结合这两个任务，普通话声调识别可以受益于英语音素识别。
2021-08-04 cs.CL
Why has (reasonably accurate) Automatic Speech Recognition been so hard to achieve?
Nuance Communications（Nuance通讯公司）；Mobile Research（移动研究院）
隐马尔可夫模型（HMM）已经成功地应用于自动语音识别超过35年，尽管语音数据明显违反了HMM的一个关键假设--帧的统计独立性。事实上，这种数据/模型的不匹配激发了许多尝试，用能够更好地考虑帧的统计依赖性的替代模型来修改或替换HALCOST。然而，公平地说，在2010年，HMM是语音识别的共识选择模型，并且HMM是商用产品和当代研究系统的核心。在本文中，我们提出了一个初步的探索，旨在了解语音数据如何从HALTH出发，以及这种出发对基于HMM的语音识别的准确性有什么影响。我们的分析使用了统计学领域的标准诊断工具--假设检验、模拟和响应--这些工具在语音识别领域很少使用。我们的主要结果，获得了新的操作的真实和重新采样的数据，表明真实的数据具有统计依赖性，这种依赖性是负责大量的识别错误。我们还表明，使用模拟和rescue，如果我们“删除”的统计依赖数据，那么由此产生的识别出错率变得微不足道。两者合计，这些结果表明，更好地理解语音数据中的统计依赖性的结构是改善基于HMM的语音识别的关键的第一步。
2010-02-28 cs.CL
Opportunities & Challenges In Automatic Speech Recognition
GHRCE；S. G. B. Amaravati University（S. G. B. 阿马拉瓦蒂大学）
自动语音识别能够实现广泛的当前和新兴应用，例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度，对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性：在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战，采取的方法，以及未来的研究可能的方向，以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
Speech Recognition by Machine, A Review
Sri Jayachamarajendra College of Engineering（斯里贾亚 chamarajendra 工程学院）
本文简要介绍了自动语音识别的研究概况，讨论了60年来的主要研究课题和研究进展，从而对语音通信这一重要领域所取得的基本进展提供了一个技术视角和评价。经过多年的研究和开发，自动语音识别的准确性仍然是重要的研究挑战之一（例如，语音识别系统的设计需要注意以下问题：各种类型语音的定义、语音表示、特征提取技术、语音分类器、数据库和性能评估。按时间顺序介绍了ASR中存在的问题以及各种研究人员为解决这些问题而提出的各种技术。因此作者希望这项工作能对语音识别领域有所贡献。这篇综述论文的目的是总结和比较一些众所周知的方法，用于语音识别系统的各个阶段，并确定研究主题和应用程序，这是在这个令人兴奋的和具有挑战性的领域的最前沿。
2010-01-13 cs.CL
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了端到端的连续语音识别（CSR）使用脑电图（EEG）信号，没有语音信号作为输入。实现了基于注意模型的自动语音识别（ASR）和基于连接主义时间分类（CTC）的ASR系统，用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
Improving End-to-end Speech Recognition with Pronunciation-assisted Sub-word Modeling
Johns Hopkins University（约翰斯·霍普金斯大学）
大多数端到端语音识别系统直接将文本建模为字符或子词的序列。当前的子词提取方法仅考虑字符序列频率，这有时会产生可能导致错误的语音识别输出的较差的子分词。我们提出了发音辅助子词建模（PASM），一个子词提取方法，利用一个词的发音信息。实验结果表明，该方法可以大大提高基于字符的基线，也优于常用的字节对编码方法。
2019-02-21 cs.CL
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种用于语音识别评估的常用字错误率（WER）指标的变体，该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后，相邻错误的跨度被转换成具有单词和音节边界的音素，并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词，这些单词调整每个错误区域中的单词对齐标签。我们证明，我们的语音导向的单词错误率（POWER）产生类似的分数WER与更好的单词对齐的附加优势，并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Structured Language Modeling for Speech Recognition
提出了一种新的用于语音识别的语言模型。该模型逐步发展隐藏的层次句法结构，并使用它来提取有意义的信息，从单词的历史，从而补充了目前使用的三元模型的地方。本文介绍了结构化语言模型及其在格型译码两遍语音识别器中的性能。在华尔街日报语料库上的实验表明，该模型在困惑度（PPL）和单词出错率（WER）方面都优于传统的三元模型。
2000-01-25 cs.CL
wav2letter++: The Fastest Open-source Speech Recognition System
Facebook AI Research（Facebook人工智能研究院）
本文介绍了最快的开源深度学习语音识别框架wav2letter++。wav2letter++完全用C++编写，并使用ArrayFire张量库以实现最高效率。在这里，我们解释了wav2letter++系统的架构和设计，并将其与其他主要的开源语音识别系统进行了比较。在某些情况下，wav2letter++比其他优化框架快2倍以上，用于训练语音识别的端到端神经网络。我们还表明，wav2letter++的训练时间线性扩展到64个GPU，这是我们测试的最高值，用于具有1亿个参数的模型。高性能框架支持快速迭代，这通常是在新数据集和任务上成功研究和模型调优的关键因素。
2018-12-18 cs.CL
Morse Code-Enabled Speech Recognition for Individuals with Visual and Hearing Impairments
School of Computer Engineering Kalinga Institute of Industrial Technology（卡林加工业技术学院计算机工程学院）
提出一种面向视觉与听力障碍人士的语音识别系统，将语音转为文本再转为摩尔斯电码，测试词错误率10.18%，准确率89.82%。
2024-07-07 cs.AI cs.CL cs.HC
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.（微软公司）
本文提出了一个端到端的说话人属性自动语音识别模型，该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练（SOT）与基于注意力的编码器-解码器，最近提出的方法，用于识别重叠的语音，包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入，以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化，该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明，该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna（科雷大学恩纳分校）；Politecnico di Torino（托里诺理工学院）；Università di Palermo（巴勒莫大学）
针对构音障碍语音识别难题，提出结合先进ASR模型与LLM生成式纠错的两阶段框架，并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart（斯图加特大学）
本文介绍了我们最新的研究，提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN，以减少输入语音的噪声，从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强，而不需要任何并行数据，并通过引入多个鉴别器来检查不同的频率区域来改进它。此外，我们表明，在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法，并在开发集上观察到高达10.03%的相对WER改善，在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Speech Commands: A Dataset for Limited-Vocabulary Speech Recognition
Google Brain（谷歌大脑）；Mountain View, California（加利福尼亚州山景城（注：此处原文本中该部分是地址，按要求不应提取为机构，正确应为仅提取Google Brain））
描述了一个语音数据集，旨在帮助训练和评估关键字定位系统。讨论了为什么这个任务是一个有趣的挑战，为什么它需要一个专门的数据集，是不同于传统的数据集用于自动语音识别的完整的句子。提出了一种方法，为这项任务的可重复性和可比性的准确性指标。描述如何收集和验证数据、数据包含的内容、以前的版本和属性。最后报告在此数据集上训练的模型的基线结果。
2018-04-09 cs.CL cs.HC
Speech Recognition with Augmented Synthesized Speech
Google（谷歌公司）
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间，从而允许对合成语音的操纵。在本文中，我们评估的可行性，提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法，以提供必要的声学和词汇的多样性需要强大的语音识别。最后，我们证明了这种方法的可行性，作为一个数据增强策略域转移。我们发现，语音识别性能的改善是可以实现的，通过增加合成材料的训练数据。然而，在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Recognition of Isolated Words using Zernike and MFCC features for Audio Visual Speech Recognition
Dr. Babasaheb Ambedkar Marathwada University（巴巴萨海布·安贝德卡尔马拉特瓦达大学）
机器自动语音识别（ASR）是信号处理领域的一个热门研究课题，吸引了众多学者的研究。近年来，在自动语音阅读系统中已经有了许多进展，包括音频和视觉语音特征，以在噪声条件下识别单词。视听语音识别系统的目标是提高识别率。在本文中，我们计算视觉特征使用Zernike矩和音频特征使用梅尔频率倒谱系数（MFCC）的vVISWa（独立标准词汇的视觉词汇）数据集，其中包含10个扬声器的城市名称的孤立集合。在主成分分析（PCA）空间上对视觉特征进行归一化和降维，对孤立词语音进行识别，基于视觉和听觉特征的孤立词识别率分别为63.88和100。
2014-07-04 cs.CL cs.CV
A review of on-device fully neural end-to-end automatic speech recognition algorithms
Samsung Electronics（三星电子）；Samsung Research（三星研究院）
在本文中，我们回顾了各种端到端的自动语音识别算法及其优化技术的设备上的应用。传统的语音识别系统包括大量的离散组件，例如声学模型、语言模型、发音模型、文本规范器、逆文本规范器、基于加权有限状态变换器（WFST）的解码器等。通常需要非常大的大语言模型（高达100 GB）。因此，相应的WFST大小变得巨大，这禁止了它们在设备上的实现。最近，已经提出了全神经网络端到端语音识别算法。示例包括基于连接时间分类（CTC）的语音识别系统、循环神经网络转换器（RNN-T）、基于注意力的编码器-解码器模型（AED）、单调组块注意力（MoChA）、基于转换器的语音识别系统等。与传统算法相比，这些完全基于神经网络的系统需要小得多的存储器占用。因此它们的设备上实现已经变得可行。在本文中，我们回顾这样的端到端的语音识别模型。我们广泛地讨论了它们的结构，性能和优势相比，传统的算法。
2021-08-27 cs.CL cs.LG
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
SpeechStew: Simply Mix All Available Speech Recognition Data to Train One Large Neural Network
Google Research（谷歌研究院）
我们提出了SpeechStew，一个语音识别模型，该模型是在各种公开的语音识别数据集的组合上训练的：AMI，广播新闻，共同的声音，LibriSpeech，Switchboard/Fisher，Tedews和华尔街日报。SpeechStew只是将所有这些数据集混合在一起，而没有对数据集进行任何特殊的重新加权或重新平衡。SpeechStew在各种任务中实现SoTA或接近SoTA的结果，而无需使用外部语言模型。我们的结果包括AMI-IHM上的9.0\% WER，Switchboard上的4.7\% WER，CallHome上的8.3\% WER，以及WSJ上的1.3\%，这显著优于具有强外部语言模型的先前工作。我们还证明了SpeechStew学习强大的迁移学习表示。我们在嘈杂的低资源语音数据集CHiME-6上微调SpeechStew。在没有语言模型的情况下，我们实现了38.9\%的WER，相比之下，在有语言模型的情况下，强HMM基线的WER为38.6\%。
2021-04-27 cs.CL cs.LG
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
Automatic speech recognition for launch control center communication using recurrent neural networks with data augmentation and custom language model
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
在美国宇航局的发射控制中心转录语音通信对信息利用很重要。然而，由于缺乏训练数据、首字母缩略词中的陌生单词、多个不同的说话者和口音以及说话的会话特征，在这种环境中的自动语音识别特别具有挑战性。我们使用双向深度循环神经网络来训练和测试语音识别性能。我们表明，数据增强和自定义语言模型可以提高语音识别的准确性。转录来自发射控制中心的通信将有助于机器分析信息并加速知识生成。
2018-04-24 cs.CL cs.HC
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University（俄亥俄州立大学）
自几年前引入深度学习以来，单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众，它直接馈送到自动语音识别（ASR）系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处，或者单耳语音增强和识别之间的差距，通常归因于在增强过程中引入的语音失真。在这项研究中，我们分析了失真的问题，比较不同的声学模型，并探讨了失真无关的单耳语音识别的训练计划。实验结果表明，与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外，在CHiME-2语料库上，本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon（亚马逊公司）；Rasa Technologies（Rasa科技公司）
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据，并评估两种说话模式的匹配测试集：无声和模态语音。我们观察到，与模态语音识别相比，来自成像数据的无声语音识别表现不佳，这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术，如fMLLR和无监督模型自适应，来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间，我们计算从超声舌图像中提取的舌样条的凸包。总的来说，我们观察到，沉默语的持续时间比情态语的持续时间长，并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义，但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales（新南威尔士大学）
儿童语音识别是一个至关重要的领域，但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而，自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中，我们利用自我监督的成人语音表示，并使用三个著名的儿童语音语料库，建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能，检查跨域儿童语料库的效果，并调查微调模型所需的最小儿童语音量，该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明，微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明，只要5个小时的转录儿童的讲话，它是可能的微调儿童的语音识别系统，表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
A network of deep neural networks for distant speech recognition
Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））
尽管最近在远程语音识别中取得了显著的进步，但是现有技术仍然缺乏鲁棒性，特别是当满足以非平稳噪声和混响为特征的不利声学条件时。当前系统的一个突出限制在于在远程语音识别过程中涉及的各种技术之间缺乏匹配和通信。例如，语音增强和语音识别模块通常是独立训练的。此外，语音增强通常帮助语音识别器，但后者的输出通常不用于改善语音增强。为了解决这两个问题，我们提出了一种基于深度神经网络网络的新架构，其中所有组件都经过联合训练，并且由于它们之间的完整通信方案而更好地相互合作。使用不同的数据集，任务和声学条件进行的实验表明，所提出的框架可以超越其他竞争解决方案，包括最近的联合训练方法。
2017-03-23 cs.CL cs.LG
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
