Automatic Speech Recognition with Very Large Conversational Finnish and Estonian Vocabularies
Aalto University（阿尔托大学）
如今，大词汇量语音识别中的语言模型的词汇量通常是几十万个单词。虽然这在某些应用程序中已经足够了，但词汇表外的单词仍然限制了其他应用程序的可用性。在黏着语中，除了复合词和词形变化之外，用于会话的词汇应该包括数百万个单词形式，以覆盖由于口语发音而引起的拼写变化。例如，当识别罕见的专有名称很重要时，也需要非常大的词汇表。
2017-09-29 cs.CL cs.SD
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Learning to retrieve out-of-vocabulary words in speech recognition
Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；University of Avignon（阿维尼翁大学）
对于用于处理历时音频数据的语音识别系统，许多专有名称（PN）是词汇表外（OOV）词。为了帮助恢复系统错过的PN，可以通过利用说出的内容的语义上下文从许多OOV中检索相关的OOV PN。在本文中，我们提出了两个旨在检索与音频文档相关的OOV PN的神经网络模型：（a）文档级连续词袋（D-CBOW），（b）文档级连续加权词袋（D-CBOW 2）。这两个模型都将文档单词作为输入，并以最大化共现OOV PN的检索为目标进行学习。对于D-CBOW 2模型，我们提出了一种新的方法，其中输入嵌入层增加了上下文锚层。该层学习为输入单词分配重要性，并能够在词袋神经网络模型中捕获（特定于任务的）关键词。通过对法国广播新闻视频的实验，我们证明了这两种模型的性能优于基于LDA，Skip-gram和Paragraph Vectors的原始嵌入的基线方法。结合D-CBOW和D-CBOW 2模型可以在训练过程中实现更快的收敛。
2016-03-01 cs.CL
Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition
语音识别近来已成为现实世界应用的实用技术。针对语音驱动的文本检索，这有助于检索信息的口语查询，我们提出了一种方法来集成语音识别和检索方法。由于用户说的内容与目标集合相关，我们适应的统计语言模型用于语音识别的基础上的目标集合，以提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明，我们的方法的有效性。
2002-06-24 cs.CL
Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild
Argmax, Inc.（Argmax公司）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出Contextual Earnings-22基准测试，通过真实自定义词汇场景推动研究，揭示潜在进展。关键词提示和增强方法在扩展到大规模系统时表现出色。
2026-03-28 cs.AI cs.CL cs.SD
DYNAC: Dynamic Vocabulary based Non-Autoregressive Contextualization for Speech Recognition
Honda Research Institute Japan（本田研究院日本）；Carnegie Mellon University（卡内基梅隆大学）
本文提出DYNAC，一种将动态词表集成到CTC中间层的自条件非自回归方法，在LibriSpeech 960上以0.1点词错误率代价将实时因子降低81%。
2025-05-31 cs.CL cs.SD eess.AS
Language Modeling for Multi-Domain Speech-Driven Text Retrieval
我们报告的实验结果与语音驱动的文本检索，这有利于检索信息在多个领域的口头查询。由于用户说的内容与目标集合相关，因此我们基于目标集合产生用于语音识别的语言模型，从而提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明，我们的方法的有效性。
2002-06-24 cs.CL
First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs
Stanford University（斯坦福大学）
提出了一种仅用神经网络和语言模型进行首遍大词汇量连续语音识别的方法。深度神经网络声学模型现在在基于HMM的语音识别系统中很常见，但构建这样的系统是一项复杂的特定于领域的任务。最近的工作证明了通过直接从音频预测转录文本来丢弃HMM序列建模框架的可行性。本文从两个方面扩展了这种方法。首先，我们证明了一个简单的递归神经网络架构可以达到很高的精度。其次，我们提出并评估了一种改进的前缀搜索解码算法。这种解码方法能够利用语言模型进行第一遍语音识别，完全不受基于HMM的系统的繁琐基础设施的帮助。在华尔街日报语料库上的实验证明了相当有竞争力的单词出错率，以及双向网络重现的重要性。
2014-12-08 cs.CL cs.LG cs.NE
Techniques for Vocabulary Expansion in Hybrid Speech Recognition Systems
STC-innovations Ltd（STC创新有限公司）；Higher School of Economics（高等经济学院）；ITMO University（ITMO大学）；University of London（伦敦大学）
词汇表外单词（OOV）的问题对于任何语音识别系统都是典型的，混合系统通常被构造成识别固定的单词集合，并且很少能够包括在系统开发期间将遇到的所有单词。覆盖OOV的流行方法之一是使用子字单元而不是单词。这种系统可以潜在地识别任何先前看不见的词，如果该词可以从当前子词单元构建的话，但是也可以识别不存在的词。另一种流行的方法是修改系统的HMM部分，以便它可以轻松有效地扩展我们想要添加到系统中的自定义单词集。在本文中，我们探讨了不同的现有方法，这种解决方案的图的建设和搜索方法的水平。我们还提出了一种新的词汇扩展技术，解决了一些常见的内部子程序识别图形处理的问题。
2020-03-19 cs.CL cs.LG
Building a Test Collection for Speech-Driven Web Retrieval
本文介绍了一个测试收集（基准数据）的检索系统驱动的口头查询。这个集合是在NTCIR-3网络检索任务的子任务中产生的，该任务是在TREC风格的评估研讨会中进行的。Web检索任务的搜索主题和文档集合分别用于生成口语查询和语音识别的语言模型。我们使用这个集合来评估我们的检索系统的性能。实验结果表明，（a）使用目标文档的语言建模和（b）在语音识别的词汇量的增加是有效的，在提高系统的性能。
2003-09-12 cs.CL
Articulatory information and Multiview Features for Large Vocabulary Continuous Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）；SRI International（SRI国际）；Apple Inc.（苹果公司）
本文探讨了在卷积深度神经网络（CNN）架构中使用多视图特征及其判别变换来进行连续大词汇量语音识别任务。在特征空间最大似然线性回归（fMLLR）变换之后使用梅尔滤波器组能量和感知激励的强制阻尼振荡器系数（DOC）特征，其被组合并作为多视图特征馈送到单个CNN声学模型。使用多视图特征表示证明显着减少字出错率（WERs）相比，单独的功能本身的使用。此外，当发音信息被用作融合的深度神经网络（DNN）和CNN声学模型的额外输入时，发现NIST 2000对话电话语音测试集的总机子集和呼叫中心子集（包含部分非本地口音语音）的WER进一步降低，在两种情况下，相对于基线，出错率降低了12%。这项工作表明，与发音信息相关联的多视图特征可以提高自发和非母语语音的语音识别鲁棒性。
2018-02-16 cs.CL cs.SD eess.AS
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition
Idiap Research Institute（伊迪亚普研究所）
与产生密集和实值响应的传统人工神经元相比，生物启发的尖峰神经元传输稀疏和二进制信息，这也可以实现节能。最近的研究表明，脉冲神经网络可以像标准的递归神经网络一样使用代理梯度方法进行训练。它们在语音命令识别任务中显示出了有希望的结果。使用相同的技术，我们表明，他们是可扩展的大词汇量连续语音识别，在那里他们能够取代LSTM的编码器只有轻微的性能损失。这表明它们可能适用于更多涉及的序列到序列任务。此外，与其经常性的非尖峰对应物相比，它们对梯度爆炸问题具有鲁棒性，而无需使用门。
2023-02-16 cs.CL cs.LG cs.NE
Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University（北京大学）
长短期记忆（LSTM）循环神经网络（RNN）已被证明在许多语音识别任务上具有最先进的性能，因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面，卷积神经网络（CNN）为深度前馈神经网络（FFNN）带来了显著的改进，因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络（CRNN）的网络结构。在提出的CRNN中，没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块，然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN，LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明，LSTM CRNN可以超过最先进的语音识别性能。
2016-10-11 cs.CL cs.NE
Exploring the Effect of Segmentation and Vocabulary Size on Speech Tokenization for Speech Language Models
The University of Tokyo（东京大学）；Keio University（.keio大学）；Graduate School of Information Science and Technology（信息科学与技术研究生院）；Faculty of Science and Technology（科学与技术学部）
本文研究语音标记化中分割宽度和聚类大小对语音语言模型的影响，发现适度粗粒度分割和较大聚类可提升零样本口语理解性能，并实现训练数据减半和运行时间降低70%。
2025-05-31 cs.CL cs.SD eess.AS
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
Phoneme Based Neural Transducer for Large Vocabulary Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
为了结合经典的和端到端的语音识别方法的优点，我们提出了一个简单的，新颖的和有竞争力的基于音素的神经换能器建模方法。比较了不同的对齐标签拓扑结构，提出了基于词尾的音素标签增强算法。利用音素的局部依赖性，我们采用了一个简化的神经网络结构和一个简单的集成与外部词级语言模型，以保持seq到seq建模的一致性。我们还提出了一个简单，稳定和有效的训练过程中使用逐帧交叉熵损失。一个语音上下文大小为1被证明是足够的最佳性能。提出了一种简化的定时采样方法，并对不同的解码方法进行了简要的比较。我们最好的模型的整体性能与TED-LIUM Release 2和Switchboard语料库的最新（SOTA）结果相当。
2021-04-20 cs.CL eess.AS
Few-shot learning with attention-based sequence-to-sequence models
Centre for Speech Technology Research（语音技术研究中心）
端到端的方法最近已经变得流行，作为简化语音识别系统的训练和部署的手段。然而，它们通常需要大量的数据才能在大词汇量任务中表现良好。为了使端到端的方法可用于更广泛的研究人员，我们探讨了在小词汇量的情况下使用端到端的方法的潜力，在小词汇量的情况下，可能会使用较小的数据集。小词汇量系统的一个显著缺点是难以将词汇量扩展到原始训练样本之外-因此我们还研究了每个新类仅使用少量示例来扩展词汇量的策略（少样本学习）。我们的研究结果表明，基于注意力的编码器-解码器在小词汇量关键词分类任务中可以与强大的基线竞争，在Tensorflow的Speech Commands数据集上达到97.5%的准确率。它也显示了可喜的成果，少样本学习问题，一个简单的策略，实现了68.8%的准确率，对新的关键字只有10个例子，每个新的类。这个分数上升到88.4%，有一个更大的100个例子。
2019-03-22 cs.CL
Extension of hidden markov model for recognizing large vocabulary of sign language
University of Tunis（突尼斯大学）
计算机要想以真正自然的方式与用户交互，还有很长的路要走。从用户的角度来看，与计算机交互的最自然的方式是通过语音和手势界面。虽然语音识别在过去十年中取得了重大进展，但手势识别一直落后。手语（SL）是最成熟的手势交流形式。因此，它们的自动分析是一个真正的挑战，有趣的是，这意味着它们的词汇和句法组织水平。处理手语的语句在自动自然语言处理（ANLP）领域中占据着重要的地位。在这项工作中，我们正在处理手语识别，特别是法国手语（FSL）。FSL有其自身的特殊性，如几个参数的不确定性，面部表情或动作的重要作用，以及适当的话语组织空间的使用。与语音识别不同，法语手语（FSL）事件既顺序发生，也同时发生。因此，FSL的计算处理比口语复杂得多。提出了一种基于隐马尔可夫模型（HMM）的识别方法，以降低识别复杂度.
2013-04-11 cs.CL
Semi-Supervised Model Training for Unbounded Conversational Speech Recognition
Marchex Inc.（Marchex公司）
对于会话式大词汇量连续语音识别（LVCSR）任务，通常使用多达约两千小时的音频来训练现有技术的模型。然而，标记的会话音频的收集是极其昂贵、费力且容易出错的。此外，像Fisher English（2004）或Switchboard（1992）这样的学术语料库不足以在会话语音的无界空间中以足够的精度训练模型。这些语料库也是陈旧的，由于过时的声学电话功能和快速发展的口语词汇和成语在过去的几十年。利用我们的未标记的电话数据集的巨大规模，我们提出了一种技术来构建一个现代的，高质量的会话语音训练语料库的顺序上的数以亿计的话语（或数万小时）的声学和语言模型训练。我们描述的数据汇集，选择和训练，评估我们更新的语音识别系统的测试语料库的7 K手动转录的话语的结果。我们显示相对字出错率（WER）减少{35%，19%}的{代理，呼叫者}话语在我们的种子模型和5%的绝对WER改善IBM沃森STT在这个会话语音任务。
2017-05-26 cs.CL
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University（西北工业大学）；Chongqing Changan Automobile Co., Ltd.（重庆长安汽车有限公司）
针对ASR中子词独立增强损害短语完整性的问题，提出基于动态词表预测与激活的短语级语境化ASR方法，引入偏置损失和置信度激活解码，在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
Sequence Discriminative Training for Deep Learning based Acoustic Keyword Spotting
Shanghai Jiao Tong University（上海交通大学）
语音识别是一个序列预测问题。除了采用各种深度学习方法进行帧级分类外，序列级判别训练已被证明是实现大词汇量连续语音识别（LVCSR）中最先进性能所不可或缺的。然而，关键词定位（KWS）作为最常见的语音识别任务之一，由于难以获得竞争序列假设，几乎只能受益于帧级深度学习。关于KWS的序列判别训练的少数研究限于固定词汇或基于LVCSR的方法，并且尚未与最先进的基于深度学习的KWS方法进行比较。在本文中，序列判别训练框架，提出了固定词汇和非限制性声学KWS。系统地研究了序列级生成模型和判别模型的序列判别训练。通过引入与单词无关的音素格或非关键字空白符号来构造竞争假设，提出了一种可行有效的序列判别训练方法。实验表明，与之前基于帧级深度学习的声学KWS方法相比，所提出的方法在固定词汇和不受限制的KWS任务中都获得了一致且显着的改进。
2018-08-02 cs.CL
Contextualized Automatic Speech Recognition with Dynamic Vocabulary
Honda Research Institute Japan Co., Ltd.（本田日本研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种动态词汇方法，将每个偏置短语作为单一词元加入推理过程，仅需扩展嵌入层和输出层，在英日数据集上将偏置短语WER降低3.1至4.9个百分点。
2024-08-30 cs.CL cs.SD eess.AS
End-to-End Attention-based Large Vocabulary Speech Recognition
当前许多最先进的大词汇量连续语音识别系统（LVCSR）是神经网络和隐马尔可夫模型（HRM）的混合。这些系统中的大多数包含处理声学建模、语言建模和序列解码的单独组件。我们研究了一种更直接的方法，其中HMM被替换为递归神经网络（RNN），直接在字符级别执行序列预测。输入特征和所需字符序列之间的对齐是通过RNN中内置的注意力机制自动学习的。对于每个预测的字符，注意力机制扫描输入序列并选择相关帧。我们提出了两种方法来加快这一操作：限制扫描到最有前途的帧的子集，并随着时间的推移，池中包含的信息在相邻的帧，从而减少源序列的长度。将n-gram语言模型集成到解码过程中会产生类似于其他基于HMM的RNN方法的识别精度。
2016-03-14 cs.AI cs.CL cs.LG
Unsupervised Topic Adaptation for Lecture Speech Retrieval
我们正在开发一个跨媒体的信息检索系统，用户可以通过提交文本查询来查看特定片段的讲座视频。为了产生文本索引，从讲座视频中提取音轨，并通过自动语音识别生成转录。在本文中，为了提高我们的检索系统的质量，我们广泛的调查适应声学和语言模型对语音识别的影响。我们执行基于MLLR的方法来适应声学模型。为了获得用于语言模型适应的语料库，我们使用目标讲座的教科书来搜索与讲座主题相关联的网页的Web集合。我们通过实验证明了我们的方法的有效性。
2004-07-10 cs.CL
Techniques for effective vocabulary selection
连续语音识别（CSR）系统的词汇量是决定其性能的重要因素。在本文中，我们提出了三个原则性的方法来选择一个特定领域的目标词汇量之间的权衡目标的词汇表（OOV）率和词汇量的大小。我们评估这些方法对一个特设的基线策略。结果以OOV率图的形式呈现，这些图针对每种技术的词汇量增加而绘制。
2003-06-04 cs.AI cs.CL
Deep-FSMN for Large Vocabulary Continuous Speech Recognition
Alibaba Inc.（阿里巴巴公司）；NELSLIP, USTC（中国科学技术大学NELSLIP）
在本文中，我们提出了一种改进的前馈顺序存储网络（FSMN）的结构，即深FSMN（DFSMN），通过在相邻层的存储块之间引入跳跃连接。这些跳跃连接使信息能够在不同的层之间流动，从而减轻了构建非常深的结构时的梯度消失问题。因此，DFSMN显著受益于这些跳跃连接和深结构。我们比较了DFSMN和BLSTM在有和没有较低帧速率（LFR）的情况下在几个大型语音识别任务（包括英语和汉语）上的性能。实验结果表明，DFSMN可以始终优于BLSTM与戏剧性的增益，特别是与LFR使用CD-Phone作为建模单元训练。在2000小时的Fisher（FSH）任务中，所提出的DFSMN可以通过纯粹使用交叉熵准则和使用3-gram语言模型解码来实现9.4%的字错误率，与BLSTM相比，其实现了1.5%的绝对改善。在一个20000小时的汉语识别任务中，LFR训练的DFSMN与LFR训练的BLSTM相比，可以实现超过20%的相对提高。此外，我们可以很容易地设计的前瞻滤波器顺序的DFSMN中的存储器块来控制实时应用的延迟。
2018-03-04 cs.CL cs.NE
OWSM-Biasing: Contextualizing Open Whisper-Style Speech Models for Automatic Speech Recognition with Dynamic Vocabulary
SB IntuitionsJapan（SB Intuitions日本）
本文提出将现有上下文偏置方法集成到冻结参数的 OWSM v3.1 中，以借助预训练语音基础模型知识改善罕见词识别，并在 LibriSpeech 上显著降低 B-WER、WER 和实时因子。
2025-06-11 cs.CL cs.SD eess.AS
Emphasizing Unseen Words: New Vocabulary Acquisition for End-to-End Speech Recognition
University of Hamburg（汉堡大学）；Zhejiang Lab（之江实验室）
由于人类语言的动态特性，自动语音识别（ASR）系统需要不断地获取新的词汇。词汇表外（OOV）单词，如趋势单词和新命名实体，给现代ASR系统带来了问题，这些系统需要长时间的训练来适应其大量的参数。不同于以往大多数研究集中在语言模型后处理，我们解决了这个问题的早期处理水平，并消除了偏见的声学建模，声学识别OOV字。我们建议使用文本到语音系统生成OOV单词，并重新调整损失，以鼓励神经网络更加关注OOV单词。具体来说，我们扩大了用于训练包含OOV单词的话语的神经网络参数的分类损失（话语级），或者当对合成音频微调先前训练的模型时，重新调整用于OOV单词的反向传播的梯度（单词级）。为了克服灾难性遗忘，我们还探索了损失重标度和模型正则化的结合，即L2正则化和弹性权重合并（EWC）。在LibriSpeech基准测试上的实验结果表明，与以往只使用EWC对合成音频进行微调的方法相比，本文提出的损失重缩放方法在单词出错率略有下降的情况下，能够显著提高召回率。此外，词级重缩放比话语级重缩放更稳定，并导致更高的召回率和准确率的OOV词识别。此外，我们提出的组合损失重新缩放和权重合并方法可以支持ASR系统的持续学习。
2023-02-21 cs.CL cs.SD eess.AS
A segmental framework for fully-unsupervised large-vocabulary speech recognition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Google, Inc.（谷歌公司）
零资源语音技术是一个不断发展的研究领域，其目的是在没有transmittance，词典或语言模型文本的情况下开发语音处理方法。早期的术语发现系统专注于识别语料库中孤立的重复模式，而最近的全覆盖系统试图将音频完全分割和聚类成类似单词的单元--有效地执行无监督的语音识别。本文介绍了第一次尝试，我们知道这样一个系统应用于大词汇量的多说话人数据。我们的系统使用贝叶斯建模框架与分段词表示：每个词段表示为一个固定的维度的声学嵌入，通过映射的特征帧序列到一个单一的嵌入向量。我们将我们的系统在英语和Xitsonga数据集上与最先进的基线进行比较，使用各种测量方法，包括单词出错率（通过将无监督输出映射到地面真实transmittance获得）。非常高的字出错率的报告--在70- 80%的顺序为发言者依赖和80- 95%的发言者无关的系统--突出了这项任务的难度。然而，在集群质量和分词指标方面，我们表明，通过实施一致的自上而下的分割，同时也使用自下而上的知识，从检测到的音节边界，单扬声器和多扬声器版本的系统优于一个纯粹的自下而上的单扬声器音节为基础的方法。我们还表明，所发现的集群可以通过使用无监督的自动编码器样的特征提取器来学习更好的帧级特征（在嵌入之前），从而减少说话者和性别的特定性。我们的系统发现的集群仍然不如那些无监督的长期发现系统纯，但提供更大的覆盖面。
2017-09-16 cs.CL cs.LG
LongFNT: Long-form Speech Recognition with Factorized Neural Transducer
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
传统的自动语音识别（ASR）系统通常只关注单个语音，而没有考虑到具有有用历史信息的长语音，这在实际应用中更加实用。在我们的初步实验中，简单地关注香草神经转换器模型的更长转录历史没有显示出太大的增益，因为预测网络不是纯语言模型。这促使我们利用因子化的神经转换器结构，包含一个真正的语言模型，词汇预测。我们提出了{LongFNT-Text}架构，该架构将词汇级别的长形式特征直接与词汇预测器的输出融合，然后将标记级别的长形式特征嵌入词汇预测器中，并使用预训练的上下文编码器RoBERTa进一步提高性能。此外，我们提出了{LongFNT}架构，通过扩展的长形式的语音到原始的语音输入，并取得了最佳的性能。在LibriSpeech和GigaSpeech语料库上验证了LongFNT方法的有效性，相对单词出错率~（WER）分别降低了19%和12%。
2022-11-17 cs.CL cs.SD eess.AS
Building DNN Acoustic Models for Large Vocabulary Speech Recognition
Stanford University（斯坦福大学）
深度神经网络（DNN）现在是几乎所有最先进的语音识别系统的核心组件。构建神经网络声学模型需要几个设计决策，包括网络架构、大小和训练损失函数。本文提供了一个实证调查DNN声学模型设计的哪些方面是最重要的语音识别系统的性能。我们报告DNN分类器的性能和最终的语音识别器的字出错率，并比较DNN使用几个指标来量化影响任务性能差异的因素。我们的第一组实验使用标准的Switchboard基准语料库，其中包含约300小时的会话电话语音。我们将标准DNN与卷积网络进行比较，并使用局部连接的未绑定神经网络进行声学建模。我们还通过结合Switchboard和Fisher语料库，在2,100小时的训练数据的语料库上构建系统。这个更大的语料库使我们能够更彻底地检查大型DNN模型的性能-参数比语音识别系统中通常使用的参数多十倍。我们的研究结果表明，相对简单的DNN架构和优化技术可以产生强大的结果。这些发现以及以前的工作有助于建立一套最佳实践，用于构建具有最大似然训练的DNN混合语音识别系统。我们在DNN优化方面的实验还可以作为一个案例研究，用于训练具有语音任务判别损失函数的DNN，以及更一般的DNN分类器。
2015-01-20 cs.CL cs.LG cs.NE
End-to-end Adaptation with Backpropagation through WFST for On-device Speech Recognition System
Sony Corporation（索尼公司）
设备上的DNN-HMM语音识别系统在存在各种可预测噪声的情况下有效地利用有限的词汇。在这种情况下，词汇和环境适应非常有效。在本文中，我们提出了一种新的方法，端到端（E2 E）的适应，它不仅调整声学模型（AM），但也加权有限状态传感器（WFST）。我们将预训练的WFST转换为可训练的神经网络，并通过与AM的E2 E联合训练使系统适应目标环境/词汇。我们用前向-后向神经网络计算复制Viterbi解码，这类似于递归神经网络（RNN）。通过合并输出分数序列，获得每个话语的词汇后验，并用于判别损失计算。使用2- 10小时的英语/日语自适应数据集的实验表明，只有WFST和只有AM的微调都相当于一个国家的最先进的自适应方法，和E2 E联合训练的两个组件实现了最佳的识别性能。我们还适应每个语言系统的其他语言使用的适应数据，结果表明，所提出的方法也适用于语言适应。
2019-06-24 cs.CL cs.SD eess.AS
Noise Robust IOA/CAS Speech Separation and Recognition System For The Third 'CHIME' Challenge
Chinese Academy of Sciences（中国科学院）
本文介绍了第三个“CHiME”语音分离和识别的挑战，包括前端信号处理和后端语音识别的贡献。在前端，设计了多通道维纳滤波器（MWF）来实现背景噪声的抑制。与传统的MWF不同，该方法根据期望的降噪水平，在降噪和目标信号失真之间建立了最优的参数。在后端，利用几种技术来提高有噪声的自动语音识别（ASR）性能，包括深度神经网络（DNN）、卷积神经网络（CNN）和使用中等词汇量的长短期记忆（LSTM）、使用大词汇量语言模型有限状态转换器的Lattice重新评分以及ROVER方案。实验结果表明，所提出的前端和后端相结合的系统可以有效地提高ASR性能。
2015-09-21 cs.CL cs.SD
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group（微软语音组）
神经传感器由于其自然的流式传输能力，成为目前最流行的语音识别端到端模型。然而，它是具有挑战性的，以适应它与纯文本数据。因子化神经传感器（FNT）模型的提出，以减轻这个问题。与标准神经传感器模型相比，FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是：在训练过程中增加CTC准则，在自适应过程中增加KL发散损失，使用预训练的语言模型来播种词汇预测器，以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外，使用词汇预测器的n-gram插值极大地提高了自适应速度，具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
University of Michigan（密歇根大学）；AWS AI Labs（AWS AI实验室）
本文提出SpeechRAG框架，通过微调语音编码器对齐文本与语音嵌入空间，实现无需ASR的直接语音检索，并利用语音语言模型以音频片段为条件进行生成，在ASR错误较高时优于传统级联文本方法。
2025-01-03 cs.AI cs.CL eess.AS
Massive Open-Vocabulary Keyword Spotting
Priberam Labs（Priberam实验室）；Instituto Superior Técnico（理工学院）；Instituto de Telecomunicações（电信研究所）
提出一种内存占用更小的开放词汇关键词识别系统，无需微调即可处理大规模数据库，在未见语言中达到与未压缩方案相当的实体召回率。
2026-06-11 cs.CL cs.LG cs.SD
INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval
National Taiwan University（台湾大学）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（台湾大学人工智能卓越研究中心）
研究针对现有语音检索系统无法适配多样用户意图的问题，构建首个指令感知语音检索基准INSPIRE，评估四类检索范式，发现当前无方法能稳健处理所有检索意图，凸显统一架构的必要性。
2026-08-18 cs.CL cs.SD eess.AS
Phonologically Informed Tokenization for German Speech Recognition: A Cross-Domain Study
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）
本研究对比三类分词器在wav2vec 2.0-CTC模型上的德语跨域语音识别表现，发现分词器性能随词汇量和分布偏移变化，无单一通用最优解。
2026-10-09 cs.CL cs.LG
Attention-Based End-to-End Speech Recognition on Voice Search
Northwestern Polytechnical University（西北工业大学）；Xiaomi Inc.（小米公司）
最近，人们对端到端语音识别越来越感兴趣，端到端语音识别直接将语音转录为文本，而无需任何预定义的对齐。在本文中，我们探讨了使用基于注意的编码器-解码器模型的汉语语音识别的语音搜索任务。由于汉语的正字法、大词汇量和注意力模型的条件依赖性，以往的研究表明，将基于注意力的编码-解码器应用于汉语语音识别是相当困难的。在本文中，我们使用字符嵌入来处理大词汇量。有几个技巧用于有效的模型训练，包括L2正则化，高斯权重噪声和跳帧。我们比较了两种注意力机制，并在注意力模型中使用注意力平滑来覆盖长上下文。总的来说，这些技巧使我们最终在MiTV语音搜索数据集上实现了3.58%的字符出错率（CER）和7.43%的句子出错率（SER）。结合三元组语言模型，CER和SER分别达到2.81%和5.77%。
2018-02-13 cs.CL cs.SD
Unsupervised and Efficient Vocabulary Expansion for Recurrent Neural Network Language Models in ASR
Nanyang Technological University（南洋理工大学）
在自动语音识别（ASR）系统中，循环神经网络语言模型（RNNLM）被用来对词格或N-最佳假设列表进行重新核。由于昂贵的训练，RNNLM的词汇集只容纳最频繁单词的小短列表。如果输入语音包含许多候选列表外（OOS）单词，则这会导致次优性能。一个有效的解决方案是增加入围名单的大小并重新训练整个网络，这是非常低效的。因此，我们提出了一种有效的方法来扩展预训练的RNNLM的候选列表集，而不会产生昂贵的再训练和使用额外的训练数据。我们的方法利用了RNNLM的结构，可以将其解耦为三个部分：输入投影层，中间层和输出投影层。具体来说，我们的方法扩展了投影层中的词嵌入矩阵，并保持中间层不变。在这种方法中，只要OOS单词在两个嵌入空间中正确建模，预训练的RNNLM的功能就可以正确保持。我们建议通过借用适当的候选词的语言知识来建模OOS词。此外，我们建议生成OOS单词列表，通过自动从ASR输出中提取它们来以无监督的方式扩展词汇。
2018-06-27 cs.CL eess.AS
Talk, Don't Write: A Study of Direct Speech-Based Image Retrieval
The University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
基于语音的图像检索已经被研究作为联合表示学习的代理，通常不强调检索本身。因此，目前还不清楚基于语音的检索在实践中的效果如何--无论是在绝对意义上，还是与将自动语音识别（ASR）与强大的文本编码器相结合的替代策略相比。在这项工作中，我们广泛研究和扩展编码器架构，训练方法（包括单峰和多峰预训练）和其他因素的选择。我们的实验涵盖了三个数据集的不同类型的语音：Flickr音频，地点音频和本地化叙事。我们最好的模型配置实现了比现有技术更大的增益，例如，Flickr Audio的一次召回率从21.8%提高到33.2%，Places Audio的一次召回率从27.6%提高到53.4%。我们还展示了我们最好的基于语音的模型可以匹配或超过级联ASR到文本编码时，语音是自发的，重音，或以其他方式难以自动转录。
2021-06-15 cs.CL cs.CV cs.IR
RASR2: The RWTH ASR Toolkit for Generic Sequence-to-sequence Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
本文提出用C++实现的研究导向型通用S2S解码器RASR2，支持多种模型与架构，基于广义搜索框架为开放和封闭词汇场景提供高效解码，并在switchboard和Librispeech语料库上进行了广泛评估。
2023-05-28 cs.CL cs.SD eess.AS
MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models
Toyota Technological Institute at Chicago（丰田技术研究所（芝加哥））
本文提出MoshiRAG，通过异步框架结合紧凑接口与选择性检索，提升全双工语音模型的事实性，同时保持交互性。
2026-05-12 cs.CL eess.AS
Effectiveness of self-supervised pre-training for speech recognition
Facebook AI Research（Facebook AI研究院）
我们比较了自我监督的表示学习算法，无论是显式地隐藏音频数据或学习表示没有量化。我们发现前者更准确，因为它通过vq-wav 2 vec [1]构建了一个良好的数据词汇表，以便在后续的BERT训练中学习有效的表示。与以前的工作不同，我们使用连接主义时间分类（CTC）损失直接微调转录语音的预训练BERT模型，而不是将表示输入特定于任务的模型。我们还提出了一种直接从连续音频数据中学习的BERT风格模型，并将原始音频的预训练与频谱特征进行了比较。使用vq-wav 2 vec词汇表对10小时的标记Librisepeech数据微调BERT模型几乎与在testclean上训练100小时标记数据的最知名报告系统一样好，同时在test-other上实现了25%的WER减少。当仅使用10分钟的标记数据时，其他测试的WER为25.2，清洁测试的WER为16.3。这表明，自我监督可以使语音识别系统在几乎为零的转录数据量上进行训练。
2020-05-18 cs.CL cs.LG
Radio2Text: Streaming Speech Recognition Using mmWave Radio Signals
The University of Hong Kong（香港大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）
本文提出首个基于毫米波信号的大词汇量流式 ASR 系统 Radio2Text，通过 Guidance Initialization 和 cross-modal KD 提升识别性能，在逾13,000词词汇上达到5.7%字符错误率与9.4%词错误率。
2023-08-16 cs.CL cs.HC cs.SD
Retrieval-Augmented Speech Recognition Approach for Domain Challenges
National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））
针对语音识别领域不匹配且难获取领域数据的问题，提出基于LLM的检索增强语音识别方法，推理时引入领域文本，在CSJ数据集上取得SOTA结果。
2025-02-21 cs.CL cs.SD eess.AS
PCOV-KWS: Multi-task Learning for Personalized Customizable Open Vocabulary Keyword Spotting
Zhejiang University（浙江大学）
本文提出PCOV-KWS框架，通过轻量网络同时实现关键词检测和说话人验证，采用非softmax损失和多任务损失加权策略，提升个性化关键词检测性能，减少参数和计算资源消耗。
2026-03-05 cs.AI cs.CL cs.SD
A cost minimization approach to fix the vocabulary size in a tokenizer for an End-to-End ASR system
TCS Research（TCS研究中心）
本文针对端到端ASR系统中分词器词表大小缺乏明确依据的问题，提出将分词过程视为黑盒并构建代价函数以最小化代价，从而选择最优token数量，实验证明该方法在LibriSpeech 100小时数据集上有效提升了系统性能。
2024-04-29 cs.CL cs.SD eess.AS
Personalized Speech recognition on mobile devices
Google Inc.（谷歌公司）
我们描述了一个大词汇量的语音识别系统，它是准确的，具有低延迟，但有一个足够小的内存和计算足迹运行速度比Nexus 5 Android智能手机上的实时。我们采用了一个量化的长短期记忆（LSTM）声学模型，用连接主义时间分类（CTC）训练直接预测音素目标，并使用基于SVD的压缩方案进一步减少其内存占用。此外，我们最大限度地减少我们的内存足迹，使用一个单一的语言模型的听写和语音命令域，使用贝叶斯插值构造。最后，为了正确处理设备特定的信息，如专有名称和其他上下文相关的信息，我们将词汇项注入解码器图，并在运行中偏置语言模型。我们的系统实现了13.5%的字出错率的开放式听写任务，运行速度的中位数比实时快7倍。
2016-03-11 cs.CL cs.LG cs.SD
To Trust or Not to Trust: Retrieval-Augmented Fact Checking in Speech
IISER Bhopal（印度科学教育与研究学院博帕尔分校）；King’s College London（伦敦国王学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对语音错误信息，提出VeriSpeak基准，发现文本到语音存在模态差距，检索加显式推理可提升语音事实核查准确率至86.1%。
2026-09-25 cs.AI cs.CL cs.LG
Oído: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
Lokutor (Hashing Works, S.L.L.)（洛库托（哈希工坊有限责任公司））
本研究提出无需神经加速器的Oído推理引擎，在ESP32-S3微控制器上实现开放词汇语音识别，其性能优于厂商自带识别器及Whisper等模型，代码与模型已开源。
2026-11-04 cs.CL cs.SD eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
High-precision medical speech recognition through synthetic data and semantic correction: UNITED-MEDASR
DataLabs, United We Care（United We Care数据实验室）
针对临床领域ASR系统识别专业医疗词汇和满足精度要求的挑战，提出整合合成数据生成、微调及语义增强技术的United-MedASR架构，构建专用医疗词汇表并优化模型，在多数据集上建立新性能基准且具备跨领域适应性。
2024-11-24 cs.CL cs.SD eess.AS
