On Language Model Integration for RNN Transducer based Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
外部语言模型（LM）和RNN-转换器（RNN-T）的隐式学习的内部LM（ILM）之间的不匹配可能限制LM集成（诸如简单的浅融合）的性能。贝叶斯解释建议在ILM校正之前删除该序列。在这项工作中，我们研究了在一个共同的RNN-T框架中制定的各种基于ILM校正的LM集成方法。我们对ILM校正性能提高的两个主要原因进行了解码解释，并通过详细分析进一步进行了实验验证。我们还提出了一个精确的ILM训练框架，通过扩展混合自回归传感器中给出的证明，这使得其他ILM方法的理论依据。分别对Librispeech和TED-LIUM Release 2语料库的域内和跨域评价进行了系统的比较。我们提出的精确ILM训练可以进一步提高最佳ILM方法。
2022-02-16 cs.CL eess.AS
WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition
Sogou Inc.（搜狗公司）
近年来，基于注意力的编码器-解码器（AED）端到端（E2 E）模型在自动语音识别（ASR）领域引起了越来越多的关注。然而，AED模型在商业应用中部署时仍然具有缺点。自回归束搜索解码使得其对于高并发应用是低效的。集成外部单词级语言模型也不方便。最重要的是，AED模型由于全局注意力机制而难以进行流识别。在本文中，我们提出了一个新的框架，即WNARS，使用混合CTC注意AED模型和加权有限状态传感器（WFST）来解决这些问题。我们从自回归束搜索切换到CTC分支解码，CTC分支解码以块方式使用WFST执行第一遍解码。解码器分支然后对所生成的假设非自回归地执行第二遍重新评分。在AISHELL-1任务上，我们的WNARS实现了5.22%的字符出错率和640 ms的延迟，据我们所知，这是在线ASR的最先进的性能。在我们的10，000小时普通话任务上的进一步实验表明，与强大的TDNN-BLSTM无格MMI基线相比，所提出的方法在50%的延迟下实现了20%以上的改进。
2021-04-21 cs.CL cs.SD eess.AS
Factorized Blank Thresholding for Improved Runtime Efficiency of Neural Transducers
Meta
我们展示了RNN-T的输出分布如何在不损失准确性的情况下显着降低设备上ASR推理的计算成本和功耗。随着用于设备上ASR的RNN-T等神经传感器类型模型的普及，优化RNN-T的运行时效率非常有趣。虽然以前的工作主要集中在RNN-T的声学编码器和预测器的优化上，但本文将注意力集中在joiner上。我们表明，尽管只是RNN-T的一小部分，但joiner对整个模型的运行时效率有很大的影响。我们建议利用HAT风格的joiner因式分解的目的跳过更昂贵的非空白计算时，空白概率超过一定的阈值。由于可以非常有效地计算空白概率，并且RNN-T输出以空白为主，因此我们提出的方法可以使解码速度提高26-30%，设备功耗降低43-53%，同时不会导致准确性下降，并且实现相对简单。
2023-03-04 cs.SD eess.AS
Spelling Correction through Rewriting of Non-Autoregressive ASR Lattices
Google, Inc（谷歌公司）
提出一种基于FST的CTC词格重写拼写纠错技术，直接从词片段进行G2P转换，无需重训ASR模型，在上下文实体测试集上实现15.2%的SER相对降低。
2024-09-24 cs.CL cs.SD eess.AS
Acoustic-aware Non-autoregressive Spell Correction with Mask Sample Decoding
Microsoft（微软）
掩蔽语言模型（MLM）已被广泛用于理解任务，例如BERT。最近，MLM也被用于生成任务。在语音识别中，最常用的方法是利用Mask-CTC进行非自回归语音识别。在本文中，我们更进一步，并探讨了使用MLM作为一个非自回归拼写校正（SC）模型的transformer-transducer（TT），表示为MLM-SC的可能性。我们的初步实验表明，MLM-SC提供没有改善Librispeech数据。问题可能是建模单位（词块）的选择和英语数据的TT置信度得分的不准确性。为了解决这个问题，我们提出了一个掩码样本解码（MS-解码）方法，其中被屏蔽的令牌可以选择被屏蔽或不被屏蔽，以补偿不准确性。因此，我们将流TT的WER从7.6%降低到6.5%，Librispeech测试其他数据和CER从7.3%降低到6.1%，分别在Aishell测试数据。
2022-10-16 cs.SD eess.AS
4D ASR: Joint modeling of CTC, Attention, Transducer, and Mask-Predict decoders
Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文提出 CTC、注意力、RNN-T 与 mask-predict 四解码器联合建模（4D），通过联合训练和单遍联合解码提升 ASR 鲁棒性与性能，并支持按应用场景灵活切换。
2023-05-29 cs.CL cs.SD eess.AS
Deliberation of Streaming RNN-Transducer by Non-autoregressive Decoding
Google, Inc.（谷歌公司）
我们建议考虑流RNN-T模型与先前提出的Align-Refine非自回归解码方法及其改进版本的假设对齐。该方法执行几个细化步骤，其中每个步骤共享一个Transformer解码器，该解码器关注文本特征（从对齐中提取）和音频特征，并输出完整的更新对齐。Transformer解码器用CTC损失来训练，这有助于并行贪心解码，并且执行全上下文注意以捕获标签依赖性。我们通过引入级联编码器来改进Align-Refine，该编码器在细化之前捕获更多的音频上下文，并且对齐增强强制学习标签依赖性。我们表明，在流RNN-T模型的假设对齐的条件下，我们的方法获得了比第一遍RNN-T更准确的识别结果，只有少量的模型参数。
2021-12-01 cs.CL cs.LG eess.AS
Citrinet: Closing the Gap between Non-Autoregressive and Autoregressive End-to-End Models for Automatic Speech Recognition
我们提出了Citrinet -一个新的端到端的卷积连接时间分类（CTC）的自动语音识别（ASR）模型。Citrinet是一种深度残差神经模型，它使用1D时间通道可分离卷积，结合子字编码和挤压和激励。由此产生的架构显着减少了非自回归和序列到序列和换能器模型之间的差距。我们在LibriSpeech，TED-LIUM 2，AISHELL-1和多语言LibriSpeech（MLS）英语语音数据集上评估Citrinet。Citrinet在这些数据集上的准确性接近最好的自回归传感器模型。
2021-04-05 eess.AS
TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech Recognition
NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所自然语言处理与模式识别实验室（NLPR））；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
自回归（AR）模型在语音识别中取得了很大的成功，如基于注意力的编码器-解码器模型和RNN变换器模型。它们根据先前的令牌和声学编码状态来预测输出序列，这在GPU上是低效的。非自回归（NAR）模型可以摆脱输出令牌之间的时间依赖性，并在至少一个步骤中预测整个输出令牌。然而，NAR模型仍然面临两个主要问题。一方面，NAR模型与先进的AR模型在性能上仍有很大差距。另一方面，大多数NAR模型很难进行训练和收敛。为了解决这两个问题，我们提出了一个新的模型命名为两步非自回归Transformer（TSNAT），提高了性能和加速收敛的NAR模型通过学习先验知识的参数共享AR模型。在推理过程中引入了两阶段方法，大大提高了模型的性能。所有的实验都是在公开的汉语普通话数据集ASIEHLL-1上进行的。结果表明，TSNAT可以实现与AR模型竞争的性能，并优于许多复杂的NAR模型。
2021-04-04 cs.CL eess.AS
JEIT: Joint End-to-End Model and Internal Language Model Training for Speech Recognition
Google LLC.（谷歌有限责任公司）
本文提出了一种端到端（E2 E）模型和内部语言模型（ILM）联合训练方法JEIT，在E2 E训练过程中将大规模不成对文本注入ILM，提高了稀有词语音识别的性能。使用JEIT，E2 E模型计算音频-转录本对的E2 E损失，而其ILM估计未配对文本的交叉熵损失。E2 E模型被训练以最小化E2 E和ILM损失的加权和。在JEIT过程中，ILM从不成对的文本中吸收知识，而E2 E训练作为正则化。与ILM自适应方法不同，JEIT不需要单独的自适应步骤，并且避免了对ILM的Kullback-Leibler发散正则化的需要。我们还表明，模块化混合自回归传感器（MHAT）的JEIT框架中的性能优于HAT，并且在ILM适应过程中比HAT更鲁棒。为了突破不成对文本注入的限制，我们进一步提出了一种组合JEIT和JOIST训练（CJJT），它受益于模态匹配，编码器文本注入和ILM训练。JEIT和CJJT都可以促进更有效的LM融合。使用100 B未配对句子，JEIT/CJJT将罕见词识别准确率提高了16.4%，而不是在没有未配对文本的情况下训练的模型。
2023-02-16 cs.AI cs.CL cs.LG
Global Normalization for Streaming Speech Recognition in a Modular Framework
Google Research（谷歌研究院）
我们引入了全局归一化自回归转换器（GNAT）来解决流语音识别中的标签偏差问题。我们的解决方案承认一个易于处理的精确计算的分母的序列级规范化。通过理论和实证结果，我们证明，通过切换到一个全球标准化的模型，流和非流语音识别模型之间的单词出错率差距可以大大减少（超过50%的Librispeech数据集）。这个模型是在一个模块化的框架，其中包括所有常见的神经语音识别模型。该框架的模块化使得能够对建模选择和新模型的创建进行受控比较。
2022-05-26 cs.AI cs.CL cs.LG
Investigating Methods to Improve Language Model Integration for Attention-based Encoder-Decoder ASR Models
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
基于注意力的编码器-解码器（AED）模型从训练transmits学习隐式内部语言模型（ILM）。与在更多未配对文本上训练的外部LM集成通常会带来更好的性能。混合自回归换能器（HAT）中的贝叶斯解释建议除以判别声学模型的先验，其对应于该隐式LM，类似于混合隐马尔可夫模型方法。隐式LM不能有效地计算在一般情况下，目前还不清楚什么是最好的方法来估计it.In这项工作中，我们比较不同的方法从文献中，并提出了几种新的方法来估计ILM直接从AED模型。我们提出的方法优于所有以前的方法。我们还研究了其他抑制ILM的方法，主要是通过降低AED模型的容量，限制标签上下文，以及通过训练AED模型和预先存在的LM。
2021-06-17 cs.CL cs.SD eess.AS
Stateful Conformer with Cache-based Inference for Streaming Automatic Speech Recognition
NVIDIA（英伟达）
本文提出一种基于FastConformer的流式语音识别模型，通过约束上下文和引入激活缓存机制消除训练与推理差异，并采用共享编码器的混合CTC/RNNT架构，在LibriSpeech和多领域数据集上以更低延迟和推理时间实现更高准确率，且单模型可支持多种延迟。
2024-05-02 cs.CL eess.AS
