On the Relation between Internal Language Model and Sequence Discriminative Training for Neural Transducers
RWTH Aachen University（亚琛工业大学）；Meta
该研究从理论和实证层面揭示神经转录器的序列判别训练与内部语言模型（ILM）相减的强相关性，解释二者作用机制，为语音识别模型优化提供理论参考。
2024-04-13 cs.CL cs.LG cs.SD
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation（NTT公司）
本文提出内部声学模型训练策略和双空白阈值方法，通过联合训练HAT与IAM同步发出空白并跳过非空白计算，在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
An Empirical Study of Language Model Integration for Transducer based Speech Recognition
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Meituan（美团）
在端到端RNN-Transducer（RNN-T）中利用具有外部语言模型（ELM）的纯文本数据进行语音识别具有挑战性。最近，已经开发了诸如密度比（DR）和内部语言模型估计（ILME）的一类方法，其性能优于经典的浅融合（SF）方法。这些方法背后的基本思想是，RNN-T后验应该首先减去隐式学习的内部语言模型（ILM）先验，以便整合ELM。虽然最近的研究表明，RNN-T只学习一些低阶语言模型信息，但DR方法使用经过良好训练的具有完整上下文的神经语言模型，这可能不适合于ILM的估计，并降低了集成性能。在DR方法的基础上，提出了一种用低阶弱语言模型代替估计的低阶密度比方法（LODR）。本文在英语LibriSpeech & Tedlings-2和汉语WenetSpeech & AISHELL-1数据集上进行了大量的域内和跨域实验。它表明，LODR一贯优于SF在所有的任务，而执行一般接近ILME和优于DR在大多数测试。
2022-08-03 cs.CL cs.LG eess.AS
Investigating Methods to Improve Language Model Integration for Attention-based Encoder-Decoder ASR Models
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
基于注意力的编码器-解码器（AED）模型从训练transmits学习隐式内部语言模型（ILM）。与在更多未配对文本上训练的外部LM集成通常会带来更好的性能。混合自回归换能器（HAT）中的贝叶斯解释建议除以判别声学模型的先验，其对应于该隐式LM，类似于混合隐马尔可夫模型方法。隐式LM不能有效地计算在一般情况下，目前还不清楚什么是最好的方法来估计it.In这项工作中，我们比较不同的方法从文献中，并提出了几种新的方法来估计ILM直接从AED模型。我们提出的方法优于所有以前的方法。我们还研究了其他抑制ILM的方法，主要是通过降低AED模型的容量，限制标签上下文，以及通过训练AED模型和预先存在的LM。
2021-06-17 cs.CL cs.SD eess.AS
Hybrid Autoregressive Transducer (hat)
Google（谷歌公司）
本文提出并评估了混合自回归换能器（HAT）模型，时间同步encoderdecoder模型，保留了传统的自动语音识别系统的模块化。HAT模型提供了一种衡量内部语言模型质量的方法，可以用来决定使用外部语言模型进行推理是否有益。本文还提出了HAT模型的有限上下文版本，它解决了暴露偏差问题，并显着简化了整体训练和推理。我们评估我们提出的模型上的一个大规模的语音搜索任务。我们的实验表明，WER显着改善相比，国家的最先进的方法。
2020-03-12 cs.CL cs.LG cs.SD
Exploring Neural Transducers for End-to-End Speech Recognition
Baidu Silicon Valley AI Lab（百度硅谷人工智能实验室）
在这项工作中，我们进行了CTC，RNN传感器，和基于注意力的Seq 2Seq模型之间的经验比较，用于端到端的语音识别。我们表明，在没有任何语言模型的情况下，Seq 2Seq和RNN-Transducer模型在流行的Hub 5 '00基准测试中的表现都优于具有语言模型的最佳CTC模型。在我们内部的多样化数据集上，这些趋势仍在继续-在束搜索之后，使用语言模型重新评分的RNNTransducer模型优于我们最好的CTC模型。这些结果简化了语音识别流水线，使得解码现在可以纯粹地表示为神经网络操作。我们还研究了编码器架构的选择如何影响这三种模型的性能-当所有编码器层都只向前时，以及当编码器对输入表示进行下采样时。
2017-07-24 cs.CL cs.NE
On Minimum Word Error Rate Training of the Hybrid Autoregressive Transducer
Microsoft Corp.（微软公司）
混合自回归转换器（HAT）是最近提出的一种端到端声学模型，它扩展了标准的递归神经网络转换器（RNN-T），用于外部语言模型（LM）融合。在HAT中，使用两个单独的概率分布来估计空白概率和标签概率，这为内部LM分数估计提供了更准确的解决方案，因此在与外部LM组合时效果更好。以前的工作主要集中在负对数似然损失的HAT模型训练，而在本文中，我们研究了HAT的最小字出错率（MWER）训练-一个标准，更接近于语音识别的评价指标，并已成功地应用于其他类型的端到端模型，如序列到序列（S2 S）和RNN-T模型。从大约30，000小时的训练数据的实验中，我们表明MWER训练可以提高HAT模型的准确性，同时，提高模型对解码超参数的鲁棒性，如长度归一化和解码波束。
2021-03-26 cs.CL eess.AS
Adaptive Discounting of Implicit Language Models in RNN-Transducers
Indian Institute of Technology Bombay（印度理工学院孟买分校）；IBM Research（IBM研究院）
RNN-Transducer（RNN-T）模型已经成为流媒体端到端ASR系统的同义词。虽然它们在许多评估类别上具有竞争力，但稀有词对RNN-T模型构成了严峻的挑战。对稀有词的性能下降的一个主要原因是RNN-Ts内部的语言模型（LM）可能变得过于自信，并导致与潜在语音在声学上不一致的幻觉预测。为了解决这个问题，我们提出了一种轻量级的自适应LM折扣技术AdaptLMD，它可以与任何RNN-T架构一起使用，而不需要任何外部资源或额外的参数。AdaptLMD使用双管齐下的方法：1）随机屏蔽预测网络输出，以鼓励RNN-T不要过度依赖其输出。2)基于最近预测的令牌的稀有性以及ILM和隐式声学模型（IAM）分数之间的差异，动态选择何时对隐式LM（ILM）进行折扣。将AdaptLMD与具有竞争力的RNN-T基线进行比较，我们在会话，代码混合的印地语-英语ASR任务中分别获得了总体WER和稀有词PER的4%和14%的相对降低。
2022-02-21 cs.CL cs.LG
Internal Language Model Training for Domain-Adaptive End-to-End Speech Recognition
Microsoft Corporation（微软公司）
使用内部语言模型估计（ILME）方法可以显著提高外部语言模型（LM）与现有端到端（E2 E）自动语音识别（ASR）系统集成的功效。在该方法中，在推断期间，从通过用外部LM分数内插E2 E分数获得的分数中减去内部LM分数。为了改进基于ILME的推理，我们提出了一种内部LM训练（ILMT）方法，通过仅更新影响内部LM估计的E2 E模型组件来最小化额外的内部LM损失。ILMT鼓励E2 E模型在其现有组件内形成独立的LM，而不会牺牲ASR的准确性。在ILMT之后，具有匹配的训练和推理标准的更加模块化的E2 E模型能够更彻底地消除源域内部LM，因此导致目标域外部LM的更有效的集成。使用30 K小时训练的递归神经网络传感器和基于注意力的编码器-解码器模型进行实验，ILMT与基于ILME的推理相比，在域外LibriSpeech和域内Microsoft生产测试集上，使用Shallow Fusion的标准E2 E训练分别实现了高达31.5%和11.4%的相对字错误率降低。
2021-04-22 cs.AI cs.CL cs.LG
Revisiting ASR Error Correction with Specialized Models
Apple（苹果公司）；Google（谷歌）
本文提出基于紧凑seq2seq模型的语音识别纠错方法，通过合成语料训练，实现更高效的纠错性能，优于大型语言模型并在多种ASR架构和领域中表现优异。
2026-03-16 cs.CL cs.LG cs.SD
Label-Context-Dependent Internal Language Model Estimation for CTC
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
本文研究CTC隐式学习的上下文相关内部语言模型，提出基于知识蒸馏的标签级估计与正则化方法，在跨域评估中词错误率相对改善超13%。
2025-06-06 cs.CL cs.LG cs.SD
The Anatomy of the CTC Oracle Gap: Acoustic Exhaustion and Linguistic Recovery
Faculty of Computer Science, HSE University（高等经济学院计算机科学系）
本文研究 CTC 内部评分在 N-best 假设选择中的局限性，发现声学表示区分能力饱和，而通过 MBR 解码引入外部语言信息可突破瓶颈，在多个数据集上显著降低词错误率。
2026-06-23 cs.CL cs.LG
Internal Language Model Estimation for Domain-Adaptive End-to-End Speech Recognition
Microsoft Corporation（微软公司）
在没有明确划分声学模型和语言模型的端到端（E2 E）自动语音识别（ASR）中，外部语言模型（LM）的集成仍然是一个具有挑战性的任务。在这项工作中，我们提出了一种内部LM估计（ILME）方法，以促进外部LM与所有预先存在的E2 E模型的更有效集成，而无需额外的模型训练，包括最流行的递归神经网络转换器（RNN-T）和基于注意力的编码器-解码器（AED）模型。使用音频-转录对进行训练，E2 E模型隐式地学习内部LM，该LM表征源域中的训练数据。使用ILME，估计E2 E模型的内部LM评分，并从E2 E模型和外部LM评分之间的对数线性插值中减去。当消除其声学分量时，内部LM分数近似为E2 E模型的输出。ILME可以缓解训练和测试之间的域不匹配，或改善多域E2 E ASR。ILME使用30 K小时训练的RNN-T和AED模型进行实验，在域外LibriSpeech和域内Microsoft生产测试集上，从Shallow Fusion分别实现了高达15.5%和6.8%的相对单词错误率降低。
2020-11-03 cs.CL cs.LG cs.SD
Internal Language Model Adaptation with Text-Only Data for End-to-End Speech Recognition
Microsoft Corporation（微软公司）；Microsoft Research Asia（微软亚洲研究院）
端到端（E2 E）模型的纯文本自适应仍然是自动语音识别（ASR）的一项具有挑战性的任务。基于语言模型（LM）融合的方法在推理期间需要额外的外部LM，从而显著增加了计算成本。为了克服这一点，我们提出了一个内部LM适应（ILMA）的E2 E模型使用纯文本数据。通过使用音频-转录对进行训练，E2 E模型隐式地学习内部LM，该内部LM表征令牌序列概率，该令牌序列概率在将编码器贡献归零之后由E2 E模型输出近似。在ILMA期间，我们微调内部LM，即，E2 E组件不包括编码器，以最小化交叉熵损失。为了使ILMA有效，除了标准E2 E损耗之外，还必须用内部LM损耗来训练E2 E模型。此外，我们建议通过最小化自适应和非自适应内部LM的输出分布之间的Kullback-Leibler发散来正则化ILMA。当我们只更新联合网络的最后一个线性层时，ILMA是最有效的。ILMA实现了E2 E模型的快速文本自适应，而不会增加运行时的计算成本。实验与30千小时训练的Transformer传感器模型，ILMA实现了高达34.9%的相对字出错率减少从不适应的基线。
2022-06-26 cs.AI cs.CL cs.LG
JEIT: Joint End-to-End Model and Internal Language Model Training for Speech Recognition
Google LLC.（谷歌有限责任公司）
本文提出了一种端到端（E2 E）模型和内部语言模型（ILM）联合训练方法JEIT，在E2 E训练过程中将大规模不成对文本注入ILM，提高了稀有词语音识别的性能。使用JEIT，E2 E模型计算音频-转录本对的E2 E损失，而其ILM估计未配对文本的交叉熵损失。E2 E模型被训练以最小化E2 E和ILM损失的加权和。在JEIT过程中，ILM从不成对的文本中吸收知识，而E2 E训练作为正则化。与ILM自适应方法不同，JEIT不需要单独的自适应步骤，并且避免了对ILM的Kullback-Leibler发散正则化的需要。我们还表明，模块化混合自回归传感器（MHAT）的JEIT框架中的性能优于HAT，并且在ILM适应过程中比HAT更鲁棒。为了突破不成对文本注入的限制，我们进一步提出了一种组合JEIT和JOIST训练（CJJT），它受益于模态匹配，编码器文本注入和ILM训练。JEIT和CJJT都可以促进更有效的LM融合。使用100 B未配对句子，JEIT/CJJT将罕见词识别准确率提高了16.4%，而不是在没有未配对文本的情况下训练的模型。
2023-02-16 cs.AI cs.CL cs.LG
Minimum Word Error Rate Training with Language Model Fusion for End-to-End Speech Recognition
Microsoft Corporation（微软公司）
将外部语言模型（LM）集成到端到端（E2 E）模型中仍然是领域自适应语音识别的一项具有挑战性的任务。最近，基于内部语言模型估计（ILME）的LM融合已经通过在波束搜索期间从E2 E模型和外部LM分数的插值中减去加权的内部LM分数而从浅层融合显示出显著的字错误率（WER）降低。然而，在不同的测试集上，最佳LM插值权重在很大范围内变化，并且必须在匹配良好的验证集上进行广泛的调整。在这项工作中，我们在E2 E模型的最小WER（MWER）训练中执行LM融合，以消除在推理过程中LM权重调整的需要。除了MWER训练与浅融合（MWER-SF），我们提出了一种新的MWER训练与ILME（MWER-ILME），其中ILME为基础的融合进行生成N-最好的假设和他们的后验。当内部LM参与MWER-ILME损耗计算时，会产生额外梯度。在推理过程中，在MWER训练中预先确定的LM权重使来自不同域的测试集能够进行鲁棒的LM集成。在6个不同的测试集上，MWER-ILME分别从MWER和MWER-SF训练中获得了平均8.8%和5.8%的相对WER降低，这些测试集使用30 K-h训练的Transformer换能器进行实验
2021-06-04 cs.AI cs.CL cs.LG
