Four-in-One: A Joint Approach to Inverse Text Normalization, Punctuation, Capitalization, and Disfluency for Automatic Speech Recognition
Microsoft Corporation（微软公司）
实体的标点、大写和格式等特征对于可读性、理解和自然语言处理任务都很重要。然而，自动语音识别（ASR）系统产生没有格式化的口语形式的文本，并且用于格式化的标记方法一次仅处理一个或两个特征。在本文中，我们统一口语到书面语的文本转换通过两个阶段的过程：首先，我们使用一个单一的Transformer标记模型，共同产生令牌级的标签，反向文本规范化（ITN），标点符号，大写，和不流利。然后，我们应用标签来生成书面形式的文本，并使用加权有限状态转换器（WFST）语法来格式化标记的ITN实体跨度。尽管将四个模型合并为一个，但我们的统一标记方法在多个领域的基准测试集上匹配或优于所有四个任务的特定任务模型。
2022-10-26 cs.CL
Positional Description for Numerical Normalization
Apple（苹果公司）
提出位置描述方案（PDS），通过保留架构的预处理简化数字规范化，缓解神经模型文本规范化错误，显著提升算术准确率并适用于生产级语音处理。
2024-08-22 cs.CL
On Language Model Integration for RNN Transducer based Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
外部语言模型（LM）和RNN-转换器（RNN-T）的隐式学习的内部LM（ILM）之间的不匹配可能限制LM集成（诸如简单的浅融合）的性能。贝叶斯解释建议在ILM校正之前删除该序列。在这项工作中，我们研究了在一个共同的RNN-T框架中制定的各种基于ILM校正的LM集成方法。我们对ILM校正性能提高的两个主要原因进行了解码解释，并通过详细分析进一步进行了实验验证。我们还提出了一个精确的ILM训练框架，通过扩展混合自回归传感器中给出的证明，这使得其他ILM方法的理论依据。分别对Librispeech和TED-LIUM Release 2语料库的域内和跨域评价进行了系统的比较。我们提出的精确ILM训练可以进一步提高最佳ILM方法。
2022-02-16 cs.CL eess.AS
Towards Efficient Simultaneous Inverse Text Normalization with Pretrained Text-to-Text Language Model and Read-Tag-Write Policy
UNEY
该研究针对流式逆文本规范化的非流式问题，提出适配预训练文本到文本模型的流式端到端系统，经越南语数据集验证，其准确率优于混合方法且满足实时延迟要求。
2026-10-15 cs.CL
A Unified Transformer-based Framework for Duplex Text Normalization
NVIDIA（英伟达）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文本规范化（TN）和逆文本规范化（ITN）分别是文本到语音合成和自动语音识别中必不可少的预处理和后处理步骤。对于TN或ITN，已经提出了许多方法，从加权有限状态传感器到神经网络。尽管它们的性能令人印象深刻，但这些方法的目标是只解决两个任务中的一个，而不是两个。因此，在一个完整的口语对话系统，两个独立的模型TN和ITN需要建立。这种异质性增加了系统的技术复杂性，这反过来又增加了生产环境中的维护成本。出于这一观察，我们提出了一个统一的框架，建立一个单一的神经双工系统，可以同时处理TN和ITN。结合一个简单但有效的数据增强方法，我们的系统实现了最先进的结果对谷歌TN数据集的英语和俄语。他们还可以在内部英语TN数据集上达到95%以上的精确度，而无需任何额外的微调。此外，我们还创建了一个清洁的数据集从口语维基百科语料库德语和报告的性能，我们的系统上的数据集。总体而言，实验结果表明，提出的双重文本规范化框架是非常有效的，适用于一系列领域和语言
2021-08-23 cs.CL
NeMo Inverse Text Normalization: From Development To Production
NVIDIA（英伟达）；Google（谷歌）；The Graduate Center, City University of New York（纽约市立大学研究生中心）
反向文本规范化（ITN）将口语域自动语音识别（ASR）输出转换为书面域文本，以提高ASR输出的可读性。许多国家的最先进的ITN系统使用手写加权有限状态传感器（WFST）的语法，因为这项任务具有极低的容忍度不可恢复的错误。我们为ITN引入了一个基于开源Python WFST的库，它可以实现从开发到生产的无缝路径。我们描述了ITN语法规则的英语规范，但该库可以适用于其他语言。它也可以用于书面到口语的文本规范化。我们使用Google Text标准化数据集的修改版本来评估NeMo ITN库。
2021-05-17 cs.CL cs.SD eess.AS
Global Normalization for Streaming Speech Recognition in a Modular Framework
Google Research（谷歌研究院）
我们引入了全局归一化自回归转换器（GNAT）来解决流语音识别中的标签偏差问题。我们的解决方案承认一个易于处理的精确计算的分母的序列级规范化。通过理论和实证结果，我们证明，通过切换到一个全球标准化的模型，流和非流语音识别模型之间的单词出错率差距可以大大减少（超过50%的Librispeech数据集）。这个模型是在一个模块化的框架，其中包括所有常见的神经语音识别模型。该框架的模块化使得能够对建模选择和新模型的创建进行受控比较。
2022-05-26 cs.AI cs.CL cs.LG
On Minimum Word Error Rate Training of the Hybrid Autoregressive Transducer
Microsoft Corp.（微软公司）
混合自回归转换器（HAT）是最近提出的一种端到端声学模型，它扩展了标准的递归神经网络转换器（RNN-T），用于外部语言模型（LM）融合。在HAT中，使用两个单独的概率分布来估计空白概率和标签概率，这为内部LM分数估计提供了更准确的解决方案，因此在与外部LM组合时效果更好。以前的工作主要集中在负对数似然损失的HAT模型训练，而在本文中，我们研究了HAT的最小字出错率（MWER）训练-一个标准，更接近于语音识别的评价指标，并已成功地应用于其他类型的端到端模型，如序列到序列（S2 S）和RNN-T模型。从大约30，000小时的训练数据的实验中，我们表明MWER训练可以提高HAT模型的准确性，同时，提高模型对解码超参数的鲁棒性，如长度归一化和解码波束。
2021-03-26 cs.CL eess.AS
Neural Inverse Text Normalization
Amazon AWS AI（亚马逊AWS人工智能部门）
虽然已经有几个贡献，探索最先进的技术，文本规范化，逆文本规范化（ITN）的问题仍然相对未开发。最著名的方法利用基于有限状态转换器（FST）的模型，其依赖于手动策划的规则，因此不可扩展。我们提出了一个有效的和强大的神经解决方案ITN利用基于Transformer的seq2seq模型和基于FST的文本规范化技术的数据准备。我们表明，这可以很容易地扩展到其他语言，而不需要语言专家手动策划他们。然后，我们提出了一个混合框架，用于将神经ITN与FST集成，以克服生产环境中常见的可恢复错误。我们的经验评估表明，所提出的解决方案最大限度地减少了不正确的扰动（插入，删除和替换）ASR输出，并保持高质量，即使在域外的数据。基于Transformer的模型注入预训练，在多个数据集上始终实现较低的WER，并且能够在英语，西班牙语，德语和意大利语数据集上优于基线。
2021-02-12 cs.CL eess.AS
Self-consistent context aware conformer transducer for speech recognition
Webex Intelligence, Cisco Systems（思科系统公司Webex智能部门）
本研究提出一种自洽递归神经网络模块，基于其构建上下文感知的扩展Conformer Transducer架构，结合上下文语言模型浅层融合可将稀有词语音识别准确率提升至多4.5倍，且不影响常用词词错误率，方法兼容多种编码器。
2024-10-03 cs.CL cs.SD eess.AS
Streaming, fast and accurate on-device Inverse Text Normalization for Automatic Speech Recognition
Microsoft Corp.（微软公司）
自动语音识别（ASR）系统通常以词汇形式产生输出。然而，人类更喜欢书面形式的输出。为了弥补这一差距，ASR系统通常采用反向文本规范化（ITN）。在以前的工作中，加权有限状态传感器（WFST）已被用来做ITN。WFST非常适合此任务，但它们的大小和运行时成本可能会使嵌入式应用程序的部署具有挑战性。在本文中，我们描述了一个设备上的ITN系统，是流，轻量级和准确的发展。我们系统的核心是一个流Transformer标记器，它标记来自ASR的词汇标记。标签告知可能应用哪个ITN类别（如果有的话）。在此之后，我们仅在标记的文本上应用ITN类别特定的WFST，以可靠地执行ITN转换。我们表明，建议的ITN解决方案的执行相当于强大的基线，同时在尺寸上显着较小，并保留定制功能。
2022-11-07 cs.AI cs.CL
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
An Empirical Study of Language Model Integration for Transducer based Speech Recognition
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Meituan（美团）
在端到端RNN-Transducer（RNN-T）中利用具有外部语言模型（ELM）的纯文本数据进行语音识别具有挑战性。最近，已经开发了诸如密度比（DR）和内部语言模型估计（ILME）的一类方法，其性能优于经典的浅融合（SF）方法。这些方法背后的基本思想是，RNN-T后验应该首先减去隐式学习的内部语言模型（ILM）先验，以便整合ELM。虽然最近的研究表明，RNN-T只学习一些低阶语言模型信息，但DR方法使用经过良好训练的具有完整上下文的神经语言模型，这可能不适合于ILM的估计，并降低了集成性能。在DR方法的基础上，提出了一种用低阶弱语言模型代替估计的低阶密度比方法（LODR）。本文在英语LibriSpeech & Tedlings-2和汉语WenetSpeech & AISHELL-1数据集上进行了大量的域内和跨域实验。它表明，LODR一贯优于SF在所有的任务，而执行一般接近ILME和优于DR在大多数测试。
2022-08-03 cs.CL cs.LG eess.AS
Deep Shallow Fusion for RNN-T Personalization
Facebook AI（Facebook人工智能研究院）
在过去的几年里，端到端模型，特别是循环神经网络传感器（RNN-T），由于其简单性，紧凑性和通用转录任务的出色性能，在自动语音识别社区中获得了显着的吸引力。然而，由于缺乏外部语言模型以及难以识别罕见的长尾词，特别是实体名称，与传统的混合系统相比，这些模型在个性化方面更具挑战性。在这项工作中，我们提出了新的技术来提高RNN-T的能力，以建模罕见的词段，注入额外的信息到编码器中，使替代的字形发音的使用，并执行深度融合与个性化的语言模型更强大的偏置。我们表明，与使用浅层融合和文本到语音增强的强RNN-T基线相比，这些组合技术导致15.4%-34.5%的相对字出错率改善。我们的工作有助于推动RNN-T个性化的边界，并缩小与混合系统在偏置和实体识别至关重要的用例上的差距。
2020-11-16 cs.CL eess.AS
Cascade RNN-Transducer: Syllable Based Streaming On-device Mandarin Speech Recognition with a Syllable-to-Character Converter
Northwestern Polytechnical University（西北工业大学）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，递归神经网络转换器（RNN-T）由于其高精度和低延迟，在流媒体设备上语音识别方面取得了重大进展。RNN-T采用预测网络来增强语言信息，但其语言建模能力有限，因为它仍然需要成对的语音-文本数据来进行训练。通过额外的文本数据进一步加强语言建模能力，例如与外部语言模型的浅融合，只会带来很小的性能增益。针对普通话是一种基于汉字的语言，每个汉字都是一个声调音节的特点，提出了一种新的级联RNN-T方法来提高RNN-T的语言建模能力。该方法首先利用RNN-T将语音特征转化为音节序列，然后通过基于RNN-T的音节-字符转换器将音节序列转化为字符序列。因此，可以很容易地使用富文本库来增强语言模型能力。通过引入几个重要的技巧，级联RNN-T方法在几个普通话测试集上大大超过了基于字符的RNN-T，具有更高的识别质量和相似的延迟。
2020-11-17 cs.CL cs.SD eess.AS
RNN-T For Latency Controlled ASR With Improved Beam Search
Facebook AI（Facebook人工智能实验室）
诸如用于自动语音识别（ASR）的RNN传感器（RNN-T）的基于神经传感器的系统将传统混合ASR系统的各个组件（声学模型、语言模型、标点模型、反向文本规范化）混合成一个单个模型。这大大简化了训练和推理，因此使RNN-T成为ASR系统的理想选择。在这项工作中，我们研究了RNN-T在推理时间期间需要可调延迟预算的应用程序中的使用。我们还提高了原来提出的RNN-T束搜索算法的解码速度。我们在英语视频ASR数据集上评估了我们提出的系统，结果表明，与经过良好调整的混合ASR基线相比，神经RNN-T模型可以实现相当的WER和更好的计算效率。
2020-01-16 cs.CL cs.LG eess.AS
Neural Induction of Finite-State Transducers
University of Colorado（科罗拉多大学）；New College of Florida（佛罗里达新学院）
提出基于循环神经网络隐藏状态几何自动构建无权重有限状态转换器的方法，在形态变化、音素转换等任务上准确率优于传统算法达87%。
2026-06-06 cs.CL
Librispeech Transducer Model with Internal Language Model Prior Correction
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek 公司）
我们提出了我们的转换器模型Librispeech。我们研究的变体包括一个外部的语言模型（LM）与浅融合，并减去估计的内部LM。这是合理的贝叶斯解释的传感器模型先验是由估计的内部LM。减去内部LM使我们比正常浅融合的相对改善超过14%。我们的传感器具有用于非空白标签的单独概率分布，其允许更容易地与外部LM组合，并且更容易地估计内部LM。此外，我们还注意在最后一个空白概率中包括外部LM的句末（EOS）概率，这进一步提高了性能。我们所有的代码和设置都已发布。
2021-06-13 cs.AI cs.CL stat.ML
On-the-fly Text Retrieval for End-to-End ASR Adaptation
Amazon Alexa（亚马逊Alexa）
端到端语音识别模型通过合并外部文本源来改进，通常通过与外部语言模型融合来改进。每当感兴趣的语料库发生变化时，这种语言模型必须重新训练。此外，由于它们将整个语料库存储在其参数中，因此罕见单词可能很难回忆。在这项工作中，我们提出了一个检索语言模型，它直接从外部文本语料库检索似是而非的部分ASR假设的完成，增强基于转换器的ASR模型。然后，这些完成被一个适配器整合到后续的预测中，该适配器只训练一次，这样就可以在不产生重新训练的计算开销的情况下切换感兴趣的语料库。我们的实验表明，该模型显着提高了性能的传感器基线对问答数据集。此外，它在命名实体识别方面优于浅融合约7个相对值;当两者结合时，相对改善增加到13%。
2023-03-20 cs.CL cs.SD eess.AS
External Language Model Integration for Factorized Neural Transducers
Microsoft（微软）
本文研究因子化神经转录器的外部语言模型集成方法，提出线性插值与基于类别的 n-gram 集成方案，在多种场景下实现最高 60% 的词错误率相对降低。
2023-05-26 cs.CL
Improved Factorized Neural Transducer Model For text-only Domain Adaptation
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯AI实验室）
本文提出改进的因子化神经转录器IFNT，通过更全面地融合声学与语言信息并支持有效文本自适应，在英中数据集上相比神经转录器和FNT均取得更优的基线性能与领域外自适应能力。
2024-06-06 cs.CL
Neural-FST Class Language Model for End-to-End Speech Recognition
Facebook（脸书）
我们提出了神经FST类语言模型（NFCLM）的端到端的语音识别，一种新的方法，结合神经网络语言模型（NNLM）和有限状态转换器（FST）在一个数学上一致的框架。我们的方法利用了一个背景NNLM模型通用的背景文本与一个集合的特定领域的实体建模为个人FST。每个输出令牌由这些组件的混合生成;混合权重由单独训练的神经决策器估计。我们表明，NFCLM显着优于NNLM的15.8%，相对字出错率。NFCLM实现了与传统NNLM和FST浅融合相似的性能，同时不太容易发生过偏，并且紧凑12倍，使其更适合于设备上使用。
2022-01-31 cs.CL cs.SD eess.AS
Text Normalization for Low-Resource Languages of Africa
University of Arizona（亚利桑那大学）；Google（谷歌）
机器学习模型的训练数据可能来自许多不同的来源，这些来源的质量可能是可疑的。对于像英语这样资源丰富的语言，有很多可用的数据，所以我们可以抛弃可疑的数据。对于可用数据少得多的低资源语言，我们不一定能够丢弃可疑数据，以防我们最终得到的训练集太小，无法训练模型。在这项研究中，我们研究了文本规范化和数据集质量的影响，一组低资源的非洲语言-南非荷兰语，阿姆哈拉语，豪萨语，伊博语，马达加斯加语，索马里语，斯瓦希里语和祖鲁语。我们描述了我们的文本规范化，我们内置的Pynini框架，有限状态转换器的Python库，和我们的实验中训练语言模型的非洲语言使用的自然语言工具包（NLTK），一个开源的Python库的NLP。
2021-03-29 cs.CL
Minimum Word Error Rate Training with Language Model Fusion for End-to-End Speech Recognition
Microsoft Corporation（微软公司）
将外部语言模型（LM）集成到端到端（E2 E）模型中仍然是领域自适应语音识别的一项具有挑战性的任务。最近，基于内部语言模型估计（ILME）的LM融合已经通过在波束搜索期间从E2 E模型和外部LM分数的插值中减去加权的内部LM分数而从浅层融合显示出显著的字错误率（WER）降低。然而，在不同的测试集上，最佳LM插值权重在很大范围内变化，并且必须在匹配良好的验证集上进行广泛的调整。在这项工作中，我们在E2 E模型的最小WER（MWER）训练中执行LM融合，以消除在推理过程中LM权重调整的需要。除了MWER训练与浅融合（MWER-SF），我们提出了一种新的MWER训练与ILME（MWER-ILME），其中ILME为基础的融合进行生成N-最好的假设和他们的后验。当内部LM参与MWER-ILME损耗计算时，会产生额外梯度。在推理过程中，在MWER训练中预先确定的LM权重使来自不同域的测试集能够进行鲁棒的LM集成。在6个不同的测试集上，MWER-ILME分别从MWER和MWER-SF训练中获得了平均8.8%和5.8%的相对WER降低，这些测试集使用30 K-h训练的Transformer换能器进行实验
2021-06-04 cs.AI cs.CL cs.LG
Language model fusion for streaming end to end speech recognition
Google Inc.（谷歌公司）
语音音频的流处理是当前许多实际语音识别任务所需要的。即使今天有大量的手动转录语音数据语料库，这样的语料库也不可能充分覆盖语言内容的长尾，这对开放式听写和语音搜索等任务很重要。我们试图通过使用在未配对文本数据上训练的语言模型（LM）来解决流和尾部识别的挑战，以增强端到端（E2E）模型。我们将浅融合和冷融合方法扩展到流式递归神经网络传感器（RNNT），并提出了两种新的竞争性融合方法，进一步增强了RNNT架构。我们对不同训练集大小的多种语言的研究结果表明，这些融合方法通过引入额外的语言特征来提高流RNNT的性能。冷聚变在流RNNT上的效果始终更好，WER提高高达8.5%。
2021-04-09 cs.CL cs.LG cs.SD
Feature Learning in Deep Neural Networks - Studies on Speech Recognition Tasks
Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
最近的研究表明，深度神经网络（DNN）在大词汇量语音识别任务中的表现明显优于浅层网络和高斯混合模型（GARCH）。在本文中，我们认为，DNN实现的准确性提高的结果是他们的能力，以提取歧视性的内部表示，是强大的语音信号的许多来源的变化。我们发现，随着网络深度的增加，这些表示对输入中的小扰动变得越来越不敏感，这导致更深的网络具有更好的语音识别性能。我们还表明，DNN不能外推到与训练样本有很大不同的测试样本。然而，如果训练数据具有足够的代表性，则DNN学习的内部特征相对于说话者差异、带宽差异和环境失真是相对稳定的。这使得基于DNN的识别器能够在不需要显式模型自适应或特征归一化的情况下，与基于GARCH或浅层网络的最先进系统一样好或更好地执行。
2013-03-08 cs.CL cs.LG cs.NE
TurboBias: Universal ASR Context-Biasing powered by GPU-accelerated Phrase-Boosting Tree
NVIDIA
本文提出TurboBias，一种基于GPU加速短语提升树的通用ASR上下文偏置框架，支持CTC、Transducers和Attention Encoder-Decoder模型，在无显著速度损失下处理最多20K关键短语，并在准确率和解码速度上超越现有开源方案。
2025-08-12 cs.AI cs.CL cs.SD
Early Stage LM Integration Using Local and Global Log-Linear Combination
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
在自动语音识别任务中，具有隐式对齐机制（例如注意力）的序列到序列模型正在缩小与传统混合隐马尔可夫模型（HMM）的性能差距。在这两种情况下，提高单词错误率的一个重要因素是使用在大型纯文本语料库上训练的外部语言模型（LM）。语言模型集成是直接的，在经典的基于HMM的建模中，声学模型和语言模型的明确分离。与此相反，多个集成方案已被提出的注意力模型。在这项工作中，我们提出了一种新的方法，语言模型集成到隐式对齐的序列到序列模型。声学和语言模型的对数线性模型组合与每个令牌重正化。这使我们能够在训练和测试中有效地计算完整的归一化项。这是一个全球重整化方案，相当于在训练中应用浅融合相比。所提出的方法显示出良好的改进，在我们的国家的最先进的Librispeech系统的标准模型组合（浅融合）。此外，即使在训练后将LM换成更强大的LM，改进也是持久的。
2020-05-20 cs.CL cs.LG cs.SD
A Density Ratio Approach to Language Model Fusion in End-To-End Automatic Speech Recognition
Google Inc.（谷歌公司）
本文描述了一种密度比方法，用于将外部语言模型（LM）集成到自动语音识别（ASR）的端到端模型中。应用于在给定域上训练的递归神经网络转换器（RNN-T）ASR模型、匹配的域内RNN-LM和目标域RNN-LM，所提出的方法使用贝叶斯规则来定义目标域的RNN-T后验，以直接类似于基于隐马尔可夫模型（HMM）框架中的深度神经网络（DNN）或LSTM的ASR的经典混合模型的方式（Bourlard & Morgan，1994年）。所提出的方法在跨域和有限数据场景中进行评估，其中大量的目标域文本数据用于LM训练，但只有有限的（或没有）{音频，转录}训练数据对用于训练RNN-T。具体来说，对来自YouTube的配对音频和转录数据训练的RNN-T模型进行评估，以评估其推广到语音搜索数据的能力。发现密度比方法始终优于LM和端到端ASR集成的主要方法，即浅融合。
2020-02-28 cs.CL cs.SD eess.AS
Internal Language Model Estimation for Domain-Adaptive End-to-End Speech Recognition
Microsoft Corporation（微软公司）
在没有明确划分声学模型和语言模型的端到端（E2 E）自动语音识别（ASR）中，外部语言模型（LM）的集成仍然是一个具有挑战性的任务。在这项工作中，我们提出了一种内部LM估计（ILME）方法，以促进外部LM与所有预先存在的E2 E模型的更有效集成，而无需额外的模型训练，包括最流行的递归神经网络转换器（RNN-T）和基于注意力的编码器-解码器（AED）模型。使用音频-转录对进行训练，E2 E模型隐式地学习内部LM，该LM表征源域中的训练数据。使用ILME，估计E2 E模型的内部LM评分，并从E2 E模型和外部LM评分之间的对数线性插值中减去。当消除其声学分量时，内部LM分数近似为E2 E模型的输出。ILME可以缓解训练和测试之间的域不匹配，或改善多域E2 E ASR。ILME使用30 K小时训练的RNN-T和AED模型进行实验，在域外LibriSpeech和域内Microsoft生产测试集上，从Shallow Fusion分别实现了高达15.5%和6.8%的相对单词错误率降低。
2020-11-03 cs.CL cs.LG cs.SD
Internal Language Model Training for Domain-Adaptive End-to-End Speech Recognition
Microsoft Corporation（微软公司）
使用内部语言模型估计（ILME）方法可以显著提高外部语言模型（LM）与现有端到端（E2 E）自动语音识别（ASR）系统集成的功效。在该方法中，在推断期间，从通过用外部LM分数内插E2 E分数获得的分数中减去内部LM分数。为了改进基于ILME的推理，我们提出了一种内部LM训练（ILMT）方法，通过仅更新影响内部LM估计的E2 E模型组件来最小化额外的内部LM损失。ILMT鼓励E2 E模型在其现有组件内形成独立的LM，而不会牺牲ASR的准确性。在ILMT之后，具有匹配的训练和推理标准的更加模块化的E2 E模型能够更彻底地消除源域内部LM，因此导致目标域外部LM的更有效的集成。使用30 K小时训练的递归神经网络传感器和基于注意力的编码器-解码器模型进行实验，ILMT与基于ILME的推理相比，在域外LibriSpeech和域内Microsoft生产测试集上，使用Shallow Fusion的标准E2 E训练分别实现了高达31.5%和11.4%的相对字错误率降低。
2021-04-22 cs.AI cs.CL cs.LG
Effective internal language model training and fusion for factorized transducer model
Meta AI
本文针对因子化转换器模型提出新的内部语言模型训练与解码策略，并设计内存高效的ILM融合感知MWER训练方法，在不依赖外部语言模型的情况下显著降低词错误率。
2024-04-02 cs.AI cs.CL cs.LG
