Multitask Learning and Joint Optimization for Transformer-RNN-Transducer Speech Recognition
AI R&D Team, Kakao Enterprise（Kakao企业 AI 研发团队）
近年来，出现了几种端到端的语音识别方法，称为transformer-transducer。根据这些类型的方法，转录网络通常由基于变换器的神经网络建模，而预测网络可以由Transformers或递归神经网络（RNN）建模。本文探讨了变压器-RNN-传感器系统的多任务学习、联合优化和联合解码方法。我们提出的方法的主要优点在于，该模型可以维护大型文本语料库的信息。我们证明了他们的有效性进行实验，利用著名的ESPNET工具包广泛使用的Librispeech数据集。我们还表明，所提出的方法可以减少字出错率（WER）的16.6%和13.3%，分别为测试干净和测试其他数据集，而不改变整体模型结构，也不利用外部LM。
2020-11-02 cs.LG cs.SD eess.AS
RNN-Transducer-based Losses for Speech Recognition on Noisy Targets
University of London（伦敦大学）
本文针对语音识别中噪声转录问题，提出 Star-Transducer、Bypass-Transducer 和 Target-Robust Transducer 三种损失函数，分别处理删除、插入及任意错误，显著恢复了 RNN-T 模型的性能。
2025-04-09 cs.AI cs.CL cs.LG
Memory-Efficient Training of RNN-Transducer with Sampled Softmax
Naver Corporation（Naver公司）；Carnegie Mellon University（卡内基梅隆大学）
RNN-Transducer是一种很有前途的端到端自动语音识别体系结构。尽管RNN-Transducer具有许多优点，包括其强大的准确性和流式友好的属性，但其在训练过程中的高内存消耗一直是开发的关键问题。在这项工作中，我们建议将采样softmax应用于RNN-Transducer，它在训练过程中只需要一小部分词汇，从而节省了内存消耗。我们进一步扩展sampled softmax来优化minibatch的内存消耗，并采用辅助CTC损失的分布来提高模型的准确性。我们在LibriSpeech，AISHELL-1和CSJ-APS上展示了实验结果，其中sampled softmax大大降低了内存消耗，并且仍然保持了基线模型的准确性。
2022-03-31 cs.CL eess.AS
Improving accuracy of rare words for RNN-Transducer through unigram shallow fusion
Amazon Alexa（亚马逊Alexa）
端到端自动语音识别（ASR）系统，如递归神经网络转换器（RNN-T），已经变得流行，但罕见的词仍然是一个挑战。在本文中，我们提出了一种简单而有效的方法，称为unigram shallow fusion（USF），以改善RNN-T的稀有词。在USF中，我们基于unigram计数从RNN-T训练数据中提取稀有单词，并在解码过程中遇到单词时应用固定奖励。我们表明，这种简单的方法可以提高3.7%的WER相对不退化的一般测试集上的稀有词的性能，从USF的改善是添加到任何额外的语言模型基于rescoring。然后，我们表明，相同的USF不工作在传统的混合动力系统。最后，我们推断USF的工作原理是修复由于在基于子字的RNN-T解码期间使用维特比搜索而导致的单词概率估计错误。
2020-11-30 cs.CL cs.SD eess.AS
Attention-based Transducer for Online Speech Recognition
LAIX Inc.（LAIX公司）
最近的研究揭示了递归神经网络转换器（RNN-T）用于端到端（E2 E）语音识别的潜力。在一些最流行的E2 E系统中，包括RNN-T，注意力编码器-解码器（AED）和连接主义时间分类（CTC），RNN-T具有一些明显的优势，因为它支持流识别并且没有帧独立性假设。尽管RNN-T研究取得了重大进展，但在训练速度和准确性方面仍面临性能挑战。我们提出了基于注意力的传感器与修改RNN-T在两个方面。首先，我们在联合网络中引入块式注意。其次，在编码器中引入自注意。我们提出的模型在训练速度和准确性方面都优于RNN-T。对于训练，我们实现了超过1.7倍的加速。使用500小时的LAIX非母语英语训练数据，基于注意力的传感器比基线RNN-T产生约10.6%的WER降低。使用超过10，000小时的完整数据进行训练，我们的最终系统比使用最佳Kaldi TDNN-f配方训练的系统减少了约5.5%的WER。在不降低WER的情况下进行8位权重量化后，在生产服务器的单个CPU核心上，RTF和延迟分别下降到0.34~0.36和268~409毫秒。
2020-05-18 cs.CL cs.SD eess.AS
Improving RNN Transducer Based ASR with Auxiliary Tasks
Facebook AI（Facebook人工智能）
与传统的混合语音识别器相比，具有单个神经网络的端到端自动语音识别（ASR）模型最近已经展示了最先进的结果。具体而言，循环神经网络传感器（RNN-T）在各种基准测试中表现出具有竞争力的ASR性能。在这项工作中，我们研究了RNN-T通过执行辅助任务来实现更好的ASR准确性的方法。我们建议（i）使用与主要RNN-T ASR任务相同的辅助任务，以及（ii）像传统的混合建模一样执行上下文相关的字形状态预测。在转录具有不同训练数据大小的社交媒体视频时，我们首先评估三种语言的流式ASR性能：罗马尼亚语，土耳其语和德语。我们发现，这两种方法提供了一致的改进。接下来，我们观察到两个辅助任务在学习RNN-T标准的深度Transformer编码器方面都表现出了有效性，从而与之前的顶级模型相比，在LibriSpeech测试-干净/其他上实现了具有竞争力的结果- 2.0%/4.2% WER。
2020-11-09 cs.CL cs.SD eess.AS
On Addressing Practical Challenges for RNN-Transducer
Microsoft Speech（微软语音）
在本文中，提出了一些工作，以解决部署基于RNN传感器（RNN-T）的语音识别系统的实际挑战。这些挑战是使经过良好训练的RNN-T模型适应新的领域，而无需收集音频数据，获得单词级别的时间戳和置信度得分。第一个挑战是解决了拼接数据的方法，连接从源域数据中提取的语音段。为了获得时间戳，通过共享编码器将音素预测分支添加到RNN-T模型中，以实现强制对齐的目的。最后，我们通过利用解码过程中计算的几种类型的特征和混淆网络获得单词级的置信度得分。使用Microsoft生产数据进行评估，拼接数据自适应方法与文本转语音方法相比，基线和自适应分别提高了58.03%和15.25%的相对字错误率降低。所提出的时间戳方法可以得到小于50 ms的字的时间差从地面真值对齐平均，同时保持RNN-T模型的识别精度。我们还获得了高置信度的注释性能与有限的计算成本。
2021-07-18 cs.CL cs.SD eess.AS
Advancing RNN Transducer Technology for Speech Recognition
IBM Research AI（IBM研究院人工智能部门）
我们研究了一组RNN传感器（RNN-Ts）的技术，这些技术有助于降低三种不同任务（交换机300小时，西班牙语会话780小时和意大利语会话900小时）的单词出错率。这些技术涉及结构变化、说话人自适应、语言模型融合、模型组合和通用训练方法。首先，我们在联合网络中引入编码器和预测网络向量的新乘法集成（与加法相反）。其次，我们讨论了i向量说话人自适应RNN-Ts结合数据扰动的适用性。第三，我们探讨了最近提出的密度比语言模型融合这些任务的有效性。最后但并非最不重要的是，我们描述了我们的训练配方的其他组成部分及其对识别性能的影响。我们报告了5.9%和12.5%的字出错率的交换机和CallHome测试集的NIST集线器5 2000年的评估和12.7%的Mozilla CommonVoice意大利语测试集的WER。
2021-03-17 cs.CL cs.SD eess.AS
An Investigation of Monotonic Transducers for Large-Scale Automatic Speech Recognition
Meta AI
流传输端到端自动语音识别（ASR）的两个最流行的损失函数是RNN转换器（RNN-T）和连接主义时间分类（CTC）。在这两种损失类型之间，我们可以将单调RNN-T（MonoRNN-T）和最近提出的类CTC换能器（CTC-T）分类。单调换能器具有一些优点。首先，RNN-T可能会遭受失控的幻觉，其中一个模型不断发出非空白符号，而没有及时推进。其次，单调换能器每个时间步长消耗一个模型分数，因此与传统的基于FST的ASR解码器更兼容。然而，到目前为止，MonoRNN-T的准确性比RNN-T差。它不一定是这样的：通过联合LAS训练或RNN-T的参数初始化来正则化训练，MonoRNN-T和CTC-T的性能与RNN-T一样好或更好。这是证明LibriSpeech和一个大规模的内部数据集。
2022-10-21 cs.SD eess.AS
Cascade RNN-Transducer: Syllable Based Streaming On-device Mandarin Speech Recognition with a Syllable-to-Character Converter
Northwestern Polytechnical University（西北工业大学）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，递归神经网络转换器（RNN-T）由于其高精度和低延迟，在流媒体设备上语音识别方面取得了重大进展。RNN-T采用预测网络来增强语言信息，但其语言建模能力有限，因为它仍然需要成对的语音-文本数据来进行训练。通过额外的文本数据进一步加强语言建模能力，例如与外部语言模型的浅融合，只会带来很小的性能增益。针对普通话是一种基于汉字的语言，每个汉字都是一个声调音节的特点，提出了一种新的级联RNN-T方法来提高RNN-T的语言建模能力。该方法首先利用RNN-T将语音特征转化为音节序列，然后通过基于RNN-T的音节-字符转换器将音节序列转化为字符序列。因此，可以很容易地使用富文本库来增强语言模型能力。通过引入几个重要的技巧，级联RNN-T方法在几个普通话测试集上大大超过了基于字符的RNN-T，具有更高的识别质量和相似的延迟。
2020-11-17 cs.CL cs.SD eess.AS
Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network
Speechly；University of Helsinki（赫尔辛基大学）
众所周知，端到端语音识别系统对新任务的适应具有挑战性。已经提出了许多解决方案，其应用具有各种融合方法的外部语言模型，可能具有两遍解码的组合。此外，TTS系统已被用于生成端到端模型的适应数据。在本文中，我们证明了RNN转换器模型可以有效地适应新的领域，只使用少量的文本数据。通过利用模型的固有结构，其中预测网络被解释为语言模型，我们可以对模型应用快速自适应。适配该模型避免了对复杂的解码时间融合和外部语言模型的需要。使用适当的正则化，预测网络可以适应新的领域，同时仍然保持良好的泛化能力。我们展示了多个ASR评估任务，这种方法如何在目标任务WER中提供10-45%的相对收益。我们还分享了RNN转换器预测网络如何作为语言模型执行的见解。
2021-06-09 cs.CL cs.SD eess.AS
HMM-Free Encoder Pre-Training for Streaming RNN Transducer
ByteDance（字节跳动）
本文描述了一种编码器预训练过程，使用逐帧标签来改进流式递归神经网络换能器（RNN-T）模型的训练。从头开始训练的流式RNN-T通常比非流式RNN-T表现更差。虽然通常通过RNN-T的预训练组件与其他标准或逐帧对齐指导来解决这个问题，但这种对齐并不容易以端到端的方式实现。在这项工作中，用于预训练流式RNN-T编码器的逐帧对齐在不使用基于HMM的系统的情况下生成。因此，一个全神经网络框架配备HMM自由编码器的预训练的构建。该方法通过将CTC模型的尖峰信号扩展到其左右空白帧来实现，并提出了两种扩展策略。据我们所知，这是第一个使用CTC模型进行预训练来模拟基于HMM的逐帧标签的工作。在LibriSpeech和MLS英语任务上进行的实验表明，与随机初始化相比，该预训练方法可使WER降低5%~11%，发射延迟降低60 ms，并且该方法不依赖于词典，对新语言友好，无需人工设计词典.
2021-06-11 cs.CL cs.SD eess.AS
Sequence Transduction with Graph-based Supervision
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
递归神经网络转换器（RNN-T）目标在构建当今最好的生产自动语音识别（ASR）系统中发挥着重要作用。与连接主义时间分类（CTC）目标类似，RNN-T损失使用特定的规则来定义如何生成一组对齐以形成用于全和训练的网格。然而，这些规则是否是最佳的，是否确实导致最佳的ASR结果，在很大程度上还不清楚。在这项工作中，我们提出了一个新的转换器目标函数，它将RNN-T损失推广到接受标签的图形表示，从而提供了一个灵活有效的框架来操纵训练格，例如，用于研究不同的转换规则、实现不同的换能器损耗或限制对准。我们证明了与标准RNN-T相比，具有CTC样网格的基于传感器的ASR实现了更好的结果，同时还确保了严格的单调对齐，这将允许更好地优化解码过程。例如，相对于等效的基于RNN-T的系统，所提出的类CTC换能器在LibriSpeech的测试其他条件上实现了4.8%的改进。
2022-03-31 cs.CL cs.LG cs.SD
On Language Model Integration for RNN Transducer based Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
外部语言模型（LM）和RNN-转换器（RNN-T）的隐式学习的内部LM（ILM）之间的不匹配可能限制LM集成（诸如简单的浅融合）的性能。贝叶斯解释建议在ILM校正之前删除该序列。在这项工作中，我们研究了在一个共同的RNN-T框架中制定的各种基于ILM校正的LM集成方法。我们对ILM校正性能提高的两个主要原因进行了解码解释，并通过详细分析进一步进行了实验验证。我们还提出了一个精确的ILM训练框架，通过扩展混合自回归传感器中给出的证明，这使得其他ILM方法的理论依据。分别对Librispeech和TED-LIUM Release 2语料库的域内和跨域评价进行了系统的比较。我们提出的精确ILM训练可以进一步提高最佳ILM方法。
2022-02-16 cs.CL eess.AS
Pronunciation-aware unique character encoding for RNN Transducer-based Mandarin speech recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息与通信技术研究所）
对于普通话端到端（E2 E）自动语音识别（ASR）任务，与基于字符的建模单元相比，基于发音的建模单元可以提高模型训练中建模单元的共享性，但会遇到同音异义词问题。在这项研究中，我们提出使用一种新的发音感知的独特字符编码来构建基于E2 E RNN-T的普通话ASR系统。所提出的编码是一个发音基音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以克服同音异义词问题，同时利用发音信息提取建模单元。利用所提出的编码，模型输出可以通过一对一的映射转换为最终的识别结果。在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
2022-07-29 cs.CL cs.SD eess.AS
Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition
Microsoft（微软）
近年来，递归神经网络转换器（RNN-T）结构由于其能够进行在线流式语音识别的优点，成为端到端自动语音识别研究的一个新兴趋势。然而，RNN-T训练由于巨大的内存需求和复杂的神经结构而变得困难。简化RNN-T训练的一种常见解决方案是采用连接主义时间分类（CTC）模型以及RNN语言模型（RNNLM）来初始化RNN-T参数。在这项工作中，我们反过来利用外部比对来为RNN-T模型播种。两种不同的预训练解决方案进行了探索，分别称为编码器预训练，和全网络预训练。在微软65,000小时的匿名生产数据上进行评估，删除了个人身份信息，我们提出的方法可以获得显着的改善。特别地，当与随机初始化和广泛使用的CTC+RNNLM初始化策略相比时，编码器预训练解决方案分别实现了10%和8%的相对字出错率降低。我们的解决方案还显著降低了RNN-T模型的基线延迟。
2020-05-01 cs.CL eess.AS
Research on Modeling Units of Transformer Transducer for Mandarin Speech Recognition
Jingdong Digits Technology Holding Co., Ltd. (JD Digits)（京东数字科技控股有限公司（京东数字科技））
在端到端语音识别中，建模单元和模型结构是递归神经网络转换器（RNN-T）的两个关键因素。为了提高RNN-T在汉语语音识别中的性能，提出了一种自注意Transformer和RNN相结合的Transformer变换器。探讨了Transformer传感器不同建模单元的选择。此外，我们提出了一种新的混合带宽训练方法，以获得一个通用的模型，能够准确地识别汉语语音与不同的采样率同时进行。所有的实验都是在8 kHz和16 kHz采样率下对大约12，000小时的普通话语音进行的。实验结果表明，普通话Transformer转换器采用带声调的音节，取得了最好的性能。该模型的平均相对字错误率（WER）降低了14.4%和44.1%，分别与使用音节首/尾与声调和汉字的模型相比。此外，它优于基于音节首/尾与声调的模型，平均13.5%的相对字符错误率（CER）减少。
2020-04-26 cs.CL cs.LG cs.SD
Multiple-hypothesis RNN-T Loss for Unsupervised Fine-tuning and Self-training of Neural Transducer
Cambridge Research Laboratory, Toshiba Europe Limited（东芝欧洲有限公司剑桥研究实验室）
针对递归神经网络（RNN）-转换器（RNN-T）端到端（E2 E）自动语音识别（ASR）系统，提出了一种利用未标记语音数据进行无监督微调和自训练的新方法。传统系统在使用未标记的音频数据时使用ASR假设作为目标来执行微调/自训练，并且易受基础模型的ASR性能的影响。在这里，为了减轻使用未标记数据时ASR错误的影响，我们提出了一种多假设RNN-T损失，将多个ASR 1-最佳假设纳入损失函数。对于微调任务，在Librispeech上的ASR实验表明，与单假设方法相比，在test_other集上，多假设方法实现了14.2%的单词出错率（WER）的相对降低。对于自训练任务，ASR模型使用来自华尔街日报（WSJ）的监督数据，Aurora-4以及CHiME-4真实噪声数据作为未标记数据进行训练。与单假设方法相比，多假设方法在CHiME-4的单通道真实噪声评估集上产生3.3%的WER相对降低。
2022-07-29 cs.CL cs.SD eess.AS
Multi-blank Transducers for Speech Recognition
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
针对标准RNN-T语音识别推理速度受限的问题，本文提出多空白RNN-T方法，引入消耗多帧的大空白符号并搭配logit欠归一化训练策略，在英德多数据集上实现推理超90%/139%相对加速且提升识别准确率，代码将在NeMo工具包开源。
2024-04-11 cs.LG cs.SD eess.AS
Improving RNN transducer with normalized jointer network
Bytedance AI-Lab（字节跳动人工智能实验室）
循环神经传感器（RNN-T）是自动语音识别（ASR）中一种很有前途的端到端（E2 E）模型。与传统的混合式ASR系统相比，它表现出了卓越的性能。然而，从头开始训练RNN-T仍然具有挑战性。我们在RNN-T训练期间观察到巨大的梯度方差，并怀疑它会损害性能。在这项工作中，我们分析了RNN-T训练中巨大梯度方差的原因，并提出了一种新的\textit{normalized jointer network}来克服它。我们还提出了改进的conformer编码器网络和transformer-XL预测器网络来增强RNN-T网络，以达到最佳性能。实验在开放的170小时AISHELL-1和工业级的30000小时汉语语音数据集上进行。在AISHELL-1数据集上，我们的RNN-T系统在AISHELL-1的流和非流基准上分别获得了CER 6.15%和5.37%的最新结果。我们进一步比较了我们的RNN-T系统与我们训练有素的商业混杂系统在30000小时的行业音频数据，并得到9\%的相对改善没有预训练或外部语言模型。
2020-11-03 cs.SD eess.AS
Improving RNN Transducer Modeling for End-to-End Speech Recognition
Microsoft（微软）
在过去的几年里，自动语音识别研究的一个新兴趋势是端到端（E2 E）系统的研究。联结主义时间分类（CTC）、注意编码解码器（AED）和RNN转换器（RNN-T）是最流行的三种方法。在这三种方法中，RNN-T具有在线流媒体的优势，这是AED的挑战，它不具有CTC的帧独立性假设。本文从两个方面对RNN-T训练进行了改进。首先，我们优化了RNN-T的训练算法，以减少内存消耗，从而可以有更大的训练小批量，以提高训练速度。其次，我们提出了更好的模型结构，以便我们获得具有非常好的精度但占用空间小的RNN-T模型。经过3万小时匿名和转录的Microsoft生产数据的训练，最好的RNN-T模型具有更小的模型大小（216 MB），与基线RNN-T模型相比，相对单词出错率（WER）降低了11.8%。这个最佳RNN-T模型通过实现高达15.0%的相对WER减少而显著优于具有类似大小的设备混合模型，并且获得与大小为5120 MB的服务器混合模型类似的WER。
2019-09-26 cs.CL eess.AS
Alignment-Free Training for Transducer-based Multi-Talker ASR
NTT Corporation（NTT公司）
本文提出MT-RNNT-AFT无对齐训练方案，通过在转录开头附加说话人提示标记，使标准RNNT架构无需精确时间戳即可实现多说话人ASR，性能与最先进方法相当且训练过程大幅简化。
2024-09-30 cs.CL cs.SD eess.AS
Adaptive Discounting of Implicit Language Models in RNN-Transducers
Indian Institute of Technology Bombay（印度理工学院孟买分校）；IBM Research（IBM研究院）
RNN-Transducer（RNN-T）模型已经成为流媒体端到端ASR系统的同义词。虽然它们在许多评估类别上具有竞争力，但稀有词对RNN-T模型构成了严峻的挑战。对稀有词的性能下降的一个主要原因是RNN-Ts内部的语言模型（LM）可能变得过于自信，并导致与潜在语音在声学上不一致的幻觉预测。为了解决这个问题，我们提出了一种轻量级的自适应LM折扣技术AdaptLMD，它可以与任何RNN-T架构一起使用，而不需要任何外部资源或额外的参数。AdaptLMD使用双管齐下的方法：1）随机屏蔽预测网络输出，以鼓励RNN-T不要过度依赖其输出。2)基于最近预测的令牌的稀有性以及ILM和隐式声学模型（IAM）分数之间的差异，动态选择何时对隐式LM（ILM）进行折扣。将AdaptLMD与具有竞争力的RNN-T基线进行比较，我们在会话，代码混合的印地语-英语ASR任务中分别获得了总体WER和稀有词PER的4%和14%的相对降低。
2022-02-21 cs.CL cs.LG
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer
Google Inc.（谷歌公司）
我们研究训练端到端的语音识别模型与循环神经网络传感器（RNN-T）：一个流，全神经，序列到序列的架构，共同学习声学和语言模型组件从转录的声学数据。我们探讨了各种模型架构，并演示了如果有额外的文本或发音数据，如何进一步改进模型。该模型包括一个“编码器”，这是从一个连接的时间分类为基础的（CTC）的声学模型初始化，和一个“解码器”，这是部分初始化的循环神经网络语言模型训练的文本数据。整个神经网络使用RNN-T损失进行训练，并直接将识别的转录作为字素序列输出，从而执行端到端的语音识别。我们发现，性能可以进一步提高，通过使用子词单元（“词片”），捕捉更长的上下文，并显着减少替换错误。最好的RNN-T系统是一个十二层LSTM编码器，带有一个两层LSTM解码器，以30，000个单词作为输出目标，在语音搜索和语音听写任务中实现了8.5\%的单词出错率和5.2\%的单词错误率，与语音搜索和语音听写任务中8.3\%的最先进基线相当。
2018-01-02 cs.CL cs.SD eess.AS
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
Google Inc.（谷歌公司）
在本文中，我们提出了一个端到端的语音识别模型与Transformer编码器，可用于流式语音识别系统。基于自注意的Transformer计算块用于独立地编码音频和标签序列。来自音频和标签编码器两者的激活与前馈层组合，以针对声学帧位置和标签历史的每个组合计算标签空间上的概率分布。这类似于递归神经网络传感器（RNN-T）模型，它使用RNN进行信息编码，而不是Transformer编码器。该模型使用非常适合流解码的RNN-T损失进行训练。我们目前的LibriSpeech数据集上的结果表明，限制左上下文的自我注意力在Transformer层，使解码计算易于处理的流，只有轻微的精度下降。我们还表明，我们的模型的完全注意力版本击败了LibriSpeech基准测试的最先进的准确性。我们的研究结果还表明，我们可以通过关注有限数量的未来帧来弥合我们模型的完全注意力和有限注意力版本之间的差距。
2020-02-14 cs.CL cs.SD eess.AS
Integrating Text Inputs For Training and Adapting RNN Transducer ASR Models
IBM Research AI（IBM研究院人工智能部门）
与使用模块化架构的混合自动语音识别（ASR）系统（其中每个组件可以独立地适应于新的领域）相比，最近的端到端（E2 E）ASR系统由于其全神经单片构造而难以定制。在本文中，我们提出了一种新的文本表示和E2 E ASR模型的训练框架。通过这种方法，我们证明了经过训练的RNN转换器（RNN-T）模型的内部LM组件可以有效地适应纯文本数据。使用语音和文本输入训练的RNN-T模型比仅使用语音训练的基线模型有所改进，在NIST Hub 5 2000评估的Switchboard和CallHome测试集上，单词出错率（WER）降低了近13%。通过将这种通用RNN-T模型定制为三个独立的数据集，进一步证明了所提出方法的有用性。我们观察到20-45%的相对字出错率（WER）减少在这些设置与这种新的LM风格的定制技术，只使用不成对的文本数据从新的域。
2022-02-26 cs.CL cs.SD eess.AS
Improved Robustness to Disfluencies in RNN-Transducer Based Speech Recognition
Amazon（亚马逊）
基于递归神经网络传感器（RNN-T）的自动语音识别（ASR）在语音界越来越受到关注。我们研究了数据选择和准备选择，旨在提高RNN-T ASR对语音不流利的鲁棒性，重点是部分单词。为了进行评估，我们使用干净的数据，不流利的数据和一个单独的数据集与口吃影响的语音。我们表明，在训练集中包含少量不流利的数据后，不流利和口吃测试的识别准确率提高了。增加具有不流畅性的训练数据的量提供额外的增益，而不会降低干净数据的质量。我们还表明，用专用标记替换部分单词有助于在不流利和口吃的话语上获得更好的准确性。我们的最佳模型的评估显示，这两个评估集的相对WER减少22.5%和16.4%。
2020-12-11 cs.CL eess.AS
Efficient Knowledge Distillation for RNN-Transducer Models
Google（谷歌）
知识蒸馏是将知识从大模型转移到小模型的有效方法。蒸馏可以被视为一种模型压缩，并且在设备上ASR应用中发挥了重要作用。在本文中，我们开发了一种RNN-Transducer（RNN-T）模型的提取方法，RNN-T模型是一种流行的流语音识别的端到端神经网络架构。我们提出的蒸馏损失是简单而有效的，并且只使用来自RNN-T输出概率格的“y”和“空白”后验概率。我们研究了所提出的方法在提高稀疏RNN-T模型的准确性方面的有效性，稀疏RNN-T模型是通过逐渐修剪一个较大的未压缩模型来获得的，该模型也可以在蒸馏过程中作为老师。通过对60%和90%稀疏多域RNN-T模型的蒸馏，我们在有噪声的FarField eval集上分别获得了4.3%和12.1%的WER降低。我们还介绍了LibriSpeech上的实验结果，其中引入蒸馏损失产生了4.8%的相对WER减少测试其他数据集的一个小的构象模型。
2020-11-11 cs.SD eess.AS
CIF-T: A Novel CIF-based Transducer Architecture for Automatic Speech Recognition
SenseTime Research（商汤科技研究院）；University of Science and Technology Beijing（北京科技大学）；Nankai University（南开大学）
针对RNN-T模型在ASR中的计算冗余和预测器网络作用减弱问题，提出结合CIF机制的CIF-T模型，舍弃RNN-T损失并引入多策略优化，在AISHELL-1和WenetSpeech数据集上实现更优性能与更低计算开销。
2024-11-27 cs.CL cs.SD eess.AS
Word-level confidence estimation for RNN transducers
Google Research（谷歌研究院）
置信度估计是诸如医疗转录之类的应用中经常请求的特征，其中错误可能影响患者护理，并且置信度估计可以用于提醒医疗专业人员验证识别中的潜在错误。在本文中，我们提出了一个轻量级的神经置信度模型定制的自动语音识别（ASR）系统与递归神经网络传感器（RNN-T）。与其他现有的方法相比，我们的模型利用：（a）与识别的单词，这降低了计算复杂性的时间信息，和（b）一个简单而优雅的技巧子字和单词序列之间的映射。该映射解决了非唯一标记化和标记删除问题，同时放大了易混淆单词之间的差异。通过对两个不同的长形式测试集进行广泛的实证评估，我们证明该模型实现了0.4归一化交叉熵（NCE）和0.05预期校准误差（ECE）的性能。它在不同的ASR配置中都是健壮的，包括目标类型（字素与词素）、流量条件（流与非流）和编码器类型。我们进一步讨论了评价指标的重要性，以反映实际应用，并强调需要进一步的工作，以提高阴性准确率（NPV）和真阴性率（TNR）的曲线下面积（AUC）。
2021-09-28 cs.CL cs.SD eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft（微软）
在基于传感器的自动语音识别（ASR）系统中，背景信息是动态的，在模型训练过程中是不可用的。在这项工作中，我们引入了一个轻量级的上下文拼写校正模型，以纠正上下文相关的识别错误，在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型，并使用过滤算法来处理大尺寸的上下文列表。实验表明，该模型提高了基线ASR模型的性能，相对词出错率降低了约50%，也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA（英伟达）
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘，其中原始域上的字出错率显著降低。本文讨论的情况下，我们要同时适应自动语音识别模型到一个新的域，并限制在原始域的准确性下降，而无需访问原始的训练数据集。我们提出了几种技术，例如有限的训练策略和用于传感器编码器，预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集，并在新的目标域上获得了强有力的结果，同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
RNN-T For Latency Controlled ASR With Improved Beam Search
Facebook AI（Facebook人工智能实验室）
诸如用于自动语音识别（ASR）的RNN传感器（RNN-T）的基于神经传感器的系统将传统混合ASR系统的各个组件（声学模型、语言模型、标点模型、反向文本规范化）混合成一个单个模型。这大大简化了训练和推理，因此使RNN-T成为ASR系统的理想选择。在这项工作中，我们研究了RNN-T在推理时间期间需要可调延迟预算的应用程序中的使用。我们还提高了原来提出的RNN-T束搜索算法的解码速度。我们在英语视频ASR数据集上评估了我们提出的系统，结果表明，与经过良好调整的混合ASR基线相比，神经RNN-T模型可以实现相当的WER和更好的计算效率。
2020-01-16 cs.CL cs.LG eess.AS
Self-Attention Transducers for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
递归神经网络转换器（RNN-T）已成功应用于端到端语音识别。然而，递归结构使得并行化变得困难。本文提出了一种用于语音识别的自注意转换器（SA-T）。RNN被自注意块所取代，自注意块可以对序列内部的长期依赖关系进行建模，并且能够有效地并行化。此外，提出了一种路径感知的正则化方法，以帮助SA-T学习对齐并提高性能。此外，利用块流机制实现在线解码。所有的实验都是在普通话数据集AISHELL-1上进行的。结果表明，与基线RNN-T相比，我们提出的方法在字符错误率方面实现了21.3%的相对降低。此外，SA-T与块流机制可以执行在线解码，只有一个小的性能下降。
2019-09-28 cs.CL cs.SD eess.AS
Factorized Blank Thresholding for Improved Runtime Efficiency of Neural Transducers
Meta
我们展示了RNN-T的输出分布如何在不损失准确性的情况下显着降低设备上ASR推理的计算成本和功耗。随着用于设备上ASR的RNN-T等神经传感器类型模型的普及，优化RNN-T的运行时效率非常有趣。虽然以前的工作主要集中在RNN-T的声学编码器和预测器的优化上，但本文将注意力集中在joiner上。我们表明，尽管只是RNN-T的一小部分，但joiner对整个模型的运行时效率有很大的影响。我们建议利用HAT风格的joiner因式分解的目的跳过更昂贵的非空白计算时，空白概率超过一定的阈值。由于可以非常有效地计算空白概率，并且RNN-T输出以空白为主，因此我们提出的方法可以使解码速度提高26-30%，设备功耗降低43-53%，同时不会导致准确性下降，并且实现相对简单。
2023-03-04 cs.SD eess.AS
TTS-Transducer: End-to-End Speech Synthesis with Neural Transducer
NVIDIA（英伟达）
本研究针对音频编解码器多码本多标记预测的挑战，提出TTS-Transducer端到端语音合成架构，融合神经转换器（免显式时长预测）与非自回归Transformer，实现高效语音生成，性能优于当代系统。
2025-01-10 cs.AI cs.CL cs.SD
Generalizing RNN-Transducer to Out-Domain Audio via Sparse Self-Attention Layers
SK Telecom（SK电讯）；Kakao Enterprise Corporation（Kakao企业公司）
递归神经网络转换器（RNN-T）是一个端到端的语音识别框架，它将输入的声学帧转换为字符序列。RNN-T最先进的编码器网络是Conformer，它可以通过卷积和自注意层有效地对局部-全局上下文信息进行建模。尽管Conformer RNN-T表现出了出色的性能，但大多数研究都是在训练和测试数据来自同一领域的情况下进行验证的。Conformer RNN-T的域失配问题是产品级语音识别系统中的一个重要问题，但目前还没有得到深入研究。在这项研究中，我们发现，完全连接的自我注意层的一致性导致高删除错误，特别是在长形式的域外话语。为了解决这个问题，我们为基于Conformer的编码器网络引入了稀疏自注意层，它可以通过修剪大多数域内拟合的全局连接来利用局部和广义全局信息。此外，我们提出了一个状态重置方法的预测网络的泛化，以应付长形式的话语。将所提出的方法应用于域外测试，与基于全连接自注意层的构象相比，我们获得了27.6%的相对字符错误率（CER）降低。
2022-06-17 cs.AI cs.SD eess.AS
Transducers with Pronunciation-aware Embeddings for Automatic Speech Recognition
NVIDIA（英伟达）
本文提出 PET，通过为发音相同或相似的文本 token 共享解码器嵌入提升 ASR 性能，并证明其可缓解错误连锁反应。
2024-04-04 cs.CL cs.LG cs.SD
Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本研究提出融合Transducer与注意力编码器-解码器的TAED框架，共享语音编码器、用AED解码器替换Transducer预测器，兼顾非单调学习优势与流式特性，在MuST-C数据集上多数任务性能优于纯Transducer模型。
2023-05-04 cs.CL cs.SD eess.AS
An Empirical Study of Language Model Integration for Transducer based Speech Recognition
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Meituan（美团）
在端到端RNN-Transducer（RNN-T）中利用具有外部语言模型（ELM）的纯文本数据进行语音识别具有挑战性。最近，已经开发了诸如密度比（DR）和内部语言模型估计（ILME）的一类方法，其性能优于经典的浅融合（SF）方法。这些方法背后的基本思想是，RNN-T后验应该首先减去隐式学习的内部语言模型（ILM）先验，以便整合ELM。虽然最近的研究表明，RNN-T只学习一些低阶语言模型信息，但DR方法使用经过良好训练的具有完整上下文的神经语言模型，这可能不适合于ILM的估计，并降低了集成性能。在DR方法的基础上，提出了一种用低阶弱语言模型代替估计的低阶密度比方法（LODR）。本文在英语LibriSpeech & Tedlings-2和汉语WenetSpeech & AISHELL-1数据集上进行了大量的域内和跨域实验。它表明，LODR一贯优于SF在所有的任务，而执行一般接近ILME和优于DR在大多数测试。
2022-08-03 cs.CL cs.LG eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft（微软）
提出LAMASSU模型，基于神经转换器实现流式语言无关的多语言语音识别与翻译，通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research（IBM研究院）
我们报告了积极的量化策略，大大加快了循环神经网络传感器（RNN-T）的推理。我们使用4位整数表示权值和激活，并应用量化感知训练（QAT）来重新训练完整模型（声学编码器和语言模型），并实现近等精度。我们表明，定制的量化方案，是针对网络的本地属性是必不可少的，以实现良好的性能，同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益，但它严重增加了推理的计算成本。我们表明，我们的量化策略，使使用大波束宽度的假设搜索，同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比，全精度模型。通过硬件模拟，我们估计从FP 16到INT 4的端到端量化RNN-T（包括LM融合）的$\times$加速为3.4，导致实时的因子（RTF）为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上，我们保留了与LM融合相关的大部分增益，将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
Reducing Exposure Bias in Training Recurrent Neural Network Transducers
IBM Research AI（IBM研究院人工智能）；IBM T. J. Watson Research Center（IBM T. J. Watson研究中心）
当使用典型的最大似然准则训练循环神经网络传感器（RNTs）时，预测网络仅在地面真实标签序列上训练。这会导致推断过程中的不匹配，称为暴露偏差，此时模型必须处理包含错误的标签序列。在本文中，我们研究的方法，以减少暴露偏见的训练，以提高泛化的RNNT模型的自动语音识别（ASR）。一个标签保持输入扰动的预测网络。使用SwitchOut和基于附加令牌语言模型的预定采样来扰动输入令牌序列。在300小时Switchboard数据集上进行的实验证明了它们的有效性。通过减少暴露偏差，我们表明我们可以进一步提高高性能RNNT ASR模型的准确性，并在300小时Switchboard数据集上获得最先进的结果。
2021-08-24 cs.AI cs.CL cs.SD
SegAug: CTC-Aligned Segmented Augmentation For Robust RNN-Transducer Based Speech Recognition
ZaloAI；Ho Chi Minh City University of Science（胡志明市科学大学）；Vietnam National University（越南国家大学）
针对 RNN-T 过度依赖语言上下文导致删除错误的问题，本文提出基于 CTC 对齐的分段增强 SegAug，通过生成低句级语义的音频-文本对强化声学建模，并在多个数据集上显著降低 WER 与删除率。
2025-02-20 cs.SD eess.AS
Transformer-Transducer: End-to-End Speech Recognition with Self-Attention
Facebook AI（Facebook人工智能研究院）
我们探索在神经换能器中使用Transformer网络进行端到端语音识别的选项。Transformer网络使用自注意力进行序列建模，并在并行计算和捕获上下文方面具有优势。我们提出1）使用具有因果卷积的VGGNet来合并位置信息并降低帧速率以进行有效推理2）使用截断的自注意力来实现Transformer的流式传输并降低计算复杂度。所有的实验都是在公共的LibriSpeech语料库上进行的。所提出的Transformer-Transducer优于LSTM/BLSTM网络的神经传感器，并且在测试干净集上实现了6.37%的字错误率，在测试其他集上实现了15.30%的字错误率，同时保持了整个系统的45.7M参数的可流化，紧凑，并且计算效率高，复杂度为O（T），其中T是输入序列长度。
2019-10-28 cs.CL cs.SD eess.AS
CoDERT: Distilling Encoder Representations with Co-learning for Transducer-based Speech Recognition
Alexa Machine Learning, Amazon.com（亚马逊Alexa机器学习部门）
我们提出了一种简单而有效的方法来压缩RNN-传感器（RNN-T）通过著名的知识蒸馏范例。我们表明，换能器的编码器输出自然有一个高熵，并包含丰富的信息声学相似的词片混淆。当与较低熵解码器输出组合以产生联合网络对数时，该丰富信息被抑制。因此，我们引入了一个辅助损失，从教师换能器的编码器中提取编码器的logits，并探索这种编码器蒸馏有效工作的训练策略。我们发现，教师和学生的编码器与就地编码器蒸馏串联训练优于使用预先训练和静态教师换能器。我们还报告了一个有趣的现象，我们称之为隐式蒸馏，当教师和学生编码器共享相同的解码器时发生。我们的实验表明，5.37-8.4%的相对字出错率减少（WERR）的内部测试集，和5.05-6.18%的相对WERR LibriSpeech测试集。
2021-06-14 cs.CL cs.LG eess.AS
LongFNT: Long-form Speech Recognition with Factorized Neural Transducer
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
传统的自动语音识别（ASR）系统通常只关注单个语音，而没有考虑到具有有用历史信息的长语音，这在实际应用中更加实用。在我们的初步实验中，简单地关注香草神经转换器模型的更长转录历史没有显示出太大的增益，因为预测网络不是纯语言模型。这促使我们利用因子化的神经转换器结构，包含一个真正的语言模型，词汇预测。我们提出了{LongFNT-Text}架构，该架构将词汇级别的长形式特征直接与词汇预测器的输出融合，然后将标记级别的长形式特征嵌入词汇预测器中，并使用预训练的上下文编码器RoBERTa进一步提高性能。此外，我们提出了{LongFNT}架构，通过扩展的长形式的语音到原始的语音输入，并取得了最佳的性能。在LibriSpeech和GigaSpeech语料库上验证了LongFNT方法的有效性，相对单词出错率~（WER）分别降低了19%和12%。
2022-11-17 cs.CL cs.SD eess.AS
Globally Normalising the Transducer for Streaming Speech Recognition
Samsung AI Center（三星人工智能中心）
针对流式语音识别中Transducer因局部归一化存在的数学缺陷，本文提出近似损失函数的方法实现全局归一化，使词错误率相对降低9-11%，缩小流式与前瞻模式的性能差距。
2023-07-20 cs.LG cs.SD eess.AS
Separator-Transducer-Segmenter: Streaming Recognition and Segmentation of Multi-party Speech
Amazon Alexa（亚马逊Alexa）
具有重叠语音的多方对话的流识别和分割对于下一代语音助理应用至关重要。在这项工作中，我们解决了在以前的工作中发现的挑战，多圈递归神经网络传感器（MT-RNN-T）与一种新的方法，分离器-传感器-分割器（STS），使语音分离，识别和分割更紧密地集成在一个单一的模型。首先，我们提出了一种新的分割建模策略，通过开始的回合和结束的回合令牌，提高了分割识别精度不下降。其次，我们进一步提高了语音识别和分割精度，通过发射正则化方法，FastEmit，和多任务训练与语音活动信息作为一个额外的训练信号。第三，我们实验结束轮发射延迟惩罚，以提高端点检测每个扬声器轮。最后，我们建立了一个新的框架，通过发射延迟指标的多方会话分割分析。我们最好的模型，我们报告4.6%的腹肌。转动计数精度提高了17%。LibriCSS数据集上的字错误率（WER）与以前发表的工作相比有所改善。
2022-05-10 cs.CL cs.SD eess.AS
Efficient Training of Neural Transducer for Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
提出一种3阶段渐进式训练流程，在有限计算资源下用单GPU在2-3周内从头训练高性能神经转换器模型，在Librispeech等基准上接近最先进性能。
2022-08-08 cs.CL cs.SD eess.AS
Multi-Channel Transformer Transducer for Speech Recognition
Amazon（亚马逊）
多通道输入提供了优于单通道的几个优点，以提高设备上语音识别系统的鲁棒性。最近关于多通道Transformer的工作提出了一种将这样的输入合并到端到端ASR中以提高精度的方法。然而，这种方法的特征在于高计算复杂性，这阻止了它被部署在设备上的系统中。本文提出了一种新的语音识别模型--多通道Transformer Transducer（MCTT），它具有端到端多通道训练、低计算成本和低延迟的特点，适合于设备上语音识别的流式解码。在远场内部数据集中，我们的MCTT优于分段多通道模型，变压器-换能器相对WER改善高达6.01%（WERR）。此外，MCTT的性能优于多通道Transformer，WERR高达11.62%，推理速度快15.8倍。我们进一步表明，我们可以提高MCTT的计算成本，通过限制未来和以前的上下文在注意力计算。
2021-08-30 cs.LG cs.SD eess.AS
TST: Time-Sparse Transducer for Automatic Speech Recognition
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Tsinghua University（清华大学）
针对 RNN-T 处理长解码序列时内存和计算开销大的问题，提出时间稀疏转换器，通过降低时间分辨率并加权合并隐藏状态，在 AISHELL-1 上显著降低实时率且保持接近的识别精度。
2023-07-17 cs.SD eess.AS
