Minimum Bayes Risk Training of RNN-Transducer for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了最小贝叶斯风险（MBR）训练的RNN-transducer（RNN-T）的端到端的语音识别。具体地，用RNN-T训练模型初始化，MBR训练通过最小化参考标记序列和动态生成的N-最佳假设之间的预期编辑距离来进行。我们还引入了一种启发式方法，将外部神经网络语言模型（NNLM）纳入RNN-T束搜索解码，并使用外部NNLM探索MBR训练。实验结果表明，MBR训练的模型大大优于RNN-T训练的模型，如果使用外部NNLM训练，可以实现进一步的改进。我们最好的MBR训练系统在阅读和自发汉语语音上分别实现了1.2%和0.5%的绝对字符出错率（CER）降低，超过了基于强卷积和Transformer的RNN-T基线，该基线经过约21，000小时的语音训练。
2019-11-28 cs.CL cs.LG cs.SD
Improving accuracy of rare words for RNN-Transducer through unigram shallow fusion
Amazon Alexa（亚马逊Alexa）
端到端自动语音识别（ASR）系统，如递归神经网络转换器（RNN-T），已经变得流行，但罕见的词仍然是一个挑战。在本文中，我们提出了一种简单而有效的方法，称为unigram shallow fusion（USF），以改善RNN-T的稀有词。在USF中，我们基于unigram计数从RNN-T训练数据中提取稀有单词，并在解码过程中遇到单词时应用固定奖励。我们表明，这种简单的方法可以提高3.7%的WER相对不退化的一般测试集上的稀有词的性能，从USF的改善是添加到任何额外的语言模型基于rescoring。然后，我们表明，相同的USF不工作在传统的混合动力系统。最后，我们推断USF的工作原理是修复由于在基于子字的RNN-T解码期间使用维特比搜索而导致的单词概率估计错误。
2020-11-30 cs.CL cs.SD eess.AS
Attention-based Transducer for Online Speech Recognition
LAIX Inc.（LAIX公司）
最近的研究揭示了递归神经网络转换器（RNN-T）用于端到端（E2 E）语音识别的潜力。在一些最流行的E2 E系统中，包括RNN-T，注意力编码器-解码器（AED）和连接主义时间分类（CTC），RNN-T具有一些明显的优势，因为它支持流识别并且没有帧独立性假设。尽管RNN-T研究取得了重大进展，但在训练速度和准确性方面仍面临性能挑战。我们提出了基于注意力的传感器与修改RNN-T在两个方面。首先，我们在联合网络中引入块式注意。其次，在编码器中引入自注意。我们提出的模型在训练速度和准确性方面都优于RNN-T。对于训练，我们实现了超过1.7倍的加速。使用500小时的LAIX非母语英语训练数据，基于注意力的传感器比基线RNN-T产生约10.6%的WER降低。使用超过10，000小时的完整数据进行训练，我们的最终系统比使用最佳Kaldi TDNN-f配方训练的系统减少了约5.5%的WER。在不降低WER的情况下进行8位权重量化后，在生产服务器的单个CPU核心上，RTF和延迟分别下降到0.34~0.36和268~409毫秒。
2020-05-18 cs.CL cs.SD eess.AS
Improving RNN Transducer Based ASR with Auxiliary Tasks
Facebook AI（Facebook人工智能）
与传统的混合语音识别器相比，具有单个神经网络的端到端自动语音识别（ASR）模型最近已经展示了最先进的结果。具体而言，循环神经网络传感器（RNN-T）在各种基准测试中表现出具有竞争力的ASR性能。在这项工作中，我们研究了RNN-T通过执行辅助任务来实现更好的ASR准确性的方法。我们建议（i）使用与主要RNN-T ASR任务相同的辅助任务，以及（ii）像传统的混合建模一样执行上下文相关的字形状态预测。在转录具有不同训练数据大小的社交媒体视频时，我们首先评估三种语言的流式ASR性能：罗马尼亚语，土耳其语和德语。我们发现，这两种方法提供了一致的改进。接下来，我们观察到两个辅助任务在学习RNN-T标准的深度Transformer编码器方面都表现出了有效性，从而与之前的顶级模型相比，在LibriSpeech测试-干净/其他上实现了具有竞争力的结果- 2.0%/4.2% WER。
2020-11-09 cs.CL cs.SD eess.AS
On Addressing Practical Challenges for RNN-Transducer
Microsoft Speech（微软语音）
在本文中，提出了一些工作，以解决部署基于RNN传感器（RNN-T）的语音识别系统的实际挑战。这些挑战是使经过良好训练的RNN-T模型适应新的领域，而无需收集音频数据，获得单词级别的时间戳和置信度得分。第一个挑战是解决了拼接数据的方法，连接从源域数据中提取的语音段。为了获得时间戳，通过共享编码器将音素预测分支添加到RNN-T模型中，以实现强制对齐的目的。最后，我们通过利用解码过程中计算的几种类型的特征和混淆网络获得单词级的置信度得分。使用Microsoft生产数据进行评估，拼接数据自适应方法与文本转语音方法相比，基线和自适应分别提高了58.03%和15.25%的相对字错误率降低。所提出的时间戳方法可以得到小于50 ms的字的时间差从地面真值对齐平均，同时保持RNN-T模型的识别精度。我们还获得了高置信度的注释性能与有限的计算成本。
2021-07-18 cs.CL cs.SD eess.AS
Advancing RNN Transducer Technology for Speech Recognition
IBM Research AI（IBM研究院人工智能部门）
我们研究了一组RNN传感器（RNN-Ts）的技术，这些技术有助于降低三种不同任务（交换机300小时，西班牙语会话780小时和意大利语会话900小时）的单词出错率。这些技术涉及结构变化、说话人自适应、语言模型融合、模型组合和通用训练方法。首先，我们在联合网络中引入编码器和预测网络向量的新乘法集成（与加法相反）。其次，我们讨论了i向量说话人自适应RNN-Ts结合数据扰动的适用性。第三，我们探讨了最近提出的密度比语言模型融合这些任务的有效性。最后但并非最不重要的是，我们描述了我们的训练配方的其他组成部分及其对识别性能的影响。我们报告了5.9%和12.5%的字出错率的交换机和CallHome测试集的NIST集线器5 2000年的评估和12.7%的Mozilla CommonVoice意大利语测试集的WER。
2021-03-17 cs.CL cs.SD eess.AS
Cascade RNN-Transducer: Syllable Based Streaming On-device Mandarin Speech Recognition with a Syllable-to-Character Converter
Northwestern Polytechnical University（西北工业大学）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，递归神经网络转换器（RNN-T）由于其高精度和低延迟，在流媒体设备上语音识别方面取得了重大进展。RNN-T采用预测网络来增强语言信息，但其语言建模能力有限，因为它仍然需要成对的语音-文本数据来进行训练。通过额外的文本数据进一步加强语言建模能力，例如与外部语言模型的浅融合，只会带来很小的性能增益。针对普通话是一种基于汉字的语言，每个汉字都是一个声调音节的特点，提出了一种新的级联RNN-T方法来提高RNN-T的语言建模能力。该方法首先利用RNN-T将语音特征转化为音节序列，然后通过基于RNN-T的音节-字符转换器将音节序列转化为字符序列。因此，可以很容易地使用富文本库来增强语言模型能力。通过引入几个重要的技巧，级联RNN-T方法在几个普通话测试集上大大超过了基于字符的RNN-T，具有更高的识别质量和相似的延迟。
2020-11-17 cs.CL cs.SD eess.AS
Factorized Blank Thresholding for Improved Runtime Efficiency of Neural Transducers
Meta
我们展示了RNN-T的输出分布如何在不损失准确性的情况下显着降低设备上ASR推理的计算成本和功耗。随着用于设备上ASR的RNN-T等神经传感器类型模型的普及，优化RNN-T的运行时效率非常有趣。虽然以前的工作主要集中在RNN-T的声学编码器和预测器的优化上，但本文将注意力集中在joiner上。我们表明，尽管只是RNN-T的一小部分，但joiner对整个模型的运行时效率有很大的影响。我们建议利用HAT风格的joiner因式分解的目的跳过更昂贵的非空白计算时，空白概率超过一定的阈值。由于可以非常有效地计算空白概率，并且RNN-T输出以空白为主，因此我们提出的方法可以使解码速度提高26-30%，设备功耗降低43-53%，同时不会导致准确性下降，并且实现相对简单。
2023-03-04 cs.SD eess.AS
Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network
Speechly；University of Helsinki（赫尔辛基大学）
众所周知，端到端语音识别系统对新任务的适应具有挑战性。已经提出了许多解决方案，其应用具有各种融合方法的外部语言模型，可能具有两遍解码的组合。此外，TTS系统已被用于生成端到端模型的适应数据。在本文中，我们证明了RNN转换器模型可以有效地适应新的领域，只使用少量的文本数据。通过利用模型的固有结构，其中预测网络被解释为语言模型，我们可以对模型应用快速自适应。适配该模型避免了对复杂的解码时间融合和外部语言模型的需要。使用适当的正则化，预测网络可以适应新的领域，同时仍然保持良好的泛化能力。我们展示了多个ASR评估任务，这种方法如何在目标任务WER中提供10-45%的相对收益。我们还分享了RNN转换器预测网络如何作为语言模型执行的见解。
2021-06-09 cs.CL cs.SD eess.AS
HMM-Free Encoder Pre-Training for Streaming RNN Transducer
ByteDance（字节跳动）
本文描述了一种编码器预训练过程，使用逐帧标签来改进流式递归神经网络换能器（RNN-T）模型的训练。从头开始训练的流式RNN-T通常比非流式RNN-T表现更差。虽然通常通过RNN-T的预训练组件与其他标准或逐帧对齐指导来解决这个问题，但这种对齐并不容易以端到端的方式实现。在这项工作中，用于预训练流式RNN-T编码器的逐帧对齐在不使用基于HMM的系统的情况下生成。因此，一个全神经网络框架配备HMM自由编码器的预训练的构建。该方法通过将CTC模型的尖峰信号扩展到其左右空白帧来实现，并提出了两种扩展策略。据我们所知，这是第一个使用CTC模型进行预训练来模拟基于HMM的逐帧标签的工作。在LibriSpeech和MLS英语任务上进行的实验表明，与随机初始化相比，该预训练方法可使WER降低5%~11%，发射延迟降低60 ms，并且该方法不依赖于词典，对新语言友好，无需人工设计词典.
2021-06-11 cs.CL cs.SD eess.AS
RNN Transducer Models For Spoken Language Understanding
IBM Research AI（IBM研究院人工智能部门）
我们提出了一个全面的研究建立和适应RNN转换器（RNN-T）模型的口语语言理解（SLU）。这些端到端（E2 E）模型构建在三个实际的设置：一个逐字记录的情况下，可用，一个约束的情况下，唯一可用的注释是SLU标签和它们的值，和一个更严格的情况下，转录可用，但没有相应的音频。我们展示了如何从预训练的自动语音识别（ASR）系统开始开发RNN-T SLU模型，然后进行SLU自适应步骤。在真实音频数据不可用的设置中，人工合成的语音用于成功地适应各种SLU模型。当评估两个SLU数据集，ATIS语料库和客户呼叫中心数据集，所提出的模型密切跟踪其他E2 E模型的性能，并实现国家的最先进的结果。
2021-04-08 cs.CL cs.LG cs.SD
Pronunciation-aware unique character encoding for RNN Transducer-based Mandarin speech recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息与通信技术研究所）
对于普通话端到端（E2 E）自动语音识别（ASR）任务，与基于字符的建模单元相比，基于发音的建模单元可以提高模型训练中建模单元的共享性，但会遇到同音异义词问题。在这项研究中，我们提出使用一种新的发音感知的独特字符编码来构建基于E2 E RNN-T的普通话ASR系统。所提出的编码是一个发音基音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以克服同音异义词问题，同时利用发音信息提取建模单元。利用所提出的编码，模型输出可以通过一对一的映射转换为最终的识别结果。在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
2022-07-29 cs.CL cs.SD eess.AS
Exploring RNN-Transducer for Chinese Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Tiangong Institute for Intelligent Computing, Tsinghua University（清华大学天工智能计算研究院）；Sogou Inc.（搜狗公司）
端到端的方法最近由于显著简化了自动语音识别（ASR）系统的构造而引起了很多关注。RNN传感器（RNN-T）是一种流行的端到端方法。以往的研究表明，RNN-T是很难训练和一个非常复杂的训练过程，需要一个合理的性能。在本文中，我们探索RNN-T的中文大词汇量连续语音识别（LVCSR）的任务，旨在简化训练过程，同时保持性能。首先，提出了一种新的学习率衰减策略，以加快模型的收敛速度。其次，我们发现在网络开始时添加卷积层并使用有序数据可以丢弃编码器的预训练过程，而不会损失性能。此外，我们还设计了实验，在GPU内存使用率、训练周期和模型性能之间寻找平衡。最后，我们实现了16.9%的字符出错率（CER）在我们的测试集上，这是2%的绝对改善，从一个强大的BLSTM CE系统与语言模型在相同的文本语料库上训练。
2019-04-23 cs.CL cs.LG cs.SD
Multiple-hypothesis RNN-T Loss for Unsupervised Fine-tuning and Self-training of Neural Transducer
Cambridge Research Laboratory, Toshiba Europe Limited（东芝欧洲有限公司剑桥研究实验室）
针对递归神经网络（RNN）-转换器（RNN-T）端到端（E2 E）自动语音识别（ASR）系统，提出了一种利用未标记语音数据进行无监督微调和自训练的新方法。传统系统在使用未标记的音频数据时使用ASR假设作为目标来执行微调/自训练，并且易受基础模型的ASR性能的影响。在这里，为了减轻使用未标记数据时ASR错误的影响，我们提出了一种多假设RNN-T损失，将多个ASR 1-最佳假设纳入损失函数。对于微调任务，在Librispeech上的ASR实验表明，与单假设方法相比，在test_other集上，多假设方法实现了14.2%的单词出错率（WER）的相对降低。对于自训练任务，ASR模型使用来自华尔街日报（WSJ）的监督数据，Aurora-4以及CHiME-4真实噪声数据作为未标记数据进行训练。与单假设方法相比，多假设方法在CHiME-4的单通道真实噪声评估集上产生3.3%的WER相对降低。
2022-07-29 cs.CL cs.SD eess.AS
Multi-blank Transducers for Speech Recognition
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
针对标准RNN-T语音识别推理速度受限的问题，本文提出多空白RNN-T方法，引入消耗多帧的大空白符号并搭配logit欠归一化训练策略，在英德多数据集上实现推理超90%/139%相对加速且提升识别准确率，代码将在NeMo工具包开源。
2024-04-11 cs.LG cs.SD eess.AS
Alignment Restricted Streaming Recurrent Neural Network Transducer
Facebook AI（Facebook人工智能研究院）
在语音社区中，对开发用于自动语音识别（ASR）应用的循环神经网络换能器（RNN-T）模型的兴趣越来越大。RNN-T是用损失函数训练的，该损失函数不强制训练转录本和音频的时间对准。因此，使用单向长短期记忆（LSTM）编码器构建的RNN-T模型往往会在流式传输已经解码的ASR令牌之前等待更长的输入音频跨度。在这项工作中，我们提出了一个修改的RNN-T损失函数和开发对齐限制的RNN-T（Ar-RNN-T）模型，它利用音频文本对齐信息来指导损失计算。我们比较了所提出的方法与现有的作品，如单调RNN-T，LibriSpeech和内部数据集。我们表明，Ar-RNN-T损失提供了一个精细的控制，导航令牌发射延迟和字出错率（WER）之间的权衡。Ar-RNN-T模型还通过在任何给定的延迟范围内保证令牌发射来改进下游应用，例如ASR端点。此外，Ar-RNN-T损失允许我们的LSTM模型架构具有更大的批量大小和4倍的吞吐量，从而能够在GPU上实现更快的训练和收敛。
2020-11-05 cs.CL cs.LG cs.SD
Alignment-Free Training for Transducer-based Multi-Talker ASR
NTT Corporation（NTT公司）
本文提出MT-RNNT-AFT无对齐训练方案，通过在转录开头附加说话人提示标记，使标准RNNT架构无需精确时间戳即可实现多说话人ASR，性能与最先进方法相当且训练过程大幅简化。
2024-09-30 cs.CL cs.SD eess.AS
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Reducing Exposure Bias in Training Recurrent Neural Network Transducers
IBM Research AI（IBM研究院人工智能）；IBM T. J. Watson Research Center（IBM T. J. Watson研究中心）
当使用典型的最大似然准则训练循环神经网络传感器（RNTs）时，预测网络仅在地面真实标签序列上训练。这会导致推断过程中的不匹配，称为暴露偏差，此时模型必须处理包含错误的标签序列。在本文中，我们研究的方法，以减少暴露偏见的训练，以提高泛化的RNNT模型的自动语音识别（ASR）。一个标签保持输入扰动的预测网络。使用SwitchOut和基于附加令牌语言模型的预定采样来扰动输入令牌序列。在300小时Switchboard数据集上进行的实验证明了它们的有效性。通过减少暴露偏差，我们表明我们可以进一步提高高性能RNNT ASR模型的准确性，并在300小时Switchboard数据集上获得最先进的结果。
2021-08-24 cs.AI cs.CL cs.SD
SegAug: CTC-Aligned Segmented Augmentation For Robust RNN-Transducer Based Speech Recognition
ZaloAI；Ho Chi Minh City University of Science（胡志明市科学大学）；Vietnam National University（越南国家大学）
针对 RNN-T 过度依赖语言上下文导致删除错误的问题，本文提出基于 CTC 对齐的分段增强 SegAug，通过生成低句级语义的音频-文本对强化声学建模，并在多个数据集上显著降低 WER 与删除率。
2025-02-20 cs.SD eess.AS
Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer
Google Inc.（谷歌公司）
我们研究训练端到端的语音识别模型与循环神经网络传感器（RNN-T）：一个流，全神经，序列到序列的架构，共同学习声学和语言模型组件从转录的声学数据。我们探讨了各种模型架构，并演示了如果有额外的文本或发音数据，如何进一步改进模型。该模型包括一个“编码器”，这是从一个连接的时间分类为基础的（CTC）的声学模型初始化，和一个“解码器”，这是部分初始化的循环神经网络语言模型训练的文本数据。整个神经网络使用RNN-T损失进行训练，并直接将识别的转录作为字素序列输出，从而执行端到端的语音识别。我们发现，性能可以进一步提高，通过使用子词单元（“词片”），捕捉更长的上下文，并显着减少替换错误。最好的RNN-T系统是一个十二层LSTM编码器，带有一个两层LSTM解码器，以30，000个单词作为输出目标，在语音搜索和语音听写任务中实现了8.5\%的单词出错率和5.2\%的单词错误率，与语音搜索和语音听写任务中8.3\%的最先进基线相当。
2018-01-02 cs.CL cs.SD eess.AS
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
Google Inc.（谷歌公司）
在本文中，我们提出了一个端到端的语音识别模型与Transformer编码器，可用于流式语音识别系统。基于自注意的Transformer计算块用于独立地编码音频和标签序列。来自音频和标签编码器两者的激活与前馈层组合，以针对声学帧位置和标签历史的每个组合计算标签空间上的概率分布。这类似于递归神经网络传感器（RNN-T）模型，它使用RNN进行信息编码，而不是Transformer编码器。该模型使用非常适合流解码的RNN-T损失进行训练。我们目前的LibriSpeech数据集上的结果表明，限制左上下文的自我注意力在Transformer层，使解码计算易于处理的流，只有轻微的精度下降。我们还表明，我们的模型的完全注意力版本击败了LibriSpeech基准测试的最先进的准确性。我们的研究结果还表明，我们可以通过关注有限数量的未来帧来弥合我们模型的完全注意力和有限注意力版本之间的差距。
2020-02-14 cs.CL cs.SD eess.AS
Integrating Text Inputs For Training and Adapting RNN Transducer ASR Models
IBM Research AI（IBM研究院人工智能部门）
与使用模块化架构的混合自动语音识别（ASR）系统（其中每个组件可以独立地适应于新的领域）相比，最近的端到端（E2 E）ASR系统由于其全神经单片构造而难以定制。在本文中，我们提出了一种新的文本表示和E2 E ASR模型的训练框架。通过这种方法，我们证明了经过训练的RNN转换器（RNN-T）模型的内部LM组件可以有效地适应纯文本数据。使用语音和文本输入训练的RNN-T模型比仅使用语音训练的基线模型有所改进，在NIST Hub 5 2000评估的Switchboard和CallHome测试集上，单词出错率（WER）降低了近13%。通过将这种通用RNN-T模型定制为三个独立的数据集，进一步证明了所提出方法的有用性。我们观察到20-45%的相对字出错率（WER）减少在这些设置与这种新的LM风格的定制技术，只使用不成对的文本数据从新的域。
2022-02-26 cs.CL cs.SD eess.AS
Efficient minimum word error rate training of RNN-Transducer for end-to-end speech recognition
在这项工作中，我们提出了一种新的和有效的最小字错误率（MWER）的RNN传感器（RNN-T）的训练方法。与以前关于这个主题的工作不同，它执行动态有限大小的波束搜索解码并为预期的编辑距离计算生成对齐分数，在我们提出的方法中，我们重新计算并汇总N个最佳列表中每个假设的所有可能对齐的分数。使用前向-后向算法有效地计算假设概率得分和反向传播梯度。此外，所提出的方法允许我们解耦的解码和训练过程，因此我们可以执行离线并行解码和MWER训练的每个子集迭代。实验结果表明，这种半实时方法可以将实时方法的速度提高6倍，并且与基线RNN-T模型相比，WER提高了3.6%。当为端点添加EOS时，所提出的MWER训练还可以有效地减少RNN-T模型引入的高删除错误（9.2%WER减少）。如果我们使用提出的RNN-T重新评分方法对假设进行重新排序，并使用外部RNN-LM执行额外的重新评分，则可以实现进一步的改进。最好的系统实现了5%的英语测试集的真实远场录音和11.6%的WER减少音乐领域的话语相对改善。
2020-07-27 cs.CL cs.LG cs.SD
TST: Time-Sparse Transducer for Automatic Speech Recognition
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Tsinghua University（清华大学）
针对 RNN-T 处理长解码序列时内存和计算开销大的问题，提出时间稀疏转换器，通过降低时间分辨率并加权合并隐藏状态，在 AISHELL-1 上显著降低实时率且保持接近的识别精度。
2023-07-17 cs.SD eess.AS
CIF-T: A Novel CIF-based Transducer Architecture for Automatic Speech Recognition
SenseTime Research（商汤科技研究院）；University of Science and Technology Beijing（北京科技大学）；Nankai University（南开大学）
针对RNN-T模型在ASR中的计算冗余和预测器网络作用减弱问题，提出结合CIF机制的CIF-T模型，舍弃RNN-T损失并引入多策略优化，在AISHELL-1和WenetSpeech数据集上实现更优性能与更低计算开销。
2024-11-27 cs.CL cs.SD eess.AS
Word-level confidence estimation for RNN transducers
Google Research（谷歌研究院）
置信度估计是诸如医疗转录之类的应用中经常请求的特征，其中错误可能影响患者护理，并且置信度估计可以用于提醒医疗专业人员验证识别中的潜在错误。在本文中，我们提出了一个轻量级的神经置信度模型定制的自动语音识别（ASR）系统与递归神经网络传感器（RNN-T）。与其他现有的方法相比，我们的模型利用：（a）与识别的单词，这降低了计算复杂性的时间信息，和（b）一个简单而优雅的技巧子字和单词序列之间的映射。该映射解决了非唯一标记化和标记删除问题，同时放大了易混淆单词之间的差异。通过对两个不同的长形式测试集进行广泛的实证评估，我们证明该模型实现了0.4归一化交叉熵（NCE）和0.05预期校准误差（ECE）的性能。它在不同的ASR配置中都是健壮的，包括目标类型（字素与词素）、流量条件（流与非流）和编码器类型。我们进一步讨论了评价指标的重要性，以反映实际应用，并强调需要进一步的工作，以提高阴性准确率（NPV）和真阴性率（TNR）的曲线下面积（AUC）。
2021-09-28 cs.CL cs.SD eess.AS
Sequence Transduction with Graph-based Supervision
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
递归神经网络转换器（RNN-T）目标在构建当今最好的生产自动语音识别（ASR）系统中发挥着重要作用。与连接主义时间分类（CTC）目标类似，RNN-T损失使用特定的规则来定义如何生成一组对齐以形成用于全和训练的网格。然而，这些规则是否是最佳的，是否确实导致最佳的ASR结果，在很大程度上还不清楚。在这项工作中，我们提出了一个新的转换器目标函数，它将RNN-T损失推广到接受标签的图形表示，从而提供了一个灵活有效的框架来操纵训练格，例如，用于研究不同的转换规则、实现不同的换能器损耗或限制对准。我们证明了与标准RNN-T相比，具有CTC样网格的基于传感器的ASR实现了更好的结果，同时还确保了严格的单调对齐，这将允许更好地优化解码过程。例如，相对于等效的基于RNN-T的系统，所提出的类CTC换能器在LibriSpeech的测试其他条件上实现了4.8%的改进。
2022-03-31 cs.CL cs.LG cs.SD
Self-Attention Transducers for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
递归神经网络转换器（RNN-T）已成功应用于端到端语音识别。然而，递归结构使得并行化变得困难。本文提出了一种用于语音识别的自注意转换器（SA-T）。RNN被自注意块所取代，自注意块可以对序列内部的长期依赖关系进行建模，并且能够有效地并行化。此外，提出了一种路径感知的正则化方法，以帮助SA-T学习对齐并提高性能。此外，利用块流机制实现在线解码。所有的实验都是在普通话数据集AISHELL-1上进行的。结果表明，与基线RNN-T相比，我们提出的方法在字符错误率方面实现了21.3%的相对降低。此外，SA-T与块流机制可以执行在线解码，只有一个小的性能下降。
2019-09-28 cs.CL cs.SD eess.AS
Research on Modeling Units of Transformer Transducer for Mandarin Speech Recognition
Jingdong Digits Technology Holding Co., Ltd. (JD Digits)（京东数字科技控股有限公司（京东数字科技））
在端到端语音识别中，建模单元和模型结构是递归神经网络转换器（RNN-T）的两个关键因素。为了提高RNN-T在汉语语音识别中的性能，提出了一种自注意Transformer和RNN相结合的Transformer变换器。探讨了Transformer传感器不同建模单元的选择。此外，我们提出了一种新的混合带宽训练方法，以获得一个通用的模型，能够准确地识别汉语语音与不同的采样率同时进行。所有的实验都是在8 kHz和16 kHz采样率下对大约12，000小时的普通话语音进行的。实验结果表明，普通话Transformer转换器采用带声调的音节，取得了最好的性能。该模型的平均相对字错误率（WER）降低了14.4%和44.1%，分别与使用音节首/尾与声调和汉字的模型相比。此外，它优于基于音节首/尾与声调的模型，平均13.5%的相对字符错误率（CER）减少。
2020-04-26 cs.CL cs.LG cs.SD
Masked Self-distilled Transducer-based Keyword Spotting with Semi-autoregressive Decoding
MoE Key Lab of Artificial Intelligence, AI Institute, X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China（人工智能大模型实验室、人工智能研究院、X-LANCE实验室、上海交通大学）；Taobao & Tmall Group of Alibaba, China（阿里巴巴淘宝与天猫集团）
本文提出掩码自蒸馏训练策略和半自回归解码方法，有效缓解了RNN-T关键词检测中的过拟合问题，并融合了自回归与非自回归解码的优势以保持卓越性能。
2025-05-30 cs.SD eess.AS
Aligner-Encoders: Self-Attention Transformers Can Be Self-Transducers
Google（谷歌公司）
研究发现基于Transformer的编码器可在解码前内部执行音频-文本对齐，据此提出更简单高效的Aligner-Encoder模型，其推理速度比RNN-T快2倍、比AED快16倍，性能接近最先进水平。
2025-02-06 cs.AI cs.LG cs.SD
Unidirectional Memory-Self-Attention Transducer for Online Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
自注意模型已经成功地应用于端到端的语音识别系统中，大大提高了识别的准确率。然而，这种基于注意力的模型不能用于在线语音识别，因为这些模型通常必须利用整个声学序列作为输入。一种常见的方法是通过固定的左右窗口来限制注意视野，这使得计算成本可管理，但也引入了性能下降。在本文中，我们提出了记忆自我注意（MSA），它增加了历史信息的限制自我注意单元。MSA只需要本地时间特征作为输入，并通过关注记忆状态有效地建模长时间上下文。同时，递归神经网络转换器（RNN-T）已被证明是一个伟大的方法，在线ASR任务，因为RNN-T的对齐是局部和单调的。我们提出了一种新的网络结构，称为记忆自我注意（MSA）换能器。MSA传感器的编码器和解码器均包含建议的MSA单元。实验结果表明，在SWBD数据集上，我们提出的模型相对于限制性自注意模型WER结果提高了$13.5 on WSJ and $ 7.1，并且计算量没有太大增加.
2021-02-23 cs.SD eess.AS
Lattice-Free Sequence Discriminative Training for Phoneme-Based Neural Transducers
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
本文针对 RNN-Transducer 提出三种无格序列判别训练目标，在基于音素的神经转录器上省去训练解码步骤，实现最高 6.5% 的词错误率相对改进及 40%-70% 的训练加速。
2023-05-25 cs.AI cs.CL cs.LG
TDT-KWS: Fast And Accurate Keyword Spotting Using Token-and-duration Transducer
Shanghai Jiao Tong University（上海交通大学）；AISpeech Ltd（思必驰科技有限公司）；NVIDIA（英伟达公司）
本文提出TDT-KWS，利用token-and-duration Transducers进行关键词检索，并设计了流式语音场景下的帧异步KWS解码算法，相比RNN-T和传统TDT-ASR在准确率、推理速度和噪声鲁棒性上均有提升。
2024-03-20 cs.SD eess.AS
Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research（IBM研究院）
我们报告了积极的量化策略，大大加快了循环神经网络传感器（RNN-T）的推理。我们使用4位整数表示权值和激活，并应用量化感知训练（QAT）来重新训练完整模型（声学编码器和语言模型），并实现近等精度。我们表明，定制的量化方案，是针对网络的本地属性是必不可少的，以实现良好的性能，同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益，但它严重增加了推理的计算成本。我们表明，我们的量化策略，使使用大波束宽度的假设搜索，同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比，全精度模型。通过硬件模拟，我们估计从FP 16到INT 4的端到端量化RNN-T（包括LM融合）的$\times$加速为3.4，导致实时的因子（RTF）为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上，我们保留了与LM融合相关的大部分增益，将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
针对流式ASR的性能与延迟平衡难题，提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法，在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
Joint Beam Search Integrating CTC, Attention, and Transducer Decoders
针对不同E2E-ASR解码器架构各有优劣的问题，提出共享编码器的4D联合建模方案与两阶段训练策略，还设计三种以不同解码器为主的联合波束搜索算法，实验证明其性能优于单解码器模型与传统CTC/attention解码。
2025-01-14 cs.CL cs.SD eess.AS
4D ASR: Joint modeling of CTC, Attention, Transducer, and Mask-Predict decoders
Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文提出 CTC、注意力、RNN-T 与 mask-predict 四解码器联合建模（4D），通过联合训练和单遍联合解码提升 ASR 鲁棒性与性能，并支持按应用场景灵活切换。
2023-05-29 cs.CL cs.SD eess.AS
PROCTER: PROnunciation-aware ConTextual adaptER for personalized speech recognition in neural transducers
Amazon Alexa（亚马逊Alexa）
提出发音感知上下文适配器PROCTER，通过音素和文本嵌入向RNN-T注入词典知识，在个性化实体上WER降低44%和57%，参数仅增1%，零样本下WER改善7%。
2023-03-30 cs.SD eess.AS
Improving RNN-T ASR Accuracy Using Context Audio
我们提出了一种基于递归神经网络换能器（RNN-T）的流自动语音识别（ASR）的训练方案，该方案允许编码器网络在训练期间使用流的分段或部分标记序列来学习利用来自流的上下文音频。我们表明，在训练和推理过程中使用上下文音频可以导致语音助理ASR系统在现实生产环境中的单词错误率降低6%以上。我们研究了所提出的训练方法对包含背景语音的声学挑战性数据的影响，并提出了数据点，这些数据点表明这种方法有助于网络学习说话人和环境适应。为了进一步了解基于长短期记忆（LSTM）的ASR编码器利用长期上下文的能力，我们还可视化了RNN-T相对于输入的损失梯度。
2021-06-15 cs.SD eess.AS
Federated Domain Adaptation for ASR with Full Self-Supervision
Meta AI
跨设备联邦学习（FL）通过在用户设备上协作训练模型来保护用户隐私，因此无需收集、存储和手动标记用户数据。虽然FL训练算法、非IID性和差分隐私等重要主题在文献中已经得到了很好的研究，但本文重点讨论了提高设备上ASR的两个具有实际意义的挑战：缺乏地面真实传输以及边缘设备上计算资源和网络带宽的稀缺。首先，我们提出了一个FL系统的设备上ASR领域自适应与完全自我监督，它使用自标记连同数据增强和过滤技术。该系统可以改进基于Emformer-Transducer的强大ASR模型，该模型是在域外数据上预训练的，使用域内音频而无需任何地面真实转录。其次，为了降低训练成本，我们提出了一种自限制RNN转换器（SR-RNN-T）损失，这是一种使用自监督Viterbi对齐的自限制RNN-T的变体。为了进一步降低计算和网络成本，我们系统地探索只调整Emformer-Transducer中的权重子集。我们的最佳训练配方在强域外基线上实现了$12.9\%$相对WER降低，这等于完全人工监督和集中训练可实现的降低的$70\%$。
2022-04-05 cs.CL cs.SD eess.AS
Extending RNN-T-based speech recognition systems with emotion and language classification
IBM Research AI（IBM研究院人工智能部门）
语音转录、情感识别和语言识别通常被认为是三种不同的任务。每一个都需要不同的模型，具有不同的架构和培训过程。我们建议使用基于递归神经网络转换器（RNN-T）的语音到文本（STT）系统作为一个共同的组成部分，可用于情感识别和语言识别以及语音识别。我们的工作通过最小的变化扩展了STT系统的情感分类，并在IEMOCAP和MELD数据集上显示了成功的结果。此外，我们还证明了通过向RNN-T模块添加一个轻量级组件，它也可以用于语言识别。在我们的评估中，这个新的分类器展示了NIST-LRE-07数据集的最新准确性。
2022-07-28 cs.SD eess.AS
Label-Looping: Highly Efficient Decoding for Transducers
NVIDIA（英伟达）；University of London（伦敦大学）
本研究针对Transducer语音识别模型解码效率问题，提出交换帧与标签循环顺序、结合CUDA张量并行假设操作的Label-Looping贪心解码算法，在批量32时速度最高提升2倍，通用性强且已开源。
2024-09-16 cs.AI cs.CL cs.LG
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
USM RNN-T model weights binarization
Google LLC（谷歌公司）
本文提出USM RNN-T模型的权重二值化方法，通过仅权重量化将模型规模减小15.9倍，词错误率仅增加1.9%，有效降低服务成本，适用于实际应用。
2024-06-06 cs.SD eess.AS
Improving the fusion of acoustic and text representations in RNN-T
Google LLC（谷歌公司）
递归神经网络转换器（RNN-T）最近已成为流自动语音识别（ASR）的主流端到端方法。为了估计子字单元上的输出分布，RNN-T使用全连接层作为联合网络，以融合使用声学编码器提取的声学表示与使用基于先前子字单元的预测网络获得的文本表示。在本文中，我们建议在联合网络中使用门控、双线性池以及它们的组合，以产生更具表现力的表示来馈送到输出层。还提出了一种正则化方法，通过在RNN-T训练开始时减少反向传播到预测网络中的梯度，来实现更好的声学编码器训练。在一个多语种ASR环境下对九种语言进行语音搜索的实验结果表明，联合使用所提出的方法，仅需几百万个额外参数，就能使相对误词率降低4%~ 5%。
2022-01-25 cs.AI cs.CL cs.SD
Globally Normalising the Transducer for Streaming Speech Recognition
Samsung AI Center（三星人工智能中心）
针对流式语音识别中Transducer因局部归一化存在的数学缺陷，本文提出近似损失函数的方法实现全局归一化，使词错误率相对降低9-11%，缩小流式与前瞻模式的性能差距。
2023-07-20 cs.LG cs.SD eess.AS
Efficient Training of Neural Transducer for Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
提出一种3阶段渐进式训练流程，在有限计算资源下用单GPU在2-3周内从头训练高性能神经转换器模型，在Librispeech等基准上接近最先进性能。
2022-08-08 cs.CL cs.SD eess.AS
Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter
NVIDIA（英伟达）；University of London（伦敦大学）
本文提出基于CTC词识别器的快速上下文偏置方法，通过CTC对数概率与紧凑上下文图匹配检测候选词并替换贪婪识别结果，结合混合Transducer-CTC模型，在加速推理的同时提升F-score并降低WER，已集成于NVIDIA NeMo工具包。
2024-06-11 cs.AI cs.CL cs.LG
FSR: Accelerating the Inference Process of Transducer-Based Models by Applying Fast-Skip Regularization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
基于换能器的模型，如RNN-Transducer和transformer-transducer，在语音识别中取得了巨大的成功。一个典型的换能器模型解码的输出序列的条件下，当前的声学状态和先前预测的令牌一步一步。据统计，预测结果中的空白标记数占所有标记数的近90%。预测空白标记需要大量的计算和时间，但只有非空白标记才会出现在最终的输出序列中。因此，我们提出了一种名为快速跳过正则化的方法，它试图将换能器预测的空白位置与CTC模型预测的空白位置对齐。在推理过程中，传感器模型通过一个简单的CTC投影层预先预测空白标记，无需传感器解码器进行大量复杂的前向计算，然后跳过空白标记，从而大大减少了计算量，提高了推理速度。所有的实验都是在公开的汉语普通话数据集AISHELL-1上进行的。结果表明，快速跳跃正则化确实可以帮助传感器模型学习空白位置对准。此外，使用快速跳过的推理速度可以提高近4倍，而性能只有很小的下降。
2021-04-07 cs.CL cs.SD eess.AS
Developing RNN-T Models Surpassing High-Performance Hybrid Models with Customization Capability
Microsoft Speech and Language Group（微软语音与语言组）
递归神经网络转换器（RNN-T）由于其流性质，是一种非常有前途的端到端（E2 E）模型，可以取代流行的混合模型用于自动语音识别。在本文中，我们描述了我们最近开发的RNN-T模型，这些模型在训练过程中减少了GPU内存消耗，具有更好的初始化策略，以及具有未来前瞻性的高级编码器建模。当使用微软6.5万小时的匿名训练数据进行训练时，开发的RNN-T模型超越了经过良好训练的混合模型，具有更好的识别准确性和更低的延迟。我们进一步研究了如何将RNN-T模型定制到一个新的领域，这对于将E2 E模型部署到实际场景非常重要。通过比较在新领域中利用纯文本数据的几种方法，我们发现使用从特定领域文本生成的文本到语音来更新RNN-T的预测和联合网络是最有效的。
2020-07-30 cs.CL cs.SD eess.AS
Accelerating RNN-T Training and Inference Using CTC guidance
Google（谷歌）
提出了一种基于协同训练的关联时态分类（CTC）模型指导的递归神经网络转换器（RNN-T）的训练和推理加速方法。我们做了一个关键的假设，如果编码器嵌入帧被CTC模型分类为空白帧，那么对于RNN-T中的所有部分对齐或假设，该帧很可能会被对齐为空白，并且可以从解码器输入中丢弃。我们还表明，这种帧缩减操作可以应用于编码器的中间，这将显著加快RNN-T中的训练和推理速度。我们进一步表明，CTC对齐，CTC解码器的副产品，也可以用于在训练过程中对RNN-T进行格约简。我们的方法进行评估的Librispeech和SpeechStew任务。我们证明了所提出的方法能够将RNN-T推理加速2.2倍，并且具有相似或稍好的单词错误率（WER）。
2022-10-29 cs.CL cs.SD eess.AS
Separator-Transducer-Segmenter: Streaming Recognition and Segmentation of Multi-party Speech
Amazon Alexa（亚马逊Alexa）
具有重叠语音的多方对话的流识别和分割对于下一代语音助理应用至关重要。在这项工作中，我们解决了在以前的工作中发现的挑战，多圈递归神经网络传感器（MT-RNN-T）与一种新的方法，分离器-传感器-分割器（STS），使语音分离，识别和分割更紧密地集成在一个单一的模型。首先，我们提出了一种新的分割建模策略，通过开始的回合和结束的回合令牌，提高了分割识别精度不下降。其次，我们进一步提高了语音识别和分割精度，通过发射正则化方法，FastEmit，和多任务训练与语音活动信息作为一个额外的训练信号。第三，我们实验结束轮发射延迟惩罚，以提高端点检测每个扬声器轮。最后，我们建立了一个新的框架，通过发射延迟指标的多方会话分割分析。我们最好的模型，我们报告4.6%的腹肌。转动计数精度提高了17%。LibriCSS数据集上的字错误率（WER）与以前发表的工作相比有所改善。
2022-05-10 cs.CL cs.SD eess.AS
