Research on Modeling Units of Transformer Transducer for Mandarin Speech Recognition
Jingdong Digits Technology Holding Co., Ltd. (JD Digits)（京东数字科技控股有限公司（京东数字科技））
在端到端语音识别中，建模单元和模型结构是递归神经网络转换器（RNN-T）的两个关键因素。为了提高RNN-T在汉语语音识别中的性能，提出了一种自注意Transformer和RNN相结合的Transformer变换器。探讨了Transformer传感器不同建模单元的选择。此外，我们提出了一种新的混合带宽训练方法，以获得一个通用的模型，能够准确地识别汉语语音与不同的采样率同时进行。所有的实验都是在8 kHz和16 kHz采样率下对大约12，000小时的普通话语音进行的。实验结果表明，普通话Transformer转换器采用带声调的音节，取得了最好的性能。该模型的平均相对字错误率（WER）降低了14.4%和44.1%，分别与使用音节首/尾与声调和汉字的模型相比。此外，它优于基于音节首/尾与声调的模型，平均13.5%的相对字符错误率（CER）减少。
2020-04-26 cs.CL cs.LG cs.SD
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Transducer-Llama: Integrating LLMs into Streamable Transducer-based Speech Recognition
Meta AI；University of Cambridge（剑桥大学）
本文提出Transducer-Llama架构，通过将LLM集成到Factorized Transducer模型实现流式ASR，并采用弱到强LM替换与MWER微调策略，在LibriSpeech上较基线最高降低32%词错率。
2024-12-21 cs.CL eess.AS
Transformer-Transducer: End-to-End Speech Recognition with Self-Attention
Facebook AI（Facebook人工智能研究院）
我们探索在神经换能器中使用Transformer网络进行端到端语音识别的选项。Transformer网络使用自注意力进行序列建模，并在并行计算和捕获上下文方面具有优势。我们提出1）使用具有因果卷积的VGGNet来合并位置信息并降低帧速率以进行有效推理2）使用截断的自注意力来实现Transformer的流式传输并降低计算复杂度。所有的实验都是在公共的LibriSpeech语料库上进行的。所提出的Transformer-Transducer优于LSTM/BLSTM网络的神经传感器，并且在测试干净集上实现了6.37%的字错误率，在测试其他集上实现了15.30%的字错误率，同时保持了整个系统的45.7M参数的可流化，紧凑，并且计算效率高，复杂度为O（T），其中T是输入序列长度。
2019-10-28 cs.CL cs.SD eess.AS
HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation
CLSP JHU（杰斯罗大学计算机科学与工程系）；HLTCOE JHU（杰斯罗大学人类语言技术与计算机工程系）；Xiaomi（小米公司）
提出HENT-SRT框架，通过任务分解、CTC一致性自蒸馏、层级高效编码器及空白惩罚，在保持ASR性能的同时提升语音翻译质量并降低训练成本。
2025-06-02 cs.CL eess.AS
LongFNT: Long-form Speech Recognition with Factorized Neural Transducer
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
传统的自动语音识别（ASR）系统通常只关注单个语音，而没有考虑到具有有用历史信息的长语音，这在实际应用中更加实用。在我们的初步实验中，简单地关注香草神经转换器模型的更长转录历史没有显示出太大的增益，因为预测网络不是纯语言模型。这促使我们利用因子化的神经转换器结构，包含一个真正的语言模型，词汇预测。我们提出了{LongFNT-Text}架构，该架构将词汇级别的长形式特征直接与词汇预测器的输出融合，然后将标记级别的长形式特征嵌入词汇预测器中，并使用预训练的上下文编码器RoBERTa进一步提高性能。此外，我们提出了{LongFNT}架构，通过扩展的长形式的语音到原始的语音输入，并取得了最佳的性能。在LibriSpeech和GigaSpeech语料库上验证了LongFNT方法的有效性，相对单词出错率~（WER）分别降低了19%和12%。
2022-11-17 cs.CL cs.SD eess.AS
Label-Synchronous Neural Transducer for E2E Simultaneous Speech Translation
University of Cambridge（剑桥大学）
本文提出标签同步神经转导器LS-Transducer-SST，通过自回归积分发放机制和延迟可控AIF实现同声传译中的流式与重排序，并利用单语文本缓解数据稀疏，在质量-延迟权衡上优于现有方法。
2024-06-06 cs.CL eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft（微软）
在基于传感器的自动语音识别（ASR）系统中，背景信息是动态的，在模型训练过程中是不可用的。在这项工作中，我们引入了一个轻量级的上下文拼写校正模型，以纠正上下文相关的识别错误，在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型，并使用过滤算法来处理大尺寸的上下文列表。实验表明，该模型提高了基线ASR模型的性能，相对词出错率降低了约50%，也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Separator-Transducer-Segmenter: Streaming Recognition and Segmentation of Multi-party Speech
Amazon Alexa（亚马逊Alexa）
具有重叠语音的多方对话的流识别和分割对于下一代语音助理应用至关重要。在这项工作中，我们解决了在以前的工作中发现的挑战，多圈递归神经网络传感器（MT-RNN-T）与一种新的方法，分离器-传感器-分割器（STS），使语音分离，识别和分割更紧密地集成在一个单一的模型。首先，我们提出了一种新的分割建模策略，通过开始的回合和结束的回合令牌，提高了分割识别精度不下降。其次，我们进一步提高了语音识别和分割精度，通过发射正则化方法，FastEmit，和多任务训练与语音活动信息作为一个额外的训练信号。第三，我们实验结束轮发射延迟惩罚，以提高端点检测每个扬声器轮。最后，我们建立了一个新的框架，通过发射延迟指标的多方会话分割分析。我们最好的模型，我们报告4.6%的腹肌。转动计数精度提高了17%。LibriCSS数据集上的字错误率（WER）与以前发表的工作相比有所改善。
2022-05-10 cs.CL cs.SD eess.AS
Efficient Training of Neural Transducer for Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
提出一种3阶段渐进式训练流程，在有限计算资源下用单GPU在2-3周内从头训练高性能神经转换器模型，在Librispeech等基准上接近最先进性能。
2022-08-08 cs.CL cs.SD eess.AS
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA（英伟达）
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘，其中原始域上的字出错率显著降低。本文讨论的情况下，我们要同时适应自动语音识别模型到一个新的域，并限制在原始域的准确性下降，而无需访问原始的训练数据集。我们提出了几种技术，例如有限的训练策略和用于传感器编码器，预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集，并在新的目标域上获得了强有力的结果，同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group（微软语音组）
神经传感器由于其自然的流式传输能力，成为目前最流行的语音识别端到端模型。然而，它是具有挑战性的，以适应它与纯文本数据。因子化神经传感器（FNT）模型的提出，以减轻这个问题。与标准神经传感器模型相比，FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是：在训练过程中增加CTC准则，在自适应过程中增加KL发散损失，使用预训练的语言模型来播种词汇预测器，以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外，使用词汇预测器的n-gram插值极大地提高了自适应速度，具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
Finstreder: Simple and fast Spoken Language Understanding with Finite State Transducers using modern Speech-to-Text models
University of Augsburg（奥格斯堡大学）
在口语语言理解（SLU）中，任务是从音频命令中提取重要信息，例如用户希望系统做什么的意图以及位置或数字等特殊实体。本文提出了一种将意图和实体嵌入到有限状态转换器中的简单方法，并与预训练的通用语音到文本模型相结合，允许在没有任何额外训练的情况下构建SDU模型。构建这些模型非常快，只需要几秒钟。它也是完全独立的语言。在不同的基准测试比较表明，这种方法可以优于其他多个，更多的资源需求SLU方法。
2022-06-29 cs.CL cs.HC cs.SD
Mobile Keyboard Input Decoding with Finite-State Transducers
Google（谷歌）
我们提出了一个有限状态转换器（FST）表示用于解码移动设备上的键盘输入的模型。从学习领域的语音识别，我们描述了一个解码框架，可以满足严格的记忆和延迟限制的键盘输入。我们扩展了这个框架，以支持通常不存在于语音识别，如文字解码，自动更正，单词补全和下一个单词的预测功能。我们描述的一般框架，我们称之为短的键盘“FST解码器”，以及实现的细节，是新的语音FST解码器相比。我们证明了FST解码器能够实现新的UX功能，如后期校正。最后，我们概述了这个解码器如何支持高级功能，如个性化和上下文。
2017-04-13 cs.CL
WST: Weakly Supervised Transducer for Automatic Speech Recognition
Johns Hopkins University（约翰霍普金斯大学）；Xiaomi（小米）；Microsoft（微软）
针对 RNN-T 依赖大量高质量标注数据的问题，本文提出弱监督 Transducer（WST），通过灵活训练图在转录错误率高达 70% 时仍保持性能，并优于 BTC、OTC 等 CTC 类弱监督方法。
2025-11-06 cs.CL
Self-Attention Transducers for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
递归神经网络转换器（RNN-T）已成功应用于端到端语音识别。然而，递归结构使得并行化变得困难。本文提出了一种用于语音识别的自注意转换器（SA-T）。RNN被自注意块所取代，自注意块可以对序列内部的长期依赖关系进行建模，并且能够有效地并行化。此外，提出了一种路径感知的正则化方法，以帮助SA-T学习对齐并提高性能。此外，利用块流机制实现在线解码。所有的实验都是在普通话数据集AISHELL-1上进行的。结果表明，与基线RNN-T相比，我们提出的方法在字符错误率方面实现了21.3%的相对降低。此外，SA-T与块流机制可以执行在线解码，只有一个小的性能下降。
2019-09-28 cs.CL cs.SD eess.AS
On Language Model Integration for RNN Transducer based Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
外部语言模型（LM）和RNN-转换器（RNN-T）的隐式学习的内部LM（ILM）之间的不匹配可能限制LM集成（诸如简单的浅融合）的性能。贝叶斯解释建议在ILM校正之前删除该序列。在这项工作中，我们研究了在一个共同的RNN-T框架中制定的各种基于ILM校正的LM集成方法。我们对ILM校正性能提高的两个主要原因进行了解码解释，并通过详细分析进一步进行了实验验证。我们还提出了一个精确的ILM训练框架，通过扩展混合自回归传感器中给出的证明，这使得其他ILM方法的理论依据。分别对Librispeech和TED-LIUM Release 2语料库的域内和跨域评价进行了系统的比较。我们提出的精确ILM训练可以进一步提高最佳ILM方法。
2022-02-16 cs.CL eess.AS
Minimum Bayes Risk Training of RNN-Transducer for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了最小贝叶斯风险（MBR）训练的RNN-transducer（RNN-T）的端到端的语音识别。具体地，用RNN-T训练模型初始化，MBR训练通过最小化参考标记序列和动态生成的N-最佳假设之间的预期编辑距离来进行。我们还引入了一种启发式方法，将外部神经网络语言模型（NNLM）纳入RNN-T束搜索解码，并使用外部NNLM探索MBR训练。实验结果表明，MBR训练的模型大大优于RNN-T训练的模型，如果使用外部NNLM训练，可以实现进一步的改进。我们最好的MBR训练系统在阅读和自发汉语语音上分别实现了1.2%和0.5%的绝对字符出错率（CER）降低，超过了基于强卷积和Transformer的RNN-T基线，该基线经过约21，000小时的语音训练。
2019-11-28 cs.CL cs.LG cs.SD
Phoneme Based Neural Transducer for Large Vocabulary Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
为了结合经典的和端到端的语音识别方法的优点，我们提出了一个简单的，新颖的和有竞争力的基于音素的神经换能器建模方法。比较了不同的对齐标签拓扑结构，提出了基于词尾的音素标签增强算法。利用音素的局部依赖性，我们采用了一个简化的神经网络结构和一个简单的集成与外部词级语言模型，以保持seq到seq建模的一致性。我们还提出了一个简单，稳定和有效的训练过程中使用逐帧交叉熵损失。一个语音上下文大小为1被证明是足够的最佳性能。提出了一种简化的定时采样方法，并对不同的解码方法进行了简要的比较。我们最好的模型的整体性能与TED-LIUM Release 2和Switchboard语料库的最新（SOTA）结果相当。
2021-04-20 cs.CL eess.AS
Transducers with Pronunciation-aware Embeddings for Automatic Speech Recognition
NVIDIA（英伟达）
本文提出 PET，通过为发音相同或相似的文本 token 共享解码器嵌入提升 ASR 性能，并证明其可缓解错误连锁反应。
2024-04-04 cs.CL cs.LG cs.SD
CoDERT: Distilling Encoder Representations with Co-learning for Transducer-based Speech Recognition
Alexa Machine Learning, Amazon.com（亚马逊Alexa机器学习部门）
我们提出了一种简单而有效的方法来压缩RNN-传感器（RNN-T）通过著名的知识蒸馏范例。我们表明，换能器的编码器输出自然有一个高熵，并包含丰富的信息声学相似的词片混淆。当与较低熵解码器输出组合以产生联合网络对数时，该丰富信息被抑制。因此，我们引入了一个辅助损失，从教师换能器的编码器中提取编码器的logits，并探索这种编码器蒸馏有效工作的训练策略。我们发现，教师和学生的编码器与就地编码器蒸馏串联训练优于使用预先训练和静态教师换能器。我们还报告了一个有趣的现象，我们称之为隐式蒸馏，当教师和学生编码器共享相同的解码器时发生。我们的实验表明，5.37-8.4%的相对字出错率减少（WERR）的内部测试集，和5.05-6.18%的相对WERR LibriSpeech测试集。
2021-06-14 cs.CL cs.LG eess.AS
RNN-Transducer-based Losses for Speech Recognition on Noisy Targets
University of London（伦敦大学）
本文针对语音识别中噪声转录问题，提出 Star-Transducer、Bypass-Transducer 和 Target-Robust Transducer 三种损失函数，分别处理删除、插入及任意错误，显著恢复了 RNN-T 模型的性能。
2025-04-09 cs.AI cs.CL cs.LG
Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition
Microsoft（微软）
近年来，递归神经网络转换器（RNN-T）结构由于其能够进行在线流式语音识别的优点，成为端到端自动语音识别研究的一个新兴趋势。然而，RNN-T训练由于巨大的内存需求和复杂的神经结构而变得困难。简化RNN-T训练的一种常见解决方案是采用连接主义时间分类（CTC）模型以及RNN语言模型（RNNLM）来初始化RNN-T参数。在这项工作中，我们反过来利用外部比对来为RNN-T模型播种。两种不同的预训练解决方案进行了探索，分别称为编码器预训练，和全网络预训练。在微软65,000小时的匿名生产数据上进行评估，删除了个人身份信息，我们提出的方法可以获得显着的改善。特别地，当与随机初始化和广泛使用的CTC+RNNLM初始化策略相比时，编码器预训练解决方案分别实现了10%和8%的相对字出错率降低。我们的解决方案还显著降低了RNN-T模型的基线延迟。
2020-05-01 cs.CL eess.AS
Transformer-Transducers for Code-Switched Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS AI（亚马逊AWS人工智能）
我们生活在一个60%的人口可以流利地说两种或两种以上语言的世界。这些社区的成员在进行对话时经常在语言之间切换。随着自动语音识别（ASR）系统被部署到现实世界中，需要能够在话语内或跨话语处理多种语言的实用系统。在本文中，我们提出了一个端到端的ASR系统使用的变压器换能器模型架构的代码切换语音识别。我们提出了三个修改香草模型，以处理各个方面的代码转换。首先，我们引入了两个辅助损失函数来处理低资源情况下的语码转换。其次，我们提出了一种新的基于掩码的训练策略，语言ID信息，以改善标签编码器的训练，内部的代码切换。最后，我们提出了一个多标签/多音频编码器结构，利用巨大的单语语音语料库对代码切换。我们证明了我们所提出的方法的有效性SEAME数据集，一个公共的普通话-英语码转换语料库，实现了混合出错率的18.5%和26.3%的test_man和test_sge集分别。
2021-02-15 cs.CL eess.AS
Bayes Risk Transducer: Transducer with Controllable Alignment Prediction
Tencent AI LAB（腾讯人工智能实验室）；Tencent ASR Oteam（腾讯语音识别团队）；Carnegie Mellon University（卡内基梅隆大学）
针对普通transducer无对齐路径偏好的问题，本研究提出Bayes Risk Transducer，通过贝叶斯风险函数引导偏好对齐路径，可显著降低非流式ASR推理成本与流式ASR系统延迟。
2023-08-19 cs.CL
Parallel Composition of Weighted Finite-State Transducers
Facebook AI Reseearch（Facebook人工智能研究）；Zoom AI（Zoom人工智能团队（注：Zoom AI可能为公司或团队，此处按原文提取））
在语音识别中经常使用稳态转换器（FST）。转换器组合是以不同粒度组合不同信息源的基本操作。然而，合成也是计算成本更高的操作之一。由于FST的异构结构，用于组合的并行算法在效率、通用性或两者上都是次优的。我们提出了一个算法，并行合成，并实现它的图形处理单元。我们基准我们的并行算法上的随机图的组成和语音识别中常用的图的组成。并行组合随着输入图的大小而更好地缩放，并且对于大型图，可以比顺序CPU算法快10到30倍。
2021-10-06 cs.CL
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
序列转换器，如RNN-T和Conformer-T，是端到端语音识别最有前途的模型之一，特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法（例如，受限训练和FastEmit）来减少延迟，但是延迟的减少通常伴随着准确性的显著降低。我们认为，这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中，我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先，我们定义在网格上的每个对角线的预期延迟，并表明其梯度可以有效地计算内的向前向后算法。然后，我们用这个预期的延迟来增加换能器损耗，从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明，所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms，WER下降0.7%，并且优于传统的限制性训练（110 ms）和FastEmit（67 ms）方法。
2022-11-04 cs.CL cs.SD eess.AS
Cross-lingual Knowledge Transfer and Iterative Pseudo-labeling for Low-Resource Speech Recognition with Transducers
Apple（苹果公司）
针对无人工标注数据的低资源语音识别，提出结合跨语言知识迁移与迭代伪标签训练基于Transducer的ASR系统，替代DNN-HMM混合系统，实现35%的错误率降低。
2023-05-23 cs.CL eess.AS
Attention-based Transducer for Online Speech Recognition
LAIX Inc.（LAIX公司）
最近的研究揭示了递归神经网络转换器（RNN-T）用于端到端（E2 E）语音识别的潜力。在一些最流行的E2 E系统中，包括RNN-T，注意力编码器-解码器（AED）和连接主义时间分类（CTC），RNN-T具有一些明显的优势，因为它支持流识别并且没有帧独立性假设。尽管RNN-T研究取得了重大进展，但在训练速度和准确性方面仍面临性能挑战。我们提出了基于注意力的传感器与修改RNN-T在两个方面。首先，我们在联合网络中引入块式注意。其次，在编码器中引入自注意。我们提出的模型在训练速度和准确性方面都优于RNN-T。对于训练，我们实现了超过1.7倍的加速。使用500小时的LAIX非母语英语训练数据，基于注意力的传感器比基线RNN-T产生约10.6%的WER降低。使用超过10，000小时的完整数据进行训练，我们的最终系统比使用最佳Kaldi TDNN-f配方训练的系统减少了约5.5%的WER。在不降低WER的情况下进行8位权重量化后，在生产服务器的单个CPU核心上，RTF和延迟分别下降到0.34~0.36和268~409毫秒。
2020-05-18 cs.CL cs.SD eess.AS
Contextual Adapters for Personalized Speech Recognition in Neural Transducers
Amazon Alexa（亚马逊Alexa）
由于缺乏训练数据，端到端自动语音识别（E2E ASR）模型中的个人稀有词识别是一个挑战。解决这个问题的标准方法是在推理时使用浅层融合方法。然而，由于它们依赖于外部语言模型和确定性的方法来提高权重，它们的性能是有限的。在本文中，我们提出了在基于神经换能器的ASR模型中训练用于个性化的神经上下文适配器。我们的方法不仅可以偏向用户定义的单词，而且可以灵活地使用预训练的ASR模型。使用内部数据集，我们证明了上下文适配器可以应用于任何通用的预训练ASR模型，以提高个性化。我们的方法优于浅层融合，同时通过不改变任何模型权重来保留预训练模型的功能。我们进一步表明，适配器风格的训练优于在具有用户定义内容的数据集上对ASR模型进行全微调。
2022-05-26 cs.CL cs.LG
Memory-efficient Speech Recognition on Smart Devices
Facebook Inc.（脸书公司）
循环换能器模型已经成为当前和下一代智能设备上的语音识别的有前途的解决方案。传感器模型在合理的内存占用范围内提供具有竞争力的精度，从而缓解了这些设备中的内存容量限制。然而，这些模型从片外存储器访问每个输入时间步长的参数，这对设备电池寿命产生不利影响，并限制了它们在低功耗设备上的可用性。我们解决传感器模型的内存访问问题，通过优化其模型架构和设计新颖的循环单元设计。我们证明了i）模型的能量成本主要由从片外存储器访问模型权重决定，ii）换能器模型架构在确定对片外存储器的访问次数方面是关键的，并且仅仅模型大小不是一个好的代理，iii）我们的换能器模型优化和新颖的递归单元以最小的精度影响将片外存储器访问减少了4.5倍并且将模型大小减少了2倍。
2021-02-23 cs.CL cs.SD eess.AS
Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
Transformer在自动语音识别（ASR）中实现了与最先进的端到端模型竞争的性能，并且比基于RNN的模型需要更少的训练时间。原始的Transformer采用编码器-解码器架构，仅适用于离线ASR。它依赖于注意力机制来学习对齐，并对输入音频进行双向编码。Transformer解码的高计算成本也限制了其在生产流传输系统中的使用。为了使Transformer适用于流式ASR，我们探索了Transducer框架作为学习对齐的可流式方式。对于音频编码，我们应用具有交错卷积层的单向Transformer。交错的卷积层用于对未来的上下文进行建模，这对性能很重要。为了降低计算成本，我们逐渐降低声音输入的采样，也使用交织卷积层。此外，我们限制了自注意中的历史上下文的长度，以保持每个解码步骤的计算成本恒定。我们表明，这种架构，名为Conv-Transformer Transducer，在LibriSpeech数据集上实现了有竞争力的性能（3.6\% WER on test-clean），而无需外部语言模型。该性能与先前发布的可流式传输的Transformer Transducer和强混合流式ASR系统相当，并且以更小的前瞻窗口（140 ms）、更少的参数和更低的帧速率实现。
2020-08-13 cs.CL cs.SD eess.AS
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
Pronunciation-aware unique character encoding for RNN Transducer-based Mandarin speech recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息与通信技术研究所）
对于普通话端到端（E2 E）自动语音识别（ASR）任务，与基于字符的建模单元相比，基于发音的建模单元可以提高模型训练中建模单元的共享性，但会遇到同音异义词问题。在这项研究中，我们提出使用一种新的发音感知的独特字符编码来构建基于E2 E RNN-T的普通话ASR系统。所提出的编码是一个发音基音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以克服同音异义词问题，同时利用发音信息提取建模单元。利用所提出的编码，模型输出可以通过一对一的映射转换为最终的识别结果。在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
2022-07-29 cs.CL cs.SD eess.AS
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，语言身份信息已被用来提高端到端的代码切换（CS）语音识别的性能。然而，以前的工作使用一个额外的语言识别（LID）模型作为辅助模块，这导致系统复杂。在这项工作中，我们提出了一个改进的递归神经网络转换器（RNN-T）模型与语言偏见，以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息，并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比，所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
Composing Finite State Transducers on GPUs
University of Notre Dame（圣母大学）
加权有限状态转换器（FST）经常用于语言处理中，以处理诸如词性标注和语音识别之类的任务。先前已经有使用多个CPU核来加速有限状态算法的工作，但是对并行图形处理单元（GPU）实现的关注有限。在本文中，我们介绍了第一个（据我们所知）GPU实现的FST组合操作，我们还讨论了优化，以实现最佳性能的这种架构。我们表明，我们的方法获得的加速比高达6倍，我们的串行实现和OpenFST的4.5倍。
2018-05-16 cs.CL cs.DC
Towards Effective and Compact Contextual Representation for Conformer Transducer Speech Recognition Systems
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）
针对ASR系统跨句子上下文建模问题，提出在Conformer-Transducer Encoder中利用注意力池化层学习紧凑低维上下文特征，在1000小时Gigaspeech上取得显著WER降低。
2023-06-26 cs.CL eess.AS
Exploring RNN-Transducer for Chinese Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Tiangong Institute for Intelligent Computing, Tsinghua University（清华大学天工智能计算研究院）；Sogou Inc.（搜狗公司）
端到端的方法最近由于显著简化了自动语音识别（ASR）系统的构造而引起了很多关注。RNN传感器（RNN-T）是一种流行的端到端方法。以往的研究表明，RNN-T是很难训练和一个非常复杂的训练过程，需要一个合理的性能。在本文中，我们探索RNN-T的中文大词汇量连续语音识别（LVCSR）的任务，旨在简化训练过程，同时保持性能。首先，提出了一种新的学习率衰减策略，以加快模型的收敛速度。其次，我们发现在网络开始时添加卷积层并使用有序数据可以丢弃编码器的预训练过程，而不会损失性能。此外，我们还设计了实验，在GPU内存使用率、训练周期和模型性能之间寻找平衡。最后，我们实现了16.9%的字符出错率（CER）在我们的测试集上，这是2%的绝对改善，从一个强大的BLSTM CE系统与语言模型在相同的文本语料库上训练。
2019-04-23 cs.CL cs.LG cs.SD
Self-consistent context aware conformer transducer for speech recognition
Webex Intelligence, Cisco Systems（思科系统公司Webex智能部门）
本研究提出一种自洽递归神经网络模块，基于其构建上下文感知的扩展Conformer Transducer架构，结合上下文语言模型浅层融合可将稀有词语音识别准确率提升至多4.5倍，且不影响常用词词错误率，方法兼容多种编码器。
2024-10-03 cs.CL cs.SD eess.AS
Recurrent Neural Network Transducer for Audio-Visual Speech Recognition
Google Inc., 1600 Amphitheatre Pkwy, Mountain View, CA 94043, USA（美国加利福尼亚州山景城 amphitheatre 大道 1600 号 谷歌公司）；DeepMind, 6 Pancras Square, Kings Cross, London N1C 4AG, UK（英国伦敦国王十字区 pancras 广场 6 号 深度思维）
本文提出了一种基于递归神经网络转换器（RNN-T）结构的大规模视听语音识别系统。为了支持这样一个系统的开发，我们构建了一个从YouTube公共视频中提取的分段话语的大型视听（A/V）数据集，产生了31 k小时的视听训练内容。在两个大词汇量测试集上比较了纯音频、纯视觉和视听系统的性能：一组来自公共YouTube视频的话语片段，称为YTDEV 18和公开可用的LRS 3-TED集。为了突出视觉模态的贡献，我们还评估了我们的系统在YTDEV 18集上的性能，该集被背景噪声和重叠语音人为破坏。据我们所知，我们的系统显着提高了LRS 3-TED集的最先进水平。
2019-11-08 cs.CL cs.CV cs.LG
Streaming Transformer Transducer Based Speech Recognition Using Non-Causal Convolution
Facebook AI（Facebook 人工智能研究院）
本文利用非因果卷积改进了用于语音识别的流式Transformer变换器。许多工作应用因果卷积来改进流Transformer，忽略了前视上下文。我们建议使用非因果卷积来分别处理中心块和前瞻上下文。该方法利用卷积中的前瞻上下文，并保持类似的训练和解码效率。给定类似的延迟，使用具有前瞻上下文的非因果卷积给出比因果卷积更好的准确性，特别是对于开放域听写场景。此外，本文采用了说话人注意力和一种新的历史上下文压缩方案，以进一步提高性能。说话头注意通过在不同头之间传递信息来改善多个头的自注意。历史上下文压缩方法引入了更多的扩展历史上下文压缩。在我们的内部数据上，所提出的方法在开放域听写、辅助通用场景和辅助调用场景上分别提高了具有前瞻上下文的小Emformer基线的相对WRR 5.1\%、14.5\%、8.4\%。
2021-10-07 cs.CL cs.LG eess.AS
Advancing RNN Transducer Technology for Speech Recognition
IBM Research AI（IBM研究院人工智能部门）
我们研究了一组RNN传感器（RNN-Ts）的技术，这些技术有助于降低三种不同任务（交换机300小时，西班牙语会话780小时和意大利语会话900小时）的单词出错率。这些技术涉及结构变化、说话人自适应、语言模型融合、模型组合和通用训练方法。首先，我们在联合网络中引入编码器和预测网络向量的新乘法集成（与加法相反）。其次，我们讨论了i向量说话人自适应RNN-Ts结合数据扰动的适用性。第三，我们探讨了最近提出的密度比语言模型融合这些任务的有效性。最后但并非最不重要的是，我们描述了我们的训练配方的其他组成部分及其对识别性能的影响。我们报告了5.9%和12.5%的字出错率的交换机和CallHome测试集的NIST集线器5 2000年的评估和12.7%的Mozilla CommonVoice意大利语测试集的WER。
2021-03-17 cs.CL cs.SD eess.AS
Improving RNN Transducer Modeling for End-to-End Speech Recognition
Microsoft（微软）
在过去的几年里，自动语音识别研究的一个新兴趋势是端到端（E2 E）系统的研究。联结主义时间分类（CTC）、注意编码解码器（AED）和RNN转换器（RNN-T）是最流行的三种方法。在这三种方法中，RNN-T具有在线流媒体的优势，这是AED的挑战，它不具有CTC的帧独立性假设。本文从两个方面对RNN-T训练进行了改进。首先，我们优化了RNN-T的训练算法，以减少内存消耗，从而可以有更大的训练小批量，以提高训练速度。其次，我们提出了更好的模型结构，以便我们获得具有非常好的精度但占用空间小的RNN-T模型。经过3万小时匿名和转录的Microsoft生产数据的训练，最好的RNN-T模型具有更小的模型大小（216 MB），与基线RNN-T模型相比，相对单词出错率（WER）降低了11.8%。这个最佳RNN-T模型通过实现高达15.0%的相对WER减少而显著优于具有类似大小的设备混合模型，并且获得与大小为5120 MB的服务器混合模型类似的WER。
2019-09-26 cs.CL eess.AS
Cascade RNN-Transducer: Syllable Based Streaming On-device Mandarin Speech Recognition with a Syllable-to-Character Converter
Northwestern Polytechnical University（西北工业大学）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，递归神经网络转换器（RNN-T）由于其高精度和低延迟，在流媒体设备上语音识别方面取得了重大进展。RNN-T采用预测网络来增强语言信息，但其语言建模能力有限，因为它仍然需要成对的语音-文本数据来进行训练。通过额外的文本数据进一步加强语言建模能力，例如与外部语言模型的浅融合，只会带来很小的性能增益。针对普通话是一种基于汉字的语言，每个汉字都是一个声调音节的特点，提出了一种新的级联RNN-T方法来提高RNN-T的语言建模能力。该方法首先利用RNN-T将语音特征转化为音节序列，然后通过基于RNN-T的音节-字符转换器将音节序列转化为字符序列。因此，可以很容易地使用富文本库来增强语言模型能力。通过引入几个重要的技巧，级联RNN-T方法在几个普通话测试集上大大超过了基于字符的RNN-T，具有更高的识别质量和相似的延迟。
2020-11-17 cs.CL cs.SD eess.AS
TokenVerse: Towards Unifying Speech and NLP Tasks via Transducer-based ASR
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Zurich（苏黎世大学）；Brno University of Technology（布尔诺理工大学）；Uniphore（尤尼福公司）
针对传统语音对话智能级联流水线流程繁琐的问题，提出基于Transducer的TokenVerse模型，通过在ASR训练中融入任务特定token统一处理语音与NLP任务，在多任务上性能优于级联方案，ASR相对WER最高提升7.7%。
2024-10-08 cs.CL cs.SD eess.AS
Typhoon ASR Real-time: FastConformer-Transducer for Thai Automatic Speech Recognition
Typhoon, SCB 10X（Typhoon，SCB 10X）
Typhoon ASR Real-time提出了一种低延迟的泰语ASR模型，通过文本规范化和课程学习方法提升转录准确性，并发布基准数据集促进研究
2026-01-19 cs.CL
Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer
Google Inc.（谷歌公司）
我们研究训练端到端的语音识别模型与循环神经网络传感器（RNN-T）：一个流，全神经，序列到序列的架构，共同学习声学和语言模型组件从转录的声学数据。我们探讨了各种模型架构，并演示了如果有额外的文本或发音数据，如何进一步改进模型。该模型包括一个“编码器”，这是从一个连接的时间分类为基础的（CTC）的声学模型初始化，和一个“解码器”，这是部分初始化的循环神经网络语言模型训练的文本数据。整个神经网络使用RNN-T损失进行训练，并直接将识别的转录作为字素序列输出，从而执行端到端的语音识别。我们发现，性能可以进一步提高，通过使用子词单元（“词片”），捕捉更长的上下文，并显着减少替换错误。最好的RNN-T系统是一个十二层LSTM编码器，带有一个两层LSTM解码器，以30，000个单词作为输出目标，在语音搜索和语音听写任务中实现了8.5\%的单词出错率和5.2\%的单词错误率，与语音搜索和语音听写任务中8.3\%的最先进基线相当。
2018-01-02 cs.CL cs.SD eess.AS
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
Google Inc.（谷歌公司）
在本文中，我们提出了一个端到端的语音识别模型与Transformer编码器，可用于流式语音识别系统。基于自注意的Transformer计算块用于独立地编码音频和标签序列。来自音频和标签编码器两者的激活与前馈层组合，以针对声学帧位置和标签历史的每个组合计算标签空间上的概率分布。这类似于递归神经网络传感器（RNN-T）模型，它使用RNN进行信息编码，而不是Transformer编码器。该模型使用非常适合流解码的RNN-T损失进行训练。我们目前的LibriSpeech数据集上的结果表明，限制左上下文的自我注意力在Transformer层，使解码计算易于处理的流，只有轻微的精度下降。我们还表明，我们的模型的完全注意力版本击败了LibriSpeech基准测试的最先进的准确性。我们的研究结果还表明，我们可以通过关注有限数量的未来帧来弥合我们模型的完全注意力和有限注意力版本之间的差距。
2020-02-14 cs.CL cs.SD eess.AS
SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition
SENS-ASR通过结合语义信息提升流式ASR转录质量，有效降低小块流式场景中的词错误率。
2026-03-12 cs.AI cs.CL
An Empirical Study of Language Model Integration for Transducer based Speech Recognition
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Meituan（美团）
在端到端RNN-Transducer（RNN-T）中利用具有外部语言模型（ELM）的纯文本数据进行语音识别具有挑战性。最近，已经开发了诸如密度比（DR）和内部语言模型估计（ILME）的一类方法，其性能优于经典的浅融合（SF）方法。这些方法背后的基本思想是，RNN-T后验应该首先减去隐式学习的内部语言模型（ILM）先验，以便整合ELM。虽然最近的研究表明，RNN-T只学习一些低阶语言模型信息，但DR方法使用经过良好训练的具有完整上下文的神经语言模型，这可能不适合于ILM的估计，并降低了集成性能。在DR方法的基础上，提出了一种用低阶弱语言模型代替估计的低阶密度比方法（LODR）。本文在英语LibriSpeech & Tedlings-2和汉语WenetSpeech & AISHELL-1数据集上进行了大量的域内和跨域实验。它表明，LODR一贯优于SF在所有的任务，而执行一般接近ILME和优于DR在大多数测试。
2022-08-03 cs.CL cs.LG eess.AS
Factorized Neural Transducer for Efficient Language Model Adaptation
Microsoft Speech and Language Group（微软语音与语言组）
近年来，基于端到端（E2 E）的自动语音识别（ASR）系统由于其简单性和有前途的性能而获得了巨大的成功。基于神经传感器的模型在基于流E2 E的ASR系统中越来越受欢迎，并且据报道在某些场景中优于传统的混合系统。然而，神经换能器中声学模型、词典和语言模型的联合优化也给利用纯文本进行语言模型自适应带来了挑战。这一缺点可能会阻碍它们在实践中的潜在应用。为了解决这一问题，本文提出了一种新的模型--因子化神经传感器，通过对空白和词汇预测进行因子化，并采用独立的语言模型进行词汇预测。预计这种分解可以将独立语言模型的改进转移到用于语音识别的换能器，这允许应用各种语言模型自适应技术。我们表明，建议的因子分解神经换能器产生15%至20%的WER改进时，域外的文本数据用于语言模型适应，在WER的一般测试集上的一个小的退化的成本。
2021-10-18 cs.CL eess.AS
Adaptive Contextual Biasing for Transducer Based Streaming Speech Recognition
Northwestern Polytechnical University（西北工业大学）
针对流式语音识别中个性化词偏置损害常用词识别的问题，提出基于CATT的自适应上下文偏置方法，动态开关偏置列表，显著降低WER/CER且几乎不增加RTF。
2023-08-15 cs.CL cs.SD eess.AS
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
