Efficient Training of Neural Transducer for Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
提出一种3阶段渐进式训练流程，在有限计算资源下用单GPU在2-3周内从头训练高性能神经转换器模型，在Librispeech等基准上接近最先进性能。
2022-08-08 cs.CL cs.SD eess.AS
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group（微软语音组）
神经传感器由于其自然的流式传输能力，成为目前最流行的语音识别端到端模型。然而，它是具有挑战性的，以适应它与纯文本数据。因子化神经传感器（FNT）模型的提出，以减轻这个问题。与标准神经传感器模型相比，FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是：在训练过程中增加CTC准则，在自适应过程中增加KL发散损失，使用预训练的语言模型来播种词汇预测器，以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外，使用词汇预测器的n-gram插值极大地提高了自适应速度，具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
Self-Attention Transducers for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
递归神经网络转换器（RNN-T）已成功应用于端到端语音识别。然而，递归结构使得并行化变得困难。本文提出了一种用于语音识别的自注意转换器（SA-T）。RNN被自注意块所取代，自注意块可以对序列内部的长期依赖关系进行建模，并且能够有效地并行化。此外，提出了一种路径感知的正则化方法，以帮助SA-T学习对齐并提高性能。此外，利用块流机制实现在线解码。所有的实验都是在普通话数据集AISHELL-1上进行的。结果表明，与基线RNN-T相比，我们提出的方法在字符错误率方面实现了21.3%的相对降低。此外，SA-T与块流机制可以执行在线解码，只有一个小的性能下降。
2019-09-28 cs.CL cs.SD eess.AS
Anchored Speech Recognition with Neural Transducers
Meta AI
神经传感器在标准语音识别基准测试中达到了人类水平的性能。然而，它们的性能在存在串扰的情况下显著降低，特别是当主扬声器具有低信噪比时。锚定语音识别是指使用来自锚定段（例如，唤醒词）来识别设备引导的语音而忽略干扰的背景语音。在本文中，我们研究锚定语音识别，使神经传感器的背景语音鲁棒。我们用一个微小的辅助网络从锚段中提取上下文信息，并使用编码器偏置和连接器门控来引导换能器朝向目标语音。此外，为了提高上下文嵌入提取的鲁棒性，我们提出了辅助训练目标，以从说话风格中分离词汇内容。我们评估我们的方法合成LibriSpeech为基础的混合物，包括几个SNR和重叠条件;他们提高了19.6%的相对字错误率在一个强基线，平均在所有条件下。
2023-03-29 cs.SD eess.AS
Research on Modeling Units of Transformer Transducer for Mandarin Speech Recognition
Jingdong Digits Technology Holding Co., Ltd. (JD Digits)（京东数字科技控股有限公司（京东数字科技））
在端到端语音识别中，建模单元和模型结构是递归神经网络转换器（RNN-T）的两个关键因素。为了提高RNN-T在汉语语音识别中的性能，提出了一种自注意Transformer和RNN相结合的Transformer变换器。探讨了Transformer传感器不同建模单元的选择。此外，我们提出了一种新的混合带宽训练方法，以获得一个通用的模型，能够准确地识别汉语语音与不同的采样率同时进行。所有的实验都是在8 kHz和16 kHz采样率下对大约12，000小时的普通话语音进行的。实验结果表明，普通话Transformer转换器采用带声调的音节，取得了最好的性能。该模型的平均相对字错误率（WER）降低了14.4%和44.1%，分别与使用音节首/尾与声调和汉字的模型相比。此外，它优于基于音节首/尾与声调的模型，平均13.5%的相对字符错误率（CER）减少。
2020-04-26 cs.CL cs.LG cs.SD
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
序列转换器，如RNN-T和Conformer-T，是端到端语音识别最有前途的模型之一，特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法（例如，受限训练和FastEmit）来减少延迟，但是延迟的减少通常伴随着准确性的显著降低。我们认为，这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中，我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先，我们定义在网格上的每个对角线的预期延迟，并表明其梯度可以有效地计算内的向前向后算法。然后，我们用这个预期的延迟来增加换能器损耗，从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明，所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms，WER下降0.7%，并且优于传统的限制性训练（110 ms）和FastEmit（67 ms）方法。
2022-11-04 cs.CL cs.SD eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft（微软）
在基于传感器的自动语音识别（ASR）系统中，背景信息是动态的，在模型训练过程中是不可用的。在这项工作中，我们引入了一个轻量级的上下文拼写校正模型，以纠正上下文相关的识别错误，在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型，并使用过滤算法来处理大尺寸的上下文列表。实验表明，该模型提高了基线ASR模型的性能，相对词出错率降低了约50%，也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Memory-efficient Speech Recognition on Smart Devices
Facebook Inc.（脸书公司）
循环换能器模型已经成为当前和下一代智能设备上的语音识别的有前途的解决方案。传感器模型在合理的内存占用范围内提供具有竞争力的精度，从而缓解了这些设备中的内存容量限制。然而，这些模型从片外存储器访问每个输入时间步长的参数，这对设备电池寿命产生不利影响，并限制了它们在低功耗设备上的可用性。我们解决传感器模型的内存访问问题，通过优化其模型架构和设计新颖的循环单元设计。我们证明了i）模型的能量成本主要由从片外存储器访问模型权重决定，ii）换能器模型架构在确定对片外存储器的访问次数方面是关键的，并且仅仅模型大小不是一个好的代理，iii）我们的换能器模型优化和新颖的递归单元以最小的精度影响将片外存储器访问减少了4.5倍并且将模型大小减少了2倍。
2021-02-23 cs.CL cs.SD eess.AS
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA（英伟达）
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘，其中原始域上的字出错率显著降低。本文讨论的情况下，我们要同时适应自动语音识别模型到一个新的域，并限制在原始域的准确性下降，而无需访问原始的训练数据集。我们提出了几种技术，例如有限的训练策略和用于传感器编码器，预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集，并在新的目标域上获得了强有力的结果，同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
Transformer在自动语音识别（ASR）中实现了与最先进的端到端模型竞争的性能，并且比基于RNN的模型需要更少的训练时间。原始的Transformer采用编码器-解码器架构，仅适用于离线ASR。它依赖于注意力机制来学习对齐，并对输入音频进行双向编码。Transformer解码的高计算成本也限制了其在生产流传输系统中的使用。为了使Transformer适用于流式ASR，我们探索了Transducer框架作为学习对齐的可流式方式。对于音频编码，我们应用具有交错卷积层的单向Transformer。交错的卷积层用于对未来的上下文进行建模，这对性能很重要。为了降低计算成本，我们逐渐降低声音输入的采样，也使用交织卷积层。此外，我们限制了自注意中的历史上下文的长度，以保持每个解码步骤的计算成本恒定。我们表明，这种架构，名为Conv-Transformer Transducer，在LibriSpeech数据集上实现了有竞争力的性能（3.6\% WER on test-clean），而无需外部语言模型。该性能与先前发布的可流式传输的Transformer Transducer和强混合流式ASR系统相当，并且以更小的前瞻窗口（140 ms）、更少的参数和更低的帧速率实现。
2020-08-13 cs.CL cs.SD eess.AS
Finstreder: Simple and fast Spoken Language Understanding with Finite State Transducers using modern Speech-to-Text models
University of Augsburg（奥格斯堡大学）
在口语语言理解（SLU）中，任务是从音频命令中提取重要信息，例如用户希望系统做什么的意图以及位置或数字等特殊实体。本文提出了一种将意图和实体嵌入到有限状态转换器中的简单方法，并与预训练的通用语音到文本模型相结合，允许在没有任何额外训练的情况下构建SDU模型。构建这些模型非常快，只需要几秒钟。它也是完全独立的语言。在不同的基准测试比较表明，这种方法可以优于其他多个，更多的资源需求SLU方法。
2022-06-29 cs.CL cs.HC cs.SD
Developing Real-time Streaming Transformer Transducer for Speech Recognition on Large-scale Dataset
Microsoft Speech and Language Group（微软语音与语言组）；Microsoft Research Asia（微软亚洲研究院）
近年来，基于Transformer的端到端模型在包括语音识别在内的许多领域都取得了巨大的成功。然而，与LSTM模型相比，Transformer在推理过程中的沉重计算成本是阻碍其应用的关键问题。在这项工作中，我们探索了Transformer Transducer（T-T）模型在大规模数据集上以低延迟和快速进行第一遍解码的潜力。我们结合Transformer-XL和块式流式处理的思想，设计了一个可流式传输的Transformer换能器模型。我们证明了T-T优于混合模型，RNN传感器（RNN-T），和流式Transformer注意力为基础的编码器-解码器模型在流的情况下。此外，运行时成本和延迟可以用相对小的前瞻来优化。
2021-02-28 cs.CL eess.AS
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft（微软）
神经传感器在自动语音识别（ASR）中得到了广泛的应用。在本文中，我们将其引入流端到端语音翻译（ST），其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译（MT）的级联ST相比，所提出的基于Transformer transducer（TT）的ST模型大大减少了推理延迟，利用了语音信息，并避免了从ASR到MT的错误传播。为了提高建模能力，我们提出了注意力池的联合网络在TT。此外，我们扩展了基于TT的ST多语言ST，它产生的文本在同一时间的多种语言。在大规模5万（K）小时伪标记训练集上的实验结果表明，基于TT的ST不仅显著减少了推理时间，而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
Pronunciation-aware unique character encoding for RNN Transducer-based Mandarin speech recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息与通信技术研究所）
对于普通话端到端（E2 E）自动语音识别（ASR）任务，与基于字符的建模单元相比，基于发音的建模单元可以提高模型训练中建模单元的共享性，但会遇到同音异义词问题。在这项研究中，我们提出使用一种新的发音感知的独特字符编码来构建基于E2 E RNN-T的普通话ASR系统。所提出的编码是一个发音基音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以克服同音异义词问题，同时利用发音信息提取建模单元。利用所提出的编码，模型输出可以通过一对一的映射转换为最终的识别结果。在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
2022-07-29 cs.CL cs.SD eess.AS
Minimum Bayes Risk Training of RNN-Transducer for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了最小贝叶斯风险（MBR）训练的RNN-transducer（RNN-T）的端到端的语音识别。具体地，用RNN-T训练模型初始化，MBR训练通过最小化参考标记序列和动态生成的N-最佳假设之间的预期编辑距离来进行。我们还引入了一种启发式方法，将外部神经网络语言模型（NNLM）纳入RNN-T束搜索解码，并使用外部NNLM探索MBR训练。实验结果表明，MBR训练的模型大大优于RNN-T训练的模型，如果使用外部NNLM训练，可以实现进一步的改进。我们最好的MBR训练系统在阅读和自发汉语语音上分别实现了1.2%和0.5%的绝对字符出错率（CER）降低，超过了基于强卷积和Transformer的RNN-T基线，该基线经过约21，000小时的语音训练。
2019-11-28 cs.CL cs.LG cs.SD
Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer
ByteDance（字节跳动）
针对端到端语音识别中纯文本域自适应的难题，提出USTR-CT方法，通过额外文本编码器学习统一表示且推理时移除，结合单/多步自适应，在目标域WER相对降44%，还可结合ILME进一步提效。
2023-06-07 cs.CL cs.SD eess.AS
Improved Robustness to Disfluencies in RNN-Transducer Based Speech Recognition
Amazon（亚马逊）
基于递归神经网络传感器（RNN-T）的自动语音识别（ASR）在语音界越来越受到关注。我们研究了数据选择和准备选择，旨在提高RNN-T ASR对语音不流利的鲁棒性，重点是部分单词。为了进行评估，我们使用干净的数据，不流利的数据和一个单独的数据集与口吃影响的语音。我们表明，在训练集中包含少量不流利的数据后，不流利和口吃测试的识别准确率提高了。增加具有不流畅性的训练数据的量提供额外的增益，而不会降低干净数据的质量。我们还表明，用专用标记替换部分单词有助于在不流利和口吃的话语上获得更好的准确性。我们的最佳模型的评估显示，这两个评估集的相对WER减少22.5%和16.4%。
2020-12-11 cs.CL eess.AS
An Investigation of Monotonic Transducers for Large-Scale Automatic Speech Recognition
Meta AI
流传输端到端自动语音识别（ASR）的两个最流行的损失函数是RNN转换器（RNN-T）和连接主义时间分类（CTC）。在这两种损失类型之间，我们可以将单调RNN-T（MonoRNN-T）和最近提出的类CTC换能器（CTC-T）分类。单调换能器具有一些优点。首先，RNN-T可能会遭受失控的幻觉，其中一个模型不断发出非空白符号，而没有及时推进。其次，单调换能器每个时间步长消耗一个模型分数，因此与传统的基于FST的ASR解码器更兼容。然而，到目前为止，MonoRNN-T的准确性比RNN-T差。它不一定是这样的：通过联合LAS训练或RNN-T的参数初始化来正则化训练，MonoRNN-T和CTC-T的性能与RNN-T一样好或更好。这是证明LibriSpeech和一个大规模的内部数据集。
2022-10-21 cs.SD eess.AS
Transducers with Pronunciation-aware Embeddings for Automatic Speech Recognition
NVIDIA（英伟达）
本文提出 PET，通过为发音相同或相似的文本 token 共享解码器嵌入提升 ASR 性能，并证明其可缓解错误连锁反应。
2024-04-04 cs.CL cs.LG cs.SD
Self-consistent context aware conformer transducer for speech recognition
Webex Intelligence, Cisco Systems（思科系统公司Webex智能部门）
本研究提出一种自洽递归神经网络模块，基于其构建上下文感知的扩展Conformer Transducer架构，结合上下文语言模型浅层融合可将稀有词语音识别准确率提升至多4.5倍，且不影响常用词词错误率，方法兼容多种编码器。
2024-10-03 cs.CL cs.SD eess.AS
Transducer-Llama: Integrating LLMs into Streamable Transducer-based Speech Recognition
Meta AI；University of Cambridge（剑桥大学）
本文提出Transducer-Llama架构，通过将LLM集成到Factorized Transducer模型实现流式ASR，并采用弱到强LM替换与MWER微调策略，在LibriSpeech上较基线最高降低32%词错率。
2024-12-21 cs.CL eess.AS
Advancing RNN Transducer Technology for Speech Recognition
IBM Research AI（IBM研究院人工智能部门）
我们研究了一组RNN传感器（RNN-Ts）的技术，这些技术有助于降低三种不同任务（交换机300小时，西班牙语会话780小时和意大利语会话900小时）的单词出错率。这些技术涉及结构变化、说话人自适应、语言模型融合、模型组合和通用训练方法。首先，我们在联合网络中引入编码器和预测网络向量的新乘法集成（与加法相反）。其次，我们讨论了i向量说话人自适应RNN-Ts结合数据扰动的适用性。第三，我们探讨了最近提出的密度比语言模型融合这些任务的有效性。最后但并非最不重要的是，我们描述了我们的训练配方的其他组成部分及其对识别性能的影响。我们报告了5.9%和12.5%的字出错率的交换机和CallHome测试集的NIST集线器5 2000年的评估和12.7%的Mozilla CommonVoice意大利语测试集的WER。
2021-03-17 cs.CL cs.SD eess.AS
HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation
CLSP JHU（杰斯罗大学计算机科学与工程系）；HLTCOE JHU（杰斯罗大学人类语言技术与计算机工程系）；Xiaomi（小米公司）
提出HENT-SRT框架，通过任务分解、CTC一致性自蒸馏、层级高效编码器及空白惩罚，在保持ASR性能的同时提升语音翻译质量并降低训练成本。
2025-06-02 cs.CL eess.AS
Cascade RNN-Transducer: Syllable Based Streaming On-device Mandarin Speech Recognition with a Syllable-to-Character Converter
Northwestern Polytechnical University（西北工业大学）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，递归神经网络转换器（RNN-T）由于其高精度和低延迟，在流媒体设备上语音识别方面取得了重大进展。RNN-T采用预测网络来增强语言信息，但其语言建模能力有限，因为它仍然需要成对的语音-文本数据来进行训练。通过额外的文本数据进一步加强语言建模能力，例如与外部语言模型的浅融合，只会带来很小的性能增益。针对普通话是一种基于汉字的语言，每个汉字都是一个声调音节的特点，提出了一种新的级联RNN-T方法来提高RNN-T的语言建模能力。该方法首先利用RNN-T将语音特征转化为音节序列，然后通过基于RNN-T的音节-字符转换器将音节序列转化为字符序列。因此，可以很容易地使用富文本库来增强语言模型能力。通过引入几个重要的技巧，级联RNN-T方法在几个普通话测试集上大大超过了基于字符的RNN-T，具有更高的识别质量和相似的延迟。
2020-11-17 cs.CL cs.SD eess.AS
TokenVerse: Towards Unifying Speech and NLP Tasks via Transducer-based ASR
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Zurich（苏黎世大学）；Brno University of Technology（布尔诺理工大学）；Uniphore（尤尼福公司）
针对传统语音对话智能级联流水线流程繁琐的问题，提出基于Transducer的TokenVerse模型，通过在ASR训练中融入任务特定token统一处理语音与NLP任务，在多任务上性能优于级联方案，ASR相对WER最高提升7.7%。
2024-10-08 cs.CL cs.SD eess.AS
Tiny Transducer: A Highly-efficient Speech Recognition Model on Edge Devices
Tencent（腾讯）
本文提出了一个非常轻量级的基于电话的传感器模型，在边缘设备上具有微小的解码图。首先，首先使用基于空标签跳过的音素同步解码（PSD）算法来加速换能器解码过程。然后，为了减少高空白分数所带来的删除错误，提出了一种空标签去权方法。为了减少参数和计算量，深度前馈顺序记忆网络（DFSMN）层中使用的传感器编码器，并采用基于CNN的无状态预测器。SVD技术进一步压缩了模型。基于WFST的解码图以上下文无关（CI）的电话后验作为输入，并允许我们灵活地偏置用户特定的信息。最后，在奇异值分解后仅用0.9M参数，我们的系统可以给出相对于一个更大的传统混杂系统的边缘设备上的9.1% - 20.5%的改善。
2021-02-07 cs.SD eess.AS
Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer
Google Inc.（谷歌公司）
我们研究训练端到端的语音识别模型与循环神经网络传感器（RNN-T）：一个流，全神经，序列到序列的架构，共同学习声学和语言模型组件从转录的声学数据。我们探讨了各种模型架构，并演示了如果有额外的文本或发音数据，如何进一步改进模型。该模型包括一个“编码器”，这是从一个连接的时间分类为基础的（CTC）的声学模型初始化，和一个“解码器”，这是部分初始化的循环神经网络语言模型训练的文本数据。整个神经网络使用RNN-T损失进行训练，并直接将识别的转录作为字素序列输出，从而执行端到端的语音识别。我们发现，性能可以进一步提高，通过使用子词单元（“词片”），捕捉更长的上下文，并显着减少替换错误。最好的RNN-T系统是一个十二层LSTM编码器，带有一个两层LSTM解码器，以30，000个单词作为输出目标，在语音搜索和语音听写任务中实现了8.5\%的单词出错率和5.2\%的单词错误率，与语音搜索和语音听写任务中8.3\%的最先进基线相当。
2018-01-02 cs.CL cs.SD eess.AS
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
Google Inc.（谷歌公司）
在本文中，我们提出了一个端到端的语音识别模型与Transformer编码器，可用于流式语音识别系统。基于自注意的Transformer计算块用于独立地编码音频和标签序列。来自音频和标签编码器两者的激活与前馈层组合，以针对声学帧位置和标签历史的每个组合计算标签空间上的概率分布。这类似于递归神经网络传感器（RNN-T）模型，它使用RNN进行信息编码，而不是Transformer编码器。该模型使用非常适合流解码的RNN-T损失进行训练。我们目前的LibriSpeech数据集上的结果表明，限制左上下文的自我注意力在Transformer层，使解码计算易于处理的流，只有轻微的精度下降。我们还表明，我们的模型的完全注意力版本击败了LibriSpeech基准测试的最先进的准确性。我们的研究结果还表明，我们可以通过关注有限数量的未来帧来弥合我们模型的完全注意力和有限注意力版本之间的差距。
2020-02-14 cs.CL cs.SD eess.AS
Label-Synchronous Neural Transducer for E2E Simultaneous Speech Translation
University of Cambridge（剑桥大学）
本文提出标签同步神经转导器LS-Transducer-SST，通过自回归积分发放机制和延迟可控AIF实现同声传译中的流式与重排序，并利用单语文本缓解数据稀疏，在质量-延迟权衡上优于现有方法。
2024-06-06 cs.CL eess.AS
Enhanced Hybrid Transducer and Attention Encoder Decoder with Text Data
Samsung Research America（三星美国研究院）
提出联合语音和文本优化的混合换能器与注意力编码器-解码器模型，统一多模态表示，支持文本领域自适应，在Librispeech及两个领域外数据集上分别降低WER 5.8%-12.8%和15.3%、17.8%。
2025-06-23 cs.CL cs.SD eess.AS
Unidirectional Memory-Self-Attention Transducer for Online Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
自注意模型已经成功地应用于端到端的语音识别系统中，大大提高了识别的准确率。然而，这种基于注意力的模型不能用于在线语音识别，因为这些模型通常必须利用整个声学序列作为输入。一种常见的方法是通过固定的左右窗口来限制注意视野，这使得计算成本可管理，但也引入了性能下降。在本文中，我们提出了记忆自我注意（MSA），它增加了历史信息的限制自我注意单元。MSA只需要本地时间特征作为输入，并通过关注记忆状态有效地建模长时间上下文。同时，递归神经网络转换器（RNN-T）已被证明是一个伟大的方法，在线ASR任务，因为RNN-T的对齐是局部和单调的。我们提出了一种新的网络结构，称为记忆自我注意（MSA）换能器。MSA传感器的编码器和解码器均包含建议的MSA单元。实验结果表明，在SWBD数据集上，我们提出的模型相对于限制性自注意模型WER结果提高了$13.5 on WSJ and $ 7.1，并且计算量没有太大增加.
2021-02-23 cs.SD eess.AS
TST: Time-Sparse Transducer for Automatic Speech Recognition
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Tsinghua University（清华大学）
针对 RNN-T 处理长解码序列时内存和计算开销大的问题，提出时间稀疏转换器，通过降低时间分辨率并加权合并隐藏状态，在 AISHELL-1 上显著降低实时率且保持接近的识别精度。
2023-07-17 cs.SD eess.AS
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，语言身份信息已被用来提高端到端的代码切换（CS）语音识别的性能。然而，以前的工作使用一个额外的语言识别（LID）模型作为辅助模块，这导致系统复杂。在这项工作中，我们提出了一个改进的递归神经网络转换器（RNN-T）模型与语言偏见，以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息，并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比，所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
RNN-Transducer-based Losses for Speech Recognition on Noisy Targets
University of London（伦敦大学）
本文针对语音识别中噪声转录问题，提出 Star-Transducer、Bypass-Transducer 和 Target-Robust Transducer 三种损失函数，分别处理删除、插入及任意错误，显著恢复了 RNN-T 模型的性能。
2025-04-09 cs.AI cs.CL cs.LG
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple（苹果公司）
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中，我们研究如何优化基于神经传感器的双语自动语音识别（ASR）模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况，我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能，并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率（MER）的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比，以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
Globally Normalising the Transducer for Streaming Speech Recognition
Samsung AI Center（三星人工智能中心）
针对流式语音识别中Transducer因局部归一化存在的数学缺陷，本文提出近似损失函数的方法实现全局归一化，使词错误率相对降低9-11%，缩小流式与前瞻模式的性能差距。
2023-07-20 cs.LG cs.SD eess.AS
On Language Model Integration for RNN Transducer based Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
外部语言模型（LM）和RNN-转换器（RNN-T）的隐式学习的内部LM（ILM）之间的不匹配可能限制LM集成（诸如简单的浅融合）的性能。贝叶斯解释建议在ILM校正之前删除该序列。在这项工作中，我们研究了在一个共同的RNN-T框架中制定的各种基于ILM校正的LM集成方法。我们对ILM校正性能提高的两个主要原因进行了解码解释，并通过详细分析进一步进行了实验验证。我们还提出了一个精确的ILM训练框架，通过扩展混合自回归传感器中给出的证明，这使得其他ILM方法的理论依据。分别对Librispeech和TED-LIUM Release 2语料库的域内和跨域评价进行了系统的比较。我们提出的精确ILM训练可以进一步提高最佳ILM方法。
2022-02-16 cs.CL eess.AS
Multitask Learning and Joint Optimization for Transformer-RNN-Transducer Speech Recognition
AI R&D Team, Kakao Enterprise（Kakao企业 AI 研发团队）
近年来，出现了几种端到端的语音识别方法，称为transformer-transducer。根据这些类型的方法，转录网络通常由基于变换器的神经网络建模，而预测网络可以由Transformers或递归神经网络（RNN）建模。本文探讨了变压器-RNN-传感器系统的多任务学习、联合优化和联合解码方法。我们提出的方法的主要优点在于，该模型可以维护大型文本语料库的信息。我们证明了他们的有效性进行实验，利用著名的ESPNET工具包广泛使用的Librispeech数据集。我们还表明，所提出的方法可以减少字出错率（WER）的16.6%和13.3%，分别为测试干净和测试其他数据集，而不改变整体模型结构，也不利用外部LM。
2020-11-02 cs.LG cs.SD eess.AS
Multi-Channel Transformer Transducer for Speech Recognition
Amazon（亚马逊）
多通道输入提供了优于单通道的几个优点，以提高设备上语音识别系统的鲁棒性。最近关于多通道Transformer的工作提出了一种将这样的输入合并到端到端ASR中以提高精度的方法。然而，这种方法的特征在于高计算复杂性，这阻止了它被部署在设备上的系统中。本文提出了一种新的语音识别模型--多通道Transformer Transducer（MCTT），它具有端到端多通道训练、低计算成本和低延迟的特点，适合于设备上语音识别的流式解码。在远场内部数据集中，我们的MCTT优于分段多通道模型，变压器-换能器相对WER改善高达6.01%（WERR）。此外，MCTT的性能优于多通道Transformer，WERR高达11.62%，推理速度快15.8倍。我们进一步表明，我们可以提高MCTT的计算成本，通过限制未来和以前的上下文在注意力计算。
2021-08-30 cs.LG cs.SD eess.AS
Adaptive Contextual Biasing for Transducer Based Streaming Speech Recognition
Northwestern Polytechnical University（西北工业大学）
针对流式语音识别中个性化词偏置损害常用词识别的问题，提出基于CATT的自适应上下文偏置方法，动态开关偏置列表，显著降低WER/CER且几乎不增加RTF。
2023-08-15 cs.CL cs.SD eess.AS
Exploring RNN-Transducer for Chinese Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Tiangong Institute for Intelligent Computing, Tsinghua University（清华大学天工智能计算研究院）；Sogou Inc.（搜狗公司）
端到端的方法最近由于显著简化了自动语音识别（ASR）系统的构造而引起了很多关注。RNN传感器（RNN-T）是一种流行的端到端方法。以往的研究表明，RNN-T是很难训练和一个非常复杂的训练过程，需要一个合理的性能。在本文中，我们探索RNN-T的中文大词汇量连续语音识别（LVCSR）的任务，旨在简化训练过程，同时保持性能。首先，提出了一种新的学习率衰减策略，以加快模型的收敛速度。其次，我们发现在网络开始时添加卷积层并使用有序数据可以丢弃编码器的预训练过程，而不会损失性能。此外，我们还设计了实验，在GPU内存使用率、训练周期和模型性能之间寻找平衡。最后，我们实现了16.9%的字符出错率（CER）在我们的测试集上，这是2%的绝对改善，从一个强大的BLSTM CE系统与语言模型在相同的文本语料库上训练。
2019-04-23 cs.CL cs.LG cs.SD
Phoneme Based Neural Transducer for Large Vocabulary Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
为了结合经典的和端到端的语音识别方法的优点，我们提出了一个简单的，新颖的和有竞争力的基于音素的神经换能器建模方法。比较了不同的对齐标签拓扑结构，提出了基于词尾的音素标签增强算法。利用音素的局部依赖性，我们采用了一个简化的神经网络结构和一个简单的集成与外部词级语言模型，以保持seq到seq建模的一致性。我们还提出了一个简单，稳定和有效的训练过程中使用逐帧交叉熵损失。一个语音上下文大小为1被证明是足够的最佳性能。提出了一种简化的定时采样方法，并对不同的解码方法进行了简要的比较。我们最好的模型的整体性能与TED-LIUM Release 2和Switchboard语料库的最新（SOTA）结果相当。
2021-04-20 cs.CL eess.AS
Variable Attention Masking for Configurable Transformer Transducer Speech Recognition
Apple（苹果公司）
本文提出在 Transformer Transducer 中采用训练时从目标分布采样的可变注意力掩码，构建单一可配置模型，以支持流式识别与声学重打分，并改善准确率-延迟权衡。
2023-04-18 cs.CL cs.SD eess.AS
Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition
Microsoft（微软）
近年来，递归神经网络转换器（RNN-T）结构由于其能够进行在线流式语音识别的优点，成为端到端自动语音识别研究的一个新兴趋势。然而，RNN-T训练由于巨大的内存需求和复杂的神经结构而变得困难。简化RNN-T训练的一种常见解决方案是采用连接主义时间分类（CTC）模型以及RNN语言模型（RNNLM）来初始化RNN-T参数。在这项工作中，我们反过来利用外部比对来为RNN-T模型播种。两种不同的预训练解决方案进行了探索，分别称为编码器预训练，和全网络预训练。在微软65,000小时的匿名生产数据上进行评估，删除了个人身份信息，我们提出的方法可以获得显着的改善。特别地，当与随机初始化和广泛使用的CTC+RNNLM初始化策略相比时，编码器预训练解决方案分别实现了10%和8%的相对字出错率降低。我们的解决方案还显著降低了RNN-T模型的基线延迟。
2020-05-01 cs.CL eess.AS
Transformer-Transducers for Code-Switched Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS AI（亚马逊AWS人工智能）
我们生活在一个60%的人口可以流利地说两种或两种以上语言的世界。这些社区的成员在进行对话时经常在语言之间切换。随着自动语音识别（ASR）系统被部署到现实世界中，需要能够在话语内或跨话语处理多种语言的实用系统。在本文中，我们提出了一个端到端的ASR系统使用的变压器换能器模型架构的代码切换语音识别。我们提出了三个修改香草模型，以处理各个方面的代码转换。首先，我们引入了两个辅助损失函数来处理低资源情况下的语码转换。其次，我们提出了一种新的基于掩码的训练策略，语言ID信息，以改善标签编码器的训练，内部的代码切换。最后，我们提出了一个多标签/多音频编码器结构，利用巨大的单语语音语料库对代码切换。我们证明了我们所提出的方法的有效性SEAME数据集，一个公共的普通话-英语码转换语料库，实现了混合出错率的18.5%和26.3%的test_man和test_sge集分别。
2021-02-15 cs.CL eess.AS
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
CIF-T: A Novel CIF-based Transducer Architecture for Automatic Speech Recognition
SenseTime Research（商汤科技研究院）；University of Science and Technology Beijing（北京科技大学）；Nankai University（南开大学）
针对RNN-T模型在ASR中的计算冗余和预测器网络作用减弱问题，提出结合CIF机制的CIF-T模型，舍弃RNN-T损失并引入多策略优化，在AISHELL-1和WenetSpeech数据集上实现更优性能与更低计算开销。
2024-11-27 cs.CL cs.SD eess.AS
Cross-lingual Knowledge Transfer and Iterative Pseudo-labeling for Low-Resource Speech Recognition with Transducers
Apple（苹果公司）
针对无人工标注数据的低资源语音识别，提出结合跨语言知识迁移与迭代伪标签训练基于Transducer的ASR系统，替代DNN-HMM混合系统，实现35%的错误率降低。
2023-05-23 cs.CL eess.AS
Incorporating Class-based Language Model for Named Entity Recognition in Factorized Neural Transducer
Shanghai Jiao Tong University（上海交通大学）；Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）
本文提出C-FNT模型，将基于类别的语言模型融入因子化神经转换器，通过关联名称类别而非表面形式来提升语音识别中的命名实体识别性能，在不损害普通词识别的前提下显著降低命名实体错误。
2024-06-08 cs.CL cs.SD eess.AS
CoDERT: Distilling Encoder Representations with Co-learning for Transducer-based Speech Recognition
Alexa Machine Learning, Amazon.com（亚马逊Alexa机器学习部门）
我们提出了一种简单而有效的方法来压缩RNN-传感器（RNN-T）通过著名的知识蒸馏范例。我们表明，换能器的编码器输出自然有一个高熵，并包含丰富的信息声学相似的词片混淆。当与较低熵解码器输出组合以产生联合网络对数时，该丰富信息被抑制。因此，我们引入了一个辅助损失，从教师换能器的编码器中提取编码器的logits，并探索这种编码器蒸馏有效工作的训练策略。我们发现，教师和学生的编码器与就地编码器蒸馏串联训练优于使用预先训练和静态教师换能器。我们还报告了一个有趣的现象，我们称之为隐式蒸馏，当教师和学生编码器共享相同的解码器时发生。我们的实验表明，5.37-8.4%的相对字出错率减少（WERR）的内部测试集，和5.05-6.18%的相对WERR LibriSpeech测试集。
2021-06-14 cs.CL cs.LG eess.AS
On Addressing Practical Challenges for RNN-Transducer
Microsoft Speech（微软语音）
在本文中，提出了一些工作，以解决部署基于RNN传感器（RNN-T）的语音识别系统的实际挑战。这些挑战是使经过良好训练的RNN-T模型适应新的领域，而无需收集音频数据，获得单词级别的时间戳和置信度得分。第一个挑战是解决了拼接数据的方法，连接从源域数据中提取的语音段。为了获得时间戳，通过共享编码器将音素预测分支添加到RNN-T模型中，以实现强制对齐的目的。最后，我们通过利用解码过程中计算的几种类型的特征和混淆网络获得单词级的置信度得分。使用Microsoft生产数据进行评估，拼接数据自适应方法与文本转语音方法相比，基线和自适应分别提高了58.03%和15.25%的相对字错误率降低。所提出的时间戳方法可以得到小于50 ms的字的时间差从地面真值对齐平均，同时保持RNN-T模型的识别精度。我们还获得了高置信度的注释性能与有限的计算成本。
2021-07-18 cs.CL cs.SD eess.AS
