Deliberation of Streaming RNN-Transducer by Non-autoregressive Decoding
Google, Inc.（谷歌公司）
我们建议考虑流RNN-T模型与先前提出的Align-Refine非自回归解码方法及其改进版本的假设对齐。该方法执行几个细化步骤，其中每个步骤共享一个Transformer解码器，该解码器关注文本特征（从对齐中提取）和音频特征，并输出完整的更新对齐。Transformer解码器用CTC损失来训练，这有助于并行贪心解码，并且执行全上下文注意以捕获标签依赖性。我们通过引入级联编码器来改进Align-Refine，该编码器在细化之前捕获更多的音频上下文，并且对齐增强强制学习标签依赖性。我们表明，在流RNN-T模型的假设对齐的条件下，我们的方法获得了比第一遍RNN-T更准确的识别结果，只有少量的模型参数。
2021-12-01 cs.CL cs.LG eess.AS
Label-Synchronous Neural Transducer for E2E Simultaneous Speech Translation
University of Cambridge（剑桥大学）
本文提出标签同步神经转导器LS-Transducer-SST，通过自回归积分发放机制和延迟可控AIF实现同声传译中的流式与重排序，并利用单语文本缓解数据稀疏，在质量-延迟权衡上优于现有方法。
2024-06-06 cs.CL eess.AS
Overcoming Non-monotonicity in Transducer-based Streaming Generation
University of Chinese Academy of Sciences（中国科学院大学）
本研究通过引入可学习的单调注意力机制，将Transducer解码与输入流历史结合，利用前向-后向算法推断对齐后验概率以估计上下文表示，有效解决了流式生成中的非单调对齐问题。
2025-05-28 cs.AI cs.CL
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation（NTT公司）
本文提出内部声学模型训练策略和双空白阈值方法，通过联合训练HAT与IAM同步发出空白并跳过非空白计算，在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
VQ-T: RNN Transducers using Vector-Quantized Prediction Network States
IBM Research AI（IBM人工智能研究院）
束搜索是端到端模型的主要ASR解码算法，它生成树结构假设。然而，最近的研究表明，假设合并的解码可以实现更有效的搜索，具有相当或更好的性能。但是，循环网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量量化的长短期记忆单元（VQ-LSTM）。通过与ASR网络联合训练离散表示，可以主动合并假设以生成格。我们在Switchboard语料库上的实验表明，所提出的VQ RNN换能器比具有常规预测网络的换能器提高了ASR性能，同时还产生了更密集的网格，对于相同的波束大小，具有非常低的甲骨文错误率出错率（WER）。附加的语言模型重评分实验也证明了所提出的格生成方案的有效性。
2022-08-03 cs.CL cs.SD eess.AS
S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs
LG Electronics（LG电子）；Toronto AI Lab（多伦多人工智能实验室）
本文提出S3D，一种基于多token解码和中间层跳过的低成本自推测解码方法，在低内存GPU上实现高效LLM推理加速，比量化EAGLE快1.4-2倍且VRAM占用更少。
2024-06-01 cs.CL
Self-Attention Transducers for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
递归神经网络转换器（RNN-T）已成功应用于端到端语音识别。然而，递归结构使得并行化变得困难。本文提出了一种用于语音识别的自注意转换器（SA-T）。RNN被自注意块所取代，自注意块可以对序列内部的长期依赖关系进行建模，并且能够有效地并行化。此外，提出了一种路径感知的正则化方法，以帮助SA-T学习对齐并提高性能。此外，利用块流机制实现在线解码。所有的实验都是在普通话数据集AISHELL-1上进行的。结果表明，与基线RNN-T相比，我们提出的方法在字符错误率方面实现了21.3%的相对降低。此外，SA-T与块流机制可以执行在线解码，只有一个小的性能下降。
2019-09-28 cs.CL cs.SD eess.AS
Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network
Speechly；University of Helsinki（赫尔辛基大学）
众所周知，端到端语音识别系统对新任务的适应具有挑战性。已经提出了许多解决方案，其应用具有各种融合方法的外部语言模型，可能具有两遍解码的组合。此外，TTS系统已被用于生成端到端模型的适应数据。在本文中，我们证明了RNN转换器模型可以有效地适应新的领域，只使用少量的文本数据。通过利用模型的固有结构，其中预测网络被解释为语言模型，我们可以对模型应用快速自适应。适配该模型避免了对复杂的解码时间融合和外部语言模型的需要。使用适当的正则化，预测网络可以适应新的领域，同时仍然保持良好的泛化能力。我们展示了多个ASR评估任务，这种方法如何在目标任务WER中提供10-45%的相对收益。我们还分享了RNN转换器预测网络如何作为语言模型执行的见解。
2021-06-09 cs.CL cs.SD eess.AS
Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
Transformer在自动语音识别（ASR）中实现了与最先进的端到端模型竞争的性能，并且比基于RNN的模型需要更少的训练时间。原始的Transformer采用编码器-解码器架构，仅适用于离线ASR。它依赖于注意力机制来学习对齐，并对输入音频进行双向编码。Transformer解码的高计算成本也限制了其在生产流传输系统中的使用。为了使Transformer适用于流式ASR，我们探索了Transducer框架作为学习对齐的可流式方式。对于音频编码，我们应用具有交错卷积层的单向Transformer。交错的卷积层用于对未来的上下文进行建模，这对性能很重要。为了降低计算成本，我们逐渐降低声音输入的采样，也使用交织卷积层。此外，我们限制了自注意中的历史上下文的长度，以保持每个解码步骤的计算成本恒定。我们表明，这种架构，名为Conv-Transformer Transducer，在LibriSpeech数据集上实现了有竞争力的性能（3.6\% WER on test-clean），而无需外部语言模型。该性能与先前发布的可流式传输的Transformer Transducer和强混合流式ASR系统相当，并且以更小的前瞻窗口（140 ms）、更少的参数和更低的帧速率实现。
2020-08-13 cs.CL cs.SD eess.AS
Developing Real-time Streaming Transformer Transducer for Speech Recognition on Large-scale Dataset
Microsoft Speech and Language Group（微软语音与语言组）；Microsoft Research Asia（微软亚洲研究院）
近年来，基于Transformer的端到端模型在包括语音识别在内的许多领域都取得了巨大的成功。然而，与LSTM模型相比，Transformer在推理过程中的沉重计算成本是阻碍其应用的关键问题。在这项工作中，我们探索了Transformer Transducer（T-T）模型在大规模数据集上以低延迟和快速进行第一遍解码的潜力。我们结合Transformer-XL和块式流式处理的思想，设计了一个可流式传输的Transformer换能器模型。我们证明了T-T优于混合模型，RNN传感器（RNN-T），和流式Transformer注意力为基础的编码器-解码器模型在流的情况下。此外，运行时成本和延迟可以用相对小的前瞻来优化。
2021-02-28 cs.CL eess.AS
TRADE: Transducer-Augmented Decoder for Speech LLM
Hippocratic AI；Carnegie Mellon University（卡内基梅隆大学）
提出TRADE模型，通过换能器分支增强多模态大语言模型，实现帧同步对齐与语言推理结合，支持流式和非流式解码，在多个基准上取得低词错误率。
2026-06-07 cs.CL
Efficient minimum word error rate training of RNN-Transducer for end-to-end speech recognition
在这项工作中，我们提出了一种新的和有效的最小字错误率（MWER）的RNN传感器（RNN-T）的训练方法。与以前关于这个主题的工作不同，它执行动态有限大小的波束搜索解码并为预期的编辑距离计算生成对齐分数，在我们提出的方法中，我们重新计算并汇总N个最佳列表中每个假设的所有可能对齐的分数。使用前向-后向算法有效地计算假设概率得分和反向传播梯度。此外，所提出的方法允许我们解耦的解码和训练过程，因此我们可以执行离线并行解码和MWER训练的每个子集迭代。实验结果表明，这种半实时方法可以将实时方法的速度提高6倍，并且与基线RNN-T模型相比，WER提高了3.6%。当为端点添加EOS时，所提出的MWER训练还可以有效地减少RNN-T模型引入的高删除错误（9.2%WER减少）。如果我们使用提出的RNN-T重新评分方法对假设进行重新排序，并使用外部RNN-LM执行额外的重新评分，则可以实现进一步的改进。最好的系统实现了5%的英语测试集的真实远场录音和11.6%的WER减少音乐领域的话语相对改善。
2020-07-27 cs.CL cs.LG cs.SD
Interactive decoding of words from visual speech recognition models
DeepMind（深度思维）
这项工作描述了一种交互式解码方法，以提高视觉语音识别系统的性能，使用用户输入，以补偿固有的模糊性的任务。与大多数音素到单词的解码管道不同，它产生音素并通过有限状态转换器馈送这些音素，我们的方法以锁步方式扩展单词，便于在每个单词位置插入交互点。交互点使我们能够在解码过程中征求输入，允许用户交互式地指导解码过程。我们模拟的用户输入的行为，使用一个甲骨文给出一个自动化的评价，并显示使用这种方法的文本输入的承诺。
2021-07-01 cs.CL
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York（纽约哥伦比亚大学）
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说，我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法，格重新评分，允许更长的范围内的历史记录捕获的一个基于多变量的语言模型，并利用一个Transformer的能力，以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Exploring Neural Transducers for End-to-End Speech Recognition
Baidu Silicon Valley AI Lab（百度硅谷人工智能实验室）
在这项工作中，我们进行了CTC，RNN传感器，和基于注意力的Seq 2Seq模型之间的经验比较，用于端到端的语音识别。我们表明，在没有任何语言模型的情况下，Seq 2Seq和RNN-Transducer模型在流行的Hub 5 '00基准测试中的表现都优于具有语言模型的最佳CTC模型。在我们内部的多样化数据集上，这些趋势仍在继续-在束搜索之后，使用语言模型重新评分的RNNTransducer模型优于我们最好的CTC模型。这些结果简化了语音识别流水线，使得解码现在可以纯粹地表示为神经网络操作。我们还研究了编码器架构的选择如何影响这三种模型的性能-当所有编码器层都只向前时，以及当编码器对输入表示进行下采样时。
2017-07-24 cs.CL cs.NE
On Language Model Integration for RNN Transducer based Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
外部语言模型（LM）和RNN-转换器（RNN-T）的隐式学习的内部LM（ILM）之间的不匹配可能限制LM集成（诸如简单的浅融合）的性能。贝叶斯解释建议在ILM校正之前删除该序列。在这项工作中，我们研究了在一个共同的RNN-T框架中制定的各种基于ILM校正的LM集成方法。我们对ILM校正性能提高的两个主要原因进行了解码解释，并通过详细分析进一步进行了实验验证。我们还提出了一个精确的ILM训练框架，通过扩展混合自回归传感器中给出的证明，这使得其他ILM方法的理论依据。分别对Librispeech和TED-LIUM Release 2语料库的域内和跨域评价进行了系统的比较。我们提出的精确ILM训练可以进一步提高最佳ILM方法。
2022-02-16 cs.CL eess.AS
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
Google Inc.（谷歌公司）
在本文中，我们提出了一个端到端的语音识别模型与Transformer编码器，可用于流式语音识别系统。基于自注意的Transformer计算块用于独立地编码音频和标签序列。来自音频和标签编码器两者的激活与前馈层组合，以针对声学帧位置和标签历史的每个组合计算标签空间上的概率分布。这类似于递归神经网络传感器（RNN-T）模型，它使用RNN进行信息编码，而不是Transformer编码器。该模型使用非常适合流解码的RNN-T损失进行训练。我们目前的LibriSpeech数据集上的结果表明，限制左上下文的自我注意力在Transformer层，使解码计算易于处理的流，只有轻微的精度下降。我们还表明，我们的模型的完全注意力版本击败了LibriSpeech基准测试的最先进的准确性。我们的研究结果还表明，我们可以通过关注有限数量的未来帧来弥合我们模型的完全注意力和有限注意力版本之间的差距。
2020-02-14 cs.CL cs.SD eess.AS
Phoneme Based Neural Transducer for Large Vocabulary Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
为了结合经典的和端到端的语音识别方法的优点，我们提出了一个简单的，新颖的和有竞争力的基于音素的神经换能器建模方法。比较了不同的对齐标签拓扑结构，提出了基于词尾的音素标签增强算法。利用音素的局部依赖性，我们采用了一个简化的神经网络结构和一个简单的集成与外部词级语言模型，以保持seq到seq建模的一致性。我们还提出了一个简单，稳定和有效的训练过程中使用逐帧交叉熵损失。一个语音上下文大小为1被证明是足够的最佳性能。提出了一种简化的定时采样方法，并对不同的解码方法进行了简要的比较。我们最好的模型的整体性能与TED-LIUM Release 2和Switchboard语料库的最新（SOTA）结果相当。
2021-04-20 cs.CL eess.AS
Minimum Bayes Risk Training of RNN-Transducer for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了最小贝叶斯风险（MBR）训练的RNN-transducer（RNN-T）的端到端的语音识别。具体地，用RNN-T训练模型初始化，MBR训练通过最小化参考标记序列和动态生成的N-最佳假设之间的预期编辑距离来进行。我们还引入了一种启发式方法，将外部神经网络语言模型（NNLM）纳入RNN-T束搜索解码，并使用外部NNLM探索MBR训练。实验结果表明，MBR训练的模型大大优于RNN-T训练的模型，如果使用外部NNLM训练，可以实现进一步的改进。我们最好的MBR训练系统在阅读和自发汉语语音上分别实现了1.2%和0.5%的绝对字符出错率（CER）降低，超过了基于强卷积和Transformer的RNN-T基线，该基线经过约21，000小时的语音训练。
2019-11-28 cs.CL cs.LG cs.SD
HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation
CLSP JHU（杰斯罗大学计算机科学与工程系）；HLTCOE JHU（杰斯罗大学人类语言技术与计算机工程系）；Xiaomi（小米公司）
提出HENT-SRT框架，通过任务分解、CTC一致性自蒸馏、层级高效编码器及空白惩罚，在保持ASR性能的同时提升语音翻译质量并降低训练成本。
2025-06-02 cs.CL eess.AS
Recurrent Drafter for Fast Speculative Decoding in Large Language Models
Apple（苹果公司）
提出循环草稿器ReDrafter，利用RNN草稿模型、动态树注意力与知识蒸馏，在MT-Bench上使Vicuna推理加速2.8倍，并在Apple Silicon上实现2.3倍加速。
2024-12-13 cs.CL cs.LG
Implementing contextual biasing in GPU decoder for online ASR
Idiap（伊迪亚普研究所）；Uniphore（尤尼福尔公司）
本文提出了一种在实时GPU解码中集成上下文偏置的方法，利用标准Kaldi GPU解码器，支持对部分ASR预测偏置和动态上下文切换，实现直接在GPU上对语音段灵活重打分。
2023-06-23 cs.CL eess.AS
Alignment Restricted Streaming Recurrent Neural Network Transducer
Facebook AI（Facebook人工智能研究院）
在语音社区中，对开发用于自动语音识别（ASR）应用的循环神经网络换能器（RNN-T）模型的兴趣越来越大。RNN-T是用损失函数训练的，该损失函数不强制训练转录本和音频的时间对准。因此，使用单向长短期记忆（LSTM）编码器构建的RNN-T模型往往会在流式传输已经解码的ASR令牌之前等待更长的输入音频跨度。在这项工作中，我们提出了一个修改的RNN-T损失函数和开发对齐限制的RNN-T（Ar-RNN-T）模型，它利用音频文本对齐信息来指导损失计算。我们比较了所提出的方法与现有的作品，如单调RNN-T，LibriSpeech和内部数据集。我们表明，Ar-RNN-T损失提供了一个精细的控制，导航令牌发射延迟和字出错率（WER）之间的权衡。Ar-RNN-T模型还通过在任何给定的延迟范围内保证令牌发射来改进下游应用，例如ASR端点。此外，Ar-RNN-T损失允许我们的LSTM模型架构具有更大的批量大小和4倍的吞吐量，从而能够在GPU上实现更快的训练和收敛。
2020-11-05 cs.CL cs.LG cs.SD
Fast Streaming Transducer ASR Prototyping via Knowledge Distillation with Whisper
Idiap Research Institute（Idiap研究所）；University of Zurich（苏黎世大学）；EPFL（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；Uniphore（Uniphore公司）
针对低/无监督数据的ASR训练难题，提出利用基础语音模型Whisper的伪标记，在消费级GPU上单阶段从零训练流式Transformer-Transducer模型，经多维度消融和6种语言验证有效，还提出了伪标记过滤方法。
2024-10-07 cs.CL cs.SD eess.AS
Streaming Transformer Transducer Based Speech Recognition Using Non-Causal Convolution
Facebook AI（Facebook 人工智能研究院）
本文利用非因果卷积改进了用于语音识别的流式Transformer变换器。许多工作应用因果卷积来改进流Transformer，忽略了前视上下文。我们建议使用非因果卷积来分别处理中心块和前瞻上下文。该方法利用卷积中的前瞻上下文，并保持类似的训练和解码效率。给定类似的延迟，使用具有前瞻上下文的非因果卷积给出比因果卷积更好的准确性，特别是对于开放域听写场景。此外，本文采用了说话人注意力和一种新的历史上下文压缩方案，以进一步提高性能。说话头注意通过在不同头之间传递信息来改善多个头的自注意。历史上下文压缩方法引入了更多的扩展历史上下文压缩。在我们的内部数据上，所提出的方法在开放域听写、辅助通用场景和辅助调用场景上分别提高了具有前瞻上下文的小Emformer基线的相对WRR 5.1\%、14.5\%、8.4\%。
2021-10-07 cs.CL cs.LG eess.AS
On Addressing Practical Challenges for RNN-Transducer
Microsoft Speech（微软语音）
在本文中，提出了一些工作，以解决部署基于RNN传感器（RNN-T）的语音识别系统的实际挑战。这些挑战是使经过良好训练的RNN-T模型适应新的领域，而无需收集音频数据，获得单词级别的时间戳和置信度得分。第一个挑战是解决了拼接数据的方法，连接从源域数据中提取的语音段。为了获得时间戳，通过共享编码器将音素预测分支添加到RNN-T模型中，以实现强制对齐的目的。最后，我们通过利用解码过程中计算的几种类型的特征和混淆网络获得单词级的置信度得分。使用Microsoft生产数据进行评估，拼接数据自适应方法与文本转语音方法相比，基线和自适应分别提高了58.03%和15.25%的相对字错误率降低。所提出的时间戳方法可以得到小于50 ms的字的时间差从地面真值对齐平均，同时保持RNN-T模型的识别精度。我们还获得了高置信度的注释性能与有限的计算成本。
2021-07-18 cs.CL cs.SD eess.AS
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University（卡内基梅隆大学）
本文提出Helix分布式系统，通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度，显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
A GPU-based WFST Decoder with Exact Lattice Generation
Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们描述的Kaldi工具包的扩展，支持加权有限状态传感器（WFST）解码的图形处理单元（GPU）的初步工作。我们实现令牌重组作为一个原子GPU操作，以完全并行化的维特比束搜索，并提出了一个动态的负载均衡策略，更有效的令牌传递调度GPU线程之间。我们还重新设计了精确的格生成和格修剪算法，以更好地利用GPU。在Switchboard语料库上的实验表明，该方法在识别和置信度测量任务中获得了相同的1-best结果和格质量，而运行速度比单进程Kaldi解码器快3到15倍。上述结果是在不同的GPU架构上报告的。此外，我们获得了46倍的加速与序列并行和多进程服务（MPS）在GPU。
2018-07-27 cs.CL
EESEN: End-to-End Speech Recognition using Deep RNN Models and WFST-based Decoding
Language Technologies Institute, School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院语言技术研究所）
由于深度神经网络（DNN）的应用，自动语音识别（ASR）的性能得到了极大的提高。尽管取得了这些进展，但建立新的ASR系统仍然是一项具有挑战性的任务，需要各种资源、多个培训阶段和大量专业知识。本文介绍了我们的Eesen框架，它大大简化了现有的管道，以建立最先进的ASR系统。Eesen中的声学建模涉及学习单个递归神经网络（RNN），预测上下文无关的目标（音素或字符）。为了消除对预先生成的帧标签的需要，我们采用连接主义时间分类（CTC）的目标函数来推断语音和标签序列之间的对齐。Eesen的一个显着特点是一个广义的解码方法的基础上加权有限状态转换器（WFSTs），这使得有效地将词典和语言模型到CTC解码。实验表明，与标准的混合DNN系统相比，Eesen实现了相当的字出错率（WER），同时大大加快了解码速度。
2015-10-18 cs.CL cs.LG
Comparison of Decoding Strategies for CTC Acoustic Models
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
连接主义时间分类最近吸引了大量的兴趣，因为它提供了一个优雅的方法来建立声学模型（AM）的语音识别。CTC损失函数将可观察特征向量的输入序列映射到符号的输出序列。输出符号在CTC丢失的情况下是有条件地相互独立的，因此语言模型（LM）可以在解码期间方便地并入，保留了ASR中声学和语言分量的传统分离。对于固定词汇表，加权有限状态转换器为CTC AM与n-gram LM的有效集成提供了强大的基线。基于编码器的神经LM为开放词汇语音识别和全神经模型提供了一种直接的解决方案，并且可以使用束搜索进行解码。最后，序列到序列模型可用于将单个声音的序列翻译成单词串。我们比较了这三种方法的性能，并分析了它们的错误模式，这为未来在这一重要领域的研究和开发提供了有见地的指导。
2017-08-15 cs.CL
Consistent Training and Decoding For End-to-end Speech Recognition Using Lattice-free MMI
Tencent AI Lab（腾讯人工智能实验室）
最近，端到端（E2 E）框架在各种自动语音识别（ASR）任务上取得了显著的成果。然而，无格最大互信息（LF-MMI），作为一个区别性的训练标准，表现出优越的性能在混合ASR系统，很少被采用在E2 E ASR框架。在这项工作中，我们提出了一种新的方法，将LF-MMI标准集成到E2 E ASR框架中的训练和解码阶段。所提出的方法在两个最广泛使用的E2 E框架上显示了其有效性，包括基于注意力的编码器-解码器（AED）和神经传感器（NT）。实验表明，LF-MMI标准的引入始终导致各种数据集和不同E2 E ASR框架上的显着性能改进。我们最好的模型在Aishell-1开发/测试集上实现了4.1\% / 4.4\%的竞争性CER;我们还在强基线上实现了Aishell-2和Librisepeech数据集上的显着错误减少。
2021-12-30 cs.AI cs.CL
Dovetail: A CPU/GPU Heterogeneous Speculative Decoding for LLM inference
National Key Laboratory of Parallel and Distributed Computing（并行与分布式计算国家重点实验室）；College of Computer Science and Technology（计算机科学与技术学院）；National University of Defense Technology（国防科技大学）
Dovetail提出一种CPU/GPU异构投机解码方法，利用GPU草稿模型和CPU目标模型协同推理，通过减少传输粒度和优化草稿模型，在13B模型上实现1.79x至10.1x的无损加速。
2025-09-09 cs.CL
Joint Beam Search Integrating CTC, Attention, and Transducer Decoders
针对不同E2E-ASR解码器架构各有优劣的问题，提出共享编码器的4D联合建模方案与两阶段训练策略，还设计三种以不同解码器为主的联合波束搜索算法，实验证明其性能优于单解码器模型与传统CTC/attention解码。
2025-01-14 cs.CL cs.SD eess.AS
RNN-T For Latency Controlled ASR With Improved Beam Search
Facebook AI（Facebook人工智能实验室）
诸如用于自动语音识别（ASR）的RNN传感器（RNN-T）的基于神经传感器的系统将传统混合ASR系统的各个组件（声学模型、语言模型、标点模型、反向文本规范化）混合成一个单个模型。这大大简化了训练和推理，因此使RNN-T成为ASR系统的理想选择。在这项工作中，我们研究了RNN-T在推理时间期间需要可调延迟预算的应用程序中的使用。我们还提高了原来提出的RNN-T束搜索算法的解码速度。我们在英语视频ASR数据集上评估了我们提出的系统，结果表明，与经过良好调整的混合ASR基线相比，神经RNN-T模型可以实现相当的WER和更好的计算效率。
2020-01-16 cs.CL cs.LG eess.AS
NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding
NVIDIA, Armenia（英伟达，亚美尼亚）；NVIDIA, USA（英伟达，美国）
本文提出NGPU-LM，通过重新设计统计n元语言模型的数据结构实现GPU并行推理，为各类ASR模型提供低开销的贪婪解码，有效缩小域外场景下贪婪搜索与束搜索的准确率差距。
2025-05-28 cs.AI cs.CL cs.LG
Tree Attention: Topology-aware Decoding for Long-Context Attention on GPU clusters
Zyphra（齐夫拉公司）；EleutherAI（EleutherAI 研究机构）
本文提出Tree Attention算法，通过树形归约在多个GPU上并行化精确注意力计算，相比Ring Attention解码速度最高提升8倍，通信量和峰值内存显著降低，并在Llama 3.1-8B及多种硬件上验证了效果。
2025-02-09 cs.CL cs.LG
Breaking Through the Spike: Spike Window Decoding for Accelerated and Precise Automatic Speech Recognition
TRIP.COM GROUP（Trip.com集团）；School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院）
针对WFST逐帧搜索CTC后验导致推理缓慢的问题，提出Spike Window Decoding，使解码帧数与尖峰帧数线性相关，并在AISHELL-1和大规模内部数据集上达到SOTA准确率且显著加速。
2025-01-01 cs.AI cs.CL cs.SD
GPU-Accelerated Viterbi Exact Lattice Decoder for Batched Online and Offline Speech Recognition
NVIDIA（英伟达）
我们提出了一种优化的加权有限状态转换器（WFST）解码器，能够使用图形处理单元（GPU）的音频的在线流和离线批处理。该解码器是有效的内存利用率，输入/输出（I/O）带宽，并使用一种新颖的Viterbi实现设计，以最大限度地提高并行性。减少内存占用使解码器能够处理比以前大得多的图形，同时优化I/O增加了支持的并发流的数量。网格段的GPU预处理使得中间网格结果能够在流式推理期间返回给请求者。总的来说，所提出的算法产生了高达240倍的加速比单核CPU解码，高达40倍的速度比当前最先进的GPU解码器的解码，同时返回等效的结果。这种解码器设计可以在从大型数据中心服务器到低功耗边缘设备的各种系统上部署生产级ASR模型。
2020-02-14 cs.CL eess.AS
TurboBias: Universal ASR Context-Biasing powered by GPU-accelerated Phrase-Boosting Tree
NVIDIA
本文提出TurboBias，一种基于GPU加速短语提升树的通用ASR上下文偏置框架，支持CTC、Transducers和Attention Encoder-Decoder模型，在无显著速度损失下处理最多20K关键短语，并在准确率和解码速度上超越现有开源方案。
2025-08-12 cs.AI cs.CL cs.SD
Integrating Lattice-Free MMI into End-to-End Speech Recognition
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）
在自动语音识别（ASR）研究中，判别准则在DNN-HMM系统中取得了优异的性能。鉴于这一成功，采用判别标准有望提高端到端（E2 E）ASR系统的性能。有了这个动机，以前的作品已经引入了最小贝叶斯风险（MBR，判别标准之一）到E2 E ASR系统。然而，基于MBR的方法的有效性和效率受到损害：MBR准则仅用于系统训练，这造成了训练和解码之间的不匹配;基于MBR的方法中的动态解码过程导致需要预先训练的模型和缓慢的训练速度。为此，在这项工作中，提出了新的算法集成到E2 E ASR系统中的另一个广泛使用的判别准则，无格最大互信息（LF-MMI），不仅在训练阶段，而且在解码过程中。所提出的LF-MMI训练和解码方法在两个广泛使用的E2 E框架上显示了其有效性：基于注意力的编码器-解码器（AED）和神经传感器（NT）。与基于MBR的方法相比，所提出的LF-MMI方法：保持了训练和解码之间的一致性;避免了动态解码过程;从随机初始化的模型进行训练，具有优越的训练效率。实验表明，LF-MMI方法的性能优于MBR方法，并且在30小时到14.3k小时的各种框架和数据集上始终导致统计上显着的性能改进。所提出的方法在Aishell-1（CER 4.10%）和Aishell-2（CER 5.02%）数据集上实现了最先进的（SOTA）结果。代码被释放。
2022-08-23 cs.CL cs.SD eess.AS
WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition
Sogou Inc.（搜狗公司）
近年来，基于注意力的编码器-解码器（AED）端到端（E2 E）模型在自动语音识别（ASR）领域引起了越来越多的关注。然而，AED模型在商业应用中部署时仍然具有缺点。自回归束搜索解码使得其对于高并发应用是低效的。集成外部单词级语言模型也不方便。最重要的是，AED模型由于全局注意力机制而难以进行流识别。在本文中，我们提出了一个新的框架，即WNARS，使用混合CTC注意AED模型和加权有限状态传感器（WFST）来解决这些问题。我们从自回归束搜索切换到CTC分支解码，CTC分支解码以块方式使用WFST执行第一遍解码。解码器分支然后对所生成的假设非自回归地执行第二遍重新评分。在AISHELL-1任务上，我们的WNARS实现了5.22%的字符出错率和640 ms的延迟，据我们所知，这是在线ASR的最先进的性能。在我们的10，000小时普通话任务上的进一步实验表明，与强大的TDNN-BLSTM无格MMI基线相比，所提出的方法在50%的延迟下实现了20%以上的改进。
2021-04-21 cs.CL cs.SD eess.AS
Arabic Code-Switching Speech Recognition using Monolingual Data
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Kanari AI；University of Helwan（赫勒万大学）
自动语音识别（ASR）中的语码转换是全球化带来的一个重要挑战。多语言ASR的最新研究表明，单语系统有潜在的改进。我们通过一系列大规模的ASR实验研究了与ASR多语言建模相关的关键问题。我们的创新框架在加权有限状态转换器（WFST）框架中部署了多图方法。我们比较我们的WFST解码策略与Transformer序列到序列系统在相同的数据上训练。在阿拉伯语和英语之间的语码转换场景下，我们的研究结果表明，WFST解码方法更适合于间隔语码转换数据集。此外，Transformer系统在句内语码转换任务中表现更好。通过这项研究，我们发布了一个人工生成的开发和测试集，以及生态代码切换测试集，以基准ASR性能。
2021-07-04 cs.CL cs.SD eess.AS
LLM-based phoneme-to-grapheme for phoneme-based speech recognition
Xinjiang University（新疆大学）；Tsinghua University（清华大学）；School of Computer Science and Technology（计算机科学与技术学院）；Guangxi Radio and Television Monitoring Center（广西广播电视监测中心）
本文提出LLM-P2G解码方法，通过DANP和TKM两种训练策略缓解级联信息损失，在波兰语和德语跨语言ASR中相比WFST系统分别降低3.6%和6.9%的相对WER。
2025-06-05 cs.CL cs.SD eess.AS
Espresso: A Fast End-to-end Neural Speech Recognition Toolkit
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Southern California（南加利福尼亚大学）；Northwestern Polytechnical University（西北工业大学）
我们介绍了Espresso，一个开源的，模块化的，可扩展的端到端神经自动语音识别（ASR）工具包，基于深度学习库PyTorch和流行的神经机器翻译工具包fairseq。Espresso支持跨GPU和计算节点的分布式训练，并具有ASR中常用的各种解码方法，包括基于单词的前瞻语言模型融合，实现了快速并行解码器。Espresso在没有数据增强的情况下，在WSJ、LibriSpeech和Switchboard数据集上实现了最先进的ASR性能，并且解码速度比类似系统（例如ESPnet）快4- 11倍。
2019-10-15 cs.CL cs.SD eess.AS
