BECTRA: Transducer-based End-to-End ASR with BERT-Enhanced Encoder
Waseda University（早稻田大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了BERT-CTC-Transducer（BECTRA），一种新的端到端自动语音识别（E2 E-ASR）模型制定的换能器与BERT增强编码器。将大规模预训练语言模型（LM）集成到E2 E-ASR中已经得到了积极的研究，旨在利用通用的语言知识来生成准确的文本。使这种集成具有挑战性的一个关键因素在于词汇不匹配;为预训练的LM构建的词汇通常对于E2 E-ASR训练来说太大，并且可能与目标ASR域不匹配。为了克服这个问题，我们提出了BECTRA，我们以前的BERT-CTC的扩展版本，实现基于BERT的E2 E-ASR使用感兴趣的词汇。BECTRA是一个基于转换器的模型，它采用BERT-CTC作为编码器，并使用适合目标任务的词汇表训练ASR特定的解码器。结合传感器和BERT-CTC，我们还提出了一种新的推理算法，利用自回归和非自回归解码。在不同数据量、说话风格和语言的多个ASR任务上的实验结果表明，BECTRA在利用BERT知识的同时有效地处理词汇不匹配问题，优于BERT-CTC。
2023-03-17 cs.CL cs.SD eess.AS
Phonetic-assisted Multi-Target Units Modeling for Improving Conformer-Transducer ASR system
Shanghai Normal University（上海师范大学）
本文提出语音辅助多目标单元（PMU）建模方法，通过融合发音辅助子词建模与BPE单元，在CTC和Transducer多任务训练中增强Conformer编码器，在LibriSpeech及带口音ASR任务上显著降低词错误率。
2023-07-07 cs.SD eess.AS
Streaming Target-Speaker ASR with Neural Transducer
NTT Corporation（日本电报电话公司）；Tokyo Institute of Technology（东京工业大学）
尽管深度学习技术的最新进展已经提高了单说话者情况下的自动语音识别（ASR）性能，但仍然难以识别许多声音重叠的多说话者语音。解决该问题的一种常规方法是使用语音分离或目标语音提取前端与ASR后端的级联。然而，前端模块的额外计算成本是快速响应的关键障碍，特别是对于流式ASR。在本文中，我们提出了一个目标扬声器ASR（TS-ASR）系统，隐式地集成了流端到端（E2 E）ASR系统，即递归神经网络换能器（RNNT）内的目标语音提取功能。我们的系统使用了类似的想法，通过目标语音提取，但它直接实现在RNNT的编码器的水平。这使得TS-ASR可以在不增加前端计算成本的情况下实现。请注意，这项研究提出了E2 E TS-ASR先前研究之间的两个主要差异;我们研究了流模型并将我们的研究基于Conformer模型，而先前的研究使用基于RNN的系统并仅考虑离线处理。我们在实验中证实，我们的TS-ASR实现了与传统的级联系统在离线设置相当的识别性能，同时降低计算成本，实现流TS-ASR。
2022-09-19 cs.SD eess.AS
Knowledge Distillation for Neural Transducer-based Target-Speaker ASR: Exploiting Parallel Mixture/Single-Talker Speech Data
本文提出利用知识蒸馏方法，通过预训练的单说话人 RNNT 系统生成伪标签，以充分利用并行混合/单说话人语音数据来改进 TS-RNNT 训练，实验证明该方案优于基线系统。
2023-05-25 eess.AS
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
针对流式ASR的性能与延迟平衡难题，提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法，在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
Improving RNN Transducer Based ASR with Auxiliary Tasks
Facebook AI（Facebook人工智能）
与传统的混合语音识别器相比，具有单个神经网络的端到端自动语音识别（ASR）模型最近已经展示了最先进的结果。具体而言，循环神经网络传感器（RNN-T）在各种基准测试中表现出具有竞争力的ASR性能。在这项工作中，我们研究了RNN-T通过执行辅助任务来实现更好的ASR准确性的方法。我们建议（i）使用与主要RNN-T ASR任务相同的辅助任务，以及（ii）像传统的混合建模一样执行上下文相关的字形状态预测。在转录具有不同训练数据大小的社交媒体视频时，我们首先评估三种语言的流式ASR性能：罗马尼亚语，土耳其语和德语。我们发现，这两种方法提供了一致的改进。接下来，我们观察到两个辅助任务在学习RNN-T标准的深度Transformer编码器方面都表现出了有效性，从而与之前的顶级模型相比，在LibriSpeech测试-干净/其他上实现了具有竞争力的结果- 2.0%/4.2% WER。
2020-11-09 cs.CL cs.SD eess.AS
Continuous Streaming Multi-Talker ASR with Dual-path Transducers
Microsoft（微软）
到目前为止，多说话者对话的流识别仅针对2个说话者的单回合会话进行了评估。在本文中，我们调查它的多回合会议包含多个扬声器使用流式分离和识别传感器（SURT）模型，并表明，天真地扩展单回合模型，这个更难的设置会导致性能损失。作为解决方案，我们提出了双路径（DP）建模策略首先用于时域语音分离。我们对基于LSTM和Transformer的DP模型进行了实验，结果表明它们提高了字错误率（WER）性能，同时加快了收敛速度。我们还探讨了这些模型的训练策略，如组块宽度随机化和课程学习，并通过消融研究证明了它们的重要性。最后，我们在LibriCSS会议数据上评估了我们的模型，在那里它们与基于离线分离的方法具有竞争力。
2022-01-22 cs.SD eess.AS
HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation
CLSP JHU（杰斯罗大学计算机科学与工程系）；HLTCOE JHU（杰斯罗大学人类语言技术与计算机工程系）；Xiaomi（小米公司）
提出HENT-SRT框架，通过任务分解、CTC一致性自蒸馏、层级高效编码器及空白惩罚，在保持ASR性能的同时提升语音翻译质量并降低训练成本。
2025-06-02 cs.CL eess.AS
Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter
NVIDIA（英伟达）；University of London（伦敦大学）
本文提出基于CTC词识别器的快速上下文偏置方法，通过CTC对数概率与紧凑上下文图匹配检测候选词并替换贪婪识别结果，结合混合Transducer-CTC模型，在加速推理的同时提升F-score并降低WER，已集成于NVIDIA NeMo工具包。
2024-06-11 cs.AI cs.CL cs.LG
Reducing the Offline-Streaming Gap for Unified ASR Transducer with Consistency Regularization
NVIDIA, Armenia（亚美尼亚NVIDIA公司）；NVIDIA, USA（美国NVIDIA公司）
本文提出统一ASR框架，通过一致性正则化缩小离线与流媒体性能差距，提升低延迟流媒体准确率同时保持离线性能。
2026-04-21 cs.AI cs.CL cs.HC
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft（微软）
神经传感器在自动语音识别（ASR）中得到了广泛的应用。在本文中，我们将其引入流端到端语音翻译（ST），其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译（MT）的级联ST相比，所提出的基于Transformer transducer（TT）的ST模型大大减少了推理延迟，利用了语音信息，并避免了从ASR到MT的错误传播。为了提高建模能力，我们提出了注意力池的联合网络在TT。此外，我们扩展了基于TT的ST多语言ST，它产生的文本在同一时间的多种语言。在大规模5万（K）小时伪标记训练集上的实验结果表明，基于TT的ST不仅显著减少了推理时间，而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
Multiple-hypothesis RNN-T Loss for Unsupervised Fine-tuning and Self-training of Neural Transducer
Cambridge Research Laboratory, Toshiba Europe Limited（东芝欧洲有限公司剑桥研究实验室）
针对递归神经网络（RNN）-转换器（RNN-T）端到端（E2 E）自动语音识别（ASR）系统，提出了一种利用未标记语音数据进行无监督微调和自训练的新方法。传统系统在使用未标记的音频数据时使用ASR假设作为目标来执行微调/自训练，并且易受基础模型的ASR性能的影响。在这里，为了减轻使用未标记数据时ASR错误的影响，我们提出了一种多假设RNN-T损失，将多个ASR 1-最佳假设纳入损失函数。对于微调任务，在Librispeech上的ASR实验表明，与单假设方法相比，在test_other集上，多假设方法实现了14.2%的单词出错率（WER）的相对降低。对于自训练任务，ASR模型使用来自华尔街日报（WSJ）的监督数据，Aurora-4以及CHiME-4真实噪声数据作为未标记数据进行训练。与单假设方法相比，多假设方法在CHiME-4的单通道真实噪声评估集上产生3.3%的WER相对降低。
2022-07-29 cs.CL cs.SD eess.AS
A Study of Transducer based End-to-End ASR with ESPnet: Architecture, Auxiliary Loss and Decoding Strategies
Airudit；LaBRI（波尔多计算机科学实验室）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；Yahoo Japan Corporation（雅虎日本公司）；Kyoto University（京都大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在这项研究中，我们介绍了ESPnet中使用RNN-T损失训练的模型的最新发展。它涉及到使用各种架构，如最近提出的Conformer，具有不同辅助标准的多任务学习和多种解码策略，包括我们自己的命题。通过实验和基准测试，我们表明，我们提出的系统可以与其他国家的最先进的系统在知名的数据集，如LibriSpeech和AISHELL-1的竞争。此外，我们证明了这些模型在性能和解码速度方面对ESPnet中其他已经实现的系统是有希望的，从而有可能拥有强大的流任务系统。通过这些补充，我们希望扩展ESPnet工具包对研究社区的有用性，并为ASR行业提供工具，以便在现实和生产环境中部署我们的系统。
2022-01-14 cs.SD eess.AS
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
TokenVerse: Towards Unifying Speech and NLP Tasks via Transducer-based ASR
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Zurich（苏黎世大学）；Brno University of Technology（布尔诺理工大学）；Uniphore（尤尼福公司）
针对传统语音对话智能级联流水线流程繁琐的问题，提出基于Transducer的TokenVerse模型，通过在ASR训练中融入任务特定token统一处理语音与NLP任务，在多任务上性能优于级联方案，ASR相对WER最高提升7.7%。
2024-10-08 cs.CL cs.SD eess.AS
Pushing the Limits of Beam Search Decoding for Transducer-based ASR models
NVIDIAArmenia（NVIDIA Armenia）；NVIDIAUSA（NVIDIA USA）
本文提出一种加速Transducer模型beam search的通用方法，通过批处理、树结构和CUDA graph等技术，将beam与贪婪解码速度差缩小至10-20%，同时显著提升WER和浅层融合性能。
2025-05-30 cs.AI cs.CL cs.LG
Promptformer: Prompted Conformer Transducer for ASR
Amazon AGI（亚马逊AGI）
本文提出Promptformer，通过超提示机制将文本上下文融入Conformer Transducer的注意力模块，在多轮ASR交互中实现5.9%的相对词错误率降低，且无上下文时性能不退化。
2024-01-14 cs.CL cs.SD eess.AS
VQ-T: RNN Transducers using Vector-Quantized Prediction Network States
IBM Research AI（IBM人工智能研究院）
束搜索是端到端模型的主要ASR解码算法，它生成树结构假设。然而，最近的研究表明，假设合并的解码可以实现更有效的搜索，具有相当或更好的性能。但是，循环网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量量化的长短期记忆单元（VQ-LSTM）。通过与ASR网络联合训练离散表示，可以主动合并假设以生成格。我们在Switchboard语料库上的实验表明，所提出的VQ RNN换能器比具有常规预测网络的换能器提高了ASR性能，同时还产生了更密集的网格，对于相同的波束大小，具有非常低的甲骨文错误率出错率（WER）。附加的语言模型重评分实验也证明了所提出的格生成方案的有效性。
2022-08-03 cs.CL cs.SD eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft（微软）
提出LAMASSU模型，基于神经转换器实现流式语言无关的多语言语音识别与翻译，通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft（微软）
在基于传感器的自动语音识别（ASR）系统中，背景信息是动态的，在模型训练过程中是不可用的。在这项工作中，我们引入了一个轻量级的上下文拼写校正模型，以纠正上下文相关的识别错误，在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型，并使用过滤算法来处理大尺寸的上下文列表。实验表明，该模型提高了基线ASR模型的性能，相对词出错率降低了约50%，也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation（NTT公司）
本文提出内部声学模型训练策略和双空白阈值方法，通过联合训练HAT与IAM同步发出空白并跳过非空白计算，在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
Integrating Text Inputs For Training and Adapting RNN Transducer ASR Models
IBM Research AI（IBM研究院人工智能部门）
与使用模块化架构的混合自动语音识别（ASR）系统（其中每个组件可以独立地适应于新的领域）相比，最近的端到端（E2 E）ASR系统由于其全神经单片构造而难以定制。在本文中，我们提出了一种新的文本表示和E2 E ASR模型的训练框架。通过这种方法，我们证明了经过训练的RNN转换器（RNN-T）模型的内部LM组件可以有效地适应纯文本数据。使用语音和文本输入训练的RNN-T模型比仅使用语音训练的基线模型有所改进，在NIST Hub 5 2000评估的Switchboard和CallHome测试集上，单词出错率（WER）降低了近13%。通过将这种通用RNN-T模型定制为三个独立的数据集，进一步证明了所提出方法的有用性。我们观察到20-45%的相对字出错率（WER）减少在这些设置与这种新的LM风格的定制技术，只使用不成对的文本数据从新的域。
2022-02-26 cs.CL cs.SD eess.AS
Knowledge Distillation for Neural Transducers from Large Self-Supervised Pre-trained Models
自监督预训练是利用大量未标记数据降低自动语音识别（ASR）系统误词率的有效方法。由于对于许多真实世界的ASR应用使用大型预训练模型是不切实际的，因此希望具有小得多的模型，同时保留预训练模型的性能。在本文中，我们提出了一个简单的知识蒸馏（KD）神经传感器的损失函数，专注于流和非流设置下输出概率格中的最佳路径，这使得一个小的学生模型接近大型预训练教师模型的性能。LibriSpeech数据集上的实验表明，尽管比教师模型小10倍，但与使用标记的100小时干净数据在没有KD的情况下训练的基线传感器相比，所提出的损失导致非流和流学生模型的测试其他集的相对WER减少（WERR）为11.5%和6.8%。对于KD额外的860小时未标记数据，WERR增加到48.2%，对于非流和流学生增加到38.5%。如果使用语言模型浅融合来产生蒸馏目标，则观察到学生模型的进一步改进。
2022-03-02 eess.AS
Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
Transformer在自动语音识别（ASR）中实现了与最先进的端到端模型竞争的性能，并且比基于RNN的模型需要更少的训练时间。原始的Transformer采用编码器-解码器架构，仅适用于离线ASR。它依赖于注意力机制来学习对齐，并对输入音频进行双向编码。Transformer解码的高计算成本也限制了其在生产流传输系统中的使用。为了使Transformer适用于流式ASR，我们探索了Transducer框架作为学习对齐的可流式方式。对于音频编码，我们应用具有交错卷积层的单向Transformer。交错的卷积层用于对未来的上下文进行建模，这对性能很重要。为了降低计算成本，我们逐渐降低声音输入的采样，也使用交织卷积层。此外，我们限制了自注意中的历史上下文的长度，以保持每个解码步骤的计算成本恒定。我们表明，这种架构，名为Conv-Transformer Transducer，在LibriSpeech数据集上实现了有竞争力的性能（3.6\% WER on test-clean），而无需外部语言模型。该性能与先前发布的可流式传输的Transformer Transducer和强混合流式ASR系统相当，并且以更小的前瞻窗口（140 ms）、更少的参数和更低的帧速率实现。
2020-08-13 cs.CL cs.SD eess.AS
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
Fast Streaming Transducer ASR Prototyping via Knowledge Distillation with Whisper
Idiap Research Institute（Idiap研究所）；University of Zurich（苏黎世大学）；EPFL（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；Uniphore（Uniphore公司）
针对低/无监督数据的ASR训练难题，提出利用基础语音模型Whisper的伪标记，在消费级GPU上单阶段从零训练流式Transformer-Transducer模型，经多维度消融和6种语言验证有效，还提出了伪标记过滤方法。
2024-10-07 cs.CL cs.SD eess.AS
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
Towards Maximum Likelihood Training for Transducer-based Streaming Speech Recognition
XL8 Inc.（XL8公司）；Seoul National University（首尔大学）；Chung-Ang University（中央大学）
针对传统流式Transducer模型因训练推理不匹配导致的似然变形与准确率次优问题，提出前向变量因果补偿（FoCC）量化差距并设计估计器FoCCE，在LibriSpeech数据集验证其可提升模型准确率。
2024-11-26 cs.LG eess.AS
Conformer with dual-mode chunked attention for joint online and offline ASR
在本文中，我们提出了一个深入的研究在线注意机制和蒸馏技术的双模的【形】（即，联合在线和离线）使用Conformer传感器的ASR。在双模的【形】Conformer Transducer模型中，各层可以在线或离线工作，同时共享参数，并在训练中应用从离线到在线模式的就地知识蒸馏，以提高在线精度。在我们的研究中，我们首先证明了在Conformer编码器中使用分块注意力与有和没有前瞻的自回归注意力相比的准确性提高。此外，我们探讨了有效的KLD和1-最好的KLD损失与不同的移动之间的在线和离线输出的知识蒸馏。最后，我们表明，一个简化的双模的【形】构象，只有模式特定的自注意力，以及一个也有模式特定的卷积和归一化。我们的实验是基于两个非常不同的数据集：Librispeech任务和医疗对话的内部语料库。结果表明，所提出的双模式系统，使用组块注意力产生5%和4%的相对WER改善的Librispeech和医疗任务，相比，双模的【形】系统，使用自回归注意力与类似的平均前瞻。
2022-06-22 eess.AS
RNN-T For Latency Controlled ASR With Improved Beam Search
Facebook AI（Facebook人工智能实验室）
诸如用于自动语音识别（ASR）的RNN传感器（RNN-T）的基于神经传感器的系统将传统混合ASR系统的各个组件（声学模型、语言模型、标点模型、反向文本规范化）混合成一个单个模型。这大大简化了训练和推理，因此使RNN-T成为ASR系统的理想选择。在这项工作中，我们研究了RNN-T在推理时间期间需要可调延迟预算的应用程序中的使用。我们还提高了原来提出的RNN-T束搜索算法的解码速度。我们在英语视频ASR数据集上评估了我们提出的系统，结果表明，与经过良好调整的混合ASR基线相比，神经RNN-T模型可以实现相当的WER和更好的计算效率。
2020-01-16 cs.CL cs.LG eess.AS
Self-Supervised Learning for Multi-Channel Neural Transducer
Advanced Media, Inc.（Advanced Media公司）
本文研究基于 wav2vec 2.0 的多通道神经转录器自监督学习方法，比较三种特征量化策略，发现逐特征量化最优，在远场内部数据集上字符错误率相对降低 66%。
2024-08-06 cs.CL cs.SD eess.AS
Factorized Neural Transducer for Efficient Language Model Adaptation
Microsoft Speech and Language Group（微软语音与语言组）
近年来，基于端到端（E2 E）的自动语音识别（ASR）系统由于其简单性和有前途的性能而获得了巨大的成功。基于神经传感器的模型在基于流E2 E的ASR系统中越来越受欢迎，并且据报道在某些场景中优于传统的混合系统。然而，神经换能器中声学模型、词典和语言模型的联合优化也给利用纯文本进行语言模型自适应带来了挑战。这一缺点可能会阻碍它们在实践中的潜在应用。为了解决这一问题，本文提出了一种新的模型--因子化神经传感器，通过对空白和词汇预测进行因子化，并采用独立的语言模型进行词汇预测。预计这种分解可以将独立语言模型的改进转移到用于语音识别的换能器，这允许应用各种语言模型自适应技术。我们表明，建议的因子分解神经换能器产生15%至20%的WER改进时，域外的文本数据用于语言模型适应，在WER的一般测试集上的一个小的退化的成本。
2021-10-18 cs.CL eess.AS
Alignment-Free Training for Transducer-based Multi-Talker ASR
NTT Corporation（NTT公司）
本文提出MT-RNNT-AFT无对齐训练方案，通过在转录开头附加说话人提示标记，使标准RNNT架构无需精确时间戳即可实现多说话人ASR，性能与最先进方法相当且训练过程大幅简化。
2024-09-30 cs.CL cs.SD eess.AS
Multi-mode Transformer Transducer with Stochastic Future Context
ASAPP；Carnegie Mellon University（卡内基梅隆大学）
自动语音识别（ASR）模型在更多的周围语音信息被呈现为上下文时错误更少。不幸的是，获取更大的未来上下文会导致更高的延迟。在速度和准确性之间存在不可避免的权衡。为了适应不同的延迟要求，人们必须存储多个模型，并在约束条件下选择最佳模型。相反，更理想的方法是拥有一个可以根据不同约束动态调整其延迟的单一模型，我们称之为多模式ASR。多模式ASR模型可以在推理期间满足各种延迟要求-当更大的延迟变得可接受时，模型可以处理更长的未来上下文以实现更高的准确性，并且当延迟预算不灵活时，模型可以更少地依赖于未来上下文，但仍然实现可靠的准确性。为了追求多模式ASR，我们提出了随机未来上下文，这是一个简单的训练过程，在每次迭代中对一个流配置进行采样。通过对AISHELL-1和LibriSpeech数据集的广泛实验，我们表明多模式ASR模型可以与一组使用不同延迟预算训练的竞争性流媒体基线相媲美。
2021-06-17 cs.CL cs.SD eess.AS
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple（苹果公司）
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中，我们研究如何优化基于神经传感器的双语自动语音识别（ASR）模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况，我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能，并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率（MER）的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比，以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition
Universidad de Antioquia UdeA（安蒂奥基亚大学）
最先进的自动语音识别（ASR）系统在健康语音上表现良好。然而，对受损言语的表现仍然是一个问题。目前的研究探讨了使用Wav 2 Vec自我监督语音表示作为训练构音障碍语音的ASR系统的功能的有用性。构音障碍语音识别特别困难，因为语音的几个方面，如发音、韵律和发声可能受损。具体来说，我们训练一个声学模型，从Wav 2 Vec，Hubert和跨语言XLSR模型中提取的特征。结果表明，在大的未标记的数据上预训练的语音表示可以提高字出错率（WER）的性能。特别是，多语言模型的功能导致WER低于过滤器组（Fbank）或在单一语言上训练的模型。在患有脑瘫引起的构音障碍的英语使用者（UASpeech语料库）、患有帕金森氏症构音障碍的西班牙语使用者（PC-GITA语料库）和患有基于麻痹的构音障碍的意大利语使用者（EasyCall语料库）中观察到改善。与使用Fbank特征相比，基于XLSR的特征分别使UASpeech、PC-GITA和EasyCall语料库的WER减少了6.8%、22.0%和7.0%。
2022-04-04 cs.CL cs.SD eess.AS
Improved Robustness to Disfluencies in RNN-Transducer Based Speech Recognition
Amazon（亚马逊）
基于递归神经网络传感器（RNN-T）的自动语音识别（ASR）在语音界越来越受到关注。我们研究了数据选择和准备选择，旨在提高RNN-T ASR对语音不流利的鲁棒性，重点是部分单词。为了进行评估，我们使用干净的数据，不流利的数据和一个单独的数据集与口吃影响的语音。我们表明，在训练集中包含少量不流利的数据后，不流利和口吃测试的识别准确率提高了。增加具有不流畅性的训练数据的量提供额外的增益，而不会降低干净数据的质量。我们还表明，用专用标记替换部分单词有助于在不流利和口吃的话语上获得更好的准确性。我们的最佳模型的评估显示，这两个评估集的相对WER减少22.5%和16.4%。
2020-12-11 cs.CL eess.AS
Neural Transducer Training: Reduced Memory Consumption with Sample-wise Computation
Apple（苹果公司）
神经换能器是用于自动语音识别（ASR）的端到端模型。虽然该模型非常适合流式ASR，但训练过程仍然具有挑战性。在训练过程中，内存需求可能会很快超过最先进的GPU的容量，从而限制批量大小和序列长度。在这项工作中，我们分析了一个典型的传感器训练设置的时间和空间复杂度。我们提出了一种记忆高效的训练方法，计算换能器损耗和梯度样本的样本。我们提出了优化，以提高效率和并行性的样本明智的方法。在一组彻底的基准测试中，我们表明，我们的样本明智的方法显着减少内存使用，并在竞争力的速度相比，默认的批处理计算。作为一个亮点，我们设法计算换能器损失和梯度的批量大小为1024，音频长度为40秒，仅使用6 GB的内存。
2023-03-13 cs.CL cs.SD eess.AS
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Lookahead When It Matters: Adaptive Non-causal Transformers for Streaming Neural Transducers
本文提出自适应非因果注意力转导器（ANCAT），通过动态选择未来上下文依赖时机，在保持流式低延迟的同时实现与非因果模型相当的准确性，显著缩小了与因果模型的延迟差距。
2023-05-09 eess.AS
ASR-Synchronized Speaker-Role Diarization
本文提出一种改进的ASR+RD方法，通过冻结ASR转录器并训练辅助RD转录器，提升角色辨识性能，减少计算资源消耗。
2025-12-20 cs.AI cs.LG eess.AS
Federated Domain Adaptation for ASR with Full Self-Supervision
Meta AI
跨设备联邦学习（FL）通过在用户设备上协作训练模型来保护用户隐私，因此无需收集、存储和手动标记用户数据。虽然FL训练算法、非IID性和差分隐私等重要主题在文献中已经得到了很好的研究，但本文重点讨论了提高设备上ASR的两个具有实际意义的挑战：缺乏地面真实传输以及边缘设备上计算资源和网络带宽的稀缺。首先，我们提出了一个FL系统的设备上ASR领域自适应与完全自我监督，它使用自标记连同数据增强和过滤技术。该系统可以改进基于Emformer-Transducer的强大ASR模型，该模型是在域外数据上预训练的，使用域内音频而无需任何地面真实转录。其次，为了降低训练成本，我们提出了一种自限制RNN转换器（SR-RNN-T）损失，这是一种使用自监督Viterbi对齐的自限制RNN-T的变体。为了进一步降低计算和网络成本，我们系统地探索只调整Emformer-Transducer中的权重子集。我们的最佳训练配方在强域外基线上实现了$12.9\%$相对WER降低，这等于完全人工监督和集中训练可实现的降低的$70\%$。
2022-04-05 cs.CL cs.SD eess.AS
End-to-End Speech Recognition with Pre-trained Masked Language Model
本文提出 BERT-CTC 和 BECTRA 两种模型，将预训练掩码语言模型 BERT 有效融入端到端语音识别，通过迭代细化与适配 ASR 的词汇表弥合文本差异，在多个 ASR 任务上优于 CTC 和 transducer 基线。
2024-10-01 eess.AS
Improving ASR Contextual Biasing with Guided Attention
ASAPP
本文提出引导注意力辅助训练损失，在不增加参数的情况下提升ASR上下文偏置效果，并缓解偏置短语增多时WER降低效果减弱的问题。
2024-01-16 cs.CL eess.AS
Exploring Cross-Utterance Speech Contexts for Conformer-Transducer Speech Recognition Systems
本文研究了四种用于C-T语音识别系统的跨话语上下文建模方法及高效批处理训练方案，在四个多语言基准数据集上显著降低了错误率，证明了该方法的优越性与潜力。
2025-08-14 eess.AS
4D ASR: Joint modeling of CTC, Attention, Transducer, and Mask-Predict decoders
Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文提出 CTC、注意力、RNN-T 与 mask-predict 四解码器联合建模（4D），通过联合训练和单遍联合解码提升 ASR 鲁棒性与性能，并支持按应用场景灵活切换。
2023-05-29 cs.CL cs.SD eess.AS
Distilling a Pretrained Language Model to a Multilingual ASR Model
Sogang University（西江大学）
多语种语音数据往往存在长尾语言分布，导致性能下降。然而，多语言文本数据更容易获得，从而产生更有用的通用语言模型。因此，我们有动机将嵌入在训练有素的教师文本模型中的丰富知识提取到学生语音模型中。我们提出了一种新的方法称为蒸馏一个语言模型语音模型（蒸馏-L2 S），对齐两个不同的模态的潜在表示。细微的差异由收缩机制、最近邻插值和可学习的线性投影层处理。我们证明了我们的蒸馏方法的有效性，将其应用到多语种自动语音识别（ASR）的任务。我们提取了基于transformer的跨语言语言模型（InfoXLM），同时为每种语言微调了大规模多语言ASR模型（XLSR-wav 2 vec 2.0）。我们展示了我们的方法在CommonVoice数据集的20种低资源语言上的优越性，这些语言的语音数据少于100小时。
2022-06-25 cs.AI cs.CL cs.SD
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
Chunkwise Aligners for Streaming Speech Recognition
NTT, Inc.（日本电信电话株式会社）
本文提出分块对齐器，通过分块对齐和学习结束概率提升流式语音识别的训练和解码效率，与Transducer在精度上相当。
2026-05-12 eess.AS
Exploring Sequence-to-Sequence Transformer-Transducer Models for Keyword Spotting
Google（谷歌）
在本文中，我们提出了一种新的方法来适应序列到序列转换器-转换器ASR系统的关键字定位（KWS）任务。我们通过将文本转录中的关键字替换为特殊标记并训练系统检测音频流中的标记来实现这一点。<kw><kw>在推理时，我们创建了一个决策函数的灵感来自传统的KWS方法，使我们的方法更适合于KWS任务。此外，我们引入了一个特定的关键字定位损失，通过调整序列判别最小贝叶斯风险训练技术。我们发现，我们的方法显着优于基于ASR的KWS系统。当与传统的关键字定位系统相比，我们的建议具有类似的性能，同时带来了序列到序列训练的优势和灵活性。此外，当与传统的KWS系统相结合，我们的方法可以提高在任何操作点的性能。
2022-11-11 cs.LG cs.SD eess.AS
t-SOT FNT: Streaming Multi-talker ASR with Text-only Domain Adaptation Capability
Microsoft（微软）
针对t-SOT在纯文本自适应上的局限，提出结合因子化神经转换器的t-SOT FNT模型，通过分离语言模型并特殊处理符号，在保持识别性能的同时实现了基于纯文本的词错误率降低。
2023-09-15 cs.SD eess.AS
