DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 DCTX-Conformer，通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入，在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
针对流式ASR的性能与延迟平衡难题，提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法，在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
Cascaded encoders for unifying streaming and non-streaming ASR
Google LLC（谷歌公司）
到目前为止，端到端（E2 E）自动语音识别（ASR）模型在几个基准测试中表现出了竞争力。这些模型被构造为在流模式或非流模式下操作。这项工作提出了级联编码器，用于建立一个单一的E2 E ASR模型，可以同时在这两种模式下工作。该模型由流和非流编码器。输入特征首先由流编码器处理;非流编码器仅对流编码器的输出进行操作。然后，单个解码器学习使用流式或非流式编码器的输出进行解码。实验结果表明，该模型在流媒体模式下的误字率与独立流媒体模型相近，在非流媒体模式下的误字率相对提高了10% - 27%。我们的研究结果还表明，所提出的方法优于现有的E2 E两遍模型，特别是在长形式的语音。
2020-10-27 cs.CL cs.SD eess.AS
Enhancing Monotonic Multihead Attention for Streaming ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
我们研究了单调多头注意力（MMA），通过扩展硬单调注意力到基于transformer的自动语音识别（ASR）的在线流媒体应用。对于流式推理，所有单调注意力（MA）头应该学习正确的对齐，因为直到所有头检测到相应的令牌边界才生成下一个令牌。然而，我们发现并不是所有的MA头都能通过简单的实现来学习对齐。为了鼓励每个头部正确学习对齐，我们提出了HeadDrop正则化，在训练过程中屏蔽了一部分头部随机对齐。此外，我们建议修剪冗余的头部，以提高边界检测的头部之间的共识，并防止延迟令牌生成所造成的这种头部。每个MA头上的分块注意力扩展到多头对应物。最后，我们提出了头部同步波束搜索解码，以保证稳定的流推理。
2020-09-30 cs.CL cs.LG cs.SD
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在端到端（E2 E）自动语音识别（ASR）系统中，Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中，使用块边界检测技术同步对齐编码特征块，其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话，LibriSpeech英语和CSJ日本的任务的评估表明，建议的流Transformer算法优于传统的在线方法，包括单调块注意（MoChA），特别是当使用知识蒸馏技术。一项消融研究表明，我们的流方法有助于减少响应时间，重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
2020-11-18 cs.SD eess.AS
Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）建模在语音处理中得到了越来越多的关注。与最近的国家的最先进的注意力为基础的自动语音识别（ASR）的结构，NAR可以实现有前途的实时因子（RTF）的改善，只有很小的退化的准确性相比，自回归（AR）模型。然而，识别推理需要等待完整的语音话语的完成，这限制了它们在低延迟场景中的应用。为了解决这个问题，我们提出了一种新的端到端的流NAR语音识别系统相结合的blockwise-attention和连接主义的时间分类与掩码预测（Mask-CTC）NAR。在推理过程中，输入音频被分成小块，然后以分块流式方式进行处理。为了解决每个块输出边缘的插入和删除错误，我们采用了一种重叠解码策略，并采用了一种动态映射技巧，可以产生更连贯的句子。实验结果表明，与vanilla Mask-CTC相比，该方法在低延迟条件下提高了在线ASR识别率。此外，与基于AR注意力的模型相比，它可以实现更快的推理速度。我们所有的代码都将在https://github.com/espnet/espnet上公开。
2021-07-20 cs.LG cs.SD eess.AS
Unifying Streaming and Non-streaming Zipformer-based ASR
Uniphore；Idiap Research Institute（Idiap研究机构）
该研究提出基于Zipformer的统一ASR框架，通过分块注意力掩码的动态右上下文训练单模型兼顾流式与非流式场景，可灵活调控延迟-准确率权衡，词错误率相对降7.9%，流式性能接近非流式。
2025-06-17 cs.AI cs.SD eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
Benchmarking LF-MMI, CTC and RNN-T Criteria for Streaming ASR
Facebook AI（Facebook人工智能）
在这项工作中，为了测量延迟控制的流式自动语音识别（ASR）应用的准确性和效率，我们对三个流行的训练标准进行了全面的评估：LF-MMI，CTC和RNN-T。在使用3 K-14 K小时的训练数据转录7种语言的社交媒体视频时，我们使用相同的数据集和编码器模型架构对每个标准进行了大规模的受控实验。我们发现RNN-T在ASR准确性方面具有一致的优势，而CTC模型在推理效率方面表现出色。此外，我们有选择地研究了不同训练标准的各种建模策略，包括建模单元，编码器架构，预训练等。鉴于这种大规模的真实世界流媒体ASR应用，据我们所知，我们提出了这三个广泛使用的训练标准的第一个全面的基准测试。
2020-11-09 cs.SD eess.AS
Transformer-based Streaming ASR with Cumulative Attention
Cambridge Research Laboratory, Toshiba Europe Ltd（东芝欧洲有限公司剑桥研究实验室）
在本文中，我们提出了一个在线的注意力机制，称为累积注意力（CA），流转换器为基础的自动语音识别（ASR）。受单调分块注意（MoChA）和头同步解码器端自适应计算步骤（HS-DACS）算法的启发，CA基于在每个编码时间步累积的声学信息触发ASR输出，其中使用可训练设备（称为停止选择器）做出决策。在CA中，同一解码器层的所有注意头被同步以具有统一的停止位置。该特征有效地消除了由各个头部的不同行为引起的问题，否则可能引起MoChA遇到的严重延迟问题。在AIShell-1和Librispeech数据集上进行的ASR实验表明，与文献中的其他流式Transformer系统相比，所提出的基于CA的Transformer系统可以实现同等或更好的性能，并且在推理期间显著减少延迟。
2022-03-11 cs.SD eess.AS
Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation
Honda Research Institute Japan Co., Ltd.（日本本田研究所）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对流式与非流式自动语音识别的模式切换需求，提出基于多解码器与知识蒸馏的联合优化方法，通过编码器整合、独立解码器及跨模块相似性知识蒸馏，在单个模型中实现两种模式的性能提升。
2024-05-22 cs.CL cs.SD eess.AS
Mamba for Streaming ASR Combined with Unimodal Aggregation
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出将Mamba状态空间模型用于流式ASR，结合预测机制、单模态聚合与提前终止方法，在中文数据集上同时提升识别准确率并降低延迟。
2024-12-27 cs.CL cs.SD eess.AS
A light-weight and efficient punctuation and word casing prediction model for on-device streaming ASR
Cisco Systems（思科系统）
针对设备端流式ASR中Transformer模型过大的问题，提出基于CNN和BiLSTM的轻量模型，联合预测标点和大小写，性能与Transformer相当，体积仅为其1/40，速度快2.5倍。
2024-07-18 cs.CL cs.LG cs.SD
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
DistillW2V2: A Small and Streaming Wav2vec 2.0 Based ASR Model
Tencent Cloud Xiaowei（腾讯云小微）
Wav 2 vec 2.0（W2 V2）在自动语音识别（ASR）方面表现出了令人印象深刻的性能。然而，大的模型尺寸和非流架构使得它很难在低资源或流场景下使用。在这项工作中，我们提出了一个两阶段的知识蒸馏方法来解决这两个问题：第一步是使大的和非流教师模型较小，第二步是使其流。特别地，我们采用均方误差损失来提取隐藏层，而采用修正的LF-MMI损失来提取预测层。实验在Gigaspeech、Librispeech和内部数据集上进行。结果表明，我们最终得到的蒸馏学生模型（DistillW 2 V2）比原始教师模型快8倍，小12倍。对于480 ms的延迟设置，在测试集上，DistillW 2 V2的相对字错误率（WER）下降从9%到23.4%不等，这揭示了一种扩展W2 V2应用范围的有希望的方法。
2023-03-16 cs.SD eess.AS
Improving Streaming Transformer Based ASR Under a Framework of Self-supervised Learning
Tencent Cloud Xiaowei（腾讯云小微）
近年来，自监督学习已成为提高自动语音识别（ASR）性能的一种有效方法。在这种框架下，神经网络通常使用大量未标记数据进行预训练，然后使用有限的标记数据进行微调。然而，神经网络通常采用双向Transformer等非流结构来实现竞争性结果，不能用于流场景。本文主要研究在自监督学习框架下提高流式Transformer的性能。具体而言，我们提出了一种新的两阶段训练方法在微调，它结合了知识提取和自我训练。该方法在Librispeech噪声测试集上实现了16.3%的相对字错误率（WER）降低。最后，通过仅使用Librispeech的100 h干净子集作为标记数据，其余（860 h）作为未标记数据，我们的基于流式Transformer的模型在Librispeech干净/嘈杂测试集上获得了具有竞争力的WERs 3.5/8.7。
2021-09-15 cs.SD eess.AS
Bridging the gap between streaming and non-streaming ASR systems bydistilling ensembles of CTC and RNN-T models
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）系统广泛用于需要实时将语音转录为文本的日常应用中。它们的最小延迟使它们适合这些任务。与它们的非流模型不同，流模型被限制为因果关系，没有未来的上下文，并遭受更高的字出错率（WER）。为了改进流模型，最近的一项研究[1]提出了在无监督的话语上提取非流教师模型，然后使用教师的预测训练流学生。然而，教师和学生之间的绩效差距仍然很大。在本文中，我们的目标是通过使用一组多样化的非流教师模型并使用识别器输出投票错误减少（ROVER）将它们结合起来来缩小这一差距。特别是，我们表明，尽管比RNN-T模型弱，但CTC模型是出色的教师。此外，通过将RNN-T和CTC模型融合在一起，我们构建了最强大的教师。由此产生的学生模型大大改善了以前工作的流模型[1]：西班牙语的WER下降了41%，葡萄牙语下降了27%，法语下降了13%。
2021-04-25 cs.CL cs.SD eess.AS
Building Accurate Low Latency ASR for Streaming Voice Search
Flipkart（Flipkart（弗利普卡特））
本文针对大规模 Hinglish 流式语音搜索，通过改进 LSTM 训练并联合 CTC 实现 ASR 与语音结束检测，在 Flipkart 数据上将词错误率降至 3.69%–4.78%，搜索延迟降低约 46.64%。
2023-05-29 cs.CL cs.LG cs.SD
Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition
Qwen Applications Business Group, Alibaba, China（通义实验室，阿里巴巴，中国）；Tongyi AI Lab, Alibaba, China（通义实验室，阿里巴巴，中国）
Uni-ASR基于大语言模型提出统一架构，实现非流式与流式语音识别无缝切换，通过联合训练和上下文感知策略提升流式识别准确性，实验显示其在不同延迟条件下均表现优异。
2026-03-11 cs.CL cs.SD
Semi-Autoregressive Streaming ASR With Label Context
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
本文提出一种流式半自回归ASR模型，通过语言模型子网络引入历史标签上下文，并设计新贪心解码算法减少块边界错误，在多个数据集上显著提升准确率并降低延迟。
2024-02-20 cs.CL cs.SD eess.AS
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
提出Delayed-KD方法，通过延迟知识蒸馏和时间对齐缓冲区（TAB）对齐CTC输出并控制词元发射延迟，在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
NVIDIA（英伟达）
本文提出面向生产环境的TurboBias 2.0框架，通过GPU加速的不区分大小写增强图与每流批量解码，在兼顾低延迟高吞吐量的同时，提升了ASR系统的上下文短语识别效果，支持多用户个性化偏置及多种解码方式。
2026-08-24 cs.AI cs.CL cs.LG
Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同时语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流传输ASR的流水线，然后是同时的MT，但是遭受错误传播和额外的延迟。为了缓解这些问题，最近的努力试图直接将源语音同时翻译成目标文本，但由于两个单独的任务的组合，这要困难得多。相反，我们提出了一个新的范例级联和端到端的方法的优点。其关键思想是分别在流式ASR和直接语音到文本翻译（ST）上使用两个独立但同步的解码器，ASR的中间结果指导ST的解码策略（但不作为输入）。在MuSTC数据集上进行的En-to-De和En-to-Es实验表明，我们提出的技术在相似的延迟水平下实现了更好的翻译质量。
2021-06-11 cs.CL cs.SD eess.AS
Continuous Streaming Multi-Talker ASR with Dual-path Transducers
Microsoft（微软）
到目前为止，多说话者对话的流识别仅针对2个说话者的单回合会话进行了评估。在本文中，我们调查它的多回合会议包含多个扬声器使用流式分离和识别传感器（SURT）模型，并表明，天真地扩展单回合模型，这个更难的设置会导致性能损失。作为解决方案，我们提出了双路径（DP）建模策略首先用于时域语音分离。我们对基于LSTM和Transformer的DP模型进行了实验，结果表明它们提高了字错误率（WER）性能，同时加快了收敛速度。我们还探讨了这些模型的训练策略，如组块宽度随机化和课程学习，并通过消融研究证明了它们的重要性。最后，我们在LibriCSS会议数据上评估了我们的模型，在那里它们与基于离线分离的方法具有竞争力。
2022-01-22 cs.SD eess.AS
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google（谷歌）
随着自动语音识别（ASR）应用的激增，对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前，可能会修改部分结果，从而导致不稳定问题。我们分析了设备上流媒体端到端（E2 E）ASR模型的质量和稳定性。我们首先介绍了一套新的指标，量化的不稳定性，在字和段的水平。我们研究了几种模型训练技术的影响，这些技术提高了E2 E模型的质量，但降低了模型的稳定性。我们对不稳定性的原因进行了分类，并探索了各种解决方案，以减轻它们在流E2 E ASR系统。索引术语：ASR、稳定性、端到端、文本规范化、设备上、RNN-T
2020-08-14 cs.CL cs.SD eess.AS
Streaming Chunk-Aware Multihead Attention for Online End-to-End Speech Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）；Northwestern Polytechnical University（西北工业大学）
近年来，流媒体端到端自动语音识别（E2 E-ASR）得到了越来越多的关注。人们已经付出了许多努力，将非流的基于注意力的E2 E-ASR系统转化为流架构。在这项工作中，我们提出了一种新的在线E2 E-ASR系统，通过使用流块感知的多头注意力（SCAMA）和延迟控制存储器配备的自注意力网络（LC-SAN-M）。LC-SAN-M使用块级输入来控制编码器的延迟。对于SCAMA算法，采用联合训练的预测器来控制编码器的输出，使解码器能够以流的方式产生输出。在开放的170小时AISHELL-1和工业级的20000小时普通话语音识别任务上的实验结果表明，我们的方法可以显着优于基于MoChA的基线系统在可比的设置。在AISHELL-1任务上，我们所提出的方法实现了7.39%的字符出错率（CER），据我们所知，这是在线ASR的最佳公布性能。
2020-05-21 cs.SD eess.AS
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
Streaming Multi-Talker ASR with Token-Level Serialized Output Training
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个令牌级串行输出训练（t-SOT），一个新的框架，流多说话人自动语音识别（ASR）。与使用多个输出分支的现有流传输多讲话者ASR模型不同，t-SOT模型仅具有生成识别令牌的单个输出分支（例如，字、子字）。一个特殊的令牌，表明“虚拟”输出通道的变化被引入到跟踪重叠的话语。与现有的流式多说话者ASR模型相比，t-SOT模型具有推理成本低和模型结构简单的优点。此外，在我们使用LibriSpeechMix和LibriCSS数据集的实验中，基于t-SOT的Transformer换能器模型实现了最先进的字错误率，与先前的结果相比有很大的差距。对于非重叠语音，t-SOT模型在准确性和计算成本方面与单说话者ASR模型相当，为单说话者和多说话者场景部署一个模型打开了大门。
2022-07-14 cs.CL cs.SD eess.AS
TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty
Tsinghua Univ.（清华大学）；Horizon Inc.（地平线公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了TrimTail，一个简单但有效的发射正则化方法，以改善流ASR模型的延迟。TrimTail的核心思想是应用长度惩罚（即，通过修整尾帧，参见图1-（b））直接在输入话语的频谱图上，这不需要任何对准。我们证明了TrimTail在计算上很便宜，可以在线应用并在任何数据集上使用任何训练损失或任何模型架构进行优化，而无需任何额外的努力，方法是将其应用于各种端到端流式ASR网络，无论是使用CTC损失[1]还是传感器损失[2]进行训练。我们实现了100 $\sim$ 200毫秒的延迟减少，在Aishell-1和Librispeech上具有相同或甚至更好的准确性。此外，通过使用TrimTail，我们可以实现400 ms的用户敏感延迟（USD）算法改进，准确性损失小于0.2。
2023-01-22 cs.CL cs.SD eess.AS
Streaming End-to-End Bilingual ASR Systems with Joint Language Identification
Amazon（亚马逊）
多语言ASR技术简化了模型训练和部署，但其准确性取决于运行时语言信息的可用性。由于语言身份在现实世界中很少事先知道，因此必须以最小的延迟进行即时推断。此外，在语音激活的智能助理系统中，ASR输出的下游处理也需要语言身份。在本文中，我们介绍了流，端到端，双语系统，使用递归神经网络转换器（RNN-T）架构执行ASR和语言识别（LID）。在输入侧，来自预训练的仅声学LID分类器的嵌入用于指导RNN-T训练和推理，而在输出侧，语言目标与ASR目标联合建模。所提出的方法适用于两种语言对：英语-西班牙语在美国说，英语-印地语在印度说。实验表明，对于英语-西班牙语，双语联合ASR-LID架构匹配单语ASR和仅声学LID精度。对于更具有挑战性（由于话语内代码切换）的情况下，英语印地语，英语ASR和LID指标显示退化。总的来说，在用户在语言之间动态切换的情况下，所提出的架构提供了一个有前途的简化运行多个单语ASR模型和LID分类器并行。
2020-07-08 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
X2Streaming-ASR: wait when uncertain, emit when ready for streaming ASR
X Square Robot（X Square机器人公司）
X2Streaming-ASR通过三阶段训练将流式识别分解为提交时机与内容，在AISHELL和WenetSpeech上以27-84毫秒延迟实现最佳流式CER。
2026-10-14 cs.AI cs.SD
Learning a Dual-Mode Speech Recognition Model via Self-Pruning
Meta AI
人们越来越有兴趣将流媒体和全上下文自动语音识别（ASR）网络统一到单个端到端ASR模型中，以简化两种用例的模型训练和部署。而在现实世界的ASR应用中，流式ASR模型通常在更多的存储和计算约束下操作，例如，在嵌入式设备上-比任何服务器端全上下文模型。受全稀疏超网训练的最新进展的启发，其中多个子网络在一个模型中联合优化，这项工作的目的是在一个超网中联合学习一个紧凑的稀疏设备上流媒体ASR模型和一个大型密集服务器非流媒体模型。接下来，我们提出，在wav 2 vec 2.0自监督学习和监督ASR微调上执行超网训练不仅可以大幅改善先前工作中所示的大型非流模型，而且还能够改善紧凑的稀疏流模型。
2022-10-06 cs.CL cs.SD eess.AS
Run-and-back stitch search: novel block synchronous decoding for streaming encoder-decoder ASR
编码器-解码器自动语音识别（ASR）系统的流式推理对于减少延迟是重要的，这对于交互式用例是必要的。为此，我们提出了一种新的块同步解码算法，结合端点预测和端点后确定的混合方法。在端点预测中，我们使用CTC后验来计算当前块的编码器特征中尚未发出的令牌数量的期望值。基于期望值，解码器预测端点以实现连续块同步，作为运行缝合。同时，端点后确定概率检测源-目标注意的后跳，这是由端点的错误预测。然后，它通过丢弃这些假设来恢复解码，如回缝。我们将这些方法结合成一个混合的方法，即运行和返回缝合搜索，这降低了计算成本和延迟。各种ASR任务的评估显示了我们提出的解码算法的效率，该算法实现了延迟减少，例如在Librispeech测试集中从1487 ms到821 ms的第90百分位数，同时保持了较高的识别精度。
2022-01-25 cs.SD eess.AS
A Language Agnostic Multilingual Streaming On-Device ASR System
Google（谷歌）
设备端到端（E2E）模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别（ASR）方面也显示出了有希望的结果。在本文中，我们扩展了我们以前的容量解决方案，流媒体应用程序，并提出了一个流媒体多语言E2E ASR系统，完全运行在设备上，具有可比的质量和延迟个别单语模型。为了实现这一目标，我们提出了一个编码器端指针模型和一个结束的话语（EOU）联合层，以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式，使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题，我们进行了设备上的分析，并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改，我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Dynamic Chunk Convolution for Unified Streaming and Non-Streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
针对流式与非流式统一语音识别模型性能差距较大的问题，提出动态块卷积替换Conformer架构中的因果卷积，结合全上下文模型权重初始化与模块并行化，显著降低流式模式性能下降，提升了统一模型的识别精度。
2023-04-25 cs.SD eess.AS
Lightweight Target-Speaker-Based Overlap Transcription for Practical Streaming ASR
University of West Bohemia in Pilsen（西波西米亚大学）
提出一种轻量级基于目标说话人的流式ASR扩展方法，结合SI与SC模型及紧凑重叠检测器，在计算量仅增44%下将重叠语音WER从68.0%降至35.78%，实现高效可扩展的重叠转录。
2025-06-25 cs.SD eess.AS
Compute Cost Amortized Transformer for Streaming ASR
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
我们提出了一个流，基于transformer的端到端自动语音识别（ASR）架构，通过计算成本摊销实现高效的神经推理。我们的架构在推理时动态创建稀疏计算路径，从而在整个解码过程中选择性地使用计算资源，从而在对准确性影响最小的情况下显著减少计算。完全可区分的架构是端到端训练的，伴随着在帧级操作的轻量级仲裁器机制，以在每个输入上做出动态决策，同时使用可调的损失函数来针对预测性能调整整体计算水平。我们报告的经验结果，从实验中使用的计算摊销Transformer-Transducer（T-T）模型进行LibriSpeech数据。我们的最佳模型可以实现60%的计算成本降低，只有3%的相对字出错率（WER）的增加。
2022-07-05 cs.CL cs.SD eess.AS
Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments
Microsoft（微软）
提出单解码器流式 Transformer-Transducer 与词元级序列化训练，借助文本对齐交错源/目标词元，在低延迟下联合输出 ASR 和 ST，质量持平或优于独立模型。
2023-10-02 cs.CL cs.SD eess.AS
Streaming Language Identification using Combination of Acoustic Representations and ASR Hypotheses
Amazon Alexa（亚马逊Alexa）
本文介绍了我们的建模和架构方法，用于构建一个高度准确的低延迟语言识别系统，以支持语音助手的多语言口语查询。解决多语言语音识别的常见方法是并行运行多个单语ASR系统，并依赖于检测输入语言的语言识别（LID）组件。常规地，LID仅依赖于声学信息来检测输入语言。我们提出了一种方法，学习和结合声学水平表示与嵌入估计ASR假设导致高达50%的相对减少识别错误率，相比，使用声学只功能的模型。此外，为了降低处理成本和延迟，我们利用流架构，以识别口语早期系统达到预定的置信水平时，减轻需要运行多个ASR系统，直到输入查询结束。结合声学和文本LID，再加上我们提出的流媒体运行时架构，导致平均1500毫秒的早期识别超过50%的话语，几乎没有降低准确性。我们还显示了改进的结果，采用半监督学习（SSL）技术，使用新提出的模型架构作为教师模型。
2020-06-01 cs.CL cs.SD eess.AS
A Comparison of Semi-Supervised Learning Techniques for Streaming ASR at Scale
New York University（纽约大学）；Google Inc.（谷歌公司）
本文在大规模生产级流式ASR约束下，通过联合训练系统比较三类半监督文本与音频方法及其组合，证明其可同时降低WER与尾词WER、减少解码计算并提升lattice密度。
2023-04-19 cs.CL cs.SD eess.AS
Adapting Whisper for Streaming Speech Recognition via Two-Pass Decoding
BloombergUSA（布莱尔集团美国分公司）；WeNet Open Source CommunityChina（WeNet开源社区中国）
针对Whisper模型原生不支持流式语音识别的问题，研究基于WeNet工具包采用U2两遍结构微调Whisper，新增因果注意力掩码训练的CTC解码器生成流式部分转录、原Whisper解码器重排序，还提出混合分词器方法，经实验验证可实现高性能流式ASR并提升数据效率与泛化性。
2025-06-13 cs.SD eess.AS
Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
Moonshine v2通过滑动窗口自注意机制实现低延迟流式ASR，达到与更大模型相当的准确性。
2026-02-12 cs.CL cs.LG cs.SD
Modular Domain Adaptation for Conformer-Based Streaming ASR
Google LLC（谷歌有限责任公司）
提出模块化领域自适应（MDA）框架，通过在Conformer编码器中添加领域特定的适配器和前馈网络，使单一模型在保持参数领域特定性的同时处理多领域数据，并在语音搜索和听写等任务上达到与多领域模型相似的性能。
2023-05-22 cs.CL cs.LG cs.SD
JOIST: A Joint Speech and Text Streaming Model For ASR
Google, Inc.（谷歌公司）
我们提出了JOIST，一个训练流，级联，编码器端到端（E2 E）模型的语音文本配对的输入，和文本只有不成对的输入算法。与以前的作品不同，我们探索了两种模式的联合训练，而不是预先训练和微调。此外，我们探索JOIST使用流E2 E模型的数量级更多的数据，这也是新颖的相比，以前的作品。通过一系列的消融研究，我们探讨了不同类型的文本建模，包括如何建模的文本序列的长度和适当的文本子词单元表示。我们发现，与未使用文本训练的模型相比，JOIST的最佳文本表示在各种搜索和稀有词测试集上将WER提高了4-14%。此外，我们定量地表明，JOIST保持流功能，这是很重要的良好的用户级体验。
2022-10-13 cs.CL cs.SD eess.AS
Improving endpoint detection in end-to-end streaming ASR for conversational speech
Uniphore Software Systems（Uniphore软件系统公司）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；Uniphore Software Systems, USA（Uniphore软件系统公司（美国））
针对端到端流式ASR中端点检测因输出延迟导致错误的问题，提出引入词尾标记与延迟惩罚，并利用辅助网络进行帧级语音活动检测，在Switchboard语料上验证了改进效果。
2025-05-19 cs.AI cs.CL cs.SD
VarArray Meets t-SOT: Advancing the State of the Art of Streaming Distant Conversational Speech Recognition
Microsoft（微软）
本文提出了一种新的流式自动语音识别（ASR）框架，用于由具有任意几何形状的远距离麦克风阵列捕获的多说话者重叠语音。我们的框架名为t-SOT-VA，利用了独立开发的两种最新技术;阵列几何不可知的连续语音分离，或VarArray，以及基于令牌级序列化输出训练（t-SOT）的流式多说话者ASR。为了结合这两种技术的优点，我们新设计了一个基于t-SOT的ASR模型，该模型基于VarArray的两个分离的语音信号生成序列化的多说话者转录。我们还提出了一个预训练方案，这样的ASR模型，我们模拟VarArray的输出信号的基础上单声道单说话者ASR训练数据。使用AMI会议语料库的会话转录实验表明，该系统的基础上提出的框架显着优于传统的。我们的系统实现了最先进的字错误率分别为13.7%和15.5%的AMI开发和评估集，在多个远程麦克风设置，同时保留流推理能力。
2022-10-04 cs.CL cs.SD eess.AS
Omni-sparsity DNN: Fast Sparsity Optimization for On-Device Streaming E2E ASR via Supernet
Meta AI
从可穿戴设备到功能强大的智能设备，现代自动语音识别（ASR）模型可在各种计算预算不同的边缘设备上运行。为了在模型精度与模型大小的帕累托前沿进行导航，研究人员陷入了一个困境，即通过为每个边缘设备训练和微调模型来优化模型精度，同时保持训练GPU时间易于处理。在本文中，我们提出了全稀疏DNN，其中单个神经网络可以被修剪以生成针对大范围模型大小的优化模型。我们为全稀疏DNN开发了训练策略，使其能够沿着单词错误率（WER）与模型大小的帕累托前沿找到模型，同时保持训练GPU时间不超过训练一个奇异模型的时间。我们使用流式E2 E ASR模型演示了全稀疏DNN。我们的研究结果显示，与单独修剪的稀疏模型相比，LibriSpeech的训练时间和资源大大节省，准确率相似或更高：测试其他模型的WER提高了2%-6.6%。
2022-07-20 cs.CL cs.SD eess.AS
Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
Typhoon Team, SCB DataX（Typhoon团队，SCB DataX）
提出可部署的流式泰语ASR系统，通过缓存感知编码器和浅融合实现低延迟，在基准上降低字符错误率4.3-4.5倍，解码时控制提升关键词召回率。
2026-09-15 cs.CL cs.SD eess.AS
Fast Streaming Transducer ASR Prototyping via Knowledge Distillation with Whisper
Idiap Research Institute（Idiap研究所）；University of Zurich（苏黎世大学）；EPFL（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；Uniphore（Uniphore公司）
针对低/无监督数据的ASR训练难题，提出利用基础语音模型Whisper的伪标记，在消费级GPU上单阶段从零训练流式Transformer-Transducer模型，经多维度消融和6种语言验证有效，还提出了伪标记过滤方法。
2024-10-07 cs.CL cs.SD eess.AS
Reducing Streaming ASR Model Delay with Self Alignment
Google Inc.（谷歌公司）
减少预测延迟流端到端ASR模型与最小的性能回归是一个具有挑战性的问题。约束对齐是一种公知的现有方法，其使用外部低延迟声学模型来惩罚预测的单词边界。相反，最近提出的FastEmit是一个序列级延迟正则化方案，鼓励在没有任何参考对齐的情况下在空白上使用词汇标记。虽然所有这些计划是成功地减少延迟，ASR字错误率（WER）往往严重恶化后，应用这些延迟约束计划。在本文中，我们提出了一种新的延迟约束方法，称为自对准。自对准不需要外部对准模型。相反，它利用来自训练模型的Viterbi强制对齐来找到较低延迟的对齐方向。从LibriSpeech评估，自对齐优于现有方案：在相似的单词错误率下，与FastEmit和约束对齐相比，延迟减少了25%和56%。对于语音搜索评估，与FastEmit和约束对齐相比，实现了12%和25%的延迟减少，WER改善超过2%。
2021-05-06 cs.AI cs.CL cs.SD
