Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition
Mobvoi Inc.（出门问问公司）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种新的两遍方法，统一流和非流端到端（E2 E）语音识别在一个单一的模型。我们的模型采用了混合CTC/注意力架构，在编码器中的构象层进行修改。我们提出了一个动态的基于组块的注意策略，允许任意的右上下文长度。在推理时，CTC解码器以流方式生成n个最佳假设。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。这种高效的重新评分过程导致非常小的缓存级延迟。在开放的170小时AISHELL-1数据集上的实验表明，该方法能够简单有效地统一流模型和非流模型。在AISHELL-1测试集上，我们的统一模型在非流式ASR中实现了5.60%的相对字符出错率（CER）降低，与标准的非流式Transformer相比。相同的模型在流式ASR系统中以640 ms的延迟实现5.42%的CER。
2021-12-29 cs.CL cs.SD eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
流自动语音识别模型与非流模型相比性能较差，这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性，本文采用了一种帧级模型，该模型采用高效的扩充存储器Transformer块和动态延迟训练方法，用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中，作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存，并在下一个块中重用以减少计算。之后，提出了一种动态延迟训练方法，以获得更好的性能，并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下，我们的模型与截断块式Transformer相比，在测试-clean上实现了6.0%的相对WER降低，在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Emformer: Efficient Memory Transformer Based Acoustic Model For Low Latency Streaming Speech Recognition
Facebook AI（Facebook人工智能研究院）
提出了一种用于低延迟流语音识别的高效内存Transformer Emformer。在Emformer中，远程历史上下文被提取到一个增强的内存库中，以降低自注意的计算复杂度。缓存机制将对左上下文的自注意中的键和值的计算保存。Emformer在训练中应用并行块处理，以支持低延迟模型。我们进行了实验的基准LibriSpeech数据。在960 ms的平均延迟下，Emformer在test-clean上获得WER $2.50\%$，在test-other上获得$5.62\%$。与强基线增强记忆Transformer（AM-TRF）相比，Emformer在解码时获得了$4.6$倍的训练加速比和$18\%$相对实时因子（RTF）降低，在测试干净时获得了相对WER降低$17\%$，在测试其他时获得了相对WER降低$9\%$。对于平均延迟为80 ms的低延迟场景，Emformer在测试-清洁上实现WER $3.01\%$，在测试-其他上实现$7.09\%$。与具有相同延迟和模型大小的LSTM基线相比，Emformer在test-clean和test-other上分别获得相对WER减少$9\%$和$16\%$。
2020-12-30 cs.CL cs.LG cs.SD
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google（谷歌）
随着自动语音识别（ASR）应用的激增，对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前，可能会修改部分结果，从而导致不稳定问题。我们分析了设备上流媒体端到端（E2 E）ASR模型的质量和稳定性。我们首先介绍了一套新的指标，量化的不稳定性，在字和段的水平。我们研究了几种模型训练技术的影响，这些技术提高了E2 E模型的质量，但降低了模型的稳定性。我们对不稳定性的原因进行了分类，并探索了各种解决方案，以减轻它们在流E2 E ASR系统。索引术语：ASR、稳定性、端到端、文本规范化、设备上、RNN-T
2020-08-14 cs.CL cs.SD eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
asr_eval: Algorithms and tools for multi-reference and streaming speech recognition evaluation
Siberian Neuronets LLC（西伯利亚神经网络有限公司）
asr_eval提出改进语音识别评估的算法和工具，包括多参考标注、词对齐和流式识别评估工具，用于提升多语言语音识别性能。
2026-01-28 cs.CL cs.SD eess.AS
Self-supervised learning with bi-label masked speech prediction for streaming multi-talker speech recognition
Microsoft（微软）
自监督学习（SSL）利用输入数据本身进行表示学习，已经为各种下游语音任务取得了最先进的结果。然而，大多数以前的研究集中在离线单说话人的应用程序，与有限的调查，在多说话人的情况下，特别是流媒体场景。在本文中，我们研究SSL的流式多说话人语音识别，它产生的transmarts重叠扬声器在流的方式。我们首先观察到，传统的SSL技术不能很好地完成这项任务，由于重叠语音的代表性差。然后，我们提出了一种新的SSL训练目标，称为双标签掩蔽语音预测，它明确保留重叠语音中所有扬声器的表示。我们调查所提出的系统，包括数据配置和量化器的选择的各个方面。建议的SSL设置在LibriSpeechMix数据集上实现了更好的单词错误率。
2022-11-10 cs.SD eess.AS
VarArray Meets t-SOT: Advancing the State of the Art of Streaming Distant Conversational Speech Recognition
Microsoft（微软）
本文提出了一种新的流式自动语音识别（ASR）框架，用于由具有任意几何形状的远距离麦克风阵列捕获的多说话者重叠语音。我们的框架名为t-SOT-VA，利用了独立开发的两种最新技术;阵列几何不可知的连续语音分离，或VarArray，以及基于令牌级序列化输出训练（t-SOT）的流式多说话者ASR。为了结合这两种技术的优点，我们新设计了一个基于t-SOT的ASR模型，该模型基于VarArray的两个分离的语音信号生成序列化的多说话者转录。我们还提出了一个预训练方案，这样的ASR模型，我们模拟VarArray的输出信号的基础上单声道单说话者ASR训练数据。使用AMI会议语料库的会话转录实验表明，该系统的基础上提出的框架显着优于传统的。我们的系统实现了最先进的字错误率分别为13.7%和15.5%的AMI开发和评估集，在多个远程麦克风设置，同时保留流推理能力。
2022-10-04 cs.CL cs.SD eess.AS
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
A Weakly-Supervised Streaming Multilingual Speech Model with Truly Zero-Shot Capability
Microsoft Speech Group（微软语音组）
本文提出流式多语言语音模型SM2，以Transformer Transducer为骨干，利用机器翻译生成的弱监督数据训练，在351千小时25种语言数据上取得与非流式模型相当或更优的语音翻译质量，并展现出面向新目标语言的真正零样本能力。
2023-07-05 cs.AI cs.CL cs.SD
Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition
Qwen Applications Business Group, Alibaba, China（通义实验室，阿里巴巴，中国）；Tongyi AI Lab, Alibaba, China（通义实验室，阿里巴巴，中国）
Uni-ASR基于大语言模型提出统一架构，实现非流式与流式语音识别无缝切换，通过联合训练和上下文感知策略提升流式识别准确性，实验显示其在不同延迟条件下均表现优异。
2026-03-11 cs.CL cs.SD
MFLA: Monotonic Finite Look-ahead Attention for Streaming Speech Recognition
Honor Device Co, Ltd（Honor Device公司）；Auditory Cognition and Computational Acoustics Lab（听觉认知与计算声学实验室）；MoE Key Lab of Artificial Intelligence（人工智能关键实验室）；AI Institute School of Computer Science, Shanghai Jiao Tong University（计算机科学学院人工智能研究所，上海交通大学）
本文提出MFLA框架，通过微调Whisper并结合Continuous Integrate-and-Fire机制、单调有限前瞻注意力及wait-k解码，在流式语音识别中实现延迟与质量的可控权衡。
2025-06-04 cs.CL cs.SD eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft（微软）
提出LAMASSU模型，基于神经转换器实现流式语言无关的多语言语音识别与翻译，通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model
Li Auto（利奥汽车）
本文提出 StreamUni，通过统一的大型语音语言模型结合语音思维链实现流式语音翻译，同时完成语音分割、策略决策与翻译生成，并在无需大量策略训练的情况下达到最先进性能。
2025-07-13 cs.CL cs.SD eess.AS
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同时语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流传输ASR的流水线，然后是同时的MT，但是遭受错误传播和额外的延迟。为了缓解这些问题，最近的努力试图直接将源语音同时翻译成目标文本，但由于两个单独的任务的组合，这要困难得多。相反，我们提出了一个新的范例级联和端到端的方法的优点。其关键思想是分别在流式ASR和直接语音到文本翻译（ST）上使用两个独立但同步的解码器，ASR的中间结果指导ST的解码策略（但不作为输入）。在MuSTC数据集上进行的En-to-De和En-to-Es实验表明，我们提出的技术在相似的延迟水平下实现了更好的翻译质量。
2021-06-11 cs.CL cs.SD eess.AS
Streaming end-to-end speech recognition with jointly trained neural feature enhancement
Samsung Research（三星研究院）
本文提出了一种基于增强层和单调组块注意（Monotonic Chunkwise Attention，MoCha）联合训练的流媒体端到端语音识别模型。尽管MoCha注意力使流式语音识别的识别精度与完全基于注意力的方法相当，但训练该模型对各种因素敏感，例如训练样本的难度，超参数等。由于这些问题，当应用多风格训练方法时，基于MoCha的模型的干净语音的语音识别精度显著下降。受课程学习[1]的启发，我们引入了两种培训策略：增强特征的逐步应用（GAEF）和增强损失的逐步减少（GREL）。使用GAEF，模型最初使用干净的特征进行训练。随后，来自增强层的输出的部分逐渐增加。使用GREL，增强输出的均方误差（MSE）损失部分随着训练的进行而逐渐减少。在LibriSpeech语料库和噪声远场测试集上的实验结果表明，采用GAEF-GREL训练策略的模型效果明显优于传统的多风格训练方法。
2021-05-04 cs.LG cs.SD eess.AS
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
序列转换器，如RNN-T和Conformer-T，是端到端语音识别最有前途的模型之一，特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法（例如，受限训练和FastEmit）来减少延迟，但是延迟的减少通常伴随着准确性的显著降低。我们认为，这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中，我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先，我们定义在网格上的每个对角线的预期延迟，并表明其梯度可以有效地计算内的向前向后算法。然后，我们用这个预期的延迟来增加换能器损耗，从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明，所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms，WER下降0.7%，并且优于传统的限制性训练（110 ms）和FastEmit（67 ms）方法。
2022-11-04 cs.CL cs.SD eess.AS
Linear Time Complexity Conformers with SummaryMixing for Streaming Speech Recognition
Samsung AI Center - Cambridge（三星剑桥人工智能中心）
针对自注意力语音识别时间复杂度高、SummaryMixing不适配流式场景的问题，将SummaryMixing扩展至支持流/离线模式的Conformer Transducer，实现线性复杂度，且效果更优、算力内存需求更低。
2024-09-11 cs.AI cs.SD eess.AS
Globally Normalising the Transducer for Streaming Speech Recognition
Samsung AI Center（三星人工智能中心）
针对流式语音识别中Transducer因局部归一化存在的数学缺陷，本文提出近似损失函数的方法实现全局归一化，使词错误率相对降低9-11%，缩小流式与前瞻模式的性能差距。
2023-07-20 cs.LG cs.SD eess.AS
JOIST: A Joint Speech and Text Streaming Model For ASR
Google, Inc.（谷歌公司）
我们提出了JOIST，一个训练流，级联，编码器端到端（E2 E）模型的语音文本配对的输入，和文本只有不成对的输入算法。与以前的作品不同，我们探索了两种模式的联合训练，而不是预先训练和微调。此外，我们探索JOIST使用流E2 E模型的数量级更多的数据，这也是新颖的相比，以前的作品。通过一系列的消融研究，我们探讨了不同类型的文本建模，包括如何建模的文本序列的长度和适当的文本子词单元表示。我们发现，与未使用文本训练的模型相比，JOIST的最佳文本表示在各种搜索和稀有词测试集上将WER提高了4-14%。此外，我们定量地表明，JOIST保持流功能，这是很重要的良好的用户级体验。
2022-10-13 cs.CL cs.SD eess.AS
Global Normalization for Streaming Speech Recognition in a Modular Framework
Google Research（谷歌研究院）
我们引入了全局归一化自回归转换器（GNAT）来解决流语音识别中的标签偏差问题。我们的解决方案承认一个易于处理的精确计算的分母的序列级规范化。通过理论和实证结果，我们证明，通过切换到一个全球标准化的模型，流和非流语音识别模型之间的单词出错率差距可以大大减少（超过50%的Librispeech数据集）。这个模型是在一个模块化的框架，其中包括所有常见的神经语音识别模型。该框架的模块化使得能够对建模选择和新模型的创建进行受控比较。
2022-05-26 cs.AI cs.CL cs.LG
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于注意力的端到端自动语音识别（ASR）系统最近已经展示了用于许多任务的最先进的结果。然而，自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性，其中每个单词必须在说出后不久被识别。在这项工作中，我们提出了双重因果/非因果自我注意力（DCN）架构，与限制自我注意力相比，它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较，示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果，同时提供了帧同步处理的优点。结合触发注意力，所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 DCTX-Conformer，通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入，在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
Streaming Speech-to-Text Translation with a SpeechLLM
Samsung, AI Center – Cambridge, United Kingdom（三星，人工智能中心——剑桥，英国）
本文提出基于LLM的流式语音到文本翻译架构，通过学习输出token和判断音频充足性，实现低延迟的实时翻译，实验显示其翻译质量接近非流式基准，但延迟仅1-2秒。
2026-05-14 cs.AI cs.CL eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty
Tsinghua Univ.（清华大学）；Horizon Inc.（地平线公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了TrimTail，一个简单但有效的发射正则化方法，以改善流ASR模型的延迟。TrimTail的核心思想是应用长度惩罚（即，通过修整尾帧，参见图1-（b））直接在输入话语的频谱图上，这不需要任何对准。我们证明了TrimTail在计算上很便宜，可以在线应用并在任何数据集上使用任何训练损失或任何模型架构进行优化，而无需任何额外的努力，方法是将其应用于各种端到端流式ASR网络，无论是使用CTC损失[1]还是传感器损失[2]进行训练。我们实现了100 $\sim$ 200毫秒的延迟减少，在Aishell-1和Librispeech上具有相同或甚至更好的准确性。此外，通过使用TrimTail，我们可以实现400 ms的用户敏感延迟（USD）算法改进，准确性损失小于0.2。
2023-01-22 cs.CL cs.SD eess.AS
Separator-Transducer-Segmenter: Streaming Recognition and Segmentation of Multi-party Speech
Amazon Alexa（亚马逊Alexa）
具有重叠语音的多方对话的流识别和分割对于下一代语音助理应用至关重要。在这项工作中，我们解决了在以前的工作中发现的挑战，多圈递归神经网络传感器（MT-RNN-T）与一种新的方法，分离器-传感器-分割器（STS），使语音分离，识别和分割更紧密地集成在一个单一的模型。首先，我们提出了一种新的分割建模策略，通过开始的回合和结束的回合令牌，提高了分割识别精度不下降。其次，我们进一步提高了语音识别和分割精度，通过发射正则化方法，FastEmit，和多任务训练与语音活动信息作为一个额外的训练信号。第三，我们实验结束轮发射延迟惩罚，以提高端点检测每个扬声器轮。最后，我们建立了一个新的框架，通过发射延迟指标的多方会话分割分析。我们最好的模型，我们报告4.6%的腹肌。转动计数精度提高了17%。LibriCSS数据集上的字错误率（WER）与以前发表的工作相比有所改善。
2022-05-10 cs.CL cs.SD eess.AS
VoiceFilter-Lite: Streaming Targeted Voice Separation for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
我们介绍VoiceFilter-Lite，一个单通道源分离模型，在设备上运行，只保留来自目标用户的语音信号，作为流语音识别系统的一部分。交付这样一个模型提出了许多挑战：当输入信号由重叠语音组成时，它应该提高性能，并且在所有其他声学条件下不得损害语音识别性能。此外，该模型必须小巧，快速，并以流式方式执行推理，以便对CPU，内存，电池和延迟的影响最小。我们提出了新的技术，以满足这些多方面的要求，包括使用一个新的非对称损失，并采用自适应运行时抑制强度。我们还表明，这样的模型可以量化为8位整数模型，并在实时运行。
2020-09-09 cs.LG cs.SD eess.AS
Streaming end-to-end multi-talker speech recognition
Microsoft Corp.（微软公司）
端到端多人语音识别是语音领域的一个新兴研究方向，它在会话和会议传输等应用中具有巨大的潜力。据我们所知，所有现有的研究工作都局限于离线场景。在这项工作中，我们提出了流分解和识别传感器（SURT）的端到端的多说话人语音识别。我们的模型采用递归神经网络转换器（RNN-T）作为骨干，可以满足各种延迟约束。我们研究了两种不同的模型架构，分别基于扬声器差分编码器和掩码编码器。为了训练该模型，我们研究了广泛使用的排列不变训练（PIT）方法和启发式错误分配训练（HEAT）方法。基于公开的LibriSpeechMix数据集上的实验，我们表明，与PIT相比，HEAT可以实现更好的准确性，并且具有150毫秒算法延迟约束的SURT模型在准确性方面优于基于离线序列到序列的基线模型。
2021-03-12 cs.CL cs.SD eess.AS
StreamAtt: Direct Streaming Speech-to-Text Translation with Attention-based Audio History Selection
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文提出首个流式语音翻译策略StreamAtt及首个可比较的延迟指标StreamLAAL，在MuST-C v1.0全部8种语言上验证了其优于朴素基线和现有SimulST策略。
2024-06-10 cs.AI cs.CL cs.SD
Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
Moonshine v2通过滑动窗口自注意机制实现低延迟流式ASR，达到与更大模型相当的准确性。
2026-02-12 cs.CL cs.LG cs.SD
Streaming Chunk-Aware Multihead Attention for Online End-to-End Speech Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）；Northwestern Polytechnical University（西北工业大学）
近年来，流媒体端到端自动语音识别（E2 E-ASR）得到了越来越多的关注。人们已经付出了许多努力，将非流的基于注意力的E2 E-ASR系统转化为流架构。在这项工作中，我们提出了一种新的在线E2 E-ASR系统，通过使用流块感知的多头注意力（SCAMA）和延迟控制存储器配备的自注意力网络（LC-SAN-M）。LC-SAN-M使用块级输入来控制编码器的延迟。对于SCAMA算法，采用联合训练的预测器来控制编码器的输出，使解码器能够以流的方式产生输出。在开放的170小时AISHELL-1和工业级的20000小时普通话语音识别任务上的实验结果表明，我们的方法可以显着优于基于MoChA的基线系统在可比的设置。在AISHELL-1任务上，我们所提出的方法实现了7.39%的字符出错率（CER），据我们所知，这是在线ASR的最佳公布性能。
2020-05-21 cs.SD eess.AS
Radio2Text: Streaming Speech Recognition Using mmWave Radio Signals
The University of Hong Kong（香港大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）
本文提出首个基于毫米波信号的大词汇量流式 ASR 系统 Radio2Text，通过 Guidance Initialization 和 cross-modal KD 提升识别性能，在逾13,000词词汇上达到5.7%字符错误率与9.4%词错误率。
2023-08-16 cs.CL cs.HC cs.SD
Streaming Speech-to-Confusion Network Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对交互式ASR低延迟限制解码搜索空间的问题，提出可输出混淆网络的低延迟流式ASR架构，其1-best结果与RNN-T相当，二次重打分可在LibriSpeech上降10-20%词错率，远场任务表现更优。
2023-06-02 cs.CL eess.AS
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft（微软）
神经传感器在自动语音识别（ASR）中得到了广泛的应用。在本文中，我们将其引入流端到端语音翻译（ST），其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译（MT）的级联ST相比，所提出的基于Transformer transducer（TT）的ST模型大大减少了推理延迟，利用了语音信息，并避免了从ASR到MT的错误传播。为了提高建模能力，我们提出了注意力池的联合网络在TT。此外，我们扩展了基于TT的ST多语言ST，它产生的文本在同一时间的多种语言。在大规模5万（K）小时伪标记训练集上的实验结果表明，基于TT的ST不仅显著减少了推理时间，而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
Learning a Dual-Mode Speech Recognition Model via Self-Pruning
Meta AI
人们越来越有兴趣将流媒体和全上下文自动语音识别（ASR）网络统一到单个端到端ASR模型中，以简化两种用例的模型训练和部署。而在现实世界的ASR应用中，流式ASR模型通常在更多的存储和计算约束下操作，例如，在嵌入式设备上-比任何服务器端全上下文模型。受全稀疏超网训练的最新进展的启发，其中多个子网络在一个模型中联合优化，这项工作的目的是在一个超网中联合学习一个紧凑的稀疏设备上流媒体ASR模型和一个大型密集服务器非流媒体模型。接下来，我们提出，在wav 2 vec 2.0自监督学习和监督ASR微调上执行超网训练不仅可以大幅改善先前工作中所示的大型非流模型，而且还能够改善紧凑的稀疏流模型。
2022-10-06 cs.CL cs.SD eess.AS
Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
神经结构搜索（NAS）已引起人们的广泛关注，并已被探索用于自动语音识别（ASR）。在这项工作中，我们专注于流ASR场景，并提出了延迟控制的NAS声学建模。首先，基于香草神经架构，正常细胞被改变为因果细胞以控制架构的总延迟。其次，提出了一种具有较小感受野的修正操作空间，以生成具有低延迟的最终架构。大量的实验表明：1）基于所提出的神经网络结构，可以分别在vanilla和修正后的操作空间中学习中延迟为550ms（毫秒）和低延迟为190ms的神经网络。2)对于低延迟设置，在10k小时的大规模数据集上，与混合CLDNN基线相比，评估网络可以实现超过19%（四个测试集的平均值）的相对改进。
2021-09-14 cs.SD eess.AS
StableEmit: Selection Probability Discount for Reducing Emission Latency of Streaming Monotonic Attention ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
虽然基于注意力的编码器-解码器（AED）模型已经成功地扩展到用于流式传输自动语音识别（ASR）的在线变体，例如单调分块注意力（MoChA），但是由于不受约束的端到端训练目标，模型仍然具有大的标签发射延迟。以前的工作通过利用对齐信息来控制训练期间发出令牌的时间来解决这个问题。在这项工作中，我们提出了一个简单的无约束正则化方法StableEmit，以鼓励MoChA更早地发出令牌。StableEmit通过一个常数因子来折扣硬单调注意中的选择概率，并将其正则化以恢复训练期间的总注意质量。因此，选择概率的规模增加，并且值可以更早地达到令牌发射的阈值，从而减少发射延迟和删除错误。此外，StableEmit可以与约束对齐的方法相结合，以进一步提高准确性和延迟。使用LSTM和Conformer编码器的实验评估表明，StableEmit可以同时显著降低识别错误和发射延迟。我们还表明，使用对齐信息是互补的，在这两个指标。
2021-07-15 cs.CL cs.SD eess.AS
Efficient Streaming LLM for Speech Recognition
Meta AI
针对现有大语言模型语音识别方法处理长流式音频泛化差、计算效率低的问题，提出线性扩展的流式语音识别模型SpeechLLM-XL，通过分块处理与有限注意力窗口降低成本，在基准测试上表现优异且长语音无质量下降。
2024-10-02 cs.AI cs.CL cs.SD
StreamHear: Domain-Adapted Pseudo-Labeling for Semi-Supervised Streaming Speech Recognition
Capital One（第一资本金融公司）
针对流式ASR的领域偏移问题，提出StreamHear半监督方法，通过微调离线教师生成伪标签并结合先验正则化重对齐，在四个数据集上性能优于有监督微调且缩小与离线教师的差距。
2026-08-17 cs.CL eess.AS
Attention based on-device streaming speech recognition with large speech corpus
Samsung Electronics Co., Ltd.（三星电子有限公司）
在本文中，我们提出了一个新的设备上的自动语音识别（ASR）系统的基础上训练的大型（> 10 K小时）语料库的单调块式注意（MoChA）模型。我们主要通过使用连接主义时间分类器（CTC）和交叉熵（CE）损失的联合训练，最小单词错误率（MWER）训练，逐层预训练和数据增强方法，获得了大约90%的一般领域的单词识别率。此外，我们使用迭代超低秩近似（LRA）方法将我们的模型压缩了3.4倍以上，同时最大限度地减少了识别精度的下降。通过8位量化进一步减少了内存占用，将最终模型大小降至39 MB以下。对于按需自适应，我们将MoChA模型与统计n-gram模型相融合，并且我们可以在目标域（包括一般域）的平均单词错误率（WER）方面实现相对36%的改善。
2020-01-02 cs.LG cs.SD eess.AS
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
提出Delayed-KD方法，通过延迟知识蒸馏和时间对齐缓冲区（TAB）对齐CTC输出并控制词元发射延迟，在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
Decoder-only Architecture for Streaming End-to-end Speech Recognition
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于仅解码器架构的分块流式语音识别方法，利用 CTC 压缩语音特征并采用随机长度前缀提示训练，在 LibriSpeech 上实现 8% 相对词错误率降低且速度提升一倍。
2024-08-01 cs.CL eess.AS
Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting
Sony Group Corporation（索尼集团）；Carnegie Mellon University（卡内基梅隆大学）
针对流式语音识别分块处理编码延迟优化不足的问题，提出结合循环层跳过与早退的Spiralformer编码器，在相近计算成本与词错误率下显著降低token发射延迟。
2025-10-01 cs.CL cs.SD eess.AS
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
Streaming Transformer Transducer Based Speech Recognition Using Non-Causal Convolution
Facebook AI（Facebook 人工智能研究院）
本文利用非因果卷积改进了用于语音识别的流式Transformer变换器。许多工作应用因果卷积来改进流Transformer，忽略了前视上下文。我们建议使用非因果卷积来分别处理中心块和前瞻上下文。该方法利用卷积中的前瞻上下文，并保持类似的训练和解码效率。给定类似的延迟，使用具有前瞻上下文的非因果卷积给出比因果卷积更好的准确性，特别是对于开放域听写场景。此外，本文采用了说话人注意力和一种新的历史上下文压缩方案，以进一步提高性能。说话头注意通过在不同头之间传递信息来改善多个头的自注意。历史上下文压缩方法引入了更多的扩展历史上下文压缩。在我们的内部数据上，所提出的方法在开放域听写、辅助通用场景和辅助调用场景上分别提高了具有前瞻上下文的小Emformer基线的相对WRR 5.1\%、14.5\%、8.4\%。
2021-10-07 cs.CL cs.LG eess.AS
Extending Recurrent Neural Aligner for Streaming End-to-End Speech Recognition in Mandarin
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
端到端模型在自动语音识别（ASR）中已显示出优越性。与此同时，流识别的能力已经成为端到端模型的日益增长的需求。遵循这些趋势，一种称为Recurrent Neural Aligner（RNA）的编码器-解码器递归神经网络被新提出，并在两个英语ASR任务上显示出其竞争力。然而，目前还不清楚RNA是否可以进一步改进并应用于其他口语。在这项工作中，我们探索了RNA在普通话中的适用性，并提出了四个有效的扩展：在编码器中，我们重新设计了时间下采样，并引入了一个强大的卷积结构。在解码器中，我们利用正则化器来平滑输出分布，并与语言模型进行联合训练。在两个普通话电话语音识别（MTS）数据集上，我们的扩展RNA获得了良好的性能。特别是，它达到了27.7%的字符出错率（CER），这是优于目前的最先进的结果流行的香港科技大学的任务。
2019-02-26 cs.CL cs.SD eess.AS
Streaming Joint Speech Recognition and Disfluency Detection
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于Transformer的流式联合语音识别与不流畅检测模型，利用声学信息提升鲁棒性，在Switchboard和日语语料上优于BERT流水线方法，实现低延迟轻量推理。
2023-05-11 cs.CL cs.SD eess.AS
Folding Attention: Memory and Power Optimization for On-Device Transformer-based Streaming Speech Recognition
Meta AI
针对端侧流式语音识别中线性投影层导致的内存与功耗瓶颈，提出 folding attention，在不损失准确率且不增加计算开销的前提下最高减少 24% 模型大小和 23% 功耗。
2024-01-19 cs.AR cs.LG cs.SD
