Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
Assessing Latency in ASR Systems: A Methodological Perspective for Real-Time Use
Universidad Politécnica de Madrid（马德里理工大学）
针对ASR系统延迟与实时口译需求不匹配的问题，提出新的延迟测量方法，并验证其在现场口译场景中的可用性。
2025-10-14 cs.AI cs.CL cs.SD
Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments
Microsoft（微软）
提出单解码器流式 Transformer-Transducer 与词元级序列化训练，借助文本对齐交错源/目标词元，在低延迟下联合输出 ASR 和 ST，质量持平或优于独立模型。
2023-10-02 cs.CL cs.SD eess.AS
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
A Language Agnostic Multilingual Streaming On-Device ASR System
Google（谷歌）
设备端到端（E2E）模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别（ASR）方面也显示出了有希望的结果。在本文中，我们扩展了我们以前的容量解决方案，流媒体应用程序，并提出了一个流媒体多语言E2E ASR系统，完全运行在设备上，具有可比的质量和延迟个别单语模型。为了实现这一目标，我们提出了一个编码器端指针模型和一个结束的话语（EOU）联合层，以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式，使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题，我们进行了设备上的分析，并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改，我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
针对流式ASR的性能与延迟平衡难题，提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法，在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling
Google Brain（谷歌大脑）；Google LLC（谷歌有限责任公司）
流媒体自动语音识别（ASR）的目标是尽可能快速、准确地发出每个假设的单词，而全上下文ASR则在发出完整的假设之前等待完整语音话语的完成。在这项工作中，我们提出了一个统一的框架，双模式ASR，训练一个单一的端到端的ASR模型与流和全上下文语音识别共享的权重。我们发现，流ASR的延迟和准确性显着受益于权重共享和联合训练的全上下文ASR，特别是在训练过程中的就地知识蒸馏。双模式ASR框架可以应用于最近最先进的基于卷积和基于变换器的ASR网络。我们使用两个最先进的ASR网络ContextNet和Conformer在两个数据集上进行了广泛的实验，一个是广泛使用的公共数据集LibriSpeech，另一个是大规模数据集MultiDomain。实验和消融研究表明，双模式ASR不仅简化了训练和部署流式和全上下文ASR模型的工作流程，而且还显著改善了流式ASR的发射延迟和识别准确性。通过双模式ASR，我们在LibriSpeech和MultiDomain上实现了在准确性和延迟方面最先进的流媒体ASR结果。
2021-01-27 cs.AI cs.CL cs.LG
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
提出Delayed-KD方法，通过延迟知识蒸馏和时间对齐缓冲区（TAB）对齐CTC输出并控制词元发射延迟，在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
Typhoon Team, SCB DataX（Typhoon团队，SCB DataX）
提出可部署的流式泰语ASR系统，通过缓存感知编码器和浅融合实现低延迟，在基准上降低字符错误率4.3-4.5倍，解码时控制提升关键词召回率。
2026-09-15 cs.CL cs.SD eess.AS
Universal ASR: Unifying Streaming and Non-Streaming ASR Using a Single Encoder-Decoder Model
Alibaba Group（阿里巴巴集团）；Singapore Institute of Technology（新加坡理工学院）
最近，在线端到端ASR越来越受到关注。然而，在线系统的性能仍然远远落后于离线系统，在识别质量上存在很大差距。对于特定场景，我们可以在性能和时延之间进行权衡，可以训练多个时延不同的系统，以匹配各种应用场景的性能和时延需求。在这项工作中，在性能和延迟之间的权衡对比，我们设想一个单一的系统，可以匹配不同的场景的需求。我们提出了一种新的架构，称为通用ASR，可以统一流和非流ASR模型到一个系统中。嵌入式流式ASR模型可以根据需要配置不同的延迟以获得实时识别结果，而非流式模型能够刷新最终识别结果以获得更好的性能。我们已经在公共AISHELL-2基准和工业级20，000小时普通话语音识别任务上评估了我们的方法。实验结果表明，通用ASR提供了一种有效的机制，整合流和非流模型，可以识别语音快速，准确。在AISHELL-2任务中，Universal ASR轻松超越其他最先进的系统。
2020-10-27 cs.SD eess.AS
Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
Moonshine v2通过滑动窗口自注意机制实现低延迟流式ASR，达到与更大模型相当的准确性。
2026-02-12 cs.CL cs.LG cs.SD
Mamba for Streaming ASR Combined with Unimodal Aggregation
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出将Mamba状态空间模型用于流式ASR，结合预测机制、单模态聚合与提前终止方法，在中文数据集上同时提升识别准确率并降低延迟。
2024-12-27 cs.CL cs.SD eess.AS
Building Accurate Low Latency ASR for Streaming Voice Search
Flipkart（Flipkart（弗利普卡特））
本文针对大规模 Hinglish 流式语音搜索，通过改进 LSTM 训练并联合 CTC 实现 ASR 与语音结束检测，在 Flipkart 数据上将词错误率降至 3.69%–4.78%，搜索延迟降低约 46.64%。
2023-05-29 cs.CL cs.LG cs.SD
Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同时语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流传输ASR的流水线，然后是同时的MT，但是遭受错误传播和额外的延迟。为了缓解这些问题，最近的努力试图直接将源语音同时翻译成目标文本，但由于两个单独的任务的组合，这要困难得多。相反，我们提出了一个新的范例级联和端到端的方法的优点。其关键思想是分别在流式ASR和直接语音到文本翻译（ST）上使用两个独立但同步的解码器，ASR的中间结果指导ST的解码策略（但不作为输入）。在MuSTC数据集上进行的En-to-De和En-to-Es实验表明，我们提出的技术在相似的延迟水平下实现了更好的翻译质量。
2021-06-11 cs.CL cs.SD eess.AS
Mutually-Constrained Monotonic Multihead Attention for Online ASR
KAIST（韩国科学技术院）
尽管具有实时解码的特征，但在机器翻译和自动语音识别（ASR）任务中，单调多头注意力（MMA）表现出与最先进的离线方法相当的性能。然而，MMA的延迟仍然是ASR中的一个主要问题，并且应该与可以在推断时间减少测试延迟的技术相结合，例如磁头同步束搜索解码，其强制所有未激活的磁头在从第一磁头激活起的小的固定延迟之后激活。在本文中，我们考虑到，在MMA的训练中，将发生在测试时间的多个头之间的相互作用，消除训练和测试阶段之间的差异。具体来说，我们通过考虑其他头部的边界，并反映在学习过程中，从单调的注意力得到预期的对齐。我们在ASR的两个标准基准数据集上验证了我们提出的方法，并表明我们的方法，MMA与训练阶段的相互约束的头部，提供了比基线更好的性能。
2021-03-26 cs.CL cs.SD eess.AS
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流说话人属性的自动语音识别（SA-ASR）模型，可以识别"谁说了什么“，即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练（t-SOT），这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份，我们提出了一个基于编码器-解码器的说话人嵌入提取器，可以估计每个识别的令牌，不仅从非重叠的语音，但也从重叠的语音的说话人表示。所提出的说话人嵌入，命名为t-vector，与t-SOT ASR模型同步提取，使说话人识别（SID）或说话人日记（SD）与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性，并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition
Qwen Applications Business Group, Alibaba, China（通义实验室，阿里巴巴，中国）；Tongyi AI Lab, Alibaba, China（通义实验室，阿里巴巴，中国）
Uni-ASR基于大语言模型提出统一架构，实现非流式与流式语音识别无缝切换，通过联合训练和上下文感知策略提升流式识别准确性，实验显示其在不同延迟条件下均表现优异。
2026-03-11 cs.CL cs.SD
PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction
Stony Brook University（石溪大学）；Amazon.com Inc（亚马逊公司）
提出PATCorrect，一种基于文本与音素多模态融合的非自回归ASR纠错模型，在英文语料上实现11.62%的WER降低，推理延迟仅数十毫秒，满足工业低延迟需求。
2023-06-21 cs.CL cs.LG cs.SD
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
Self-regularised Minimum Latency Training for Streaming Transformer-based Speech Recognition
Toshiba Europe Ltd（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
提出无需外部硬对齐监督的 SR-MLT，通过动态正则化训练中生成的对齐来微调流式 MoChA/CA Transformer，在保持 ASR 准确率的同时显著降低延迟。
2023-04-24 cs.SD eess.AS
CUSIDE: Chunking, Simulating Future Context and Decoding for Streaming ASR
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Meituan（美团）
历史和未来的背景信息是已知的，是重要的准确的声学建模。然而，获取未来上下文会给流式ASR带来延迟。在本文中，我们提出了一个新的框架-组块，模拟未来的上下文和解码（CUSIDE）的流式语音识别。引入了一个新的模拟模块来递归地模拟未来的上下文帧，而无需等待未来的上下文。仿真模块使用自监督损失与ASR模型联合训练; ASR模型使用通常的ASR损失进行优化，例如，CTC-CRF如我们实验中所用。实验表明，与使用真实的未来帧作为正确的上下文相比，使用模拟的未来上下文可以大大减少延迟，同时保持识别精度。通过CUSIDE，我们在AISHELL-1数据集上获得了最新的流式ASR结果。
2022-08-02 cs.CL eess.AS
Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
Transformer在自动语音识别（ASR）中实现了与最先进的端到端模型竞争的性能，并且比基于RNN的模型需要更少的训练时间。原始的Transformer采用编码器-解码器架构，仅适用于离线ASR。它依赖于注意力机制来学习对齐，并对输入音频进行双向编码。Transformer解码的高计算成本也限制了其在生产流传输系统中的使用。为了使Transformer适用于流式ASR，我们探索了Transducer框架作为学习对齐的可流式方式。对于音频编码，我们应用具有交错卷积层的单向Transformer。交错的卷积层用于对未来的上下文进行建模，这对性能很重要。为了降低计算成本，我们逐渐降低声音输入的采样，也使用交织卷积层。此外，我们限制了自注意中的历史上下文的长度，以保持每个解码步骤的计算成本恒定。我们表明，这种架构，名为Conv-Transformer Transducer，在LibriSpeech数据集上实现了有竞争力的性能（3.6\% WER on test-clean），而无需外部语言模型。该性能与先前发布的可流式传输的Transformer Transducer和强混合流式ASR系统相当，并且以更小的前瞻窗口（140 ms）、更少的参数和更低的帧速率实现。
2020-08-13 cs.CL cs.SD eess.AS
Scalable Offline ASR for Command-Style Dictation in Courtrooms
Adalat AIIndia（Adalat AI印度）
提出开源指令式听写框架，利用VAD分段和Whisper并行转录实现高效多路复用，兼容多种ASR架构，在印度约15%法庭部署中显著降低延迟并提升计算利用率。
2025-06-07 cs.CL cs.SD eess.AS
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 DCTX-Conformer，通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入，在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
Toward Low-Latency End-to-End Voice Agents for Telecommunications Using Streaming ASR, Quantized LLMs, and Real-Time TTS
NetoAI
提出一种面向电信的低延迟端到端语音代理流水线，集成流式ASR、量化LLM与实时TTS，在500个真实电信问题上实现RTF低于1.0，为呼叫中心自动化与智能客服提供新基准。
2025-08-05 cs.AI cs.SD eess.AS
WhisperKit: On-device Real-time ASR with Billion-Scale Transformers
Argmax Inc.（Argmax公司）；University of California, Los Angeles, USA（加州大学洛杉矶分校）
WhisperKit是一种优化的端上实时ASR推理系统，通过详细优化在保持0.46s最低延迟的同时实现了2.2% WER的最高准确率，显著优于多种领先云端系统。
2025-07-14 cs.CL cs.SD eess.AS
CAT: A CTC-CRF based ASR Toolkit Bridging the Hybrid and the End-to-end Approaches towards Data Efficiency and Low Latency
Tsinghua University（清华大学）
在本文中，我们提出了一个新的开放源码的语音识别工具包，命名为CAT（CTC-CRF为基础的ASR工具包）。CAT继承了混合方法的数据效率和E2 E方法的简单性，提供了CTC-CRF的全面实施以及针对多个英文和中文基准的完整培训和测试脚本。实验表明，CAT获得了最先进的结果，这是在Kaldi的微调混合模型，但更简单的训练管道。与现有的非模块化E2 E模型相比，CAT在有限规模的数据集上表现更好，证明了其数据效率。此外，我们提出了一种新的方法，称为上下文软遗忘，它使CAT做流ASR没有准确性下降。我们希望计算机辅助翻译，特别是以CTC-CRF为基础的框架和软件，能引起社会的广泛兴趣，并能得到进一步的研究和改进。
2020-08-05 cs.LG cs.SD eess.AS
Streaming Language Identification using Combination of Acoustic Representations and ASR Hypotheses
Amazon Alexa（亚马逊Alexa）
本文介绍了我们的建模和架构方法，用于构建一个高度准确的低延迟语言识别系统，以支持语音助手的多语言口语查询。解决多语言语音识别的常见方法是并行运行多个单语ASR系统，并依赖于检测输入语言的语言识别（LID）组件。常规地，LID仅依赖于声学信息来检测输入语言。我们提出了一种方法，学习和结合声学水平表示与嵌入估计ASR假设导致高达50%的相对减少识别错误率，相比，使用声学只功能的模型。此外，为了降低处理成本和延迟，我们利用流架构，以识别口语早期系统达到预定的置信水平时，减轻需要运行多个ASR系统，直到输入查询结束。结合声学和文本LID，再加上我们提出的流媒体运行时架构，导致平均1500毫秒的早期识别超过50%的话语，几乎没有降低准确性。我们还显示了改进的结果，采用半监督学习（SSL）技术，使用新提出的模型架构作为教师模型。
2020-06-01 cs.CL cs.SD eess.AS
Streaming Multi-speaker ASR with RNN-T
Amazon Alexa（亚马逊Alexa）
最近的研究表明，端到端ASR系统可以识别多个说话人的重叠语音。然而，所有已发表的作品都假设在推理期间没有延迟约束，这不适用于大多数语音助理交互。这项工作的重点是多扬声器语音识别的基础上，已被证明是在低延迟的在线识别制度，以提供高的识别精度的递归神经网络传感器（RNN-T）。我们研究了RNN-T的两种多说话人模型训练方法：确定性输出目标分配和排列不变训练。我们表明，在前一种情况下，使用说话人顺序标签的引导分离增强了RNN-T的高级说话人跟踪能力。除此之外，通过对单说话者和多说话者话语的多风格训练，所得到的模型在推理过程中对模糊的说话者数量具有鲁棒性。我们最好的模型在模拟的2扬声器LibriSpeech数据上实现了10.2%的WER，这与先前报道的最先进的非流模型（10.3%）具有竞争力，而所提出的模型可以直接应用于流应用。
2021-02-19 cs.CL cs.SD eess.AS
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
Minimum Latency Training Strategies for Streaming Sequence-to-Sequence ASR
Microsoft（微软）
最近，一些新的基于流注意力的序列到序列（S2S）模型已经被提出来执行线性时间解码复杂度的在线语音识别。然而，在这些模型中，与实际声学边界相比，生成令牌的决策被延迟，因为它们的单向编码器缺乏未来信息。这导致推理过程中不可避免的延迟。为了缓解这个问题并减少延迟，我们在训练过程中提出了几种策略，利用从混合模型中提取的外部硬对齐。我们调查，利用在编码器和解码器的对齐。在编码器侧，研究了（1）多任务学习和（2）使用逐帧分类任务的预训练。在解码器侧，我们（3）在对齐边缘化期间移除超过可接受延迟的不适当对齐路径，以及（4）直接最小化可区分的预期延迟损失。在Cortana语音搜索任务上的实验表明，我们提出的方法可以显着减少延迟，甚至在某些情况下在解码器端提高识别精度。我们还提出了一些分析，以了解流S2S模型的行为。
2020-05-15 cs.CL
Run-and-back stitch search: novel block synchronous decoding for streaming encoder-decoder ASR
编码器-解码器自动语音识别（ASR）系统的流式推理对于减少延迟是重要的，这对于交互式用例是必要的。为此，我们提出了一种新的块同步解码算法，结合端点预测和端点后确定的混合方法。在端点预测中，我们使用CTC后验来计算当前块的编码器特征中尚未发出的令牌数量的期望值。基于期望值，解码器预测端点以实现连续块同步，作为运行缝合。同时，端点后确定概率检测源-目标注意的后跳，这是由端点的错误预测。然后，它通过丢弃这些假设来恢复解码，如回缝。我们将这些方法结合成一个混合的方法，即运行和返回缝合搜索，这降低了计算成本和延迟。各种ASR任务的评估显示了我们提出的解码算法的效率，该算法实现了延迟减少，例如在Librispeech测试集中从1487 ms到821 ms的第90百分位数，同时保持了较高的识别精度。
2022-01-25 cs.SD eess.AS
Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems
Google, Inc.（谷歌公司）
自动语音识别（ASR）系统通常依赖于外部端点（EP）模型来识别语音边界。在这项工作中，我们提出了一种方法，联合训练的ASR和EP任务在一个单一的端到端（E2E）多任务模型，提高EP质量，可选地利用信息从ASR音频编码器。我们引入了一个“开关”连接，它训练EP直接消费音频帧或来自ASR模型的低级潜在表示。这导致单个E2E模型可以在推理期间用于以低成本执行帧过滤，并且还基于正在进行的ASR计算进行高质量的查询结束（EOQ）预测。我们目前的语音搜索测试集上的结果表明，与单独的单任务模型相比，这种方法减少了120毫秒（减少30.8%）的中位端点延迟，和第90百分位延迟170毫秒（减少23.0%），而不会回归字出错率。对于连续识别，WER提高了10.6%（相对）。
2022-11-01 cs.CL cs.SD eess.AS
Transformer-based Streaming ASR with Cumulative Attention
Cambridge Research Laboratory, Toshiba Europe Ltd（东芝欧洲有限公司剑桥研究实验室）
在本文中，我们提出了一个在线的注意力机制，称为累积注意力（CA），流转换器为基础的自动语音识别（ASR）。受单调分块注意（MoChA）和头同步解码器端自适应计算步骤（HS-DACS）算法的启发，CA基于在每个编码时间步累积的声学信息触发ASR输出，其中使用可训练设备（称为停止选择器）做出决策。在CA中，同一解码器层的所有注意头被同步以具有统一的停止位置。该特征有效地消除了由各个头部的不同行为引起的问题，否则可能引起MoChA遇到的严重延迟问题。在AIShell-1和Librispeech数据集上进行的ASR实验表明，与文献中的其他流式Transformer系统相比，所提出的基于CA的Transformer系统可以实现同等或更好的性能，并且在推理期间显著减少延迟。
2022-03-11 cs.SD eess.AS
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
Reducing Streaming ASR Model Delay with Self Alignment
Google Inc.（谷歌公司）
减少预测延迟流端到端ASR模型与最小的性能回归是一个具有挑战性的问题。约束对齐是一种公知的现有方法，其使用外部低延迟声学模型来惩罚预测的单词边界。相反，最近提出的FastEmit是一个序列级延迟正则化方案，鼓励在没有任何参考对齐的情况下在空白上使用词汇标记。虽然所有这些计划是成功地减少延迟，ASR字错误率（WER）往往严重恶化后，应用这些延迟约束计划。在本文中，我们提出了一种新的延迟约束方法，称为自对准。自对准不需要外部对准模型。相反，它利用来自训练模型的Viterbi强制对齐来找到较低延迟的对齐方向。从LibriSpeech评估，自对齐优于现有方案：在相似的单词错误率下，与FastEmit和约束对齐相比，延迟减少了25%和56%。对于语音搜索评估，与FastEmit和约束对齐相比，实现了12%和25%的延迟减少，WER改善超过2%。
2021-05-06 cs.AI cs.CL cs.SD
Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
神经结构搜索（NAS）已引起人们的广泛关注，并已被探索用于自动语音识别（ASR）。在这项工作中，我们专注于流ASR场景，并提出了延迟控制的NAS声学建模。首先，基于香草神经架构，正常细胞被改变为因果细胞以控制架构的总延迟。其次，提出了一种具有较小感受野的修正操作空间，以生成具有低延迟的最终架构。大量的实验表明：1）基于所提出的神经网络结构，可以分别在vanilla和修正后的操作空间中学习中延迟为550ms（毫秒）和低延迟为190ms的神经网络。2)对于低延迟设置，在10k小时的大规模数据集上，与混合CLDNN基线相比，评估网络可以实现超过19%（四个测试集的平均值）的相对改进。
2021-09-14 cs.SD eess.AS
ASR Error Correction with Constrained Decoding on Operation Prediction
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
纠错技术对于改进自动语音识别（ASR）模型的输出仍然有效。基于编码器-解码器架构的现有端到端纠错方法在解码阶段处理所有令牌，从而产生不期望的延迟。在本文中，我们提出了一个ASR错误校正方法，利用预测的校正操作。更具体地说，我们在编码器和解码器之间构建了一个预测器，以了解是否应该保留（“K”），删除（“D”）或更改（“C”）令牌，以将解码限制为仅部分输入序列嵌入（“C”令牌），以进行快速推理。在三个公开数据集上的实验证明了该方法在减少ASR校正中解码过程的延迟方面的有效性。与坚实的编码器-解码器基线相比，它将推理速度提高了至少三倍（3.4和5.7倍），同时保持了相同的准确度（WER分别降低了0.53%和1.69%）。与此同时，我们制作并发布了一个基准数据集，为ASR纠错社区做出贡献，以促进这方面的研究。
2022-08-09 cs.CL eess.AS
X2Streaming-ASR: wait when uncertain, emit when ready for streaming ASR
X Square Robot（X Square机器人公司）
X2Streaming-ASR通过三阶段训练将流式识别分解为提交时机与内容，在AISHELL和WenetSpeech上以27-84毫秒延迟实现最佳流式CER。
2026-10-14 cs.AI cs.SD
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍，人们对构建可直接在设备上运行的自动语音识别（ASR）系统的兴趣越来越大;端到端（E2 E）语音识别模型，如递归神经网络换能器及其变体，最近已成为该任务的主要候选者。除了准确和紧凑之外，这样的系统还需要以低用户感知延迟（UPL）解码语音，一旦说出就产生单词。这项工作研究了各种技术-模型架构，训练标准，解码超参数和端点参数-对UPL的影响。我们的分析表明，模型大小的度量（参数，输入块大小）或计算的度量（例如，FLOPS，RTF）反映了模型处理输入帧的能力，并不总是与观察到的UPL密切相关。因此，传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反，我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时，执行ASR联合端点，同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
SpecASR: Accelerating LLM-based Automatic Speech Recognition via Speculative Decoding
Institute for Artificial Intelligence, Peking University, Beijing, China（人工智能研究院，北京大学，北京）；School of Integrated Circuits, Peking University, Beijing, China（集成电路学院，北京大学，北京）；School of Software and Microelectronics, Peking University, Beijing, China（软件与微电子学院，北京大学，北京）；Institute of Electronic Design Automation, Peking University, Wuxi, China（电子设计自动化研究院，北京大学，无锡）；Beijing Advanced Innovation Center for Integrated Circuits, Beijing, China（北京集成电路先进创新中心，北京）
本文提出面向 ASR 的推测解码框架 SpecASR，通过自适应草稿生成、草稿回收和两遍稀疏 token 树平衡模型延迟，在无损准确率下显著提升实时识别速度。
2025-07-28 cs.SD eess.AS
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别（TS-ASR）的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是，当录音中的扬声器未知时，它不能使用，因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制，我们提出了一种迭代法，其中（i）说话人嵌入的估计和（ii）基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音，其中扬声器重叠率超过20%，评估所提出的方法。我们证实，所提出的方法显着降低了字出错率（WER）和日记出错率（DER）。我们提出的方法结合i-向量说话人嵌入最终实现了WER，其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外，我们的方法可以同时解决说话人日记作为一个副产品，并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
Improving Streaming End-to-End ASR on Transformer-based Causal Models with Encoder States Revision Strategies
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
在流式传输自动语音识别（ASR）中，经常存在性能和延迟之间的权衡。传统的方法，如前瞻和基于块的方法，通常需要来自未来帧的信息来提高识别精度，即使计算足够快，也会产生不可避免的延迟。不使用任何未来帧进行计算的因果模型可以避免这种延迟，但其性能明显低于传统方法。在本文中，我们提出了相应的修正策略，以改善因果模型。首先，我们引入了一个实时的编码器状态修改策略来修改以前的状态。编码器前向计算在接收到数据后开始，并在几帧后修改先前的编码器状态，这不需要等待任何正确的上下文。此外，设计了CTC锋电位位置对齐解码算法，以减少修正策略带来的时间开销。实验都是在Librispeech数据集上进行的。在基于CTC的wav2vec2.0模型上进行微调，我们的最佳方法在测试-清洁/其他集合上可以达到3.7/9.2的WER，这也与基于块的方法和知识蒸馏方法相竞争。
2022-07-06 cs.SD eess.AS
Semi-Autoregressive Streaming ASR With Label Context
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
本文提出一种流式半自回归ASR模型，通过语言模型子网络引入历史标签上下文，并设计新贪心解码算法减少块边界错误，在多个数据集上显著提升准确率并降低延迟。
2024-02-20 cs.CL cs.SD eess.AS
Unifying Streaming and Non-streaming Zipformer-based ASR
Uniphore；Idiap Research Institute（Idiap研究机构）
该研究提出基于Zipformer的统一ASR框架，通过分块注意力掩码的动态右上下文训练单模型兼顾流式与非流式场景，可灵活调控延迟-准确率权衡，词错误率相对降7.9%，流式性能接近非流式。
2025-06-17 cs.AI cs.SD eess.AS
Streaming Speech Recognition with Decoder-Only Large Language Models and Latency Optimization
University of Science and Technology of China（科学技术大学）；iFLYTEK Research, iFLYTEK Co., Ltd.（iFLYTEK研究院，iFLYTEK有限公司）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
本文提出了一种结合解码器-only大型语言模型和延迟优化的流式语音识别方法，通过动态分割语音嵌入和联合训练策略，提升了识别性能并降低了延迟。
2026-01-30 cs.SD eess.AS
Conversation-oriented ASR with multi-look-ahead CBS architecture
Waseda University（早稻田大学）；Line corporation（Line公司）
在谈话中，人类能够在讲话的任何时候推断出说话者的意图，以便迅速准备接下来的行动。这种能力也是会话系统实现有节奏和自然会话的关键。为此，用于实时转录语音的自动语音识别（ASR）必须无延迟地实现高精度。在流式ASR中，通过关注超前帧来确保高精度，这导致延迟增量。为了解决这个权衡问题，我们提出了一个多延迟流ASR，以实现高精度与零前瞻。所提出的系统包含两个并行操作的编码器，其中主编码器利用前瞻帧生成准确的输出，辅助编码器识别主编码器的前瞻部分而不进行前瞻。所提出的系统是基于上下文块流（CBS）架构，它利用块处理，并具有高亲和力的多延迟架构。还研究了用于构建系统的各种方法，包括将网络转换为不同的编码器;以及在一个编码通道中生成两个编码器的输出。
2022-11-02 cs.SD eess.AS
Cross-Modal ASR Post-Processing System for Error Correction and Utterance Rejection
Hikvision Research Institute（海康威视研究院）
虽然现代自动语音识别（ASR）系统可以达到很高的性能，但它们可能会产生错误，削弱读者的经验，并对下游任务造成损害。为了提高ASR假设的准确性和可靠性，我们提出了一种用于语音识别器的跨模态后处理系统，该系统1）融合来自不同模态的声学特征和文本特征，2）以多任务学习方式联合置信估计器和纠错器，3）统一纠错和话语拒绝模块。与单模态或单任务模型相比，我们提出的系统被证明是更有效和高效的。实验结果表明，该后处理系统在单说话人和多说话人语音识别系统上，每个标记的识别延迟约为1.7ms，字符错误率（CER）相对降低10%以上，保证了后处理引入的额外延迟在流语音识别中是可以接受的。
2022-01-10 cs.AI cs.SD eess.AS
Scalable Multi Corpora Neural Language Models for ASR
Amazon Alexa（亚马逊Alexa）
神经语言模型（NLM）在自动语音识别（ASR）和其他任务中的表现已经大大优于传统的n-gram语言模型。然而，对于要在实际的大规模ASR系统中使用的NLM，存在需要解决的许多挑战。在本文中，我们提出了一些挑战的解决方案，包括从异质语料库中训练NLM，限制延迟影响和处理二次通过重新评分器中的个性化偏差。总的来说，我们表明，我们可以实现6.2%的相对WER减少使用神经LM在第二遍n-最好的重新评分框架，延迟增加最小。
2019-07-02 cs.CL cs.LG
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
