Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
神经结构搜索（NAS）已引起人们的广泛关注，并已被探索用于自动语音识别（ASR）。在这项工作中，我们专注于流ASR场景，并提出了延迟控制的NAS声学建模。首先，基于香草神经架构，正常细胞被改变为因果细胞以控制架构的总延迟。其次，提出了一种具有较小感受野的修正操作空间，以生成具有低延迟的最终架构。大量的实验表明：1）基于所提出的神经网络结构，可以分别在vanilla和修正后的操作空间中学习中延迟为550ms（毫秒）和低延迟为190ms的神经网络。2)对于低延迟设置，在10k小时的大规模数据集上，与混合CLDNN基线相比，评估网络可以实现超过19%（四个测试集的平均值）的相对改进。
2021-09-14 cs.SD eess.AS
Comparative Analysis of Fast and High-Fidelity Neural Vocoders for Low-Latency Streaming Synthesis in Resource-Constrained Environments
Nagoya University（名古屋大学）；LY Corporation（LY公司）
本文提出多流 Wavehax（MS-Wavehax），通过多流分解扩展无混叠神经声码器 Wavehax，实现低延迟流式语音合成，并分析 CPU 环境下的延迟-吞吐量权衡及关键瓶颈，验证其在资源受限场景中的高质量与易部署性。
2025-06-04 cs.SD eess.AS
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
提出Delayed-KD方法，通过延迟知识蒸馏和时间对齐缓冲区（TAB）对齐CTC输出并控制词元发射延迟，在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
Textless Streaming Speech-to-Speech Translation using Semantic Speech Tokens
本文提出基于 transducer 的无文本流式语音到语音翻译模型，直接输出离散语音令牌，避免级联系统错误累积和高延迟，在 CVSS-C 多语言对上取得 BLEU、平均延迟和 BLASER 2.0 的最新结果。
2024-10-04 eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
流自动语音识别模型与非流模型相比性能较差，这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性，本文采用了一种帧级模型，该模型采用高效的扩充存储器Transformer块和动态延迟训练方法，用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中，作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存，并在下一个块中重用以减少计算。之后，提出了一种动态延迟训练方法，以获得更好的性能，并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下，我们的模型与截断块式Transformer相比，在测试-clean上实现了6.0%的相对WER降低，在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Large Model Empowered Streaming Speech Semantic Communications
该研究提出大模型赋能的多语言流式语音语义通信系统LSSC-ST，通过边缘协同架构、预训练大语音模型统一语义特征及动态语音分割算法，在保障语音质量的同时实现低时延的准确流式语音传输。
2025-02-21 eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition
Google Inc.（谷歌公司）
在本文中，我们提出了一个Transformer-Transducer模型架构和训练技术，统一流和非流语音识别模型到一个模型。该模型由一个用于音频编码的Transformer层堆栈和一个额外的Transformer层堆栈组成，该堆栈没有前瞻或右上下文，该堆栈在顶部，用可变右上下文进行训练。在推理时间中，可以改变可变上下文层的上下文长度，以权衡延迟和模型的准确性。我们还表明，我们可以在Y模型架构中运行此模型，顶层在低延迟和高延迟模式下并行运行。这使我们能够以有限的延迟获得流式语音识别结果，并以较大的准确性改进获得延迟的语音识别结果（语音搜索任务的相对改进为20%）。我们表明，在解码结束时，使用有限的右上下文（1-2秒的音频）和小的额外延迟（50-100毫秒），我们可以使用无限音频右上下文的模型实现类似的准确性。我们还对音频和标签编码器进行了优化，以加快流式和非流式语音解码中的推理。
2020-10-07 cs.LG cs.SD eess.AS
BAT: Boundary aware transducer for memory-efficient and low-latency ASR
本文提出边界感知转换器（BAT），通过利用连续整合与发放（CIF）对齐缩减RNN-T损失计算网格，显著降低了流式ASR训练的内存与时间消耗，并实现了良好的CER-延迟权衡。
2023-05-19 eess.AS
End-to-end streaming model for low-latency speech anonymization
针对现有语音匿名化方法计算资源需求高、难适配实时流式场景的问题，提出基于端到端自编码器的低延迟流式匿名化模型，通过三类解耦表示合成语音，精简版在66ms延迟下仍保持最先进的自然度、可懂度与隐私保护性能。
2024-10-31 cs.CL cs.LG eess.AS
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 DCTX-Conformer，通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入，在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络（MASnet）的有效的低延迟语音增强，这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图，将连续的噪声帧转换为复值比率掩模，然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行，该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比，MASnet结合了去卷积和逐点卷积，大大减少了每秒融合乘法累加运算（FMA/s），但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
序列转换器，如RNN-T和Conformer-T，是端到端语音识别最有前途的模型之一，特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法（例如，受限训练和FastEmit）来减少延迟，但是延迟的减少通常伴随着准确性的显著降低。我们认为，这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中，我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先，我们定义在网格上的每个对角线的预期延迟，并表明其梯度可以有效地计算内的向前向后算法。然后，我们用这个预期的延迟来增加换能器损耗，从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明，所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms，WER下降0.7%，并且优于传统的限制性训练（110 ms）和FastEmit（67 ms）方法。
2022-11-04 cs.CL cs.SD eess.AS
Latency-Configurable Streaming Speech Enhancement via Asymmetric Temporal Padding
Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)（电气工程系，浦项科技大学）；Intus Co. Ltd.（Intus有限公司）
提出LaCo-SENet，通过非对称时间填充和双缓冲流式机制，在单一超参数下实现延迟与质量的灵活权衡，在VoiceBank+DEMAND上以1.37M参数获得12.5-75.0ms延迟范围，PESQ从3.35到3.43。
2026-08-19 cs.SD eess.AS
Conversational Speech Separation: an Evaluation Study for Streaming Applications
连续语音分离（CSS）是最近提出的一种框架，其目的是以流的方式从输入的混合信号中分离出每个说话人。此后，我们进行了评估研究的CSS系统的实际设计考虑，解决了在最近的作品中被忽视的重要方面。特别是，我们专注于分离性能，计算要求和输出延迟之间的权衡，显示如何离线分离算法可以用来执行CSS与所需的延迟。我们进行了广泛的分析上的CSS处理窗口大小和跳数的选择稀疏重叠的数据。我们发现，计算负担和性能之间的最佳权衡是获得5秒的窗口。
2022-05-31 eess.AS
Streaming Speech Recognition with Decoder-Only Large Language Models and Latency Optimization
University of Science and Technology of China（科学技术大学）；iFLYTEK Research, iFLYTEK Co., Ltd.（iFLYTEK研究院，iFLYTEK有限公司）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
本文提出了一种结合解码器-only大型语言模型和延迟优化的流式语音识别方法，通过动态分割语音嵌入和联合训练策略，提升了识别性能并降低了延迟。
2026-01-30 cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
A low latency attention module for streaming self-supervised speech representation learning
Dolby Laboratories（杜比实验室）
本文提出一种低延迟注意力模块，包含流式注意力和低延迟流式注意力，用于流式自监督语音表征学习，在保持低延迟的同时显著降低词错误率。
2024-03-18 cs.CL cs.LG cs.SD
TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty
Tsinghua Univ.（清华大学）；Horizon Inc.（地平线公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了TrimTail，一个简单但有效的发射正则化方法，以改善流ASR模型的延迟。TrimTail的核心思想是应用长度惩罚（即，通过修整尾帧，参见图1-（b））直接在输入话语的频谱图上，这不需要任何对准。我们证明了TrimTail在计算上很便宜，可以在线应用并在任何数据集上使用任何训练损失或任何模型架构进行优化，而无需任何额外的努力，方法是将其应用于各种端到端流式ASR网络，无论是使用CTC损失[1]还是传感器损失[2]进行训练。我们实现了100 $\sim$ 200毫秒的延迟减少，在Aishell-1和Librispeech上具有相同或甚至更好的准确性。此外，通过使用TrimTail，我们可以实现400 ms的用户敏感延迟（USD）算法改进，准确性损失小于0.2。
2023-01-22 cs.CL cs.SD eess.AS
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
FastEnhancer: Speed-Optimized Streaming Neural Speech Enhancement
针对流式语音增强在实时应用中的延迟问题，提出FastEnhancer模型，采用简单编码器-解码器与高效RNNFormer块，在保持最先进语音质量和可懂度的同时，实现单CPU线程上的最快处理速度。
2025-09-26 eess.AS
Dynamic latency speech recognition with asynchronous revision
Bytedance AI-Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一种推理技术，异步修订，统一流和非流语音识别模型。具体来说，我们实现动态延迟只有一个模型，通过使用任意的右上下文推理。该模型由用于音频编码的卷积层堆栈组成。在推理阶段，可以异步地修改编码器和解码器的历史状态，以在延迟和模型的准确性之间进行权衡。为了减轻训练和推理的不匹配，我们提出了一种训练技术，段裁剪，它随机地将输入的话语分成几个具有前向连接的段。这使我们能够获得动态延迟语音识别结果，并大大提高了准确性。实验结果表明，与流媒体模型相比，本文提出的基于异步修改的动态延迟模型相对性能提高了8%~ 14%.
2020-11-03 cs.SD eess.AS
Improving Fast-slow Encoder based Transducer with Streaming Deliberation
本文介绍了一种用于端到端自动语音识别的基于快-慢编码器的流审议换能器。我们的目标是提高识别精度的快-慢编码器为基础的传感器，同时保持其延迟低，通过整合流审议模型。具体而言，审议模型利用部分假设从流快速编码器和隐式学习，以纠正识别错误。我们修改的并行波束搜索算法的快-慢编码器为基础的传感器是有效的和兼容的审议模型。此外，审议模型的目的是处理流数据。为了进一步提高审议性能，一个简单的文本增强方法进行了探索。我们还比较了用于编码部分假设的LSTM和Conformer模型。Librispeech和内部数据的实验表明，相对WER减少（WERRs）从3%到5%，与基于快-慢编码器的换能器相比，模型大小略有增加，额外的令牌发射延迟可以忽略不计。与香草神经传感器相比，所提出的审议模型以及基于快-慢编码器的传感器在Librispeech上获得了相对10-11%的WERR，在内部数据上获得了相对6%的WERR，具有更小的发射延迟。
2022-12-15 eess.AS
Universal ASR: Unifying Streaming and Non-Streaming ASR Using a Single Encoder-Decoder Model
Alibaba Group（阿里巴巴集团）；Singapore Institute of Technology（新加坡理工学院）
最近，在线端到端ASR越来越受到关注。然而，在线系统的性能仍然远远落后于离线系统，在识别质量上存在很大差距。对于特定场景，我们可以在性能和时延之间进行权衡，可以训练多个时延不同的系统，以匹配各种应用场景的性能和时延需求。在这项工作中，在性能和延迟之间的权衡对比，我们设想一个单一的系统，可以匹配不同的场景的需求。我们提出了一种新的架构，称为通用ASR，可以统一流和非流ASR模型到一个系统中。嵌入式流式ASR模型可以根据需要配置不同的延迟以获得实时识别结果，而非流式模型能够刷新最终识别结果以获得更好的性能。我们已经在公共AISHELL-2基准和工业级20，000小时普通话语音识别任务上评估了我们的方法。实验结果表明，通用ASR提供了一种有效的机制，整合流和非流模型，可以识别语音快速，准确。在AISHELL-2任务中，Universal ASR轻松超越其他最先进的系统。
2020-10-27 cs.SD eess.AS
FastTurn: Unifying Acoustic and Streaming Semantic Cues for Low-Latency and Robust Turn Detection
Audio, Speech and Language Processing Group（语音与语言处理组）；Shengwang（盛王）；QualiaLabs
FastTurn通过结合流式CTC解码与声学特征，实现低延迟和鲁棒的轮换检测，同时释放基于真实人类对话的测试集，提升实际全双工对话系统的性能。
2026-07-01 cs.SD eess.AS
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
针对流式ASR的性能与延迟平衡难题，提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法，在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
StableEmit: Selection Probability Discount for Reducing Emission Latency of Streaming Monotonic Attention ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
虽然基于注意力的编码器-解码器（AED）模型已经成功地扩展到用于流式传输自动语音识别（ASR）的在线变体，例如单调分块注意力（MoChA），但是由于不受约束的端到端训练目标，模型仍然具有大的标签发射延迟。以前的工作通过利用对齐信息来控制训练期间发出令牌的时间来解决这个问题。在这项工作中，我们提出了一个简单的无约束正则化方法StableEmit，以鼓励MoChA更早地发出令牌。StableEmit通过一个常数因子来折扣硬单调注意中的选择概率，并将其正则化以恢复训练期间的总注意质量。因此，选择概率的规模增加，并且值可以更早地达到令牌发射的阈值，从而减少发射延迟和删除错误。此外，StableEmit可以与约束对齐的方法相结合，以进一步提高准确性和延迟。使用LSTM和Conformer编码器的实验评估表明，StableEmit可以同时显著降低识别错误和发射延迟。我们还表明，使用对齐信息是互补的，在这两个指标。
2021-07-15 cs.CL cs.SD eess.AS
SpeakStream: Streaming Text-to-Speech with Interleaved Data
Apple（苹果公司）
SpeakStream提出一种仅解码器架构的流式TTS系统，通过交错文本-语音数据训练，实现从流式文本增量生成语音，显著降低首令牌延迟，同时保持非流式TTS质量。
2025-05-25 cs.CL cs.LG cs.SD
Emformer: Efficient Memory Transformer Based Acoustic Model For Low Latency Streaming Speech Recognition
Facebook AI（Facebook人工智能研究院）
提出了一种用于低延迟流语音识别的高效内存Transformer Emformer。在Emformer中，远程历史上下文被提取到一个增强的内存库中，以降低自注意的计算复杂度。缓存机制将对左上下文的自注意中的键和值的计算保存。Emformer在训练中应用并行块处理，以支持低延迟模型。我们进行了实验的基准LibriSpeech数据。在960 ms的平均延迟下，Emformer在test-clean上获得WER $2.50\%$，在test-other上获得$5.62\%$。与强基线增强记忆Transformer（AM-TRF）相比，Emformer在解码时获得了$4.6$倍的训练加速比和$18\%$相对实时因子（RTF）降低，在测试干净时获得了相对WER降低$17\%$，在测试其他时获得了相对WER降低$9\%$。对于平均延迟为80 ms的低延迟场景，Emformer在测试-清洁上实现WER $3.01\%$，在测试-其他上实现$7.09\%$。与具有相同延迟和模型大小的LSTM基线相比，Emformer在test-clean和test-other上分别获得相对WER减少$9\%$和$16\%$。
2020-12-30 cs.CL cs.LG cs.SD
Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition
Mobvoi Inc.（出门问问公司）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种新的两遍方法，统一流和非流端到端（E2 E）语音识别在一个单一的模型。我们的模型采用了混合CTC/注意力架构，在编码器中的构象层进行修改。我们提出了一个动态的基于组块的注意策略，允许任意的右上下文长度。在推理时，CTC解码器以流方式生成n个最佳假设。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。这种高效的重新评分过程导致非常小的缓存级延迟。在开放的170小时AISHELL-1数据集上的实验表明，该方法能够简单有效地统一流模型和非流模型。在AISHELL-1测试集上，我们的统一模型在非流式ASR中实现了5.60%的相对字符出错率（CER）降低，与标准的非流式Transformer相比。相同的模型在流式ASR系统中以640 ms的延迟实现5.42%的CER。
2021-12-29 cs.CL cs.SD eess.AS
Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting
Sony Group Corporation（索尼集团）；Carnegie Mellon University（卡内基梅隆大学）
针对流式语音识别分块处理编码延迟优化不足的问题，提出结合循环层跳过与早退的Spiralformer编码器，在相近计算成本与词错误率下显著降低token发射延迟。
2025-10-01 cs.CL cs.SD eess.AS
Streaming keyword spotting on mobile devices
Google Research（谷歌研究院）；Google Speech（谷歌语音团队）
在这项工作中，我们探讨的延迟和准确性的关键字定位（KWS）模型在流媒体和非流媒体模式的手机。NN模型从非流模式（模型接收整个输入序列，然后返回分类结果）到流模式（模型接收输入序列的一部分，并递增地对其进行分类）的转换可能需要手动模型重写。我们通过设计一个基于Tensorflow/Keras的库来解决这个问题，该库允许以最小的努力将非流模型自动转换为流模型。通过这个库，我们在移动电话上的流和非流模式下对多个KWS模型进行了基准测试，并展示了延迟和准确性之间的不同权衡。我们还探索了具有多头注意力的新型KWS模型，该模型在Google语音命令数据集V2上将最先进的分类错误减少了10%。所有实验的流媒体库都是开源的。
2020-07-29 cs.SD eess.AS
Self-regularised Minimum Latency Training for Streaming Transformer-based Speech Recognition
Toshiba Europe Ltd（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
提出无需外部硬对齐监督的 SR-MLT，通过动态正则化训练中生成的对齐来微调流式 MoChA/CA Transformer，在保持 ASR 准确率的同时显著降低延迟。
2023-04-24 cs.SD eess.AS
High Quality Streaming Speech Synthesis with Low, Sentence-Length-Independent Latency
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务）
本文提出了一种适合于实时应用的端到端低延迟的文本到语音转换系统。该系统由基于自回归注意力的序列到序列声学模型和用于波形生成的LPCNet声码器组成。提出了一种采用Tacotron 1和2模型中的模块的声学模型架构，同时通过使用最近提出的纯基于位置的注意力机制来确保稳定性，该机制适用于任意句子长度的生成。在推理期间，解码器被展开，并且以流式方式执行声学特征生成，从而允许与句子长度无关的几乎恒定的延迟。实验结果表明，声学模型可以产生具有最小延迟的特征序列，比计算机CPU上的实时快约31倍，比移动CPU上的实时快约6.5倍，使其能够满足两种设备上的实时应用所需的条件。完整的端到端系统可以生成几乎自然的语音质量，这是通过听力测试验证。
2021-11-17 cs.CL cs.LG cs.SD
Reconstruct! Don't Encode: Self-Supervised Representation Reconstruction Loss for High-Intelligibility and Low-Latency Streaming Neural Audio Codec
Center for Language and Speech Processing, Johns Hopkins University, USA（语言与语音处理中心，约翰霍普金斯大学，美国）；Signal Analysis and Interpretation Laboratory, University of Southern California, USA（信号分析与解释实验室，南加州大学，美国）
本文提出自监督表示重建损失，用于提升流式神经音频编解码器的可懂性和低延迟性能。
2026-09-02 cs.AI eess.AS
MeanVC 2: Robust Low-Latency Streaming Zero-Shot Voice Conversion
The University of New South Wales, Australia（澳大利亚新南威尔士大学）；WeNet Open Source Community, China（中国WeNet开源社区）
提出MeanVC 2，通过未来感知分块（FRC）和通用音色令牌编码器，在40ms分块大小下实现稳定转换，延迟从211ms降至110ms，显著提升零样本说话人相似度。
2026-06-08 cs.SD eess.AS
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Unifying Streaming and Non-streaming Zipformer-based ASR
Uniphore；Idiap Research Institute（Idiap研究机构）
该研究提出基于Zipformer的统一ASR框架，通过分块注意力掩码的动态右上下文训练单模型兼顾流式与非流式场景，可灵活调控延迟-准确率权衡，词错误率相对降7.9%，流式性能接近非流式。
2025-06-17 cs.AI cs.SD eess.AS
Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
Typhoon Team, SCB DataX（Typhoon团队，SCB DataX）
提出可部署的流式泰语ASR系统，通过缓存感知编码器和浅融合实现低延迟，在基准上降低字符错误率4.3-4.5倍，解码时控制提升关键词召回率。
2026-09-15 cs.CL cs.SD eess.AS
FlashTTS: Fast Streaming TTS with MTP Acceleration and X-pred Mean Flow Distillation
Huawei Technologies Co., Ltd（华为技术有限公司）
提出FlashTTS框架，通过滞后多轨架构、并行多令牌预测和X-pred均值流匹配解码器，实现低延迟流式TTS，首包延迟降至325ms，保持零样本语音克隆和跨语言可懂度。
2026-06-09 cs.SD eess.AS
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
DPSNN: Spiking Neural Network for Low-Latency Streaming Speech Enhancement
CWI（荷兰国家数学和计算机科学研究院）；Machine Learning Group（机器学习组）
针对现有脉冲神经网络语音增强延迟高的问题，提出两阶段时域流式DPSNN框架，结合SCNNs与SRNNs并加入正则化，在极低延迟下实现了优异的增强效果与能效。
2024-08-14 cs.LG cs.NE cs.SD
Fast-U2++: Fast and Accurate End-to-End Speech Recognition in Joint CTC/Attention Frames
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）；WeNet Open Source Community（WeNet开源社区）
最近，用于语音识别的统一的流和非流两遍（U2/U2++）端到端模型在流能力、准确性和延迟方面表现出很好的性能。在本文中，我们提出了快速U2 ++，U2++的增强版本，以进一步减少部分延迟。fast-U2++的核心思想是在其编码器中使用小块输出底层的部分结果，同时在其编码器的顶层使用大块来补偿由小块引起的性能下降。此外，我们使用知识蒸馏的方法来减少令牌的发射延迟。我们在Aishell-1数据集上进行了大量的实验。实验和消融研究表明，与U2++相比，fast-U2++将模型延迟从320 ms降低到80 ms，并在流设置下实现了5.06%的字符出错率（CER）。
2022-11-02 cs.SD eess.AS
Iterative autoregression: a novel trick to improve your low-latency speech enhancement model
Samsung Research（三星研究院）；HSE University（俄罗斯国立高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Artificial Intelligence Research Institute（人工智能研究院）
本文针对低延迟流式语音增强中教师强制训练导致的训练推理不匹配问题，提出一种迭代自回归训练方法，并在多种架构和训练场景下验证了其稳定提升效果。
2023-12-05 cs.AI cs.SD eess.AS
Speak While You Think: Streaming Speech Synthesis During Text Generation
IBM Research（IBM研究院）
本文提出LLM2Speech架构，利用LLM隐藏嵌入在文本生成过程中同时进行流式语音合成，在保持语音质量的同时显著降低延迟，使自然语音对话成为可能。
2023-09-20 cs.CL cs.SD eess.AS
Building Accurate Low Latency ASR for Streaming Voice Search
Flipkart（Flipkart（弗利普卡特））
本文针对大规模 Hinglish 流式语音搜索，通过改进 LSTM 训练并联合 CTC 实现 ASR 与语音结束检测，在 Flipkart 数据上将词错误率降至 3.69%–4.78%，搜索延迟降低约 46.64%。
2023-05-29 cs.CL cs.LG cs.SD
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
CUSIDE: Chunking, Simulating Future Context and Decoding for Streaming ASR
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Meituan（美团）
历史和未来的背景信息是已知的，是重要的准确的声学建模。然而，获取未来上下文会给流式ASR带来延迟。在本文中，我们提出了一个新的框架-组块，模拟未来的上下文和解码（CUSIDE）的流式语音识别。引入了一个新的模拟模块来递归地模拟未来的上下文帧，而无需等待未来的上下文。仿真模块使用自监督损失与ASR模型联合训练; ASR模型使用通常的ASR损失进行优化，例如，CTC-CRF如我们实验中所用。实验表明，与使用真实的未来帧作为正确的上下文相比，使用模拟的未来上下文可以大大减少延迟，同时保持识别精度。通过CUSIDE，我们在AISHELL-1数据集上获得了最新的流式ASR结果。
2022-08-02 cs.CL eess.AS
Developing Real-time Streaming Transformer Transducer for Speech Recognition on Large-scale Dataset
Microsoft Speech and Language Group（微软语音与语言组）；Microsoft Research Asia（微软亚洲研究院）
近年来，基于Transformer的端到端模型在包括语音识别在内的许多领域都取得了巨大的成功。然而，与LSTM模型相比，Transformer在推理过程中的沉重计算成本是阻碍其应用的关键问题。在这项工作中，我们探索了Transformer Transducer（T-T）模型在大规模数据集上以低延迟和快速进行第一遍解码的潜力。我们结合Transformer-XL和块式流式处理的思想，设计了一个可流式传输的Transformer换能器模型。我们证明了T-T优于混合模型，RNN传感器（RNN-T），和流式Transformer注意力为基础的编码器-解码器模型在流的情况下。此外，运行时成本和延迟可以用相对小的前瞻来优化。
2021-02-28 cs.CL eess.AS
Toward Low-Latency End-to-End Voice Agents for Telecommunications Using Streaming ASR, Quantized LLMs, and Real-Time TTS
NetoAI
提出一种面向电信的低延迟端到端语音代理流水线，集成流式ASR、量化LLM与实时TTS，在500个真实电信问题上实现RTF低于1.0，为呼叫中心自动化与智能客服提供新基准。
2025-08-05 cs.AI cs.SD eess.AS
Streaming Chunk-Aware Multihead Attention for Online End-to-End Speech Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）；Northwestern Polytechnical University（西北工业大学）
近年来，流媒体端到端自动语音识别（E2 E-ASR）得到了越来越多的关注。人们已经付出了许多努力，将非流的基于注意力的E2 E-ASR系统转化为流架构。在这项工作中，我们提出了一种新的在线E2 E-ASR系统，通过使用流块感知的多头注意力（SCAMA）和延迟控制存储器配备的自注意力网络（LC-SAN-M）。LC-SAN-M使用块级输入来控制编码器的延迟。对于SCAMA算法，采用联合训练的预测器来控制编码器的输出，使解码器能够以流的方式产生输出。在开放的170小时AISHELL-1和工业级的20000小时普通话语音识别任务上的实验结果表明，我们的方法可以显着优于基于MoChA的基线系统在可比的设置。在AISHELL-1任务上，我们所提出的方法实现了7.39%的字符出错率（CER），据我们所知，这是在线ASR的最佳公布性能。
2020-05-21 cs.SD eess.AS
A Language Agnostic Multilingual Streaming On-Device ASR System
Google（谷歌）
设备端到端（E2E）模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别（ASR）方面也显示出了有希望的结果。在本文中，我们扩展了我们以前的容量解决方案，流媒体应用程序，并提出了一个流媒体多语言E2E ASR系统，完全运行在设备上，具有可比的质量和延迟个别单语模型。为了实现这一目标，我们提出了一个编码器端指针模型和一个结束的话语（EOU）联合层，以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式，使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题，我们进行了设备上的分析，并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改，我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Run-and-back stitch search: novel block synchronous decoding for streaming encoder-decoder ASR
编码器-解码器自动语音识别（ASR）系统的流式推理对于减少延迟是重要的，这对于交互式用例是必要的。为此，我们提出了一种新的块同步解码算法，结合端点预测和端点后确定的混合方法。在端点预测中，我们使用CTC后验来计算当前块的编码器特征中尚未发出的令牌数量的期望值。基于期望值，解码器预测端点以实现连续块同步，作为运行缝合。同时，端点后确定概率检测源-目标注意的后跳，这是由端点的错误预测。然后，它通过丢弃这些假设来恢复解码，如回缝。我们将这些方法结合成一个混合的方法，即运行和返回缝合搜索，这降低了计算成本和延迟。各种ASR任务的评估显示了我们提出的解码算法的效率，该算法实现了延迟减少，例如在Librispeech测试集中从1487 ms到821 ms的第90百分位数，同时保持了较高的识别精度。
2022-01-25 cs.SD eess.AS
