Streaming Audio Transformers for Online Audio Tagging
Xiaomi Corporation（小米公司）
本文提出流式音频Transformer（SAT），结合ViT架构与Transformer-Xl式分块处理，在2秒和1秒延迟下显著提升Audioset音频标记的mAP，并降低内存与计算开销。
2024-06-10 cs.SD eess.AS
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 DCTX-Conformer，通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入，在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
Streaming Transformer for Hardware Efficient Voice Trigger Detection and False Trigger Mitigation
Apple（苹果公司）
我们提出了一个统一的和硬件高效的架构，两个阶段的语音触发检测（VTD）和错误触发缓解（FTM）的任务。语音助理的两级VTD系统可能被错误地激活到声学上类似于感兴趣的触发短语的音频段。FTM系统通过使用后触发音频上下文来取消这样的激活。传统的FTM系统依赖于自动语音识别格，其在设备上获得是计算上昂贵的。我们提出了一个流Transformer（TF）编码器架构，它逐步处理传入的音频块，并保持音频上下文执行VTD和FTM任务，只使用声学功能。建议的联合模型产生一个平均18%的相对减少的错误拒绝率（FRR）的VTD任务在给定的误报率。此外，我们的模型通过额外一秒的触发后音频抑制了95%的错误触发。最后，设备上的测量显示，与非流版本的模型相比，运行时内存减少了32%，推理时间减少了56%。
2021-05-14 cs.HC cs.LG cs.SD
Towards Streaming Synchronized Spatial Audio Generation via Autoregressive Diffusion Transformer
Zhejiang University, China（浙江大学）
提出SwanSphere统一流式框架，通过因果自回归扩散Transformer、空间视频-音频对比学习及多目标在线直接偏好优化，实现从全景视频和文本提示生成高保真空间音频，并开发自动化标注管道缓解数据稀缺。
2026-05-29 cs.MM cs.SD eess.AS
Streaming Endpointer for Spoken Dialogue using Neural Audio Codecs and Label-Delayed Training
Brno University of Technology（布拉格技术大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出利用流式低比特率神经音频编解码器特征和标签延迟训练方案，在160毫秒延迟下将端点检测截断错误降低42.7%（单流）和37.5%（双流），并集成到语音大模型中提升响应时间1200毫秒、减少截断错误35%。
2025-06-19 cs.SD eess.AS
A low latency attention module for streaming self-supervised speech representation learning
Dolby Laboratories（杜比实验室）
本文提出一种低延迟注意力模块，包含流式注意力和低延迟流式注意力，用于流式自监督语音表征学习，在保持低延迟的同时显著降低词错误率。
2024-03-18 cs.CL cs.LG cs.SD
FBWave: Efficient and Scalable Neural Vocoders for Streaming Text-To-Speech on the Edge
Facebook Reality Labs（Facebook现实实验室）；Facebook AI（Facebook人工智能实验室）；UC Berkeley（加州大学伯克利分校）
目前，越来越多的应用可以受益于基于边缘的文本到语音（TTS）。然而，大多数现有的TTS模型在计算上过于昂贵，并且不够灵活，无法部署在具有同样不同计算能力的各种边缘设备上。为了解决这个问题，我们提出了FBWave，这是一系列高效且可扩展的神经声码器，可以为不同的边缘设备实现最佳的性能效率权衡。FBWave是一种基于流的混合生成模型，结合了自回归和非自回归模型的优点。它可以产生高质量的音频，并在推理过程中支持流式传输，同时保持高度的计算效率。我们的实验表明，FBWave可以实现与WaveRNN相似的音频质量，同时将MAC减少40倍。更高效的FBWave变体可以实现高达109倍的MAC，同时仍然提供可接受的音频质量。音频演示可在https://bichenwu09.github.io/vocoder_demos上获得。
2020-11-25 cs.LG cs.SD eess.AS
SynthVC: Leveraging Synthetic Data for End-to-End Low Latency Streaming Voice Conversion
提出流式端到端语音转换框架SynthVC，利用预训练零样本VC模型生成的合成并行数据直接学习音色转换，无需显式内容-说话人分离或识别模块，在自然度与说话人相似度上优于基线，端到端延迟仅77.1 ms。
2025-10-10 cs.SD eess.AS
Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
神经结构搜索（NAS）已引起人们的广泛关注，并已被探索用于自动语音识别（ASR）。在这项工作中，我们专注于流ASR场景，并提出了延迟控制的NAS声学建模。首先，基于香草神经架构，正常细胞被改变为因果细胞以控制架构的总延迟。其次，提出了一种具有较小感受野的修正操作空间，以生成具有低延迟的最终架构。大量的实验表明：1）基于所提出的神经网络结构，可以分别在vanilla和修正后的操作空间中学习中延迟为550ms（毫秒）和低延迟为190ms的神经网络。2)对于低延迟设置，在10k小时的大规模数据集上，与混合CLDNN基线相比，评估网络可以实现超过19%（四个测试集的平均值）的相对改进。
2021-09-14 cs.SD eess.AS
Comparative Analysis of Fast and High-Fidelity Neural Vocoders for Low-Latency Streaming Synthesis in Resource-Constrained Environments
Nagoya University（名古屋大学）；LY Corporation（LY公司）
本文提出多流 Wavehax（MS-Wavehax），通过多流分解扩展无混叠神经声码器 Wavehax，实现低延迟流式语音合成，并分析 CPU 环境下的延迟-吞吐量权衡及关键瓶颈，验证其在资源受限场景中的高质量与易部署性。
2025-06-04 cs.SD eess.AS
Streamable Neural Audio Synthesis With Non-Causal Convolutions
IRCAM（声学音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
深度学习模型大多以离线推理的方式使用。然而，这严重限制了这些模型在音频生成设置中的使用，因为大多数创意工作流程都基于实时数字信号处理。虽然基于递归网络的方法可以自然地适应这种基于缓冲区的计算，但卷积的使用仍然带来了一些严重的挑战。为了解决这个问题，已经提出了因果流卷积的使用。然而，这需要特定的复杂化训练，并可能影响最终的音频质量。在本文中，我们介绍了一种新的方法，允许产生非因果流模型。这允许使任何卷积模型与基于实时缓冲器的处理兼容。由于我们的方法是基于模型的训练后重新配置，我们证明了它能够将没有因果约束的训练模型转换为流模型。我们展示了我们的方法可以适应复杂的架构与并行分支。为了评估我们的方法，我们将其应用于最近的RAVE模型，该模型提供了高质量的实时音频合成。我们在多个音乐和语音数据集上测试了我们的方法，并表明它比附加方法更快，同时对生成质量没有影响。最后，我们介绍了两个开源的实现我们的工作作为Max/MSP和PureData外部，并作为一个VST音频插件。这允许在笔记本电脑CPU上赋予传统的数字音频工作站实时神经音频合成。
2022-04-14 cs.LG cs.SD eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
流自动语音识别模型与非流模型相比性能较差，这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性，本文采用了一种帧级模型，该模型采用高效的扩充存储器Transformer块和动态延迟训练方法，用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中，作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存，并在下一个块中重用以减少计算。之后，提出了一种动态延迟训练方法，以获得更好的性能，并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下，我们的模型与截断块式Transformer相比，在测试-clean上实现了6.0%的相对WER降低，在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统，采用分块自注意力与触发注意力实现流式识别，并引入对齐正则化技术促进音视频编码器同步，在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
提出Delayed-KD方法，通过延迟知识蒸馏和时间对齐缓冲区（TAB）对齐CTC输出并控制词元发射延迟，在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
CTC-aligned Audio-Text Embedding for Streaming Open-vocabulary Keyword Spotting
Samsung Research（三星研究院）
本文提出一种基于CTC动态对齐音频与文本的流式开放词汇关键词检索方法，在LibriPhrase上以155K参数实现与非流式方法相当的性能。
2024-06-12 cs.AI cs.SD eess.AS
StreamAtt: Direct Streaming Speech-to-Text Translation with Attention-based Audio History Selection
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文提出首个流式语音翻译策略StreamAtt及首个可比较的延迟指标StreamLAAL，在MuST-C v1.0全部8种语言上验证了其优于朴素基线和现有SimulST策略。
2024-06-10 cs.AI cs.CL cs.SD
SpeakStream: Streaming Text-to-Speech with Interleaved Data
Apple（苹果公司）
SpeakStream提出一种仅解码器架构的流式TTS系统，通过交错文本-语音数据训练，实现从流式文本增量生成语音，显著降低首令牌延迟，同时保持非流式TTS质量。
2025-05-25 cs.CL cs.LG cs.SD
Emformer: Efficient Memory Transformer Based Acoustic Model For Low Latency Streaming Speech Recognition
Facebook AI（Facebook人工智能研究院）
提出了一种用于低延迟流语音识别的高效内存Transformer Emformer。在Emformer中，远程历史上下文被提取到一个增强的内存库中，以降低自注意的计算复杂度。缓存机制将对左上下文的自注意中的键和值的计算保存。Emformer在训练中应用并行块处理，以支持低延迟模型。我们进行了实验的基准LibriSpeech数据。在960 ms的平均延迟下，Emformer在test-clean上获得WER $2.50\%$，在test-other上获得$5.62\%$。与强基线增强记忆Transformer（AM-TRF）相比，Emformer在解码时获得了$4.6$倍的训练加速比和$18\%$相对实时因子（RTF）降低，在测试干净时获得了相对WER降低$17\%$，在测试其他时获得了相对WER降低$9\%$。对于平均延迟为80 ms的低延迟场景，Emformer在测试-清洁上实现WER $3.01\%$，在测试-其他上实现$7.09\%$。与具有相同延迟和模型大小的LSTM基线相比，Emformer在test-clean和test-other上分别获得相对WER减少$9\%$和$16\%$。
2020-12-30 cs.CL cs.LG cs.SD
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
End-to-end streaming model for low-latency speech anonymization
针对现有语音匿名化方法计算资源需求高、难适配实时流式场景的问题，提出基于端到端自编码器的低延迟流式匿名化模型，通过三类解耦表示合成语音，精简版在66ms延迟下仍保持最先进的自然度、可懂度与隐私保护性能。
2024-10-31 cs.CL cs.LG eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
序列转换器，如RNN-T和Conformer-T，是端到端语音识别最有前途的模型之一，特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法（例如，受限训练和FastEmit）来减少延迟，但是延迟的减少通常伴随着准确性的显著降低。我们认为，这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中，我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先，我们定义在网格上的每个对角线的预期延迟，并表明其梯度可以有效地计算内的向前向后算法。然后，我们用这个预期的延迟来增加换能器损耗，从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明，所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms，WER下降0.7%，并且优于传统的限制性训练（110 ms）和FastEmit（67 ms）方法。
2022-11-04 cs.CL cs.SD eess.AS
Low Latency End-to-End Streaming Speech Recognition with a Scout Network
基于注意力的Transformer模型已经在离线模式下的语音识别（SR）中取得了很好的效果。然而，在流式传输模式中，当在每个编码器层中应用固定长度的前瞻窗口时，Transformer模型通常招致显著的延迟以维持其识别准确性。针对Transformer模型，提出了一种新的低延迟流方法，该方法由侦察网络和识别网络组成。侦察网络检测整个词的边界，而看不到任何未来的帧，而识别网络预测下一个子词通过利用预测的边界之前的所有帧的信息。我们的模型实现了最好的性能（2.7/6.4 WER），只有639 ms的延迟上的测试清洁和测试其他数据集的Librispeech。
2020-05-03 eess.AS
VoViT: Low Latency Graph-based Audio-Visual Voice Separation Transformer
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种视听方法的语音分离，产生国家的最先进的结果，在低延迟在两个场景：语音和歌声。该模型基于两阶段网络。运动线索是用一个轻量级的图卷积网络来处理面部标志。然后，音频和运动特征都被馈送到视听Transformer，其产生对隔离的目标源的相当好的估计。在第二阶段中，用纯音频网络增强主要语音。我们介绍了不同的消融研究，并与最先进的方法进行了比较。最后，我们探讨了在歌唱声分离任务中训练的语音分离模型的可移植性。演示、代码和权重可在https://ipcv.github.io/VoViT/上获得
2022-07-19 cs.CV cs.LG cs.SD
High Quality Streaming Speech Synthesis with Low, Sentence-Length-Independent Latency
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务）
本文提出了一种适合于实时应用的端到端低延迟的文本到语音转换系统。该系统由基于自回归注意力的序列到序列声学模型和用于波形生成的LPCNet声码器组成。提出了一种采用Tacotron 1和2模型中的模块的声学模型架构，同时通过使用最近提出的纯基于位置的注意力机制来确保稳定性，该机制适用于任意句子长度的生成。在推理期间，解码器被展开，并且以流式方式执行声学特征生成，从而允许与句子长度无关的几乎恒定的延迟。实验结果表明，声学模型可以产生具有最小延迟的特征序列，比计算机CPU上的实时快约31倍，比移动CPU上的实时快约6.5倍，使其能够满足两种设备上的实时应用所需的条件。完整的端到端系统可以生成几乎自然的语音质量，这是通过听力测试验证。
2021-11-17 cs.CL cs.LG cs.SD
Towards Streaming Speech-to-Avatar Synthesis
University of California, Berkeley（加州大学伯克利分校）
针对现有发音反演方法仅支持离线虚拟化身合成的局限，提出一种从实时音频生成流式高质量面部及口腔内部动画的方法，实现130毫秒流式延迟，与真实发音相关性达0.792。
2023-10-25 cs.GR cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法，通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出，在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS
TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty
Tsinghua Univ.（清华大学）；Horizon Inc.（地平线公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了TrimTail，一个简单但有效的发射正则化方法，以改善流ASR模型的延迟。TrimTail的核心思想是应用长度惩罚（即，通过修整尾帧，参见图1-（b））直接在输入话语的频谱图上，这不需要任何对准。我们证明了TrimTail在计算上很便宜，可以在线应用并在任何数据集上使用任何训练损失或任何模型架构进行优化，而无需任何额外的努力，方法是将其应用于各种端到端流式ASR网络，无论是使用CTC损失[1]还是传感器损失[2]进行训练。我们实现了100 $\sim$ 200毫秒的延迟减少，在Aishell-1和Librispeech上具有相同或甚至更好的准确性。此外，通过使用TrimTail，我们可以实现400 ms的用户敏感延迟（USD）算法改进，准确性损失小于0.2。
2023-01-22 cs.CL cs.SD eess.AS
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
Streaming Speech Recognition with Decoder-Only Large Language Models and Latency Optimization
University of Science and Technology of China（科学技术大学）；iFLYTEK Research, iFLYTEK Co., Ltd.（iFLYTEK研究院，iFLYTEK有限公司）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
本文提出了一种结合解码器-only大型语言模型和延迟优化的流式语音识别方法，通过动态分割语音嵌入和联合训练策略，提升了识别性能并降低了延迟。
2026-01-30 cs.SD eess.AS
Efficient Streaming LLM for Speech Recognition
Meta AI
针对现有大语言模型语音识别方法处理长流式音频泛化差、计算效率低的问题，提出线性扩展的流式语音识别模型SpeechLLM-XL，通过分块处理与有限注意力窗口降低成本，在基准测试上表现优异且长语音无质量下降。
2024-10-02 cs.AI cs.CL cs.SD
AudioDec: An Open-source Streaming High-fidelity Neural Audio Codec
本文提出开源实时神经音频编解码器AudioDec，在12 kbps比特率下重建48 kHz高自然度语音，延迟低于6 ms（GPU）/10 ms（CPU），并提供高效训练范式与VCTK评估，成为即插即用基准。
2023-05-26 eess.AS
Building Accurate Low Latency ASR for Streaming Voice Search
Flipkart（Flipkart（弗利普卡特））
本文针对大规模 Hinglish 流式语音搜索，通过改进 LSTM 训练并联合 CTC 实现 ASR 与语音结束检测，在 Flipkart 数据上将词错误率降至 3.69%–4.78%，搜索延迟降低约 46.64%。
2023-05-29 cs.CL cs.LG cs.SD
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
Designing Neural Synthesizers for Low-Latency Interaction
Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（帝国理工学院）
本研究探索神经音频合成模型的延迟来源，通过迭代设计优化延迟并提出低延迟模型BRAVE，其音高响度复制更优且音色修改能力与RAVE相当，还实现了兼容乐器信号的插件，为NAS低延迟模型设计提供支持。
2025-04-11 cs.AI cs.LG cs.SD
Dynamic latency speech recognition with asynchronous revision
Bytedance AI-Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一种推理技术，异步修订，统一流和非流语音识别模型。具体来说，我们实现动态延迟只有一个模型，通过使用任意的右上下文推理。该模型由用于音频编码的卷积层堆栈组成。在推理阶段，可以异步地修改编码器和解码器的历史状态，以在延迟和模型的准确性之间进行权衡。为了减轻训练和推理的不匹配，我们提出了一种训练技术，段裁剪，它随机地将输入的话语分成几个具有前向连接的段。这使我们能够获得动态延迟语音识别结果，并大大提高了准确性。实验结果表明，与流媒体模型相比，本文提出的基于异步修改的动态延迟模型相对性能提高了8%~ 14%.
2020-11-03 cs.SD eess.AS
StableEmit: Selection Probability Discount for Reducing Emission Latency of Streaming Monotonic Attention ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
虽然基于注意力的编码器-解码器（AED）模型已经成功地扩展到用于流式传输自动语音识别（ASR）的在线变体，例如单调分块注意力（MoChA），但是由于不受约束的端到端训练目标，模型仍然具有大的标签发射延迟。以前的工作通过利用对齐信息来控制训练期间发出令牌的时间来解决这个问题。在这项工作中，我们提出了一个简单的无约束正则化方法StableEmit，以鼓励MoChA更早地发出令牌。StableEmit通过一个常数因子来折扣硬单调注意中的选择概率，并将其正则化以恢复训练期间的总注意质量。因此，选择概率的规模增加，并且值可以更早地达到令牌发射的阈值，从而减少发射延迟和删除错误。此外，StableEmit可以与约束对齐的方法相结合，以进一步提高准确性和延迟。使用LSTM和Conformer编码器的实验评估表明，StableEmit可以同时显著降低识别错误和发射延迟。我们还表明，使用对齐信息是互补的，在这两个指标。
2021-07-15 cs.CL cs.SD eess.AS
Prediction of Spotify Chart Success Using Audio and Streaming Features
本文基于2024年Spotify美国Top 200榜单数据构建分类流程，对比四种模型后发现Random Forest和XGBoost表现最佳，并证明仅凭音频特征即可有效预测歌曲榜单成功。
2025-05-22 cs.SD eess.AS
StreamTN: A Low-Latency Streaming Chinese Text Normalization Model for Streaming TTS in Dialogue Systems
Northwestern Polytechnical University（西北工业大学）；Shenzhen Pimei Technology Co., Ltd.（深圳皮米科技有限公司）
StreamTN是一种基于Qwen3-0.6B的双轨流式中文文本规范化模型，通过任务微调实现低延迟、高准确率，并引入新基准评估，适用于对话系统TTS。
2026-09-22 eess.AS
OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs
Tsinghua University（清华大学）；ByteDance（字节跳动）；Department of Engineering, University of Cambridge（剑桥大学工程系）
提出OmniMem，一种针对音视频LLM的流式记忆压缩框架，通过模态感知分配和扰动感知选择压缩KV缓存，在保持长视频理解的同时减少内存，在多个基准上提升2-4%准确率。
2026-05-26 cs.AI cs.CV cs.SD
Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition
Mobvoi Inc.（出门问问公司）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种新的两遍方法，统一流和非流端到端（E2 E）语音识别在一个单一的模型。我们的模型采用了混合CTC/注意力架构，在编码器中的构象层进行修改。我们提出了一个动态的基于组块的注意策略，允许任意的右上下文长度。在推理时，CTC解码器以流方式生成n个最佳假设。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。这种高效的重新评分过程导致非常小的缓存级延迟。在开放的170小时AISHELL-1数据集上的实验表明，该方法能够简单有效地统一流模型和非流模型。在AISHELL-1测试集上，我们的统一模型在非流式ASR中实现了5.60%的相对字符出错率（CER）降低，与标准的非流式Transformer相比。相同的模型在流式ASR系统中以640 ms的延迟实现5.42%的CER。
2021-12-29 cs.CL cs.SD eess.AS
Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting
Sony Group Corporation（索尼集团）；Carnegie Mellon University（卡内基梅隆大学）
针对流式语音识别分块处理编码延迟优化不足的问题，提出结合循环层跳过与早退的Spiralformer编码器，在相近计算成本与词错误率下显著降低token发射延迟。
2025-10-01 cs.CL cs.SD eess.AS
LiveSynth: A Streaming Neural Synthesizer for Instrument Cloning and Text-to-Instrument
Seoul National University（首尔大学）
LiveSynth是一款流式神经合成器，通过因果Transformer与变分自编码器实现零样本乐器克隆、文本生成乐器及实时交互，在数据集上性能接近离线基线，可在M3 MacBook Air上实时运行。
2026-10-12 cs.SD eess.AS
SpecTokenizer: A Lightweight Streaming Codec in the Compressed Spectrum Domain
Audio Innovation Technology Department（音频创新技术部）；School of Computer Science（计算机科学学院）
本文提出SpecTokenizer，一种在压缩频谱域中运行的轻量级流式神经音频编解码器，通过CNN和RNN交替层及多尺度建模，在4 kbps下以20%计算量和10%参数达到或超越最先进轻量级架构的性能。
2025-10-24 cs.SD eess.AS
Universal ASR: Unifying Streaming and Non-Streaming ASR Using a Single Encoder-Decoder Model
Alibaba Group（阿里巴巴集团）；Singapore Institute of Technology（新加坡理工学院）
最近，在线端到端ASR越来越受到关注。然而，在线系统的性能仍然远远落后于离线系统，在识别质量上存在很大差距。对于特定场景，我们可以在性能和时延之间进行权衡，可以训练多个时延不同的系统，以匹配各种应用场景的性能和时延需求。在这项工作中，在性能和延迟之间的权衡对比，我们设想一个单一的系统，可以匹配不同的场景的需求。我们提出了一种新的架构，称为通用ASR，可以统一流和非流ASR模型到一个系统中。嵌入式流式ASR模型可以根据需要配置不同的延迟以获得实时识别结果，而非流式模型能够刷新最终识别结果以获得更好的性能。我们已经在公共AISHELL-2基准和工业级20，000小时普通话语音识别任务上评估了我们的方法。实验结果表明，通用ASR提供了一种有效的机制，整合流和非流模型，可以识别语音快速，准确。在AISHELL-2任务中，Universal ASR轻松超越其他最先进的系统。
2020-10-27 cs.SD eess.AS
FastTurn: Unifying Acoustic and Streaming Semantic Cues for Low-Latency and Robust Turn Detection
Audio, Speech and Language Processing Group（语音与语言处理组）；Shengwang（盛王）；QualiaLabs
FastTurn通过结合流式CTC解码与声学特征，实现低延迟和鲁棒的轮换检测，同时释放基于真实人类对话的测试集，提升实际全双工对话系统的性能。
2026-07-01 cs.SD eess.AS
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
针对流式ASR的性能与延迟平衡难题，提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法，在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
A Deep Learning Approach for Low-Latency Packet Loss Concealment of Audio Signals in Networked Music Performance Applications
Stanford University（斯坦福大学）；Politecnico di Milano（米兰理工大学）；Politecnico di Torino（都灵理工大学）
网络音乐表演（NMP）被认为是互联网应用中潜在的游戏规则改变者：它旨在通过使远程音乐家能够通过电信网络进行交互和表演，从而彻底改变传统的音乐交互概念。然而，由于在音频质量和最重要的网络延迟方面的极其严格的要求，确保音乐表演的真实条件构成了重大的工程挑战。为了最小化音乐家经历的端到端延迟，NMP应用程序的典型实现使用未压缩的双向音频流，并利用UDP作为传输协议。由于连接较少且不可靠，通过UDP传输的音频数据包在传输过程中丢失后不会重新传输，从而导致接收器音频播放出现故障。本文描述了一种使用深度学习方法实时预测丢失数据包内容的技术。实时的隐藏错误的能力可以帮助减轻由数据包丢失引起的音频损害，从而提高真实场景中的音频播放质量。
2020-07-14 cs.LG cs.NI cs.SD
Streaming keyword spotting on mobile devices
Google Research（谷歌研究院）；Google Speech（谷歌语音团队）
在这项工作中，我们探讨的延迟和准确性的关键字定位（KWS）模型在流媒体和非流媒体模式的手机。NN模型从非流模式（模型接收整个输入序列，然后返回分类结果）到流模式（模型接收输入序列的一部分，并递增地对其进行分类）的转换可能需要手动模型重写。我们通过设计一个基于Tensorflow/Keras的库来解决这个问题，该库允许以最小的努力将非流模型自动转换为流模型。通过这个库，我们在移动电话上的流和非流模式下对多个KWS模型进行了基准测试，并展示了延迟和准确性之间的不同权衡。我们还探索了具有多头注意力的新型KWS模型，该模型在Google语音命令数据集V2上将最先进的分类错误减少了10%。所有实验的流媒体库都是开源的。
2020-07-29 cs.SD eess.AS
DualVC 3: Leveraging Language Model Generated Pseudo Context for End-to-end Low Latency Streaming Voice Conversion
DualVC 3提出端到端流式语音转换模型，用说话人无关语义token替代ASR并利用语言模型生成伪上下文，将延迟从180ms降至50ms且性能与DualVC 2相当。
2024-06-12 eess.AS
Unifying Streaming and Non-streaming Zipformer-based ASR
Uniphore；Idiap Research Institute（Idiap研究机构）
该研究提出基于Zipformer的统一ASR框架，通过分块注意力掩码的动态右上下文训练单模型兼顾流式与非流式场景，可灵活调控延迟-准确率权衡，词错误率相对降7.9%，流式性能接近非流式。
2025-06-17 cs.AI cs.SD eess.AS
Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
Typhoon Team, SCB DataX（Typhoon团队，SCB DataX）
提出可部署的流式泰语ASR系统，通过缓存感知编码器和浅融合实现低延迟，在基准上降低字符错误率4.3-4.5倍，解码时控制提升关键词召回率。
2026-09-15 cs.CL cs.SD eess.AS
