Chunkwise Aligners for Streaming Speech Recognition
NTT, Inc.（日本电信电话株式会社）
本文提出分块对齐器，通过分块对齐和学习结束概率提升流式语音识别的训练和解码效率，与Transducer在精度上相当。
2026-05-12 eess.AS
Low Latency End-to-End Streaming Speech Recognition with a Scout Network
基于注意力的Transformer模型已经在离线模式下的语音识别（SR）中取得了很好的效果。然而，在流式传输模式中，当在每个编码器层中应用固定长度的前瞻窗口时，Transformer模型通常招致显著的延迟以维持其识别准确性。针对Transformer模型，提出了一种新的低延迟流方法，该方法由侦察网络和识别网络组成。侦察网络检测整个词的边界，而看不到任何未来的帧，而识别网络预测下一个子词通过利用预测的边界之前的所有帧的信息。我们的模型实现了最好的性能（2.7/6.4 WER），只有639 ms的延迟上的测试清洁和测试其他数据集的Librispeech。
2020-05-03 eess.AS
Alignment-Path Distillation from Non-streaming ASR-LLMs for Streaming Speech Recognition
Xiaohongshu Inc.（小红书公司）
提出从非流式ASR-LLM提取对齐路径并蒸馏给流式模型，改善对齐一致性，相对错误率降低16.6%。
2026-09-18 eess.AS
Conversational Speech Separation: an Evaluation Study for Streaming Applications
连续语音分离（CSS）是最近提出的一种框架，其目的是以流的方式从输入的混合信号中分离出每个说话人。此后，我们进行了评估研究的CSS系统的实际设计考虑，解决了在最近的作品中被忽视的重要方面。特别是，我们专注于分离性能，计算要求和输出延迟之间的权衡，显示如何离线分离算法可以用来执行CSS与所需的延迟。我们进行了广泛的分析上的CSS处理窗口大小和跳数的选择稀疏重叠的数据。我们发现，计算负担和性能之间的最佳权衡是获得5秒的窗口。
2022-05-31 eess.AS
Towards Balanced Spectral Reconstruction: Spectrally Adaptive Loss for Streaming Speech Enhancement
Ghent University（根特大学）
本文针对流式语音增强提出两种频谱加权STFT损失，设计HyST-Net骨干网络，实验表明所提损失可改善高频重建，频谱自适应损失还能增强中频，实现更均衡的全频段频谱重建。
2026-10-07 eess.AS
One In A Hundred: Select The Best Predicted Sequence from Numerous Candidates for Streaming Speech Recognition
RNN-Transducers和改进的基于注意力的编解码器模型被广泛应用于流式语音识别。与这两种端到端模型相比，CTC模型在训练和推理方面更有效。但是，它不能捕获输出标记之间的语言依赖性。受两遍端到端模型的成功启发，我们将Transformer解码器和两阶段推理方法引入流式CTC模型。在推理期间，CTC解码器首先以流方式生成许多候选。然后，Transformer解码器基于对应的声学编码状态来选择最佳候选。第二阶段的Transformer解码器可以看作是一个条件语言模型。我们假设在第一阶段中产生的候选者的足够大的数量和足够的多样性可以补偿CTC模型的语言建模能力的缺乏。所有的实验都是在汉语普通话数据集AISHELL-1上进行的。结果表明，我们提出的模型可以实现流解码的快速和直接的方式。我们的模型可以实现高达20%的字符错误率比基线CTC模型减少。此外，我们的模型也可以执行非流推理，只有一点点性能下降。
2021-04-04 eess.AS
X-Pred MeanFlow for Streaming Token-to-Mel Speech Decoding
School of Software, Northwestern Polytechnical University（西北工业大学软件学院）；Shenzhen Pimei Technology Co., Ltd.（深圳皮米科技有限公司）
提出X-Pred MeanFlow，通过梅尔空间预测重新参数化MeanFlow，实现少步流式令牌到梅尔频谱解码，提升合成质量并支持稳定流式生成。
2026-09-14 eess.AS
Speech Loudness in Broadcasting and Streaming
针对广播和流媒体中语音响度不足的问题，提出利用DNN隔离语音信号以精确估计语音响度，并基于SLD和SBLD定义关键段落，以支持内容制作中的评估与控制。
2024-05-27 eess.AS
DuRep: Dual-Mode Speech Representation Learning via ASR-Aware Distillation
DuRep提出双模式语音表征学习，使单一编码器兼顾流式与非流式任务，DuRep-200M在多语言ASR上提升12%和11.6%，DuRep-2B在ASR与非ASR任务上创下新基准。
2025-05-26 eess.AS
An Ultra-Low Latency, End-to-End Streaming Speech Synthesis Architecture via Block-Wise Generation and Depth-Wise Codec Decoding
Universiti Sains Malaysia（马来西亚理科大学）；Avignon University（阿维尼翁大学）；Le Mans University（勒芒大学）
本文提出一种端到端非自回归架构，通过块级生成和深度解码策略，优化超低延迟，提升语音合成的音质和效率，实验表明其在英语和马来语数据集上的部署能力。
2026-04-14 eess.AS
Persistent Delivery Optimization for Streaming Speech-to-Text Translation with Revisions
Peking University（北京大学）；Timekettle AI Lab（时空壶人工智能实验室）
本文提出持久传递优化（PDO）方法，通过仅奖励修订后保留的内容来优化流式语音翻译，在FLEURS适配后显著提升BLEU和COMET，并降低延迟与擦除率，且零样本泛化良好。
2026-09-23 eess.AS
SoulX-Duplug: Plug-and-Play Streaming State Prediction Module for Realtime Full-Duplex Speech Conversation
X-LANCE Lab, Shanghai Jiao Tong University（上海交通大学）；Soul AI Lab（Soul AI实验室）；Shanghai Innovation Institute（上海创新研究院）
本文提出SoulX-Duplug模块，通过联合流式ASR利用文本信息识别用户意图，提升全双工语音对话的低延迟状态控制与轮次管理性能。
2026-03-16 eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Streaming Parrotron for on-device speech-to-speech conversion
Google Research（谷歌研究院）
本文提出端侧流式语音到语音转换模型，通过编码器实时流式处理、解码器与声码器流式生成，并设计前瞻特征堆叠与自注意力混合方法，在 Pixel4 CPU 上实现近 2 倍实时速度且质量损失极小。
2023-05-24 cs.SD eess.AS
Self-supervised learning with bi-label masked speech prediction for streaming multi-talker speech recognition
Microsoft（微软）
自监督学习（SSL）利用输入数据本身进行表示学习，已经为各种下游语音任务取得了最先进的结果。然而，大多数以前的研究集中在离线单说话人的应用程序，与有限的调查，在多说话人的情况下，特别是流媒体场景。在本文中，我们研究SSL的流式多说话人语音识别，它产生的transmarts重叠扬声器在流的方式。我们首先观察到，传统的SSL技术不能很好地完成这项任务，由于重叠语音的代表性差。然后，我们提出了一种新的SSL训练目标，称为双标签掩蔽语音预测，它明确保留重叠语音中所有扬声器的表示。我们调查所提出的系统，包括数据配置和量化器的选择的各个方面。建议的SSL设置在LibriSpeechMix数据集上实现了更好的单词错误率。
2022-11-10 cs.SD eess.AS
Learning When to Translate for Streaming Speech
ByteDance（字节跳动）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
如何找到适当的时刻，以产生部分句子翻译流语音输入？现有的等待-翻译算法由于语音中声学单元之间的边界不均匀，往往会破坏语音中的声学单元。在本文中，我们提出了MoSST，一个简单而有效的方法来翻译流语音内容。给定一个通常很长的语音序列，我们开发了一个高效的单调分割模块内的编码器-解码器模型，以积累声学信息增量和检测适当的语音单元边界的输入语音翻译任务。在MuST-C数据集的多个翻译方向上的实验表明，MoSST优于现有方法，并在翻译质量（BLEU）和延迟之间实现了最佳权衡。我们的代码可在https://github.com/dqqcasia/mosst上获得。
2022-03-22 cs.CL eess.AS
Streaming Chunk-Aware Multihead Attention for Online End-to-End Speech Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）；Northwestern Polytechnical University（西北工业大学）
近年来，流媒体端到端自动语音识别（E2 E-ASR）得到了越来越多的关注。人们已经付出了许多努力，将非流的基于注意力的E2 E-ASR系统转化为流架构。在这项工作中，我们提出了一种新的在线E2 E-ASR系统，通过使用流块感知的多头注意力（SCAMA）和延迟控制存储器配备的自注意力网络（LC-SAN-M）。LC-SAN-M使用块级输入来控制编码器的延迟。对于SCAMA算法，采用联合训练的预测器来控制编码器的输出，使解码器能够以流的方式产生输出。在开放的170小时AISHELL-1和工业级的20000小时普通话语音识别任务上的实验结果表明，我们的方法可以显着优于基于MoChA的基线系统在可比的设置。在AISHELL-1任务上，我们所提出的方法实现了7.39%的字符出错率（CER），据我们所知，这是在线ASR的最佳公布性能。
2020-05-21 cs.SD eess.AS
Streaming Speech-to-Confusion Network Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对交互式ASR低延迟限制解码搜索空间的问题，提出可输出混淆网络的低延迟流式ASR架构，其1-best结果与RNN-T相当，二次重打分可在LibriSpeech上降10-20%词错率，远场任务表现更优。
2023-06-02 cs.CL eess.AS
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft（微软）
神经传感器在自动语音识别（ASR）中得到了广泛的应用。在本文中，我们将其引入流端到端语音翻译（ST），其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译（MT）的级联ST相比，所提出的基于Transformer transducer（TT）的ST模型大大减少了推理延迟，利用了语音信息，并避免了从ASR到MT的错误传播。为了提高建模能力，我们提出了注意力池的联合网络在TT。此外，我们扩展了基于TT的ST多语言ST，它产生的文本在同一时间的多种语言。在大规模5万（K）小时伪标记训练集上的实验结果表明，基于TT的ST不仅显著减少了推理时间，而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
StreamHear: Domain-Adapted Pseudo-Labeling for Semi-Supervised Streaming Speech Recognition
Capital One（第一资本金融公司）
针对流式ASR的领域偏移问题，提出StreamHear半监督方法，通过微调离线教师生成伪标签并结合先验正则化重对齐，在四个数据集上性能优于有监督微调且缩小与离线教师的差距。
2026-08-17 cs.CL eess.AS
StreamFlow: Streaming Flow Matching with Block-wise Guided Attention Mask for Speech Token Decoding
StreamFlow提出基于分块引导注意力掩码的流式流匹配架构，通过分层调控DiT感受野解决长序列外推问题，在保证语音质量的同时实现180毫秒首包延迟。
2025-07-01 cs.SD eess.AS
Towards Maximum Likelihood Training for Transducer-based Streaming Speech Recognition
XL8 Inc.（XL8公司）；Seoul National University（首尔大学）；Chung-Ang University（中央大学）
针对传统流式Transducer模型因训练推理不匹配导致的似然变形与准确率次优问题，提出前向变量因果补偿（FoCC）量化差距并设计估计器FoCCE，在LibriSpeech数据集验证其可提升模型准确率。
2024-11-26 cs.LG eess.AS
Decoder-only Architecture for Streaming End-to-end Speech Recognition
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于仅解码器架构的分块流式语音识别方法，利用 CTC 压缩语音特征并采用随机长度前缀提示训练，在 LibriSpeech 上实现 8% 相对词错误率降低且速度提升一倍。
2024-08-01 cs.CL eess.AS
Linear Time Complexity Conformers with SummaryMixing for Streaming Speech Recognition
Samsung AI Center - Cambridge（三星剑桥人工智能中心）
针对自注意力语音识别时间复杂度高、SummaryMixing不适配流式场景的问题，将SummaryMixing扩展至支持流/离线模式的Conformer Transducer，实现线性复杂度，且效果更优、算力内存需求更低。
2024-09-11 cs.AI cs.SD eess.AS
Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition
Google Inc.（谷歌公司）
在本文中，我们提出了一个Transformer-Transducer模型架构和训练技术，统一流和非流语音识别模型到一个模型。该模型由一个用于音频编码的Transformer层堆栈和一个额外的Transformer层堆栈组成，该堆栈没有前瞻或右上下文，该堆栈在顶部，用可变右上下文进行训练。在推理时间中，可以改变可变上下文层的上下文长度，以权衡延迟和模型的准确性。我们还表明，我们可以在Y模型架构中运行此模型，顶层在低延迟和高延迟模式下并行运行。这使我们能够以有限的延迟获得流式语音识别结果，并以较大的准确性改进获得延迟的语音识别结果（语音搜索任务的相对改进为20%）。我们表明，在解码结束时，使用有限的右上下文（1-2秒的音频）和小的额外延迟（50-100毫秒），我们可以使用无限音频右上下文的模型实现类似的准确性。我们还对音频和标签编码器进行了优化，以加快流式和非流式语音解码中的推理。
2020-10-07 cs.LG cs.SD eess.AS
Improving Streaming Automatic Speech Recognition With Non-Streaming Model Distillation On Unsupervised Data
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）模型广泛用于智能扬声器和设备上应用。由于这些模型预计将以最小的延迟转录语音，因此与非流媒体模型相比，它们被限制为因果关系，没有未来的上下文。因此，流式模型通常比非流式模型表现更差。我们提出了一种新颖有效的学习方法，利用非流ASR模型作为教师在任意大的数据集上生成成绩单，然后用于将知识提取到流ASR模型中。通过这种方式，我们可以将流媒体模型的训练扩展到高达300万小时的YouTube音频。实验表明，该方法不仅在LibriSpeech上，而且在四种语言的YouTube数据上都能显著降低RNNT模型的单词出错率（WER）。例如，在法语中，通过利用在与基线相同数量的标记数据上训练的非流教师模型，我们能够将WER相对于基线流模型降低16.4%。
2021-02-21 cs.CL cs.SD eess.AS
Developing Real-time Streaming Transformer Transducer for Speech Recognition on Large-scale Dataset
Microsoft Speech and Language Group（微软语音与语言组）；Microsoft Research Asia（微软亚洲研究院）
近年来，基于Transformer的端到端模型在包括语音识别在内的许多领域都取得了巨大的成功。然而，与LSTM模型相比，Transformer在推理过程中的沉重计算成本是阻碍其应用的关键问题。在这项工作中，我们探索了Transformer Transducer（T-T）模型在大规模数据集上以低延迟和快速进行第一遍解码的潜力。我们结合Transformer-XL和块式流式处理的思想，设计了一个可流式传输的Transformer换能器模型。我们证明了T-T优于混合模型，RNN传感器（RNN-T），和流式Transformer注意力为基础的编码器-解码器模型在流的情况下。此外，运行时成本和延迟可以用相对小的前瞻来优化。
2021-02-28 cs.CL eess.AS
FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech
FD-VAD提出一种无需ASR的流式语义端点检测方法，直接基于音频窗口判断继续或停止，在TurnBench上取得最优EOT召回率，实现高效全双工语音交互。
2026-09-30 cs.CL eess.AS
Streaming Speech-to-Text Translation with a SpeechLLM
Samsung, AI Center – Cambridge, United Kingdom（三星，人工智能中心——剑桥，英国）
本文提出基于LLM的流式语音到文本翻译架构，通过学习输出token和判断音频充足性，实现低延迟的实时翻译，实验显示其翻译质量接近非流式基准，但延迟仅1-2秒。
2026-05-14 cs.AI cs.CL eess.AS
Frame-Wise Streaming for Efficient Learned Speech Compression
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与工程学院）
本文针对现有学习型语音压缩模型缺乏流式支持的问题，提出StreamLSC模型，通过三大核心组件及可流式熵量化器实现流式处理，其性能与离线模型相当，获最优率失真结果及主观评估提升。
2026-10-16 cs.SD eess.AS
Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation
Honda Research Institute Japan Co., Ltd.（日本本田研究所）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对流式与非流式自动语音识别的模式切换需求，提出基于多解码器与知识蒸馏的联合优化方法，通过编码器整合、独立解码器及跨模块相似性知识蒸馏，在单个模型中实现两种模式的性能提升。
2024-05-22 cs.CL cs.SD eess.AS
Streaming End-to-End Multilingual Speech Recognition with Joint Language Identification
Google LLC（谷歌有限责任公司）
语言识别对于自动语音识别（ASR）中的许多下游任务至关重要，并且有利于作为附加任务集成到多语言端到端ASR中。在本文中，我们建议修改的级联编码器为基础的递归神经网络传感器（RNN-T）模型的结构，通过整合每帧语言标识符（LID）预测。具有级联编码器的RNN-T可以使用没有右上下文的第一遍解码来实现低延迟的流式ASR，并使用具有较长右上下文的第二遍解码来实现较低的字错误率（WER）。通过利用右上下文中的这种差异和统计池的流式实现，所提出的方法可以实现精确的流式LID预测，而几乎没有额外的测试时间成本。在一个包含9种语言的语音搜索数据集上的实验结果表明，该方法实现了平均96.2%的LID预测准确率和与在输入中包含Oracle LID所获得的相同的第二遍WER。
2022-09-13 cs.CL eess.AS
WeNet: Production oriented Streaming and Non-streaming End-to-End Speech Recognition Toolkit
Northwestern Polytechnical University（西北工业大学）；Mobvoi Inc.（出门问问公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了一个开源的，生产第一，和生产准备语音识别工具包，称为WeNet中，一个新的两个通过的方法来实现统一的流和非流端到端（E2 E）语音识别在一个单一的模型。WeNet的主要动机是缩小E2 E语音识别模型的研究和生产之间的差距。WeNet提供了一种有效的方法来在几个真实场景中发布ASR应用程序，这是与其他开源E2 E语音识别工具包的主要区别和优势。在我们的工具包中，实现了一个新的两遍方法。我们的方法提出了一个动态的基于块的注意力策略的Transformer层，允许任意的右上下文长度修改的混合CTC/注意力架构。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。我们使用WeNet在AISHELL-1数据集上的实验表明，与标准的非流式Transformer相比，我们的模型在非流式ASR中实现了5.03\%的相对字符出错率（CER）降低。模型量化后，我们的模型执行合理的RTF和延迟。
2021-12-29 cs.CL cs.SD eess.AS
Improved Training for End-to-End Streaming Automatic Speech Recognition Model with Punctuation
NAVER Cloud（NAVER云）
本文提出一种基于分块Transformer编码器和CTC损失的流式语音识别标点预测方法，通过拼接长序列训练并结合分块与整句CTC损失，同时提升了标点预测F1分数和词错误率。
2023-06-02 cs.CL eess.AS
Improving Streaming Speech Recognition With Time-Shifted Contextual Attention And Dynamic Right Context Masking
Zalo AI（Zalo人工智能）；University of Science（科学大学）；Vietnam National University（越南国立大学）
针对流式语音识别中基于块的推理因缺乏未来上下文导致性能下降的问题，提出结合TSCA与DRC掩码的方法，在Librispeech上实现10%-13.9%的词错误率相对下降，并设计了低延迟、支持批处理的实用流式ASR流水线。
2025-02-21 cs.SD eess.AS
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
Streaming Target-Speaker ASR with Neural Transducer
NTT Corporation（日本电报电话公司）；Tokyo Institute of Technology（东京工业大学）
尽管深度学习技术的最新进展已经提高了单说话者情况下的自动语音识别（ASR）性能，但仍然难以识别许多声音重叠的多说话者语音。解决该问题的一种常规方法是使用语音分离或目标语音提取前端与ASR后端的级联。然而，前端模块的额外计算成本是快速响应的关键障碍，特别是对于流式ASR。在本文中，我们提出了一个目标扬声器ASR（TS-ASR）系统，隐式地集成了流端到端（E2 E）ASR系统，即递归神经网络换能器（RNNT）内的目标语音提取功能。我们的系统使用了类似的想法，通过目标语音提取，但它直接实现在RNNT的编码器的水平。这使得TS-ASR可以在不增加前端计算成本的情况下实现。请注意，这项研究提出了E2 E TS-ASR先前研究之间的两个主要差异;我们研究了流模型并将我们的研究基于Conformer模型，而先前的研究使用基于RNN的系统并仅考虑离线处理。我们在实验中证实，我们的TS-ASR实现了与传统的级联系统在离线设置相当的识别性能，同时降低计算成本，实现流TS-ASR。
2022-09-19 cs.SD eess.AS
Cross-Attention is all you need: Real-Time Streaming Transformers for Personalised Speech Enhancement
Samsung AI Centre（三星人工智能中心）
个性化语音增强（PSE）只提取目标用户的语音，并从录制的音频片段中删除其他所有内容，可以潜在地改善用户在野外部署的音频AI模块的体验。为了支持各种各样的下游音频任务，例如实时ASR和音频呼叫增强，PSE解决方案应该以流模式操作，即，输入音频清除应当以小的等待时间和实时因素实时发生。个性化通常通过以静态嵌入向量的形式从注册音频中提取目标说话者的语音简档，然后使用它来调节PSE模型的输出来实现。然而，固定的目标说话人嵌入可能不是在所有条件下都是最佳的。在这项工作中，我们提出了一个基于流转换器的PSE模型，并提出了一种新的交叉注意的方法，使自适应目标说话人表示。我们提出了广泛的实验，并表明我们提出的交叉注意力方法始终优于竞争基线，即使我们的模型只有大约一半的大小。
2022-11-08 cs.SD eess.AS
Adapting Whisper for Streaming Speech Recognition via Two-Pass Decoding
BloombergUSA（布莱尔集团美国分公司）；WeNet Open Source CommunityChina（WeNet开源社区中国）
针对Whisper模型原生不支持流式语音识别的问题，研究基于WeNet工具包采用U2两遍结构微调Whisper，新增因果注意力掩码训练的CTC解码器生成流式部分转录、原Whisper解码器重排序，还提出混合分词器方法，经实验验证可实现高性能流式ASR并提升数据效率与泛化性。
2025-06-13 cs.SD eess.AS
Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition
Mobvoi Inc.（出门问问公司）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种新的两遍方法，统一流和非流端到端（E2 E）语音识别在一个单一的模型。我们的模型采用了混合CTC/注意力架构，在编码器中的构象层进行修改。我们提出了一个动态的基于组块的注意策略，允许任意的右上下文长度。在推理时，CTC解码器以流方式生成n个最佳假设。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。这种高效的重新评分过程导致非常小的缓存级延迟。在开放的170小时AISHELL-1数据集上的实验表明，该方法能够简单有效地统一流模型和非流模型。在AISHELL-1测试集上，我们的统一模型在非流式ASR中实现了5.60%的相对字符出错率（CER）降低，与标准的非流式Transformer相比。相同的模型在流式ASR系统中以640 ms的延迟实现5.42%的CER。
2021-12-29 cs.CL cs.SD eess.AS
Streaming Noise Context Aware Enhancement For Automatic Speech Recognition in Multi-Talker Environments
Amazon（亚马逊）；Google（谷歌）
智能扬声器最具挑战性的场景之一是多说话者，当来自所需说话者的目标语音与来自一个或多个说话者的干扰语音混合时。智能助理需要确定识别哪些语音，忽略哪些语音，并且需要以流媒体，低延迟的方式进行。本文提出了两种针对这种情况的多麦克风语音增强算法。针对设备上的用例，我们假设算法可以访问热词之前的信号，这被称为噪声上下文。首先是上下文感知波束形成器，它使用噪声上下文和检测到的热词来确定如何瞄准所需的扬声器。第二种是称为Speech Cleaner的自适应噪声消除算法，该算法使用噪声上下文来训练滤波器。结果表明，这两种算法是互补的信号噪声比的条件下，他们工作得很好。我们还提出了一种算法来选择使用哪一个估计的SNR的基础上。当使用3个麦克风通道时，最终系统在-12dB和12 dB处分别实现了55%和43%的相对字错误率降低。
2022-05-17 cs.SD eess.AS
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google（谷歌）
随着自动语音识别（ASR）应用的激增，对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前，可能会修改部分结果，从而导致不稳定问题。我们分析了设备上流媒体端到端（E2 E）ASR模型的质量和稳定性。我们首先介绍了一套新的指标，量化的不稳定性，在字和段的水平。我们研究了几种模型训练技术的影响，这些技术提高了E2 E模型的质量，但降低了模型的稳定性。我们对不稳定性的原因进行了分类，并探索了各种解决方案，以减轻它们在流E2 E ASR系统。索引术语：ASR、稳定性、端到端、文本规范化、设备上、RNN-T
2020-08-14 cs.CL cs.SD eess.AS
Endpoint Detection for Streaming End-to-End Multi-talker ASR
Microsoft（微软）
流式端到端多说话者语音识别旨在以流式方式转录来自具有全神经模型的对话或会议的重叠语音，这与通常级联语音分离和独立训练的语音识别模型的基于模块的方法有根本不同。在此之前，我们提出了基于递归神经网络转换器（RNN-T）的流分解和识别转换器（SURT）模型，并提出了有希望的结果。然而，对于实际应用，语音识别系统还需要确定说话者结束讲话时的时间戳，以便迅速的系统响应。这个问题，称为端点（EP）检测，以前没有研究过多说话者端到端模型。在这项工作中，我们解决了EP检测问题的SURT框架中引入一个结束的句子令牌作为输出单元，以下的做法单说话者端到端模型。此外，我们还提出了一个延迟惩罚的方法，可以显着降低EP检测延迟。我们的实验结果的基础上的2扬声器LibrispeechMix数据集表明，SURT模型可以实现有前途的EP检测，而不会显着降低识别精度。
2022-01-24 cs.SD eess.AS
Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
神经结构搜索（NAS）已引起人们的广泛关注，并已被探索用于自动语音识别（ASR）。在这项工作中，我们专注于流ASR场景，并提出了延迟控制的NAS声学建模。首先，基于香草神经架构，正常细胞被改变为因果细胞以控制架构的总延迟。其次，提出了一种具有较小感受野的修正操作空间，以生成具有低延迟的最终架构。大量的实验表明：1）基于所提出的神经网络结构，可以分别在vanilla和修正后的操作空间中学习中延迟为550ms（毫秒）和低延迟为190ms的神经网络。2)对于低延迟设置，在10k小时的大规模数据集上，与混合CLDNN基线相比，评估网络可以实现超过19%（四个测试集的平均值）的相对改进。
2021-09-14 cs.SD eess.AS
A comparison of streaming models and data augmentation methods for robust speech recognition
Samsung Research（三星研究院）
在本文中，我们提出了两个不同的在线流语音识别模型：单调组块注意（MoChA）和递归神经网络传感器（RNN-T）的鲁棒性的比较研究。我们探讨了三个最近提出的数据增强技术，即，多条件训练使用声学模拟器，声道长度扰动（VTLP）的扬声器的变化，和SpecAugment。实验结果表明，单向模型通常对训练集中的噪声样本更敏感。据观察，模型的最终性能取决于数据增强技术处理的训练样本的比例。MoChA模型通常比RNN-T模型表现更好。然而，我们观察到MoChA模型的训练似乎对各种因素更敏感，例如训练集的特征和额外增强技术的结合。另一方面，RNN-T模型在延迟、推理时间和训练稳定性方面的表现优于MoChA模型。此外，RNN-T模型通常对噪声和混响更具鲁棒性。与MoChA模型相比，所有这些优点使RNN-T模型成为设备上流式传输语音识别的更好选择。
2021-11-19 cs.SD eess.AS
Streaming Speech Recognition with Decoder-Only Large Language Models and Latency Optimization
University of Science and Technology of China（科学技术大学）；iFLYTEK Research, iFLYTEK Co., Ltd.（iFLYTEK研究院，iFLYTEK有限公司）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
本文提出了一种结合解码器-only大型语言模型和延迟优化的流式语音识别方法，通过动态分割语音嵌入和联合训练策略，提升了识别性能并降低了延迟。
2026-01-30 cs.SD eess.AS
Phoenix-VAD: Streaming Semantic Endpoint Detection for Full-Duplex Speech Interaction
School of Informatics, Xiamen University, China（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University, China（厦门大学电子科学与技术学院）；DiDi Global Inc., Beijing, China（滴滴全球有限公司）
针对现有口语对话模型缺少即插即用全双工语义端点检测模块的问题，提出基于LLM的Phoenix-VAD模型，通过滑动窗口训练实现流式推理，在两类语音场景下表现优异，且模块可独立优化，助力下一代人机交互。
2026-09-04 cs.SD eess.AS
Language model fusion for streaming end to end speech recognition
Google Inc.（谷歌公司）
语音音频的流处理是当前许多实际语音识别任务所需要的。即使今天有大量的手动转录语音数据语料库，这样的语料库也不可能充分覆盖语言内容的长尾，这对开放式听写和语音搜索等任务很重要。我们试图通过使用在未配对文本数据上训练的语言模型（LM）来解决流和尾部识别的挑战，以增强端到端（E2E）模型。我们将浅融合和冷融合方法扩展到流式递归神经网络传感器（RNNT），并提出了两种新的竞争性融合方法，进一步增强了RNNT架构。我们对不同训练集大小的多种语言的研究结果表明，这些融合方法通过引入额外的语言特征来提高流RNNT的性能。冷聚变在流RNNT上的效果始终更好，WER提高高达8.5%。
2021-04-09 cs.CL cs.LG cs.SD
On the Comparison of Popular End-to-End Models for Large Scale Speech Recognition
Microsoft Speech and Language Group（微软语音与语言组）；Microsoft Research Asia（微软亚洲研究院）
最近，对于自动语音识别，存在从混合模型向端到端（E2 E）模型的转变的强烈推动。目前，有三种很有前途的E2 E方法：递归神经网络转换器（RNN-T），RNN基于注意力的编码器-解码器（AED）和Transformer-AED。在这项研究中，我们在非流和流模式下对RNN-T，RNN-AED和Transformer-AED模型进行了实证比较。我们使用6.5万小时的微软匿名训练数据来训练这些模型。由于E2 E模型更需要数据，因此最好将其有效性与大量训练数据进行比较。据我们所知，尚未进行过此类全面研究。我们表明，虽然AED模型在非流模式下比RNN-T更强，但如果其编码器可以正确初始化，RNN-T在流模式下非常有竞争力。在所有三种E2 E型号中，transformer-AED在流媒体和非流媒体模式下都实现了最佳准确性。我们表明，流式RNN-T和transformer-AED模型都可以获得比高度优化的混合模型更好的准确性。
2020-07-30 cs.CL eess.AS
Streaming Speaker Change Detection and Gender Classification for Transducer-Based Multi-Talker Speech Translation
Microsoft（微软公司）
本文提出将说话人嵌入整合到基于 Transducer 的流式端到端语音翻译模型中，以同时实现多说话人场景下的流式说话人变更检测与性别分类，实验验证了该方法的高准确率。
2025-02-04 cs.AI cs.CL cs.SD
asr_eval: Algorithms and tools for multi-reference and streaming speech recognition evaluation
Siberian Neuronets LLC（西伯利亚神经网络有限公司）
asr_eval提出改进语音识别评估的算法和工具，包括多参考标注、词对齐和流式识别评估工具，用于提升多语言语音识别性能。
2026-01-28 cs.CL cs.SD eess.AS
Streaming on-device detection of device directed speech from voice and touch-based invocation
Apple（苹果公司）
当与诸如移动电话或可穿戴设备的智能设备交互时，用户通常通过说出关键字或通过按下设备上的按钮来调用虚拟助理（VA）。然而，在许多情况下，VA可能被类似关键字的语音或意外的按钮按压意外地调用，这可能对用户体验和隐私具有影响。为此，我们提出了一个声学的错误触发缓解（FTM）的方法，设备上的设备导向的语音检测，同时处理语音触发和触摸为基础的调用。为了便于在设备上部署模型，我们引入了一个新的流决策层，该层使用时间卷积网络（TCN）[1]的概念导出，以其计算效率而闻名。据我们所知，这是第一种可以以流式方式从多个调用类型中检测设备定向语音的方法。我们将这种方法与基于vanilla Average层和规范LSTM的流媒体替代方案进行比较，并显示：（i）与调用特定模型相比，所有模型仅显示出准确性的小降级，以及（ii）新引入的流式传输TCN始终表现得更好或与替代方案相当，同时在时间上更快地减轻设备无向语音，并且与非流对应物相比，基于LSTM的方法的运行时峰值内存（相对）减少了33%对7%。
2021-10-09 cs.LG cs.SD eess.AS
FlashTTS: Fast Streaming TTS with MTP Acceleration and X-pred Mean Flow Distillation
Huawei Technologies Co., Ltd（华为技术有限公司）
提出FlashTTS框架，通过滞后多轨架构、并行多令牌预测和X-pred均值流匹配解码器，实现低延迟流式TTS，首包延迟降至325ms，保持零样本语音克隆和跨语言可懂度。
2026-06-09 cs.SD eess.AS
SpeakStream: Streaming Text-to-Speech with Interleaved Data
Apple（苹果公司）
SpeakStream提出一种仅解码器架构的流式TTS系统，通过交错文本-语音数据训练，实现从流式文本增量生成语音，显著降低首令牌延迟，同时保持非流式TTS质量。
2025-05-25 cs.CL cs.LG cs.SD
