Head-synchronous Decoding for Transformer-based Streaming ASR
基于在线转换器的自动语音识别（ASR）系统由于流媒体应用需求的增加而得到广泛研究。最近提出的解码器端自适应计算步骤（DACS）算法的在线Transformer ASR被证明达到最先进的性能和优于其他现有的方法。然而，与任何其他在线方法一样，每个Transformer解码器层中的基于DAC的注意力头独立地（或异步地）操作，并导致分散的参与位置。由于DACS使用截断阈值来确定停止位置，因此一些注意力权重被过早地截断，并且可能影响解码的稳定性和精度。为了克服这些问题，在这里，我们提出了一个头同步（HS）版本的DACS算法，其中注意力的边界是由所有的DACS头在每个解码器层联合检测。在华尔街日报（WSJ），AIShell-1和Librispeech上的ASR实验表明，该方法始终优于vanilla DACS，并达到了最先进的性能。我们还将证明，HS-DACS降低了解码成本相比，香草DACS。
2021-04-26 eess.AS
CUSIDE-array: A Streaming Multi-Channel End-to-End Speech Recognition System with Realistic Evaluations
针对流式多通道端到端ASR探索不足及分布外泛化弱的问题，提出CUSIDE-array方法，将CUSIDE整合进神经波束形成器，实现402ms延迟的流式处理，在分布内/外测试均表现优异，还可通过单通道数据训练提升泛化能力。
2024-09-17 eess.AS
Knowledge Distillation from Non-streaming to Streaming ASR Encoder using Auxiliary Non-streaming Layer
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Korea YH（高通韩国YH）
本文提出一种层到层的知识蒸馏方法，通过插入辅助非流式分支并利用自回归预测编码损失，将非流式ASR教师编码器的知识传递给流式学生编码器，显著降低了词错误率。
2023-08-31 cs.CL eess.AS
Pushing the Boundaries of Streaming Multi-Speaker ASR: A Systematic Study of Architectural Trade-offs
NVIDIA（英伟达）
本研究提出统一框架，将流式多说话人语音识别划分为四种架构策略，基于共享开源模型构建四个系统，评估多说话人准确性、单说话人性能下降、内存和训练复杂度，为不同部署场景提供选型指导。
2026-09-25 cs.SD eess.AS
Streaming Target-Speaker ASR with Neural Transducer
NTT Corporation（日本电报电话公司）；Tokyo Institute of Technology（东京工业大学）
尽管深度学习技术的最新进展已经提高了单说话者情况下的自动语音识别（ASR）性能，但仍然难以识别许多声音重叠的多说话者语音。解决该问题的一种常规方法是使用语音分离或目标语音提取前端与ASR后端的级联。然而，前端模块的额外计算成本是快速响应的关键障碍，特别是对于流式ASR。在本文中，我们提出了一个目标扬声器ASR（TS-ASR）系统，隐式地集成了流端到端（E2 E）ASR系统，即递归神经网络换能器（RNNT）内的目标语音提取功能。我们的系统使用了类似的想法，通过目标语音提取，但它直接实现在RNNT的编码器的水平。这使得TS-ASR可以在不增加前端计算成本的情况下实现。请注意，这项研究提出了E2 E TS-ASR先前研究之间的两个主要差异;我们研究了流模型并将我们的研究基于Conformer模型，而先前的研究使用基于RNN的系统并仅考虑离线处理。我们在实验中证实，我们的TS-ASR实现了与传统的级联系统在离线设置相当的识别性能，同时降低计算成本，实现流TS-ASR。
2022-09-19 cs.SD eess.AS
CUSIDE: Chunking, Simulating Future Context and Decoding for Streaming ASR
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Meituan（美团）
历史和未来的背景信息是已知的，是重要的准确的声学建模。然而，获取未来上下文会给流式ASR带来延迟。在本文中，我们提出了一个新的框架-组块，模拟未来的上下文和解码（CUSIDE）的流式语音识别。引入了一个新的模拟模块来递归地模拟未来的上下文帧，而无需等待未来的上下文。仿真模块使用自监督损失与ASR模型联合训练; ASR模型使用通常的ASR损失进行优化，例如，CTC-CRF如我们实验中所用。实验表明，与使用真实的未来帧作为正确的上下文相比，使用模拟的未来上下文可以大大减少延迟，同时保持识别精度。通过CUSIDE，我们在AISHELL-1数据集上获得了最新的流式ASR结果。
2022-08-02 cs.CL eess.AS
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
针对流式ASR的性能与延迟平衡难题，提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法，在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling
Google Brain（谷歌大脑）；Google LLC（谷歌有限责任公司）
流媒体自动语音识别（ASR）的目标是尽可能快速、准确地发出每个假设的单词，而全上下文ASR则在发出完整的假设之前等待完整语音话语的完成。在这项工作中，我们提出了一个统一的框架，双模式ASR，训练一个单一的端到端的ASR模型与流和全上下文语音识别共享的权重。我们发现，流ASR的延迟和准确性显着受益于权重共享和联合训练的全上下文ASR，特别是在训练过程中的就地知识蒸馏。双模式ASR框架可以应用于最近最先进的基于卷积和基于变换器的ASR网络。我们使用两个最先进的ASR网络ContextNet和Conformer在两个数据集上进行了广泛的实验，一个是广泛使用的公共数据集LibriSpeech，另一个是大规模数据集MultiDomain。实验和消融研究表明，双模式ASR不仅简化了训练和部署流式和全上下文ASR模型的工作流程，而且还显著改善了流式ASR的发射延迟和识别准确性。通过双模式ASR，我们在LibriSpeech和MultiDomain上实现了在准确性和延迟方面最先进的流媒体ASR结果。
2021-01-27 cs.AI cs.CL cs.LG
DuRep: Dual-Mode Speech Representation Learning via ASR-Aware Distillation
DuRep提出双模式语音表征学习，使单一编码器兼顾流式与非流式任务，DuRep-200M在多语言ASR上提升12%和11.6%，DuRep-2B在ASR与非ASR任务上创下新基准。
2025-05-26 eess.AS
Cascaded encoders for unifying streaming and non-streaming ASR
Google LLC（谷歌公司）
到目前为止，端到端（E2 E）自动语音识别（ASR）模型在几个基准测试中表现出了竞争力。这些模型被构造为在流模式或非流模式下操作。这项工作提出了级联编码器，用于建立一个单一的E2 E ASR模型，可以同时在这两种模式下工作。该模型由流和非流编码器。输入特征首先由流编码器处理;非流编码器仅对流编码器的输出进行操作。然后，单个解码器学习使用流式或非流式编码器的输出进行解码。实验结果表明，该模型在流媒体模式下的误字率与独立流媒体模型相近，在非流媒体模式下的误字率相对提高了10% - 27%。我们的研究结果还表明，所提出的方法优于现有的E2 E两遍模型，特别是在长形式的语音。
2020-10-27 cs.CL cs.SD eess.AS
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在端到端（E2 E）自动语音识别（ASR）系统中，Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中，使用块边界检测技术同步对齐编码特征块，其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话，LibriSpeech英语和CSJ日本的任务的评估表明，建议的流Transformer算法优于传统的在线方法，包括单调块注意（MoChA），特别是当使用知识蒸馏技术。一项消融研究表明，我们的流方法有助于减少响应时间，重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
2020-11-18 cs.SD eess.AS
Unifying Streaming and Non-streaming Zipformer-based ASR
Uniphore；Idiap Research Institute（Idiap研究机构）
该研究提出基于Zipformer的统一ASR框架，通过分块注意力掩码的动态右上下文训练单模型兼顾流式与非流式场景，可灵活调控延迟-准确率权衡，词错误率相对降7.9%，流式性能接近非流式。
2025-06-17 cs.AI cs.SD eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
Benchmarking LF-MMI, CTC and RNN-T Criteria for Streaming ASR
Facebook AI（Facebook人工智能）
在这项工作中，为了测量延迟控制的流式自动语音识别（ASR）应用的准确性和效率，我们对三个流行的训练标准进行了全面的评估：LF-MMI，CTC和RNN-T。在使用3 K-14 K小时的训练数据转录7种语言的社交媒体视频时，我们使用相同的数据集和编码器模型架构对每个标准进行了大规模的受控实验。我们发现RNN-T在ASR准确性方面具有一致的优势，而CTC模型在推理效率方面表现出色。此外，我们有选择地研究了不同训练标准的各种建模策略，包括建模单元，编码器架构，预训练等。鉴于这种大规模的真实世界流媒体ASR应用，据我们所知，我们提出了这三个广泛使用的训练标准的第一个全面的基准测试。
2020-11-09 cs.SD eess.AS
XLSR-Transducer: Streaming ASR for Self-Supervised Pretrained Models
本文提出 XLSR-Transducer，将 XLSR-53 作为 transducer 编码器，并通过注意力掩码与 attention sinks 支持流式识别，在 AMI 和 CommonVoice 低资源场景中显著降低 WER。
2024-10-08 eess.AS
Transformer-based Streaming ASR with Cumulative Attention
Cambridge Research Laboratory, Toshiba Europe Ltd（东芝欧洲有限公司剑桥研究实验室）
在本文中，我们提出了一个在线的注意力机制，称为累积注意力（CA），流转换器为基础的自动语音识别（ASR）。受单调分块注意（MoChA）和头同步解码器端自适应计算步骤（HS-DACS）算法的启发，CA基于在每个编码时间步累积的声学信息触发ASR输出，其中使用可训练设备（称为停止选择器）做出决策。在CA中，同一解码器层的所有注意头被同步以具有统一的停止位置。该特征有效地消除了由各个头部的不同行为引起的问题，否则可能引起MoChA遇到的严重延迟问题。在AIShell-1和Librispeech数据集上进行的ASR实验表明，与文献中的其他流式Transformer系统相比，所提出的基于CA的Transformer系统可以实现同等或更好的性能，并且在推理期间显著减少延迟。
2022-03-11 cs.SD eess.AS
Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation
Honda Research Institute Japan Co., Ltd.（日本本田研究所）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对流式与非流式自动语音识别的模式切换需求，提出基于多解码器与知识蒸馏的联合优化方法，通过编码器整合、独立解码器及跨模块相似性知识蒸馏，在单个模型中实现两种模式的性能提升。
2024-05-22 cs.CL cs.SD eess.AS
SC-MoE: Switch Conformer Mixture of Experts for Unified Streaming and Non-streaming Code-Switching ASR
HiThink RoyalFlush AI Research Institute（HiThink RoyalFlush AI研究院）
本文提出SC-MoE，一种基于Switch-Conformer的专家混合系统，通过编码器中的CTC损失LID路由器及解码器MoE层，实现统一流式与非流式代码切换ASR，在保持计算效率的同时显著提升识别性能。
2024-06-26 cs.LG cs.SD eess.AS
BAT: Boundary aware transducer for memory-efficient and low-latency ASR
本文提出边界感知转换器（BAT），通过利用连续整合与发放（CIF）对齐缩减RNN-T损失计算网格，显著降低了流式ASR训练的内存与时间消耗，并实现了良好的CER-延迟权衡。
2023-05-19 eess.AS
Mamba for Streaming ASR Combined with Unimodal Aggregation
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出将Mamba状态空间模型用于流式ASR，结合预测机制、单模态聚合与提前终止方法，在中文数据集上同时提升识别准确率并降低延迟。
2024-12-27 cs.CL cs.SD eess.AS
DistillW2V2: A Small and Streaming Wav2vec 2.0 Based ASR Model
Tencent Cloud Xiaowei（腾讯云小微）
Wav 2 vec 2.0（W2 V2）在自动语音识别（ASR）方面表现出了令人印象深刻的性能。然而，大的模型尺寸和非流架构使得它很难在低资源或流场景下使用。在这项工作中，我们提出了一个两阶段的知识蒸馏方法来解决这两个问题：第一步是使大的和非流教师模型较小，第二步是使其流。特别地，我们采用均方误差损失来提取隐藏层，而采用修正的LF-MMI损失来提取预测层。实验在Gigaspeech、Librispeech和内部数据集上进行。结果表明，我们最终得到的蒸馏学生模型（DistillW 2 V2）比原始教师模型快8倍，小12倍。对于480 ms的延迟设置，在测试集上，DistillW 2 V2的相对字错误率（WER）下降从9%到23.4%不等，这揭示了一种扩展W2 V2应用范围的有希望的方法。
2023-03-16 cs.SD eess.AS
Label-Synchronous Neural Transducer for End-to-End ASR
本文提出标签同步神经转换器（LS-Transducer），通过AIF机制生成标签级编码器表示，消除空白标记，实现文本数据自适应，并在多个数据集上显著降低词错误率。
2023-10-11 eess.AS
Improving Streaming Transformer Based ASR Under a Framework of Self-supervised Learning
Tencent Cloud Xiaowei（腾讯云小微）
近年来，自监督学习已成为提高自动语音识别（ASR）性能的一种有效方法。在这种框架下，神经网络通常使用大量未标记数据进行预训练，然后使用有限的标记数据进行微调。然而，神经网络通常采用双向Transformer等非流结构来实现竞争性结果，不能用于流场景。本文主要研究在自监督学习框架下提高流式Transformer的性能。具体而言，我们提出了一种新的两阶段训练方法在微调，它结合了知识提取和自我训练。该方法在Librispeech噪声测试集上实现了16.3%的相对字错误率（WER）降低。最后，通过仅使用Librispeech的100 h干净子集作为标记数据，其余（860 h）作为未标记数据，我们的基于流式Transformer的模型在Librispeech干净/嘈杂测试集上获得了具有竞争力的WERs 3.5/8.7。
2021-09-15 cs.SD eess.AS
Reducing the Offline-Streaming Gap for Unified ASR Transducer with Consistency Regularization
NVIDIA, Armenia（亚美尼亚NVIDIA公司）；NVIDIA, USA（美国NVIDIA公司）
本文提出统一ASR框架，通过一致性正则化缩小离线与流媒体性能差距，提升低延迟流媒体准确率同时保持离线性能。
2026-04-21 cs.AI cs.CL cs.HC
Bridging the gap between streaming and non-streaming ASR systems bydistilling ensembles of CTC and RNN-T models
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）系统广泛用于需要实时将语音转录为文本的日常应用中。它们的最小延迟使它们适合这些任务。与它们的非流模型不同，流模型被限制为因果关系，没有未来的上下文，并遭受更高的字出错率（WER）。为了改进流模型，最近的一项研究[1]提出了在无监督的话语上提取非流教师模型，然后使用教师的预测训练流学生。然而，教师和学生之间的绩效差距仍然很大。在本文中，我们的目标是通过使用一组多样化的非流教师模型并使用识别器输出投票错误减少（ROVER）将它们结合起来来缩小这一差距。特别是，我们表明，尽管比RNN-T模型弱，但CTC模型是出色的教师。此外，通过将RNN-T和CTC模型融合在一起，我们构建了最强大的教师。由此产生的学生模型大大改善了以前工作的流模型[1]：西班牙语的WER下降了41%，葡萄牙语下降了27%，法语下降了13%。
2021-04-25 cs.CL cs.SD eess.AS
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 DCTX-Conformer，通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入，在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流说话人属性的自动语音识别（SA-ASR）模型，可以识别"谁说了什么“，即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练（t-SOT），这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份，我们提出了一个基于编码器-解码器的说话人嵌入提取器，可以估计每个识别的令牌，不仅从非重叠的语音，但也从重叠的语音的说话人表示。所提出的说话人嵌入，命名为t-vector，与t-SOT ASR模型同步提取，使说话人识别（SID）或说话人日记（SD）与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性，并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
Semi-Autoregressive Streaming ASR With Label Context
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
本文提出一种流式半自回归ASR模型，通过语言模型子网络引入历史标签上下文，并设计新贪心解码算法减少块边界错误，在多个数据集上显著提升准确率并降低延迟。
2024-02-20 cs.CL cs.SD eess.AS
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于注意力的端到端自动语音识别（ASR）系统最近已经展示了用于许多任务的最先进的结果。然而，自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性，其中每个单词必须在说出后不久被识别。在这项工作中，我们提出了双重因果/非因果自我注意力（DCN）架构，与限制自我注意力相比，它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较，示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果，同时提供了帧同步处理的优点。结合触发注意力，所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
Chunkwise Aligners for Streaming Speech Recognition
NTT, Inc.（日本电信电话株式会社）
本文提出分块对齐器，通过分块对齐和学习结束概率提升流式语音识别的训练和解码效率，与Transducer在精度上相当。
2026-05-12 eess.AS
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
提出Delayed-KD方法，通过延迟知识蒸馏和时间对齐缓冲区（TAB）对齐CTC输出并控制词元发射延迟，在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction
本研究提出X2-Turn方法，基于预训练Voxtral Realtime模型构建帧同步双头结构，联合预测ASR token与细粒度轮次状态，在中英双语Easy-Turn测试集上验证了其轮次转换检测的准确性与低延迟优势。
2026-09-09 cs.CL eess.AS
Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同时语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流传输ASR的流水线，然后是同时的MT，但是遭受错误传播和额外的延迟。为了缓解这些问题，最近的努力试图直接将源语音同时翻译成目标文本，但由于两个单独的任务的组合，这要困难得多。相反，我们提出了一个新的范例级联和端到端的方法的优点。其关键思想是分别在流式ASR和直接语音到文本翻译（ST）上使用两个独立但同步的解码器，ASR的中间结果指导ST的解码策略（但不作为输入）。在MuSTC数据集上进行的En-to-De和En-to-Es实验表明，我们提出的技术在相似的延迟水平下实现了更好的翻译质量。
2021-06-11 cs.CL cs.SD eess.AS
Continuous Streaming Multi-Talker ASR with Dual-path Transducers
Microsoft（微软）
到目前为止，多说话者对话的流识别仅针对2个说话者的单回合会话进行了评估。在本文中，我们调查它的多回合会议包含多个扬声器使用流式分离和识别传感器（SURT）模型，并表明，天真地扩展单回合模型，这个更难的设置会导致性能损失。作为解决方案，我们提出了双路径（DP）建模策略首先用于时域语音分离。我们对基于LSTM和Transformer的DP模型进行了实验，结果表明它们提高了字错误率（WER）性能，同时加快了收敛速度。我们还探讨了这些模型的训练策略，如组块宽度随机化和课程学习，并通过消融研究证明了它们的重要性。最后，我们在LibriCSS会议数据上评估了我们的模型，在那里它们与基于离线分离的方法具有竞争力。
2022-01-22 cs.SD eess.AS
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google（谷歌）
随着自动语音识别（ASR）应用的激增，对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前，可能会修改部分结果，从而导致不稳定问题。我们分析了设备上流媒体端到端（E2 E）ASR模型的质量和稳定性。我们首先介绍了一套新的指标，量化的不稳定性，在字和段的水平。我们研究了几种模型训练技术的影响，这些技术提高了E2 E模型的质量，但降低了模型的稳定性。我们对不稳定性的原因进行了分类，并探索了各种解决方案，以减轻它们在流E2 E ASR系统。索引术语：ASR、稳定性、端到端、文本规范化、设备上、RNN-T
2020-08-14 cs.CL cs.SD eess.AS
Enhancing Monotonic Multihead Attention for Streaming ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
我们研究了单调多头注意力（MMA），通过扩展硬单调注意力到基于transformer的自动语音识别（ASR）的在线流媒体应用。对于流式推理，所有单调注意力（MA）头应该学习正确的对齐，因为直到所有头检测到相应的令牌边界才生成下一个令牌。然而，我们发现并不是所有的MA头都能通过简单的实现来学习对齐。为了鼓励每个头部正确学习对齐，我们提出了HeadDrop正则化，在训练过程中屏蔽了一部分头部随机对齐。此外，我们建议修剪冗余的头部，以提高边界检测的头部之间的共识，并防止延迟令牌生成所造成的这种头部。每个MA头上的分块注意力扩展到多头对应物。最后，我们提出了头部同步波束搜索解码，以保证稳定的流推理。
2020-09-30 cs.CL cs.LG cs.SD
Streaming Chunk-Aware Multihead Attention for Online End-to-End Speech Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）；Northwestern Polytechnical University（西北工业大学）
近年来，流媒体端到端自动语音识别（E2 E-ASR）得到了越来越多的关注。人们已经付出了许多努力，将非流的基于注意力的E2 E-ASR系统转化为流架构。在这项工作中，我们提出了一种新的在线E2 E-ASR系统，通过使用流块感知的多头注意力（SCAMA）和延迟控制存储器配备的自注意力网络（LC-SAN-M）。LC-SAN-M使用块级输入来控制编码器的延迟。对于SCAMA算法，采用联合训练的预测器来控制编码器的输出，使解码器能够以流的方式产生输出。在开放的170小时AISHELL-1和工业级的20000小时普通话语音识别任务上的实验结果表明，我们的方法可以显着优于基于MoChA的基线系统在可比的设置。在AISHELL-1任务上，我们所提出的方法实现了7.39%的字符出错率（CER），据我们所知，这是在线ASR的最佳公布性能。
2020-05-21 cs.SD eess.AS
Streaming Multi-Talker ASR with Token-Level Serialized Output Training
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个令牌级串行输出训练（t-SOT），一个新的框架，流多说话人自动语音识别（ASR）。与使用多个输出分支的现有流传输多讲话者ASR模型不同，t-SOT模型仅具有生成识别令牌的单个输出分支（例如，字、子字）。一个特殊的令牌，表明“虚拟”输出通道的变化被引入到跟踪重叠的话语。与现有的流式多说话者ASR模型相比，t-SOT模型具有推理成本低和模型结构简单的优点。此外，在我们使用LibriSpeechMix和LibriCSS数据集的实验中，基于t-SOT的Transformer换能器模型实现了最先进的字错误率，与先前的结果相比有很大的差距。对于非重叠语音，t-SOT模型在准确性和计算成本方面与单说话者ASR模型相当，为单说话者和多说话者场景部署一个模型打开了大门。
2022-07-14 cs.CL cs.SD eess.AS
TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty
Tsinghua Univ.（清华大学）；Horizon Inc.（地平线公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了TrimTail，一个简单但有效的发射正则化方法，以改善流ASR模型的延迟。TrimTail的核心思想是应用长度惩罚（即，通过修整尾帧，参见图1-（b））直接在输入话语的频谱图上，这不需要任何对准。我们证明了TrimTail在计算上很便宜，可以在线应用并在任何数据集上使用任何训练损失或任何模型架构进行优化，而无需任何额外的努力，方法是将其应用于各种端到端流式ASR网络，无论是使用CTC损失[1]还是传感器损失[2]进行训练。我们实现了100 $\sim$ 200毫秒的延迟减少，在Aishell-1和Librispeech上具有相同或甚至更好的准确性。此外，通过使用TrimTail，我们可以实现400 ms的用户敏感延迟（USD）算法改进，准确性损失小于0.2。
2023-01-22 cs.CL cs.SD eess.AS
Streaming End-to-End Bilingual ASR Systems with Joint Language Identification
Amazon（亚马逊）
多语言ASR技术简化了模型训练和部署，但其准确性取决于运行时语言信息的可用性。由于语言身份在现实世界中很少事先知道，因此必须以最小的延迟进行即时推断。此外，在语音激活的智能助理系统中，ASR输出的下游处理也需要语言身份。在本文中，我们介绍了流，端到端，双语系统，使用递归神经网络转换器（RNN-T）架构执行ASR和语言识别（LID）。在输入侧，来自预训练的仅声学LID分类器的嵌入用于指导RNN-T训练和推理，而在输出侧，语言目标与ASR目标联合建模。所提出的方法适用于两种语言对：英语-西班牙语在美国说，英语-印地语在印度说。实验表明，对于英语-西班牙语，双语联合ASR-LID架构匹配单语ASR和仅声学LID精度。对于更具有挑战性（由于话语内代码切换）的情况下，英语印地语，英语ASR和LID指标显示退化。总的来说，在用户在语言之间动态切换的情况下，所提出的架构提供了一个有前途的简化运行多个单语ASR模型和LID分类器并行。
2020-07-08 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Selective Lookahead for Attention-Based Streaming ASR
KU Leuven（荷语鲁汶大学）
针对流式注意力语音识别中前瞻随层数增长的问题，提出有界前瞻块编码器和动态未来块解码，以学习型触发器实现选择性前瞻，在保持准确率的同时大幅降低延迟。
2026-09-30 eess.AS
Learning a Dual-Mode Speech Recognition Model via Self-Pruning
Meta AI
人们越来越有兴趣将流媒体和全上下文自动语音识别（ASR）网络统一到单个端到端ASR模型中，以简化两种用例的模型训练和部署。而在现实世界的ASR应用中，流式ASR模型通常在更多的存储和计算约束下操作，例如，在嵌入式设备上-比任何服务器端全上下文模型。受全稀疏超网训练的最新进展的启发，其中多个子网络在一个模型中联合优化，这项工作的目的是在一个超网中联合学习一个紧凑的稀疏设备上流媒体ASR模型和一个大型密集服务器非流媒体模型。接下来，我们提出，在wav 2 vec 2.0自监督学习和监督ASR微调上执行超网训练不仅可以大幅改善先前工作中所示的大型非流模型，而且还能够改善紧凑的稀疏流模型。
2022-10-06 cs.CL cs.SD eess.AS
Run-and-back stitch search: novel block synchronous decoding for streaming encoder-decoder ASR
编码器-解码器自动语音识别（ASR）系统的流式推理对于减少延迟是重要的，这对于交互式用例是必要的。为此，我们提出了一种新的块同步解码算法，结合端点预测和端点后确定的混合方法。在端点预测中，我们使用CTC后验来计算当前块的编码器特征中尚未发出的令牌数量的期望值。基于期望值，解码器预测端点以实现连续块同步，作为运行缝合。同时，端点后确定概率检测源-目标注意的后跳，这是由端点的错误预测。然后，它通过丢弃这些假设来恢复解码，如回缝。我们将这些方法结合成一个混合的方法，即运行和返回缝合搜索，这降低了计算成本和延迟。各种ASR任务的评估显示了我们提出的解码算法的效率，该算法实现了延迟减少，例如在Librispeech测试集中从1487 ms到821 ms的第90百分位数，同时保持了较高的识别精度。
2022-01-25 cs.SD eess.AS
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
A Language Agnostic Multilingual Streaming On-Device ASR System
Google（谷歌）
设备端到端（E2E）模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别（ASR）方面也显示出了有希望的结果。在本文中，我们扩展了我们以前的容量解决方案，流媒体应用程序，并提出了一个流媒体多语言E2E ASR系统，完全运行在设备上，具有可比的质量和延迟个别单语模型。为了实现这一目标，我们提出了一个编码器端指针模型和一个结束的话语（EOU）联合层，以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式，使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题，我们进行了设备上的分析，并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改，我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Dynamic Chunk Convolution for Unified Streaming and Non-Streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
针对流式与非流式统一语音识别模型性能差距较大的问题，提出动态块卷积替换Conformer架构中的因果卷积，结合全上下文模型权重初始化与模块并行化，显著降低流式模式性能下降，提升了统一模型的识别精度。
2023-04-25 cs.SD eess.AS
Lightweight Target-Speaker-Based Overlap Transcription for Practical Streaming ASR
University of West Bohemia in Pilsen（西波西米亚大学）
提出一种轻量级基于目标说话人的流式ASR扩展方法，结合SI与SC模型及紧凑重叠检测器，在计算量仅增44%下将重叠语音WER从68.0%降至35.78%，实现高效可扩展的重叠转录。
2025-06-25 cs.SD eess.AS
Compute Cost Amortized Transformer for Streaming ASR
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
我们提出了一个流，基于transformer的端到端自动语音识别（ASR）架构，通过计算成本摊销实现高效的神经推理。我们的架构在推理时动态创建稀疏计算路径，从而在整个解码过程中选择性地使用计算资源，从而在对准确性影响最小的情况下显著减少计算。完全可区分的架构是端到端训练的，伴随着在帧级操作的轻量级仲裁器机制，以在每个输入上做出动态决策，同时使用可调的损失函数来针对预测性能调整整体计算水平。我们报告的经验结果，从实验中使用的计算摊销Transformer-Transducer（T-T）模型进行LibriSpeech数据。我们的最佳模型可以实现60%的计算成本降低，只有3%的相对字出错率（WER）的增加。
2022-07-05 cs.CL cs.SD eess.AS
Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments
Microsoft（微软）
提出单解码器流式 Transformer-Transducer 与词元级序列化训练，借助文本对齐交错源/目标词元，在低延迟下联合输出 ASR 和 ST，质量持平或优于独立模型。
2023-10-02 cs.CL cs.SD eess.AS
Streaming Language Identification using Combination of Acoustic Representations and ASR Hypotheses
Amazon Alexa（亚马逊Alexa）
本文介绍了我们的建模和架构方法，用于构建一个高度准确的低延迟语言识别系统，以支持语音助手的多语言口语查询。解决多语言语音识别的常见方法是并行运行多个单语ASR系统，并依赖于检测输入语言的语言识别（LID）组件。常规地，LID仅依赖于声学信息来检测输入语言。我们提出了一种方法，学习和结合声学水平表示与嵌入估计ASR假设导致高达50%的相对减少识别错误率，相比，使用声学只功能的模型。此外，为了降低处理成本和延迟，我们利用流架构，以识别口语早期系统达到预定的置信水平时，减轻需要运行多个ASR系统，直到输入查询结束。结合声学和文本LID，再加上我们提出的流媒体运行时架构，导致平均1500毫秒的早期识别超过50%的话语，几乎没有降低准确性。我们还显示了改进的结果，采用半监督学习（SSL）技术，使用新提出的模型架构作为教师模型。
2020-06-01 cs.CL cs.SD eess.AS
