Universal ASR: Unifying Streaming and Non-Streaming ASR Using a Single Encoder-Decoder Model
Alibaba Group（阿里巴巴集团）；Singapore Institute of Technology（新加坡理工学院）
最近，在线端到端ASR越来越受到关注。然而，在线系统的性能仍然远远落后于离线系统，在识别质量上存在很大差距。对于特定场景，我们可以在性能和时延之间进行权衡，可以训练多个时延不同的系统，以匹配各种应用场景的性能和时延需求。在这项工作中，在性能和延迟之间的权衡对比，我们设想一个单一的系统，可以匹配不同的场景的需求。我们提出了一种新的架构，称为通用ASR，可以统一流和非流ASR模型到一个系统中。嵌入式流式ASR模型可以根据需要配置不同的延迟以获得实时识别结果，而非流式模型能够刷新最终识别结果以获得更好的性能。我们已经在公共AISHELL-2基准和工业级20，000小时普通话语音识别任务上评估了我们的方法。实验结果表明，通用ASR提供了一种有效的机制，整合流和非流模型，可以识别语音快速，准确。在AISHELL-2任务中，Universal ASR轻松超越其他最先进的系统。
2020-10-27 cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation
Honda Research Institute Japan Co., Ltd.（日本本田研究所）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对流式与非流式自动语音识别的模式切换需求，提出基于多解码器与知识蒸馏的联合优化方法，通过编码器整合、独立解码器及跨模块相似性知识蒸馏，在单个模型中实现两种模式的性能提升。
2024-05-22 cs.CL cs.SD eess.AS
On Prosody Modeling for ASR+TTS based Voice Conversion
Nagoya University（名古屋大学）；Carnegie Mellon University（卡内基梅隆大学）
在语音转换（VC）中，在最新的语音转换挑战（VCC）2020中显示出有希望的结果的方法是首先使用自动语音识别（ASR）模型将源语音转录为底层语言内容;然后将其用作文本到语音（TTS）系统的输入以生成转换后的语音。这种被称为ASR+TTS的模式忽略了韵律的建模，而韵律在语音自然度和转换相似度方面起着重要作用。虽然有些研究者考虑从源语音中转移韵律线索，但在训练和转换过程中会出现说话人不匹配的情况。为了解决这个问题，在这项工作中，我们提出了直接预测韵律的语言表示在一个目标说话人依赖的方式，被称为目标文本预测（TTP）。我们在VCC 2020基准上评估了这两种方法，并考虑了不同的语言表示。结果表明，TTP的有效性，在客观和主观评价。
2021-07-20 cs.CL cs.SD eess.AS
SC-MoE: Switch Conformer Mixture of Experts for Unified Streaming and Non-streaming Code-Switching ASR
HiThink RoyalFlush AI Research Institute（HiThink RoyalFlush AI研究院）
本文提出SC-MoE，一种基于Switch-Conformer的专家混合系统，通过编码器中的CTC损失LID路由器及解码器MoE层，实现统一流式与非流式代码切换ASR，在保持计算效率的同时显著提升识别性能。
2024-06-26 cs.LG cs.SD eess.AS
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Idiap Research Institute（Idiap研究机构）
本文提出一种基于音节节奏建模的无监督构音障碍到健康语音转换方法，扩展RnV框架，在Torgo语料库上显著降低LF-MMI模型的词错误率，尤其对严重构音障碍病例效果更佳。
2025-06-02 cs.AI cs.LG cs.SD
The Sequence-to-Sequence Baseline for the Voice Conversion Challenge 2020: Cascading ASR and TTS
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了2020年语音转换挑战赛（VCC）的序列到序列（seq2seq）基线系统。我们考虑了一种简单的语音转换（VC）方法，即首先使用自动语音识别（ASR）模型对输入语音进行转录，然后使用转录器使用文本到语音（TTS）模型生成目标的语音。我们利用ESPnet（一个开源的端到端语音处理工具包）和社区提供的许多配置良好的预训练模型，在序列到序列（seq2seq）框架下重新审视这种方法。官方评估结果表明，我们的系统在参与系统中的转换相似性，展示了seq2seq模型转换说话人身份的能力。该实现在https://github.com/espnet/espnet/tree/master/egs/vcc20上开源。
2020-10-06 cs.CL cs.SD eess.AS
Mamba for Streaming ASR Combined with Unimodal Aggregation
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出将Mamba状态空间模型用于流式ASR，结合预测机制、单模态聚合与提前终止方法，在中文数据集上同时提升识别准确率并降低延迟。
2024-12-27 cs.CL cs.SD eess.AS
A light-weight and efficient punctuation and word casing prediction model for on-device streaming ASR
Cisco Systems（思科系统）
针对设备端流式ASR中Transformer模型过大的问题，提出基于CNN和BiLSTM的轻量模型，联合预测标点和大小写，性能与Transformer相当，体积仅为其1/40，速度快2.5倍。
2024-07-18 cs.CL cs.LG cs.SD
Bridging the gap between streaming and non-streaming ASR systems bydistilling ensembles of CTC and RNN-T models
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）系统广泛用于需要实时将语音转录为文本的日常应用中。它们的最小延迟使它们适合这些任务。与它们的非流模型不同，流模型被限制为因果关系，没有未来的上下文，并遭受更高的字出错率（WER）。为了改进流模型，最近的一项研究[1]提出了在无监督的话语上提取非流教师模型，然后使用教师的预测训练流学生。然而，教师和学生之间的绩效差距仍然很大。在本文中，我们的目标是通过使用一组多样化的非流教师模型并使用识别器输出投票错误减少（ROVER）将它们结合起来来缩小这一差距。特别是，我们表明，尽管比RNN-T模型弱，但CTC模型是出色的教师。此外，通过将RNN-T和CTC模型融合在一起，我们构建了最强大的教师。由此产生的学生模型大大改善了以前工作的流模型[1]：西班牙语的WER下降了41%，葡萄牙语下降了27%，法语下降了13%。
2021-04-25 cs.CL cs.SD eess.AS
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流说话人属性的自动语音识别（SA-ASR）模型，可以识别"谁说了什么“，即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练（t-SOT），这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份，我们提出了一个基于编码器-解码器的说话人嵌入提取器，可以估计每个识别的令牌，不仅从非重叠的语音，但也从重叠的语音的说话人表示。所提出的说话人嵌入，命名为t-vector，与t-SOT ASR模型同步提取，使说话人识别（SID）或说话人日记（SD）与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性，并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition
Qwen Applications Business Group, Alibaba, China（通义实验室，阿里巴巴，中国）；Tongyi AI Lab, Alibaba, China（通义实验室，阿里巴巴，中国）
Uni-ASR基于大语言模型提出统一架构，实现非流式与流式语音识别无缝切换，通过联合训练和上下文感知策略提升流式识别准确性，实验显示其在不同延迟条件下均表现优异。
2026-03-11 cs.CL cs.SD
Semi-Autoregressive Streaming ASR With Label Context
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
本文提出一种流式半自回归ASR模型，通过语言模型子网络引入历史标签上下文，并设计新贪心解码算法减少块边界错误，在多个数据集上显著提升准确率并降低延迟。
2024-02-20 cs.CL cs.SD eess.AS
Personalized Predictive ASR for Latency Reduction in Voice Assistants
Amazon Alexa（亚马逊Alexa）
本文提出预测式 ASR，通过从部分语音预测完整语音并预取响应来降低语音助手延迟，引入两种个性化方法并评估了预测成功与失败间的延迟与成本权衡。
2023-05-23 cs.CL eess.AS
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于注意力的端到端自动语音识别（ASR）系统最近已经展示了用于许多任务的最先进的结果。然而，自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性，其中每个单词必须在说出后不久被识别。在这项工作中，我们提出了双重因果/非因果自我注意力（DCN）架构，与限制自我注意力相比，它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较，示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果，同时提供了帧同步处理的优点。结合触发注意力，所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 DCTX-Conformer，通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入，在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
Pushing the Boundaries of Streaming Multi-Speaker ASR: A Systematic Study of Architectural Trade-offs
NVIDIA（英伟达）
本研究提出统一框架，将流式多说话人语音识别划分为四种架构策略，基于共享开源模型构建四个系统，评估多说话人准确性、单说话人性能下降、内存和训练复杂度，为不同部署场景提供选型指导。
2026-09-25 cs.SD eess.AS
CUSIDE: Chunking, Simulating Future Context and Decoding for Streaming ASR
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Meituan（美团）
历史和未来的背景信息是已知的，是重要的准确的声学建模。然而，获取未来上下文会给流式ASR带来延迟。在本文中，我们提出了一个新的框架-组块，模拟未来的上下文和解码（CUSIDE）的流式语音识别。引入了一个新的模拟模块来递归地模拟未来的上下文帧，而无需等待未来的上下文。仿真模块使用自监督损失与ASR模型联合训练; ASR模型使用通常的ASR损失进行优化，例如，CTC-CRF如我们实验中所用。实验表明，与使用真实的未来帧作为正确的上下文相比，使用模拟的未来上下文可以大大减少延迟，同时保持识别精度。通过CUSIDE，我们在AISHELL-1数据集上获得了最新的流式ASR结果。
2022-08-02 cs.CL eess.AS
Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同时语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流传输ASR的流水线，然后是同时的MT，但是遭受错误传播和额外的延迟。为了缓解这些问题，最近的努力试图直接将源语音同时翻译成目标文本，但由于两个单独的任务的组合，这要困难得多。相反，我们提出了一个新的范例级联和端到端的方法的优点。其关键思想是分别在流式ASR和直接语音到文本翻译（ST）上使用两个独立但同步的解码器，ASR的中间结果指导ST的解码策略（但不作为输入）。在MuSTC数据集上进行的En-to-De和En-to-Es实验表明，我们提出的技术在相似的延迟水平下实现了更好的翻译质量。
2021-06-11 cs.CL cs.SD eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
NVIDIA（英伟达）
本文提出面向生产环境的TurboBias 2.0框架，通过GPU加速的不区分大小写增强图与每流批量解码，在兼顾低延迟高吞吐量的同时，提升了ASR系统的上下文短语识别效果，支持多用户个性化偏置及多种解码方式。
2026-08-24 cs.AI cs.CL cs.LG
Disentangleing Content and Fine-grained Prosody Information via Hybrid ASR Bottleneck Features for Voice Conversion
Huya Inc.（虎牙公司）
通过引入自动语音识别（ASR）模型提取的瓶颈特征（BNF），非并行数据语音转换（VC）近年来取得了相当大的突破。然而，BNF的选择对VC结果有显著影响。例如，当从用交叉熵损失（CE-BNF）训练的ASR中提取BNF并馈送到神经网络中以训练VC系统时，转换语音的音色相似性显著降低。如果从使用连接主义时间分类损失（CTC-BNF）训练的ASR中提取BNF，则转换的语音的自然度可能降低。这种现象是由BNF所包含的信息的差异造成的。本文提出了一种基于CTC-BNF和CE-BNF的混合瓶颈特征互补的任意对一VC方法。采用梯度反转层和实例归一化技术分别从CE-BNF和CTC-BNF中提取韵律信息和内容信息。采用自回归解码器和Hifi-GAN声码器产生高质量的波形。实验结果表明，该方法在相似度、自然度、质量等方面均优于基线方法，并揭示了CE-BNF和CTC-BNF所含信息的差异及其对转换后语音的影响。
2022-03-24 cs.CL cs.SD eess.AS
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
针对流式ASR的性能与延迟平衡难题，提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法，在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google（谷歌）
随着自动语音识别（ASR）应用的激增，对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前，可能会修改部分结果，从而导致不稳定问题。我们分析了设备上流媒体端到端（E2 E）ASR模型的质量和稳定性。我们首先介绍了一套新的指标，量化的不稳定性，在字和段的水平。我们研究了几种模型训练技术的影响，这些技术提高了E2 E模型的质量，但降低了模型的稳定性。我们对不稳定性的原因进行了分类，并探索了各种解决方案，以减轻它们在流E2 E ASR系统。索引术语：ASR、稳定性、端到端、文本规范化、设备上、RNN-T
2020-08-14 cs.CL cs.SD eess.AS
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
Streaming Multi-Talker ASR with Token-Level Serialized Output Training
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个令牌级串行输出训练（t-SOT），一个新的框架，流多说话人自动语音识别（ASR）。与使用多个输出分支的现有流传输多讲话者ASR模型不同，t-SOT模型仅具有生成识别令牌的单个输出分支（例如，字、子字）。一个特殊的令牌，表明“虚拟”输出通道的变化被引入到跟踪重叠的话语。与现有的流式多说话者ASR模型相比，t-SOT模型具有推理成本低和模型结构简单的优点。此外，在我们使用LibriSpeechMix和LibriCSS数据集的实验中，基于t-SOT的Transformer换能器模型实现了最先进的字错误率，与先前的结果相比有很大的差距。对于非重叠语音，t-SOT模型在准确性和计算成本方面与单说话者ASR模型相当，为单说话者和多说话者场景部署一个模型打开了大门。
2022-07-14 cs.CL cs.SD eess.AS
TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty
Tsinghua Univ.（清华大学）；Horizon Inc.（地平线公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了TrimTail，一个简单但有效的发射正则化方法，以改善流ASR模型的延迟。TrimTail的核心思想是应用长度惩罚（即，通过修整尾帧，参见图1-（b））直接在输入话语的频谱图上，这不需要任何对准。我们证明了TrimTail在计算上很便宜，可以在线应用并在任何数据集上使用任何训练损失或任何模型架构进行优化，而无需任何额外的努力，方法是将其应用于各种端到端流式ASR网络，无论是使用CTC损失[1]还是传感器损失[2]进行训练。我们实现了100 $\sim$ 200毫秒的延迟减少，在Aishell-1和Librispeech上具有相同或甚至更好的准确性。此外，通过使用TrimTail，我们可以实现400 ms的用户敏感延迟（USD）算法改进，准确性损失小于0.2。
2023-01-22 cs.CL cs.SD eess.AS
Streaming End-to-End Bilingual ASR Systems with Joint Language Identification
Amazon（亚马逊）
多语言ASR技术简化了模型训练和部署，但其准确性取决于运行时语言信息的可用性。由于语言身份在现实世界中很少事先知道，因此必须以最小的延迟进行即时推断。此外，在语音激活的智能助理系统中，ASR输出的下游处理也需要语言身份。在本文中，我们介绍了流，端到端，双语系统，使用递归神经网络转换器（RNN-T）架构执行ASR和语言识别（LID）。在输入侧，来自预训练的仅声学LID分类器的嵌入用于指导RNN-T训练和推理，而在输出侧，语言目标与ASR目标联合建模。所提出的方法适用于两种语言对：英语-西班牙语在美国说，英语-印地语在印度说。实验表明，对于英语-西班牙语，双语联合ASR-LID架构匹配单语ASR和仅声学LID精度。对于更具有挑战性（由于话语内代码切换）的情况下，英语印地语，英语ASR和LID指标显示退化。总的来说，在用户在语言之间动态切换的情况下，所提出的架构提供了一个有前途的简化运行多个单语ASR模型和LID分类器并行。
2020-07-08 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Learning a Dual-Mode Speech Recognition Model via Self-Pruning
Meta AI
人们越来越有兴趣将流媒体和全上下文自动语音识别（ASR）网络统一到单个端到端ASR模型中，以简化两种用例的模型训练和部署。而在现实世界的ASR应用中，流式ASR模型通常在更多的存储和计算约束下操作，例如，在嵌入式设备上-比任何服务器端全上下文模型。受全稀疏超网训练的最新进展的启发，其中多个子网络在一个模型中联合优化，这项工作的目的是在一个超网中联合学习一个紧凑的稀疏设备上流媒体ASR模型和一个大型密集服务器非流媒体模型。接下来，我们提出，在wav 2 vec 2.0自监督学习和监督ASR微调上执行超网训练不仅可以大幅改善先前工作中所示的大型非流模型，而且还能够改善紧凑的稀疏流模型。
2022-10-06 cs.CL cs.SD eess.AS
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University（卡内基梅隆大学）；FAU Erlangen-Nürnberg（弗赖堡大学埃尔兰根-纽伦堡分校）；Universidad de Antioquia（安东尼奥基亚大学）；TU Delft（代尔夫特理工大学）；Fortemedia（福特媒体）
针对低资源语言构音障碍语音识别数据稀缺问题，本文微调语音转换模型生成构音障碍样语音，增强多语言ASR，在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
A Language Agnostic Multilingual Streaming On-Device ASR System
Google（谷歌）
设备端到端（E2E）模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别（ASR）方面也显示出了有希望的结果。在本文中，我们扩展了我们以前的容量解决方案，流媒体应用程序，并提出了一个流媒体多语言E2E ASR系统，完全运行在设备上，具有可比的质量和延迟个别单语模型。为了实现这一目标，我们提出了一个编码器端指针模型和一个结束的话语（EOU）联合层，以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式，使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题，我们进行了设备上的分析，并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改，我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Unifying Streaming and Non-streaming Zipformer-based ASR
Uniphore；Idiap Research Institute（Idiap研究机构）
该研究提出基于Zipformer的统一ASR框架，通过分块注意力掩码的动态右上下文训练单模型兼顾流式与非流式场景，可灵活调控延迟-准确率权衡，词错误率相对降7.9%，流式性能接近非流式。
2025-06-17 cs.AI cs.SD eess.AS
TTS Skins: Speaker Conversion via ASR
Tel Aviv University（特拉维夫大学）
我们提出了一个完全卷积的wav-to-wav网络，用于在说话者的声音之间进行转换，而不依赖于文本。我们的网络是基于一个编码器-解码器架构，其中的编码器是预先训练的自动语音识别的任务，和多扬声器波形解码器进行训练，以重建原始信号的自回归方式。我们训练讲述有声读物的网络，并在这些声音中演示多语音TTS，通过转换语音的TTS机器人。
2020-07-26 cs.LG cs.SD stat.ML
Unsupervised End-to-End Learning of Discrete Linguistic Units for Voice Conversion
National Taiwan University（台湾大学）
我们提出了一个无监督的端到端的训练方案，我们发现离散的子字单元从语音，而不使用任何标签。离散子字单元在ASR-TTS自动编码器重构设置下学习，其中ASR编码器被训练以发现给定各种说话者的一组公共语言单元，并且TTS解码器被训练以将所发现的单元投射回指定语音。我们提出了一种离散编码方法，多标签二进制矢量（MBV），使ASR-TTS自动编码器可区分。我们发现，所提出的编码方法提供了自动提取的语音内容从扬声器的风格，并足以涵盖完整的语言内容在一个给定的语言。因此，TTS解码器可以合成与ASR编码器输入内容相同但具有不同说话人特征的语音，从而实现语音转换（VC）。我们使用对抗训练进一步提高VC的质量，其中我们训练一个TTS修补程序，以增强TTS解码器的输出。客观和主观评价表明，该方法提供了强大的VC结果，因为它消除了说话人身份，同时保留语音内容。在ZeroSpeech 2019挑战赛中，我们在低比特率方面取得了出色的表现。
2019-06-20 cs.CL cs.LG cs.SD
Compute Cost Amortized Transformer for Streaming ASR
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
我们提出了一个流，基于transformer的端到端自动语音识别（ASR）架构，通过计算成本摊销实现高效的神经推理。我们的架构在推理时动态创建稀疏计算路径，从而在整个解码过程中选择性地使用计算资源，从而在对准确性影响最小的情况下显著减少计算。完全可区分的架构是端到端训练的，伴随着在帧级操作的轻量级仲裁器机制，以在每个输入上做出动态决策，同时使用可调的损失函数来针对预测性能调整整体计算水平。我们报告的经验结果，从实验中使用的计算摊销Transformer-Transducer（T-T）模型进行LibriSpeech数据。我们的最佳模型可以实现60%的计算成本降低，只有3%的相对字出错率（WER）的增加。
2022-07-05 cs.CL cs.SD eess.AS
Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments
Microsoft（微软）
提出单解码器流式 Transformer-Transducer 与词元级序列化训练，借助文本对齐交错源/目标词元，在低延迟下联合输出 ASR 和 ST，质量持平或优于独立模型。
2023-10-02 cs.CL cs.SD eess.AS
Streaming Language Identification using Combination of Acoustic Representations and ASR Hypotheses
Amazon Alexa（亚马逊Alexa）
本文介绍了我们的建模和架构方法，用于构建一个高度准确的低延迟语言识别系统，以支持语音助手的多语言口语查询。解决多语言语音识别的常见方法是并行运行多个单语ASR系统，并依赖于检测输入语言的语言识别（LID）组件。常规地，LID仅依赖于声学信息来检测输入语言。我们提出了一种方法，学习和结合声学水平表示与嵌入估计ASR假设导致高达50%的相对减少识别错误率，相比，使用声学只功能的模型。此外，为了降低处理成本和延迟，我们利用流架构，以识别口语早期系统达到预定的置信水平时，减轻需要运行多个ASR系统，直到输入查询结束。结合声学和文本LID，再加上我们提出的流媒体运行时架构，导致平均1500毫秒的早期识别超过50%的话语，几乎没有降低准确性。我们还显示了改进的结果，采用半监督学习（SSL）技术，使用新提出的模型架构作为教师模型。
2020-06-01 cs.CL cs.SD eess.AS
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在端到端（E2 E）自动语音识别（ASR）系统中，Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中，使用块边界检测技术同步对齐编码特征块，其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话，LibriSpeech英语和CSJ日本的任务的评估表明，建议的流Transformer算法优于传统的在线方法，包括单调块注意（MoChA），特别是当使用知识蒸馏技术。一项消融研究表明，我们的流方法有助于减少响应时间，重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
2020-11-18 cs.SD eess.AS
A Comparison of Semi-Supervised Learning Techniques for Streaming ASR at Scale
New York University（纽约大学）；Google Inc.（谷歌公司）
本文在大规模生产级流式ASR约束下，通过联合训练系统比较三类半监督文本与音频方法及其组合，证明其可同时降低WER与尾词WER、减少解码计算并提升lattice密度。
2023-04-19 cs.CL cs.SD eess.AS
VoiceFilter-Lite: Streaming Targeted Voice Separation for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
我们介绍VoiceFilter-Lite，一个单通道源分离模型，在设备上运行，只保留来自目标用户的语音信号，作为流语音识别系统的一部分。交付这样一个模型提出了许多挑战：当输入信号由重叠语音组成时，它应该提高性能，并且在所有其他声学条件下不得损害语音识别性能。此外，该模型必须小巧，快速，并以流式方式执行推理，以便对CPU，内存，电池和延迟的影响最小。我们提出了新的技术，以满足这些多方面的要求，包括使用一个新的非对称损失，并采用自适应运行时抑制强度。我们还表明，这样的模型可以量化为8位整数模型，并在实时运行。
2020-09-09 cs.LG cs.SD eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
Modular Domain Adaptation for Conformer-Based Streaming ASR
Google LLC（谷歌有限责任公司）
提出模块化领域自适应（MDA）框架，通过在Conformer编码器中添加领域特定的适配器和前馈网络，使单一模型在保持参数领域特定性的同时处理多领域数据，并在语音搜索和听写等任务上达到与多领域模型相似的性能。
2023-05-22 cs.CL cs.LG cs.SD
Benchmarking LF-MMI, CTC and RNN-T Criteria for Streaming ASR
Facebook AI（Facebook人工智能）
在这项工作中，为了测量延迟控制的流式自动语音识别（ASR）应用的准确性和效率，我们对三个流行的训练标准进行了全面的评估：LF-MMI，CTC和RNN-T。在使用3 K-14 K小时的训练数据转录7种语言的社交媒体视频时，我们使用相同的数据集和编码器模型架构对每个标准进行了大规模的受控实验。我们发现RNN-T在ASR准确性方面具有一致的优势，而CTC模型在推理效率方面表现出色。此外，我们有选择地研究了不同训练标准的各种建模策略，包括建模单元，编码器架构，预训练等。鉴于这种大规模的真实世界流媒体ASR应用，据我们所知，我们提出了这三个广泛使用的训练标准的第一个全面的基准测试。
2020-11-09 cs.SD eess.AS
Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
Moonshine v2通过滑动窗口自注意机制实现低延迟流式ASR，达到与更大模型相当的准确性。
2026-02-12 cs.CL cs.LG cs.SD
JOIST: A Joint Speech and Text Streaming Model For ASR
Google, Inc.（谷歌公司）
我们提出了JOIST，一个训练流，级联，编码器端到端（E2 E）模型的语音文本配对的输入，和文本只有不成对的输入算法。与以前的作品不同，我们探索了两种模式的联合训练，而不是预先训练和微调。此外，我们探索JOIST使用流E2 E模型的数量级更多的数据，这也是新颖的相比，以前的作品。通过一系列的消融研究，我们探讨了不同类型的文本建模，包括如何建模的文本序列的长度和适当的文本子词单元表示。我们发现，与未使用文本训练的模型相比，JOIST的最佳文本表示在各种搜索和稀有词测试集上将WER提高了4-14%。此外，我们定量地表明，JOIST保持流功能，这是很重要的良好的用户级体验。
2022-10-13 cs.CL cs.SD eess.AS
VarArray Meets t-SOT: Advancing the State of the Art of Streaming Distant Conversational Speech Recognition
Microsoft（微软）
本文提出了一种新的流式自动语音识别（ASR）框架，用于由具有任意几何形状的远距离麦克风阵列捕获的多说话者重叠语音。我们的框架名为t-SOT-VA，利用了独立开发的两种最新技术;阵列几何不可知的连续语音分离，或VarArray，以及基于令牌级序列化输出训练（t-SOT）的流式多说话者ASR。为了结合这两种技术的优点，我们新设计了一个基于t-SOT的ASR模型，该模型基于VarArray的两个分离的语音信号生成序列化的多说话者转录。我们还提出了一个预训练方案，这样的ASR模型，我们模拟VarArray的输出信号的基础上单声道单说话者ASR训练数据。使用AMI会议语料库的会话转录实验表明，该系统的基础上提出的框架显着优于传统的。我们的系统实现了最先进的字错误率分别为13.7%和15.5%的AMI开发和评估集，在多个远程麦克风设置，同时保留流推理能力。
2022-10-04 cs.CL cs.SD eess.AS
Transformer-based Streaming ASR with Cumulative Attention
Cambridge Research Laboratory, Toshiba Europe Ltd（东芝欧洲有限公司剑桥研究实验室）
在本文中，我们提出了一个在线的注意力机制，称为累积注意力（CA），流转换器为基础的自动语音识别（ASR）。受单调分块注意（MoChA）和头同步解码器端自适应计算步骤（HS-DACS）算法的启发，CA基于在每个编码时间步累积的声学信息触发ASR输出，其中使用可训练设备（称为停止选择器）做出决策。在CA中，同一解码器层的所有注意头被同步以具有统一的停止位置。该特征有效地消除了由各个头部的不同行为引起的问题，否则可能引起MoChA遇到的严重延迟问题。在AIShell-1和Librispeech数据集上进行的ASR实验表明，与文献中的其他流式Transformer系统相比，所提出的基于CA的Transformer系统可以实现同等或更好的性能，并且在推理期间显著减少延迟。
2022-03-11 cs.SD eess.AS
Omni-sparsity DNN: Fast Sparsity Optimization for On-Device Streaming E2E ASR via Supernet
Meta AI
从可穿戴设备到功能强大的智能设备，现代自动语音识别（ASR）模型可在各种计算预算不同的边缘设备上运行。为了在模型精度与模型大小的帕累托前沿进行导航，研究人员陷入了一个困境，即通过为每个边缘设备训练和微调模型来优化模型精度，同时保持训练GPU时间易于处理。在本文中，我们提出了全稀疏DNN，其中单个神经网络可以被修剪以生成针对大范围模型大小的优化模型。我们为全稀疏DNN开发了训练策略，使其能够沿着单词错误率（WER）与模型大小的帕累托前沿找到模型，同时保持训练GPU时间不超过训练一个奇异模型的时间。我们使用流式E2 E ASR模型演示了全稀疏DNN。我们的研究结果显示，与单独修剪的稀疏模型相比，LibriSpeech的训练时间和资源大大节省，准确率相似或更高：测试其他模型的WER提高了2%-6.6%。
2022-07-20 cs.CL cs.SD eess.AS
Iteratively Improving Speech Recognition and Voice Conversion
Sony Research India（索尼印度研究院）；Sony Group Corporation（索尼集团公司）
针对低数据资源下ASR模型训练困难的问题，提出一种迭代改进ASR与VC模型的框架，通过相互利用对方进行数据增强和微调，在英语歌唱和印地语语音低资源设置下优于基线模型。
2023-05-24 cs.AI cs.SD eess.AS
Voice Conversion Can Improve ASR in Very Low-Resource Settings
Stellenbosch University（斯泰伦博斯大学）
语音转换（VC）可以用来提高语音识别系统在低资源的语言，通过使用它来增加有限的训练数据。然而，由于实际问题，例如计算速度和转换时的限制，VC尚未广泛用于此目的。此外，目前还不清楚在一种资源丰富的语言上训练的VC模型是否可以应用于另一种资源较少的语言的语音，以实现数据增强的目的。在这项工作中，我们评估VC系统是否可以跨语言使用，以提高低资源语音识别。我们结合了几种最新的技术，设计和训练一个实用的VC系统在英语中，然后使用这个系统来增加数据的训练语音识别模型在几个低资源的语言。当使用一个合理的VC增强数据量，语音识别性能提高在所有四个低资源的语言考虑。我们还表明，基于VC的增强优于SpecAugment（一种广泛使用的信号处理增强方法）在低资源的语言考虑。
2022-06-21 cs.CL cs.SD eess.AS
Reducing the Offline-Streaming Gap for Unified ASR Transducer with Consistency Regularization
NVIDIA, Armenia（亚美尼亚NVIDIA公司）；NVIDIA, USA（美国NVIDIA公司）
本文提出统一ASR框架，通过一致性正则化缩小离线与流媒体性能差距，提升低延迟流媒体准确率同时保持离线性能。
2026-04-21 cs.AI cs.CL cs.HC
Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）建模在语音处理中得到了越来越多的关注。与最近的国家的最先进的注意力为基础的自动语音识别（ASR）的结构，NAR可以实现有前途的实时因子（RTF）的改善，只有很小的退化的准确性相比，自回归（AR）模型。然而，识别推理需要等待完整的语音话语的完成，这限制了它们在低延迟场景中的应用。为了解决这个问题，我们提出了一种新的端到端的流NAR语音识别系统相结合的blockwise-attention和连接主义的时间分类与掩码预测（Mask-CTC）NAR。在推理过程中，输入音频被分成小块，然后以分块流式方式进行处理。为了解决每个块输出边缘的插入和删除错误，我们采用了一种重叠解码策略，并采用了一种动态映射技巧，可以产生更连贯的句子。实验结果表明，与vanilla Mask-CTC相比，该方法在低延迟条件下提高了在线ASR识别率。此外，与基于AR注意力的模型相比，它可以实现更快的推理速度。我们所有的代码都将在https://github.com/espnet/espnet上公开。
2021-07-20 cs.LG cs.SD eess.AS
