DuplexMamba: Enhancing Real-time Speech Conversations with Duplex and Streaming Capabilities
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）；Tsinghua University（清华大学）
本文提出DuplexMamba，一种基于Mamba的端到端多模态双工模型，通过同时处理输入和生成输出的双工解码策略实现实时流式语音对话，在ASR和语音助手基准上性能媲美Transformer模型。
2025-04-03 cs.CL
Streaming Simultaneous Speech Translation with Augmented Memory Transformer
Facebook（脸书）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型在语音翻译任务上取得了最先进的性能。然而，该模型架构对于流场景不够有效，因为自注意力是在整个输入序列上计算的，并且计算成本随着输入序列的长度二次增长。然而，大多数关于同时语音翻译的先前工作，即从部分音频输入生成翻译的任务，在分析延迟时忽略了生成翻译所花费的时间。在这种假设下，系统可能具有良好的延迟质量权衡，但在实时场景中不适用。在本文中，我们重点关注流同步语音翻译的任务，其中系统不仅能够在部分输入的情况下进行翻译，而且还能够处理非常长或连续的输入。我们提出了一个端到端的变压器为基础的序列到序列模型，配备了一个增强内存的Transformer编码器，它已显示出巨大的成功，在流自动语音识别任务与混合或基于传感器的模型。我们进行实证评估的建议模型段，上下文和内存大小，我们比较我们的方法与单向掩码的Transformer。
2020-10-30 cs.CL
Improving Streaming Automatic Speech Recognition With Non-Streaming Model Distillation On Unsupervised Data
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）模型广泛用于智能扬声器和设备上应用。由于这些模型预计将以最小的延迟转录语音，因此与非流媒体模型相比，它们被限制为因果关系，没有未来的上下文。因此，流式模型通常比非流式模型表现更差。我们提出了一种新颖有效的学习方法，利用非流ASR模型作为教师在任意大的数据集上生成成绩单，然后用于将知识提取到流ASR模型中。通过这种方式，我们可以将流媒体模型的训练扩展到高达300万小时的YouTube音频。实验表明，该方法不仅在LibriSpeech上，而且在四种语言的YouTube数据上都能显著降低RNNT模型的单词出错率（WER）。例如，在法语中，通过利用在与基线相同数量的标记数据上训练的非流教师模型，我们能够将WER相对于基线流模型降低16.4%。
2021-02-21 cs.CL cs.SD eess.AS
Streaming Speech-to-Text Translation with a SpeechLLM
Samsung, AI Center – Cambridge, United Kingdom（三星，人工智能中心——剑桥，英国）
本文提出基于LLM的流式语音到文本翻译架构，通过学习输出token和判断音频充足性，实现低延迟的实时翻译，实验显示其翻译质量接近非流式基准，但延迟仅1-2秒。
2026-05-14 cs.AI cs.CL eess.AS
Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation
Honda Research Institute Japan Co., Ltd.（日本本田研究所）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对流式与非流式自动语音识别的模式切换需求，提出基于多解码器与知识蒸馏的联合优化方法，通过编码器整合、独立解码器及跨模块相似性知识蒸馏，在单个模型中实现两种模式的性能提升。
2024-05-22 cs.CL cs.SD eess.AS
Streaming End-to-end Speech Recognition For Mobile Devices
Google, Inc.（谷歌公司）
端到端（E2 E）模型直接预测给定输入语音的输出字符序列，是设备上语音识别的良好候选。然而，E2 E模型提出了许多挑战：为了真正有用，这样的模型必须以流的方式、实时的解码语音话语;它们必须对用例的长尾具有鲁棒性;它们必须能够利用用户特定的上下文（例如，联系人名单）;最重要的是，它们必须非常准确。在这项工作中，我们描述了我们的努力，建立一个E2 E语音识别器使用的递归神经网络换能器。在实验评估中，我们发现，所提出的方法可以优于传统的CTC为基础的模型在延迟和准确性方面的一些评估类别。
2018-11-15 cs.CL
Streaming Punctuation: A Novel Punctuation Technique Leveraging Bidirectional Context for Continuous Speech Recognition
Microsoft Corporation（微软公司）
虽然语音识别单词出错率（WER）已经达到了与英语相当的水平，但是连续语音识别场景（例如语音打字和会议速记）仍然遭受由不规则暂停模式或缓慢说话者引起的分段和标点问题。Transformer序列标记模型在捕获长双向上下文方面是有效的，这对于自动标点至关重要。然而，自动语音识别（ASR）生成系统受到实时要求的限制，使得在做出标点决定时难以结合正确的上下文。由ASR解码器产生的片段内的上下文可以是有帮助的，但是限制了连续语音会话的整体标点性能。在本文中，我们提出了一个流的方法，使用动态解码窗口的ASR输出的标点符号或重新标点符号，并衡量其对标点符号和分割精度的影响跨场景。新系统解决了过度分割问题，将分割F0.5分数提高了13.9%。流式标点符号实现了机器翻译（MT）下游任务的平均BLEUscore提高0.66。
2023-01-10 cs.CL
Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
Moonshine v2通过滑动窗口自注意机制实现低延迟流式ASR，达到与更大模型相当的准确性。
2026-02-12 cs.CL cs.LG cs.SD
WeNet: Production oriented Streaming and Non-streaming End-to-End Speech Recognition Toolkit
Northwestern Polytechnical University（西北工业大学）；Mobvoi Inc.（出门问问公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了一个开源的，生产第一，和生产准备语音识别工具包，称为WeNet中，一个新的两个通过的方法来实现统一的流和非流端到端（E2 E）语音识别在一个单一的模型。WeNet的主要动机是缩小E2 E语音识别模型的研究和生产之间的差距。WeNet提供了一种有效的方法来在几个真实场景中发布ASR应用程序，这是与其他开源E2 E语音识别工具包的主要区别和优势。在我们的工具包中，实现了一个新的两遍方法。我们的方法提出了一个动态的基于块的注意力策略的Transformer层，允许任意的右上下文长度修改的混合CTC/注意力架构。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。我们使用WeNet在AISHELL-1数据集上的实验表明，与标准的非流式Transformer相比，我们的模型在非流式ASR中实现了5.03\%的相对字符出错率（CER）降低。模型量化后，我们的模型执行合理的RTF和延迟。
2021-12-29 cs.CL cs.SD eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
Streaming Transformer Transducer Based Speech Recognition Using Non-Causal Convolution
Facebook AI（Facebook 人工智能研究院）
本文利用非因果卷积改进了用于语音识别的流式Transformer变换器。许多工作应用因果卷积来改进流Transformer，忽略了前视上下文。我们建议使用非因果卷积来分别处理中心块和前瞻上下文。该方法利用卷积中的前瞻上下文，并保持类似的训练和解码效率。给定类似的延迟，使用具有前瞻上下文的非因果卷积给出比因果卷积更好的准确性，特别是对于开放域听写场景。此外，本文采用了说话人注意力和一种新的历史上下文压缩方案，以进一步提高性能。说话头注意通过在不同头之间传递信息来改善多个头的自注意。历史上下文压缩方法引入了更多的扩展历史上下文压缩。在我们的内部数据上，所提出的方法在开放域听写、辅助通用场景和辅助调用场景上分别提高了具有前瞻上下文的小Emformer基线的相对WRR 5.1\%、14.5\%、8.4\%。
2021-10-07 cs.CL cs.LG eess.AS
Streaming Speech-to-Confusion Network Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对交互式ASR低延迟限制解码搜索空间的问题，提出可输出混淆网络的低延迟流式ASR架构，其1-best结果与RNN-T相当，二次重打分可在LibriSpeech上降10-20%词错率，远场任务表现更优。
2023-06-02 cs.CL eess.AS
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft（微软）
神经传感器在自动语音识别（ASR）中得到了广泛的应用。在本文中，我们将其引入流端到端语音翻译（ST），其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译（MT）的级联ST相比，所提出的基于Transformer transducer（TT）的ST模型大大减少了推理延迟，利用了语音信息，并避免了从ASR到MT的错误传播。为了提高建模能力，我们提出了注意力池的联合网络在TT。此外，我们扩展了基于TT的ST多语言ST，它产生的文本在同一时间的多种语言。在大规模5万（K）小时伪标记训练集上的实验结果表明，基于TT的ST不仅显著减少了推理时间，而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition
Mobvoi Inc.（出门问问公司）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种新的两遍方法，统一流和非流端到端（E2 E）语音识别在一个单一的模型。我们的模型采用了混合CTC/注意力架构，在编码器中的构象层进行修改。我们提出了一个动态的基于组块的注意策略，允许任意的右上下文长度。在推理时，CTC解码器以流方式生成n个最佳假设。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。这种高效的重新评分过程导致非常小的缓存级延迟。在开放的170小时AISHELL-1数据集上的实验表明，该方法能够简单有效地统一流模型和非流模型。在AISHELL-1测试集上，我们的统一模型在非流式ASR中实现了5.60%的相对字符出错率（CER）降低，与标准的非流式Transformer相比。相同的模型在流式ASR系统中以640 ms的延迟实现5.42%的CER。
2021-12-29 cs.CL cs.SD eess.AS
A Weakly-Supervised Streaming Multilingual Speech Model with Truly Zero-Shot Capability
Microsoft Speech Group（微软语音组）
本文提出流式多语言语音模型SM2，以Transformer Transducer为骨干，利用机器翻译生成的弱监督数据训练，在351千小时25种语言数据上取得与非流式模型相当或更优的语音翻译质量，并展现出面向新目标语言的真正零样本能力。
2023-07-05 cs.AI cs.CL cs.SD
StreamHear: Domain-Adapted Pseudo-Labeling for Semi-Supervised Streaming Speech Recognition
Capital One（第一资本金融公司）
针对流式ASR的领域偏移问题，提出StreamHear半监督方法，通过微调离线教师生成伪标签并结合先验正则化重对齐，在四个数据集上性能优于有监督微调且缩小与离线教师的差距。
2026-08-17 cs.CL eess.AS
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google（谷歌）
随着自动语音识别（ASR）应用的激增，对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前，可能会修改部分结果，从而导致不稳定问题。我们分析了设备上流媒体端到端（E2 E）ASR模型的质量和稳定性。我们首先介绍了一套新的指标，量化的不稳定性，在字和段的水平。我们研究了几种模型训练技术的影响，这些技术提高了E2 E模型的质量，但降低了模型的稳定性。我们对不稳定性的原因进行了分类，并探索了各种解决方案，以减轻它们在流E2 E ASR系统。索引术语：ASR、稳定性、端到端、文本规范化、设备上、RNN-T
2020-08-14 cs.CL cs.SD eess.AS
Decoder-only Architecture for Streaming End-to-end Speech Recognition
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于仅解码器架构的分块流式语音识别方法，利用 CTC 压缩语音特征并采用随机长度前缀提示训练，在 LibriSpeech 上实现 8% 相对词错误率降低且速度提升一倍。
2024-08-01 cs.CL eess.AS
asr_eval: Algorithms and tools for multi-reference and streaming speech recognition evaluation
Siberian Neuronets LLC（西伯利亚神经网络有限公司）
asr_eval提出改进语音识别评估的算法和工具，包括多参考标注、词对齐和流式识别评估工具，用于提升多语言语音识别性能。
2026-01-28 cs.CL cs.SD eess.AS
Developing Real-time Streaming Transformer Transducer for Speech Recognition on Large-scale Dataset
Microsoft Speech and Language Group（微软语音与语言组）；Microsoft Research Asia（微软亚洲研究院）
近年来，基于Transformer的端到端模型在包括语音识别在内的许多领域都取得了巨大的成功。然而，与LSTM模型相比，Transformer在推理过程中的沉重计算成本是阻碍其应用的关键问题。在这项工作中，我们探索了Transformer Transducer（T-T）模型在大规模数据集上以低延迟和快速进行第一遍解码的潜力。我们结合Transformer-XL和块式流式处理的思想，设计了一个可流式传输的Transformer换能器模型。我们证明了T-T优于混合模型，RNN传感器（RNN-T），和流式Transformer注意力为基础的编码器-解码器模型在流的情况下。此外，运行时成本和延迟可以用相对小的前瞻来优化。
2021-02-28 cs.CL eess.AS
SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition
SENS-ASR通过结合语义信息提升流式ASR转录质量，有效降低小块流式场景中的词错误率。
2026-03-12 cs.AI cs.CL
VarArray Meets t-SOT: Advancing the State of the Art of Streaming Distant Conversational Speech Recognition
Microsoft（微软）
本文提出了一种新的流式自动语音识别（ASR）框架，用于由具有任意几何形状的远距离麦克风阵列捕获的多说话者重叠语音。我们的框架名为t-SOT-VA，利用了独立开发的两种最新技术;阵列几何不可知的连续语音分离，或VarArray，以及基于令牌级序列化输出训练（t-SOT）的流式多说话者ASR。为了结合这两种技术的优点，我们新设计了一个基于t-SOT的ASR模型，该模型基于VarArray的两个分离的语音信号生成序列化的多说话者转录。我们还提出了一个预训练方案，这样的ASR模型，我们模拟VarArray的输出信号的基础上单声道单说话者ASR训练数据。使用AMI会议语料库的会话转录实验表明，该系统的基础上提出的框架显着优于传统的。我们的系统实现了最先进的字错误率分别为13.7%和15.5%的AMI开发和评估集，在多个远程麦克风设置，同时保留流推理能力。
2022-10-04 cs.CL cs.SD eess.AS
FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech
FD-VAD提出一种无需ASR的流式语义端点检测方法，直接基于音频窗口判断继续或停止，在TurnBench上取得最优EOT召回率，实现高效全双工语音交互。
2026-09-30 cs.CL eess.AS
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
流自动语音识别模型与非流模型相比性能较差，这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性，本文采用了一种帧级模型，该模型采用高效的扩充存储器Transformer块和动态延迟训练方法，用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中，作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存，并在下一个块中重用以减少计算。之后，提出了一种动态延迟训练方法，以获得更好的性能，并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下，我们的模型与截断块式Transformer相比，在测试-clean上实现了6.0%的相对WER降低，在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
MFLA: Monotonic Finite Look-ahead Attention for Streaming Speech Recognition
Honor Device Co, Ltd（Honor Device公司）；Auditory Cognition and Computational Acoustics Lab（听觉认知与计算声学实验室）；MoE Key Lab of Artificial Intelligence（人工智能关键实验室）；AI Institute School of Computer Science, Shanghai Jiao Tong University（计算机科学学院人工智能研究所，上海交通大学）
本文提出MFLA框架，通过微调Whisper并结合Continuous Integrate-and-Fire机制、单调有限前瞻注意力及wait-k解码，在流式语音识别中实现延迟与质量的可控权衡。
2025-06-04 cs.CL cs.SD eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft（微软）
提出LAMASSU模型，基于神经转换器实现流式语言无关的多语言语音识别与翻译，通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
Streaming End-to-End Multilingual Speech Recognition with Joint Language Identification
Google LLC（谷歌有限责任公司）
语言识别对于自动语音识别（ASR）中的许多下游任务至关重要，并且有利于作为附加任务集成到多语言端到端ASR中。在本文中，我们建议修改的级联编码器为基础的递归神经网络传感器（RNN-T）模型的结构，通过整合每帧语言标识符（LID）预测。具有级联编码器的RNN-T可以使用没有右上下文的第一遍解码来实现低延迟的流式ASR，并使用具有较长右上下文的第二遍解码来实现较低的字错误率（WER）。通过利用右上下文中的这种差异和统计池的流式实现，所提出的方法可以实现精确的流式LID预测，而几乎没有额外的测试时间成本。在一个包含9种语言的语音搜索数据集上的实验结果表明，该方法实现了平均96.2%的LID预测准确率和与在输入中包含Oracle LID所获得的相同的第二遍WER。
2022-09-13 cs.CL eess.AS
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model
Li Auto（利奥汽车）
本文提出 StreamUni，通过统一的大型语音语言模型结合语音思维链实现流式语音翻译，同时完成语音分割、策略决策与翻译生成，并在无需大量策略训练的情况下达到最先进性能。
2025-07-13 cs.CL cs.SD eess.AS
Improved Training for End-to-End Streaming Automatic Speech Recognition Model with Punctuation
NAVER Cloud（NAVER云）
本文提出一种基于分块Transformer编码器和CTC损失的流式语音识别标点预测方法，通过拼接长序列训练并结合分块与整句CTC损失，同时提升了标点预测F1分数和词错误率。
2023-06-02 cs.CL eess.AS
A low latency attention module for streaming self-supervised speech representation learning
Dolby Laboratories（杜比实验室）
本文提出一种低延迟注意力模块，包含流式注意力和低延迟流式注意力，用于流式自监督语音表征学习，在保持低延迟的同时显著降低词错误率。
2024-03-18 cs.CL cs.LG cs.SD
Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同时语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流传输ASR的流水线，然后是同时的MT，但是遭受错误传播和额外的延迟。为了缓解这些问题，最近的努力试图直接将源语音同时翻译成目标文本，但由于两个单独的任务的组合，这要困难得多。相反，我们提出了一个新的范例级联和端到端的方法的优点。其关键思想是分别在流式ASR和直接语音到文本翻译（ST）上使用两个独立但同步的解码器，ASR的中间结果指导ST的解码策略（但不作为输入）。在MuSTC数据集上进行的En-to-De和En-to-Es实验表明，我们提出的技术在相似的延迟水平下实现了更好的翻译质量。
2021-06-11 cs.CL cs.SD eess.AS
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
JOIST: A Joint Speech and Text Streaming Model For ASR
Google, Inc.（谷歌公司）
我们提出了JOIST，一个训练流，级联，编码器端到端（E2 E）模型的语音文本配对的输入，和文本只有不成对的输入算法。与以前的作品不同，我们探索了两种模式的联合训练，而不是预先训练和微调。此外，我们探索JOIST使用流E2 E模型的数量级更多的数据，这也是新颖的相比，以前的作品。通过一系列的消融研究，我们探讨了不同类型的文本建模，包括如何建模的文本序列的长度和适当的文本子词单元表示。我们发现，与未使用文本训练的模型相比，JOIST的最佳文本表示在各种搜索和稀有词测试集上将WER提高了4-14%。此外，我们定量地表明，JOIST保持流功能，这是很重要的良好的用户级体验。
2022-10-13 cs.CL cs.SD eess.AS
SPEARBench: A Benchmark for Naturalness Evaluation in Streaming Speech-to-Speech Language Models
Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）；Amazon Inc.（亚马逊公司）
针对现有基准无法评估流式语音转语音模型对话自然度的问题，构建多维度评估基准SPEARBench，可从多维度评测模型，发现当前模型在多类对话行为维度仍与人类存在差距。
2026-07-07 cs.AI cs.CL eess.AS
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite（阿维尼翁大学LIA研究所）；University of Cambridge（剑桥大学）
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准，通过下游任务分析发现，重合成性能优异的单元未必能提升翻译效能，揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Radio2Text: Streaming Speech Recognition Using mmWave Radio Signals
The University of Hong Kong（香港大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）
本文提出首个基于毫米波信号的大词汇量流式 ASR 系统 Radio2Text，通过 Guidance Initialization 和 cross-modal KD 提升识别性能，在逾13,000词词汇上达到5.7%字符错误率与9.4%词错误率。
2023-08-16 cs.CL cs.HC cs.SD
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了a）一个语言无关的端到端语音翻译模型（LAST），和b）一个数据增强策略，以提高代码切换（CS）的性能。随着全球化的发展，在流利的演讲中，多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化，因为我们必须识别首先说的是哪种语言，然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中，我们消除了需要，通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST，我们将语音解码为一种目标语言，而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性，同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
Streaming, fast and accurate on-device Inverse Text Normalization for Automatic Speech Recognition
Microsoft Corp.（微软公司）
自动语音识别（ASR）系统通常以词汇形式产生输出。然而，人类更喜欢书面形式的输出。为了弥补这一差距，ASR系统通常采用反向文本规范化（ITN）。在以前的工作中，加权有限状态传感器（WFST）已被用来做ITN。WFST非常适合此任务，但它们的大小和运行时成本可能会使嵌入式应用程序的部署具有挑战性。在本文中，我们描述了一个设备上的ITN系统，是流，轻量级和准确的发展。我们系统的核心是一个流Transformer标记器，它标记来自ASR的词汇标记。标签告知可能应用哪个ITN类别（如果有的话）。在此之后，我们仅在标记的文本上应用ITN类别特定的WFST，以可靠地执行ITN转换。我们表明，建议的ITN解决方案的执行相当于强大的基线，同时在尺寸上显着较小，并保留定制功能。
2022-11-07 cs.AI cs.CL
Efficient Streaming LLM for Speech Recognition
Meta AI
针对现有大语言模型语音识别方法处理长流式音频泛化差、计算效率低的问题，提出线性扩展的流式语音识别模型SpeechLLM-XL，通过分块处理与有限注意力窗口降低成本，在基准测试上表现优异且长语音无质量下降。
2024-10-02 cs.AI cs.CL cs.SD
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通讯工程研究所）
本文提出TASTE-S，通过集成CTC ASR模块和重设计解码器，实现流式传输的文本对齐语音标记化与嵌入，减少延迟并保持鲁棒性。
2026-03-12 cs.CL cs.SD
Separator-Transducer-Segmenter: Streaming Recognition and Segmentation of Multi-party Speech
Amazon Alexa（亚马逊Alexa）
具有重叠语音的多方对话的流识别和分割对于下一代语音助理应用至关重要。在这项工作中，我们解决了在以前的工作中发现的挑战，多圈递归神经网络传感器（MT-RNN-T）与一种新的方法，分离器-传感器-分割器（STS），使语音分离，识别和分割更紧密地集成在一个单一的模型。首先，我们提出了一种新的分割建模策略，通过开始的回合和结束的回合令牌，提高了分割识别精度不下降。其次，我们进一步提高了语音识别和分割精度，通过发射正则化方法，FastEmit，和多任务训练与语音活动信息作为一个额外的训练信号。第三，我们实验结束轮发射延迟惩罚，以提高端点检测每个扬声器轮。最后，我们建立了一个新的框架，通过发射延迟指标的多方会话分割分析。我们最好的模型，我们报告4.6%的腹肌。转动计数精度提高了17%。LibriCSS数据集上的字错误率（WER）与以前发表的工作相比有所改善。
2022-05-10 cs.CL cs.SD eess.AS
On the Comparison of Popular End-to-End Models for Large Scale Speech Recognition
Microsoft Speech and Language Group（微软语音与语言组）；Microsoft Research Asia（微软亚洲研究院）
最近，对于自动语音识别，存在从混合模型向端到端（E2 E）模型的转变的强烈推动。目前，有三种很有前途的E2 E方法：递归神经网络转换器（RNN-T），RNN基于注意力的编码器-解码器（AED）和Transformer-AED。在这项研究中，我们在非流和流模式下对RNN-T，RNN-AED和Transformer-AED模型进行了实证比较。我们使用6.5万小时的微软匿名训练数据来训练这些模型。由于E2 E模型更需要数据，因此最好将其有效性与大量训练数据进行比较。据我们所知，尚未进行过此类全面研究。我们表明，虽然AED模型在非流模式下比RNN-T更强，但如果其编码器可以正确初始化，RNN-T在流模式下非常有竞争力。在所有三种E2 E型号中，transformer-AED在流媒体和非流媒体模式下都实现了最佳准确性。我们表明，流式RNN-T和transformer-AED模型都可以获得比高度优化的混合模型更好的准确性。
2020-07-30 cs.CL eess.AS
Streaming end-to-end multi-talker speech recognition
Microsoft Corp.（微软公司）
端到端多人语音识别是语音领域的一个新兴研究方向，它在会话和会议传输等应用中具有巨大的潜力。据我们所知，所有现有的研究工作都局限于离线场景。在这项工作中，我们提出了流分解和识别传感器（SURT）的端到端的多说话人语音识别。我们的模型采用递归神经网络转换器（RNN-T）作为骨干，可以满足各种延迟约束。我们研究了两种不同的模型架构，分别基于扬声器差分编码器和掩码编码器。为了训练该模型，我们研究了广泛使用的排列不变训练（PIT）方法和启发式错误分配训练（HEAT）方法。基于公开的LibriSpeechMix数据集上的实验，我们表明，与PIT相比，HEAT可以实现更好的准确性，并且具有150毫秒算法延迟约束的SURT模型在准确性方面优于基于离线序列到序列的基线模型。
2021-03-12 cs.CL cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
Learning a Dual-Mode Speech Recognition Model via Self-Pruning
Meta AI
人们越来越有兴趣将流媒体和全上下文自动语音识别（ASR）网络统一到单个端到端ASR模型中，以简化两种用例的模型训练和部署。而在现实世界的ASR应用中，流式ASR模型通常在更多的存储和计算约束下操作，例如，在嵌入式设备上-比任何服务器端全上下文模型。受全稀疏超网训练的最新进展的启发，其中多个子网络在一个模型中联合优化，这项工作的目的是在一个超网中联合学习一个紧凑的稀疏设备上流媒体ASR模型和一个大型密集服务器非流媒体模型。接下来，我们提出，在wav 2 vec 2.0自监督学习和监督ASR微调上执行超网训练不仅可以大幅改善先前工作中所示的大型非流模型，而且还能够改善紧凑的稀疏流模型。
2022-10-06 cs.CL cs.SD eess.AS
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Stateful Conformer with Cache-based Inference for Streaming Automatic Speech Recognition
NVIDIA（英伟达）
本文提出一种基于FastConformer的流式语音识别模型，通过约束上下文和引入激活缓存机制消除训练与推理差异，并采用共享编码器的混合CTC/RNNT架构，在LibriSpeech和多领域数据集上以更低延迟和推理时间实现更高准确率，且单模型可支持多种延迟。
2024-05-02 cs.CL eess.AS
Extending Recurrent Neural Aligner for Streaming End-to-End Speech Recognition in Mandarin
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
端到端模型在自动语音识别（ASR）中已显示出优越性。与此同时，流识别的能力已经成为端到端模型的日益增长的需求。遵循这些趋势，一种称为Recurrent Neural Aligner（RNA）的编码器-解码器递归神经网络被新提出，并在两个英语ASR任务上显示出其竞争力。然而，目前还不清楚RNA是否可以进一步改进并应用于其他口语。在这项工作中，我们探索了RNA在普通话中的适用性，并提出了四个有效的扩展：在编码器中，我们重新设计了时间下采样，并引入了一个强大的卷积结构。在解码器中，我们利用正则化器来平滑输出分布，并与语言模型进行联合训练。在两个普通话电话语音识别（MTS）数据集上，我们的扩展RNA获得了良好的性能。特别是，它达到了27.7%的字符出错率（CER），这是优于目前的最先进的结果流行的香港科技大学的任务。
2019-02-26 cs.CL cs.SD eess.AS
Streaming Joint Speech Recognition and Disfluency Detection
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于Transformer的流式联合语音识别与不流畅检测模型，利用声学信息提升鲁棒性，在Switchboard和日语语料上优于BERT流水线方法，实现低延迟轻量推理。
2023-05-11 cs.CL cs.SD eess.AS
