A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
Joint Encoder-Decoder Self-Supervised Pre-training for ASR
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
自监督学习（SSL）在各种语音相关的下游任务中取得了巨大的成功，包括自动语音识别（ASR）。SSL模型的输出嵌入被视为语音信号的强有力的短时表示。然而，在ASR任务中，主要目标是获得声学单元、字符或字节对编码（BPE）的正确序列。通常，编码器-解码器架构对于像ASR这样的序列到序列任务工作得非常好。因此，在本文中，我们提出了一种新的范式，利用解码器的权力在自监督学习。我们使用隐藏单元BERT（HuBERT）SSL框架来计算编码器的传统掩码预测损失。此外，我们还介绍了SSL框架中的解码器，并提出了解码器的目标准备策略。最后，我们使用多任务SSL设置，其中我们共同优化编码器和解码器的损失。我们假设SSL模型中解码器的存在有助于它学习基于声学单元的语言模型，这可能会提高ASR下游任务的性能。我们将我们提出的SSL模型与HuBERT进行了比较，并通过对各种LibriSpeech子集进行微调，显示出ASR性能的相对改善高达25%。
2022-06-09 cs.CL
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University（台湾大学）
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而，两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时，近年来成功的非自回归（NAR）ASR模型消除了自回归（AR）模型中从左到右波束解码的需要，取得了优异的性能和快速的推理速度，但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音，以加快编码器训练，并引入拼音到普通话解码器来学习上下文信息。此外，我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化，以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估，并取得了令人兴奋的结果。
2021-10-02 cs.CL
Mobile Keyboard Input Decoding with Finite-State Transducers
Google（谷歌）
我们提出了一个有限状态转换器（FST）表示用于解码移动设备上的键盘输入的模型。从学习领域的语音识别，我们描述了一个解码框架，可以满足严格的记忆和延迟限制的键盘输入。我们扩展了这个框架，以支持通常不存在于语音识别，如文字解码，自动更正，单词补全和下一个单词的预测功能。我们描述的一般框架，我们称之为短的键盘“FST解码器”，以及实现的细节，是新的语音FST解码器相比。我们证明了FST解码器能够实现新的UX功能，如后期校正。最后，我们概述了这个解码器如何支持高级功能，如个性化和上下文。
2017-04-13 cs.CL
Adaptive Sparse and Monotonic Attention for Transformer-based Automatic Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua University（清华大学）；The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
基于自注意和多头注意力的Transformer架构模型在离线端到端自动语音识别（ASR）中取得了显著的成功。然而，自我注意力和多头注意力不能容易地应用于流或在线ASR。针对Transformer语音识别中的自注意问题，基于softmax归一化函数的注意力机制使得语音识别中的重要语音信息无法突出。对于Transformer ASR中的多头注意力，不容易对不同头中的单调对齐进行建模。为了克服这两个限制，我们将稀疏注意力和单调注意力集成到基于transformer的ASR中。稀疏机制引入了一个学习的稀疏方案，使每个自注意力结构，以适应相应的头部更好。单调注意部署正则化以修剪用于多头注意力结构的冗余头。实验结果表明，该方法可以有效地改善语音识别中广泛使用的基准测试的注意力机制。
2022-09-30 cs.AI cs.CL
MASRI-HEADSET: A Maltese Corpus for Speech Recognition
University of Malta（马耳他大学）
马耳他语是马耳他的国语，约有50万人使用。马耳他语的语音处理仍处于发展的早期阶段。在本文中，我们提出了第一个口语马耳他语语料库设计的自动语音识别（ASR）。MASRI-HEADSET语料库由马耳他大学的MASRI项目开发。它包括8小时的语音与文本配对，在实验室环境中使用简短的文本片段记录。演讲者是从马耳他群岛各地的不同地理位置招募的，按性别分布大致均匀。本文还介绍了马耳他ASR使用Sphinx和Kaldi的基线实验中取得的一些初步结果。MASRI-HEADSET语料库可公开用于研究/学术目的。
2020-08-13 cs.CL cs.LG
GPU-Accelerated Viterbi Exact Lattice Decoder for Batched Online and Offline Speech Recognition
NVIDIA（英伟达）
我们提出了一种优化的加权有限状态转换器（WFST）解码器，能够使用图形处理单元（GPU）的音频的在线流和离线批处理。该解码器是有效的内存利用率，输入/输出（I/O）带宽，并使用一种新颖的Viterbi实现设计，以最大限度地提高并行性。减少内存占用使解码器能够处理比以前大得多的图形，同时优化I/O增加了支持的并发流的数量。网格段的GPU预处理使得中间网格结果能够在流式推理期间返回给请求者。总的来说，所提出的算法产生了高达240倍的加速比单核CPU解码，高达40倍的速度比当前最先进的GPU解码器的解码，同时返回等效的结果。这种解码器设计可以在从大型数据中心服务器到低功耗边缘设备的各种系统上部署生产级ASR模型。
2020-02-14 cs.CL eess.AS
Multitask Learning with Low-Level Auxiliary Tasks for Encoder-Decoder Based Speech Recognition
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
基于深度学习的模型的端到端训练允许根据最终任务损失对中间表示进行隐式学习。然而，端到端的方法忽略了有用的领域知识编码在显式的中间级监督。我们假设，在深层网络的较低级别使用中间表示作为辅助监督，可能是结合端到端训练和更传统的管道方法优势的好方法。我们目前的实验会话语音识别，我们使用较低级别的任务，如音素识别，在多任务训练方法与编码器-解码器模型直接字符转录。我们比较了多种类型的低层次任务，并分析了辅助任务的效果。我们的研究结果表明，在交换机语料库上，这种方法提高了识别精度，在Eval 2000测试集上的标准编码器-解码器模型。
2017-04-19 cs.AI cs.CL
Learning to Jointly Transcribe and Subtitle for End-to-End Spontaneous Speech Recognition
KU Leuven（鲁汶大学）
从新闻报道中的朗读到脱口秀和肥皂剧中的对话和自发的讲话，电视字幕是许多类型讲话的丰富的翻译来源。然而，字幕不是语音的逐字（即，精确）翻译，因此它们不能直接用于改进自动语音识别（ASR）模型。我们提出了一个多任务双解码器Transformer模型，共同执行ASR和自动字幕。ASR解码器（可能是预先训练的）预测逐字输出，字幕解码器生成字幕，同时共享编码器。这两个解码器可以是独立的或连接的。该模型被训练为联合执行这两项任务，并且能够有效地使用字幕数据。我们表现出定期ASR和自发和会话ASR的改进，将额外的字幕解码器。该方法不需要预处理（对齐、过滤、伪标记等）。的字幕。
2022-10-14 cs.CL cs.SD eess.AS
Analysis of Self-Attention Head Diversity for Conformer-based Automatic Speech Recognition
Google LLC（谷歌有限责任公司）
注意层是现代端到端自动语音识别系统的组成部分，例如作为Transformer或Conformer架构的一部分。注意力通常是多头的，其中每个头具有学习参数的独立集并且对相同的输入特征序列进行操作。多头注意的输出是来自各个头的输出的融合。我们实证分析了不同的注意头所产生的表征之间的差异，并证明了头部在训练过程中变得高度相关。我们研究了几种增加注意力头部多样性的方法，包括对每个头部使用不同的注意力机制和辅助训练损失函数来促进头部多样性。我们发现，在训练过程中引入多样性促进辅助损失函数是一种更有效的方法，并获得WER相对于Libri语音语料库的6%的改善。最后，我们得出了注意头的多样性和头部参数梯度的相似性之间的联系。
2022-09-13 cs.CL cs.SD eess.AS
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最近出现的联合CTC-注意力模型在自动语音识别（ASR）中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而，解码器的训练语料仅限于语音翻译，这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题，我们提出了语言增强的Transformer，它在训练过程中将细化的CTC信息引入到解码器中，从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明，字符出错率（CER）相对降低了7%。我们还发现，在联合CTC-Attention ASR模型中，解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages
ASAPP Inc.（ASAPP公司）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
我们介绍了Wav 2Seq，这是第一种用于预训练语音数据编码器-解码器模型两部分的自监督方法。我们将伪语言归纳为紧凑的离散表示，并制定了一个自我监督的伪语音识别任务-将音频输入转录成伪子字序列。这一过程独立存在，或者可以作为低成本的第二阶段预培训。我们用自动语音识别（ASR）、口语命名实体识别和语音到文本翻译进行了实验。我们为端到端口语命名实体识别设置了新的最先进的结果，并在语音到文本翻译的20种语言对上显示出一致的改进，即使竞争方法使用额外的文本数据进行训练。最后，在ASR上，我们的方法使编码器-解码器方法能够受益于网络所有部分的预训练，并显示出与高度优化的最新方法相当的性能。
2022-05-02 cs.CL cs.LG cs.SD
Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本研究提出融合Transducer与注意力编码器-解码器的TAED框架，共享语音编码器、用AED解码器替换Transducer预测器，兼顾非单调学习优势与流式特性，在MuST-C数据集上多数任务性能优于纯Transducer模型。
2023-05-04 cs.CL cs.SD eess.AS
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group（阿里巴巴集团）
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题，提出平滑标签蒸馏（SLD）方法，以自回归方式建模语音词元，实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
End-to-end contextual speech recognition using class language models and a token passing decoder
Facebook（脸书）
自动语音识别（ASR）的端到端建模（E2E）将传统语音识别系统的所有组件融合到一个统一的模型中。统一模型虽然简化了训练和解码流程，但在训练数据和测试数据不匹配的情况下难以适应。在这项工作中，我们专注于上下文语音识别，这是特别具有挑战性的E2E模型，因为它引入了显着的训练和测试数据之间的不匹配。为了提高性能，在复杂的上下文信息的存在下，我们建议使用基于类的语言模型（CLM），可以填充类与上下文相关的信息在实时。为了使这种方法能够扩展到大量的类成员，并尽量减少搜索错误，我们提出了一个令牌传递解码器，有效的令牌重组E2E系统的第一次。我们评估所提出的系统一般和上下文的ASR，并实现相对62%的字出错率（WER）减少上下文的ASR，而不损害一般ASR的性能。我们表明，该方法在不修改跨任务的解码超参数的情况下表现良好，使其成为E2E ASR的通用解决方案。
2018-12-05 cs.CL cs.LG
Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates
Kyoto University（京都大学）；Carnegie Mellon University（卡内基梅隆大学）
多解码器（MD）端到端语音翻译模型通过搜索更好的中间自动语音识别（ASR）解码器状态作为隐藏中间体（HI）来展示高翻译质量。它是一个两遍解码模型，将整个任务分解为ASR和机器翻译子任务。然而，解码速度对于现实世界的应用来说不够快，因为它在推理期间对两个子任务进行波束搜索。我们提出了快速MD，一个快速MD模型，产生HI的非自回归（NAR）解码的基础上连接主义时间分类（CTC）的输出，然后由ASR解码器。我们研究了两种类型的NAR HI：（1）使用自回归Transformer ASR解码器的并行HI和（2）使用Mask-CTC的掩码HI，该Mask-CTC结合了CTC和条件掩码语言模型。为了减少ASR解码器在训练期间的教师强迫和测试期间对CTC输出的调节之间的不匹配，我们还建议在训练期间对CTC输出进行采样。在三个语料库上的实验结果表明，Fast-MD在GPU和CPU上的解码速度分别比原始MD模型快2倍和4倍，翻译质量相当。采用Conformer编码器和中间CTC损失，在不牺牲解码速度的情况下进一步提高其质量。
2021-09-27 cs.CL cs.SD eess.AS
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology（奈良科学技术大学）
针对重叠语音中SOT隐式说话人分离不足的问题，提出SC-SOT方法，通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件，提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
Exploring the limits of decoder-only models trained on public speech recognition corpora
IBM Research（IBM研究院）
本研究探究仅用公开英文ASR语料训练纯解码器模型的性能上限，提出的DOTA模型在多数基准上优于开源Whisper复刻版，部分测试集超过Whisper large-v3，并开源相关资源。
2024-01-31 cs.CL cs.SD eess.AS
Multi-head Monotonic Chunkwise Attention For Online Speech Recognition
South China University of Technology（华南理工大学）；Tencent（腾讯）
LAS（Listen，Attend and Spell）模型的注意力机制需要整个输入序列来计算注意上下文，因此不适合在线语音识别。为了解决这个问题，我们提出了多头单调块式注意（MTH-MoChA），MoChA的改进版本。MTH-MoChA将输入序列分割成小块，并计算块上的多头注意力。我们还探索了有用的训练策略，如LSTM池化，最小世界出错率训练和SpecAugment，以进一步提高MTH-MoChA的性能。在AISHELL-1数据集上的实验表明，该模型和训练策略使MoChA在测试集上的特征出错率从8.96%提高到7.68%.在另一个18000小时的车内语音数据集，MTH-MoChA获得7.28%的CER，这是显着优于一个国家的最先进的混合系统。
2020-05-01 cs.CL cs.SD eess.AS
Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation
Honda Research Institute Japan Co., Ltd.（日本本田研究所）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对流式与非流式自动语音识别的模式切换需求，提出基于多解码器与知识蒸馏的联合优化方法，通过编码器整合、独立解码器及跨模块相似性知识蒸馏，在单个模型中实现两种模式的性能提升。
2024-05-22 cs.CL cs.SD eess.AS
In-Context Adaptation of Encoder-Decoder Models in Speech Recognition
University of Edinburgh（爱丁堡大学）
本研究探究上下文自适应是否为所有编码器-解码器语音识别模型的固有能力，通过六种模型和两种示例形式验证，发现均能实现自适应，且词汇与说话人信息均有贡献，表明该能力具有普遍性。
2026-09-29 cs.CL cs.SD eess.AS
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Vectorization of hypotheses and speech for faster beam search in encoder decoder-based speech recognition
Toyohashi University of Technology（丰桥技术科学大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Johns Hopkins University（约翰斯·霍普金斯大学）
基于注意的编码器解码器网络在推理步骤中使用从左到右的束搜索算法。当前束搜索扩展假设并在下一个时间步长遍历扩展的假设。这种遍历通常使用for循环程序来实现，并且它导致识别过程的速度降低。在本文中，我们提出了一种并行技术的束搜索，加速搜索过程中，通过向量化多个假设，以消除for循环程序。我们还提出了一种技术，批量多个语音发音离线识别使用，这减少了循环程序方面的遍历多个发音。与训练期间不同，由于用于高效解码的若干修剪和阈值化技术，该扩展在束搜索期间不是微不足道的。此外，我们的方法可以结合外部模块，RNNLM和CTC的分数，在一个批作为浅融合。通过矢量化假设，与原束搜索算法相比，实现了3.7倍的加速比;通过进一步将处理单元改为GPU，实现了10.5倍的加速比。
2018-11-12 cs.CL cs.SD eess.AS
Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition
The Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
研究评估九种模型在不同人口特征上的语音识别性能，发现LLM解码器在种族偏见上表现更公平，但Whisper在印度口音语音上出现病理学幻觉，且音频压缩对口音公平性影响更大。
2026-04-23 cs.AI cs.CL cs.SD
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
Post-decoder Biasing for End-to-End Speech Recognition of Multi-turn Medical Interview
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对医疗问诊中领域稀有词识别难题，本文构建MED-IT多轮语音数据集，并提出基于转移概率矩阵的post-decoder biasing方法，使低频稀有词识别相对提升最高9.3%。
2024-03-01 cs.CL cs.SD eess.AS
Transformer with Bidirectional Decoder for Speech Recognition
Tsinghua University（清华大学）；ShanghaiTech University（上海科技大学）；Tsingmicro Intelligent Technology Co., Limited（清微智能科技有限公司）；Beijing National Research Center For Information Science And Technology（北京国家信息科学与技术研究中心）
近年来，基于注意力的模型在端到端的自动语音识别（ASR）中取得了巨大的进展。然而，传统的基于转换器的方法通常从左到右逐个令牌地生成序列结果，使得从右到左的上下文未被利用。在这项工作中，我们引入了一个双向的语音Transformer，同时利用不同的方向上下文。具体来说，我们提出的Transformer的输出包括从左到右的目标和从右到左的目标。在推理阶段，我们使用了双向波束搜索方法，它不仅可以产生从左到右的候选，也可以产生从右到左的候选，并通过得分来确定最佳假设。为了证明我们提出的语音Transformer与双向解码器（STBD），我们进行了广泛的实验AISHELL-1数据集。实验结果表明，在单向语音Transformer基线上，STBD实现了3.6%的相对CER降低（CERR）。此外，本文提出的最强模型STBD-Big在测试集上可以达到6.64%的CER，无需语言模型重评分和任何额外的数据扩充策略。
2020-08-11 cs.CL cs.LG cs.SD
USTED: Improving ASR with a Unified Speech and Text Encoder-Decoder
Amazon Alexa（亚马逊 Alexa）
通过合并外部文本数据来改进端到端语音识别一直是一个长期的研究课题。最近的焦点是训练E2 E ASR模型，这些模型可以获得外部文本数据的性能优势，而不会在推理时产生评估外部语言模型的额外成本。在这项工作中，我们提出了训练ASR模型与一组文本到文本的辅助任务，它共享一个解码器和部分编码器。当我们分别用960小时的Librispeech和Opensubtitles数据联合训练ASR和掩蔽语言模型时，我们观察到，与仅使用ASR的基线相比，测试其他和测试干净的WER分别降低了16%和20%，而在推理时间没有任何额外成本，与使用与我们的模型相同的文本数据训练解码器的更强的MUTE-L基线相比，WER降低了6%和8%。当我们在Librispeech数据上训练掩蔽语言模型时，或者当我们使用机器翻译作为辅助任务时，我们实现了进一步的改进，而不会显着牺牲任务本身的性能。
2022-02-12 cs.CL cs.SD eess.AS
High-Accuracy and Low-Latency Speech Recognition with Two-Head Contextual Layer Trajectory LSTM Model
Microsoft（微软）
虽然社区一直在推广端到端模型，而传统的混合模型通常是用交叉熵标准训练的长短期记忆（LSTM）模型，然后是序列判别训练标准，但我们认为这种传统的混合模型仍然可以显着改进。在本文中，我们详细介绍了我们最近为改进传统的混合LSTM声学模型以实现高精度和低延迟的自动语音识别所做的努力。为了实现高精度，我们使用了上下文层轨迹LSTM（cltLSTM），它将时间建模和目标分类任务合并，并结合未来的上下文帧以获得更多信息，从而实现准确的声学建模。进一步完善了序列级师生学习的培训策略。为了获得低延迟，我们设计了一个双头cltLSTM，与LSTM相比，其中一个头具有零延迟，另一个头具有较小的延迟。当使用微软6.5万小时的匿名训练数据进行训练并使用180万个单词的测试集进行评估时，采用所提出的训练策略的双头cltLSTM模型与传统的LSTM声学模型相比，相对WER减少了28.2%，并且具有类似的感知延迟。
2020-03-17 cs.CL cs.SD eess.AS
Sequence-to-sequence Automatic Speech Recognition with Word Embedding Regularization and Fused Decoding
National Taiwan University（台湾大学）；University of California, San Diego（加州大学圣地亚哥分校）
在本文中，我们调查的好处，现成的词嵌入可以带来的序列到序列（seq-to-seq）自动语音识别（ASR）。我们首先通过最大化变换的解码器特征和目标词嵌入之间的余弦相似性来引入词嵌入正则化。在正则化译码器的基础上，进一步提出了融合译码机制。这允许解码器在解码期间通过吸收由经变换的解码器特征携带的信息来考虑语义一致性，所述经变换的解码器特征被学习为接近目标词嵌入。LibriSpeech上的初步结果表明，预训练的词嵌入可以显著降低ASR识别错误，成本可以忽略不计，并且在Skip-gram，CBOW和BERT中选择词嵌入算法很重要。
2020-02-05 cs.CL cs.SD eess.AS
Adding Connectionist Temporal Summarization into Conformer to Improve Its Decoder Efficiency For Speech Recognition
Ping An Technology（平安科技）
Conformer模型是一种优秀的语音识别建模体系结构，它有效地利用了连接主义时间分类（CTC）的混合损失和对训练模型参数的关注。为了提高解码效率的构象，我们提出了一种新的连接主义的时间摘要（CTS）的方法，减少了所需的帧的数量的注意解码器从由编码器产生的声学序列，从而减少操作。然而，为了实现这种解码改进，我们必须微调模型参数，因为交叉注意观察会发生变化，因此需要相应的改进。我们的最终实验表明，在波束宽度为4的情况下，LibriSpeech的解码预算可以减少多达20%，对于FluentSpeech数据，可以减少11%，而不会损失ASR的准确性。LibriSpeech“test-other”集的准确性甚至有所提高。字出错率（WER）在波束宽度为1时相对降低6%，在波束宽度为4时相对降低3%。
2022-04-08 cs.CL cs.SD eess.AS
Decoder-only Conformer with Modality-aware Sparse Mixtures of Experts for ASR
NTT, Inc., Japan（日本NTT公司）
本文提出了一种仅解码器的Conformer模型，通过模态感知的稀疏混合专家实现更高效的ASR，减少了参数使用并提升了识别准确率。
2026-02-13 cs.AI cs.CL cs.SD
Multi-modal Speech Transformer Decoders: When Do Multiple Modalities Improve Accuracy?
本文研究了多模态对语音识别准确率的影响，发现结合音频、图像和唇部信息可提升识别效果，图像在中等噪声下收益最大，且过滤相关视觉信息能进一步提升合成与真实数据集上的性能。
2025-03-28 cs.CL cs.CV cs.MM
A Comparison of Techniques for Language Model Integration in Encoder-Decoder Speech Recognition
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Google Inc.（谷歌公司）
基于注意力的递归神经编码器-解码器模型为自动语音识别问题提供了一个优雅的解决方案。这种方法将声学模型，发音模型和语言模型折叠到单个网络中，并且只需要一个并行的语音和文本语料库进行训练。然而，与结合单独的声学模型和语言模型的传统方法不同，如何使用额外的（未配对的）文本并不清楚。虽然以前已经有关于解决这一问题的方法的工作，但仍然缺乏对各种方法的彻底比较。在本文中，我们比较了一套过去的方法和我们自己提出的一些方法，使用不成对的文本数据，以改善编码器-解码器模型。为了进行评估，我们使用了中等规模的Switchboard数据集和大规模的Google语音搜索和听写数据集。我们的研究结果证实了在一系列方法和数据集上使用未配对文本的好处。令人惊讶的是，对于第一遍解码，相当简单的浅融合方法在数据集上表现最好。然而，对于Google数据集，我们发现冷融合具有较低的Oracle错误率，并且在Google语音搜索数据集上进行二次重新评分后优于其他方法。
2018-11-06 cs.AI cs.CL cs.SD
Multi-Head State Space Model for Speech Recognition
Meta AI
本文提出多头状态空间模型MH-SSM，通过特殊门控机制学习局部与全局时间动态，可替代Transformer编码器中的多头注意力，并进一步构建Stateformer，在LibriSpeech语音识别任务上取得最先进性能。
2023-05-25 cs.AI cs.CL cs.LG
Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities
Google DeepMind（谷歌DeepMind）
提出多塔解码器架构Zipper，通过交叉注意力融合独立预训练的单模态解码器，在有限对齐数据下实现高效的多模态生成，同时保持单模态性能。
2024-05-31 cs.AI cs.CL cs.LG
Improving Uyghur ASR systems with decoders using morpheme-based language models
College of Information Engineering, Tarim University（塔里木大学信息工程学院）
维吾尔语是一种少数民族语言，用于自动语音识别（ASR）研究的资源一直不足。THUYG-20是目前唯一的维吾尔语语音开源数据集。自第一次发布以来，其干净和无噪声的语音测试任务的最新结果一直没有更新，这表明主流语言和维吾尔语之间的ASR发展存在很大差距。在本文中，我们试图通过最终优化ASR系统，并通过开发一个基于语素的解码器，MLDG解码器（语素格动态生成解码器维吾尔DNN-HMM系统），这是长期以来一直缺少的差距。我们已经开源了解码器。MLDG解码器采用一种称为“与FEBABOS的动态合成”的算法，以允许退避状态和转换在动态合成中扮演中继站的角色。当使用基于4-Gram词素的语言模型（LM）时，该算法使动态生成的图能够像静态的完全组合图一样有效地约束格中的词素序列。我们训练了更深更广的神经网络声学模型，并对三种解码方案进行了实验。实验结果表明，基于静态完全合成图的解码方法在THUYG-20的干净无噪语音测试任务中，将最先进的字出错率（WER）降低到14.24%。MLDG解码器在保持合理的内存消耗的同时，将WER降低到14.54%。基于开源的MLDG-Decoder，读者可以很容易地重现本文的实验结果。
2020-03-04 cs.CL cs.SD eess.AS
Non-autoregressive Transformer with Unified Bidirectional Decoder for Automatic Speech Recognition
University of Science and Technology Beijing（北京科技大学）；Key Laboratory of Knowledge Automation for Industrial Processes of Ministry of Education（教育部工业过程知识自动化重点实验室）；EEasy Technology Company Ltd.（易捷科技有限公司）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中得到了广泛的研究，而NAR Transformer模型的一个重要部分就是使用因果掩码来限制标记依赖。然而，因果掩码是针对非并行自回归（AR）Transformer的从左到右解码过程而设计的，这对于并行NAR Transformer是不合适的，因为它忽略了从右到左的上下文。一些模型被提出来利用具有额外解码器的从右到左上下文，但是这些方法增加了模型复杂度。为了解决上述问题，我们提出了一种新的非自回归Transformer与统一的双向解码器（NAT-UBD），它可以同时利用从左到右和从右到左的上下文。然而，直接使用双向上下文会导致信息泄漏，这意味着解码器的输出会受到来自相同位置输入的字符信息的影响。为了避免信息泄漏，我们提出了一种新的注意力掩码和修改香草查询，键和值矩阵的NAT-UBD。实验结果表明，NAT-UBD可以实现5.0%/5.5%的字符出错率（CER）的Aishell 1开发/测试集，优于所有以前的NAR Transformer模型。此外，当在单步的中解码时，NAT-UBD可以比AR Transformer基线快49.8倍。
2021-09-14 cs.CL cs.SD eess.AS
VOX-KRIKRI: Unifying Speech and Language through Continuous Fusion
Institute for Speech and Language Processing, Athena Research Center, Greece（语音与语言处理研究所，亚特兰蒂斯研究中心，希腊）
本文提出在连续文本表示空间中通过跨模态注意力融合Whisper与LLM，构建首个希腊语语音LLM VoxKrikri，并在希腊语ASR上平均取得约20%的相对提升。
2025-09-19 cs.CL cs.SD eess.AS
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University（台湾师范大学）；EZAI；Academia Sinica（中央研究院）
针对低资源语言ASR的监督证据不足问题，提出轻量级多模态适配器机制SAMA-ASR，结合语义与声学锚，在台湾闽南语和客家话数据集上优于多种基线，且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
Multi-Level Modeling Units for End-to-End Mandarin Speech Recognition
NetEase Yidun AI Lab（网易易盾人工智能实验室）
建模单元的选择对于自动语音识别（ASR）任务至关重要。在普通话场景中，汉字代表意义，但与发音没有直接关系。因此，只考虑汉字的书写作为建模单元是不够的，以捕捉语音特征。本文提出了一种新的基于多级建模单元的汉语语音识别方法，该方法集成了汉语多层次信息。具体地，编码器块将音节视为建模单元，而解码器块处理字符级建模单元。为了促进从音节特征到字符特征的增量转换，我们设计了一个辅助任务，该任务将交叉熵（CE）损失应用于中间解码器层。在推理过程中，输入的特征序列由编码器模块转换为音节序列，然后由解码器模块转换为汉字。在广泛使用的AISHELL-1语料库上的实验表明，该方法取得了令人满意的结果，CER分别为4.1%/4.6%和4.6%/5.2%，使用Conformer和Transformer骨干。
2022-10-18 cs.CL cs.SD eess.AS
UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units
FAIR（脸书人工智能研究）；Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本文提出两遍直接语音到语音翻译架构UnitY，先预测文本再预测离散声学单元，并通过子词预测、解码器设计与预训练提升性能，在ASR-BLEU和解码速度上显著优于单遍模型。
2023-05-26 cs.CL cs.SD eess.AS
HyperConformer: Multi-head HyperMixer for Efficient Speech Recognition
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；University of Cambridge（剑桥大学）；Brno University of Technology（布尔诺理工大学）
本文提出 HyperConformer，将线性复杂度的 HyperMixer 多头化并集成到 Conformer 架构中，在 LibriSpeech 上以更少参数、更快速度和更低内存取得 2.9% 词错误率，实现高效语音识别。
2023-05-29 cs.AI cs.CL cs.LG
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
Worse WER, but Better BLEU? Leveraging Word Embedding as Intermediate in Multitask End-to-End Speech Translation
National Taiwan University（台湾大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
语音翻译的目的是学习从源语言的语音到目标语言的文本的转换。以前的工作表明，多任务学习提高ST性能，其中识别解码器生成源语言的文本，翻译解码器根据识别解码器的输出获得最终的翻译。由于识别解码器的输出是否具有正确的语义比其准确性更重要，我们提出了改进的多任务ST模型，利用词嵌入作为中间。
2020-07-04 cs.CL
Measuring the Redundancy of Decoder Layers in SpeechLLMs
研究语音大语言模型解码器层的冗余性，发现7-8B模型仅需60%的解码器层即可保持良好ASR性能，且冗余结构跨语音编码器、任务和语言一致。
2026-06-29 cs.AI cs.CL
Head Automata for Speech Translation
本文提出了统计语言和翻译模型的基础上收集的小有限状态机，我们称之为“头自动机”。这些模型旨在捕捉N-gram模型和直接统计翻译模型的词汇敏感性，同时考虑到语言的层次短语结构。两种类型的头自动机的定义：关系头自动机适合于翻译的依赖树的转移，和头传感器适合于直接递归词汇翻译。
1996-07-04 cmp-lg cs.CL
Tied Multitask Learning for Neural Speech Translation
University of Notre Dame（圣母大学）
我们探索语音神经翻译的多任务模型，增强它们以反映两个直观的概念。首先，我们引入一个模型，其中第二个任务解码器接收来自第一个任务的解码器的信息，因为更高级别的中间表示应该提供有用的信息。其次，我们应用正则化，鼓励传递性和可逆性。我们表明，在联合训练的模型上应用这些概念可以提高低资源语音转录和翻译任务的性能。当使用注意力信息进行单词发现时，它也会带来更好的性能。
2018-04-26 cs.CL
TRADE: Transducer-Augmented Decoder for Speech LLM
Hippocratic AI；Carnegie Mellon University（卡内基梅隆大学）
提出TRADE模型，通过换能器分支增强多模态大语言模型，实现帧同步对齐与语言推理结合，支持流式和非流式解码，在多个基准上取得低词错误率。
2026-06-07 cs.CL
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对端到端语音翻译中编码器声学表示静态固定的问题，本文提出AdaST模型，在解码器中依据隐藏状态动态调整声学状态，并以语音-文本混合注意替代传统交叉注意，在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Inter-connection: Effective Connection between Pre-trained Encoder and Decoder for Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对语音翻译中预训练编码器与解码器简单连接导致信息利用不足的问题，本文提出互连机制，通过加权聚合编码器各层信息输入解码器，在仅增加2K参数的情况下使英德、英日、英中翻译BLEU提升约2个点。
2023-05-26 cs.CL cs.SD eess.AS
On decoder-only architecture for speech-to-text and large language model integration
Microsoft（微软）
针对语音与大语言模型集成不足的问题，提出Speech-LLaMA方法，通过连接主义时序分类和音频编码器将声学特征映射至LLM语义空间，验证了纯解码器架构在多语言语音转文本任务上的性能优势。
2023-10-02 cs.CL cs.SD eess.AS
Learning Hard Retrieval Decoder Attention for Transformers
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）；China Mobile Online Services（中国移动在线服务有限公司）；Tianjin University（天津大学）；Global Tone Communication Technology Co., Ltd.（全球语通通信技术有限公司）
Transformer翻译模型基于多头注意力机制，易于并行化。多头注意力网络并行执行缩放点积注意力函数，通过联合关注来自不同位置的不同表示子空间的信息来赋予模型能力。在本文中，我们提出了一种方法来学习一个硬提取注意，注意头只参加一个令牌的句子，而不是所有的令牌。因此，注意概率与标准标度点积注意中的值序列之间的矩阵乘法可以由简单且有效的检索操作代替。我们表明，我们的硬检索注意力机制是1.43倍的解码速度，同时保留翻译质量的广泛的机器翻译任务时，使用的解码器的自我和交叉注意力网络。
2021-09-10 cs.CL
Speech Intention Understanding in a Head-final Language: A Disambiguation Utilizing Intonation-dependency
Seoul National University（首尔国立大学）
在现实生活中，有很大一部分话语的意图不能仅仅由其语义或句法特征决定。虽然并非所有的社会语言学和语用学信息都可以数字化，但至少语音特征是理解口语不可或缺的。尤其是在以韩语为代表的中心语中，语尾韵律对识别说话人的意图有着重要的作用。本文提出了一个系统，它确定的内在意图的口头发言鉴于其成绩单，在某些情况下，使用辅助声学特征。这里的要点是对意图的辨别需要声学线索的情况进行单独的区分。因此，建议的分类系统决定是否给定的话语是一个片段，声明，问题，命令，或修辞问题/命令，利用语调依赖来自中心语词尾。基于对从事数据标注的韩语的直观理解，我们构建了一个识别语音意图的网络，并使用测试句子验证了其实用性。该系统如果与最新的语音识别器相结合，可望灵活地插入各种语言理解模块中。
2022-06-26 cs.CL
