Stochastic Attention Head Removal: A simple and effective method for improving Transformer Based ASR Models
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
最近，基于Transformer的模型已经显示出有竞争力的自动语音识别（ASR）性能。这些模型成功的一个关键因素是多头注意力机制。然而，对于训练好的模型，我们之前已经观察到许多注意力矩阵接近对角线，这表明相应注意力头部的冗余。我们还发现，一些减少注意力头数量的架构具有更好的性能。由于搜索最佳结构的时间限制，我们建议在训练过程中随机删除注意头，并在测试时保留所有注意头，因此最终模型是具有不同架构的模型的集合。所提出的方法还迫使每个头独立地学习最有用的模式。我们应用所提出的方法训练基于Transformer和基于卷积增强的Transformer（Conformer）的ASR模型。我们的方法在华尔街日报，AISHELL，Switchboard和AMI数据集的强基线上提供了一致的性能增益。据我们所知，我们已经在Switchboard和AMI上实现了最先进的基于端到端Transformer的模型性能。
2021-04-06 cs.CL cs.SD eess.AS
Compute Cost Amortized Transformer for Streaming ASR
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
我们提出了一个流，基于transformer的端到端自动语音识别（ASR）架构，通过计算成本摊销实现高效的神经推理。我们的架构在推理时动态创建稀疏计算路径，从而在整个解码过程中选择性地使用计算资源，从而在对准确性影响最小的情况下显著减少计算。完全可区分的架构是端到端训练的，伴随着在帧级操作的轻量级仲裁器机制，以在每个输入上做出动态决策，同时使用可调的损失函数来针对预测性能调整整体计算水平。我们报告的经验结果，从实验中使用的计算摊销Transformer-Transducer（T-T）模型进行LibriSpeech数据。我们的最佳模型可以实现60%的计算成本降低，只有3%的相对字出错率（WER）的增加。
2022-07-05 cs.CL cs.SD eess.AS
A Lexical-aware Non-autoregressive Transformer-based ASR Model
National Taiwan University of Science and Technology（台湾科技大学）
提出词汇感知的非自回归Transformer（LA-NAT）ASR框架，通过语音-文本共享编码器与解码器联合训练使模型感知词汇信息，在多个数据集上优于同类模型且比自回归模型快约58倍。
2023-05-18 cs.CL cs.SD eess.AS
Shifted Chunk Encoder for Transformer Based Streaming End-to-End ASR
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
目前，主要存在三种基于Transformer编码器的流式端到端（E2 E）自动语音识别（ASR）方法，即时间限制方法、块方式方法和基于存储器的方法。一般来说，它们都在线性计算复杂性、全局上下文建模和并行训练方面存在局限性。在这项工作中，我们的目标是建立一个模型，采取所有这三个优点的流Transformer ASR。特别是，我们提出了一个移位块机制的块式Transformer，它提供了跨块之间的连接。因此，块模型的全局上下文建模能力可以得到显着提高，而所有原有的优点继承。我们将该方案与分块的Transformer和Conformer相结合，并将它们分别标识为SChunk-Transformer和SChunk-Conformer。在AISHELL-1上的实验结果表明，SChunk-Transformer和SChunk-Conformer的CER分别达到6.43%和5.77%。线性复杂度使它们可以进行大批量的训练，从而更有效地进行推理。我们的模型可以显着优于传统的块明智的同行，同时具有竞争力，只有0.22的绝对CER下降，与U2相比，具有二次复杂性。如果与现有的分块或基于内存的方法（如HS-DACS和MMA）相比，可以实现更好的CER。代码被释放。
2022-09-26 cs.CL cs.SD eess.AS
Speaker Change Detection for Transformer Transducer ASR
Microsoft（微软）
说话人改变检测（SCD）是通过在说话人改变点处将单词序列分成段落来提高来自自动语音识别（ASR）系统的所识别单词的可读性的重要特征。现有的SCD解决方案或者需要用于基于时间的决策和识别的单词序列的附加集成，或者实现ASR和SCD之间的紧密集成，从而限制了两个任务的潜在最佳性能。为了解决这些问题，我们提出了一个新的框架SCD任务，其中一个额外的SCD模块是建立在现有的Transformer传感器ASR（TT-ASR）网络的顶部。SCD网络的两种变体在这个框架中进行了探索，自然地估计每个单词的说话人变化概率，同时允许ASR和SCD具有独立的优化方案以获得最佳性能。实验表明，与联合SCD和ASR基线相比，我们的方法可以显着提高LibriCSS和Microsoft呼叫中心数据集的F1得分，而不会降低ASR。
2023-02-16 cs.SD eess.AS
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group（阿里巴巴集团）
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题，提出平滑标签蒸馏（SLD）方法，以自回归方式建模语音词元，实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping
Ghent University（根特大学）；imec（比利时微电子研究中心）
已知自动语音识别（ASR）系统在转录儿童的语音时表现出困难。这可以主要归因于缺乏大型儿童语音语料库来训练鲁棒的ASR模型，以及当用在成人数据上训练的系统解码儿童语音时产生的域失配。在本文中，我们提出了多项增强功能来缓解这些问题。首先，我们提出了一种基于语音源过滤器模型的数据增强技术，以缩小成人和儿童语音之间的领域差距。这使我们能够利用成人语音语料库的数据可用性，使这些样本在感知上类似于儿童的语音。其次，使用这种增强策略，我们将迁移学习应用于在成人数据上预训练的Transformer模型。该模型遵循最近推出的XLS-R架构，这是一个在几个跨语言成人语音语料库上进行预训练的wav 2 vec 2.0模型，用于学习通用和鲁棒的声学帧级表示。采用此模型的ASR任务，使用成人数据增强与建议的源过滤器翘曲策略和有限数量的域中儿童的语音显着优于以前的国家的最先进的结果PF-STAR英国英语儿童语音语料库的官方测试集上的4.86% WER。
2022-06-19 cs.CL cs.SD eess.AS
Transformer-based Streaming ASR with Cumulative Attention
Cambridge Research Laboratory, Toshiba Europe Ltd（东芝欧洲有限公司剑桥研究实验室）
在本文中，我们提出了一个在线的注意力机制，称为累积注意力（CA），流转换器为基础的自动语音识别（ASR）。受单调分块注意（MoChA）和头同步解码器端自适应计算步骤（HS-DACS）算法的启发，CA基于在每个编码时间步累积的声学信息触发ASR输出，其中使用可训练设备（称为停止选择器）做出决策。在CA中，同一解码器层的所有注意头被同步以具有统一的停止位置。该特征有效地消除了由各个头部的不同行为引起的问题，否则可能引起MoChA遇到的严重延迟问题。在AIShell-1和Librispeech数据集上进行的ASR实验表明，与文献中的其他流式Transformer系统相比，所提出的基于CA的Transformer系统可以实现同等或更好的性能，并且在推理期间显著减少延迟。
2022-03-11 cs.SD eess.AS
MSDA: Combining Pseudo-labeling and Self-Supervision for Unsupervised Domain Adaptation in ASR
National Technical University of Athens（希腊国家技术大学）；Athena Research Center（雅典研究所以）
本文提出多阶段域自适应流程MSDA，将自监督学习与半监督伪标签技术级联结合，在低资源ASR无监督域自适应中显著超越现有方法。
2025-06-02 cs.CL cs.SD eess.AS
A Comparative Study on Transformer vs RNN in Speech Applications
NTT Communication Science Laboratories（NTT通信科学实验室）；Waseda University（早稻田大学）；Johns Hopkins University（约翰霍普金斯大学）；LINE Corporation（LINE公司）；Nagoya University（名古屋大学）；Human Dataware Lab. Co., Ltd.（Human Dataware 实验室有限公司）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Kyoto University（京都大学）；Shanghai Jiao Tong University（上海交通大学）
序列到序列模型已广泛用于端到端语音处理，例如，自动语音识别（ASR）、语音翻译（ST）和文本到语音（TTS）。本文重点介绍了一种称为Transformer的紧急序列到序列模型，该模型在神经机器翻译和其他自然语言处理应用中具有最先进的性能。我们进行了深入的研究，在总共15个ASR，一个多语言ASR，一个ST和两个TTS基准测试中，我们实验性地比较和分析了Transformer和传统的递归神经网络（RNN）。我们的实验揭示了Transformer在每个任务中获得的各种训练技巧和显着的性能优势，包括与RNN相比，Transformer在13/15 ASR基准测试中的惊人优势。我们正准备使用开源和公开可用的数据集发布Kaldi风格的可重复配方，用于所有ASR，ST和TTS任务，以便社区成功实现我们令人兴奋的成果。
2019-09-28 cs.CL cs.SD eess.AS
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在端到端（E2 E）自动语音识别（ASR）系统中，Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中，使用块边界检测技术同步对齐编码特征块，其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话，LibriSpeech英语和CSJ日本的任务的评估表明，建议的流Transformer算法优于传统的在线方法，包括单调块注意（MoChA），特别是当使用知识蒸馏技术。一项消融研究表明，我们的流方法有助于减少响应时间，重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
2020-11-18 cs.SD eess.AS
Probing Statistical Representations For End-To-End ASR
Voicebase Inc.（Voicebase公司）
端到端自动语音识别（ASR）模型旨在学习通用语音表示以执行识别。在这一领域，很少有研究来分析内部表示依赖关系及其与建模方法的关系。本文研究跨域的语言模型依赖关系的Transformer架构使用SVCCA，并利用这些见解，利用建模方法。结果发现，特定的神经表征内的Transformer层表现出相关的行为，影响识别性能。总之，这项工作提供了对影响上下文依赖性和ASR性能的建模方法的分析，并可用于创建或调整性能更好的端到端ASR模型以及下游任务。
2022-11-03 cs.CL cs.SD eess.AS
Transformer-based Model for ASR N-Best Rescoring and Rewriting
Apple（苹果公司）
本文提出一种基于Transformer的模型，通过并行利用N-best假设的完整上下文同时进行重打分和重写，并设计新的判别式序列训练目标，在ASR系统上平均实现8.6%的相对词错误率降低。
2024-06-12 cs.CL cs.LG cs.SD
WhisperKit: On-device Real-time ASR with Billion-Scale Transformers
Argmax Inc.（Argmax公司）；University of California, Los Angeles, USA（加州大学洛杉矶分校）
WhisperKit是一种优化的端上实时ASR推理系统，通过详细优化在保持0.46s最低延迟的同时实现了2.2% WER的最高准确率，显著优于多种领先云端系统。
2025-07-14 cs.CL cs.SD eess.AS
Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
Transformer在自动语音识别（ASR）中实现了与最先进的端到端模型竞争的性能，并且比基于RNN的模型需要更少的训练时间。原始的Transformer采用编码器-解码器架构，仅适用于离线ASR。它依赖于注意力机制来学习对齐，并对输入音频进行双向编码。Transformer解码的高计算成本也限制了其在生产流传输系统中的使用。为了使Transformer适用于流式ASR，我们探索了Transducer框架作为学习对齐的可流式方式。对于音频编码，我们应用具有交错卷积层的单向Transformer。交错的卷积层用于对未来的上下文进行建模，这对性能很重要。为了降低计算成本，我们逐渐降低声音输入的采样，也使用交织卷积层。此外，我们限制了自注意中的历史上下文的长度，以保持每个解码步骤的计算成本恒定。我们表明，这种架构，名为Conv-Transformer Transducer，在LibriSpeech数据集上实现了有竞争力的性能（3.6\% WER on test-clean），而无需外部语言模型。该性能与先前发布的可流式传输的Transformer Transducer和强混合流式ASR系统相当，并且以更小的前瞻窗口（140 ms）、更少的参数和更低的帧速率实现。
2020-08-13 cs.CL cs.SD eess.AS
Model-free Speculative Decoding for Transformer-based ASR with Token Map Drafting
Hitachi, Ltd.（日立株式会社）
针对Transformer架构ASR自回归解码计算成本高、传统投机解码依赖硬件加速器的问题，提出无模型的Token Map Drafting方法，利用预计算n-gram token映射实现高效解码，在多数据集上提速且不损失准确率，适配端侧部署。
2025-07-29 cs.CL cs.SD eess.AS
End-to-End Speaker-Attributed ASR with Transformer
Microsoft Corp.（微软公司）
本文介绍了我们最近的努力，端到端的说话人属性的自动语音识别，联合执行说话人计数，语音识别和说话人识别单声道多说话人音频。首先，我们通过应用Transformer架构，彻底更新了先前基于长短期记忆（LSTM）的注意力编码器解码器设计的模型架构。其次，我们提出了一个说话人去重机制，以减少在高度重叠的区域说话人识别错误。在LibriSpeechMix数据集上的实验结果表明，基于transformer的架构特别擅长计算说话者，并且所提出的模型将说话者归因的单词错误率比基于LSTM的基线降低了47%。此外，对于由重叠语音的真实记录组成的LibriCSS数据集，所提出的模型在有和没有目标说话者配置文件的情况下分别实现了11.9%和16.3%的级联最小排列单词错误率，这两个都是LibriCSS在单声道设置下的最新结果。
2021-04-05 cs.CL cs.SD eess.AS
Samba-ASR: State-Of-The-Art Speech Recognition Leveraging Structured State-Space Models
SandLogic Technologies Pvt Ltd（SandLogic科技私人有限公司）
提出以 Mamba SSM 同时作为编码器和解码器的 Samba ASR，在公开基准上以更高效率和更低 WER 超越开源 transformer ASR。
2025-01-08 cs.AI cs.CL cs.SD
A light-weight and efficient punctuation and word casing prediction model for on-device streaming ASR
Cisco Systems（思科系统）
针对设备端流式ASR中Transformer模型过大的问题，提出基于CNN和BiLSTM的轻量模型，联合预测标点和大小写，性能与Transformer相当，体积仅为其1/40，速度快2.5倍。
2024-07-18 cs.CL cs.LG cs.SD
Transformer ASR with Contextual Block Processing
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
Transformer自注意网络最近显示出作为端到端（E2 E）自动语音识别（ASR）系统中的递归神经网络（RNN）的替代方案的有前途的性能。然而，Transformer的缺点在于需要整个输入序列来计算自注意。在本文中，我们提出了一种新的块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码，还有助于对全局语言、通道和扬声器属性进行编码。为了有效地训练模型，我们引入了一种新的掩码技术来实现上下文继承。华尔街日报（WSJ），Librispeech，VoxForge意大利语，和AISHELL-1普通话语音识别数据集的评估表明，我们提出的上下文块处理方法优于天真块处理一致。此外，每一层的注意力权重的趋势进行了分析，以阐明如何添加上下文继承机制模型的全局信息。
2019-10-16 cs.CL eess.AS
Multi-mode Transformer Transducer with Stochastic Future Context
ASAPP；Carnegie Mellon University（卡内基梅隆大学）
自动语音识别（ASR）模型在更多的周围语音信息被呈现为上下文时错误更少。不幸的是，获取更大的未来上下文会导致更高的延迟。在速度和准确性之间存在不可避免的权衡。为了适应不同的延迟要求，人们必须存储多个模型，并在约束条件下选择最佳模型。相反，更理想的方法是拥有一个可以根据不同约束动态调整其延迟的单一模型，我们称之为多模式ASR。多模式ASR模型可以在推理期间满足各种延迟要求-当更大的延迟变得可接受时，模型可以处理更长的未来上下文以实现更高的准确性，并且当延迟预算不灵活时，模型可以更少地依赖于未来上下文，但仍然实现可靠的准确性。为了追求多模式ASR，我们提出了随机未来上下文，这是一个简单的训练过程，在每次迭代中对一个流配置进行采样。通过对AISHELL-1和LibriSpeech数据集的广泛实验，我们表明多模式ASR模型可以与一组使用不同延迟预算训练的竞争性流媒体基线相媲美。
2021-06-17 cs.CL cs.SD eess.AS
Improving Streaming Transformer Based ASR Under a Framework of Self-supervised Learning
Tencent Cloud Xiaowei（腾讯云小微）
近年来，自监督学习已成为提高自动语音识别（ASR）性能的一种有效方法。在这种框架下，神经网络通常使用大量未标记数据进行预训练，然后使用有限的标记数据进行微调。然而，神经网络通常采用双向Transformer等非流结构来实现竞争性结果，不能用于流场景。本文主要研究在自监督学习框架下提高流式Transformer的性能。具体而言，我们提出了一种新的两阶段训练方法在微调，它结合了知识提取和自我训练。该方法在Librispeech噪声测试集上实现了16.3%的相对字错误率（WER）降低。最后，通过仅使用Librispeech的100 h干净子集作为标记数据，其余（860 h）作为未标记数据，我们的基于流式Transformer的模型在Librispeech干净/嘈杂测试集上获得了具有竞争力的WERs 3.5/8.7。
2021-09-15 cs.SD eess.AS
Jointly Trained Transformers models for Spoken Language Translation
传统的口语翻译（spoken language translation，缩写为AI）系统是基于流水线的系统，其中我们具有自动语音识别（Automatic Speech Recognition，缩写为ASR）系统以将源的模态从语音转换成文本，以及机器翻译（Machine Translation，缩写为MT）系统以将源文本翻译成目标语言的文本。序列-序列架构的最新进展已经减少了基于流水线的并行处理系统（级联ASR-MT）和端到端方法之间的性能差距。虽然端到端和级联ASR-MT系统达到了相当的性能水平，但我们可以使用ASR假设和oracle text w.r.t MT模型看到很大的性能差距。这种性能差距表明，由于噪声ASR假设，而不是甲骨文文本转录的MT系统容易大的性能下降。在这项工作中，通过在ASR和MT系统之间创建端到端的可区分管道来降低性能的这种退化。在这项工作中，我们训练的ASR目标作为辅助损失和两个网络连接通过神经隐藏表示的系统。该训练将具有到最终目标函数的端到端可微分路径，并且利用ASR目标以获得更好的性能。此架构已从BLEU从36.8改进到44.5。由于多任务训练，该模型还生成由预训练的MT模型使用的ASR假设。将所提出的系统与MT模型相结合，BLEU分数增加了1。所有的实验都是在How2语料库上进行的。最终的BLEU分数与How2数据集上的最佳语音翻译系统相当，没有额外的…
2020-04-25 cs.CL cs.SD eess.AS
ASR Error Correction in Low-Resource Burmese with Alignment-Enhanced Transformers using Phonetic Features
Language Understanding Laboratory, Myanmar（缅甸语言理解实验室）；Department of Computer Engineering, KMITL, Bangkok, Thailand（泰国曼谷KMITL计算机工程系）；Language and Semantic Technology Research Team, NECTEC, Bangkok, Thailand（泰国曼谷NECTEC语言与语义技术研究团队）
本文提出了一种结合IPA和对齐信息的ASR错误校正方法，有效提升了低资源缅甸语ASR的词和字符级准确率。
2025-11-26 cs.CL cs.LG cs.SD
Deep Transformer based Data Augmentation with Subword Units for Morphologically Rich Online ASR
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex有限公司）；THINKTech Research Center（THINKTech研究中心）
最近，Deep Transformer模型已经被证明在ASR的语言建模任务中特别强大。然而，它们的高度复杂性使得它们很难在在线系统的第一（单）遍中应用。最近的研究表明，神经网络语言模型（LM）的相当一部分知识可以通过使用基于神经文本生成的数据增强转移到传统的n-gram。在我们的论文中，我们在一般文本语料库上预训练GPT-2 Transformer LM，并在匈牙利会话呼叫中心ASR任务上对其进行微调。我们表明，虽然使用Transformer生成的文本进行数据增强对于隔离语言效果很好，但它会导致形态丰富的语言中的词汇爆炸。因此，我们提出了一种新的方法，称为基于子词的神经文本增强，我们将生成的文本重新标记为统计派生的子词。我们比较了Morfessor和BPE统计子词标记器，并表明这两种方法可以显着提高WER，同时大大减少词汇量和内存需求。最后，我们还证明了基于子词的神经文本增强优于基于词的方法，不仅在整体WER方面，而且在识别OOV词方面。
2020-11-04 cs.CL eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction
Stony Brook University（石溪大学）；Amazon.com Inc（亚马逊公司）
提出PATCorrect，一种基于文本与音素多模态融合的非自回归ASR纠错模型，在英文语料上实现11.62%的WER降低，推理延迟仅数十毫秒，满足工业低延迟需求。
2023-06-21 cs.CL cs.LG cs.SD
Beyond Universal Transformer: block reusing with adaptor in Transformer for automatic speech recognition
NTNU（挪威科技大学）；KU Leuven（鲁汶大学）；National Institute of Informatics（国立信息学研究所）；Zhejiang University（浙江大学）
针对边缘设备ASR模型参数量大的问题，提出块重用策略BRST与适配器模块ADM，在AISHELL-1上仅用7.6M/8.3M参数即实现9.3%/6.63%的CER，有效平衡了资源限制与识别准确率。
2023-04-05 cs.CL cs.SD eess.AS
Automatic Speech Recognition with BERT and CTC Transformers: A Review
USTHB University（阿尔及利亚科学与技术大学）；University of MEDEA（迈代阿大学）；College of Engineering and Information Technology, University of Dubai（迪拜大学工程与信息技术学院）
本综述全面分析了BERT和CTC transformers在自动语音识别中的最新进展，阐述了其架构、应用、相关研究及局限性，为研究人员和从业者提供了有价值的见解。
2024-10-12 cs.CL eess.AS
On the Encoding of Gender in Transformer-based ASR Representations
Saarland University（萨尔大学）
本研究针对Transformer架构的Wav2Vec2和HuBERT两种ASR模型，探究其隐表征中的性别编码机制，通过线性擦除验证了可在不明显影响识别性能的前提下移除各层性别信息，且性别信息集中在末层首尾帧，为构建性别中立的ASR嵌入提供了依据。
2024-06-14 cs.CL
Voice Quality and Pitch Features in Transformer-Based Speech Recognition
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de Barcelona（巴塞罗那大学）
抖动和闪烁测量已被证明是语音质量和韵律信息的载体，其增强了诸如说话人识别、日记或自动语音识别（ASR）的任务的性能。然而，这样的特征很少被用于基于神经的ASR的上下文中，其中频谱特征通常占上风。在这项工作中，我们研究的影响，将语音质量和音高功能完全和单独的基于变压器的ASR模型，与直觉的注意力机制可能会利用潜在的韵律特征。为此，我们提出了分离的卷积前端的韵律和频谱特征，表明这种架构的选择产生更好的结果比简单的级联这样的音高和语音质量功能梅尔频谱图滤波器组。此外，我们发现平均字的出错率相对减少高达5.6%的LibriSpeech基准。这些发现激发了进一步研究韵律知识的应用，以增加基于transformer的ASR的鲁棒性。
2021-12-21 cs.CL cs.LG cs.SD
An Empirical Study of Efficient ASR Rescoring with Transformers
Facebook AI（脸书人工智能研究院）
神经语言模型在语言建模中的表现明显优于经典的n-gram语言模型，因为它具有对文本中的长距离依赖关系建模和处理数据稀疏性问题的能力。最近，配置良好的深度Transformers在语言建模方面表现出了优于递归神经网络层的浅层堆栈的性能。然而，这些最先进的深度Transformer模型大多被设计为具有高模型容量的深度，这使得部署到大规模现实世界应用中的计算效率低下且具有挑战性。因此，重要的是开发具有相对小的模型尺寸的Transformer LM，同时仍然保持那些大得多的模型的良好性能。在本文中，我们的目的是进行实证研究的背景下，培训小参数大小的Transformers的ASR再评分。通过结合技术，包括子字单元，自适应softmax，大规模模型预训练，和知识蒸馏，我们表明，我们能够成功地训练小Transformer LM显着的相对字出错率减少（WERR）通过n-最好的重新评分。特别是，我们在视频语音识别数据集上的实验表明，我们能够实现从6.46%到7.17%的WERR，而著名的大GPT模型[1]的参数大小仅为5.5%到11.9%，其WERR在相同数据集上的重新评分为7.58%。
2019-10-24 cs.CL eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Leveraging Text Data Using Hybrid Transformer-LSTM Based End-to-End ASR in Transfer Learning
Nanyang Technological University（南洋理工大学）；Huya AI（虎牙人工智能）；Nazarbayev University（纳扎尔巴耶夫大学）；Alibaba Group（阿里巴巴集团）
在这项工作中，我们研究利用额外的文本数据来改善跨语言迁移学习设置下的低资源端到端ASR。为此，我们扩展了我们之前的工作[1]，并提出了一个基于混合Transformer-LSTM的架构。这种架构不仅利用了Transformer网络的高效编码能力，而且由于基于LSTM的独立语言模型网络而受益于额外的文本数据。我们进行实验，我们内部的马来语语料库，其中包含有限的标记数据和大量的额外的文本。结果表明，当两者都使用有限的标记数据进行训练时，所提出的架构比以前基于LSTM的架构[1]的相对字错误率（WER）高出24.2%。从这一点出发，我们通过从另一种资源丰富的语言迁移学习，进一步获得了25.4%的相对WER降低。此外，我们通过使用额外的文本数据提升传输模型的LSTM解码器，获得了额外的13.6%的相对WER降低。总的来说，我们的最佳模型比普通Transformer ASR的相对WER高出11.9%。最后但并非最不重要的是，与LSTM和Transformer架构相比，所提出的混合架构提供了更快的推理。
2020-05-28 cs.LG cs.SD eess.AS
Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers
LINE Corporation（LINE公司）
本文提出了一种新的标签同步语音到文本对齐技术的自动语音识别（ASR）。语音到文本对齐是将具有未对齐的转录本的长音频记录分割成语音和文本的话语对的问题。与传统的基于帧同步预测的方法不同，该方法将语音到文本对齐重新定义为标签同步文本映射问题。这使得能够实现准确的对齐，受益于最先进的基于注意力的编码器-解码器模型的强推理能力，这不能应用于传统方法。两种不同的Transformer模型，即前向Transformer和后向Transformer，分别用于基于教师强迫的句尾预测来估计给定语音段的初始和最终标记。使用语料库的自发日语（CSJ）的实验表明，所提出的方法提供了一个准确的话语明智的对齐，匹配手动注释对齐的误差只有0.2%。实验结果表明，基于Transformer的CTC/Attention ASR混合模型将对齐后的语音和文本对作为额外的训练数据，可以将字符错误率降低到59.0%，明显优于基于连接主义时间分类模型的传统对齐方法的39.0%。
2021-04-21 cs.LG cs.SD eess.AS
Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
NVIDIA（英伟达）
在这项工作中，我们介绍了一个简单而有效的自动语音识别（ASR）后处理模型。我们的模型具有基于transformer的编码器-解码器架构，该架构将ASR模型输出“翻译”成语法和语义正确的文本。我们研究了正则化和优化模型的不同策略，并表明需要广泛的数据增强和预训练权重的初始化来实现良好的性能。在LibriSpeech基准测试中，我们的方法在单词出错率方面比使用贪心解码的基线声学模型有了显着的改善，特别是在评估数据集的噪声更大的dev-other和test-other部分。我们的模型也优于基线与6-gram语言模型重新评分和接近的性能与transformer-XL神经语言模型重新评分。
2019-10-23 cs.CL cs.SD eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
A Comparison of Modeling Units in Sequence-to-Sequence Speech Recognition with the Transformer on Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
建模单元的选择对于自动语音识别（ASR）任务至关重要。传统的ASR系统通常选择上下文相关的状态（CD-状态）或上下文相关的音素（CD-音素）作为其建模单元。然而，它受到了基于序列到序列注意力模型的挑战，该模型将声学，发音和语言模型集成到单个神经网络中。在英语ASR任务中，先前的尝试已经表明，通过基于序列到序列注意力的模型，字素的建模单元可以优于音素的建模单元。在本文中，我们关注的是使用基于序列到序列注意力的模型与Transformer的汉语普通话ASR任务的建模单位。五个建模单位，包括上下文无关的音素（CI音素），音节，单词，子词和字符。在HKUST数据集上的实验表明，无词典建模单元在字符错误率（CER）方面优于词典相关建模单元。在五个建模单元中，基于字符的模型表现最好，并且在HKUST数据集上建立了一个新的最先进的$26.64\%$ CER，而无需手工设计的词典和额外的语言模型集成，这对应于$4.8\%$相对于现有的最佳CER的$28.0\%$的相对改进。
2018-05-18 cs.CL cs.SD eess.AS
Arabic Code-Switching Speech Recognition using Monolingual Data
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Kanari AI；University of Helwan（赫勒万大学）
自动语音识别（ASR）中的语码转换是全球化带来的一个重要挑战。多语言ASR的最新研究表明，单语系统有潜在的改进。我们通过一系列大规模的ASR实验研究了与ASR多语言建模相关的关键问题。我们的创新框架在加权有限状态转换器（WFST）框架中部署了多图方法。我们比较我们的WFST解码策略与Transformer序列到序列系统在相同的数据上训练。在阿拉伯语和英语之间的语码转换场景下，我们的研究结果表明，WFST解码方法更适合于间隔语码转换数据集。此外，Transformer系统在句内语码转换任务中表现更好。通过这项研究，我们发布了一个人工生成的开发和测试集，以及生态代码切换测试集，以基准ASR性能。
2021-07-04 cs.CL cs.SD eess.AS
Multilingual End-to-End Speech Recognition with A Single Transformer on Low-Resource Languages
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于序列到序列注意力的模型将声学、发音和语言模型集成到单个神经网络中，这使得它们非常适合于多语言自动语音识别（ASR）。在本文中，我们关注的是在低资源语言的多语种语音识别的一个单一的Transformer，序列到序列的注意力为基础的模型。在不使用任何语音词典的情况下，采用子词作为多语建模单元。首先，我们表明，一个单一的多语言ASR Transformer执行低资源的语言，尽管一些语言混乱。然后，我们研究在训练过程中已知语言信息的条件下，通过在原始子词序列的开头或结尾插入语言符号来将语言信息纳入模型。在CALLHOME数据集上的实验表明，与带残差学习的SHL-MLSTM相比，带语言符号的多语言ASR Transformer性能更好，平均字错误率（WER）降低了10.5%.我们继续表明，假设在训练和测试过程中已知语言信息，通过将语言符号作为句子开始标记，与具有剩余学习的SHL-MLSTM相比，可以观察到大约12.4%的平均WER减少。
2018-06-14 cs.CL cs.SD eess.AS
Transformers with convolutional context for ASR
Facebook AI Research（脸书人工智能研究院）
最近，Transformer网络在神经机器翻译和其他NLP任务中的成功，导致了试图将其应用于语音识别的研究工作激增。最近的努力研究了关键的研究问题，围绕位置嵌入与语音特征相结合的方式，以及Transformer网络大规模学习的优化稳定性。在本文中，我们建议用卷积学习的输入表示来取代Transformers的正弦位置嵌入。这些上下文表示为后续的Transformer块提供了发现局部概念之间的远程关系所需的相对位置信息。所提出的系统具有良好的优化特性，我们的报告结果产生固定的学习率为1.0，没有热身步骤。当没有额外的LM文本提供时，该模型在Librispeech“测试清洁”和“测试其他”子集上实现了4.7%和12.9%的竞争力WER。
2020-03-02 cs.CL
Investigation of Speaker-adaptation methods in Transformer based ASR
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在自动语音识别中，端到端模型正在迅速取代传统的混合模型。Transformer是一种基于自注意的序列到序列模型，广泛应用于机器翻译任务中，当用于自动语音识别时，已经给出了有希望的结果。本文探讨了在编码器输入端结合说话人信息的不同方法，同时训练基于变换器的模型，以提高其语音识别性能。我们目前的扬声器信息的形式扬声器嵌入每个扬声器。我们实验使用两种类型的扬声器嵌入：x向量和新的s向量在我们以前的工作中提出的。我们报告了两个数据集的结果a）NPTEL讲座数据库和b）Librispeech 500小时分裂。NPTEL是一个开源的电子学习门户网站，提供来自印度顶尖大学的讲座。我们通过将说话人嵌入到模型中的方法，在基线上提高了单词错误率。
2021-11-17 cs.CV cs.SD eess.AS
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
High-precision medical speech recognition through synthetic data and semantic correction: UNITED-MEDASR
DataLabs, United We Care（United We Care数据实验室）
针对临床领域ASR系统识别专业医疗词汇和满足精度要求的挑战，提出整合合成数据生成、微调及语义增强技术的United-MedASR架构，构建专用医疗词汇表并优化模型，在多数据集上建立新性能基准且具备跨领域适应性。
2024-11-24 cs.CL cs.SD eess.AS
Exploring the limits of decoder-only models trained on public speech recognition corpora
IBM Research（IBM研究院）
本研究探究仅用公开英文ASR语料训练纯解码器模型的性能上限，提出的DOTA模型在多数基准上优于开源Whisper复刻版，部分测试集超过Whisper large-v3，并开源相关资源。
2024-01-31 cs.CL cs.SD eess.AS
Towards Online End-to-end Transformer Automatic Speech Recognition
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
Transformer自注意网络最近显示出作为端到端（E2 E）自动语音识别（ASR）系统中的递归神经网络的替代方案的有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自注意力。我们提出了一个块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码，还有助于对全局语言、通道和扬声器属性进行编码。在本文中，我们将其扩展到一个完整的在线E2 E ASR系统，通过引入一个在线解码过程的启发单调块注意（MoChA）到Transformer解码器。我们的新型MoChA训练和推理算法利用了Transformer的独特属性，其注意力并不总是单调或峰值的，并且具有解码器层的多个头和剩余连接。华尔街日报（WSJ）和AISHELL-1的评估表明，我们提出的在线Transformer解码器优于传统的分块方法。
2019-10-25 cs.CL cs.SD eess.AS
Weak-Attention Suppression For Transformer Based Speech Recognition
Facebook AI（Facebook人工智能研究院）
Transformers最初是为自然语言处理（NLP）任务提出的，最近在自动语音识别（ASR）中取得了巨大的成功。然而，相邻的声学单元（即，框架）高度相关，并且它们之间的长距离依赖性很弱，不像文本单元。这表明ASR可能会受益于稀疏和局部注意力。在本文中，我们提出了弱注意抑制（WAS），一种方法，动态地引起注意概率稀疏。我们证明，WAS导致一致的字错误率（WER）改善强Transformer基线。在广泛使用的LibriSpeech基准测试中，我们提出的方法在测试清洁时将WER降低了10%，在测试其他时降低了5%，从而在流模型中产生了新的最先进的技术。进一步的分析表明，WAS学习抑制非关键和冗余的连续声学帧的注意，更有可能抑制过去的帧，而不是未来的。这表明了前视在基于注意力的ASR模型中的重要性。
2020-05-18 cs.CL eess.AS
Speech Recognition Transformers: Topological-lingualism Perspective
University of Petroleum and Energy Studies（石油与能源研究大学）；Ulster University（阿尔斯特大学）
本文从拓扑语言学视角全面综述了面向语音模态的 Transformer 技术，涵盖传统 ASR 背景、多语言基础模型、架构与评估指标及工具包，并探讨了开放挑战与未来方向。
2024-08-27 cs.CL cs.SD eess.AS
Improving Streaming End-to-End ASR on Transformer-based Causal Models with Encoder States Revision Strategies
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
在流式传输自动语音识别（ASR）中，经常存在性能和延迟之间的权衡。传统的方法，如前瞻和基于块的方法，通常需要来自未来帧的信息来提高识别精度，即使计算足够快，也会产生不可避免的延迟。不使用任何未来帧进行计算的因果模型可以避免这种延迟，但其性能明显低于传统方法。在本文中，我们提出了相应的修正策略，以改善因果模型。首先，我们引入了一个实时的编码器状态修改策略来修改以前的状态。编码器前向计算在接收到数据后开始，并在几帧后修改先前的编码器状态，这不需要等待任何正确的上下文。此外，设计了CTC锋电位位置对齐解码算法，以减少修正策略带来的时间开销。实验都是在Librispeech数据集上进行的。在基于CTC的wav2vec2.0模型上进行微调，我们的最佳方法在测试-清洁/其他集合上可以达到3.7/9.2的WER，这也与基于块的方法和知识蒸馏方法相竞争。
2022-07-06 cs.SD eess.AS
A Simplified Fully Quantized Transformer for End-to-end Speech Recognition
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然近年来在端到端自动语音识别（ASR）性能方面已经取得了显著的改进，但是这种改进是通过使用非常大的神经网络来获得的，不适合在边缘设备上嵌入式使用。话虽如此，在本文中，我们致力于简化和压缩基于Transformer的编码器-解码器架构，以实现端到端ASR任务。我们经验性地引入了一个更紧凑的语音变压器，通过研究丢弃特定模块对模型性能的影响。此外，我们评估了降低网络权重和激活的数值精度，同时保持全精度模型的性能。我们的实验表明，我们可以减少全精度模型的参数数量，然后通过完全量化到8位定点精度来进一步压缩模型4x。
2020-03-24 cs.CL cs.SD eess.AS
MLMA: Towards Multilingual ASR With Mamba-based Architectures
Center for Augmented Intelligence, Fondazione Bruno Kessler, Trento, Italy（增强智能中心，布鲁诺·克塞勒基金会，意大利特伦托）
本文提出MLMA，利用Mamba状态空间模型进行多语言ASR，通过隐式语言感知和共享表示，在标准基准上达到与Transformer相当的竞争力，展现其可扩展高效潜力。
2025-10-23 cs.CL cs.SD
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
Adaptive Sparse and Monotonic Attention for Transformer-based Automatic Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua University（清华大学）；The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
基于自注意和多头注意力的Transformer架构模型在离线端到端自动语音识别（ASR）中取得了显著的成功。然而，自我注意力和多头注意力不能容易地应用于流或在线ASR。针对Transformer语音识别中的自注意问题，基于softmax归一化函数的注意力机制使得语音识别中的重要语音信息无法突出。对于Transformer ASR中的多头注意力，不容易对不同头中的单调对齐进行建模。为了克服这两个限制，我们将稀疏注意力和单调注意力集成到基于transformer的ASR中。稀疏机制引入了一个学习的稀疏方案，使每个自注意力结构，以适应相应的头部更好。单调注意部署正则化以修剪用于多头注意力结构的冗余头。实验结果表明，该方法可以有效地改善语音识别中广泛使用的基准测试的注意力机制。
2022-09-30 cs.AI cs.CL
Cross-Modal Transformer-Based Neural Correction Models for Automatic Speech Recognition
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
提出了一种基于跨模态变换的神经校正模型，该模型对自动语音识别（ASR）系统的输出进行改进，以排除ASR错误。一般来说，神经校正模型由编码器-解码器网络组成，可以直接模拟序列到序列的映射问题。最成功的方法是使用输入语音及其ASR输出文本作为编码器-解码器网络的输入上下文。然而，传统的方法不能考虑这两个不同的模态输入之间的关系，因为输入上下文被单独编码为每个模态。为了有效地利用两个不同模态输入之间的相关信息，我们提出的模型编码两个不同的上下文联合使用Transformer的跨模态自我注意的基础上。我们期望跨通道自我注意能有效地捕捉两个不同通道之间的关系，以完善ASR假设。我们还引入了一种浅层融合技术，有效地整合了第一遍ASR模型和我们提出的神经校正模型。日语自然语言ASR任务的实验表明，我们提出的模型实现了更好的ASR性能比传统的神经校正模型。
2021-07-04 cs.CL cs.LG
