We present state-of-the-art automatic speech recognition (ASR) systems employing a standard hybrid DNN/HMM architecture compared to an attention-based encoder-decoder design for the LibriSpeech task. Detailed descriptions of the system development, including model design, pretraining schemes, training schedules, and optimization approaches are provided for both system architectures. Both hybrid DNN/HMM and attention-based systems employ bi-directional LSTMs for acoustic modeling/encoding. For language modeling, we employ both LSTM and Transformer based architectures. All our systems are built using RWTHs open-source toolkits RASR and RETURNN. To the best knowledge of the authors, the results obtained when training on the full LibriSpeech training set, are the best published currently, both for the hybrid DNN/HMM and the attention-based systems. Our single hybrid system even outperforms previous results obtained from combining eight single systems. Our comparison shows that on the LibriSpeech 960h task, the hybrid DNN/HMM system outperforms the attention-based system by 15% relative on the clean and 40% relative on the other test sets in terms of word error rate. Moreover, experiments on a reduced 100h-subset of the LibriSpeech training corpus even show a more pronounced margin between the hybrid DNN/HMM and attention-based architectures.
USTED: Improving ASR with a Unified Speech and Text Encoder-Decoder
Amazon Alexa（亚马逊 Alexa）
通过合并外部文本数据来改进端到端语音识别一直是一个长期的研究课题。最近的焦点是训练E2 E ASR模型，这些模型可以获得外部文本数据的性能优势，而不会在推理时产生评估外部语言模型的额外成本。在这项工作中，我们提出了训练ASR模型与一组文本到文本的辅助任务，它共享一个解码器和部分编码器。当我们分别用960小时的Librispeech和Opensubtitles数据联合训练ASR和掩蔽语言模型时，我们观察到，与仅使用ASR的基线相比，测试其他和测试干净的WER分别降低了16%和20%，而在推理时间没有任何额外成本，与使用与我们的模型相同的文本数据训练解码器的更强的MUTE-L基线相比，WER降低了6%和8%。当我们在Librispeech数据上训练掩蔽语言模型时，或者当我们使用机器翻译作为辅助任务时，我们实现了进一步的改进，而不会显着牺牲任务本身的性能。
Attention-based sequence-to-sequence model for speech recognition: development of state-of-the-art system on LibriSpeech and its application to non-native English
Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
使用生成对抗网络（GAN）的端到端（E2 E）ASR系统的对抗训练最近已被探索用于低资源ASR语料库。GANs通过两个玩家的最小-最大游戏帮助学习真实的数据表示。然而，使用具有GAN框架的大型ASR语料库训练E2 E ASR模型从未被探索过，因为由于高方差梯度更新和人脸收敛问题，它可能需要过长的时间。在本文中，我们介绍了一种新的框架，用于使用GAN目标微调预训练的ASR模型，其中ASR模型充当生成器，并且尝试将ASR输出与真实数据区分开来。由于ASR模型是预先训练的，我们假设ASR模型输出（软分布向量）有助于从SVM获得更高的分数，并使SVM的任务在我们的GAN框架内变得更难，这反过来又提高了ASR模型在微调阶段的性能。在这里，预先训练的ASR模型使用额外的对抗性损失针对PSNR进行对抗性微调。在完整LibriSpeech数据集上的实验表明，我们提出的方法优于基线和传统的基于GAN的对抗模型。
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
Hypothesis Stitcher for End-to-End Speaker-attributed ASR on Long-form Multi-talker Recordings
Microsoft（微软）
最近提出了一种端到端（E2 E）的说话人属性自动语音识别（SA-ASR）模型，用于联合执行说话人计数、语音识别和说话人辨识。该模型实现了一个低的扬声器归因字出错率（SA-WER）的单声道重叠语音包括一个未知数量的扬声器。然而，E2 E建模方法容易受到训练和测试条件之间的不匹配的影响。E2 E SA-ASR模型是否适用于比训练期间看到的样本长得多的记录，还有待研究。在这项工作中，我们首先将一种已知的解码技术应用于我们的E2 E SA-ASR任务，该解码技术是为长格式音频执行单扬声器ASR而开发的。然后，我们提出了一种新的方法，使用一个序列到序列的模型，称为hypothesis prischer。该模型采用从原始长形式输入中提取的短音频片段获得的多个假设，然后输出融合的单个假设。我们提出了几个架构的变化的假设的解码器模型，并比较它们与传统的解码方法。使用LibriSpeech和LibriCSS语料库的实验表明，该方法显着提高SA-WER，特别是对于长形式的多说话人录音。
Omni-sparsity DNN: Fast Sparsity Optimization for On-Device Streaming E2E ASR via Supernet
Meta AI
从可穿戴设备到功能强大的智能设备，现代自动语音识别（ASR）模型可在各种计算预算不同的边缘设备上运行。为了在模型精度与模型大小的帕累托前沿进行导航，研究人员陷入了一个困境，即通过为每个边缘设备训练和微调模型来优化模型精度，同时保持训练GPU时间易于处理。在本文中，我们提出了全稀疏DNN，其中单个神经网络可以被修剪以生成针对大范围模型大小的优化模型。我们为全稀疏DNN开发了训练策略，使其能够沿着单词错误率（WER）与模型大小的帕累托前沿找到模型，同时保持训练GPU时间不超过训练一个奇异模型的时间。我们使用流式E2 E ASR模型演示了全稀疏DNN。我们的研究结果显示，与单独修剪的稀疏模型相比，LibriSpeech的训练时间和资源大大节省，准确率相似或更高：测试其他模型的WER提高了2%-6.6%。
Adaptable End-to-End ASR Models using Replaceable Internal LMs and Residual Softmax
University of Cambridge（剑桥大学）
端到端（E2 E）自动语音识别（ASR）隐式地学习成对的音频转录训练数据的标记序列分布。然而，它仍然受到从训练到测试的领域转移的影响，领域适应仍然具有挑战性。为了解决这一问题，本文设计了一种可替换内部语言模型（RILM）方法，该方法可以在解码阶段直接用目标域LM替换E2 E ASR模型的内部语言模型（LM）。此外，本文还提出了一种残差softmax（R-softmax），该算法专为基于CTC的E2 E ASR模型设计，以适应目标域，而无需在推理过程中重新训练。对于在LibriSpeech语料库上训练的E2 E ASR模型，实验表明，所提出的方法在Switchboard数据上提供了2.6%的绝对WER减少，在AESRC 2020语料库上提供了1.0%的WER减少，同时保持了域内ASR结果。
Adaptive Feature Selection for End-to-End Speech Translation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所）；Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）
语音信号中的信息不是均匀分布的，这使得端到端（E2 E）语音翻译（ST）学习关注信息特征成为额外的挑战。在本文中，我们提出了自适应特征选择（AFS）的编码器-解码器为基础的E2 E ST。我们首先预训练的ASR编码器和应用AFS动态估计每个编码的语音特征SR的重要性。ST编码器，堆叠在ASR编码器的顶部，然后从（冻结）ASR编码器接收过滤的功能。我们采用L0 DROP（Zhang等人，2020）作为AFS的骨干，并使其适应于相对于时间和特征维度来稀疏化语音特征。LibriSpeech En-Fr和MuST-C基准测试的结果表明，AFS通过修剪约84%的时间特征来促进ST的学习，产生约1.3-1.6 BLEU的平均翻译增益和约1.4倍的解码加速比。特别是，与级联基线相比，AFS减少了性能差距，并且在LibriSpeech En-Fr上的表现优于它，BLEU得分为18.56（没有数据增强）
Minimum Bayes Risk Training for End-to-End Speaker-Attributed ASR
Microsoft Corp.（微软公司）
最近，针对单声道重叠语音，提出了一种端到端的说话人属性自动语音识别（E2 E SA-ASR）模型，作为说话人计数、语音识别和说话人识别的联合模型。在以前的研究中，模型参数的训练基于说话人属性最大互信息（SA-MMI）标准，与多说话人转录和说话人识别的联合后验概率最大化的训练数据。尽管SA-MMI训练对于由各种数量的说话者组成的重叠语音显示出有希望的结果，但训练标准并不直接与最终的评估度量相关联，即，说话者归因的单词错误率（SA-WER）。在本文中，我们提出了一种说话人属性最小贝叶斯风险（SA-MBR）训练方法，其中参数被训练为直接最小化训练数据上的预期SA-WER。使用LibriSpeech语料库的实验表明，与SA-MMI训练的模型相比，所提出的SA-MBR训练使SA-WER相对降低了9.0%。
