For many streaming automatic speech recognition tasks, it is important to provide timely intermediate streaming results, while refining a high quality final result. This can be done using a multi-stage architecture, where a small left-context only model creates streaming results and a larger left- and right-context model produces a final result at the end. While this significantly improves the quality of the final results without compromising the streaming emission latency of the system, streaming results do not benefit from the quality improvements. Here, we propose using a text manipulation algorithm that merges the streaming outputs of both models. We improve the quality of streaming results by around 10%, without altering the final results. Our approach introduces no additional latency and reduces flickering. It is also lightweight, does not require retraining the model, and it can be applied to a wide variety of multi-stage architectures.
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google（谷歌）
随着自动语音识别（ASR）应用的激增，对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前，可能会修改部分结果，从而导致不稳定问题。我们分析了设备上流媒体端到端（E2 E）ASR模型的质量和稳定性。我们首先介绍了一套新的指标，量化的不稳定性，在字和段的水平。我们研究了几种模型训练技术的影响，这些技术提高了E2 E模型的质量，但降低了模型的稳定性。我们对不稳定性的原因进行了分类，并探索了各种解决方案，以减轻它们在流E2 E ASR系统。索引术语：ASR、稳定性、端到端、文本规范化、设备上、RNN-T
Promising Accurate Prefix Boosting for sequence-to-sequence ASR
Brno University of Technology（布尔诺理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软）；Amazon（亚马逊）；Google（谷歌）；Facebook（脸书）；MERL/Mitsubishi Electric（三菱电机研究实验室/三菱电机）
Controllable Dysarthric Speech Synthesis with Patient-Specific Conditioning for Speaker-Diverse ASR Augmentation
Department of Language Science and Technology, The Hong Kong Polytechnic University（语言科学与技术系，香港理工大学）；College of Rehabilitation Medicine, Fujian University of Traditional Chinese Medicine（康复医学学院，福建中医药大学）；Department of Imaging, Rehabilitation Hospital affiliated to Fujian University of Traditional Chinese Medicine（影像科，福建中医药大学附属康复医院）
Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）
尽管端到端（E2 E）自动语音识别（ASR）的快速发展，但是已经表明，将外部语言模型（LM）并入解码中可以进一步提高E2 E ASR系统的识别性能。为了与E2 E ASR系统中采用的建模单元保持一致，字符、BPE）LM通常用于与当前的E2 E ASR系统协作。然而，使用子字级LM将忽略字级信息，这可能限制E2 E ASR中外部LM的强度。虽然已经提出了几种方法来将词级外部LM合并到E2 E ASR中，但是这些方法主要是针对具有清晰词边界的语言（例如英语）而设计的，并且不能直接应用于像普通话这样的语言，其中每个字符序列可以具有多个对应的词序列。为此，我们提出了一种新的解码算法，其中构建一个字级格上的飞行考虑所有可能的字序列的每个部分假设。然后，通过将生成的格与外部词N-gram LM相交来获得假设的LM得分。该方法在基于注意力的编码器-解码器（AED）和神经传感器（NT）框架上进行了研究。实验表明，我们的方法始终优于子字级LM，包括N-gram LM和神经网络LM。我们在Aishell-1（CER 4.18%）和Aishell-2（CER 5.06%）数据集上都获得了最先进的结果，并在21 K小时的普通话数据集上将CER相对减少了14.8%。
WhisperRT -- Turning Whisper into a Causal Streaming Model
Andrew and Erna Viterbi Faculty of Electrical and Computer Engineering, Technion–Israel Institute of Technology（以色列理工学院安德鲁与厄娜·维特比电气与计算机工程学院）；Language Technologies Institute, School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院语言技术研究所）
