A streaming style inference of encoder-decoder automatic speech recognition (ASR) system is important for reducing latency, which is essential for interactive use cases. To this end, we propose a novel blockwise synchronous decoding algorithm with a hybrid approach that combines endpoint prediction and endpoint post-determination. In the endpoint prediction, we compute the expectation of the number of tokens that are yet to be emitted in the encoder features of the current blocks using the CTC posterior. Based on the expectation value, the decoder predicts the endpoint to realize continuous block synchronization, as a running stitch. Meanwhile, endpoint post-determination probabilistically detects backward jump of the source-target attention, which is caused by the misprediction of endpoints. Then it resumes decoding by discarding those hypotheses, as back stitch. We combine these methods into a hybrid approach, namely run-and-back stitch search, which reduces the computational cost and latency. Evaluations of various ASR tasks show the efficiency of our proposed decoding algorithm, which achieves a latency reduction, for instance in the Librispeech test set from 1487 ms to 821 ms at the 90th percentile, while maintaining a high recognition accuracy.
Hypothesis Stitcher for End-to-End Speaker-attributed ASR on Long-form Multi-talker Recordings
Microsoft（微软）
最近提出了一种端到端（E2 E）的说话人属性自动语音识别（SA-ASR）模型，用于联合执行说话人计数、语音识别和说话人辨识。该模型实现了一个低的扬声器归因字出错率（SA-WER）的单声道重叠语音包括一个未知数量的扬声器。然而，E2 E建模方法容易受到训练和测试条件之间的不匹配的影响。E2 E SA-ASR模型是否适用于比训练期间看到的样本长得多的记录，还有待研究。在这项工作中，我们首先将一种已知的解码技术应用于我们的E2 E SA-ASR任务，该解码技术是为长格式音频执行单扬声器ASR而开发的。然后，我们提出了一种新的方法，使用一个序列到序列的模型，称为hypothesis prischer。该模型采用从原始长形式输入中提取的短音频片段获得的多个假设，然后输出融合的单个假设。我们提出了几个架构的变化的假设的解码器模型，并比较它们与传统的解码方法。使用LibriSpeech和LibriCSS语料库的实验表明，该方法显着提高SA-WER，特别是对于长形式的多说话人录音。
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在端到端（E2 E）自动语音识别（ASR）系统中，Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中，使用块边界检测技术同步对齐编码特征块，其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话，LibriSpeech英语和CSJ日本的任务的评估表明，建议的流Transformer算法优于传统的在线方法，包括单调块注意（MoChA），特别是当使用知识蒸馏技术。一项消融研究表明，我们的流方法有助于减少响应时间，重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
A Comparison of Label-Synchronous and Frame-Synchronous End-to-End Models for Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
MFA-KWS: Effective Keyword Spotting with Multi-head Frame-asynchronous Decoding
X-LANCE Lab, School of Computer Science & MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（X-LANCE实验室，计算机科学学院及教育部人工智能重点实验室，上海交通大学）；Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室）；Department of Electrical and Computer Engineering, National University of Singapore（电气与计算机工程系，新加坡国立大学）
Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition
Inner Mongolia University（内蒙古大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
