Mispronunciation detection is an essential component of the Computer-Assisted Pronunciation Training (CAPT) systems. State-of-the-art mispronunciation detection models use Deep Neural Networks (DNN) for acoustic modeling, and a Goodness of Pronunciation (GOP) based algorithm for pronunciation scoring.
However, GOP based scoring models have two major limitations: i.e., (i) They depend on forced alignment which splits the speech into phonetic segments and independently use them for scoring, which neglects the transitions between phonemes within the segment;
(ii) They only focus on phonetic segments, which fails to consider the context effects across phonemes (such as liaison, omission, incomplete plosive sound, etc.).
In this work, we propose the Context-aware Goodness of Pronunciation (CaGOP) scoring model. Particularly, two factors namely the transition factor and the duration factor are injected into CaGOP scoring.
The transition factor identifies the transitions between phonemes and applies them to weight the frame-wise GOP. Moreover, a self-attention based phonetic duration modeling is proposed to introduce the duration factor into the scoring model.
The proposed scoring model significantly outperforms baselines, achieving 20% and 12% relative improvement over the GOP model on the phoneme-level and sentence-level mispronunciation detection respectively.
Towards Efficient and Multifaceted Computer-assisted Pronunciation Training Leveraging Hierarchical Selective State Space Model and Decoupled Cross-entropy Loss
A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment
Research Center for Psychological and Educational Testing, National Taiwan Normal University（国立台湾师范大学心理与教育测试研究中心）；Department of Computer Science and Information Engineering, National Taiwan Normal University（国立台湾师范大学电机工程学系暨资讯工程学系）；Department of Educational Psychology and Counseling, National Taiwan Normal University（国立台湾师范大学教育心理与辅导学系）
Towards Robust Mispronunciation Detection and Diagnosis for L2 English Learners with Accent-Modulating Methods
National Taiwan Normal University（台湾师范大学）
随着全球化进程的加快，越来越多的人愿意或需要学习第二语言。当前用于计算机辅助发音训练（CAPT）的发音错误和诊断（MDD）模型面临的主要挑战之一是处理来自具有不同口音的L2学习者的语音。在本文中，我们着手减轻口音变化的不利影响，在建立一个L2英语MDD系统与端到端（E2 E）的神经模型。为此，我们首先提出了一个有效的建模框架，注入口音功能到E2 E MDD模型，从而使模型更加口音感知。更进一步，我们设计并提出了不同的口音感知模块，以更细粒度的方式执行口音感知调制的声学特征，从而提高所得到的MDD模型的识别能力。在L2-ARCTIC基准数据集上进行的大量实验表明，与现有的基于E2 E的强基线和基于发音评分的方法相比，我们的MDD模型具有优势。
End-to-End Mispronunciation Detection and Diagnosis From Raw Waveforms
National Normal Taiwan University（台湾师范大学）
发音错误检测与诊断（MDD）是计算机辅助发音训练（CAPT）系统的核心部分，其目的是识别发音错误并提供指导性反馈以指导非母语学习者。然而，MDD经常遭受数据稀疏性问题，由于收集非原生数据和相关的注释是耗时和劳动密集型的。为了解决这个问题，我们探索了一个完全端到端（E2 E）的MDD神经模型，它直接基于原始波形处理学习者的语音。与传统手工制作的声学特征相比，原始波形保留了更多的声学现象，并且可能可以帮助神经网络发现更好、更定制的表示。为此，我们的MDD模型采用了一个共同称为SincNet模块，以输入原始波形并将其转换为合适的矢量表示序列。SincNet采用基数正弦（sinc）函数来实现可学习的带通滤波器，灵感来自卷积神经网络（CNN）。与CNN相比，SincNet的参数更少，更适合人类的解释。在L2-ARCTIC数据集上进行了大量实验，该数据集是为CAPT研究而编制的公开非母语英语语音语料库。我们发现SincNet的sinc过滤器可以快速适应不同国籍的非母语学习者。此外，我们的模型可以实现与最先进的E2 E MDD模型（输入标准手工制作的声学特征）相当的发音错误检测性能。此外，我们的模型还提供了相当大的改善电话错误率（PER）和诊断准确性。
Attention model for articulatory features detection
Sciforce
发音特征以及语音标音在语音相关任务中起着重要作用：计算机辅助发音训练，文本到语音转换（TTS），研究语音产生机制，低资源语言的语音识别。近年来，语音相关任务的端到端方法得到了很大的吸引力。我们将Listen，Attend and Spell~（LAS）~ \cite{Chan-LAS2016}结构应用于小型训练集上的音素识别，如TIMIT~ \cite{TIMIT-1992}。此外，我们引入了一种新的解码技术，允许训练的方式和地方的发音检测器端到端使用注意力模型。我们还探讨了多任务学习环境中的联合音素识别和发音特征检测。
