Masked Acoustic Unit for Mispronunciation Detection and Correction
Zhejiang University(浙江大学)
计算机辅助发音训练(CAPT)在语言学习中发挥着重要作用。传统的基于ASR的CAPT方法需要昂贵的注释地面真实发音的监督训练。同时,某些未定义的非母语音素不能被正确地分类为标准音素,使得注释过程具有挑战性和主观性。另一方面,基于ASR的CAPT方法只能给学习者关于错误发音的基于文本的反馈,但不能教学习者如何正确发音。为了解决这些局限性,我们建议使用声学单位(AU)作为中间功能的发音错误检测和纠正。该方法利用被掩蔽的AU序列和目标音素检测出错误AU并进行纠正,从而为学习者提供基于语音的自模仿反馈,使CAPT具有更强的教育功能。
2022-05-04 cs.SD eess.AS
Adaptive Frequency Cepstral Coefficients for Word Mispronunciation Detection
Purdue University(普渡大学)
基于自动语音识别(ASR)技术的系统可以在计算机辅助语言学习应用中提供重要的功能。这是一个年轻但不断发展的研究领域,其动机是大量学习外语的学生。在这里,我们提出了一个隐马尔可夫模型(HMM)为基础的方法来检测发音错误。利用语言学习软件中使用的特定对话脚本,Humbers被训练用于不同的发音。新的自适应功能已经开发和获得通过自适应翘曲的频率尺度计算倒谱系数之前。用于翘曲函数的优化标准是在分类率方面最大化两个主要发音组(本地和非本地)的分离。实验结果表明,自适应频率尺度产生一个更好的系数表示导致更高的分类率相比,传统的HISTORY使用梅尔频率倒谱系数。
2016-02-25 cs.CV cs.SD
L1-aware Multilingual Mispronunciation Detection Framework
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
本文提出 L1-MultiMDD 框架,通过融合 L1 感知语音表示和 CTC 多语言音素识别,在英语、阿拉伯语和普通话上显著提升发音错误检测性能与泛化能力。
2023-09-21 cs.CL cs.SD eess.AS
A Fusion-Aware Two-Stage Framework for Mispronunciation Detection and Diagnosis in Low-Resource Modern Standard Arabic
School of Electronic Information, Wuhan University(武汉大学电子信息学院);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息学院);Northwestern Polytechnical University(西北工业大学);University of Quebec(魁北克大学)
针对低资源现代标准阿拉伯语错误发音检测与诊断中的数据稀缺和域差异问题,提出两阶段端到端框架,集成预训练编码器和因果扩张时序卷积网络,通过多检查点集成推理和N-gram重评分提升稳定性,在IqraEval.2挑战中取得最佳性能。
2026-06-24 cs.SD eess.AS
Improving End-To-End Modeling for Mispronunciation Detection with Effective Augmentation Mechanisms
National Taiwan Normal University(台湾师范大学)
近年来,端到端(E2 E)模型,它允许采取的频谱向量序列的第二语言(第二语言)学习者的话语作为输入,并产生相应的音素级序列作为输出,引起了研究的关注,在开发的发音错误检测(MD)系统。然而,由于缺乏足够的L2扬声器的标记语音数据用于模型估计,E2 E MD模型相对于建立在DNN-HMM声学模型上的传统模型容易过拟合。为了缓解这一关键问题,我们在本文中提出了两种建模策略,以提高E2 E MD模型的区分能力,每一种都可以隐式地利用编码在预训练声学模型中的语音和音韵特征,并分别包含在训练数据的参考转录本中。第一个是输入增强,其目的是从DNN-HMM声学模型中提取有关语音识别的知识。第二种是标签增强,它设法从训练数据的转录本中捕获更多的语音模式。在L2-ARCTIC英语数据集上进行的一系列实证实验似乎证实了我们的E2 E MD模型与一些顶级E2 E MD模型和基于DNN-HMM声学模型的经典发音评分方法相比的有效性。
2021-10-17 cs.AI cs.SD eess.AS
A multi-view approach for Mandarin non-native mispronunciation verification
Beijing Language and Culture University(北京语言大学);Center for Robust Speech Systems (CRSS), University of Texas at Dallas(德克萨斯大学达拉斯分校鲁棒语音系统中心)
传统上,非母语发音错误验证系统的性能依赖于有效的非母语语料库的音素级标签。在这项研究中,提出了一种多视角的方法,将歧视性的特征表示,需要较少的注释,非母语的汉语发音错误验证。在这里,模型联合学习嵌入声学序列和多源信息的语音属性和瓶颈特征。具有对比损失的双向LSTM嵌入模型用于将声学序列和多源信息映射到固定维嵌入。声学嵌入之间的距离被视为音素之间的相似性。因此,错误发音的音素的示例预期与它们的规范发音具有小的相似性分数。该方法在错误发音验证任务的诊断准确性方面比基于GOP的方法提高了+11.23%,比单视图方法提高了+1.47%。
2020-09-09 cs.SD eess.AS
Attention-based sequence-to-sequence model for speech recognition: development of state-of-the-art system on LibriSpeech and its application to non-native English
LAIX Inc.(LAIX公司)
最近的研究表明,基于注意力的序列到序列模型,如听,注意和拼写(LAS),在各种任务上产生与最先进的ASR系统相当的结果。在本文中,我们描述了这样一个系统的发展,并证明其性能的两个任务:第一,我们实现了一个新的国家的最先进的字出错率为3.43%的测试干净的子集LibriSpeech英语数据;第二,非母语英语语音,包括阅读语音和自发语音,我们获得了非常有竞争力的结果相比,传统的系统建立了最新的卡尔迪配方。
2018-11-05 cs.CL cs.LG cs.SD
Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);PAII Inc.(平安科技(美国)有限公司)
语音自动评估是帮助自主学习者的一项重要技术。虽然发音质量具有多个方面,包括准确性、流畅性、完整性和韵律,但是先前的努力通常仅对一个方面(例如,精度)在一个粒度(例如,在音素级)。在这项工作中,我们探索建模多方面的发音评估在多个粒度。具体来说,我们用多任务学习训练了一个基于发音特征的Transformer(GOPT)。实验结果表明,GOPT在基于Libris语音库训练的公共自动语音识别(ASR)声学模型上,在Speechocean 762上取得了最好的效果。
2022-05-06 cs.LG cs.SD eess.AS
AccentDB: A Database of Non-Native English Accents to Assist Neural Speech Recognition
Google(谷歌)
现代的自动语音识别(ASR)技术已经发展到可以很好地识别母语者所讲的语音。然而,识别非母语人士所说的语音仍然是一个重大挑战,在这项工作中,我们首先阐明了创建一个精心策划的数据库的语音样本在非母语口音的训练和测试强大的ASR系统的关键要求。然后,我们介绍AccentDB,一个这样的数据库,其中包含我们收集的4个印度英语口音的样本,并从4个本地英语的样本汇编,和一个大都市的印度英语口音。我们还提出了一个分析的可分离性收集口音数据。此外,我们提出了几种口音分类模型,并对人类标记的口音类进行了彻底的评估。我们在各种可见和不可见数据的设置中测试分类器模型的泛化。最后,我们介绍了使用具有特定任务架构的自动编码器模型将非本地口音的口音中和为本地口音的任务。因此,我们的工作旨在帮助ASR系统在每个阶段的发展与数据库的培训,分类模型的功能增强,和中和系统的声学转换的非母语口音的英语。
2020-05-16 cs.CL cs.SD eess.AS
Improving Automatic Speech Recognition for Non-Native English with Transfer Learning and Language Model Decoding
The University of British Columbia(英属哥伦比亚大学)
为母语英语(L1)设计的ASR系统通常在非母语英语(L2)上表现不佳。为了解决这个性能差距,\textbf{(i)}我们扩展了我们以前的工作,以研究在丰富的L1和L2训练条件下对预训练的wav2vec 2.0模型\cite{baevski2020wav2vec,xu2021self}进行微调。我们进一步\textbf{(ii)}结合语言模型解码的ASR系统,随着微调方法。分别量化从这两种方法中获得的收益和误差分析使我们能够识别模型中不同的改进来源。我们发现,虽然大的自我训练的wav2vec 2.0可能会内化足够的解码知识,干净的L1语音\cite{xu2021self},这并不适用于L2语音和帐户的效用,采用语言模型解码L2数据。
2022-02-10 cs.CL cs.SD eess.AS
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation(小米公司);SpeechOcean Ltd.(海天瑞声科技股份有限公司)
本文介绍了一个名为“speechocean 762”的新开源语音语料库,旨在用于发音评估,由来自250名非母语人士的5000句英语话语组成,其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的,以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载,相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
Simulating Native Speaker Shadowing for Nonnative Speech Assessment with Latent Speech Representations
Graduate School of Engineering(工学研究生院);The University of Tokyo(东京大学)
本研究提出一种基于语音转换和潜在语音表示的语音生成系统,模拟母语者跟读过程,以评估非母语者的语音可懂度,实验证明该方法有效且使用自监督表示效果更佳。
2024-09-19 cs.SD eess.AS
Towards Robust Mispronunciation Detection and Diagnosis for L2 English Learners with Accent-Modulating Methods
National Taiwan Normal University(台湾师范大学)
随着全球化进程的加快,越来越多的人愿意或需要学习第二语言。当前用于计算机辅助发音训练(CAPT)的发音错误和诊断(MDD)模型面临的主要挑战之一是处理来自具有不同口音的L2学习者的语音。在本文中,我们着手减轻口音变化的不利影响,在建立一个L2英语MDD系统与端到端(E2 E)的神经模型。为此,我们首先提出了一个有效的建模框架,注入口音功能到E2 E MDD模型,从而使模型更加口音感知。更进一步,我们设计并提出了不同的口音感知模块,以更细粒度的方式执行口音感知调制的声学特征,从而提高所得到的MDD模型的识别能力。在L2-ARCTIC基准数据集上进行的大量实验表明,与现有的基于E2 E的强基线和基于发音评分的方法相比,我们的MDD模型具有优势。
2021-10-03 cs.MM cs.SD eess.AS
Automatic Speech Recognition for Non-Native English: Accuracy and Disfluency Handling
Doshisha University(同志社大学)
本研究评估五个ASR系统对非母语英语语音的识别,发现Whisper和AssemblyAI在朗读语音上接近人类水平,RevAI在自发言语上最佳,并分析了不流畅性处理差异。
2025-03-30 cs.CL cs.SD eess.AS
LearnerVoice: A Dataset of Non-Native English Learners' Spontaneous Speech
Ringle(林格(Ringle));KAIST(韩国科学技术院);School of Computing, KAIST(韩国科学技术院计算学院);University of Minnesota(明尼苏达大学)
该研究发布了含50.04小时非英语母语学习者自发语音的LearnerVoice数据集,证实其含更多二语自发语音特征,微调whisper-small.en可大幅降低词错率,为面向二语学习者的ASR优化提供数据支撑。
2024-10-04 cs.CL cs.SD eess.AS
Synthetic Cross-accent Data Augmentation for Automatic Speech Recognition
Meta AI;FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
近年来,人们对有偏见的ASR数据集或模型的认识显著提高。即使对于英语,尽管有大量可用的训练数据,系统对于非母语者的表现更差。在这项工作中,我们改进了口音转换模型(ACM),将美国本土英语语音口音发音。我们在ACM训练中包括语音知识,以提供关于在合成波形中恢复某些发音模式的准确反馈。此外,我们研究的可行性学习口音表示,而不是静态嵌入。生成的数据然后用于训练两个最先进的ASR系统。我们在母语和非母语英语数据集上评估了我们的方法,发现合成口音数据有助于ASR更好地理解来自所见口音的语音。这一观察结果并没有转化为看不见的口音,也没有观察到一个专门用母语预先训练的模型。
2023-03-01 cs.CL cs.SD eess.AS
INTapt: Information-Theoretic Adversarial Prompt Tuning for Enhanced Non-Native Speech Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
本文提出INTapt方法,通过对抗提示微调在不更新预训练模型权重的情况下,将非母语英语语音特征向母语英语对齐,从而提升非母语语音识别性能。
2023-05-25 cs.CL cs.SD eess.AS
Maximum F1-score training for end-to-end mispronunciation detection and diagnosis of L2 English speech
端到端(E2 E)神经模型作为一种有前途的发音错误检测和诊断(MDD)建模方法越来越受到关注。通常,这些模型是通过优化交叉熵标准来训练的,这对应于提高训练数据的对数似然性。然而,模型训练的目标和MDD评估之间存在差异,因为MDD模型的性能通常根据F1分数而不是电话或单词错误率(PER/WER)进行评估。有鉴于此,我们在本文中探索使用判别目标函数训练E2 E MDD模型,其目的是直接最大化期望的F1分数。在L2-ARCTIC数据集上进行的一系列实验表明,与一些最先进的E2 E MDD方法和著名的GOP方法相比,我们提出的方法可以产生相当大的性能改进。
2022-07-09 eess.AS
A study on native American English speech recognition by Indian listeners with varying word familiarity level
Indian Institute of Science (IISc)(印度科学学院);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
在这项研究中,不同的印度裔的听众被要求听和识别TIMIT的美国人所说的话语。我们有三种反应,从每个听众,而他们认识到一个发言:1。句子难度评分,2。演讲者难度等级,和3。话语的转录。从这些译文中计算出单词错误率(WER),并将其作为衡量识别句子与原始句子之间相似性的一个指标,根据单词在句子中出现的频率将所选句子分为三组:易、中、难。我们观察到,句子,扬声器难度等级和WERs增加从容易到难的句子类别。我们还比较了人类语音识别性能与使用三种自动语音识别(ASR)在以下三种声学模型(AM)和语言模型(LM)组合下的性能:ASR 1)使用来自印度裔说话者的录音训练AM,并在TIMIT文本上构建LM,ASR 2)使用来自美国本土说话者的录音训练AM,并在来自LIBRI语音语料库的文本上构建LM,和ASR 3)AM使用来自美国本土说话者的录音,LM建立在LIBRI语音和TIMIT文本上。我们观察到,HSR的性能类似于ASR1,而ASR3实现了最佳性能。发言者出生明智的分析表明,发言者的一些出生是更难以识别的印度听众相比,其他一些出生
2021-12-08 cs.CL cs.SD eess.AS
End-to-End Mispronunciation Detection and Diagnosis From Raw Waveforms
National Normal Taiwan University(台湾师范大学)
发音错误检测与诊断(MDD)是计算机辅助发音训练(CAPT)系统的核心部分,其目的是识别发音错误并提供指导性反馈以指导非母语学习者。然而,MDD经常遭受数据稀疏性问题,由于收集非原生数据和相关的注释是耗时和劳动密集型的。为了解决这个问题,我们探索了一个完全端到端(E2 E)的MDD神经模型,它直接基于原始波形处理学习者的语音。与传统手工制作的声学特征相比,原始波形保留了更多的声学现象,并且可能可以帮助神经网络发现更好、更定制的表示。为此,我们的MDD模型采用了一个共同称为SincNet模块,以输入原始波形并将其转换为合适的矢量表示序列。SincNet采用基数正弦(sinc)函数来实现可学习的带通滤波器,灵感来自卷积神经网络(CNN)。与CNN相比,SincNet的参数更少,更适合人类的解释。在L2-ARCTIC数据集上进行了大量实验,该数据集是为CAPT研究而编制的公开非母语英语语音语料库。我们发现SincNet的sinc过滤器可以快速适应不同国籍的非母语学习者。此外,我们的模型可以实现与最先进的E2 E MDD模型(输入标准手工制作的声学特征)相当的发音错误检测性能。此外,我们的模型还提供了相当大的改善电话错误率(PER)和诊断准确性。
2021-06-01 cs.MM cs.SD eess.AS
Weakly-supervised word-level pronunciation error detection in non-native English speech
Amazon(亚马逊);Gdansk University of Technology(格但斯克理工大学)
我们提出了一个弱监督模型,用于非母语(L2)英语语音中的单词级发音错误检测。为了训练这个模型,不需要语音转录的L2语音,我们只需要标记错误发音的单词。L2语音缺乏语音转换意味着模型只能从单词级错误发音的微弱信号中学习。正因为如此,并且由于错误发音的L2语音的数量有限,该模型更有可能过拟合。为了限制这种风险,我们在多任务设置中对它进行训练。在第一个任务中,我们估计单词级发音错误的概率。对于第二个任务,我们使用的音素识别器训练的语音转录L1语音,很容易访问,可以自动注释。与最先进的方法相比,我们将AUC度量中检测单词级发音错误的准确性提高了30%,在L2波兰语使用者的GUT Isle语料库中,在L2德语和意大利语使用者的Isle语料库中,提高了21.5%。
2021-06-07 cs.LG eess.AS
Child ASR Adaptation with Adult Retention: An Empirical Study
Qatar Computing Research Institute(卡塔尔计算研究所)
本研究实证比较了多种ASR适配方法在儿童语音上的效果,发现直接适配会损害成人性能,而权重空间合并(如LERP和TIES)能更好地平衡儿童适配与成人保留。
2026-10-08 cs.AI cs.CL cs.LG
Pushing the performances of ASR models on English and Spanish accents
Meta AI
语音到文本模型倾向于针对单个目标口音进行训练和评估。对于英语来说尤其如此,来自美国的母语者成为主要基准。在这项工作中,我们将展示两种简单的方法:预训练的嵌入和辅助分类损失如何提高ASR系统的性能。我们正在寻找尽可能通用的升级,因此我们将探讨它们对几种模型架构和几种语言的影响。
2022-12-22 cs.CL cs.SD eess.AS
Leveraging Native Language Speech for Accent Identification using Deep Siamese Networks
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学学院)
自动口音识别的问题对于诸如说话人分析和识别以及对于改进语音识别系统的若干应用是重要的。语音的重音性质可以主要归因于说话者的母语对给定语音记录的影响。在本文中,我们提出了一种新的口音识别系统,其训练利用语音在母语随着口音。具体来说,我们开发了一个基于深度暹罗网络的模型,该模型学习口音语音记录和母语语音记录之间的关联。使用无监督高斯混合模型(GMM)或有监督深度神经网络(DNN)模型,利用从语音记录中提取的i向量特征来训练Siamese网络。我们使用CSLU外国口音英语(FAE)语料库进行了几个口音识别实验。在这些实验中,我们提出的使用深度暹罗网络的方法在10类口音识别任务中产生了15.4%的显着相对性能改进,超过了使用GMM i向量的基于DNN的基线分类系统。此外,我们提出了一个详细的错误分析建议口音识别系统。
2018-06-18 cs.CL cs.LG cs.SD
Domain-Aware Mispronunciation Detection and Diagnosis Using Language-Specific Statistical Graphs
Hanoi University of Science and Technology(河内理工大学);VNPT AI, VNPT Group(VNPT AI,VNPT集团);National Economics University(国家经济大学)
提出一种利用语言特定统计图学习音素混淆模式的方法,在L2-ARCTIC基准上实现59.52%的F1分数,优于多个基线。
2026-06-04 cs.CL cs.SD eess.AS
REDAT: Accent-Invariant Representation for End-to-End ASR by Domain Adversarial Training with Relabeling
Amazon(亚马逊)
口音不匹配是端到端ASR的关键问题。本文旨在通过构建一个具有领域对抗训练(DAT)的口音鲁棒RNN-T系统来解决这个问题。我们揭示了DAT背后的魔力,并首次提供了DAT学习重音不变表示的理论保证。我们还证明了在DAT中执行梯度反转等价于最小化域输出分布之间的Jensen-Shannon散度。出于等价性证明的动机,我们引入了reDAT,这是一种基于DAT的新技术,它使用无监督聚类或软标签重新标记数据。在23 K小时的多口音数据上的实验表明,DAT在本地和非本地英语口音的口音特定基线上取得了有竞争力的结果,但在看不见的口音上相对WER减少了13%;我们的reDAT在美国和英国英语的非本地口音上比DAT进一步提高了3%和8%。
2021-02-12 cs.AI cs.SD eess.AS
Prospective Validation of Motor-Based Intervention with Automated Mispronunciation Detection of Rhotics in Residual Speech Sound Disorders
Syracuse University(雪城大学);Haskins Laboratories(哈斯金斯实验室)
本研究针对临床语音技术实验室准确率可能偏乐观的问题,验证PERCEPT-R分类器在ChainingAI运动干预中预测临床医生对美式英语/r/判断的能力,发现联合治疗可显著提升患者未训练词汇表现,同时提出临床语音分类性能衡量需优化的问题。
2023-05-30 cs.SD eess.AS
Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment
Graduate School of AI, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对多维度发音评估中数据稀缺、分数分布不均的问题,提出两种结合批次平均特征的声学特征Mixup策略,搭配细粒度错误率特征,在speechocean762数据集上有效提升了评分性能。
2024-06-22 cs.AI cs.CL cs.SD
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(社会科学高等学院);INRIA(法国国家信息与自动化研究所);University of Paris(巴黎大学);University of Toronto(多伦多大学)
我们的母语影响我们感知语音的方式,影响我们辨别非母语声音的能力。我们比较了两个想法的影响,母语的语音感知:感知同化模型,呼吁到本地音素类别的声音的心理分类,与丰富的,细粒度的语音表示调谐到统计的母语的想法,是足够的。我们操作这个想法使用两个国家的最先进的语音模型,狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的,开放的数据集,讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现,音素同化是一个更好的预测比细粒度的语音建模,无论是作为一个整体的歧视行为,并预测与母语背景的差异相关的可辨别性的差异。我们还表明,wav2vec 2.0,而不是善于捕捉母语对语音感知的影响,是补充信息的母语音素同化,并提供了一个很好的模型,低层次的语音表示,支持的想法,即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
Proficiency assessment of L2 spoken English using wav2vec 2.0
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
英语作为第二语言学习的需求日益增长,导致人们对自动评估口语能力的方法越来越感兴趣。大多数方法使用手工制作的功能,但它们的有效性依赖于它们特定的基本假设,并且它们有可能丢弃有关熟练程度的潜在显着信息。其他方法依赖于由ASR系统产生的transmittance,其在特定场景中可能不提供学习者话语的忠实再现(例如,非母语儿童的自发言语)。此外,音准不产生任何有关方面的信息,如语调,节奏或韵律。在本文中,我们研究了使用wav2vec 2.0来评估两个小数据集的总体和个人方面的熟练程度,其中一个是公开的。我们发现,这种方法显着优于基于BERT的基线系统训练的ASR和手动transmittance用于比较。
2022-10-24 cs.CL cs.SD eess.AS
The DIRHA-English corpus and related tasks for distant-speech recognition in domestic environments
Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会)
本文介绍了在欧共体DIRHA项目下最近实现的DIRHA-ENGLISH多麦克风语料库的内容和可能的用途。参考场景是配备有分布在空间中的大量麦克风和麦克风阵列的家庭环境。语料库由真实和模拟材料组成,包括12名美国和12名英国英语母语者。每个演讲者都说出了不同的语音丰富的句子,报纸文章,对话,关键词和命令。从这些材料中,生成了一组1分钟的序列,其中还包括典型的家庭背景噪声以及房间间/室内混响效果。得到了测试集和Dev集,为多麦克风语音处理和远距离语音识别的研究提供了宝贵的资料。已经开发了各种任务和相应的Kaldi配方。该论文报告了使用不同技术获得的第一组基线结果,包括深度神经网络(DNN),与国际水平的最新技术保持一致。
2017-10-06 cs.CL cs.SD eess.AS
Compositional Phoneme Approximation for L1-Grounded L2 Pronunciation Training
Stanford University(斯坦福大学);KAIST(韩国科学技术院)
本文提出基于合成音素近似(CPA)的L1锚定发音训练方法,用母语音素序列近似二语声音,实验表明该方法能以极少训练显著提升韩语母语者的英语发音自然度和音素识别准确率。
2025-11-10 cs.CL cs.SD eess.AS
Multi-View Multi-Task Representation Learning for Mispronunciation Detection
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈马德·本·哈利法大学)
本文提出一种多视图多任务MDD架构,结合单语与多语编码器及发音特征辅助任务,在低资源L2数据下显著降低音素错误率并提升F1分数。
2023-08-07 cs.SD eess.AS
Enhancing Quranic Learning: A Multimodal Deep Learning Approach for Arabic Phoneme Recognition
Department of Electronics and Communication Engineering, Kocaeli University, 41001, Kocaeli, Turkey(电子与通信工程系,科拉尔大学);Department of Information Systems Engineering, Kocaeli University, 41001, Kocaeli, Turkey(信息系统工程系,科拉尔大学);Maviay Consultancy Company, Kocaeli University Technopark, 41275, Kocaeli, Turkey(Maviay咨询公司,科拉尔大学技术园区)
本文提出一种基于变压器的多模态框架,结合声学和文本表示,用于阿拉伯语音素误发音检测,通过融合策略提升精度与鲁棒性。
2025-11-21 cs.AI cs.SD
Phonological Level wav2vec2-based Mispronunciation Detection and Diagnosis Method
University of New South Wales(新南威尔士大学)
针对音素级MDD方法难以建模多样发音错误且诊断信息有限的问题,本文提出基于语音属性特征的低层级MDD方法,采用多标签CTC和预训练wav2vec2模型,在L2语音语料上显著降低了FAR、FRR和DER。
2023-11-13 cs.AI cs.CL eess.AS
Correcting Mispronunciations in Speech using Spectrogram Inpainting
Bar-Ilan University(巴伊兰大学);Rambam Health Care Campus(兰巴姆医疗中心);Technion--Israel Institute of Technology(以色列理工学院)
学习一门新的语言需要不断地将语音产品与环境中的参考产品进行比较。在语言习得的早期,儿童会进行发音调整以匹配其照顾者的语言。成年的语言学习者会调整他们的讲话以配合导师的参考。本文提出了一种在不正确发音的情况下综合生成正确发音反馈的方法。此外,我们的目标是在保持说话者原始声音的同时生成校正的产品。系统提示用户发音短语。语音被记录下来,与不准确的音素相关的样本被零屏蔽。该波形用作语音发生器的输入,实现为具有U-net架构的深度学习修复系统,并经过训练以输出重建的语音。训练集由未受损的正常语音样本组成,并且生成器被训练以重建原始正常语音。我们评估了我们的系统上的最小对英语单词的音素替换以及发音障碍的儿童的性能。结果表明,人类听众稍微喜欢我们生成的语音比一个平滑的替代不准确的音素与生产不同的扬声器。
2022-06-30 cs.LG eess.AS
Evaluating Logit-Based GOP Scores for Mispronunciation Detection
Centre for Language Studies(语言研究学院)
本文针对发音错误检测比较基于 logit 与基于概率的 GOP 分数,在两个二语英语数据集上验证其分类和人工评分相关性,发现最大 logit GOP 最贴合人类感知,混合方法更优。
2025-07-08 cs.AI cs.SD eess.AS
Mispronunciation Detection Without L2 Pronunciation Dataset in Low-Resource Setting: A Case Study in Finland Swedish
Department of Information and Communications Engineering(信息与通信工程系);Department of Language and Communication Studies(语言与交流研究系);Department of Education(教育系)
针对芬兰瑞典语等低资源语言缺乏错音检测工具的问题,提出基于多语言wav2vec 2.0并结合熵正则化等适配方法的模型,仅需少量L2数据,实现召回率与精确率的平衡,且具有语言无关性。
2025-06-01 cs.CL cs.SD eess.AS
DDSupport: Language Learning Support System that Displays Differences and Distances from Model Speech
The University of Tokyo, Tokyo, Japan(东京大学);Sony CSL Kyoto, Kyoto, Japan(索尼CSL京都)
本文提出DDSupport系统,通过小规模未标注语音数据计算学习者发音评分和错误识别,以直观方式展示学习者与模型发音的差异和距离,帮助非母语者提升英语口语清晰度。
2022-12-08 cs.HC cs.LG cs.SD
Non-native English lexicon creation for bilingual speech synthesis
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)(Zapr媒体实验室(红砖巷营销解决方案私人有限公司))
双语英语者把英语作为他们的语言之一。他们的英语是一种非母语的,他们的谈话是一种代码混合的方式。双语文本到语音(TTS)系统的可理解性,这样的非英语母语的人依赖于一个词汇,捕捉非母语的人使用的音素序列。然而,由于缺乏非母语英语词汇,现有的双语TTS系统采用母语英语词汇,广泛使用,除了他们的母语词汇。由于音频中的非母语英语发音和文本中的母语英语词汇之间的不一致,在这种TTS系统中合成语音的可懂度显著降低。本论文的研究动机是:说话者的母语对非母语英语发音有很大的影响。我们提出了一个通用的方法来获得规则的基础上,字母音素对齐映射母语英语词汇到他们的非母语版本。这种映射的有效性进行了研究,通过比较双语(印度英语和印地语)TTS系统训练和不建议的规则。主观评价表明,与建议的非母语英语词汇规则训练的双语TTS系统获得了6%的绝对改善的偏好。
2021-06-21 cs.CL cs.SD eess.AS
Speech Technology for Everyone: Automatic Speech Recognition for Non-Native English with Transfer Learning
The University of British Columbia(不列颠哥伦比亚大学)
为了解决英语ASR模型在L2英语使用者上的性能差距,我们评估了预训练的wav2vec 2.0模型的微调(Baevski等人,2020年; Xu等人,2021)在L2-ARCTIC上,非母语英语语音语料库(Zhao等人,2018年,在不同的培训环境下。我们比较了使用不同口音组合训练的\textbf{(a)}模型与仅使用特定口音训练的模型,以及来自不同单口音模型的\textbf{(b)}结果。我们的实验证明了为非英语母语者开发ASR模型的前景,即使只有少量的L2训练数据,甚至没有语言模型。我们的模型在zero-shot设置中也表现出色,我们在多个L2数据集上进行训练,并在盲L2测试集上进行测试。
2021-10-15 cs.CL cs.LG eess.AS
Detection of Lexical Stress Errors in Non-Native (L2) English with Data Augmentation and Attention
Amazon TTS-Research(亚马逊TTS研究);Gdansk University of Technology(格但斯克理工大学)
本文介绍了两种新的互补技术,提高了非母语(L2)英语语音中的词汇重音错误的检测:基于注意力的特征提取和基于神经文本到语音(TTS)的数据增强。在经典的方法中,音频特征通常从语音的固定区域(诸如音节核)提取。我们提出了一种基于注意力的深度学习模型,该模型可以从帧级和音素级音频特征中自动获得最佳音节级表示。训练这个模型是具有挑战性的,因为不正确的压力模式数量有限。为了解决这个问题,我们建议用神经TTS生成的错误重音的单词来增加训练集。结合这两种技术实现了94.8%的准确率和49.2%的召回率检测不正确强调的话在L2英语语音的斯拉夫语和波罗的海的发言者。
2021-06-07 cs.SD eess.AS
Frequency-centroid features for word recognition of non-native English speakers
University College Dublin(都柏林大学学院);ADAPT SFI Research Centre(ADAPT SFI研究中心)
这项工作的目的是调查互补功能,可以帮助典型的梅尔频率倒谱系数(MFCC)的封闭的,有限的一套字识别的任务,非英语母语的不同母语。与从语音信号的频谱能量导出的MFCC不同,所提出的频率质心(FC)封装语音频谱的不同频带的频谱中心,其中频带由Mel滤波器组定义。这些功能,与MFCC相结合,观察到提供相对的性能改善,在英语单词识别,特别是在不同的噪声条件下。使用两阶段卷积神经网络(CNN)对带有阿拉伯语、法语和西班牙语口音的英语单词进行特征建模。
2022-06-14 cs.CL cs.SD eess.AS
Enhancing GOP in CTC-Based Mispronunciation Detection with Phonological Knowledge
Centre for Language Studies(语言研究中心)
针对无对齐 GOP 计算昂贵且扩展性差的问题,本文提出基于音素簇与学习者常见错误的感知替换无对齐 GOP,并在两个二语英语数据集上验证其优于基线。
2025-07-08 cs.AI eess.AS
Leveraging native language information for improved accented speech recognition
考虑到世界范围内以英语作为第二语言的双语人群的增长,口音语音的识别是自动语音识别(ASR)系统的长期挑战。如果我们将外国口音语音视为母语(L1)和英语(L2)的插值,则使用可以同时处理两种语言的模型将在口音语音的声学水平上表现得更好。在这项研究中,我们探索了一个端到端的递归神经网络(RNN)训练的英语和母语(西班牙语和印度语)系统如何利用母语数据来提高口音英语语音的性能。为此,我们研究了用母语进行的预训练,以及多任务学习(MTL),其中主要任务用母语英语进行训练,次要任务用西班牙语或印度语进行训练。我们表明,所提出的MTL模型比预训练方法表现更好,并且优于仅用英语数据训练的基线模型。我们建议MTL的一个新的设置,其中的次要任务是训练与英语和母语,使用相同的输出集。这个提议的场景产生了更好的性能,西班牙裔和印度口音的字符错误率分别比基线增加了+11.95%和+17.55%。
2019-04-18 eess.AS
A Pilot Study of Applying Sequence-to-Sequence Voice Conversion to Evaluate the Intelligibility of L2 Speech Using a Native Speaker's Shadowings
Graduate School of Engineering, The University of Tokyo(东京大学工学系研究科)
本文通过序列到序列语音转换技术构建虚拟跟读系统,模拟母语者对二语语音的跟读行为,以细粒度反馈帮助二语学习者检测和诊断发音及韵律问题,实验验证了该方法的可行性。
2024-10-03 cs.CL cs.SD eess.AS
Deep segmental phonetic posterior-grams based discovery of non-categories in L2 English speech
The Chinese University of Hong Kong(香港中文大学)
第二语言(L2)语音通常被标记为母语,电话类别。然而,在许多情况下,很难决定L2段所属的分类电话。这些部分被视为非类别。现有的发音错误检测和诊断方法大多只涉及分类错误,即插入、删除或替换一个音素类别。然而,不考虑非分类错误。为了模拟这些非分类错误,这项工作的目的是探索非分类模式,以扩大分类音素集。我们应用一个语音段分类器来产生分段语音后验图(SPPG)来表示音素段级信息。然后我们通过寻找具有多个峰值的SPPG来探索非类别。与基线系统相比,该方法探索了更多的非类别模式,并且感知实验结果表明,在两种不同的测量下,探索的非类别更准确,混淆度分别增加了7.3%和7.5%。最后,我们初步分析了这些非范畴现象背后的原因。
2020-02-01 cs.CL cs.SD eess.AS
Automated detection of pronunciation errors in non-native English speech employing deep learning
Gdansk University of Technology(格但斯克工业大学)
尽管近年来取得了重大进展,但现有的计算机辅助发音训练(CAPT)方法检测发音错误的准确率相对较低(在40%-80%的召回率下,准确率为60%)。这个博士工作提出了新的深度学习方法,用于检测非母语(L2)英语语音中的发音错误,在AUC度量(曲线下面积)方面优于最先进的方法41%,即,从0.528到0.749。现有CAPT方法的问题之一是发音检错模型的可靠训练所需的带注释的发音错误的语音的低可用性。因此,发音错误的检测被重新定义为生成合成错误发音语音的任务。直觉上,如果我们能够模仿发音错误的语音并产生任何数量的训练数据,那么检测发音错误将更加有效。此外,为了消除需要对齐规范和已识别的音素,提出了一种新的端到端的多任务技术,直接检测发音错误。发音检错模型已经在Amazon上用于自动检测合成语音中的发音错误,以加速对新的语音合成方法的研究。研究表明,所提出的深度学习方法适用于检测和重建构音障碍语音的任务。
2022-09-13 cs.SD eess.AS q-bio.OT
Articulatory-WaveNet: Autoregressive Model For Acoustic-to-Articulatory Inversion
University of Kentucky(肯塔基大学)
本文介绍了Articulatory-WaveNet,这是一种用于声学到发音器倒置的新方法。所提出的系统使用WaveNet语音合成架构,其中扩张的因果卷积层使用以声学特征为条件的预测发音轨迹的先前值。该系统进行了训练和评估的普通话口音英语(EMA-MAE),包括39个扬声器,包括母语为英语和母语为普通话的人说英语的电磁关节造影语料库。结果显示,新方法的生成和真实发音轨迹之间的相关性和RMSE都有显着改善,平均相关性为0.83,比基线隐马尔可夫模型(HMM)-高斯混合模型(GMM)反演框架获得的0.61相关性相对改善了36%。据我们所知,本文提出了第一个应用程序的逐点波形合成方法的问题,声学发音反转和结果表明,改善性能相比,以前的方法,扬声器相关的声学发音反转。
2020-06-22 cs.LG cs.SD eess.AS
Towards Natural Bilingual and Code-Switched Speech Synthesis Based on Mix of Monolingual Recordings and Cross-Lingual Voice Conversion
Alibaba Group(阿里巴巴集团)
最近的国家的最先进的神经文本到语音(TTS)合成模型,显着提高了可懂度和自然度的生成语音的文本。然而,建立一个良好的双语或代码转换的TTS为特定的声音仍然是一个挑战。主要原因是,它是不容易获得一个双语语料库的发言者谁达到母语水平的流利性,在两种语言。在本文中,我们探讨了使用普通话语音录音从普通话扬声器,英语语音录音从另一个英语扬声器,以建立高品质的双语和代码切换TTS为两个扬声器。基于Tacotron 2的跨语言语音转换系统被用来生成汉语人的英语语音和英语人的汉语语音,它们表现出良好的自然度和说话人相似度。然后,使用Transformer模型合成的码切换话语来增强所获得的双语数据。在此基础上,本文采用Tacotron 2、Transformer和FastSpeech三种神经元TTS模型分别构建了双语和语码转换的TTS系统。主观评价结果表明,这三个系统都可以产生(近)母语水平的语音在两种语言的每个扬声器。
2020-10-16 cs.LG cs.SD eess.AS
QVoice: Arabic Speech Pronunciation Learning Application
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
QVoice是一款基于端到端错误检测与反馈生成模块的阿拉伯语发音学习应用,通过多种学习提示提供字符级反馈和单词级评估,帮助非母语者及受方言影响的母语者提升现代标准阿拉伯语发音。
2023-05-09 cs.CL cs.SD eess.AS
Analyzing the Impact of Accent on English Speech: Acoustic and Articulatory Perspectives
Institues for Systems Research(系统研究所)
本研究通过声学与发音分析,发现带口音英语语音具有更简单的协调模式和更高的平均音高,并利用特征谱和声道变量特征建立了一种无需语音转写即可量化口音强度的方法,为开发包容性语音处理系统提供新途径。
2025-06-04 eess.AS eess.SP
The formation of perceptual space in early phonetic acquisition: a cross-linguistic modeling approach
The University of Hong Kong(香港大学)
本研究通过跨语言建模方法,利用自编码器在无上下文声学信息上进行无监督训练,发现母语与非母语条件能形成可比的感知空间表示,揭示了早期语音习得中感知空间与语音类别的形成机制。
2024-07-26 cs.CL cs.LG cs.SD
Non-native Speaker Verification for Spoken Language Assessment
University of Cambridge(剑桥大学)
自动口语评估系统正变得越来越流行,以处理日益增长的兴趣在第二语言学习。这些系统面临的一个挑战是检测渎职行为。舞弊可以采取多种形式,本文着重于检测当一个候选人试图模仿另一个在口语测试。这种形式的弊端与说话人确认密切相关,但适用于口语评估这一特定领域。高级说话人验证系统利用深度学习方法提取说话人表示,已成功应用于一系列母语验证任务。本文针对非母语英语口语数据对这些系统进行了探索。用于演讲者注册和验证的数据主要来自BULATS测试,该测试评估商业英语语言技能。系统的性能训练相对有限的BULATS数据,和标准的大型扬声器验证语料库,进行了比较。在具有数百万次试验的大规模测试集上的实验结果表明,通过使导入的模型适应非原生数据,可以实现最佳性能。分析了不同第一语言(L1)和年级的冒名顶替者试验,这表明L1之间的冒名顶替者对说话人确认系统更具挑战性。
2019-09-30 cs.CL cs.SD eess.AS