speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation(小米公司);SpeechOcean Ltd.(海天瑞声科技股份有限公司)
本文介绍了一个名为“speechocean 762”的新开源语音语料库,旨在用于发音评估,由来自250名非母语人士的5000句英语话语组成,其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的,以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载,相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
Multitask Learning for Grapheme-to-Phoneme Conversion of Anglicisms in German Speech Recognition
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所)
本文提出多任务序列到序列方法,通过区分外来词与本土词提升德语外来词发音转换效果,减少识别错误率。
2022-01-18 cs.CL cs.SD eess.AS
Speech Representations and Phoneme Classification for Preserving the Endangered Language of Ladin
University of Southern California(南加州大学)
据预测,世界上7,000种口语中的绝大多数将在本世纪内灭绝,包括意大利阿尔卑斯山的拉丁语。致力于保存一种语言的语音和音韵结构的语言学家可能会花费数小时来转录母语人士的每一分钟讲话。为了解决这个问题的上下文中的Ladin,我们的论文提出了第一次分析的语音表示和机器学习模型分类32音素的Ladin。我们实验了一个新的数据集的法西斯方言的拉丁语,从母语在意大利收集。我们创建了帧级和段级语音特征提取方法,并使用在9种不同语音表示上训练的8种不同分类器进行了广泛的实验。我们的语音表示范围从传统特征(MFCC,LPC)到使用深度神经网络模型学习的特征(自动编码器,LSTM自动编码器和WaveNet)。我们最高性能的分类器,在语音信号的MFCC表示上训练,在所有Ladin音素中达到了86%的平均准确率。我们还获得了77%以上的平均精度为所有Ladin音素分组检查。我们的研究结果为学习有区别的Ladin音素表示提供了见解,并展示了利用机器学习和语音信号处理来保护Ladin和其他濒危语言的潜力。
2021-08-27 cs.CL cs.LG eess.AS
Beam Search Decoding using Manner of Articulation Detection Knowledge Derived from Connectionist Temporal Classification
Department of Computer Science
使用深度神经网络的发音检测方式需要属性判别特征或恰当的音素对齐的先验知识。然而,产生一个适当的音素对齐是复杂的,其性能取决于选择的最佳数目的senones,高斯等,在我们的工作的第一部分,我们利用的方式使用连接主义的时间分类(CTC),不需要任何音素对齐的发音检测。之后,我们修改了国家的最先进的字符为基础的后验生成CTC使用的方式,清晰度CTC检测器。对修改后的后验进行束搜索解码,并观察其对AN4和LibriSpeech等开源数据集的影响。
2018-11-16 cs.CL
Non-native English lexicon creation for bilingual speech synthesis
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)(Zapr媒体实验室(红砖巷营销解决方案私人有限公司))
双语英语者把英语作为他们的语言之一。他们的英语是一种非母语的,他们的谈话是一种代码混合的方式。双语文本到语音(TTS)系统的可理解性,这样的非英语母语的人依赖于一个词汇,捕捉非母语的人使用的音素序列。然而,由于缺乏非母语英语词汇,现有的双语TTS系统采用母语英语词汇,广泛使用,除了他们的母语词汇。由于音频中的非母语英语发音和文本中的母语英语词汇之间的不一致,在这种TTS系统中合成语音的可懂度显著降低。本论文的研究动机是:说话者的母语对非母语英语发音有很大的影响。我们提出了一个通用的方法来获得规则的基础上,字母音素对齐映射母语英语词汇到他们的非母语版本。这种映射的有效性进行了研究,通过比较双语(印度英语和印地语)TTS系统训练和不建议的规则。主观评价表明,与建议的非母语英语词汇规则训练的双语TTS系统获得了6%的绝对改善的偏好。
2021-06-21 cs.CL cs.SD eess.AS
The Relevance of Text and Speech Features in Automatic Non-native English Accent Identification
Iowa State University(爱荷华州立大学)
本文介绍了我们的实验与自动识别母语口音的语音样本的非英语母语者使用低级别的音频功能,和n-gram功能,从手动transmittance。使用一个公开的非母语语音语料库和简单的音频特征表示,不执行字/音素识别,我们表明,这是可能实现接近90%的分类精度为这项任务。虽然字符n-gram执行类似的语音功能,我们表明,语音功能不受提示的变化,而ngram。由于遵循的方法可以很容易地适应任何语言,只要我们有足够的训练数据,我们相信这些结果将提供有用的见解口音识别系统的发展和口音的语言学习的背景下的研究。
2018-04-16 cs.CL
L1-aware Multilingual Mispronunciation Detection Framework
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
本文提出 L1-MultiMDD 框架,通过融合 L1 感知语音表示和 CTC 多语言音素识别,在英语、阿拉伯语和普通话上显著提升发音错误检测性能与泛化能力。
2023-09-21 cs.CL cs.SD eess.AS
Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
Human-Computer Communications Laboratory(人机通信实验室);The Chinese University of Hong Kong(香港中文大学);SpeechX Limited(SpeechX有限公司);University of Cambridge(剑桥大学)
虽然典型语音的语音转换(VC)已经取得了显著的进展,但是对于非典型语音的VC,例如,构音障碍和第二语言(L2)语音仍然是一个挑战,因为它涉及在保持说话者身份的同时纠正非典型韵律。为了解决这个问题,我们提出了一个具有显式韵律建模和深度说话人嵌入(DSE)学习的VC系统。首先,语音编码器努力从非典型语音中提取鲁棒的音素嵌入。第二,韵律校正器接收音素嵌入以推断典型的音素持续时间和音高值。第三,转换模型将音素嵌入和典型韵律特征作为输入以生成转换后的语音,条件是通过扬声器编码器或扬声器自适应学习的目标DSE。大量的实验表明,说话人自适应可以实现更高的说话人相似度,和说话人编码器为基础的转换模型,可以大大减少构音障碍和非母语发音模式,提高语音可懂度。对构音障碍语音和转换语音的语音识别结果的比较表明,该方法可以实现47.6%的字符错误率(CER)和29.3%的单词错误率(WER)的绝对降低。
2021-06-17 cs.CL cs.SD eess.AS
The Learning Objective Governs Perceptual Narrowing: A Cross-Lingual, Layer-Wise, Ten-Seed Study of Self-Supervised Speech Encoders
该研究通过十种子实验发现,自监督语音编码器的学习目标(而非架构)是感知窄化型表征变化的首要决定因素,重构与预测目标对非母语音素辨别能力的影响相反。
2026-08-04 cs.CL eess.AS
Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);NovoLearning
本研究评估了Wav2Vec2.0和Whisper AI两种ASR系统在母语与非母语荷兰语儿童语音上的表现,发现预训练transformer模型能有效识别并提取音素发音质量的详细反馈,支持儿童外语学习。
2023-06-29 cs.CL cs.SD eess.AS
Experiments of ASR-based mispronunciation detection for children and adult English learners
University of Trento(特伦托大学);University of Groningen(格罗宁根大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会(FBK))
发音是语言学习的基础之一,当涉及到理解和被他人理解时,它被认为是口语的主要因素。在语音识别领域中,由于发音错误而导致的高出错率的持续存在促使我们寻找用于处理发音错误的替代技术。在这项研究中,我们开发了一个发音错误的评估系统,检查发音的非英语母语者,确定了意大利英语学习者的常见发音错误的音素,并提出了一个评价的语音注释语音语料库中观察到的非母语发音。在这项工作中,为了检测发音错误,我们使用了基于电话的ASR,使用Kaldi实现。我们使用了两个非母语的英语标记语料库;(i)意大利成年人的语料库包含来自46个扬声器的5,867话语,(ii)意大利儿童的语料库由来自78个儿童的5,268话语组成。我们的研究结果表明,所选择的错误模型可以区分正确的声音从不正确的声音在本族语和非本族语的话,因此可以用来检测发音错误在非本族语。电话出错率显示使用错误语言模型的改善。ASR系统显示出更好的准确性后,我们所选择的语料库中应用的错误模型。
2021-04-13 cs.CL cs.SD eess.AS
Scaling Human and G2P Supervision for Robust Phonetic Transcription
Koel Labs LLC
研究自动语音转录中人类标注与G2P监督的扩展规律,发现当人类标注少于20-30小时时G2P有效,超过后无益甚至降低鲁棒性,而ASR预训练可显著提升性能。
2026-06-16 cs.CL cs.LG cs.SD
Cross-lingual Low Resource Speaker Adaptation Using Phonological Features
Innoetics, Samsung Electronics(三星电子 Innoetics);Mobile Communications Business, Samsung Electronics(三星电子移动通信事业部)
最近提出了使用音位特征代替音素作为序列到序列TTS的输入的思想,用于zero-shot多语言语音合成。这种方法对于语码转换很有用,因为它有助于在母语文本流中无缝地说出嵌入的外语文本。在我们的工作中,我们训练一个语言无关的多说话人模型的条件下,一组不同语言的语音衍生功能,实现跨语言的扬声器自适应的目标。我们首先实验了语音相似性对几种源-目标语言组合的跨语言TTS的影响。随后,我们用一个新的说话者的声音在一个看到的或看不见的语言非常有限的数据微调模型,并实现同等质量的合成语音,同时保留目标说话者的身份。与32和8话语的目标说话人的数据,我们得到了较高的说话人相似性分数和自然度相媲美的相应文献。在只有2个可用的适应话语的极端情况下,我们发现我们的模型表现为一个Few-Shot学习者,因为在可见和不可见的适应语言场景中的性能是相似的。
2021-11-17 cs.CL cs.LG cs.SD
Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost
Praxy Voice
本文提出Praxy Voice,通过BUPS和LoRA适配器在无需训练声学解码器的情况下,实现从非印地语基础到印地语、泰米尔语和塔米尔语的商业级TTS输出,同时解决代码混合问题。
2026-04-28 cs.CL cs.SD eess.AS