PAID: Phoneme-Aligned Acoustic Units for Cross-Corpus L1-Background Classification
EURECOM(欧洲多媒体通信与网络研究所)
提出转录辅助模型,用音素级发音单元表示语句,在L2-ARCTIC上实现81.41%准确率,验证音素信息对L2英语口音识别的有效性。
2026-11-05 eess.AS
No Need for a Lexicon? Evaluating the Value of the Pronunciation Lexica in End-to-End Models
Google, Inc.(谷歌公司)
几十年来,上下文相关的音素一直是传统声学建模系统的主要子词单元。这种现状最近开始受到端到端模型的挑战,端到端模型试图将声学、发音和语言模型组件组合到单个神经网络中。这种系统通常预测字素或单词,简化了识别过程,因为它们不需要单独的专家策划的发音词典来从基于音素的单元映射到单词。然而,以前很少有工作比较音素为基础的与基于字素的子字单元在端到端的建模框架,以确定是否从这些方法的收益主要是由于新的概率模型,或从联合学习的各种组件与基于字素的单元。在这项工作中,我们进行了详细的实验,旨在量化的端到端模型的上下文中基于音素的发音词汇的价值。我们研究音素为基础的端到端的模型,这是对比基于字的一个大词汇量的英语语音搜索任务,在那里我们发现,字确实优于音素。我们还比较了字素和音素为基础的方法上的多方言英语任务,这再次证实了字素的优越性,大大简化了系统识别多种方言。
2017-12-05 cs.CL cs.SD eess.AS
Multitask Learning for Grapheme-to-Phoneme Conversion of Anglicisms in German Speech Recognition
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所)
本文提出多任务序列到序列方法,通过区分外来词与本土词提升德语外来词发音转换效果,减少识别错误率。
2022-01-18 cs.CL cs.SD eess.AS
Preserving Phonemic Distinctions for Ordinal Regression: A Novel Loss Function for Automatic Pronunciation Assessment
National Taiwan Normal University(台湾师范大学);E.SUN Financial Holding Co., Ltd.(玉山金融控股股份有限公司)
针对自动发音评估中回归模型同一等级不同音位区分性不足的问题,提出融合音位区分正则项的PCO损失,兼顾音位区分与等级有序性,在speechocean762数据集上优于现有主流模型。
2023-10-04 cs.CL cs.SD eess.AS
Improving grapheme-to-phoneme conversion by learning pronunciations from speech recordings
Amazon Alexa(亚马逊Alexa)
本文提出一种利用少量标注样本初始化G2P模型,并通过训练多语言音素识别系统解码语音录音,进而为未登录词学习发音词典以重训G2P系统的方法,有效降低了跨语言和不同数据量下的音素错误率。
2023-07-31 cs.CL eess.AS
Graph Connectionist Temporal Classification for Phoneme Recognition
Department of Electrical Engineering-ESAT, KU Leuven, Belgium(电气工程-ESAT系,卢森堡大学)
针对G2P系统产生多发音标注导致CTC训练无法处理歧义的问题,本文提出将图时序分类(GTC)用于音素识别,在英语和荷兰语数据上验证了多发音监督可稳定降低音素错误率。
2025-09-05 cs.AI eess.AS
Improved Mispronunciation detection system using a hybrid CTC-ATT based approach for L2 English speakers
UpGrad(UpGrad 教育科技公司)
这份报告提出了计算机辅助语言学习(CALL)领域的最新研究。发音错误检测是计算机辅助语音训练系统(CAPT)的核心部分之一,CAPT是CALL的一个子集。关于自动发音错误检测的研究始于20世纪90年代,但由于计算能力的提高和用于记录发音分析所需语音的移动设备的可用性,在过去十年中,全面的CAPT的发展才加速。发音错误的检测是一个很难解决的问题,因为没有正式的定义正确和不正确的发音。结果,通常检测到诸如音素替换、插入和删除的韵律和音素错误。此外,人们已经同意,学习发音应侧重于说话者的可理解性,而不是听起来像一个L1英语发言者。最初,使用高斯混合模型-隐马尔可夫模型和深度神经网络-隐马尔可夫模型方法开发了称为良好发音的后验似然方法。与最近提出的基于ASR的端到端错误发音检测系统相比,这些是复杂的系统。本研究的目的是建立端到端(E2 E)模型使用连接主义时间分类(CTC)和基于注意的序列解码器。最近,E2 E模型在错误发音检测准确性方面已经显示出相当大的改进。本研究将比较基线模型CNN-RNN-CTC、基于字符序列的注意力解码器的CNN-RNN-CTC和基于音素的解码器系统的CNN-RNN-CTC。这项研究将有助于我们在决定一个更好的方法来开发一个有效的发音错误检测系统。
2022-01-25 cs.SD eess.AS
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation(小米公司);SpeechOcean Ltd.(海天瑞声科技股份有限公司)
本文介绍了一个名为“speechocean 762”的新开源语音语料库,旨在用于发音评估,由来自250名非母语人士的5000句英语话语组成,其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的,以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载,相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
MuFFIN: Multifaceted Pronunciation Feedback Model with Interactive Hierarchical Neural Modeling
本文提出MuFFIN模型,通过交互式分层神经网络联合处理发音错误检测与自动发音评估,并引入音素对比序数正则化及针对数据不平衡的训练目标,在Speechocean762基准上达到最先进性能。
2025-10-07 cs.AI eess.AS
IPA-CLIP: Integrating Phonetic Priors into Vision and Language Pretraining
Nagoya University(名古屋大学);Kyoto University(京都大学);University of Human Environments(人类环境大学);Chukyo University(中京大学);RIKEN(理化学研究所)
近年来,大规模的视觉和语言(V\&L)预训练已经成为许多多媒体系统的标准骨干。虽然它即使在看不见的情况下也表现出卓越的性能,但它通常以人类不直观的方式执行。特别是,它们通常不考虑输入的发音,人类将利用这些发音来理解语言,特别是当涉及到未知单词时。为此,本文在语音预训练模型之一的对比图像预训练(CLIP)中加入语音先验,使其考虑语音输入之间的语音相似性。为了实现这一点,我们首先提出了一个音素嵌入,利用国际音标(IPA)表提供的音素关系作为语音先验。其次,通过提取冻结的CLIP文本编码器,我们训练一个发音编码器采用基于IPA的嵌入。该模型命名为IPA-CLIP包括这个发音编码器和原始CLIP编码器(图像和文本)。定量评估表明,音素分布的嵌入空间表示语音关系更准确地使用建议的音素嵌入。此外,在一些多模态检索任务中,我们确认,建议的发音编码器提高了文本编码器的性能,发音编码器处理无意义的单词在一个更语音的方式比文本编码器。最后,定性评估验证了发音编码器和人类感知之间的相关性,关于发音相似性。
2023-03-06 cs.CL cs.MM cs.SD
Detection of Cross-Dataset Fake Audio Based on Prosodic and Pronunciation Features
University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
针对虚假音频检测在域外测试中泛化性差的问题,提出融合韵律、发音和wav2vec的多视角特征方法,显著提升了跨数据集检测性能。
2023-05-23 cs.SD eess.AS
Learning pronunciation from a foreign language in speech synthesis networks
Neosapience, Inc.(Neosapience公司);Massachusetts Institute of Technology(麻省理工学院)
虽然世界上有6,500多种语言,但许多音素的发音在不同语言中听起来都很相似。人们在学习外语时,其发音往往反映出本族语的特点。这促使我们研究语音合成网络如何从不同语言的数据集学习发音。在本研究中,我们有兴趣分析和利用多语言语音合成网络。首先,我们用英语和韩语对语音合成网络进行了双语训练,并分析了网络是如何学习两种语言之间的音素发音关系的。我们的实验结果表明,如果不同语言的发音相似,则学习到的音素嵌入向量的位置会更接近。因此,经过训练的网络可以合成说英语的人的韩语语音,反之亦然。利用这一结果,我们提出了一个培训框架,利用不同的语言的信息。具体来说,我们使用来自高资源语言和低资源语言的数据集预训练语音合成网络,然后使用低资源语言数据集微调网络。最后,我们在10种不同的语言上进行了更多的模拟,以证明它通常可以扩展到其他语言。
2020-06-24 cs.CL cs.LG cs.SD
Pronunciation Generation for Foreign Language Words in Intra-Sentential Code-Switching Speech Recognition
Anhui University(安徽大学)
语码转换是指在句子或语篇中转换语言的现象。然而,有限的语码转换、不同语言的音素集和高昂的重建成本给语码转换语音识别的专用声学模型提出了挑战。本文利用有限的语码转换数据作为驱动材料,探索在委托的母语声学模型上快速培养句内语码转换识别技能的捷径,提出了一种数据驱动的方法来制作种子词典,用于训练字形到音素模型,预测语码转换句子中外语词的映射发音。本文数据驱动技术的核心工作包括语音解码方法和不同的选择方法。而对于词级驱动材料不均衡的问题,我们有一个内在的辅助启示,即利用形素-音素模型,学习材料充足的词中好的发音规则,帮助材料稀缺的词。实验结果表明,采用数据驱动的方法,通过加入外语词的发音,可以使语内汉英码转换识别的混合出错率从纯汉语识别器的29.15%降低到12.13%,最后结合不同的选择方法和内部辅助策略,得到了最好的结果11.14%。
2022-10-26 cs.CL cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University(首尔国立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出结合不确定性量化的改进GoP方法,通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能,在英语、韩语和泰米尔语上均优于基线,并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
Pronunciation-Lexicon Free Training for Phoneme-based Crosslingual ASR via Joint Stochastic Approximation
Xinjiang University(新疆大学);Tsinghua University(清华大学)
本研究提出无需音素词典的跨语言语音识别方法,通过联合随机近似算法提升模型性能,实现误差率降低。
2025-12-16 cs.AI cs.CL eess.AS
Masked Acoustic Unit for Mispronunciation Detection and Correction
Zhejiang University(浙江大学)
计算机辅助发音训练(CAPT)在语言学习中发挥着重要作用。传统的基于ASR的CAPT方法需要昂贵的注释地面真实发音的监督训练。同时,某些未定义的非母语音素不能被正确地分类为标准音素,使得注释过程具有挑战性和主观性。另一方面,基于ASR的CAPT方法只能给学习者关于错误发音的基于文本的反馈,但不能教学习者如何正确发音。为了解决这些局限性,我们建议使用声学单位(AU)作为中间功能的发音错误检测和纠正。该方法利用被掩蔽的AU序列和目标音素检测出错误AU并进行纠正,从而为学习者提供基于语音的自模仿反馈,使CAPT具有更强的教育功能。
2022-05-04 cs.SD eess.AS
Leveraging Allophony in Self-Supervised Speech Models for Atypical Pronunciation Assessment
Carnegie Mellon University(卡内基梅隆大学)
针对非典型发音评估中音位变体建模被简化的问题,提出结合冻结自监督语音模型特征与高斯混合模型的MixGoP方法,在多数数据集上达最优,验证了S3M特征捕捉音位变体的优势。
2025-03-24 cs.AI cs.CL cs.LG
PhonMatchNet: Phoneme-Guided Zero-Shot Keyword Spotting for User-Defined Keywords
NCSOFT Corporation(NCSOFT公司)
提出PhonMatchNet,利用关键词音频-音素关系,结合双流编码器与音素级损失,实现零样本关键词唤醒,性能显著优于基线,平均EER和AUC相对提升67%和80%。
2023-08-31 cs.SD eess.AS eess.SP
Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
尽管最近在端到端(E2 E)ASR系统的代码切换方面取得了重大进展,但对音频文本配对数据的饥饿限制了模型性能的进一步提高。本文提出了一个解耦的Transformer模型,利用单语配对数据和非配对文本数据来缓解语码转换数据不足的问题。该模型被解耦为两个部分:音频到音素(A2 P)网络和音素到文本(P2 T)网络。A2 P网络可以使用大规模单语配对数据来学习声学模式场景。同时,它在训练过程中实时生成单个音频数据的多个音素序列候选。然后使用生成的语音-文本配对数据来训练P2 T网络。该网络可以使用大量外部未配对文本数据进行预训练。解耦的Transformer模型通过使用单语数据和不成对的文本数据,在一定程度上降低了E2 E模型对语码转换成对训练数据的高度依赖性。最后通过注意力融合对两个网络进行联合优化。我们在公开的汉英语码转换数据集上对所提出的方法进行了评估。与我们的Transformer基线相比,该方法实现了18.14%的相对混合出错率降低。
2020-10-28 cs.CL cs.SD eess.AS
Hierarchical Pronunciation Assessment with Multi-Aspect Attention
Graduate School of AI, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
本文提出HiPAMA模型,通过分层表示音素、单词和话语粒度并引入多方面注意力捕捉同层跨方面关联,以提升多任务发音评估性能,在speechocean762上表现优异。
2023-05-26 cs.CL cs.SD eess.AS
Spoken Term Detection and Relevance Score Estimation using Dot-Product of Pronunciation Embeddings
University of West Bohemia(西波西米亚大学)
本文描述了一种使用深度LSTM网络在大型口语档案中进行口语术语检测(STD)的新方法。这项工作是基于以前的方法,使用暹罗神经网络的性病,自然扩展到直接本地化的口语术语,并估计其相关性得分。由音素识别器生成的音素混淆网络由深度LSTM网络处理,该深度LSTM网络将混淆网络的每个片段投影到嵌入空间中。使用另一个深度LSTM网络将搜索到的词投影到相同的嵌入空间中。然后使用嵌入空间中的简单点积计算相关性分数,并使用S形函数进行校准以预测发生概率。然后从输出概率的序列估计搜索项的位置。深度LSTM网络以自我监督的方式从单词和音素级别的配对识别假设中进行训练。该方法进行实验评估MALACH数据在英语和捷克语。
2022-10-21 cs.CL cs.SD eess.AS
UtterTune: LoRA-Based Target-Language Pronunciation Edit and Control in Multilingual Text-to-Speech
Independent Researcher(独立研究者)
研究提出UtterTune轻量级方法,用于适配多语言TTS系统。利用低秩适应,在零样本设置下对目标语言日语实现音素级发音控制,保持自然度和说话者相似度,经评估证实该方法有效。
2026-07-23 cs.CL cs.SD eess.AS
Enhancing GOP in CTC-Based Mispronunciation Detection with Phonological Knowledge
Centre for Language Studies(语言研究中心)
针对无对齐 GOP 计算昂贵且扩展性差的问题,本文提出基于音素簇与学习者常见错误的感知替换无对齐 GOP,并在两个二语英语数据集上验证其优于基线。
2025-07-08 cs.AI eess.AS
K-Function: Joint Pronunciation Transcription and Feedback for Evaluating Kids Language Function
Zhejiang University(浙江大学);UC Berkeley(加州大学伯克利分校);Duke University(达特茅斯大学);SCUT(上海交通大学);TVT;UCSF(加州大学旧金山分校)
K-Function通过结合子词转录与LLM评分,提升儿童语音识别精度,实现高效的语言功能评估。
2026-02-24 cs.AI cs.CL cs.SD
Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);PAII Inc.(平安科技(美国)有限公司)
语音自动评估是帮助自主学习者的一项重要技术。虽然发音质量具有多个方面,包括准确性、流畅性、完整性和韵律,但是先前的努力通常仅对一个方面(例如,精度)在一个粒度(例如,在音素级)。在这项工作中,我们探索建模多方面的发音评估在多个粒度。具体来说,我们用多任务学习训练了一个基于发音特征的Transformer(GOPT)。实验结果表明,GOPT在基于Libris语音库训练的公共自动语音识别(ASR)声学模型上,在Speechocean 762上取得了最好的效果。
2022-05-06 cs.LG cs.SD eess.AS
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia(沙特阿拉伯国防部);Ability Center, Saudi Arabia(沙特阿拉伯能力中心);University of Rochester, USA(罗切斯特大学)
提出Harf-Speech模块化系统,结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器,在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC,优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
End-to-End Word-Level Pronunciation Assessment with MASK Pre-training
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Microsoft Research(微软研究院)
针对词/音素级发音评估依赖对齐导致误差传播的问题,提出MPA掩码预训练方法,以端到端方式实现无显式对齐评估,并在SpeechOcean762上取得更优性能。
2023-06-05 cs.CL eess.AS
Towards a Unified Benchmark for Arabic Pronunciation Assessment: Quranic Recitation as Case Study
DFKI;Alexandria Univ.(亚历山大大学);Univ. of Sheffield(谢菲尔德大学);Taibah Univ.(塔伊巴大学);MBZUAI;SDAIA;Helwan Univ.(海尔万大学);Univ. of Avignon(阿维尼昂大学);Univ. of New South Wales(新南威尔士大学)
本研究提出以《古兰经》诵读为案例的现代标准阿拉伯语发音错误检测统一基准,构建专用音素集与首个公开测试集QuranMB.v1,评估基线模型并明确该领域的潜力与挑战,以推动相关研究发展。
2025-06-12 cs.SD eess.AS
Automatic Pronunciation Error Detection and Correction of the Holy Quran's Learners Using Deep Learning
Faculty of Engineering, Ain Shams University(艾因夏姆斯大学工程学院)
本研究针对《古兰经》学习者的发音错误检测与纠正问题,构建了自动化数据集生成流水线与基准qdat_bench,提出基于QPS的ASR方法与多级CTC模型,实现了高精度的发音错误检测。
2026-08-31 cs.AI cs.CL cs.LG
The complementary roles of non-verbal cues for Robust Pronunciation Assessment
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
本文提出IntraVerbalPA发音评估框架,结合帧级和话语级非语言线索及音素持续时间优度指标,性能达到或超越现有研究。
2023-09-14 cs.CL cs.SD eess.AS
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud(NAVER云)
本文提出通过发音特征引入韩语 L2 音素,并以端到端 LF-MMI 训练声学模型建模发音变体,从而仅用 L1 数据提升非母语 ASR,L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Subphonetic Acoustic Modeling via Optimal Transport for Pronunciation Assessment
The University of Tokyo(东京大学);Chunghwa Telecom Co., Ltd.(中华电信股份有限公司)
本文提出一种拓扑感知的逐帧声学模型,结合有序次音素状态与最优时间传输分类,实现密集单调的状态判别,提升发音评估中的分割精度与错音检测性能。
2026-09-15 cs.SD eess.AS
Improving pronunciation assessment via ordinal regression with anchored reference samples
Microsoft(微软)
句子水平的语音评价是计算机辅助语言学习(CALL)的重要内容。传统的语音发音评估,基于良好的发音(GOP)算法,在评估语音话语有一些弱点:1)音素GOP分数不能很容易地转换成一个简单的平均值的句子分数进行有效的评估; 2)在GOP评分没有很好地利用排序信息提供一个强大的评估,并与人类的评价者的评价很好地相关。在本文中,我们提出了两个新的统计特征,平均GOP(aGOP)和混淆GOP(cGOP),并使用它们来训练一个二元分类器在有序回归与锚定参考样本(ORARS)。在Microsoft mTutor ESL Dataset上进行测试时,与传统的基于GOP的方法相比,Pearson相关系数相对提高了26.9%。性能达到人类同等水平或优于人类评分员。
2020-10-26 cs.LG cs.SD eess.AS
Mispronunciation Detection in Non-native (L2) English with Uncertainty Modeling
Amazon Speech(亚马逊语音);Gdansk University of Technology(格但斯克工业大学)
在语言学习中自动检测发音错误的一种常见方法是识别学生产生的音素,并将其与母语者的预期发音进行比较。这种方法有两个简单的假设:a)音素可以从语音中高精度地识别出来,b)一个句子的发音只有一种正确的方式。这些假设并不总是成立,这可能导致大量的错误发音警报。我们提出了一种新的方法来克服这个问题的基础上两个原则:a)考虑到不确定性的自动音素识别步骤,b)占的事实,可能有多个有效的发音。我们评估的非母语(L2)的德语,意大利语和波兰语的英语语音模型,在那里它被证明可以增加高达18%(相对)的常见方法相比,检测发音错误的精度。
2021-02-08 cs.LG cs.SD eess.AS
Segmentation-free Goodness of Pronunciation
Department of Electronic Systems, Norwegian University of Science and Technology (NTNU)(电子系统系,挪威科学技术大学)
本文提出无分段发音质量评估方法,利用CTC训练的ASR模型提升发音错误检测与诊断的准确性,并在多个数据集上验证了其在发音评估中的优越性能。
2026-02-05 cs.AI cs.CL eess.AS
Neural Lexicon Reader: Reduce Pronunciation Errors in End-to-end TTS by Leveraging External Textual Knowledge
Microsoft(微软)
端到端TTS需要大量的语音/文本配对数据来覆盖所有必要的知识,特别是如何在不同的上下文中发音不同的单词,以便神经模型可以相应地学习这些知识。但在实际应用中,这种对训练数据的高要求很难得到满足,往往需要人工注入额外的知识。例如,为了捕获没有规则正字法的语言的发音知识,需要基于大型结构化发音词典构建复杂的字形到音素流水线,从而导致将神经TTS扩展到此类语言的额外成本,有时成本很高。在本文中,我们提出了一个框架,学习自动提取知识的非结构化外部资源使用一种新的Token 2Knowledge注意力模块。该框架被应用于建立一个名为神经词典阅读器的TTS模型,该模型以端到端的方式从原始词典文本中提取发音。实验结果表明,该模型能显著降低低资源、端到端中文TTS系统中的发音错误,并能以较小的数据量将词典阅读能力移植到其他语言中。
2022-06-24 cs.CL cs.SD eess.AS
Phonological Level wav2vec2-based Mispronunciation Detection and Diagnosis Method
University of New South Wales(新南威尔士大学)
针对音素级MDD方法难以建模多样发音错误且诊断信息有限的问题,本文提出基于语音属性特征的低层级MDD方法,采用多标签CTC和预训练wav2vec2模型,在L2语音语料上显著降低了FAR、FRR和DER。
2023-11-13 cs.AI cs.CL eess.AS
Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment
Graduate School of AI, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对多维度发音评估中数据稀缺、分数分布不均的问题,提出两种结合批次平均特征的声学特征Mixup策略,搭配细粒度错误率特征,在speechocean762数据集上有效提升了评分性能。
2024-06-22 cs.AI cs.CL cs.SD
Read to Hear: A Zero-Shot Pronunciation Assessment Using Textual Descriptions and LLMs
Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
本文提出TextPA,一种零样本的基于文本描述的发音评估方法,利用LLM评估发音准确性和流利度并提供评分推理,通过音素序列匹配细化评分,实验证明该方法高效且能提升传统模型在域外数据上的表现。
2025-09-17 eess.AS
Fine-Tuning Large Multimodal Models for Automatic Pronunciation Assessment
Microsoft, Beijing, China(微软北京研究院)
本研究通过微调大型多模态模型进行自动发音评估,在Speechocean762及私有语料上取得优于零样本的竞争性结果,并指出音素级评估与秩感知指标仍是未来改进方向。
2025-09-19 cs.CL cs.SD eess.AS
Neural TTS in French: Comparing Graphemic and Phonetic Inputs Using the SynPaFlex-Corpus and Tacotron2
本文利用 SynPaFlex-Corpus 比较了字素与音素输入训练的法语单说话人 Tacotron2 模型,发现音素输入在发音准确度和韵律自然度上显著更优,且 6.1% 的音素错误率足以改善发音控制。
2023-04-18 eess.AS
Using Phonological-Level Wav2Vec2 for Mandarin Automatic Mispronunciation Detection and Diagnosis
School of Electrical Engineering and Telecommunications(电气工程与电信学院)
提出基于音系特征的MDD框架,在Wav2Vec2 CTC架构中联合建模音段和声调属性,相比纯音素基线系统,误接受率降低10.1%,诊断错误率降低23.6%。
2026-06-23 cs.SD eess.AS
Evaluating Logit-Based GOP Scores for Mispronunciation Detection
Centre for Language Studies(语言研究学院)
本文针对发音错误检测比较基于 logit 与基于概率的 GOP 分数,在两个二语英语数据集上验证其分类和人工评分相关性,发现最大 logit GOP 最贴合人类感知,混合方法更优。
2025-07-08 cs.AI cs.SD eess.AS
The Hidden Dance of Phonemes and Visage: Unveiling the Enigmatic Link between Phonemes and Facial Features
Carnegie Mellon University(卡内基梅隆大学);Max Planck Institute(马克斯·普朗克研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出细粒度分析流程,通过音素与面部人体测量值的假设检验,发现元音(尤其爆破音)比辅音更能预测面部特征,且运动多的特征更可预测,为语音-面部多模态学习奠定基础。
2023-07-26 cs.CV cs.SD eess.AS
Improving Large-scale Deep Biasing with Phoneme Features and Text-only Data in Streaming Transducer
ByteDance(字节跳动)
本文提出结合音素特征与纯文本数据训练,改进流式Transducer的大规模深度偏置,以区分相似发音或拼写的罕见词,在LibriSpeech上取得最先进罕见词错误率。
2023-11-15 cs.CL cs.SD eess.AS
PAC: Pronunciation-Aware Contextualized Large Language Model-based Automatic Speech Recognition
JD AI Research(京东人工智能研究院)
本文提出PAC框架,通过发音引导的上下文学习和发音判别强化学习两阶段范式,解决基于LLM的ASR系统中发音建模与谐音判别问题,在Librispeech和AISHELL-1上显著降低了词错误率。
2025-09-16 cs.CL eess.AS
A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment
Research Center for Psychological and Educational Testing, National Taiwan Normal University(国立台湾师范大学心理与教育测试研究中心);Department of Computer Science and Information Engineering, National Taiwan Normal University(国立台湾师范大学电机工程学系暨资讯工程学系);Department of Educational Psychology and Counseling, National Taiwan Normal University(国立台湾师范大学教育心理与辅导学系)
针对自动发音评估中多粒度建模缺乏层级与局部上下文关系的问题,提出结合 sup-phonemes、深度可分离卷积、分数约束注意力池化和 MTL 的层级上下文感知方法,并在 speechocean762 上验证有效。
2023-06-07 cs.SD eess.AS eess.SP
Exploiting Audio-Visual Features with Pretrained AV-HuBERT for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Vocal Engineering Technologies Limited
针对重度构音障碍语音在复杂噪声环境下重建难度大的问题,提出融合唇部视觉信息、基于AV-HuBERT的多模态DSR框架,经UASpeech语料库验证,可显著提升语音可懂度与自然度,重度患者词错率绝对下降42.1%。
2024-01-31 cs.SD eess.AS
Analyzing Phonetic and Graphemic Representations in End-to-End Automatic Speech Recognition
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
用于自动语音识别(ASR)的端到端神经网络系统是从声学特征到文本翻译的训练。与模块化ASR系统(包含用于声学建模、发音词典和语言建模的单独训练的组件)相比,端到端范例在概念上更简单,并且具有在最终任务上训练整个系统的潜在好处。然而,这样的神经网络模型更加不透明:不清楚如何解释网络不同部分的作用,以及它在训练过程中学习到什么信息。在本文中,我们分析了学习的内部表示在一个端到端的ASR模型。我们评估的代表性质量方面的几个分类任务,比较音素和字素,以及不同的发音功能。我们研究了两种语言(英语和阿拉伯语)和三个数据集,发现不同属性在深层神经网络的不同层中的表现方式具有显著的一致性。
2020-04-19 cs.CL cs.SD eess.AS
Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像语音信号自动化实验室)
本文提出了一种简单有效的自动识别提示语音(CS)的方法,提示语音是一种视觉交流工具,可以帮助听力障碍者理解口语的帮助下,手势,可以唯一地识别出的音素,补充唇读。所提出的方法是基于一个预先训练的手和嘴唇跟踪器用于视觉特征提取和语音解码器的基础上训练的连接主义的时间分类损失的多流递归神经网络,并结合发音词典。所提出的系统进行评估的更新版本的法国CS数据集CSF 18的语音转录已被手动检查和纠正。在语音水平的解码精度为70.88%,所提出的系统优于我们以前的CNN-HMM解码器,并与更复杂的基线竞争。
2022-04-11 cs.CL cs.SD eess.AS