Hierarchical Pronunciation Assessment with Multi-Aspect Attention
Graduate School of AI, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
本文提出HiPAMA模型,通过分层表示音素、单词和话语粒度并引入多方面注意力捕捉同层跨方面关联,以提升多任务发音评估性能,在speechocean762上表现优异。
2023-05-26 cs.CL cs.SD eess.AS
Fine-Tuning Large Multimodal Models for Automatic Pronunciation Assessment
Microsoft, Beijing, China(微软北京研究院)
本研究通过微调大型多模态模型进行自动发音评估,在Speechocean762及私有语料上取得优于零样本的竞争性结果,并指出音素级评估与秩感知指标仍是未来改进方向。
2025-09-19 cs.CL cs.SD eess.AS
Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal
Qatar Computing Research Institute, Doha, Qatar(卡塔尔计算研究所,多哈,卡塔尔)
提出仅使用母语语音资源训练的轻量级发音评估框架,通过离散化语音标记和语言模型计算意外度,结合文本引导对齐特征,在无监督或少量校准下达到接近监督方法的性能。
2026-06-24 cs.CL cs.SD eess.AS
Automatic Pronunciation Assessment using Self-Supervised Speech Representation Learning
AI Lab, Kakao Enterprise(Kakao企业人工智能实验室)
自监督学习(SSL)方法,如wav2vec 2.0和HuBERT模型,在语音社区的各种下游任务中表现出了良好的效果。特别是,通过SSL模型学习的语音表示已被证明对于编码各种语音相关特征是有效的。在此背景下,我们提出了一种新的自动发音评估方法的基础上SSL模型。首先,所提出的方法用连接主义时间分类微调预训练的SSL模型,以适应数据环境中英语作为第二语言(ESL)学习者的英语发音。然后,从SSL模型的所有Transformer层中提取逐层上下文表示。最后,自动发音分数估计使用双向长短期记忆与逐层上下文表示和相应的文本。我们表明,建议的SSL模型为基础的方法优于基线,在皮尔逊相关系数,韩国ESL学习者的孩子和Speechocean 762的数据集。此外,我们分析了SSL模型中Transformer层的不同表示方式如何影响发音评估任务的性能。
2022-04-08 cs.CL eess.AS
OpenPA: Forced-alignment-free Multi-granular Pronunciation Assessment with Mixed-transcript Adaptation
National Taiwan Normal University(台湾师范大学)
该研究提出无需强制对齐的APA框架OpenPA,利用Whisper交叉注意力机制联合预测多粒度发音分数,经speechocean762训练后在多场景评估中表现优异,还展现出跨任务应用潜力。
2026-10-12 cs.CL cs.SD eess.AS
Preserving Phonemic Distinctions for Ordinal Regression: A Novel Loss Function for Automatic Pronunciation Assessment
National Taiwan Normal University(台湾师范大学);E.SUN Financial Holding Co., Ltd.(玉山金融控股股份有限公司)
针对自动发音评估中回归模型同一等级不同音位区分性不足的问题,提出融合音位区分正则项的PCO损失,兼顾音位区分与等级有序性,在speechocean762数据集上优于现有主流模型。
2023-10-04 cs.CL cs.SD eess.AS
Zero-Shot Automatic Pronunciation Assessment
National University of Singapore(新加坡国立大学)
本文提出基于预训练声学模型HuBERT的零样本自动发音评估方法,通过掩码、Transformer编码、k-means聚类和错误恢复token计数进行评分,在speechocean762上取得与有监督回归基线相当的PCC性能。
2023-05-31 cs.CL cs.LG cs.SD
Multi-task Pretraining for Enhancing Interpretable L2 Pronunciation Assessment
Advanced Technology Laboratory, Chunghwa Telecom Co., Ltd., Taiwan(Chunghwa电信公司高级技术实验室, 台湾);National Taiwan Normal University, Taiwan(台湾国立台湾师范大学);National Taiwan University, Taiwan(台湾国立台湾大学)
本文提出多任务预训练策略,通过掩蔽重构音段级发音特征来捕获超音段线索,并结合手工特征回归器生成可解释水平分数,在speechocean762上提升了发音评分与自动口语评估相关性。
2025-09-21 cs.CL
End-to-End Word-Level Pronunciation Assessment with MASK Pre-training
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Microsoft Research(微软研究院)
针对词/音素级发音评估依赖对齐导致误差传播的问题,提出MPA掩码预训练方法,以端到端方式实现无显式对齐评估,并在SpeechOcean762上取得更优性能。
2023-06-05 cs.CL eess.AS
Leveraging Allophony in Self-Supervised Speech Models for Atypical Pronunciation Assessment
Carnegie Mellon University(卡内基梅隆大学)
针对非典型发音评估中音位变体建模被简化的问题,提出结合冻结自监督语音模型特征与高斯混合模型的MixGoP方法,在多数数据集上达最优,验证了S3M特征捕捉音位变体的优势。
2025-03-24 cs.AI cs.CL cs.LG
Multi-granularity Interactive Attention Framework for Residual Hierarchical Pronunciation Assessment
本文提出了一种多粒度交互注意力框架,通过双向建模和残差分层结构提升发音评估性能。
2026-01-05 cs.AI cs.CL
Pronunciation Assessment with Multi-modal Large Language Models
Zuoyebang AI Research(作业帮人工智能研究院);University of Connecticut(康涅狄格大学)
本文提出一种基于大语言模型的发音评分系统,利用语音编码器和适配器对齐特征,结合提示文本预测准确性与流利度,在Speechocean762数据集上取得有竞争力结果。
2024-07-18 cs.CL eess.AS
Comparison of End-to-end Speech Assessment Models for the NOCASA 2025 Challenge
Tallinn University of Technology, Estonia(塔林技术大学,爱沙尼亚)
本文针对NOCASA 2025儿童挪威语二语单词级发音评估任务,对比三种端到端模型,提出适配任务的加权有序交叉熵损失,其中基于GOP-CTC的模型性能最优,大幅超越基线并登顶排行榜。
2025-09-03 cs.CL cs.SD eess.AS
Non-native Children's Automatic Speech Assessment Challenge (NOCASA)
NOCASA挑战赛旨在评估非母语儿童单词发音,提供TeflonNorL2数据集及SVM与wav2vec 2.0基线模型,后者以36.37%的UAR取得最佳表现。
2025-08-13 cs.CL eess.AS
English Pronunciation Evaluation without Complex Joint Training: LoRA Fine-tuned Speech Multimodal LLM
Enuma, Inc.(Enuma公司);Korea University(韩国大学)
本研究提出用LoRA微调语音多模态大模型Phi-4-multimodal-instruct,无需复杂架构改动和独立训练即可同时实现自动发音评估与发音错误检测诊断,性能媲美全量微调音频层,为简化CAPT技术提供了高效方案。
2025-09-03 cs.CL
Towards Efficient and Multifaceted Computer-assisted Pronunciation Training Leveraging Hierarchical Selective State Space Model and Decoupled Cross-entropy Loss
National Taiwan Normal University(台湾师范大学)
针对现有CAPT系统无法同时高效实现发音评估与错误诊断的问题,提出并行整合双任务的HMamba方法及适配MDD的deXent损失函数,在speechocean762数据集上验证了APA有效性,且MDD的F1值达63.85%。
2025-02-21 cs.CL eess.AS
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia(沙特阿拉伯国防部);Ability Center, Saudi Arabia(沙特阿拉伯能力中心);University of Rochester, USA(罗切斯特大学)
提出Harf-Speech模块化系统,结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器,在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC,优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
Zero-Shot Speech LLMs for Multi-Aspect Evaluation of L2 Speech: Challenges and Opportunities
Centre for Language Studies(语言研究学院)
本文探讨了零样本语音大语言模型在二语发音多维度评估中的应用,分析了其在准确性、流利度、语调和完整性方面的评分表现及改进方向。
2026-01-20 cs.AI cs.CL cs.SD
Speech Corpus for Korean Children with Autism Spectrum Disorder: Towards Automatic Assessment Systems
Seoul National University(首尔大学)
本文构建了首个韩国ASD儿童语音语料库,通过分析声学与语言特征并关联临床评分,验证了自动评估社交沟通严重程度和发音熟练度的可行性。
2024-02-23 cs.CL eess.AS
A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss
Peking University(北京大学)
对于可读性评估,传统方法主要采用具有数百个语言特征的机器学习分类器。虽然深度学习模型已经成为几乎所有NLP任务的主要方法,但它在可读性评估方面的探索较少。在本文中,我们提出了一个基于BERT的模型与特征投影和长度平衡损失(BERT-FP-LBL)的可读性评估。特别地,我们提出了一种新的难度知识引导的半监督方法来提取主题特征,以补充传统的语言特征。从语言特征,我们采用投影滤波提取正交功能,以补充BERT表示。此外,我们设计了一个新的长度平衡的损失,以处理数据的长度分布变化很大。我们的模型在两个英文基准数据集和一个中文教科书数据集上取得了最先进的性能,并且在一个英文数据集上也达到了99%的近乎完美的准确率。此外,我们提出的模型获得了可比的结果与人类专家的一致性测试。
2023-03-04 cs.CL
A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment
Computational Approaches to Modeling Language Lab, New York University Abu Dhabi(新纽约大学阿布扎赫实验室);Zai Arabic Language Research Centre, Zayed University(扎伊阿拉伯语言研究中心)
该研究构建了含69441句、19个可读性等级的大规模平衡阿拉伯语可读性评估语料库BAREC,人工标注一致性达81.8%,并完成多方法基准测试,公开资源以支持相关研究与教育。
2025-06-11 cs.CL
Can Large Language Models Imitate Human Speech for Clinical Assessment? LLM-Driven Data Augmentation for Cognitive Score Prediction
Télécom SudParis(Telecom SudParis);Nara Institute of Science and Technology(奈良科学技术大学)
本文提出基于LLM的数据增强框架,通过生成不同风格的口语独白来提升语音认知评分预测。采用相似性引导的增强策略,有效减少少数低分群体的预测误差,同时保持多数群体性能。
2026-05-15 cs.CL
CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems
Leiden University(莱顿大学);University of Amsterdam(阿姆斯特丹大学)
本研究利用大语言模型生成反事实对话扩充测试集,评估开源LLM在任务型对话系统中对用户不满识别的鲁棒性,发现其优于微调模型,并发布人工标注数据以促进研究。
2024-08-20 cs.CL