Multi-task Learning is Not Enough: Representational Entanglement in Dual-output Second Language Speech Recognition
KAIST（韩国科学技术院）
针对双输出第二语言语音识别，研究发现多任务学习导致表面转录性能下降，归因于编码器级别的表示纠缠，尤其在英语中随表面-意义差异增大而加剧。
2026-07-14 cs.CL cs.SD eess.AS
OLKAVS: An Open Large-Scale Korean Audio-Visual Speech Dataset
1 Department of Artificial Intelligence, Sogang University, Seoul 04107, Republic of Korea 2 Department of Electronic Engineering, Sogang University, Seoul 04107, Republic of Korea 3 Language Technologies Institute, Carnegie Mellon University, Pittsburgh, PA 15213, USA 4 Mindslab Inc., Gyeonggi-do 13493, Republic of Korea 5 ICT Convergence Disaster/Safety Research Institute, Sogang University, Seoul 04107, Republic of Korea
本文提出大规模开放韩语音视觉语音数据集 OLKAVS，含1,150小时九视角多噪声数据，并提供语音识别与唇读基线以支持多模态研究。
2025-08-28 cs.AI cs.CL cs.CV
Multilingual analysis of intelligibility classification using English, Korean, and Tamil dysarthric speech datasets
Seoul National University（首尔国立大学）
本文分析了构音障碍的语音数据集，从三种不同的韵律系统的语言：英语，韩语和泰米尔语。我们检查了39个声学测量，反映了三个语音维度，包括语音质量，发音和韵律。作为多语言分析，根据可懂度水平对声学测量的平均值进行检查。此外，执行自动可懂度分类以按语言仔细检查最佳特征集。分析表明，发音特征，如正确辅音的百分比，正确元音的百分比，正确音素的百分比是语言独立的测量。然而，语音质量和韵律特征通常因语言而呈现不同的方面。实验结果还表明，不同的语音维度发挥更大的作用，为不同的语言：韵律英语，韩语的发音，韵律和泰米尔语的发音。本文有助于语音病理学，因为它区分语言独立和语言依赖的测量可懂度分类英语，韩语和泰米尔语构音障碍的语音。
2022-11-03 cs.CL
Mixture of LoRA Experts with Multi-Modal and Multi-Granularity LLM Generative Error Correction for Accented Speech Recognition
本文针对口音语音识别提出多模态与多粒度生成式纠错方法，并通过HDMoLE分层路由与动态阈值混合单口音LoRA专家，在多口音英语数据上将词错误率相对基线Whisper-large-v3降低67.35%。
2025-07-19 cs.SD eess.AS
Automatic Pronunciation Error Detection and Correction of the Holy Quran's Learners Using Deep Learning
Faculty of Engineering, Ain Shams University（艾因夏姆斯大学工程学院）
本研究针对《古兰经》学习者的发音错误检测与纠正问题，构建了自动化数据集生成流水线与基准qdat_bench，提出基于QPS的ASR方法与多级CTC模型，实现了高精度的发音错误检测。
2026-08-31 cs.AI cs.CL cs.LG
Leveraging Fine-grained Error Correction in Korean Speech Recognition for Consultation Services
Chung-Ang University（中央大学）；Korea Local Information Research & Development Institute（韩国地方信息研究院）；SK intellix
针对韩语呼叫中心ASR转录错误，提出首个大规模基准DasanCallDial和检测器门控上下文跨度纠正（DCSC）框架，通过多级粒度检测与纠正实现最先进性能。
2026-09-10 cs.CL
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University（康奈尔大学）；NAVER Cloud Corporation（NAVER云公司）
本文提出两种数据驱动方法，利用语音语料库和注意力映射自动检测非母语者发音错误模式，在母语和非母语英语语音识别上分别提升5.7%和12.8%，增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
Masked Acoustic Unit for Mispronunciation Detection and Correction
Zhejiang University（浙江大学）
计算机辅助发音训练（CAPT）在语言学习中发挥着重要作用。传统的基于ASR的CAPT方法需要昂贵的注释地面真实发音的监督训练。同时，某些未定义的非母语音素不能被正确地分类为标准音素，使得注释过程具有挑战性和主观性。另一方面，基于ASR的CAPT方法只能给学习者关于错误发音的基于文本的反馈，但不能教学习者如何正确发音。为了解决这些局限性，我们建议使用声学单位（AU）作为中间功能的发音错误检测和纠正。该方法利用被掩蔽的AU序列和目标音素检测出错误AU并进行纠正，从而为学习者提供基于语音的自模仿反馈，使CAPT具有更强的教育功能。
2022-05-04 cs.SD eess.AS
Learning pronunciation from a foreign language in speech synthesis networks
Neosapience, Inc.（Neosapience公司）；Massachusetts Institute of Technology（麻省理工学院）
虽然世界上有6,500多种语言，但许多音素的发音在不同语言中听起来都很相似。人们在学习外语时，其发音往往反映出本族语的特点。这促使我们研究语音合成网络如何从不同语言的数据集学习发音。在本研究中，我们有兴趣分析和利用多语言语音合成网络。首先，我们用英语和韩语对语音合成网络进行了双语训练，并分析了网络是如何学习两种语言之间的音素发音关系的。我们的实验结果表明，如果不同语言的发音相似，则学习到的音素嵌入向量的位置会更接近。因此，经过训练的网络可以合成说英语的人的韩语语音，反之亦然。利用这一结果，我们提出了一个培训框架，利用不同的语言的信息。具体来说，我们使用来自高资源语言和低资源语言的数据集预训练语音合成网络，然后使用低资源语言数据集微调网络。最后，我们在10种不同的语言上进行了更多的模拟，以证明它通常可以扩展到其他语言。
2020-06-24 cs.CL cs.LG cs.SD
Context Biasing for Pronunciation-Orthography Mismatch in Automatic Speech Recognition
Interactive Systems Lab, Karlsruhe Institute of Technology, Karlsruhe, Germany（卡尔斯鲁厄技术大学交互系统实验室）；Interactive Systems Lab, Carnegie Mellon University, Pittsburgh PA, USA（卡内基梅隆大学交互系统实验室）
本文提出了一种通过修正替换错误来提高自动语音识别中发音-正字法不匹配问题的识别准确率的方法。
2026-03-04 cs.CL cs.LG
Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition
Tianjin University（天津大学）；Baidu, Inc.（百度公司）；Kyoto University（京都大学）；Huiyan Technology (Tianjin) Co., Ltd（汇研科技（天津）有限公司）
提出一种非自回归语音错误纠正方法，利用置信度模块和声学特征作为参考，通过交叉注意力融合信息，在ASR基础上降低21%错误率。
2024-06-29 cs.CL cs.SD eess.AS
Speech Corpus for Korean Children with Autism Spectrum Disorder: Towards Automatic Assessment Systems
Seoul National University（首尔大学）
本文构建了首个韩国ASD儿童语音语料库，通过分析声学与语言特征并关联临床评分，验证了自动评估社交沟通严重程度和发音熟练度的可行性。
2024-02-23 cs.CL eess.AS
A Novel Speech Analysis and Correction Tool for Arabic-Speaking Children
Prince Sultan University（苏丹王子大学）；University of Manouba（马努巴大学）；Imam Mohammad Ibn Saud Islamic University（伊玛目穆罕默德·本·沙特伊斯兰大学）
本文提出面向阿拉伯语儿童的 ArPA 语音矫正应用，结合诊断与游戏化治疗模块，利用 Mel 频谱图和 MFCC 图像训练 ResNet18 等分类器，实现 99.015% 的发音错误识别准确率。
2024-11-18 cs.AI cs.SD
Exploring the Usage of Chinese Pinyin in Pretraining
Huawei（华为）
本研究针对中文NLP任务中拼音利用不足的问题，提出并行使用汉字与拼音的预训练方法PmBERT，通过融合二者表征增强SSP错误容错能力，实验证明其鲁棒性优于SOTA模型。
2023-10-08 cs.CL
Optimized Tokenization for Transcribed Error Correction
OriginAI
本文提出优化分词策略，利用基于转录错误分布的合成数据训练纠正模型，并调整BPE词汇表以平衡适应性与知识保留，显著提升多语言语音识别错误纠正性能。
2023-10-16 cs.CL cs.SD eess.AS
Automatic Pronunciation Assessment using Self-Supervised Speech Representation Learning
AI Lab, Kakao Enterprise（Kakao企业人工智能实验室）
自监督学习（SSL）方法，如wav2vec 2.0和HuBERT模型，在语音社区的各种下游任务中表现出了良好的效果。特别是，通过SSL模型学习的语音表示已被证明对于编码各种语音相关特征是有效的。在此背景下，我们提出了一种新的自动发音评估方法的基础上SSL模型。首先，所提出的方法用连接主义时间分类微调预训练的SSL模型，以适应数据环境中英语作为第二语言（ESL）学习者的英语发音。然后，从SSL模型的所有Transformer层中提取逐层上下文表示。最后，自动发音分数估计使用双向长短期记忆与逐层上下文表示和相应的文本。我们表明，建议的SSL模型为基础的方法优于基线，在皮尔逊相关系数，韩国ESL学习者的孩子和Speechocean 762的数据集。此外，我们分析了SSL模型中Transformer层的不同表示方式如何影响发音评估任务的性能。
2022-04-08 cs.CL eess.AS
Learning from Past Mistakes: Improving Automatic Speech Recognition Output via Noisy-Clean Phrase Context Modeling
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
自动语音识别（ASR）系统经常由于子系统修剪（声学、语言和发音模型）而产生不可恢复的错误;例如，在基于语言学用长期上下文重新评分之前，由于使用短期上下文的声学而修剪单词。在这项工作中，我们建模ASR作为一个基于短语的嘈杂的变换通道，并提出了一个纠错系统，可以从所有独立的模块组成的ASR的聚合错误，并试图反转这些。所提出的系统可以使用神经网络语言模型来利用长期上下文，并且可以更好地在现有ASR输出可能性之间进行选择，以及重新引入先前修剪的或看不见的（词汇表外的）短语。它在性能不佳的ASR条件下提供校正，而不会降低任何准确的transmittance;这种校正在域外和不匹配的数据ASR上更大。我们的系统始终如一地提供了对基线ASR的改进，即使基线通过递归神经网络语言模型重新评分进一步优化。这表明，任何ASR改进都可以独立利用，并且我们提出的系统仍然可以为高度优化的ASR提供好处。最后，我们提出了一个广泛的分析，我们的系统纠正的错误类型。
2019-03-28 cs.CL cs.SD eess.AS
PTC-Bias: Phoneme-Level Temporal Competition for Bias Retrieval and Post-Decoding Correction in Speech LLMs
Shanghai University（上海大学）
提出PTC-Bias，通过音素级时间竞争的两阶段框架（检索与解码后校正），有效利用大规模偏置列表，在LibriSpeech上显著降低B-WER且不损害U-WER。
2026-09-25 cs.CL cs.SD
Unsupervised Accent Adaptation Through Masked Language Model Correction Of Discrete Self-Supervised Speech Units
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium
本文提出一种无监督口音自适应方法，利用掩码语言模型校正离散语音单元，并通过小型适配器微调预训练模型，从而提升HuBERT Large在带口音语音识别上的鲁棒性。
2023-09-25 cs.SD eess.AS
Improving Contextual Spelling Correction by External Acoustics Attention and Semantic Aware Data Augmentation
Microsoft Corporation（微软公司）
我们以前提出了上下文拼写校正（CSC），以纠正输出端到端（E2 E）自动语音识别（ASR）模型与上下文信息，如姓名，地点等，虽然CSC已经取得了合理的改善偏置问题，仍然有两个缺点，进一步提高准确性。首先，由于纯文本假设中的信息限制或ASR模型在稀有域上的弱性能，CSC模型可能无法纠正具有相似发音的短语或反上下文情况，其中所有偏见短语都不存在于话语中。第二，CSC的训练和推理之间存在差异。训练中的偏差列表是随机选择的，但在推理中，地面真实短语和其他短语之间可能存在更多的相似性。针对上述问题，本文提出了一种改进的非自回归（NAR）拼写纠正模型，用于E2 E神经元ASR系统中的语境偏差问题，从两个方面对已有的CSC模型进行了改进：首先，在CSC模型中加入了带有外部注意力的声学信息以及文本假设，以更好地区分目标短语和不相似或不相关的短语。其次，我们在训练短语中设计了一个语义感知的数据增强模式，以减少训练和推理之间的不匹配，从而进一步提高偏置精度。实验结果表明，在不同的偏置列表名字覆盖率下，改进的方法比基准ASR+Biasing系统的相对名字召回率提高了20.3%，并且与之前的CSC方法相比，取得了稳定的改进。
2023-02-22 cs.CL cs.LG cs.SD
FastCorrect 2: Fast Error Correction on Multiple Candidates for Automatic Speech Recognition
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音部门）；Tsinghua University（清华大学）
纠错在自动语音识别（ASR）中被广泛用于对生成的句子进行后处理，并且可以进一步降低单词出错率（WER）。虽然ASR系统通过束搜索生成多个候选，但是当前的纠错方法一次只能纠正一个句子，无法利用来自多个候选的投票效应来更好地检测和纠正错误标记。在这项工作中，我们提出了FastCorrect 2，这是一种错误校正模型，它将多个ASR候选项作为输入，以获得更好的校正精度。FastCorrect 2采用非自回归生成进行快速推理，由处理多个源句子的编码器和从调整后的源句子并行生成目标句子的解码器组成，其中调整基于每个源令牌的预测时长。然而，在处理多个源语句时存在一些问题。首先，利用多个源句子的投票效果是不平凡的，因为它们通常在长度上不同。因此，我们提出了一种新的对齐算法，以最大限度地提高多个句子之间的令牌对齐的程度，在令牌和发音相似性。第二，解码器只能将一个调整后的源句子作为输入，而存在多个源句子。因此，我们开发了一个候选预测器来检测最合适的候选解码器。在我们的内部数据集和AISHELL-1上的实验表明，FastCorrect 2可以将WER进一步降低3.2%和2.6%，这表明在ASR错误校正中利用多个候选人的有效性。FastCorrect 2实现了比级联重新评分和校正流水线更好的性能，可以作为ASR的统一后处理模块。
2022-11-29 cs.CL cs.LG cs.SD
PMF-CEC: Phoneme-augmented Multimodal Fusion for Context-aware ASR Error Correction with Error-specific Selective Decoding
Graduate School of Informatics, Nagoya University（信息学研究科，名古屋大学）；Information Technology Center, Nagoya University（信息科技中心，名古屋大学）
针对ASR模型对近音稀有词纠错准确率低及错误检测过检问题，提出带保留概率机制的音素增强多模态融合纠错方法PMF-CEC，在5个数据集上验证了其在同音词纠错、推理速度及鲁棒性上的优势。
2025-05-31 cs.AI cs.CL cs.SD
MMGER: Multi-modal and Multi-granularity Generative Error Correction with LLM for Joint Accent and Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Huawei IIRC（华为智能基础设施研究院）
本文提出统一ASR-AR生成式纠错模型MMGER，通过多模态帧级纠错与多粒度语句级纠错结合大语言模型，在多口音场景下显著提升口音识别准确率并降低ASR字符错误率。
2024-05-06 cs.SD eess.AS
QVoice: Arabic Speech Pronunciation Learning Application
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
QVoice是一款基于端到端错误检测与反馈生成模块的阿拉伯语发音学习应用，通过多种学习提示提供字符级反馈和单词级评估，帮助非母语者及受方言影响的母语者提升现代标准阿拉伯语发音。
2023-05-09 cs.CL cs.SD eess.AS
Investigating the Sensitivity of Automatic Speech Recognition Systems to Phonetic Variation in L2 Englishes
School of Computer Science（计算机科学学院）；ADAPT SFI Research Centre（ADAPT SFI研究中心）；University College Dublin（都柏林大学学院）
本研究通过探测ASR系统，分析其对第二语言英语中罕见语音变异的处理，发现音素级误识别导致高词错误率，并建议通过补充训练数据增强系统鲁棒性。
2023-05-12 cs.CL cs.SD eess.AS
Towards standardizing Korean Grammatical Error Correction: Datasets and Annotation
KAIST（韩国科学技术院）；SoftlyAI（SoftlyAI公司）；UCSB（加州大学圣巴巴拉分校）；Google（谷歌）；Cornell University（康奈尔大学）
针对韩语语法错误纠正缺乏评估基准的问题，研究收集三个数据集，定义14种错误类型，提出自动标注系统KAGAS构建基准并训练模型，显著优于现有系统Hanspell。
2023-05-24 cs.AI cs.CL
Refining Word-Based Grammatical Error Annotation for L2 Korean
Korea Advanced Institute of Science & Technology（韩国科学技术院）；The University of British Columbia（不列颠哥伦比亚大学）；Saint Elizabeth University（圣埃利赞大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
通过解决现有资源中的三个问题（表面目标实现、韩语特定编辑标注和单参考评估），改进基于词的语法错误标注，并验证了改进资源在困惑度、编辑一致性和多参考评估上的有效性。
2026-05-28 cs.CL
Do LLMs Need Inherent Reasoning Before Reinforcement Learning? A Study in Korean Self-Correction
ETRI
本研究探讨LLMs在强化学习前是否需要具备内在推理能力，通过韩国自我修正研究发现，对齐模型内部推理与韩语输入关键，提升多语言推理效果。
2026-01-09 cs.AI cs.CL
KoGEC : Korean Grammatical Error Correction with Pre-trained Translation Models
Sionic AI Inc.（Sionic AI公司）；Emory University（埃默里大学）
本研究提出基于预训练翻译模型微调的韩语语法纠错系统KoGEC，在韩语纠错任务上性能优于GPT-4o等大模型，还开发了Chrome扩展并验证了词元词汇扩充的负面影响，为专用小模型的应用提供参考。
2025-06-13 cs.AI cs.CL
The design and implementation of Language Learning Chatbot with XAI using Ontology and Transfer Learning
Division of Science and Technology, Beijing Normal University-Hong Kong Baptist University United International College（北京师范大学-香港浸会大学联合国际学院科技学部）
本文提出了一种基于迁移学习的英语学习聊天机器人，该机器人使用GPT-2生成的输出可以用基于微调数据集的本体图来解释。我们为系统的英语学习设计了三个层次，包括用于语音识别和发音纠正的语音层次，用于特定领域会话的语义层次，以及模拟英语中的自由式会话-作为自由式会话代理的语言聊天机器人通信的最高层次。在学术贡献方面，我们实现了本体图来解释自由式会话的性能，遵循XAI（可解释人工智能）的概念来可视化仿生学中的神经网络的连接，并解释从语言模型输出的句子。从实现的角度来看，语言学习代理集成了微信中的小程序作为前端，微调了迁移学习的GPT-2模型作为后端，通过本体图解释响应。
2020-09-29 cs.AI cs.CL cs.LG
StarDrinks: An English and Korean Test Set for SLU Evaluation in a Drink Ordering Scenario
NAVER LABS Europe（NAVER欧洲实验室）
本文提出StarDrinks测试集，用于评估在饮料点单场景中说话理解（SLU）的性能，包含语音 utterances 特征、转录和标注槽位，支持语音到槽位的SLU、转录到槽位的NLU以及语音到转录的ASR评估。
2026-07-07 cs.CL
