Accent Recognition with Hybrid Phonetic Features
Zhejiang University（浙江大学）
语音控制系统的性能通常会受到口音的影响。为了使这些系统更加强大，前端口音识别（AR）技术近年来受到越来越多的关注。由于口音是一种与语言知识有着深刻关系的高级抽象特征，因此AR比其他与语言无关的音频分类任务更具挑战性。在本文中，我们使用一个辅助的自动语音识别（ASR）任务，以提取语言相关的语音特征。此外，我们提出了一种混合结构，它结合了一个固定的声学模型和一个可训练的声学模型的嵌入，使语言相关的声学特征更强大。我们在口音英语语音识别挑战赛（AESRC）2020数据集上进行了几个实验。结果表明，我们的方法可以获得6.57%的相对改善的验证集。我们也得到了7.28%的相对改善，最终的测试集为本次比赛，显示所提出的方法的优点。
2021-05-05 cs.SD eess.AS
Advanced Modeling of Interlanguage Speech Intelligibility Benefit with L1-L2 Multi-Task Learning Using Differentiable K-Means for Accent-Robust Discrete Token-Based ASR
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国家工业科学与技术研究院）
本文提出基于可微k均值的L1-L2多任务学习方法，用于提升抗口音的离散token基于ASR的语义识别益处。
2026-01-27 cs.SD
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation（英特尔公司）；SIL International（SIL国际）
由于资源限制，在边缘设备上运行自动语音识别（ASR）并非易事，特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一，每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的，我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
Accented Speech Recognition: A Survey
自动语音识别（ASR）系统对带口音语音的概括性较差。口音的语音和语言变异性在数据汇集和建模策略方面都对当今的ASR系统提出了严峻的挑战。不同口音的ASR性能的偏差对ASR的用户和提供商都是有代价的。我们提出了一个调查目前有前途的方法，口音语音识别，并强调在空间的关键挑战。目前的方法主要集中在单模型综合和重点特征工程。在这些挑战中，缺乏标准基准使得研究和比较特别困难。
2021-06-02 cs.CL cs.SD eess.AS
Accented Speech Recognition: Benchmarking, Pre-training, and Diverse Data
Google Speech（谷歌语音）；Google Brain（谷歌大脑）
建立包容性的语音识别系统是开发所有语言种类的使用者都能使用的技术的关键一步。因此，ASR系统必须独立于每个人的说话方式为每个人工作。为了实现这一目标，应该有可用的数据集表示语言的品种，也是模型配置的理解，这是最有助于实现所有类型的语音的鲁棒理解。然而，没有足够的数据集的口音语音，和那些已经可用的，更多的训练方法需要探索，以提高口音语音识别的质量。在本文中，我们讨论了开发更具包容性的ASR系统的最新进展，即建立代表语言多样性的新数据集的重要性，并探索新的训练方法来提高所有用户的性能。我们解决了最近的方向在基准ASR系统的口音语音，测量wav2vec 2.0预训练口音语音识别的影响，并突出语料库相关的各种ASR评估。
2022-05-16 cs.SD eess.AS
The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）；Datatang (Beijing) Technology Co., LTD（数据堂（北京）科技有限公司）
语码转换（CS）是一种常见的现象，CS语音识别具有挑战性。但是，CS语音数据很少，相关研究中也没有通用的测试平台。本文介绍了ASRU 2019年普通话-英语码转换语音识别挑战赛的设计和主要成果，该挑战赛旨在提高普通话-英语码转换情况下的ASR性能。500小时的普通话语音数据和240小时的普通话-英语会话数据被发布给参与者。为了改进传统DNN-HMM ASR系统中的AM和LM部分，以及探索E2 E模型的性能，设置了三个轨道。然后，本文概述了三个轨道的结果和系统性能。结果表明，传统的自动语音识别系统主要得益于语音词库、CS文本生成和数据扩充。而在E2 E领域，研究结果强调了使用语言识别、建立合理的建模单元集和规范增强的重要性。讨论了模型训练和方法比较中的其他细节。
2020-07-12 cs.CL cs.SD eess.AS
Improving Accent Identification and Accented Speech Recognition Under a Framework of Self-supervised Learning
Tencent Cloud Xiaowei（腾讯云小微）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，自监督预训练在自动语音识别（ASR）中取得了成功。然而，考虑到真实场景中语音口音之间的差异，如何识别口音并使用口音特征来提高ASR仍然具有挑战性。在本文中，我们采用自监督预训练方法的口音识别和口音语音识别任务。对于前一个任务，标准偏差约束损失（SDC-loss）为基础的端到端（E2 E）架构，提出了在同一语言下识别口音。对于带口音的语音识别任务，我们设计了一个口音相关的ASR系统，它可以利用额外的口音输入特征。此外，我们提出了一个帧级的口音特征，这是基于所提出的口音识别模型提取，并可以动态调整。我们使用960小时未标记的LibriSpeech数据集预训练我们的模型，并在AESRC 2020语音数据集上对其进行微调。实验结果表明，我们提出的口音相关的ASR系统是显着领先于AESRC 2020基线，并实现了$6.5\%$相对字错误率（WER）降低相比，我们的口音无关的ASR系统。
2021-09-15 cs.SD eess.AS
DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation
National Taiwan University（台湾大学）；NVIDIA（英伟达）
在以往的工作中，只有参数权重的ASR模型的优化下固定的拓扑结构。然而，成功的模型架构的设计一直依赖于人类的经验和直觉。此外，许多与模型架构相关的超参数需要手动调整。因此，在本文中，我们提出了一个ASR的方法，有效的梯度为基础的架构搜索，DARTS-ASR。为了研究DARTS-ASR的通用性，我们不仅将我们的方法应用于许多语言来执行单语ASR，而且还应用于多语言ASR设置。在以前的工作之后，我们在多语言数据集IARPA BABEL上进行了实验。实验结果表明，我们的方法优于基线固定拓扑结构的字符错误率分别减少10.2%和10.0%，在单语和多语种ASR设置。此外，我们进行了一些分析的搜索架构的DARTS-ASR。
2020-07-26 cs.CL cs.LG cs.SD
Error-driven Fixed-Budget ASR Personalization for Accented Speakers
IIT Bombay（印度理工学院孟买分校）
我们认为个性化的ASR模型的任务，而被限制在一个固定的预算上记录扬声器特定的话语。给定一个扬声器和一个ASR模型，我们提出了一种方法来识别句子的扬声器的话语很可能是困难的给定的ASR模型来识别。我们假设少量的特定于说话人的数据来学习音素级错误模型，帮助我们选择这样的句子。我们表明，扬声器的话语选择使用我们的错误模型的句子确实有较大的出错率相比，扬声器的话语随机选择的句子。我们发现，微调的ASR模型的帮助下选择的句子话语产生更高的WER的改善相比，微调的随机选择的句子话语的数量相等。因此，我们的方法提供了一个有效的方式收集扬声器的话语下的预算限制个性化的ASR模型。
2021-06-02 cs.CL cs.SD eess.AS
Zero Shot Text to Speech Augmentation for Automatic Speech Recognition on Low-Resource Accented Speech Corpora
Microsoft（微软公司）；Imperial College London（帝国理工学院）
针对低资源口音语音数据不足导致ASR性能下降的问题，提出零样本TTS增强口音语料的策略，可将词错误率最高降低14%，优于仅用真实口音数据训练的模型。
2024-09-17 cs.SD eess.AS
Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis
Toshiba Research Europe（东芝欧洲研究院）；Tohoku University（东北大学）；University of Sheffield（谢菲尔德大学）
本文提出利用无监督TTS从少量带口音语音生成合成数据以增强ASR训练，在Wav2vec2.0自监督框架下使词错误率相对降低最高达6.1%。
2024-07-04 cs.CL cs.SD eess.AS
Performant ASR Models for Medical Entities in Accented Speech
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Intron Health；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用实验室）；University of Minnesota - Twin Cities（明尼苏达大学双城分校）；African Masters of Machine Intelligence（非洲机器智能硕士项目）；AIMS/AMMI（非洲数学科学研究所/非洲机器智能硕士项目）；AI Saturdays Lagos（拉各斯AI周六）；Masakhane NLP（Masakhane自然语言处理项目）
针对ASR在带口音医疗实体识别中表现未知的问题，评估多模型在93种非洲口音临床数据集上的表现，提出实体对齐算法并验证微调可将医疗WER相对降低25-34%，提升医疗场景适用性。
2024-06-18 cs.CL cs.SD eess.AS
Advancing African-Accented Speech Recognition: Epistemic Uncertainty-Driven Data Selection for Generalizable ASR Models
McGill University（麦吉尔大学）；Mila Quebec AI Institute（魁北克AI研究所）
针对非洲口音英语ASR数据稀缺问题，提出基于认知不确定性的主动学习多轮数据选择方法，自动标注并精选高不确定性样本，实现27%WER相对提升且减少45%数据需求，改善低资源口音泛化。
2025-06-23 cs.CL cs.SD eess.AS
Personalizing ASR for Dysarthric and Accented Speech with Limited Data
Google（谷歌）；ALS Therapy Development Institute（肌萎缩侧索硬化症治疗发展研究所）
自动语音识别（ASR）系统在过去几年中有了显著的改进。ASR系统通常是从“典型”语音中训练出来的，这意味着代表性不足的群体不会经历同样程度的改善。在本文中，我们提出并评估微调技术，以提高非标准语音用户的ASR。我们专注于两种类型的非标准语音：从肌萎缩侧索硬化症（ALS）和口音语音的人讲话。我们训练个性化模型，在这两组中实现62%和35%的相对WER改善，在消息库短语测试集上，ALS说话者的绝对WER对于轻度构音障碍下降到10%，对于更严重的构音障碍下降到20%。我们表明，71%的改善来自于只有5分钟的训练数据。微调一个特定的层子集（使用更少的参数）通常比微调整个模型提供更好的结果。这是建立构音障碍语音的最新ASR模型的第一步。
2019-07-31 cs.CL cs.LG cs.SD
Accented Text-to-Speech Synthesis with Limited Data
本文提出一个有限数据下的带口音TTS框架，通过预训练加口音相关层微调，分别用前端处理语音变化、声学模型控制韵律变化，实验证明能有效提升口音相似度与语音质量。
2023-05-08 cs.SD eess.AS
The Accented English Speech Recognition Challenge 2020: Open Datasets, Tracks, Baselines, Results and Methods
Northwestern Polytechnical University（西北工业大学）；Shanghai Jiao Tong University（上海交通大学）；Datatang (Beijing) Technology Co., LTD（北京数语科技有限公司）
口音的多样性给语音识别提出了很大的挑战。口音英语语音识别挑战赛（AESRC 2020）旨在提供一个通用的测试平台，并促进口音相关的研究。挑战中设置了两个轨道--英语口音识别（轨道1）和带口音的英语语音识别（轨道2）。从8个国家收集了一组160小时的口音英语语音，并将标签作为训练集。另外20个小时没有标签的语音后来作为测试集发布，其中包括来自另外两个国家的两个看不见的口音，用于测试轨道2中的模型泛化能力。我们还为参与者提供基线系统。本文首先回顾了已发布的数据集，跟踪设置，基线，然后总结了挑战结果和提交中使用的主要技术。
2021-02-20 cs.SD eess.AS
Black-box Adaptation of ASR for Accented Speech
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们介绍了一个黑盒子，基于云的ASR系统，从目标口音语音适应的问题。虽然领先的在线ASR服务在主流口音上获得了令人印象深刻的性能，但它们在子人群上的表现很差-我们观察到Google的ASR API在印度口音上实现的单词错误率（WER）几乎是美国口音WER的两倍。现有的适应方法要么需要访问模型参数，要么在输出成绩单上覆盖纠错模块。我们强调需要将输出与原始语音相关联以修复口音错误。因此，我们提出了一种新的耦合的开源口音调整的本地模型与黑盒服务，从服务的输出指导帧级推理的本地模型。我们的细粒度合并算法是更好地在固定重音错误比现有的单词级组合策略。印度和澳大利亚的口音与三个领先的ASR模型作为服务的实验表明，我们实现了高达28%的相对减少WER在本地和服务模式。
2020-06-24 cs.CL cs.SD eess.AS
Adapting Automatic Speech Recognition for Accented Air Traffic Control Communications
Republic of Singapore Air Force（新加坡共和国空军）；Air Emerging Technologies High-Speed Experimentations and Research (AETHER)（航空新兴技术高速实验与研究中心（AETHER））；RSAF Agile Innovation Digital (RAiD)（新加坡共和国空军敏捷创新数字中心（RAiD））
本研究针对东南亚口音ATC语音，通过新数据集微调ASR模型，将词错误率降至9.82%，并强调区域数据集与口音训练对提升非西方口音识别的重要性。
2025-02-27 cs.LG cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.（谷歌公司）
本文提出口音聚类与挖掘方案，结合预训练、分布鲁棒优化和无监督聚类，在挖掘出的印度口音语音上微调ASR，相对随机采样分别提升10.0%和5.3%，实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Accented Speech Recognition Inspired by Human Perception
New York University（纽约大学）
虽然在过去几年中自动语音识别性能已经有所改进，但机器在带口音语音上的性能仍然明显低于人类。此外，对口音语音最显著的改进主要是通过数百甚至数千小时的数据来解决问题。人类通常需要更少的数据来适应新的口音。本文探讨了受人类感知启发的方法，以评估口音语音识别的可能性能改进，特别关注识别与训练数据相比具有新口音的语音。我们的实验是在研究社区可用的小型可访问数据集上运行的。我们探索了四种方法：预先暴露于多个口音、基于字素和音素的发音、dropout（以改进对新口音的泛化）以及识别神经网络中可以具体地与口音建模相关联的层。我们的研究结果表明，基于人类感知的方法是有前途的，在减少WER和理解如何在神经网络中为新的口音语音建模。
2021-04-09 cs.CL cs.LG cs.SD
Learning Fast Adaptation on Cross-Accented Speech Recognition
The Hong Kong University of Science and Technology（香港科技大学）
当地方言影响人们对同一种语言的单词发出不同的发音。口音的多变性和复杂性给训练一个鲁棒的、与口音无关的自动语音识别（ASR）系统带来了很大的挑战。在本文中，我们引入了一个跨口音的英语语音识别任务作为衡量的模型，以适应看不见的口音使用现有的CommonVoice语料库的能力的基准。我们还提出了一种口音不可知的方法，扩展了模型不可知的元学习（MAML）算法，用于快速适应看不见的口音。在混合区域和跨区域设置中，我们的方法在zero-shot、Few-Shot和all-shot中的单词错误率方面显著优于联合训练。
2020-03-04 cs.SD eess.AS
Explicit Intensity Control for Accented Text-to-speech
Inner Mongolia University（内蒙古大学）
带口音的文本到语音（TTS）合成寻求生成具有口音（L2）的语音作为标准版本（L1）的变体。如何在语音合成过程中控制重音的强度是一个非常有趣的研究方向，并受到越来越多的关注。最近的工作设计了一个说话人对抗损失来解开说话人和口音信息，然后调整损失权重来控制口音强度。然而，这种控制方法缺乏可解释性，并且控制因素与自然口音强度之间没有直接的相关性。为此，本文提出了一种新的直观和显式的重音强度控制方案的重音TTS。具体来说，我们首先从L1语音识别模型中提取后验概率，称为“发音优度（GoP）”，以量化带口音语音的音素口音强度，然后设计一个基于FastSpeech 2的TTS模型，命名为Ai-TTS，以在语音生成过程中考虑口音强度表达。实验表明，该方法在重音渲染和强度控制方面优于基线模型。
2022-10-27 cs.AI cs.SD eess.AS
Accented Text-to-Speech Synthesis with a Conditional Variational Autoencoder
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出基于条件变分自编码器的高效带口音TTS框架，可合成指定说话人声音并转换为任意目标口音，实验验证了其有效性和口音操控能力。
2024-09-29 cs.LG cs.SD eess.AS
AISPEECH-SJTU accent identification system for the Accented English Speech Recognition Challenge
AISpeech Ltd（思必驰公司）；Shanghai Jiao Tong University（上海交通大学）
本文介绍了用于Interspeech-2020重音英语语音识别挑战赛重音识别赛道的AISpeech-SJTU系统。在这个挑战轨道中，只提供了从8个国家收集的160小时带口音的英语数据和辅助的Librisepeech数据集用于训练。为了建立一个准确和鲁棒的口音识别系统，我们详细探讨了整个系统的流水线。首先，我们引入了基于语音识别的音素后验图（PPG）特征来进行口音识别，并验证了其有效性。然后，一种新的TTS为基础的方法是精心设计的，以增加非常有限的口音训练数据的第一次。最后，我们提出了测试时间增强和嵌入融合方案，以进一步提高系统的性能。我们最终的系统在挑战赛中排名第一，并且以很大的优势超过了所有其他参与者。该系统在挑战性评估数据上的平均准确率达到83.63%，在绝对值上领先其他系统10%以上。
2021-02-19 cs.SD eess.AS
Mixture of LoRA Experts with Multi-Modal and Multi-Granularity LLM Generative Error Correction for Accented Speech Recognition
本文针对口音语音识别提出多模态与多粒度生成式纠错方法，并通过HDMoLE分层路由与动态阈值混合单口音LoRA专家，在多口音英语数据上将词错误率相对基线Whisper-large-v3降低67.35%。
2025-07-19 cs.SD eess.AS
Multi-pass Training and Cross-information Fusion for Low-resource End-to-end Accented Speech Recognition
Shanghai Normal University（上海师范大学）；Shanghai Engineering Research Center of Intelligent Education and Bigdata（上海智能教育与大数据工程研究中心）
针对低资源口音语音识别，提出Aformer架构，采用多遍训练和三种跨信息融合方法，在口音英语和普通话任务上相比Conformer基线相对错误率降低10.2%至24.5%。
2023-06-20 cs.CL cs.SD eess.AS
Controllable Accented Text-to-Speech Synthesis
Inner Mongolia University（内蒙古大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
带口音的文本到语音（TTS）合成寻求生成具有口音（L2）的语音作为标准版本（L1）的变体。重音TTS合成具有挑战性，因为L2在语音渲染和韵律模式方面都不同于L1。此外，对于话语中的重音强度的控制没有简单的解决方案。在这项工作中，我们提出了一个神经TTS架构，使我们能够控制口音和它的强度在推理过程中。这是通过三个新的机制来实现的，1）口音变化适配器，用于利用三个韵律控制因素（即音高、能量和持续时间）来对复杂的口音变化进行建模; 2）口音强度建模策略，用于量化口音强度; 3）一致性约束模块，用于鼓励TTS系统以精细水平呈现期望的口音强度。实验结果表明，该系统在重音渲染和亮度控制方面优于基线模型。据我们所知，这是第一次研究重音TTS合成显式强度控制。
2022-09-22 cs.CL cs.SD eess.AS
The VoiceMOS Challenge 2026: Evaluating Speech Enhancement, Emotional TTS and Accented TTS Systems
Nagoya University（名古屋大学）；Shanghai Jiao Tong University（上海交通大学）；Technische Universität Braunschweig（布伦瑞克工业大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Edinburgh（爱丁堡大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
VoiceMOS挑战赛2026评估语音增强、情感TTS和带口音TTS系统，设三个赛道，吸引18支队伍，多数超越基线，并总结结果与未来方向。
2026-09-15 cs.SD eess.AS
Improving Accented Speech Recognition with Multi-Domain Training
Laboratoire Informatique d'Avignon（阿维尼翁计算机实验室）；Thales SIX（泰雷兹SIX）
由于自监督学习的兴起，自动语音识别（ASR）系统现在可以在各种数据集上实现接近人类的性能。然而，它们仍然缺乏泛化能力，并且对于像口音变化这样的域变化不鲁棒。在这项工作中，我们使用代表四种不同法国口音的语音音频来创建微调数据集，以提高预训练ASR模型的鲁棒性。通过将各种口音的训练集，我们得到域内和域外的改善。我们的数值实验表明，与单域训练相比，我们可以将非洲和比利时口音的出错率降低25%（相对），同时保持标准法语的良好性能。
2023-03-14 cs.CL cs.LG cs.SD
Unsupervised Accent Adaptation Through Masked Language Model Correction Of Discrete Self-Supervised Speech Units
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium
本文提出一种无监督口音自适应方法，利用掩码语言模型校正离散语音单元，并通过小型适配器微调预训练模型，从而提升HuBERT Large在带口音语音识别上的鲁棒性。
2023-09-25 cs.SD eess.AS
MacST: Multi-Accent Speech Synthesis via Text Transliteration for Accent Conversion
Fuxi AI Lab, NetEase Inc.（网易伏羲人工智能实验室）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出 MacST，利用 LLM 生成音译文本并结合多语言 TTS 构造同一说话人的多方言口音平行语音，训练序列到序列口音转换模型，主客观实验验证了数据集有效性。
2025-01-10 cs.SD eess.AS
Investigation of Deep Neural Network Acoustic Modelling Approaches for Low Resource Accented Mandarin Speech Recognition
Key Laboratory of Human-Machine Intelligence-Synergy Systems, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院人机智能协同系统重点实验室）；Cambridge University Engineering Dept（剑桥大学工程系）；The Chinese University of Hong Kong（香港中文大学）
针对低资源多口音普通话识别，本文比较多种DNN声学建模方案，并提出显式利用口音信息的改进MLAN tandem HMM系统，使字错误率相对基线绝对降低0.8%至1.5%。
2024-06-14 cs.SD eess.AS
AccentFold: A Journey through African Accents for Zero-Shot ASR Adaptation to Target Accents
Intron Health（英创健康）；Karya（卡亚公司）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Lanfrica（兰非科技）；AI Saturdays Lagos（拉各斯AI星期六）
AccentFold利用口音嵌入间的空间关系，为非洲口音零样本ASR自适应提供训练子集采样，实现4.6%的相对WER改进。
2024-02-05 cs.CL cs.SD eess.AS
Leveraging Native Language Speech for Accent Identification using Deep Siamese Networks
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Science（印度科学学院）
自动口音识别的问题对于诸如说话人分析和识别以及对于改进语音识别系统的若干应用是重要的。语音的重音性质可以主要归因于说话者的母语对给定语音记录的影响。在本文中，我们提出了一种新的口音识别系统，其训练利用语音在母语随着口音。具体来说，我们开发了一个基于深度暹罗网络的模型，该模型学习口音语音记录和母语语音记录之间的关联。使用无监督高斯混合模型（GMM）或有监督深度神经网络（DNN）模型，利用从语音记录中提取的i向量特征来训练Siamese网络。我们使用CSLU外国口音英语（FAE）语料库进行了几个口音识别实验。在这些实验中，我们提出的使用深度暹罗网络的方法在10类口音识别任务中产生了15.4%的显着相对性能改进，超过了使用GMM i向量的基于DNN的基线分类系统。此外，我们提出了一个详细的错误分析建议口音识别系统。
2018-06-18 cs.CL cs.LG cs.SD
Prosodically Enhanced Foreign Accent Simulation by Discrete Token-based Resynthesis Only with Native Speech Corpora
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家先进工业科学与技术研究院）；Japan Kyoto University（京都大学）
针对仅用母语数据合成外语口音语音的现有方法无法再现时长口音的问题，本文整合时长修改，提出韵律增强方法，实验证明能成功复现真实L2语音中的时长口音。
2025-05-22 cs.SD eess.AS
Accent conversion using discrete units with parallel data synthesized from controllable accented TTS
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本研究提出一种基于离散单元的多口音转换模型，以母语语音自监督聚类得到的离散单元为中间目标，结合多说话人TTS还原母语口音，还提出高效数据增强法降低非母语数据需求，可在保留说话人身份的同时将多种非母语音色转为母语口音、提升流利度。
2024-09-30 cs.CL cs.SD eess.AS
TS-OPD: Reconciling ASR and QA in Speech Language Models via Task-Specific On-Policy Distillation
Nankai University（南开大学）；Xingchen AGI Lab, China Telecom Artificial Intelligence Technology Co. Ltd（星辰AGI实验室，中国电信人工智能技术有限公司）
针对语音语言模型中ASR专业化损害QA能力的问题，提出任务特定在线策略蒸馏，利用ASR前后模型分别监督任务轨迹，实验证明兼顾识别与QA性能且稳健。
2026-09-25 cs.SD
Synthetic Cross-accent Data Augmentation for Automatic Speech Recognition
Meta AI；FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
近年来，人们对有偏见的ASR数据集或模型的认识显著提高。即使对于英语，尽管有大量可用的训练数据，系统对于非母语者的表现更差。在这项工作中，我们改进了口音转换模型（ACM），将美国本土英语语音口音发音。我们在ACM训练中包括语音知识，以提供关于在合成波形中恢复某些发音模式的准确反馈。此外，我们研究的可行性学习口音表示，而不是静态嵌入。生成的数据然后用于训练两个最先进的ASR系统。我们在母语和非母语英语数据集上评估了我们的方法，发现合成口音数据有助于ASR更好地理解来自所见口音的语音。这一观察结果并没有转化为看不见的口音，也没有观察到一个专门用母语预先训练的模型。
2023-03-01 cs.CL cs.SD eess.AS
How Should We Evaluate Naturalness for Synthetic Speech with a Foreign Accent?
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所）
该研究针对带外国口音的合成语音自然度评估问题，通过大规模主观实验发现人类评估会考虑口音程度，提出以类人性定义自然度并选择接触目标口音多的评分者的优化方向，为相关评估提供讨论起点。
2026-10-12 cs.SD eess.AS
CodecMOS-Accent: A MOS Benchmark of Resynthesized and TTS Speech from Neural Codecs Across English Accents
本文提出CodecMOS-Accent数据集，用于评估神经音频编码器和基于LLM的TTS模型，尤其针对非标准语音如口音。数据集包含24系统生成的4000个样本，涵盖10种口音，通过大规模主观测试收集19600条注解，揭示了说话人与口音相似性之间的紧密关系及客观指标的预测能力。
2026-03-15 cs.SD eess.AS
Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis
Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI））
针对汉语方言ASR数据稀缺的问题，采用Data2vec2自监督预训练结合LLM的范式，经大规模数据训练后在多方言数据集取得SOTA结果，将开源以推动研究。
2025-06-16 cs.CL cs.SD eess.AS
Should We Always Separate?: Switching Between Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation（日本电报电话公司）
尽管深度学习技术的最新进展改善了自动语音识别（ASR），但当语音与其他人的声音重叠时，仍然很难识别语音。语音分离或提取通常用作ASR的前端以处理这种重叠语音。然而，基于深度神经网络的语音增强会产生“处理伪像”，这是增强的副作用，会降低ASR性能。例如，众所周知，针对非语音噪声（非重叠语音）的单通道降噪通常不会改善ASR。同样地，当用分离/提取方法处理重叠语音时，处理伪像在某些条件下也可能对ASR有害，尽管通常认为分离/提取改善了ASR。为了回答这个问题，我们总是必须从混合物中分离/提取语音吗？“，我们分析了在各种噪声和干扰条件下观察到的和增强的语音的ASR性能，并且表明语音增强在某些条件下甚至对于重叠语音也会降低ASR。基于这些发现，我们提出了一个简单的切换算法之间的观察和增强语音的基础上估计的信号干扰比和信噪比。我们的实验表明，这样一个简单的切换机制可以提高识别性能时，处理文物是有害的ASR。
2021-06-02 cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
Fine-Tuning ASR for Stuttered Speech: Personalized vs. Generalized Approaches
Michigan State University（密歇根州立大学）
本文对比通用与个性化ASR微调在口吃语音识别中的效果，发现个性化模型能显著降低词错误率，尤其在自发语音场景下，为构建更具包容性的语音技术提供了依据。
2025-08-20 cs.SD eess.AS
Comparative Analysis of ASR Methods for Speech Deepfake Detection
Politecnico di Milano（米兰理工大学）；Purdue University（普渡大学）
本文通过系统分析Whisper和Wav2Vec 2.0两种预训练自监督ASR模型在语音深度伪造检测任务中的适配表现，探究ASR性能提升与深度伪造检测能力的关联，为相关检测器开发提供指导。
2024-11-26 cs.SD eess.AS
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh（爱丁堡大学）
本文通过四个ASR系统和三个情感语料库，从词级层面研究ASR与SER的相互影响，揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响，以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
Speaker consistency loss and step-wise optimization for semi-supervised joint training of TTS and ASR using unpaired text data
NTT Corporation（日本电报电话公司）
在本文中，我们研究了文本到语音（TTS）和自动语音识别（ASR）的半监督联合训练，其中有少量的成对数据和大量的非成对文本数据。传统的研究形成了一个称为TTS-ASR管道的循环，其中多说话者TTS模型从具有参考语音的文本合成语音，ASR模型从合成语音中重建文本，之后两个模型都经过训练，具有循环一致性损失。然而，合成语音并不反映参考语音的说话人特征，并且合成语音在训练后变得过于容易用于ASR模型识别。这不仅降低了TTS模型的质量，而且限制了ASR模型的改进。为了解决这个问题，我们提出了改进基于循环一致性的训练与扬声器一致性损失和逐步优化。说话人一致性损失使得合成语音的说话人特征更接近参考语音的说话人特征。在逐步优化中，我们首先在训练两个模型之前冻结TTS模型的参数，以避免TTS模型对ASR模型的过度适应。实验结果证明了该方法的有效性。
2022-07-11 cs.SD eess.AS
How Bad Are Artifacts?: Analyzing the Impact of Speech Enhancement Errors on ASR
NTT（日本电报电话公司）
利用单通道语音增强（SE）提高噪声环境下的自动语音识别（ASR）性能是一个具有挑战性的问题。在本文中，我们调查ASR性能下降的原因分解SE错误使用正交投影分解（OPD）。OPD将SE误差分解为噪声和伪影分量。伪影分量被定义为不能表示为语音和噪声源的线性组合的SE误差信号。我们建议手动缩放错误组件，以分析其对ASR的影响。我们实验确定的工件组件的性能下降的主要原因，我们发现，减轻工件可以大大提高ASR的性能。此外，我们还证明了简单观察添加（OA）技术（即，将所观察信号的缩放版本添加到增强语音）可以在温和条件下单调地增加信号与伪像比。因此，我们通过实验证实，OA提高了模拟和真实录音的ASR性能。本文的研究结果提供了一个更好的理解的影响SE错误的ASR和打开大门，未来的研究新的方法，设计有效的单通道SE前端的ASR。
2022-03-30 cs.SD eess.AS
Entropy-Aware Domain-Routed Mixture-of-Experts Speech-LLM Framework: A Case Study of Multi-Domain Child-Adult ASR
University of California, Los Angeles, USA（加州大学洛杉矶分校）
提出一种混合专家语音-大语言模型，通过分类器域路由、混合投影器和混合LoRA模块以及熵感知路由机制，实现跨不同环境和年龄组的统一儿童-成人ASR，在公共儿童语料库上取得一致改进。
2026-06-09 cs.SD eess.AS
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家工业科学与技术研究院）；Japan Kyoto University（京都大学）
本研究通过分析离散词元ASR，验证了中介语语音可懂度优势，提出仅用母语数据即可实现口音鲁棒识别，适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
Effect of noise suppression losses on speech distortion and ASR performance
Microsoft Research（微软研究院）
基于深度学习的语音增强在提高质量方面取得了快速发展，同时模型变得更加紧凑，可用于实时边缘推理。然而，语音质量直接与模型大小成比例，并且小模型通常仍然无法实现足够的质量。此外，引入的语音失真和伪像极大地损害语音质量和可懂度，并且通常显著降低自动语音识别（ASR）速率。在这项工作中，我们揭示了频谱复杂的压缩均方误差（MSE）损失的成功，以及它的幅度和相位感知的条款是如何与语音失真与降噪权衡。我们进一步研究了将预训练的无参考预测因子用于平均意见得分（MOS）和单词错误率（WER），以及预训练的ASR和声音事件检测嵌入。我们的分析表明，没有一个预训练的网络在强频谱损失上增加了显着的性能。
2021-11-23 cs.SD eess.AS
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield（谢菲尔德大学）
针对构音障碍语音数据稀缺问题，本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音，并微调Whisper等ASR基础模型，显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS
