Multimodal Consistency-Guided Reference-Free Data Selection for ASR Accent Adaptation
School of Computer Science and Technology（计算机科学与技术学院）；Xinjiang University（新疆大学）
本文提出一种多模态一致性引导的参考自由数据选择方法，用于提升ASR在口音适应中的性能，通过减少噪声伪标签和优化查询相关性，实现更高效的口音适应。
2026-02-03 cs.CL cs.SD eess.AS
Learning Invariant Representation and Risk Minimized for Unsupervised Accent Domain Adaptation
Ping An Technology（平安科技）
语音音频的无监督表示学习在语音识别任务中获得了令人印象深刻的性能，特别是当注释语音有限时。然而，无监督范式需要仔细设计，并且对这些表示获得的属性知之甚少。不能保证模型学习有意义的表示，以获得有价值的信息进行识别。此外，学习到的表示对其他领域的适应能力仍然需要估计。在这项工作中，我们探索通过直接映射语音表示到其相应的高级语言信息来学习域不变表示。实验结果表明，习得的潜伏期不仅捕捉到了每个音素的发音特征，而且增强了适应能力，在重音基准测试中的表现大大优于基线。
2022-10-29 cs.AI cs.CL cs.SD
Unsupervised Accent Adaptation Through Masked Language Model Correction Of Discrete Self-Supervised Speech Units
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium
本文提出一种无监督口音自适应方法，利用掩码语言模型校正离散语音单元，并通过小型适配器微调预训练模型，从而提升HuBERT Large在带口音语音识别上的鲁棒性。
2023-09-25 cs.SD eess.AS
DITTO: Data-efficient and Fair Targeted Subset Selection for ASR Accent Adaptation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
提出DITTO方法，利用子模互信息在固定预算内选择最具代表性的口音语音子集，支持多口音公平目标选择，标签效率提升3-5倍。
2023-06-05 cs.SD eess.AS
Improving Self-supervised Pre-training using Accent-Specific Codebooks
Indian Institute of Technology Bombay（印度孟买理工学院）；Indian Institute of Science（印度科学学院）
本文提出在自监督预训练中引入可训练的特定口音码本，以捕获口音信息并在 ASR 微调中细化，在 Mozilla Common Voice 数据集上对已见和未见英语口音均取得最优表现，WER 相对降低最高达 9%。
2024-07-04 cs.AI cs.CL cs.LG
Advancing African-Accented Speech Recognition: Epistemic Uncertainty-Driven Data Selection for Generalizable ASR Models
McGill University（麦吉尔大学）；Mila Quebec AI Institute（魁北克AI研究所）
针对非洲口音英语ASR数据稀缺问题，提出基于认知不确定性的主动学习多轮数据选择方法，自动标注并精选高不确定性样本，实现27%WER相对提升且减少45%数据需求，改善低资源口音泛化。
2025-06-23 cs.CL cs.SD eess.AS
Empirical Evaluation of Speaker Adaptation on DNN based Acoustic Model
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
说话人自适应的目的是从一个与说话人无关的声学模型中估计出一个特定于说话人的声学模型，以最大限度地减少由于说话人变异而引起的训练条件和测试条件之间的不匹配。自从深度学习模型成为主流以来，人们提出了多种神经网络自适应方法。但是，仍然缺乏不同的方法之间的实验比较，特别是当基于DNN的声学模型已经取得了很大进展。在本文中，我们的目标是通过提供三个典型的说话人自适应方法：LIN，LHUC和KLD的实证评估，以缩小这一差距。在强TDNN-LSTM声学模型上进行了不同大小自适应数据的自适应实验。更具挑战性的是，本文所研究的源和目标是标准普通话说话人模型和带口音普通话说话人模型。我们比较了不同方法及其组合的性能。说话人的口音程度也是衡量说话人自适应性能的重要指标。
2018-10-25 cs.CL cs.SD eess.AS
kNN For Whisper And Its Effect On Bias And Speaker Adaptation
University of Amsterdam（阿姆斯特丹大学）
针对语音识别模型微调易致灾难性遗忘的问题，本研究将非参数的令牌级kNN方法应用于Whisper模型，通过推理时外部数据存储搜索实现自适应，证明其可提升性能并分析了语音与文本设置差异及对说话人自适应的意义。
2025-02-11 cs.CL cs.SD eess.AS
Investigation of Deep Neural Network Acoustic Modelling Approaches for Low Resource Accented Mandarin Speech Recognition
Key Laboratory of Human-Machine Intelligence-Synergy Systems, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院人机智能协同系统重点实验室）；Cambridge University Engineering Dept（剑桥大学工程系）；The Chinese University of Hong Kong（香港中文大学）
针对低资源多口音普通话识别，本文比较多种DNN声学建模方案，并提出显式利用口音信息的改进MLAN tandem HMM系统，使字错误率相对基线绝对降低0.8%至1.5%。
2024-06-14 cs.SD eess.AS
Adaptation Algorithms for Neural Network-Based Speech Recognition: An Overview
University of Edinburgh（爱丁堡大学）；JPMorgan Chase（摩根大通）；Microsoft Corporation（微软公司）；University of New South Wales（新南威尔士大学）；Apple（苹果公司）
我们提出了一个结构化的基于神经网络的语音识别的自适应算法的概述，考虑混合隐马尔可夫模型/神经网络系统和端到端的神经网络系统，重点是说话人自适应，域自适应，和口音自适应。概述的特点自适应算法的基础上嵌入，模型参数自适应，或数据增强。我们提出了一个荟萃分析的性能语音识别自适应算法，根据文献中报道的相对错误率降低。
2021-02-28 cs.CL cs.SD eess.AS
Mixture of LoRA Experts with Multi-Modal and Multi-Granularity LLM Generative Error Correction for Accented Speech Recognition
本文针对口音语音识别提出多模态与多粒度生成式纠错方法，并通过HDMoLE分层路由与动态阈值混合单口音LoRA专家，在多口音英语数据上将词错误率相对基线Whisper-large-v3降低67.35%。
2025-07-19 cs.SD eess.AS
Accented Speech Recognition With Accent-specific Codebooks
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Science（印度科学理工学院）
本文提出一种基于可训练码本与交叉注意力的端到端ASR口音自适应方法，在Mozilla Common Voice上对已见口音WER相对改进达37%，未见口音达5%，并验证了零样本迁移效果。
2023-10-27 cs.AI cs.CL cs.LG
Mixture of LoRA Experts for Low-Resourced Multi-Accent Automatic Speech Recognition
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息与自动化研究所）
针对低资源多口音非母语语音识别鲁棒性不足的问题，提出MAS-LoRA微调方法，通过混合不同口音的LoRA专家实现推理时口音已知/未知场景下的适配，在L2-ARCTIC语料库上基于Whisper取得优于常规LoRA和全微调的词错误率，且灾难性遗忘更少。
2025-05-26 cs.CL
Combined Acoustic and Pronunciation Modelling for Non-Native Speech Recognition
LORIA-CNRS & INRIA（LORIA-CNRS与INRIA）
在本文中，我们提出了几种适应方法的非母语语音识别。我们已经测试了发音建模，MLLR和MAP非母语发音适应和HMM模型再培训的HIWIRE外国口音的英语语音数据库。我们开发的"语音混淆“方案包括将每个语音音素与几个混淆音素序列相关联。在我们的实验中，我们使用了不同的组合的声学模型代表的规范和外国的发音：口语和本地模型，模型适应非本地口音与MAP和MLLR。发音建模和声学适应的联合使用导致识别准确性的进一步提高。上述技术的最佳组合导致相对字错误减少46%至71%。
2007-11-06 cs.CL
Domain Adaptation Using Class Similarity for Robust Speech Recognition
Institute of Acoustics（声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；China Mobile Online Services Company Limited（中国移动在线服务有限公司）
当只有有限的目标域数据可用时，域自适应可以通过利用经过良好训练的源模型和目标域数据来提高深度神经网络（DNN）声学模型的性能。然而，受领域失配和数据稀疏性的影响，领域自适应是非常具有挑战性的。提出了一种基于类相似度的DNN声学模型自适应方法。由于DNN模型的输出分布包含了类之间的相似性知识，这些知识适用于源域和目标域，因此可以将其从源模型转移到目标模型以提高性能。在我们的方法中，我们首先使用源模型计算源样本的帧级后验概率。然后，对于每个类，该类的概率用于计算均值向量，我们称之为均值软标签。在自适应期间，这些平均软标签用于正则化项中以训练目标模型。实验表明，我们的方法优于微调使用一个热标签的口音和噪音适应任务，特别是当源和目标域高度不匹配。
2020-11-05 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
In-Context Adaptation of Encoder-Decoder Models in Speech Recognition
University of Edinburgh（爱丁堡大学）
本研究探究上下文自适应是否为所有编码器-解码器语音识别模型的固有能力，通过六种模型和两种示例形式验证，发现均能实现自适应，且词汇与说话人信息均有贡献，表明该能力具有普遍性。
2026-09-29 cs.CL cs.SD eess.AS
An Investigation of Indian Native Language Phonemic Influences on L2 English Pronunciations
Indian Institute of Science（印度科学学院）
语音系统对口音变化很敏感。这在印度尤其具有挑战性，印度有丰富的语言，但缺乏对发音变化的语言学研究。在印度，越来越多的L2英语使用者加强了学习口音和L1-L2互动的必要性。我们调查了印度英语（IE）的口音，并详细报告了我们的观察结果，包括所有地区的具体和共同点。特别是，我们观察到的音素变化和音位发生在扬声器的母语，并将其应用到他们的英语发音。我们证明了18个印度语言对IE的影响，通过比较母语发音与IE发音共同获得现有的文献研究和语音注释的80发言人。因此，我们能够验证印度语言的影响，在IE发音的直觉，通过证明发音规则从印度语言音系学的角度。我们得到了全面的描述，在通用和区域特定的特点，IE，这有利于口音转换和适应现有的ASR和TTS系统，以不同的印度口音。
2022-12-19 cs.CL
Domain Expansion in DNN-based Acoustic Models for Robust Speech Recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）
用顺序输入的数据训练声学模型--同时利用新数据并避免遗忘效应--是在语音识别中达到人类智能水平的一个重要障碍。利用来自新域的数据的一种显而易见的方法（例如，新的重音语音）是首先通过组合所有可用数据来生成所有域的综合数据集，然后使用该数据集来重新训练声学模型。然而，随着训练数据量的增长，在如此大规模的数据集上进行存储和再训练几乎是不可能的。为了解决这个问题，在这项研究中，我们研究了几个域扩展技术，只利用新领域的数据，以建立一个更强大的模型，为所有领域。这些技术旨在以最小的遗忘效应（即，它们保持原始模型性能）。这些技术通过施加新的约束来修改自适应过程，包括（1）权重约束自适应（WCA）：保持模型参数接近原始模型参数;（2）弹性权重合并（EWC）：减慢对先前建立的域重要的参数的训练;（3）软KL发散（SKLD）：限制原始模型输出分布和适应模型输出分布之间的KL发散;以及（4）混合SKLD-EWC：结合SKLD和EWC约束。我们在口音适应任务中评估了这些技术，在该任务中，我们将用母语英语训练的深度神经网络（DNN）声学模型适应于三种不同的英语口音：澳大利亚人，西班牙人和印度人。实验结果表明，SKLD算法的性能明显优于EWC算法，而EWC算法的性能优于WCA算法。混合SKLD-EWC技术可实现最佳的整体性能。
2019-10-01 cs.CL cs.LG eess.AS
HDMoLE: Mixture of LoRA Experts with Hierarchical Routing and Dynamic Thresholds for Fine-Tuning LLM-based ASR Models
Tencent AI Lab（腾讯AI实验室）；Northwestern Polytechnical University（西北工业大学）
本文提出HDMoLE方法，通过层次路由与动态阈值结合LoRA和MoE，实现基于LLM的ASR模型在多口音领域的高效微调，仅用9.6%可训练参数即可达到与全量微调相当的性能并避免灾难性遗忘。
2025-01-03 cs.SD eess.AS
Gender domain adaptation for automatic speech recognition task
Laboratory of Algorithms and Technologies for Network Analysis（网络分析算法与技术实验室）；HSE University（高等经济大学）
本文的重点是微调的声学模型的扬声器适应目标对一个给定的性别。我们在Librispeech-960上预训练了Transformer基线模型，并对特定性别的测试子集进行了微调实验。在一般情况下，我们没有得到必要的WER减少微调技术通过这种方法。如果编码器和解码器中的层没有被冻结，但调整从最后一个检查点开始，我们在男性子集上实现了高达5%的字错误率降低，在女性子集上实现了3%的字错误率降低。此外，我们在口音语音的完整L2北极数据集上调整了我们的基础模型，并分别针对特定的说话者和男性和女性进行了微调。与在整个L2 Arctic数据集上调整的模型相比，在性别子集上训练的模型获得了1-2%的准确性。最后，我们测试了预训练的x向量语音嵌入和来自传统编码器的嵌入的级联，但其准确性的提高并不显著。
2020-11-17 cs.SD eess.AS
Activation Steering for Accent Adaptation in Large Audio Language Models
School of Computer Science, The University of Melbourne（墨尔本大学计算机学院）；Wuhan University（武汉大学）
提出激活引导方法，通过识别编码器中间层的口音敏感子空间，在推理时直接调整表示，无需参数更新，在八个口音上降低词错误率。
2026-06-18 eess.AS
L-Vector: Neural Label Embedding for Domain Adaptation
Microsoft（微软）
我们提出了一种新的神经标签嵌入（NLE）方案，用于深度神经网络（DNN）声学模型的域自适应，该模型具有来自源域和目标域的未配对数据样本。使用NLE方法，我们将来自强大的源域DNN的知识提取到标签嵌入或l-向量的字典中，每个senone类一个。每个I向量是源域DNN的特定于状态元的输出分布的表示，并且通过简单的平均或标准反向传播来学习以最小化到具有相同标签的输出向量的平均L2、Kullback-Leibler（KL）或对称KL距离。在自适应过程中，l-向量作为软目标来训练具有交叉熵损失的目标域模型。由于没有师生学习中的并行数据约束，NLE特别适用于无法从源域数据模拟成对目标域数据的情况。我们采用6400小时的多条件美国英语声学模型，以适应9种口音英语（80至830小时）和儿童语音（80小时）中的每一种。NLE实现了高达14.1%的相对字错误率降低直接重新训练与一个热标签。
2020-04-25 cs.CL cs.LG cs.SD
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University（南洋理工大学）；NVIDIA Research（英伟达研究院）；IBM Research（IBM研究院）；Tsinghua University（清华大学）
提出无监督自适应框架STAR，利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性，通过新颖指标评估伪标签质量，实现平均13.5%的词错误率降低，并防止灾难性遗忘，数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
Advancing Test-Time Adaptation in Wild Acoustic Test Settings
National University of Singapore（新加坡国立大学）
针对野外声学测试场景下ASR微调声学基础模型性能下降、现有视觉TTA方法不适配语音特性的问题，提出置信度增强自适应方法，结合帧级置信度权重与一致性正则化，在多类场景下性能优于现有基线。
2024-10-05 cs.LG cs.SD eess.AS
GLoRIA: Gated Low-Rank Interpretable Adaptation for Dialectal ASR
GLoRIA通过门控低秩适应技术，在方言ASR中实现高效、可解释且高精度的语音识别性能。
2026-03-02 cs.AI cs.CL
On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
本文针对构音障碍和老年人语音识别中说话人数据稀缺问题，提出两种数据高效的即时特征自适应方法，在多个基准系统上取得显著词错率降低。
2023-05-28 cs.AI cs.LG cs.SD
Gated Low-rank Adaptation for personalized Code-Switching Automatic Speech Recognition on the low-spec devices
School of Electrical Engineering, Korea University（高丽大学电气工程学院）
本文提出权重分离方法与门控低秩适应（GLoRA），在低规格设备上实现个性化语码转换自动语音识别，实验证明其优于传统模型且优于常规LoRA。
2024-04-24 cs.AI cs.CL eess.AS
Boosting ASR Robustness via Test-Time Reinforcement Learning with Audio-Text Semantic Rewards
通过引入音频-文本语义奖励的测试时强化学习方法，提升ASR系统在嘈杂环境和多样口音下的鲁棒性与准确性。
2026-03-05 cs.AI cs.LG cs.SD
Sequence Training and Adaptation of Highway Deep Neural Networks
The University of Edinburgh（爱丁堡大学）
高速公路深度神经网络（HDNN）是一种深度门控前馈神经网络，与传统的普通深度神经网络（DNN）相比，它更容易用更多的隐藏层进行训练，也更好地泛化。以前，我们研究了一个结构化的HDNN架构的语音识别，其中的两个门函数被绑在所有的隐藏层，我们能够训练一个小得多的模型，而不牺牲识别精度。本文在AMI会议语音识别语料库上，结合序列判别训练准则和说话人自适应技术，对该体系结构进行了研究。我们表明，这两种技术提高了语音识别的准确性上的交叉熵标准训练的模型。此外，我们证明了在所有隐藏层之间绑定的两个门函数能够控制整个网络的信息流，并且我们可以通过在序列训练和自适应实验中仅更新这些门函数来实现相当大的改进。
2017-03-22 cs.CL cs.LG cs.NE
A Comparison of Adaptation Techniques and Recurrent Neural Network Architectures
University of West Bohemia（西波希米亚大学）
最近，递归神经网络已经成为自动语音识别声学建模的最新技术。长短期记忆（LSTM）单元是最受欢迎的单元。然而，在一些出版物中，门控递归单元（GRU）及其修改等替代单元的性能优于LSTM。在本文中，我们比较了五个神经网络（NN）架构与各种适应和特征归一化技术。我们已经评估了特征空间最大似然线性回归，五个变量的i-向量适应和两个变量的倒谱均值归一化。大多数自适应和归一化技术都是为前馈神经网络开发的，根据本文的结果，并非所有这些技术都适用于RNN。对于实验，我们选择了一个众所周知的和可用的TIMIT电话识别任务。语音识别对AM的质量比具有复杂语言模型的大词汇量任务更敏感。此外，我们还发布了开源脚本，以便轻松复制结果并帮助继续开发。
2018-07-12 cs.CL cs.SD eess.AS
Parameter-Efficient Learning for Text-to-Speech Accent Adaptation
National Yang Ming Chiao Tung University（国立阳明交通大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出面向TTS口音适配的参数高效学习方法，结合最优传输理论引入辅助无监督损失，仅用少量参数即可在低资源普通话口音适配中取得有竞争力的合成自然度。
2023-05-18 cs.AI cs.NE cs.SD
Auditing Bias and Safety in Voice AI Customer Care
NetoAI
该研究针对作为有状态多轮工具介导系统的客户服务语音AI，提出验证门控审计框架，区分架构、匹配服务事实、多维度验证并记录结果与负担，以评估其偏见与安全性。
2026-09-07 cs.CL cs.CY cs.HC
Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
尽管近几十年来针对正常语音的自动语音识别（ASR）技术取得了快速进展，但迄今为止，构音障碍和老年语音的准确识别仍然是极具挑战性的任务。在正常言语中常见的异质性来源，包括口音或性别，当进一步与年龄和言语病理严重程度的变异性复合时，在说话者中产生了很大的多样性。为此，说话人自适应技术在为这些用户个性化ASR系统中起着关键作用。受构音障碍、老年人和正常言语之间的频谱-时间水平差异的启发，这些差异系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流利增加，本文提出了一种新的基于SVD语音谱分解的谱时间子空间基深度嵌入特征，以促进最先进的混合DNN/TDNN和端到端的基于辅助特征的说话人自适应。end Conformer语音识别系统。实验在四个任务上进行：英语UASpeech和TORGO构音障碍语音语料库;英语DementiaBank Pitt和粤语JCCOCC MoCA老年人语音数据集。所提出的频谱-时间深度特征自适应系统在字错误率（WER）方面的绝对（8.63%相对）降低率超过基线i-Vector和xVector自适应。一致的性能改善后，保留基于模型的说话人自适应学习隐藏单元贡献（LHUC）进一步应用。最好的扬声器适应系统使用建议的频谱基础嵌入功能产生了最低的公布WER的25.05%的UASpeech测试集的16个构音障碍的扬声器。
2022-03-17 cs.AI cs.LG cs.SD
Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification
University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）
针对自监督语音表征中口音与语言混淆问题，提出基于几何投影的L1偏差去除方法，仅用母语语音估计偏差方向，在五个MMS-LID模型上显著提升L2口音语音识别，且无需L2数据或模型适配。
2026-10-08 cs.CL cs.SD eess.AS
Spectro-Temporal Deep Features for Disordered Speech Assessment and Recognition
1 The Chinese University of Hong Kong 2 Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。在正常言语中常见的变异性来源，包括口音、年龄或性别，当进一步与言语障碍的根本原因和不同的严重程度相结合时，会在说话者中产生很大的多样性。为此，说话人自适应技术在当前的语音识别系统中起着至关重要的作用。受语音障碍和正常语音之间的频谱-时间水平差异的启发，语音障碍系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流畅增加，提出了一种新的嵌入语音频谱SVD分解深度特征的谱-时子空间基，以便于准确的语音可懂度评估和基于辅助特征的说话人状态自适应。混合DNN和端到端无序语音识别系统。在UASpeech语料库上进行的实验表明，所提出的频谱-时间深度特征自适应系统在有或没有数据增强的情况下，字出错率（WER）的绝对（8.6%相对）降低一直优于基线i-Vector自适应。进一步应用了基于学习隐单元贡献的说话人自适应算法。使用所提出的谱基嵌入特征的最终说话者自适应系统在16个构音障碍说话者的UASpeech测试集上给出了25.6%的总体WER
2022-01-14 cs.AI cs.LG cs.SD
SSVD-O: Parameter-Efficient Fine-Tuning with Structured SVD for Speech Recognition
KU Leuven（卢森堡大学）；Carnegie Mellon University（卡内基梅隆大学）
SSVD-O通过结合输入和输出特征空间的结构SVD引导微调，实现高效语音识别模型的参数高效微调，提升泛化能力和减少灾难性遗忘。
2026-01-18 cs.CL cs.LG cs.SD
Filter-based Discriminative Autoencoders for Children Speech Recognition
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
由于儿童语音的多样性，儿童语音识别是必不可少的，但也具有挑战性。在本文中，我们提出了一个基于滤波器的判别式自动编码器的声学建模。为了滤除各种说话人类型和音高的影响，将说话人和音高特征的辅助信息与声学特征一起输入到编码器中以生成语音嵌入。在训练阶段，解码器使用辅助信息和编码器提取的语音嵌入来重建输入的声学特征。通过同时最小化ASR损失和特征重建误差来训练自动编码器。该框架可以使语音嵌入更纯粹，从而产生更准确的senone（三音状态）分数。在CMU Kids语料库的测试集上进行评估，与基线系统相比，我们的系统实现了7.8%的相对WER降低。在领域自适应实验中，我们的系统在英国口音PF-STAR任务上也优于基线系统。
2022-05-23 cs.CL cs.LG cs.SD
Multi-sample Synthetic Supervision for Accent Conversion
提出多样本合成监督框架，通过联合评估候选波形构建口音转换目标，提升口音分类准确率2.49个百分点，保持说话人相似度，实现7.81%词错误率。
2026-10-02 eess.AS
USAT: A Universal Speaker-Adaptive Text-to-Speech Approach
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文提出统一零样本与少样本说话人自适应的TTS框架USAT，通过创新判别器、记忆机制和适配器解决泛化不足、灾难性遗忘等问题，并兼顾非母语口音场景。
2024-04-28 cs.AI cs.CL cs.SD
Remap, warp and attend: Non-parallel many-to-many accent conversion with Normalizing Flows
同一语言的地区口音不仅影响单词的发音（即，语音内容），而且还影响语音的韵律方面，例如说话速率和语调。本文研究了一种新的基于流的口音转换方法，使用规范化流。所提出的方法围绕三个步骤：重新映射的语音条件，以更好地匹配目标口音，翘曲的转换语音的持续时间，以更好地适应目标音素，和注意力机制，隐式对齐源和目标语音序列。所提出的重映射-翘曲-出席系统使得能够适应语音的语音和韵律方面，同时允许源和转换后的语音信号具有不同的长度。客观和主观的评价表明，该方法显着优于竞争力的CopyCat基线模型的目标口音，自然度和可理解性方面的相似性。
2022-11-10 eess.AS
Advancing Multi-Accented LSTM-CTC Speech Recognition using a Domain Specific Student-Teacher Learning Paradigm
非母语语音会导致自动语音识别系统的性能下降。过去的策略，以解决这一挑战，考虑模型自适应，口音分类与模型选择，替代发音词典等，在这项研究中，我们考虑了一个循环神经网络（RNN）与连接时间分类（CTC）代价函数训练的多口音英语数据，包括美国（本地），印度和西班牙口音。我们利用暗知识从多口音数据训练的模型训练学生模型的指导下，教师模型和目标转录的CTC成本。我们表明，将知识从单个RNN-CTC训练模型转移到学生模型，比独立的教师模型产生更好的性能。由于不同训练的CTC模型的输出不一定一致，因此不可能简单地使用CTC教师模型的集合。为了解决这个问题，我们在单个多口音教师的指导下训练口音特定模型，这导致具有多个对齐和训练的CTC模型。此外，我们在特定口音教师的监督下训练了一个学生模型，从而产生了一个更进一步的补充模型，与没有任何教师训练的基线相比，该模型实现了+20.1%的相对字符错误率（CER）降低。有了这个有效的多口音模型，我们可以通过使模型适应每种口音来进一步改进每种口音。使用重音特定模型的输出来正则化适配过程（即，Kullback-Leibler（KL）发散的知识蒸馏版本）与使用一般教师模型的常规方法相比甚至产生更好的性能。
2019-10-01 eess.AS
Region-Aware Masking for Accent-Robust Cross-Lingual Text-to-Speech
针对跨语言TTS口音泄漏，提出区域感知掩码，仅改变掩码位置即可大幅降低口音，且不损可懂度与自然度。
2026-10-07 eess.AS
SpeechAccentLLM: A Unified Framework for Foreign Accent Conversion and Text to Speech
Southeast University（东南大学）；LIGHTSPEED；Tencent Hunyuan（腾讯文元）；Independent Researcher（独立研究者）
本文提出SpeechAccentLLM统一框架，通过SpeechCodeVAE实现CTC集成的语音令牌化，并采用多任务学习与SpeechRestorer后处理，解决外来口音转换中的数据稀缺和生成误差问题。
2025-07-08 cs.SD eess.AS
Singlish, Can or Not? Fine-Tuning and Evaluating Zero-Shot TTS for Singapore English
KLASS Engineering & Solutions（KLASS工程与解决方案）
研究针对新加坡英语的零样本语音合成，对Chatterbox和CosyVoice 3两个模型在IMDA语料库上微调，评估三种语音分布在自然度等四维度的表现，发现微调能提升口音相似度，使生成分布更接近真实新加坡英语，是该领域首次系统研究。
2026-10-14 eess.AS
Unseen Speaker and Language Adaptation for Lightweight Text-To-Speech with Adapters
本文针对轻量级文本转语音系统，通过适配器实现未见说话人和语言的跨语言适配，避免灾难性遗忘，提出口音母语程度的客观指标，并分析适配器配置等因素的影响。
2025-08-25 cs.CL cs.LG cs.SD
Libri-Adapt: A New Speech Dataset for Unsupervised Domain Adaptation
University College London（伦敦大学学院）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Oxford（牛津大学）
本文介绍了一个新的数据集，Libri-Adapt，支持语音识别模型的无监督域自适应研究。Libri-Adapt建立在LibriSpeech语料库之上，包含在移动和嵌入式麦克风上录制的英语语音，并跨越72个不同的领域，这些领域代表了ASR模型遇到的具有挑战性的实际场景。更具体地说，Libri-Adapt有助于研究ASR模型中由a）不同声学环境，b）扬声器口音的变化，c）麦克风硬件和平台软件的异质性，以及d）上述三种变化的组合引起的域偏移。我们还提供了一些基线结果，量化了这些域转移对Mozilla DeepSpeech 2 ASR模型的影响。
2020-09-06 cs.LG cs.SD eess.AS
ADAPTERMIX: Exploring the Efficacy of Mixture of Adapters for Low-Resource TTS Adaptation
Singapore University of Technology and Design（新加坡科技设计大学）；ASUS Intelligent Cloud Services (AICS)（华硕智能云服务）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出ADAPTERMIX方法，通过在骨干模型层中混合多个适配器实现低资源语音合成的说话人自适应，仅需一分钟数据即带来5%的偏好提升，且只需微调11%的模型参数。
2023-05-29 cs.AI cs.CL cs.SD
Cross-Language Transfer Learning, Continuous Learning, and Domain Adaptation for End-to-End Automatic Speech Recognition
在本文中，我们证明了迁移学习和连续学习的各种自动语音识别（ASR）任务的有效性。我们从一个预先训练好的英语ASR模型开始，并证明迁移学习可以在以下几个方面有效且容易地执行：（1）不同的英语口音，（2）不同的语言（德语，西班牙语和俄语）和（3）特定于应用程序的领域。我们的实验表明，在这三种情况下，从一个良好的基础模型进行迁移学习比从头开始训练的模型具有更高的准确性。与小型预训练模型相比，更倾向于微调大型模型，即使用于微调的数据集很小。此外，迁移学习显著加快了非常小和非常大的目标数据集的收敛速度。
2020-05-08 eess.AS
GC-LoRA: Gated Convolutional LoRA for Parameter-Efficient Acoustic Adaptation
University of California, Los Angeles（加州大学洛杉矶分校）
提出GC-LoRA适配器架构，通过注入Conformer风格的局部卷积处理到预训练Transformer编码器中，高效捕捉局部声学依赖，在多种声学失配领域实现高达10.9%的词错误率降低。
2026-06-09 eess.AS
Lina-Speech: Gated Linear Attention and Initial-State Tuning for Multi-Sample Prompting Text-To-Speech Synthesis
针对神经编解码器语言模型在TTS语音克隆中存在的上下文长度有限、韵律情绪适配难及推理吞吐量低等问题，提出Lina-Speech模型，采用GLA替代自注意力并结合IST策略，实现多样本条件控制，提升性能与吞吐量，支持细粒度特征控制。
2025-11-15 cs.AI cs.SD eess.AS
E-BATS: Efficient Backpropagation-Free Test-Time Adaptation for Speech Foundation Models
The University of Melbourne（墨尔本大学）；University of Auckland（奥克兰大学）；Nokia Bell Labs, UK（诺基亚贝尔实验室（英国））；University of Birmingham（伯明翰大学）
E-BATS是一种专为语音基础模型设计的高效无反向传播测试时间适应框架，通过轻量级提示适应、多尺度损失和测试时间指数移动平均机制，在适应效果和内存效率之间取得平衡，实现了4.1%-13.5%的准确率提升和2.0-6.4倍的GPU内存节省。
2026-02-23 cs.LG cs.SD eess.AS
Advancing Voice Cloning for Nepali: Leveraging Transfer Learning in a Low-Resource Language
Khwopa College Of Engineering（阔帕工程学院）
本文针对尼泊尔语低资源场景，利用迁移学习构建语音克隆系统，解决了音频质量差和数据匮乏问题，实现了带有尼泊尔语口音的自然语音输出。
2024-08-23 cs.AI cs.LG cs.SD
