Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Private Language Model Adaptation for Speech Recognition
Meta AI
语音模型自适应对于处理服务器端代理训练数据与用户本地设备上接收的实际数据之间的差异至关重要。通过使用联邦学习（FL），我们引入了一种在私人设备上连续适应神经网络语言模型（NNLM）的有效方法，并应用于自动语音识别（ASR）。为了解决设备上训练语料库中潜在的语音转录错误，我们进行了实证研究，比较了利用标记级置信度分数来提高FL设置中NNLM质量的各种策略。实验结果表明，与无模型自适应相比，该方法在两个语音评测数据集上分别实现了2.6%和10.8%的相对字错误率（WER）降低。我们还提供了分析，在评估我们提出的程序的隐私保证。
2022-06-15 cs.CL cs.LG cs.SD
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne（墨尔本大学）；UNSW Sydney（新南威尔士大学悉尼分校）
针对太平洋土著语言数据稀缺和灾难性遗忘问题，研究语音基础模型的适应策略，发现LoRA在顺序学习中会灾难性遗忘，需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
An Overview of Hindi Speech Recognition
Einstein College of Engineering（爱因斯坦工程学院）；G H Raisoni College of Engg.（G H Raisoni工程学院）；Nagpur University（那格浦尔大学）；PG Dept. of Computer Science（计算机科学研究生部）；SGB Amravati University（SGB阿姆拉瓦蒂大学）
在这个信息技术时代，以方便的方式获取信息变得越来越重要。由于语音是人类交流的主要方式，人们自然希望能够与计算机进行口语对话。语音识别系统允许普通人对着计算机说话来检索信息。最好有一个本地语言的人机对话。印地语是印度最广泛使用的语言，是人机交互的自然主要人类语言候选者。印地语中有五对元音;一个成员比另一个长。本文概述了语音识别系统，包括语音是如何产生的，印地语音素的属性和特点。
2013-05-09 cs.CL cs.SD
Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition
Amazon Inc.（亚马逊公司）；Meta AI
尽管基于深度学习的端到端自动语音识别（ASR）近年来表现出了卓越的性能，但它在从不同数据分布中提取的测试样本上存在严重的性能回归。测试时自适应（TTA），以前在计算机视觉领域进行过探索，旨在调整在源域上训练的模型，以便在不访问源数据的情况下，为测试样本（通常是域外）提供更好的预测。在这里，我们提出了单话语测试时间适应（SUTA）框架的ASR，这是第一个TTA研究ASR，以我们最好的知识。单话语TTA是更现实的设置，其不假设测试数据是从相同的分布中采样的，并且不会由于针对该批自适应数据的预收集而延迟按需推理。SUTA由无监督目标和有效的适应策略组成。实验结果表明，SUTA有效地提高了源ASR模型在多个领域外目标语料库和领域内测试样本上的性能。
2022-06-21 cs.CL cs.SD eess.AS
Sample-Efficient Unsupervised Domain Adaptation of Speech Recognition Systems A case study for Modern Greek
National Technical University of Athens（雅典国家技术大学）；Institute for Speech and Language Processing, Athena Research Center（雅典娜研究中心语音与语言处理研究所）
现代语音识别系统在域移位下表现出快速的性能下降。这个问题在数据稀缺的环境中尤其普遍，例如资源少的语言，其中训练数据的多样性有限。在这项工作中，我们提出了M2 DS 2，这是一种简单且样本高效的微调策略，适用于大型预训练语音模型，基于混合源和目标域自监督。我们发现，包括源域自我监督稳定的训练，并避免模式坍塌的潜在表示。为了进行评估，我们收集HParl，一个$120$小时的语音语料库希腊，在希腊议会全体会议组成。我们将HParl与两个流行的希腊语料库合并，以创建GREC-MD，这是一个用于希腊ASR系统多域评估的测试平台。在我们的实验中，我们发现，虽然其他无监督领域自适应基线在这种资源受限的环境中失败，但M2 DS 2对跨领域自适应产生了显着的改进，即使只有几个小时的域内音频可用。当我们在弱监督设置中放松问题时，我们发现使用M2 DS 2的音频和使用简单LM增强技术的语言的独立适应特别有效，产生与完全监督基线相当的单词出错率。
2022-12-31 cs.CL cs.SD eess.AS
End-to-end Adaptation with Backpropagation through WFST for On-device Speech Recognition System
Sony Corporation（索尼公司）
设备上的DNN-HMM语音识别系统在存在各种可预测噪声的情况下有效地利用有限的词汇。在这种情况下，词汇和环境适应非常有效。在本文中，我们提出了一种新的方法，端到端（E2 E）的适应，它不仅调整声学模型（AM），但也加权有限状态传感器（WFST）。我们将预训练的WFST转换为可训练的神经网络，并通过与AM的E2 E联合训练使系统适应目标环境/词汇。我们用前向-后向神经网络计算复制Viterbi解码，这类似于递归神经网络（RNN）。通过合并输出分数序列，获得每个话语的词汇后验，并用于判别损失计算。使用2- 10小时的英语/日语自适应数据集的实验表明，只有WFST和只有AM的微调都相当于一个国家的最先进的自适应方法，和E2 E联合训练的两个组件实现了最佳的识别性能。我们还适应每个语言系统的其他语言使用的适应数据，结果表明，所提出的方法也适用于语言适应。
2019-06-24 cs.CL cs.SD eess.AS
Optimal Transport-based Adaptation in Dysarthric Speech Tasks
Italian Institute of Technology（意大利理工学院）；University of Ferrara（费拉拉大学）；University of Genoa（热那亚大学）；PerVoice（PerVoice公司）
在许多实际应用中，训练数据（源）和测试数据（目标）分布之间的不匹配会显著降低机器学习算法的性能。在语音数据中，这种失配的原因包括不同的声学环境或扬声器特性。在本文中，我们解决这个问题的构音障碍的语音，多源域/说话人自适应（MSDA/MSSA）的挑战性的背景下。具体来说，我们建议使用基于最优传输的方法，称为MSDA通过加权联合最优传输（MSDA-WDJOT）。我们面临的构音障碍检测中的失配问题，所提出的方法优于基线和最先进的MSDA模型，提高了0.9%的检测精度比最好的竞争对手的方法。然后，我们采用MSDA-WJDOT构音障碍的扬声器适应命令语音识别。这提供了一个命令出错率相对减少16%和7%的基线和最好的竞争对手的模型，分别。有趣的是，MSDA-WJDOT提供了源和目标之间的相似性得分，即在这种情况下，扬声器之间的相似性得分。我们利用这种相似性度量来定义目标说话者的构音障碍和健康评分，并以95%的准确率诊断构音障碍。
2022-03-14 cs.CL cs.SD eess.AS
Don't Stop Self-Supervision: Accent Adaptation of Speech Representations via Residual Adapters
AWS AI Labs（AWS人工智能实验室）；University of Virginia（弗吉尼亚大学）
针对自监督语音表示在非母语口音上表现不佳的问题，提出通过训练口音特定残差适配器进行参数高效的自监督适应，在ASR任务中显著降低了词错误率，且方法与模型和任务无关。
2023-07-02 cs.CL cs.SD eess.AS
Transfer Learning from Adult to Children for Speech Recognition: Evaluation, Analysis and Recommendations
University of Southern California（南加利福尼亚大学）
儿童语音识别是具有挑战性的，主要是由于儿童的身体和发音特征和表达的固有高度可变性。由于儿童生活中快速变化的发展阶段，这种变化表现在声学结构和语言使用上。部分挑战是由于缺乏大量可用的儿童语音数据进行有效建模。本文试图在深度神经网络（DNN）框架下，利用从成人模型到儿童模型的迁移学习，解决儿童自动语音识别（ASR）任务在多个儿童语音语料库上的大词汇量评估的关键挑战。本文提出了一个系统的和广泛的分析建议迁移学习技术考虑到影响儿童的语音识别从以前的文献的关键因素。评估（i）早期GMM-HMM和较新的DNN模型的比较，（ii）标准自适应技术与迁移学习的有效性，（iii）各种自适应配置在解决儿童语音中存在的变化方面，（a）声学频谱变化，（b）发音变化和语言约束。我们的分析涵盖了（i）DNN模型参数的数量（用于适应），（ii）适应数据的数量，（iii）儿童的年龄，（iv）年龄依赖-独立适应。最后，我们提供了建议（i）在各种上述分析参数的有利策略，和（ii）潜在的未来研究方向和相关的挑战/问题，坚持在DNN为基础的ASR儿童的语音。
2018-05-08 cs.CL cs.SD eess.AS
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group（微软语音组）
神经传感器由于其自然的流式传输能力，成为目前最流行的语音识别端到端模型。然而，它是具有挑战性的，以适应它与纯文本数据。因子化神经传感器（FNT）模型的提出，以减轻这个问题。与标准神经传感器模型相比，FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是：在训练过程中增加CTC准则，在自适应过程中增加KL发散损失，使用预训练的语言模型来播种词汇预测器，以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外，使用词汇预测器的n-gram插值极大地提高了自适应速度，具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
Speech to Text Adaptation: Towards an Efficient Cross-Modal Distillation
Seoul National University（首尔国立大学）；Search Solution Inc.（搜索解决方案公司）
言语是最有效的交际手段之一，它所包含的信息有助于表达者思想的传递。然而，主要由于声学特征的繁琐处理，音素或词的后验概率经常被丢弃在理解自然语言。因此，一些最近的口语语言理解（SLU）模块已经利用了保存不确定性信息的端到端结构。这进一步减少了语音识别误差的传播并保证了计算效率。我们认为，在这个过程中，语音理解可以受益于大量的预训练语言模型（LM）的推理。我们将知识从一个具体的基于transformer的文本LM转移到一个SLU模块，该模块可能面临数据短缺，基于最近的跨模态蒸馏方法。我们证明了我们的建议的有效性上的表现流利的语音命令，英语SLU基准。因此，我们通过实验验证了我们的假设，即知识可以从LM的顶层共享到一个完全基于语音的模块，其中抽象的语音预计将满足语义表示。
2020-08-08 cs.CL cs.SD eess.AS
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA（英伟达）
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘，其中原始域上的字出错率显著降低。本文讨论的情况下，我们要同时适应自动语音识别模型到一个新的域，并限制在原始域的准确性下降，而无需访问原始的训练数据集。我们提出了几种技术，例如有限的训练策略和用于传感器编码器，预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集，并在新的目标域上获得了强有力的结果，同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation
Monash University（莫纳什大学）
端到端的语音到文本翻译模型通常使用预训练的语音编码器和预训练的文本解码器进行初始化。这导致预训练和微调之间的显著训练间隙，这主要是由于来自编码器的语音输出和到解码器的文本输入之间的模态差异。在这项工作中，我们的目标是弥合语音和文本之间的模态差距，以提高翻译质量。我们提出了M-Adapter，一个新的基于transformer的模块，以适应语音表示文本。在缩小语音序列的同时，M-Adapter通过对语音序列的全局和局部依赖关系进行建模，产生语音到文本翻译所需的特征。我们的实验结果表明，我们的模型在Must-C En $\rightarrow$ DE数据集上的性能优于强基线，最高可达1个BLEU分数。\footnote{Our code is available at https://github.com/mingzi151/w2v2-st.}
2022-07-03 cs.CL cs.LG cs.SD
Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对CTC架构多语言语音识别难以融入语言提示的问题，提出自条件CTC框架下的编码器提示技术，实现零样本语言适配，平均降错28%，低资源语言降错41%。
2024-06-18 cs.CL cs.SD eess.AS
Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation
Tsinghua University（清华大学）；Peng Cheng Lab（鹏城实验室）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对语音与文本表征长度不一致导致纯文本域自适应效果不佳的问题，提出下采样声学表征对齐文本模态的策略，引入CIF模块生成匹配词元长度的声学表征，提升端到端ASR的新域性能。
2023-10-07 cs.CL cs.SD eess.AS
On-the-fly Routing for Zero-shot MoE Speaker Adaptation of Speech Foundation Models for Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；China National Research Council Canada（中国国家研究委员会加拿大）；Institute of Software（软件研究所）
本文提出一种基于MoE的零样本说话人自适应框架，通过即时预测路由参数动态组合适配器专家，在UASpeech语料库上实现构音障碍语音识别的实时处理与显著WER降低。
2025-05-28 cs.SD eess.AS
Machine Speech Chain with One-shot Speaker Adaptation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
在之前的工作中，我们开发了一个基于深度学习的闭环语音链模型，该架构使自动语音识别（ASR）和文本到语音合成（TTS）组件能够相互提高其性能。这是通过两个部分使用标记和未标记的数据相互教导来实现的。这种方法可以显着提高单说话人语音数据集内的模型性能，但在多说话人任务中只能获得轻微的提高。此外，该模型仍然无法处理看不见的扬声器。在本文中，我们提出了一个新的语音链机制，通过集成的说话人识别模型内的循环。我们还建议扩展TTS的能力，以处理看不见的扬声器，通过实施一次性扬声器自适应。这使得TTS能够仅用一次说话者样本来模仿从一个说话者到另一个说话者的语音特征，即使是来自没有任何说话者信息的文本。在语音链循环机制中，ASR还受益于从生成的语音波形进一步学习任意说话者特征的能力，从而显著提高识别率。
2018-03-28 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
AsyncSwitch: Asynchronous Text-Speech Adaptation for Code-Switched ASR
Institute for Infocomm Research (I²R) A STAR Singapore
针对语码转换ASR数据稀缺、现有合成音频方法计算成本高的问题，提出AsyncSwitch异步自适应框架，通过三阶段流程利用文本数据预训练再微调，在马来英转换任务上实现9.02%相对WER降低并提升单语言性能。
2025-06-17 cs.CL cs.SD eess.AS
Black-box Adaptation of ASR for Accented Speech
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们介绍了一个黑盒子，基于云的ASR系统，从目标口音语音适应的问题。虽然领先的在线ASR服务在主流口音上获得了令人印象深刻的性能，但它们在子人群上的表现很差-我们观察到Google的ASR API在印度口音上实现的单词错误率（WER）几乎是美国口音WER的两倍。现有的适应方法要么需要访问模型参数，要么在输出成绩单上覆盖纠错模块。我们强调需要将输出与原始语音相关联以修复口音错误。因此，我们提出了一种新的耦合的开源口音调整的本地模型与黑盒服务，从服务的输出指导帧级推理的本地模型。我们的细粒度合并算法是更好地在固定重音错误比现有的单词级组合策略。印度和澳大利亚的口音与三个领先的ASR模型作为服务的实验表明，我们实现了高达28%的相对减少WER在本地和服务模式。
2020-06-24 cs.CL cs.SD eess.AS
Domain Adaptation Using Class Similarity for Robust Speech Recognition
Institute of Acoustics（声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；China Mobile Online Services Company Limited（中国移动在线服务有限公司）
当只有有限的目标域数据可用时，域自适应可以通过利用经过良好训练的源模型和目标域数据来提高深度神经网络（DNN）声学模型的性能。然而，受领域失配和数据稀疏性的影响，领域自适应是非常具有挑战性的。提出了一种基于类相似度的DNN声学模型自适应方法。由于DNN模型的输出分布包含了类之间的相似性知识，这些知识适用于源域和目标域，因此可以将其从源模型转移到目标模型以提高性能。在我们的方法中，我们首先使用源模型计算源样本的帧级后验概率。然后，对于每个类，该类的概率用于计算均值向量，我们称之为均值软标签。在自适应期间，这些平均软标签用于正则化项中以训练目标模型。实验表明，我们的方法优于微调使用一个热标签的口音和噪音适应任务，特别是当源和目标域高度不匹配。
2020-11-05 cs.CL cs.SD eess.AS
Layer-wise Fast Adaptation for End-to-End Multi-Accent Speech Recognition
Shanghai Jiao Tong University（上海交通大学）
口音变异对自动语音识别建模提出了巨大的挑战。虽然基于独热口音向量的自适应系统是常用的，但它们需要关于目标口音的先验知识，并且不能处理看不见的口音。此外，简单地连接重音嵌入并不能很好地利用重音知识，其改进有限。在这项工作中，我们的目标是解决这些问题，注入到E2 E ASR模型编码器的一种新的逐层自适应结构。适配器层在口音空间中编码任意口音，并帮助ASR模型识别口音语音。对于给定的语音，自适应结构提取相应的口音信息，并通过所有口音基的线性组合将输入的声学特征转换为口音相关特征。我们进一步探索适应层的注入位置、重音基础的数量以及不同类型的重音基础，以实现更好的重音适应。实验结果表明，在AESRC 2020口音数据集和Librispeech数据集上，与基线相比，该自适应结构分别使相对单词出错率降低了12%和10%.
2022-04-21 cs.SD eess.AS
LI-TTA: Language Informed Test-Time Adaptation for Automatic Speech Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对自动语音识别测试时自适应仅关注声学特征、忽略语言学特性的局限，提出融合外部语言模型修正信息的LI-TTA方法，通过联合优化CTC损失与标准TTA损失提升分布偏移场景下的模型性能。
2024-08-11 cs.CL cs.SD eess.AS
Examining Test-Time Adaptation for Personalized Child Speech Recognition
Viterbi School of Engineering（维特比工程学院）；Fu Foundation School of Engineering and Applied Science（富兰克林基金会工程与应用科学学院）
针对儿童语音识别中ASR模型受域偏移影响性能下降的问题，研究探究SUTA、SGEM两种TTA方法对现成及微调ASR模型的适配效果，证实其能显著提升性能，但对非语言儿童语音适配仍有局限。
2025-08-03 cs.CL cs.LG cs.SD
Deep Learning for Environmentally Robust Speech Recognition: An Overview of Recent Developments
University of Passau（帕绍大学）；Huawei Technologies（华为技术有限公司）；Imperial College London（伦敦帝国学院）；audEERING GmbH（audEERING有限公司）
消除非平稳环境噪声的负面影响是自动语音识别的一个长期研究课题，至今仍是一个重要的挑战。数据驱动的监督方法，包括基于深度神经网络的方法，最近已经成为传统无监督方法的潜在替代方案，并且经过充分的训练，可以减轻各种现实生活中的声学环境中的无监督方法的缺点。有鉴于此，我们回顾了最近开发的，代表性的深度学习方法，用于解决语音的非平稳加性和卷积退化，旨在为那些参与开发环境鲁棒性语音识别系统的人提供指导。我们分别讨论单通道和多通道技术开发的前端和后端的语音识别系统，以及联合前端和后端的培训框架。
2018-09-21 cs.CL cs.LG cs.SD
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
儿童语音的声学建模是具有挑战性的，因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中，我们提出了一种特征自适应方法，通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone（绑定三音素状态）水平的声学不匹配，并利用大量转录的成人语音。我们验证所提出的方法上的三个任务：儿童语音识别，儿童发音评估，和儿童流畅度分数预测。实证结果表明，我们提出的方法始终优于竞争基线，实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
Generative Adversarial Training Data Adaptation for Very Low-resource Automatic Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
濒危语言语音数据的转录和存档对于保护语言文化遗产具有重要意义，而自动语音识别（ASR）技术是实现这一目标的有力工具。然而，由于濒危语言通常不具有具有许多说话者的大型语料库，因此在它们上训练的ASR模型的性能通常相当差。然而，我们经常会留下大量需要转录的自发语音数据记录。在这项工作中，为了减轻这种扬声器稀疏性问题，我们建议转换整个训练语音数据，使其听起来像测试扬声器，以便为该扬声器开发一个高度准确的ASR系统。为此，我们利用基于CycleGAN的非并行语音转换技术来伪造接近测试说话人语音的标记训练数据。我们在两个低资源语料库上评估了这种说话人自适应方法，即阿伊努语和姆博希语。我们在阿伊努语语料库上获得了35-60%的相对改善，在Mboshi语料库上获得了40%的相对改善。这种方法优于两种传统的方法，即无监督的适应和多语言训练这两个语料库。
2020-07-31 cs.CL eess.AS
AC-Mix: Self-Supervised Adaptation for Low-Resource Automatic Speech Recognition using Agnostic Contrastive Mixup
INESC-ID & Instituto Superior Técnico（INESC-ID与理工学院）
本文提出AC-Mix方法，通过源域与目标域样本插值的对比混合进行自监督域自适应，在仅约11小时数据和1小时单GPU训练下持续提升低资源ASR性能。
2024-10-18 cs.SD eess.AS
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL（三菱电机研究实验室）
当训练数据域和测试数据域不匹配时，自动语音识别（ASR）系统的性能通常会显著下降。在本文中，我们表明，自训练（ST）结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST，这是一种基于辍学的不确定性驱动的自我训练技术，它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据，这导致与没有滤波的ST相比大大改善了ASR结果，并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明，高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
Learning Fast Adaptation on Cross-Accented Speech Recognition
The Hong Kong University of Science and Technology（香港科技大学）
当地方言影响人们对同一种语言的单词发出不同的发音。口音的多变性和复杂性给训练一个鲁棒的、与口音无关的自动语音识别（ASR）系统带来了很大的挑战。在本文中，我们引入了一个跨口音的英语语音识别任务作为衡量的模型，以适应看不见的口音使用现有的CommonVoice语料库的能力的基准。我们还提出了一种口音不可知的方法，扩展了模型不可知的元学习（MAML）算法，用于快速适应看不见的口音。在混合区域和跨区域设置中，我们的方法在zero-shot、Few-Shot和all-shot中的单词错误率方面显著优于联合训练。
2020-03-04 cs.SD eess.AS
Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）；National Research Council Canada, Canada（加拿大国家研究理事会）
提出一种基于跨语句音频-文本提示的说话人自适应方法，实现零样本实时适应未见说话人，在老年人语音数据集上显著降低词错误率/字符错误率，并大幅提升实时因子。
2026-06-16 cs.SD eess.AS
Child ASR Adaptation with Adult Retention: An Empirical Study
Qatar Computing Research Institute（卡塔尔计算研究所）
本研究实证比较了多种ASR适配方法在儿童语音上的效果，发现直接适配会损害成人性能，而权重空间合并（如LERP和TIES）能更好地平衡儿童适配与成人保留。
2026-10-08 cs.AI cs.CL cs.LG
Learning Invariant Representation and Risk Minimized for Unsupervised Accent Domain Adaptation
Ping An Technology（平安科技）
语音音频的无监督表示学习在语音识别任务中获得了令人印象深刻的性能，特别是当注释语音有限时。然而，无监督范式需要仔细设计，并且对这些表示获得的属性知之甚少。不能保证模型学习有意义的表示，以获得有价值的信息进行识别。此外，学习到的表示对其他领域的适应能力仍然需要估计。在这项工作中，我们探索通过直接映射语音表示到其相应的高级语言信息来学习域不变表示。实验结果表明，习得的潜伏期不仅捕捉到了每个音素的发音特征，而且增强了适应能力，在重音基准测试中的表现大大优于基线。
2022-10-29 cs.AI cs.CL cs.SD
Speaker Adaptation for Attention-Based End-to-End Speech Recognition
Microsoft Corporation（微软公司）
我们提出了三种基于正则化的说话人自适应方法，以适应基于注意力的编码器-解码器（AED）模型与非常有限的适应数据从目标说话人的端到端自动语音识别。第一种方法是Kullback-Leibler发散（KLD）正则化，其中通过将KLD正则化添加到自适应标准中，迫使说话者相关（SD）AED的输出分布接近说话者无关（SI）模型的输出分布。为了弥补KLD正则化中的不对称缺陷，提出了一种对抗性说话人自适应（ASA）方法，通过辅助学习器和SD AED的对抗性学习来正则化SD AED的深度特征分布.第三种方法是多任务学习，其中SD AED被训练为联合执行预测大量输出单元的主要任务和预测少量输出单元的辅助任务，以减轻目标稀疏性问题。微软短消息听写任务的评估，所有三种方法都非常有效地适应AED模型，实现了高达12.2%和3.0%的字出错率改善超过一个SI AED训练从3400小时的数据，分别为监督和无监督的适应。
2019-11-09 cs.CL cs.LG cs.SD
Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition
语音识别近来已成为现实世界应用的实用技术。针对语音驱动的文本检索，这有助于检索信息的口语查询，我们提出了一种方法来集成语音识别和检索方法。由于用户说的内容与目标集合相关，我们适应的统计语言模型用于语音识别的基础上的目标集合，以提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明，我们的方法的有效性。
2002-06-24 cs.CL
Unsupervised Adaptation with Domain Separation Networks for Robust Speech Recognition
Microsoft AI and Research（微软人工智能与研究部）
语音信号的无监督领域自适应的目的是使训练好的源域声学模型适应来自目标域的未标记数据。这可以通过深度神经网络（DNN）声学模型的对抗训练来实现，以学习既具有senone区分性又具有域不变性的中间深度表示。具体而言，DNN被训练为联合优化senone分类的主要任务和具有对抗性目标函数的域分类的次要任务。在这项工作中，而不是只专注于学习域不变特征（即域之间的共享组件），我们还通过私有组件提取器DNN显式建模每个域的私有组件来表征源和目标域分布之间的差异。私有组件被训练为与共享组件正交，从而隐式地增加共享组件的域不变性的程度。重建器DNN用于从私有和共享分量重建原始语音特征作为正则化。将该域分离框架应用于无监督环境适应任务，并在CHiME-3数据集上进行自动语音识别，从梯度反转层训练（一种代表性的对抗训练方法）实现了11.08%的相对WER降低。
2019-04-30 cs.AI cs.CL cs.SD
SOA: Reducing Domain Mismatch in SSL Pipeline by Speech Only Adaptation for Low Resource ASR
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对低资源 ASR 的领域不匹配问题，本文提出基于 Wav2vec 2.0 的仅语音自适应 SOA，仅用目标领域无标注语音持续预训练特征编码器，在保持源域性能的同时显著降低目标域 WER。
2024-06-15 cs.SD eess.AS
In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
本文提出通过词级时间戳预测提升ASR性能，采用轻量训练策略增强对齐鲁棒性，实验证明在多个数据集上提升了时间戳准确性和整体ASR表现。
2026-04-14 cs.CL cs.LG cs.SD
From Generative to Discriminative: Lightweight Adaptation of SpeechLLMs for Multimodal Emotion Recognition
Idiap Research Institute（伊迪亚普研究所）；EPFL（瑞士洛桑联邦理工学院）；Uniphore（Uniphore公司）；Brno University of Technology（布尔诺理工大学）
针对SpeechLLM生成式解码不适合情感分类的问题，提出用分类头读取最终Token隐藏状态的判别式适配，在IEMOCAP上提升Macro F1并消除幻觉，且保持可解释性。
2026-10-20 cs.AI cs.CL cs.SD
Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation
The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（深圳声希科技有限公司）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
构音障碍语音重建（DSR），旨在改善构音障碍语音的质量，仍然是一个挑战，不仅因为我们需要恢复语音是正常的，而且还必须保持说话人的身份。为了控制说话人的身份，本文研究了由说话人识别优化的说话人编码器（SE）提取的说话人表示。然而，SE可能无法完全捕获以前看不见的构音障碍扬声器的特征。为了解决这个研究问题，我们提出了一种新的多任务学习策略，即，对抗性说话人自适应（ASA）。ASA的主要任务微调SE与目标构音障碍说话者的语音，以有效地捕获身份相关的信息，和次要任务应用对抗训练，以避免异常说话模式的重建语音的合并，通过正则化重建语音的分布接近的参考语音的高质量。实验表明，该方法可以实现增强的说话人相似度和可比的语音自然度与强大的基线方法。与构音障碍语音相比，对于中度构音障碍和中重度构音障碍的说话人，重建语音的绝对错误率分别降低了22.3%和31.5%。我们的演示页面在这里发布：https://wendison.github.io/ASA-DSR-demo/
2022-02-18 cs.CL cs.MM cs.SD
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University（南洋理工大学）；NVIDIA Research（英伟达研究院）；IBM Research（IBM研究院）；Tsinghua University（清华大学）
提出无监督自适应框架STAR，利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性，通过新颖指标评估伪标签质量，实现平均13.5%的词错误率降低，并防止灾难性遗忘，数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
Continual Test-time Adaptation for End-to-end Speech Recognition on Noisy Speech
National Taiwan University（台湾大学）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）
针对噪声语音识别中的领域偏移问题，提出快慢TTA框架和基于熵最小化的持续TTA方法DSUTA，并通过动态重置策略提升多领域鲁棒性，在多个噪声ASR数据集上优于现有基线。
2024-10-03 cs.SD eess.AS
Quantifying and Maximizing the Benefits of Back-End Noise Adaption on Attention-Based Speech Recognition Models
Harvard University（哈佛大学）
本文分析了基于注意力的双向长短期记忆（BLSTM）模型如何适应噪声增强的语音。我们通过在微调过程中冻结模型组件来识别BLSTM模型中噪声自适应的关键组件。我们首先冻结较大的模型子网络，然后在确定其对噪声适应的重要性后，在编码器中采用细粒度冻结方法。第一个编码器层被证明是至关重要的噪声自适应，和权重被证明是比其他层更重要。当在目标噪声环境上测试时，相对于从仅用干净语音预训练的模型进行微调，当从用噪声语音预训练的模型在目标噪声环境上进行微调时，识别出明显的准确性益处。对于这种分析，我们开发了自己的数据集增强工具，它是开源的，以鼓励未来在ASR中探索噪声适应的努力。
2021-09-23 cs.SD eess.AS
Speculative Speech Recognition by Audio-Prefixed Low-Rank Adaptation of Language Models
Google Inc.（谷歌公司）；Bogazici University（海峡大学）；Brno University of Technology（布尔诺理工大学）
本文提出推测式语音识别（SSR），通过将RNN-Transducer ASR与音频前缀语言模型结合，使识别器能先于音频预测转录补全，实验证明该方法可有效降低ASR延迟。
2024-07-05 cs.CL eess.AS
Unsupervised Model-based speaker adaptation of end-to-end lattice-free MMI model for speech recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；The Chinese University of Hong Kong（香港中文大学）
说话人变异性建模是自动语音识别（ASR）系统面临的一个关键挑战。在本文中，学习隐藏单元贡献（LHUC）为基础的自适应技术与紧凑的扬声器相关（SD）参数，以促进两个扬声器自适应训练（SAT）和无监督测试时扬声器自适应的端到端（E2 E）无格MMI（LF-MMI）模型。提出了一种基于无监督模型的自适应框架，利用LF-MMI和交叉熵准则估计E2 E范式中的SD参数。标准LHUC自适应的各种正则化方法，例如，贝叶斯LHUC（BLHUC）的适应，系统地研究，以减轻过度拟合的风险，在E2 E LF-MMI CNN-TDNN和CNN-TDNN-BLSTM模型。基于格的置信度估计用于自适应数据选择，以减少监督标签的不确定性。在300小时的交换机任务上的实验表明，在所提出的无监督E2 E自适应框架中将BLHUC应用于基于字节对编码（BPE）的E2 E LF-MMI系统在NIST Hub 5 '00和RT 03评估集上的相对字错误率（WER）降低高达10.5%和14.7%，分别在9.0%和9.7%的WER中获得最佳性能。这些结果可与现有技术的适配的LF-MMI混杂系统和适配的基于Conformer的E2 E系统的结果相比较。
2023-01-06 cs.SD eess.AS
Resource-Efficient Adaptation of Speech Foundation Models for Multi-Speaker ASR
NVIDIA（英伟达）
本文研究语音基础模型在数据稀缺条件下的多说话人 ASR 适配问题，仅用电话数据进行适配并通过消融实验验证其泛化性与参数影响。
2024-12-03 cs.SD eess.AS
CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Wuhan AI Research（武汉人工智能研究院）
CoSTA是一种解耦生成与合成令牌空间的后处理框架，可提升口语对话模型的生成速度、降低延迟并保持响应质量，还具备跨架构迁移及与低速率分词互补的特性。
2026-10-16 cs.AI cs.CL cs.SD
Unsupervised Accent Adaptation Through Masked Language Model Correction Of Discrete Self-Supervised Speech Units
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium
本文提出一种无监督口音自适应方法，利用掩码语言模型校正离散语音单元，并通过小型适配器微调预训练模型，从而提升HuBERT Large在带口音语音识别上的鲁棒性。
2023-09-25 cs.SD eess.AS
Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
尽管近几十年来针对正常语音的自动语音识别（ASR）技术取得了快速进展，但迄今为止，构音障碍和老年语音的准确识别仍然是极具挑战性的任务。在正常言语中常见的异质性来源，包括口音或性别，当进一步与年龄和言语病理严重程度的变异性复合时，在说话者中产生了很大的多样性。为此，说话人自适应技术在为这些用户个性化ASR系统中起着关键作用。受构音障碍、老年人和正常言语之间的频谱-时间水平差异的启发，这些差异系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流利增加，本文提出了一种新的基于SVD语音谱分解的谱时间子空间基深度嵌入特征，以促进最先进的混合DNN/TDNN和端到端的基于辅助特征的说话人自适应。end Conformer语音识别系统。实验在四个任务上进行：英语UASpeech和TORGO构音障碍语音语料库;英语DementiaBank Pitt和粤语JCCOCC MoCA老年人语音数据集。所提出的频谱-时间深度特征自适应系统在字错误率（WER）方面的绝对（8.63%相对）降低率超过基线i-Vector和xVector自适应。一致的性能改善后，保留基于模型的说话人自适应学习隐藏单元贡献（LHUC）进一步应用。最好的扬声器适应系统使用建议的频谱基础嵌入功能产生了最低的公布WER的25.05%的UASpeech测试集的16个构音障碍的扬声器。
2022-03-17 cs.AI cs.LG cs.SD
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是，获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而，从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中，我们提出了一种新的无监督自适应方法，学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示（例如，扬声器和通道）使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语，我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法，我们专注于一个通道失配设置，其中感兴趣的域是遥远的对话语音，标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集，优于所有基线和弥合之间的差距，不使用任何并行数据超过77%，不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Structured Speaker-Deficiency Adaptation of Foundation Models for Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；National Research Council of Canada（加拿大国家研究委员会）
本文提出结构化说话人缺陷自适应方法，通过分离建模说话人身份与语音缺陷的适配器组合，显著提升 HuBERT 和 Wav2vec2-conformer 在构音障碍及老年语音识别上的泛化能力，并在 UASpeech 上取得最低词错误率。
2024-12-25 cs.SD eess.AS
Refining Pseudo-Audio Prompts with Speech-Text Alignment for Text-Only Domain Adaptation in LLM-Based ASR
Kyoto University, Japan（京都大学，日本）；LY Corporation, Japan（LY公司，日本）
本文提出通过语音-文本对齐细化伪音频提示的方法，以提升基于LLM的ASR在纯文本领域适应中的性能，实验表明该方法在整体错误率和词汇覆盖率上优于现有方法。
2026-06-26 cs.SD
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
