Noisy Environment Adaptation of Neural Speech Codec via Focal Mask and Noise Feature Separation
Wuhan University（武汉大学）；Hubei Key Laboratory of Multimedia and Network Communication Engineering（多媒体与网络通信工程湖北省重点实验室）
针对现实噪声影响神经语音编解码器性能问题，提出FocalSE方法，通过聚焦调制进行压缩解压、生成掩码恢复干净特征嵌入，分离噪声嵌入并识别噪声类别，提升低比特率和低信噪比下性能。
2026-07-07 eess.AS
Disentangled-Transformer: An Explainable End-to-End Automatic Speech Recognition Model with Speech Content-Context Separation
针对端到端Transformer ASR系统表示纠缠、可解释性差的问题，提出Disentangled-Transformer，基于不同时间分辨率解纠缠内容与说话人特征子嵌入，在提升ASR性能的同时实现说话人身份与内容分离，增强可解释性。
2024-11-26 eess.AS
Dynamic Noise Embedding: Noise Aware Training and Adaptation for Speech Enhancement
准确估计噪声信息对于语音应用中的噪声感知训练至关重要，包括语音增强（SE），这也是本文研究的重点。为了估计只有噪声的帧，我们采用语音活动检测（VAD）检测非语音帧通过应用最佳阈值的语音后验。这里，非语音帧可以被认为是噪声信号中的仅噪声帧。这些估计的帧被用来提取噪声嵌入，称为动态噪声嵌入（DNE），这是有用的SE模块捕获的背景噪声的特性。DNE由一个简单的神经网络提取，SE模块与DNE可以联合训练，以适应环境。在TIMIT数据集上进行了单通道去噪任务的实验，并将U-Net用作骨干SE模块。实验结果表明，DNE在SE模块中起着重要的作用，通过提高质量和可懂度的损坏的信号，即使噪声是非平稳的，在训练中看不见的。此外，我们证明了DNE可以灵活地应用于其他基于神经网络的SE模块。
2020-12-03 eess.AS
Zero-Shot Multi-Speaker Text-To-Speech with State-of-the-art Neural Speaker Embeddings
虽然使用说话人嵌入的端到端语音合成的说话人自适应可以为训练期间看到的说话人产生良好的说话人相似性，但是对于未看到的说话人的zero-shot自适应仍然存在差距。我们研究了端到端文本转语音合成的多说话人建模，并研究了不同类型的最先进的神经说话人嵌入对未见过说话人的说话人相似性的影响。具有角度softmax损失的可学习的基于字典编码的说话人嵌入可以在说话人验证任务中提高x向量上的相等错误率;当用于端到端语音合成中对新说话人的zero-shot适应时，这些嵌入还可以提高未见过说话人的说话人相似性和自然度。
2020-02-04 eess.AS
Improved End-to-End Dysarthric Speech Recognition via Meta-learning Based Model Re-initialization
构音障碍语音识别是一项具有挑战性的任务，因为构音障碍的数据是有限的，其声学显著偏离正常语音。基于模型的说话人自适应是一种很有前途的方法，它利用有限的构音障碍语音对从大量正常语音中预先训练好的基础模型进行微调，以获得说话人相关模型。然而，正常和构音障碍语音数据之间的统计分布失配限制了基础模型的自适应性能。为了解决这个问题，我们建议通过元学习重新初始化基础模型，以获得更好的模型初始化。具体来说，我们专注于端到端模型，并扩展了模型不可知的Meta学习（MAML）和爬行动物算法，通过反复模拟适应不同的构音障碍扬声器来Meta更新基础模型。因此，重新初始化的模型获得构音障碍的语音知识，并学习如何执行快速适应看不见的构音障碍的扬声器与改进的性能。在UASpeech数据集上的实验结果表明，与未进行微调的基本模型和直接从基本模型进行微调的模型相比，采用本文方法得到的最佳模型分别实现了54.2%和7.6%的相对字错误率降低，与最先进的混合DNN-HMM模型相当.
2020-11-03 eess.AS
Generic Indic Text-to-speech Synthesisers with Rapid Adaptation in an End-to-end Framework
由于存在大量的活跃语言，为印度语言构建文本转语音（TTS）合成器是一项艰巨的任务。印度语言可以分为一个有限的家庭，其中突出的，印度雅利安语和德拉威语。建议的工作利用这一属性，建立一个通用的TTS系统，使用多种语言从同一个家庭在一个端到端的框架。类属系统是相当健壮的，因为它们能够捕捉各种跨语言的音位结构。这些系统，然后适应一种新的语言在同一个家庭使用少量的适应数据。实验表明，高质量的TTS系统可以建立仅使用7分钟的适应数据。平均退化平均意见得分为3.98，获得了适应TTS。广泛的分析系统的语言之间的互动在通用TTS进行。包括x向量作为说话者嵌入，以合成特定说话者语音中的文本。一个有趣的观察是，目标说话人的声音的韵律被保留。这些结果是非常有希望的，因为它们表明通用TTS无缝地处理扬声器和语言切换的能力，以及适应新语言的容易性。
2020-06-12 eess.AS
Efficient training strategies for natural sounding speech synthesis and speaker adaptation based on FastPitch
本研究针对FastPitch模型适配罗马尼亚语、扩展说话人数量、匿名合成及新说话人复刻问题，测试多种训练策略后得到新配置，可实现已知/未知说话人的自然语音合成，匿名说话人可保留语义同时消除身份信息。
2024-10-09 eess.AS
Improving Hypernasality Estimation with Automatic Speech Recognition in Cleft Palate Speech
鼻音过重是人类语音产生中的一种异常共鸣，尤其是在颅面畸形（如腭裂）患者中。在临床应用中，高鼻音估计在腭裂诊断中至关重要，因为其结果决定了后续手术和额外的语音治疗。因此，设计一个自动化的鼻音评估方法将有助于语音语言病理学家做出准确的诊断。现有的鼻音估计方法仅通过使用基于统计或神经网络的特征，基于低资源腭裂数据集进行声学分析。在本文中，我们提出了一种新的方法，使用自动语音识别模型，以改善hypnasality估计。具体来说，我们首先通过使用语音到文本数据集在自动语音识别（ASR）目标中预训练编码器-解码器框架，然后在腭裂数据集上微调ASR编码器以进行鼻音估计。得益于这样的设计，我们的模型可以享受ASR模型的优点：1）与低资源腭裂数据集相比，ASR任务通常包括大规模的语音数据，这使得模型具有更好的泛化能力; 2）ASR数据集中的文本注释引导模型提取更好的声学特征。在两个腭裂数据集上的实验结果表明，与以前的方法相比，我们的方法具有更好的性能。
2022-08-10 eess.AS
Overview of Automatic Speech Analysis and Technologies for Neurodegenerative Disorders: Diagnosis and Assistive Applications
本文综述了神经退行性疾病语音分析的最新技术，涵盖检测、识别、增强与评估，并展望了多模态及大语言模型的未来方向。
2025-08-06 eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题，将其作为从语音增强到歌声分离的域适应，研究全量微调和LoRA参数高效微调策略，实验表明两种策略均有效提升歌声分离性能，LoRA微调还能保留语音增强能力，证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Linear networks based speaker adaptation for speech synthesis
Alibaba Inc.（阿里巴巴公司）
说话人自适应方法的目标是在有限的资源下为目标说话人生成质量较好的合成语音。近年来，随着基于深度神经网络的统计参数语音合成（SPSS）方法在SPSS TTS后端建模中占据主导地位，基于SPSS框架的神经网络下的说话人自适应也成为一项重要任务。在本文中，线性网络（LN）被插入到多个神经网络层和微调与输出层的最佳扬声器自适应性能。当自适应数据非常小时，采用低秩加对角（LRPD）分解LN，使适应语音更稳定。说话人自适应实验在一定的自适应话语数范围内进行。此外，还研究了从1）女性到女性，2）男性到女性和3）女性到男性的说话人顺应。客观测量和主观测试表明，LN与LRPD分解表现最稳定时，适应数据是非常有限的，我们最好的说话人自适应（SA）模型只有200个自适应话语达到相当的质量与说话人相关（SD）模型训练1000话语，在自然度和目标说话人的相似性。
2018-03-05 cs.SD eess.AS
Adaptation Algorithms for Neural Network-Based Speech Recognition: An Overview
University of Edinburgh（爱丁堡大学）；JPMorgan Chase（摩根大通）；Microsoft Corporation（微软公司）；University of New South Wales（新南威尔士大学）；Apple（苹果公司）
我们提出了一个结构化的基于神经网络的语音识别的自适应算法的概述，考虑混合隐马尔可夫模型/神经网络系统和端到端的神经网络系统，重点是说话人自适应，域自适应，和口音自适应。概述的特点自适应算法的基础上嵌入，模型参数自适应，或数据增强。我们提出了一个荟萃分析的性能语音识别自适应算法，根据文献中报道的相对错误率降低。
2021-02-28 cs.CL cs.SD eess.AS
Adaptation of Whisper models to child speech recognition
School of Electrical and Electronics Engineering, University of Galway（戈尔韦大学电气与电子工程学院）；University Politehnica of Bucharest（布加勒斯特理工大学）
本研究探索将Whisper模型适配儿童语音识别，通过微调提升性能，并与wav2vec2对比，发现微调有效且wav2vec2更优。
2023-07-24 cs.AI eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
On-the-fly Routing for Zero-shot MoE Speaker Adaptation of Speech Foundation Models for Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；China National Research Council Canada（中国国家研究委员会加拿大）；Institute of Software（软件研究所）
本文提出一种基于MoE的零样本说话人自适应框架，通过即时预测路由参数动态组合适配器专家，在UASpeech语料库上实现构音障碍语音识别的实时处理与显著WER降低。
2025-05-28 cs.SD eess.AS
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google（谷歌）
自动语音识别（ASR）系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是，这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明，通过模型微调的个性化大大提高了性能。然而，为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明，通过所谓的残差适配器向编码器层添加相对少量的额外参数，与模型微调相比，我们可以实现类似的自适应增益，同时只更新一小部分（小于0.5%）模型参数。我们证明了这两个语音适应任务（非典型和重音语音）和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
The CHiME-7 UDASE task: Unsupervised domain adaptation for conversational speech enhancement
Google（谷歌）
本文介绍了第7届CHiME挑战赛的UDASE任务，旨在利用CHiME-5数据集的真实含噪录音对语音增强模型进行无监督领域自适应，以去除加性背景噪声并估计纯净混响语音。
2023-10-02 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent（腾讯）
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音，没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入，并且有几次尝试尝试了可变长度的说话人嵌入。然而，他们忽略了转移个人的发音特征相关的音素内容，导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力，我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系，一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模，并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明，该方法可以提高合成语音的说话人相似度，特别是对未知说话人。
2022-11-11 cs.SD eess.AS
Attention-based scaling adaptation for target speech extraction
Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
目标语音的提取是近年来受到广泛关注的问题。在这项工作中，我们专注于研究不同的混合和目标说话人之间的动态相互作用，利用区分目标说话人的线索。我们提出了一种特殊的注意机制，无需在缩放适应层中引入任何额外的参数，以更好地使网络适应提取目标语音。此外，通过引入混合嵌入矩阵池方法，我们提出的基于注意力的缩放自适应（ASA）可以更有效地利用目标说话人的线索。在空间化混响WSJ 0 2-mix数据集上的实验结果表明，该方法能有效地提高目标语音的提取性能。此外，我们发现，在相同的网络配置下，ASA在单通道条件下可以实现竞争力的性能增益，从两个通道的麦克风间相位差（IPD）功能的混合实现。
2021-10-19 cs.SD eess.AS
Layer-wise Fast Adaptation for End-to-End Multi-Accent Speech Recognition
Shanghai Jiao Tong University（上海交通大学）
口音变异对自动语音识别建模提出了巨大的挑战。虽然基于独热口音向量的自适应系统是常用的，但它们需要关于目标口音的先验知识，并且不能处理看不见的口音。此外，简单地连接重音嵌入并不能很好地利用重音知识，其改进有限。在这项工作中，我们的目标是解决这些问题，注入到E2 E ASR模型编码器的一种新的逐层自适应结构。适配器层在口音空间中编码任意口音，并帮助ASR模型识别口音语音。对于给定的语音，自适应结构提取相应的口音信息，并通过所有口音基的线性组合将输入的声学特征转换为口音相关特征。我们进一步探索适应层的注入位置、重音基础的数量以及不同类型的重音基础，以实现更好的重音适应。实验结果表明，在AESRC 2020口音数据集和Librispeech数据集上，与基线相比，该自适应结构分别使相对单词出错率降低了12%和10%.
2022-04-21 cs.SD eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出SALSA方法，通过监督学习优化逐层引导向量，在儿童语音、多语种语音和普通话-英语代码切换基准上显著提升零样本推理和语音上下文学习性能，最高相对提升46.8%。
2026-05-30 cs.CL eess.AS
Variational Low-Rank Adaptation for Personalized Impaired Speech Recognition
本文提出基于贝叶斯低秩适应的新型ASR个性化方法，通过高效微调提升受损语音识别准确率，同时保持数据和标注效率，解决低资源环境下语音障碍者的识别问题。
2026-03-16 cs.AI eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University（西江大学）；Naver Corp.（NAVER公司）；Clova AI Research（Clova人工智能研究院）
通常，由于训练环境和测试环境之间的不匹配，自动语音识别（ASR）系统的性能显著降低。最近，提出了一种基于深度学习的图像到图像翻译技术，将图像从源域翻译到所需域，并应用循环一致性对抗网络（CycleGAN）来学习从说话人到目标说话人的语音到语音转换的映射。然而，该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量，因为它被设计为转换语音本身。在本文中，我们提出了一种基于生成对抗网络（GANs）的域自适应方法，具有解纠缠表示学习，以实现ASR系统的鲁棒性。特别是，两个独立的编码器，上下文和域编码器，引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR，将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外，与基于CycleGAN的方法类似，该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
TDASS: Target Domain Adaptation Speech Synthesis Framework for Multi-speaker Low-Resource TTS
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
近年来，通过文本到语音（TTS）应用合成个性化语音的需求很高。但以往的TTS模型需要大量的目标说话人语音进行训练。这是一个高成本的任务，很难记录大量的话语从目标说话人。语音的数据增强是一种解决方案，但会导致低质量的合成语音问题。一些多说话人TTS模型被提出来解决这个问题。但由于说话人的说话数量不均衡，导致语音相似性问题。我们提出了目标领域自适应语音合成网络（TDASS）来解决这些问题。TDASS基于高质量TTS模型Tacotron 2的主干，引入了一个自利分类器来减少非目标影响。此外，在分类器中增加了一个特殊的梯度反转层，对目标和非目标进行不同的操作。在汉语语音库上的实验表明，该方法在语音质量和相似度方面优于基线方法。
2022-05-24 cs.SD eess.AS
AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文语转换（TTS）被广泛用于为目标说话人合成个人语音，其中训练良好的源TTS模型被微调，而目标说话人的配对适应数据（语音及其转录本）很少。然而，在许多场景中，只有未转录的语音数据可用于适配，这给先前的TTS适配流水线（例如，AdaSpeech）。在本文中，我们开发了AdaSpeech 2，一个自适应TTS系统，只利用未转录的语音数据进行适应。具体来说，我们引入了一个梅尔频谱编码器的一个训练有素的TTS模型进行语音重建，并在同一时间限制梅尔频谱编码器的输出序列接近原来的音素编码器。在自适应中，我们使用未转录的语音数据进行语音重建，只微调TTS解码器。AdaSpeech 2有两个优点：1）可插拔：我们的系统可以很容易地应用于现有的训练TTS模型，而无需重新训练。2)有效：我们的系统通过转录的TTS适配实现了同等的语音质量（例如，AdaSpeech）与相同数量的未转录数据，并实现更好的语音质量比以前的未转录适应方法。合成的语音样本可以在https://speechresearch.github.io/adaspeech2/上找到。
2021-04-20 cs.CL cs.SD eess.AS
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
儿童语音的声学建模是具有挑战性的，因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中，我们提出了一种特征自适应方法，通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone（绑定三音素状态）水平的声学不匹配，并利用大量转录的成人语音。我们验证所提出的方法上的三个任务：儿童语音识别，儿童发音评估，和儿童流畅度分数预测。实证结果表明，我们提出的方法始终优于竞争基线，实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
本文研究了Conformer ASR系统在老年和构音障碍语音识别中的超参数自适应方法，发现其相比仅参数微调在DBank和UASpeech任务上分别降低0.45%和0.67%的词错率，且性能提升与源域和目标域数据的相对话语长度比相关。
2023-06-27 cs.LG eess.AS
Generative Adversarial Training Data Adaptation for Very Low-resource Automatic Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
濒危语言语音数据的转录和存档对于保护语言文化遗产具有重要意义，而自动语音识别（ASR）技术是实现这一目标的有力工具。然而，由于濒危语言通常不具有具有许多说话者的大型语料库，因此在它们上训练的ASR模型的性能通常相当差。然而，我们经常会留下大量需要转录的自发语音数据记录。在这项工作中，为了减轻这种扬声器稀疏性问题，我们建议转换整个训练语音数据，使其听起来像测试扬声器，以便为该扬声器开发一个高度准确的ASR系统。为此，我们利用基于CycleGAN的非并行语音转换技术来伪造接近测试说话人语音的标记训练数据。我们在两个低资源语料库上评估了这种说话人自适应方法，即阿伊努语和姆博希语。我们在阿伊努语语料库上获得了35-60%的相对改善，在Mboshi语料库上获得了40%的相对改善。这种方法优于两种传统的方法，即无监督的适应和多语言训练这两个语料库。
2020-07-31 cs.CL eess.AS
AC-Mix: Self-Supervised Adaptation for Low-Resource Automatic Speech Recognition using Agnostic Contrastive Mixup
INESC-ID & Instituto Superior Técnico（INESC-ID与理工学院）
本文提出AC-Mix方法，通过源域与目标域样本插值的对比混合进行自监督域自适应，在仅约11小时数据和1小时单GPU训练下持续提升低资源ASR性能。
2024-10-18 cs.SD eess.AS
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Private Language Model Adaptation for Speech Recognition
Meta AI
语音模型自适应对于处理服务器端代理训练数据与用户本地设备上接收的实际数据之间的差异至关重要。通过使用联邦学习（FL），我们引入了一种在私人设备上连续适应神经网络语言模型（NNLM）的有效方法，并应用于自动语音识别（ASR）。为了解决设备上训练语料库中潜在的语音转录错误，我们进行了实证研究，比较了利用标记级置信度分数来提高FL设置中NNLM质量的各种策略。实验结果表明，与无模型自适应相比，该方法在两个语音评测数据集上分别实现了2.6%和10.8%的相对字错误率（WER）降低。我们还提供了分析，在评估我们提出的程序的隐私保证。
2022-06-15 cs.CL cs.LG cs.SD
Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention
NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Waseda University（早稻田大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
本文研究了一种使用辅助说话者感知特征进行语音增强的自适应方法;我们直接从测试话语中提取用于自适应的说话者表示。基于深度神经网络（DNN）的语音增强的传统研究主要集中在建立说话人无关模型。同时，在包括语音识别和合成的语音应用中，已知的是，对目标说话者的模型自适应提高了准确性。我们的研究问题是，在测试阶段，在没有任何辅助引导信号的情况下，用于语音增强的DNN是否可以被采用到未知说话人。为此，我们采用了语音增强和说话人识别的多任务学习，并使用说话人识别分支的最终隐藏层的输出作为辅助特征。此外，我们使用多头自注意力来捕获语音和噪声中的长期依赖关系。在公共数据集上的实验结果表明，我们的策略达到了最先进的性能，也优于传统的方法在主观质量方面。
2020-02-14 cs.LG cs.SD eess.AS
Zero-Bit Transmission of Adaptive Pre- and De-emphasis Filters for Speech and Audio Coding
本文提出一种零比特自适应预加重与去加重滤波器方法，在接收端从解码信号中估计去加重系数，无需传输额外信息且避免滤波延迟，主观改善效果与前向自适应相当。
2024-07-02 eess.AS eess.SP
A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；University of Edinburgh（爱丁堡大学）
通过将说话人特征表示为单独从语音中提取的单个固定长度的向量，我们可以通过对这些向量进行调节来训练神经多说话人语音合成模型。该模型也可以适应于看不见的扬声器，无论适应数据的转录是否可用。然而，这种设置将扬声器分量限制为仅单个偏置向量，这又限制了自适应过程的性能。在这项研究中，我们提出了一种新的语音合成模型，它可以适应于看不见的扬声器微调部分或全部的网络使用转录或未转录的语音。我们的方法基本上包括两个步骤：第一，我们分裂成一个独立于说话者（SI）的语言编码器和一个说话者自适应（SA）的声学解码器的传统声学模型;第二，我们训练一个辅助声学编码器，可以用作语言编码器的替代品时，语言功能是无法获得的。客观和主观评价的结果表明，适应使用转录或未转录的语音与我们的方法实现了一个合理的水平的性能与极其有限的数据量，并大大提高了性能与更多的数据。令人惊讶的是，适应与未转录的语音超过了转录对应的主观测试，这揭示了传统的声学模型的局限性，并提示潜在的改进方向。
2019-10-08 cs.CL cs.LG cs.SD
Learning Fast Adaptation on Cross-Accented Speech Recognition
The Hong Kong University of Science and Technology（香港科技大学）
当地方言影响人们对同一种语言的单词发出不同的发音。口音的多变性和复杂性给训练一个鲁棒的、与口音无关的自动语音识别（ASR）系统带来了很大的挑战。在本文中，我们引入了一个跨口音的英语语音识别任务作为衡量的模型，以适应看不见的口音使用现有的CommonVoice语料库的能力的基准。我们还提出了一种口音不可知的方法，扩展了模型不可知的元学习（MAML）算法，用于快速适应看不见的口音。在混合区域和跨区域设置中，我们的方法在zero-shot、Few-Shot和all-shot中的单词错误率方面显著优于联合训练。
2020-03-04 cs.SD eess.AS
Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）；National Research Council Canada, Canada（加拿大国家研究理事会）
提出一种基于跨语句音频-文本提示的说话人自适应方法，实现零样本实时适应未见说话人，在老年人语音数据集上显著降低词错误率/字符错误率，并大幅提升实时因子。
2026-06-16 cs.SD eess.AS
Remixed2Remixed: Domain adaptation for speech enhancement by Noise2Noise learning with Remixing
CyberAgent, Inc.（CyberAgent公司）
本文提出Remixed2Remixed方法，利用Noise2Noise学习与双重重混合实现语音增强的域自适应，在CHiME-7任务上超越基线并缓解教师模型性能模糊。
2023-12-28 cs.SD eess.AS
In-Context Adaptation of Encoder-Decoder Models in Speech Recognition
University of Edinburgh（爱丁堡大学）
本研究探究上下文自适应是否为所有编码器-解码器语音识别模型的固有能力，通过六种模型和两种示例形式验证，发现均能实现自适应，且词汇与说话人信息均有贡献，表明该能力具有普遍性。
2026-09-29 cs.CL cs.SD eess.AS
Speaking style adaptation in Text-To-Speech synthesis using Sequence-to-sequence models with attention
Aalto University（阿尔托大学）
目前，有越来越多的兴趣在文本到语音（TTS）合成使用序列到序列模型的注意。这些模型是端到端的，这意味着它们直接从文本和语音中学习协同发音和持续时间属性。由于这些模型完全是数据驱动的，它们需要大量的数据来生成高质量的合成语音。然而，在具有挑战性的说话风格，如伦巴第语，很难记录足够大的语音语料库。因此，在本研究中，我们提出一个迁移学习的方法，以适应一个序列到序列的TTS系统的正常说话风格的伦巴第风格。此外，我们实验与WaveNet声码器在合成伦巴第语语音。我们进行了主观评价，以评估适应TTS系统的性能。主观评价结果表明，与WaveNet声码器的自适应系统明显优于传统的基于深度神经网络的TTS系统在合成伦巴第语语音。
2018-10-29 cs.CL cs.SD eess.AS
Low-Resource Domain Adaptation for Speech LLMs via Text-Only Fine-Tuning
Huazhong University of Science and Technology, School of Electronic Information and Communications（华中科技大学电子信息与通信学院）；MoE Key Lab of Artificial Intelligence, AI Institute, X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China（人工智能MoE重点实验室、AI研究院、X-LANCE实验室、上海交通大学、上海，中国）；Jiangsu Key Lab of Language Computing, Suzhou, China（江苏省语言计算重点实验室、苏州，中国）；AISpeech Co., Ltd., Suzhou, China（AISpeech公司、苏州，中国）
本文提出通过文本仅微调实现语音大模型在低资源环境下的领域适应，有效提升识别性能并减少领域迁移中的性能下降。
2025-12-23 cs.CL eess.AS
Automatic and perceptual discrimination between dysarthria, apraxia of speech, and neurotypical speech
Idiap Research Institute（伊迪亚普研究所）；Geneva University Hospital（日内瓦大学医院）；University of Geneva（日内瓦大学）
在运动性言语障碍（MSD）的背景下，自动技术通常是两类技术，旨在区分构音障碍和神经型言语或构音障碍和言语失用症（AoS）。此外，尽管提出了这样的技术来支持临床医生的感知评估，但从未比较过自动分类准确度和感知分类准确度。在本文中，我们研究了一个三级自动技术和一组手工制作的功能，用于区分构音障碍，AOS和神经型语音。针对多类分类问题，本文提出了一种层次化的方法，而不是采用通常使用的一对一或一对其余的方法。此外，进行知觉研究，其中要求言语和语言病理学家听构音障碍、AoS和神经典型言语的录音，并决定录音属于哪一类。建议的自动技术进行评估相同的录音和自动和感知分类性能进行了比较。所呈现的结果表明，分层分类方法产生了更高的分类精度比基线一对一和一对休息的方法。此外，所呈现的结果表明，自动方法产生了更高的分类精度比语音和语言病理学家的感知评估，展示了在临床实践中集成自动工具的潜在优势。
2021-06-02 cs.SD eess.AS
Speaker Targeting via Self-Speaker Adaptation for Multi-talker ASR
NVIDIAUSA（英伟达美国）
本研究提出一种无需显式说话人查询的流式多人对话ASR自说话人自适应方法，通过注入说话人专属内核实现即时适配，在离线和流式场景均达SOTA，可有效处理严重语音重叠问题。
2025-08-29 cs.SD eess.AS
Instance-Based Model Adaptation For Direct Speech Translation
FBK（布鲁诺·凯斯勒基金会）
尽管最近的技术进步，神经方法的有效性，端到端的语音到文本翻译仍然是有限的公开可用的训练语料库的缺乏。我们用一种方法来解决这个限制，以提高数据利用和提高系统在推理时的性能。我们的方法允许我们针对每个传入的翻译请求“动态”定制现有模型。在其核心，它利用一个实例选择过程来检索，从一个给定的数据池，一个小的样本集类似于输入查询的潜在属性的音频信号。然后将检索到的样本用于模型的特定于实例的微调。我们在三种不同的情况下评估我们的方法。在所有的数据条件（不同的语言，在/出的领域自适应），我们的基于实例的适应产生一致的性能增益静态模型。
2019-10-23 cs.CL eess.AS
Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation
National Taiwan University（台湾大学）；Google Brain（谷歌大脑）
语音失真是一个长期存在的问题，它降低了监督训练的语音处理模型的性能。因此，我们需要提高语音处理模型的鲁棒性，以在不损害原始语音处理性能的前提下，在遇到语音失真时获得良好的性能。在这项工作中，我们提出了提高域对抗训练（DAT）的语音处理模型的鲁棒性。我们进行了实验的SUPERB框架的基础上，五个不同的语音处理任务。如果我们并不总是知道语音数据的失真类型，我们分析了二进制域和多域设置，其中前者将所有失真的语音视为一个域，而后者将不同的失真视为不同的域。与监督训练方法相比，我们在目标域中获得了有希望的结果，其中语音数据被不同的失真所扭曲，包括测试过程中引入的新的不可见失真。
2022-07-25 cs.LG cs.SD eess.AS
Domain Adaptation and Autoencoder Based Unsupervised Speech Enhancement
Newcastle University（纽卡斯尔大学）；University of Oxford（牛津大学）；University of Sheffield（谢菲尔德大学）
领域自适应作为迁移学习的一个范畴，在将一个任务训练的模型推广到其他类似的任务或环境中起着重要的作用。在语音增强中，可以利用经过良好训练的声学模型来获得其他语言、说话者和环境的上下文中的语音信号。最近的领域自适应研究更有效地发展与各种神经网络和高层次的抽象特征。然而，相关的研究更倾向于将训练好的模型从一个丰富多样的领域转移到一个有限的相似领域。因此，本研究针对非监督语音增强中需要向更大、更丰富的领域转移的情况，提出了领域自适应方法。一方面，重要性加权（IW）的方法是利用方差约束的自动编码器，以减少源和目标域之间的共享权重的移位。另一方面，为了训练具有最坏情况的权重的分类器，并使风险最小化，极小极大方法被提出。建议的IW和minimax方法进行评估，从语音银行和IEEE数据集的TIMIT数据集。实验结果表明，所提出的方法优于国家的最先进的方法。
2021-12-09 cs.SD eess.AS
SOA: Reducing Domain Mismatch in SSL Pipeline by Speech Only Adaptation for Low Resource ASR
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对低资源 ASR 的领域不匹配问题，本文提出基于 Wav2vec 2.0 的仅语音自适应 SOA，仅用目标领域无标注语音持续预训练特征编码器，在保持源域性能的同时显著降低目标域 WER。
2024-06-15 cs.SD eess.AS
Joint domain adaptation and speech bandwidth extension using time-domain GANs for speaker verification
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（卓越人类语言技术中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
为特定的声学域和采样频率选择而开发的语音系统不容易转换为其他系统。通常的做法是独立地学习域自适应和带宽扩展模型。与此相反，我们建议一起学习这两项任务。特别地，我们学习将窄带对话电话语音映射到宽带麦克风语音。我们开发了并行和非并行学习解决方案，利用配对和非配对数据。首先，我们首先讨论针对我们的任务的多个生成模型的联合和不联合训练。然后，我们提出了一个两阶段的学习解决方案，在带宽扩展训练中使用预训练的域自适应系统进行预处理。我们评估了我们的计划上的发言人验证下游任务。我们使用JHU-MIT的NIST SRE 21实验装置，包括SRE 16，SRE-CTS超集和SRE 21。我们的研究结果提供了第一个证据，证明学习两项任务比只学习一项任务更好。在SRE 16上，我们最好的系统在等错误率方面实现了22%的相对改进。直接学习基线和8%的w.r.t.强大的带宽扩展系统。
2022-03-30 cs.SD eess.AS
Direction-Aware Joint Adaptation of Neural Speech Enhancement and Recognition in Real Multiparty Conversational Environments
Kyoto University（京都大学）；RIKEN（理化学研究所）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；Institut Polytechnique de Paris（巴黎理工学院）
本文介绍了嘈杂的语音识别的增强现实耳机，帮助真正的多方对话环境中的口头交流。在模拟环境中积极研究的主要方法是基于以监督方式训练的深度神经网络（DNN）顺序执行语音增强和自动语音识别（ASR）。然而，在我们的任务中，由于训练和测试条件以及用户的头部运动之间的不匹配，这种预先训练的系统无法工作。为了只增强目标说话者的话语，我们使用基于DNN的语音掩码估计器的波束形成，该估计器可以自适应地提取与头部相对特定方向相对应的语音分量。我们提出了一种半监督自适应方法，在运行时使用干净的语音信号与地面实况transmittance和嘈杂的语音信号与高置信度估计transmittance联合更新的掩模估计器和ASR模型。使用最先进的远程语音识别系统进行的比较实验表明，所提出的方法显着提高了ASR性能。
2022-07-15 cs.LG cs.SD eess.AS
Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer
ByteDance（字节跳动）
针对端到端语音识别中纯文本域自适应的难题，提出USTR-CT方法，通过额外文本编码器学习统一表示且推理时移除，结合单/多步自适应，在目标域WER相对降44%，还可结合ILME进一步提效。
2023-06-07 cs.CL cs.SD eess.AS
Sentiment recognition of Italian elderly through domain adaptation on cross-corpus speech dataset
University of Milano - Bicocca（米兰比可卡大学）
这项工作的目的是定义一个语音情感识别（SER）模型，能够识别积极的，中性的和消极的情绪，在自然对话的意大利老年人。在文献中有几个SER的数据集。然而，他们大多是在英语或汉语，已记录下来，而演员和女演员的发音短语，因此，不相关的自然会话。此外，在所有数据库中，只有少数发言与老年人有关。因此，在这项工作中，一个多语言和多年龄的语料库被认为是合并的数据集在英语中，其中也包括老年人，在意大利语的数据集。一个通用的模型，培训的年轻和成年的英国演员和女演员提出，XGBoost的基础上。然后提出了两种域适应策略，使模型既适用于老年人，也适用于意大利语使用者。结果表明，这种方法提高了分类性能，也强调了应该收集新的数据集。
2022-11-14 cs.CL eess.AS
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute（日立金科AI研究院）
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统，结合端到端说话人日志分离与自监督表示的 ASR 模型，显著降低 DER，并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
