Overview of CTC 2021: Chinese Text Correction for Native Speakers
iFLYTEK Research（讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们介绍了CTC 2021的概述，这是一个针对母语人士的中文文本纠正任务。我们详细描述了任务定义以及用于训练和评估的数据。我们还总结了这项任务的参与者调查的方法。我们希望为这项任务收集和注释的数据集可以促进和加快这一研究领域的未来发展。因此，伪训练数据、黄金标准验证数据和整个排行榜可在https://destwang.github.io/CTC2021-explorer/在线公开获得。
2022-08-11 cs.CL
Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对CTC架构多语言语音识别难以融入语言提示的问题，提出自条件CTC框架下的编码器提示技术，实现零样本语言适配，平均降错28%，低资源语言降错41%。
2024-06-18 cs.CL cs.SD eess.AS
TED-LIUM 3: twice as much data and corpus repartition for experiments on speaker adaptation
Ubiqus；LIUM, University of Le Mans（勒芒大学LIUM实验室）
在本文中，我们提出了TED-LIUM发布3语料库专用于英语语音识别，乘以两个以上的可用数据训练声学模型相比，TED-LIUM 2。我们介绍了自动语音识别（ASR）系统的最新进展，并与2012年和2014年的TED-LIUM语料库的前两个版本进行了比较。我们证明，从207到452小时的转录语音训练数据传递对于端到端ASR系统比基于HMM的最先进的系统更有用，即使当音频训练数据的大小为452小时时，基于HMM的ASR系统仍然优于端到端ASR系统，其中字出错率（WER）分别为6.6%和13.7%。最后，我们提出了两个重新分区的TED-LIUM发布3语料库：传统的一个是相同的，现有的一个在发布2，和一个新的，校准和设计，使实验的发言人自适应。与前两个版本一样，TED-LIUM 3语料库将免费提供给研究社区。
2019-06-13 cs.CL
A Unified Speaker Adaptation Approach for ASR
Nanyang Technological University（南洋理工大学）；Machine Intelligence Technology, Alibaba Group（阿里巴巴集团机器智能技术部门）
Transformer模型已成功地应用于自动语音识别（ASR）中，取得了令人瞩目的效果。然而，其性能仍然受到训练和测试数据之间的说话人失配的影响。用目标说话人数据进一步微调训练模型是最自然的适应方法，但它需要大量的计算，并可能导致对现有说话人的灾难性遗忘。在这项工作中，我们提出了一个统一的说话人自适应方法，包括特征自适应和模型自适应。对于特征自适应，我们采用了一个说话人感知的持久记忆模型，该模型通过使用说话人i向量来形成持久记忆，从而更好地推广到看不见的测试说话人。对于模型自适应，我们使用一种新的逐步修剪方法来适应目标扬声器，而不改变模型架构，据我们所知，这是从来没有探索过的ASR。具体来说，我们逐渐修剪模型编码器上贡献较小的参数到一定的稀疏度水平，并使用修剪的参数进行自适应，同时冻结未修剪的参数以保持原始模型性能。我们在Librispeech数据集上进行了实验。我们提出的方法带来了相对2.74-6.52%的字错误率（WER）减少一般的说话人适应。在目标说话人自适应方面，我们的方法优于基线，相对WER降低高达20.58%，并优于微调方法高达相对2.54%。此外，对于极低资源的适应数据（例如，1话语），我们的方法可以提高WER相对6.53%，只有几个时代的训练。
2021-10-16 cs.CL cs.LG cs.SD
BA-SOT: Boundary-Aware Serialized Output Training for Multi-Talker ASR
Northwestern Polytechnical University（西北工业大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对多说话人ASR中SOT方法说话人切换预测难的问题，提出BA-SOT方法，通过边界相关任务与损失、两阶段CTC策略优化，结合新指标UD-CER验证，显著降低了字符错误率。
2023-10-05 cs.CL cs.SD eess.AS
Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
基于连接主义时态分类（CTC）的模型由于其非自回归特性而在自动语音识别（ASR）中受到广泛关注。为了充分利用纯文本数据，语言模型（LM）集成方法，如重评分和浅层融合已被广泛用于CTC。然而，由于需要束搜索，它们失去了CTC的非自回归性质，这降低了推理速度。在这项研究中，我们提出了一个错误纠正方法与音素条件掩蔽LM（PC-MLM）。在所提出的方法中，不太自信的词令牌在一个贪婪的解码输出CTC被掩盖。PC-MLM然后预测这些屏蔽词令牌给出未屏蔽的单词和电话从CTC预测。我们进一步将其扩展到可删除的PC-MLM，以解决插入错误。由于CTC和PC-MLM都是非自回归模型，因此该方法能够实现快速LM积分。在领域自适应环境下对自然日语语料库（CSJ）和TED-LIUM 2进行的实验结果表明，该方法在推理速度和识别准确率方面均优于再评分和浅层融合。
2022-09-08 cs.CL cs.SD eess.AS
Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）；Microsoft Corporation（微软公司）
这项工作提出了一个广泛的研究适应神经网络声学模型通过学习隐藏单元的贡献（LHUC）-一种方法，线性重新组合隐藏单元在扬声器或环境依赖的方式使用少量的无监督的适应数据。我们还将LHUC扩展到一个说话者自适应训练（SAT）框架，该框架导致一个更具适应性的DNN声学模型，以说话者相关和说话者无关的方式工作，而不需要维护辅助说话者相关特征提取器或向DNN结构引入显着的说话者相关变化。通过一系列的实验，四个不同的语音识别基准（TED会谈，Switchboard，AMI会议，极光4），包括270个测试扬声器，我们表明，LHUC在其测试和SAT的变种结果一致的字出错率减少5%至23%，相对取决于任务和训练和测试数据之间的不匹配程度。此外，我们还研究了每个扬声器的自适应数据量的影响，无监督自适应目标的质量，与其他自适应技术的互补性，一次性自适应，以及以序列判别方式训练的自适应DNN的扩展。
2016-07-13 cs.CL cs.LG cs.SD
Unsupervised Speaker Adaptation using Attention-based Speaker Memory for End-to-End ASR
MERL（三菱电机研究实验室）
我们提出了一种无监督的说话人自适应方法的启发神经图灵机的端到端（E2 E）自动语音识别（ASR）。该模型包含一个内存块，该内存块保存从训练数据中提取的说话者i向量，并通过注意力机制从内存中读取相关的i向量。所得到的记忆向量（M向量）被连接到声学特征或E2 E神经网络模型的隐藏层激活。E2 E ASR系统基于联合连接主义时间分类和基于注意力的编码器-解码器架构。使用WSJ和TED-LIUM 2 ASR基准测试将M向量和i向量结果进行比较，以将它们插入编码器神经网络的不同层。我们表明，M-向量，这不需要一个辅助扬声器嵌入提取系统在测试时，实现类似的词错误率（WRs）相比，i-向量的单扬声器的话语和显着降低WRs的话语中，有扬声器的变化。
2020-02-14 cs.CL cs.LG cs.SD
Speaker Adaptation for Attention-Based End-to-End Speech Recognition
Microsoft Corporation（微软公司）
我们提出了三种基于正则化的说话人自适应方法，以适应基于注意力的编码器-解码器（AED）模型与非常有限的适应数据从目标说话人的端到端自动语音识别。第一种方法是Kullback-Leibler发散（KLD）正则化，其中通过将KLD正则化添加到自适应标准中，迫使说话者相关（SD）AED的输出分布接近说话者无关（SI）模型的输出分布。为了弥补KLD正则化中的不对称缺陷，提出了一种对抗性说话人自适应（ASA）方法，通过辅助学习器和SD AED的对抗性学习来正则化SD AED的深度特征分布.第三种方法是多任务学习，其中SD AED被训练为联合执行预测大量输出单元的主要任务和预测少量输出单元的辅助任务，以减轻目标稀疏性问题。微软短消息听写任务的评估，所有三种方法都非常有效地适应AED模型，实现了高达12.2%和3.0%的字出错率改善超过一个SI AED训练从3400小时的数据，分别为监督和无监督的适应。
2019-11-09 cs.CL cs.LG cs.SD
Machine Speech Chain with One-shot Speaker Adaptation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
在之前的工作中，我们开发了一个基于深度学习的闭环语音链模型，该架构使自动语音识别（ASR）和文本到语音合成（TTS）组件能够相互提高其性能。这是通过两个部分使用标记和未标记的数据相互教导来实现的。这种方法可以显着提高单说话人语音数据集内的模型性能，但在多说话人任务中只能获得轻微的提高。此外，该模型仍然无法处理看不见的扬声器。在本文中，我们提出了一个新的语音链机制，通过集成的说话人识别模型内的循环。我们还建议扩展TTS的能力，以处理看不见的扬声器，通过实施一次性扬声器自适应。这使得TTS能够仅用一次说话者样本来模仿从一个说话者到另一个说话者的语音特征，即使是来自没有任何说话者信息的文本。在语音链循环机制中，ASR还受益于从生成的语音波形进一步学习任意说话者特征的能力，从而显著提高识别率。
2018-03-28 cs.CL cs.LG cs.SD
Enhancing Dysarthric Speech Recognition for Unseen Speakers via Prototype-Based Adaptation
Nankai University（南开大学）
针对构音障碍语音识别中因说话人差异导致新用户性能下降且传统微调成本高的问题，提出一种基于原型的方法，利用HuBERT训练的特征提取器生成逐词原型并结合监督对比学习，无需额外微调即可显著提升未见说话人的识别性能，实现有效个性化DSR。
2024-07-26 cs.CL cs.SD eess.AS
Generative Adversarial Training Data Adaptation for Very Low-resource Automatic Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
濒危语言语音数据的转录和存档对于保护语言文化遗产具有重要意义，而自动语音识别（ASR）技术是实现这一目标的有力工具。然而，由于濒危语言通常不具有具有许多说话者的大型语料库，因此在它们上训练的ASR模型的性能通常相当差。然而，我们经常会留下大量需要转录的自发语音数据记录。在这项工作中，为了减轻这种扬声器稀疏性问题，我们建议转换整个训练语音数据，使其听起来像测试扬声器，以便为该扬声器开发一个高度准确的ASR系统。为此，我们利用基于CycleGAN的非并行语音转换技术来伪造接近测试说话人语音的标记训练数据。我们在两个低资源语料库上评估了这种说话人自适应方法，即阿伊努语和姆博希语。我们在阿伊努语语料库上获得了35-60%的相对改善，在Mboshi语料库上获得了40%的相对改善。这种方法优于两种传统的方法，即无监督的适应和多语言训练这两个语料库。
2020-07-31 cs.CL eess.AS
Listen, Attend, Spell and Adapt: Speaker Adapted Sequence-to-Sequence ASR
Nuance Communications, Inc.（Nuance通信公司）
基于序列到序列（seq 2seq）的ASR系统已经显示出最先进的性能，同时在简单性方面具有明显的优势。然而，比较主要是在与说话者无关（SI）的ASR系统上进行的，尽管说话者自适应的常规系统在实践中通常用于提高对说话者和环境变化的鲁棒性。在本文中，我们将说话人自适应应用到seq 2seq模型中，目标是匹配传统ASR自适应的性能。具体来说，我们调查Kullback-Leibler分歧（KLD）以及线性隐藏网络（LHN）为seq 2seq ASR的适应，每个扬声器使用不同量（最多20小时）的适应数据。我们的SI模型在大量听写数据上进行训练，并获得了最先进的结果。我们通过seq 2seq模型的KLD适应获得了25%的相对字错误率（WER）改善，而传统系统中的声学模型适应获得了18.7%的增益。我们还表明，seq 2seq模型的WER随着适应数据量的增加而呈对数线性下降。最后，我们分析了基于最小WER准则的自适应，并将语言模型（LM）与说话人自适应seq 2seq模型进行分数融合，从而进一步提高了seq 2seq系统的性能。
2019-07-08 cs.CL cs.LG cs.SD
Adversarial Speaker Adaptation
Microsoft Corporation（微软公司）
我们提出了一种新的对抗性说话人自适应（ASA）方案，其中对抗性学习应用于调节说话人相关（SD）深度神经网络（DNN）声学模型中的深度隐藏特征的分布，以接近于自适应过程中固定的说话人无关（SI）DNN声学模型。引入了一个附加的神经网络来区分SD模型产生的深度特征和SI模型产生的深度特征。在ASA中，以固定的SI模型为参考，SD模型与SVM网络联合优化，以最小化状态分类损失，同时最小化适应数据上的SI/SD区分损失。使用ASA，在SD模型中学习具有与SI模型相似分布的senone判别深度特征。利用这种正则化和自适应的深度特征，SD模型可以对目标说话者的语音执行改进的自动语音识别。在微软短消息听写数据集上进行评估，ASA对于监督和无监督自适应分别实现了14.4%和7.9%的相对单词出错率改进，超过了从2600小时数据训练的SI模型，每个扬声器具有200个自适应话语。
2019-04-29 cs.CL cs.LG cs.SD
Interpretable Dysarthric Speaker Adaptation based on Optimal-Transport
University of Genoa（热那亚大学）；Italian Institute of Technology（意大利技术研究院）；University of Ferrara（费拉拉大学）；PerVoice
针对构音障碍语音识别中训练与测试数据分布不匹配问题，提出基于最优传输的无监督多源域自适应算法MSDA-WJDOT，实现可解释的说话人自适应，命令错误率相对降低最高达16%，并无需额外训练即可达到95%的构音障碍诊断准确率。
2022-03-14 cs.CL cs.SD eess.AS
Factorised Speaker-environment Adaptive Training of Conformer Speech Recognition Systems
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文为Conformer ASR模型提出一种贝叶斯分解式说话人-环境自适应训练方法，通过分离与组合特征并建模参数不确定性，在噪声数据上显著降低词错率并具备快速适应能力。
2023-06-26 cs.CL eess.AS
Child ASR Adaptation with Adult Retention: An Empirical Study
Qatar Computing Research Institute（卡塔尔计算研究所）
本研究实证比较了多种ASR适配方法在儿童语音上的效果，发现直接适配会损害成人性能，而权重空间合并（如LERP和TIES）能更好地平衡儿童适配与成人保留。
2026-10-08 cs.AI cs.CL cs.LG
Optimal Transport-based Adaptation in Dysarthric Speech Tasks
Italian Institute of Technology（意大利理工学院）；University of Ferrara（费拉拉大学）；University of Genoa（热那亚大学）；PerVoice（PerVoice公司）
在许多实际应用中，训练数据（源）和测试数据（目标）分布之间的不匹配会显著降低机器学习算法的性能。在语音数据中，这种失配的原因包括不同的声学环境或扬声器特性。在本文中，我们解决这个问题的构音障碍的语音，多源域/说话人自适应（MSDA/MSSA）的挑战性的背景下。具体来说，我们建议使用基于最优传输的方法，称为MSDA通过加权联合最优传输（MSDA-WDJOT）。我们面临的构音障碍检测中的失配问题，所提出的方法优于基线和最先进的MSDA模型，提高了0.9%的检测精度比最好的竞争对手的方法。然后，我们采用MSDA-WJDOT构音障碍的扬声器适应命令语音识别。这提供了一个命令出错率相对减少16%和7%的基线和最好的竞争对手的模型，分别。有趣的是，MSDA-WJDOT提供了源和目标之间的相似性得分，即在这种情况下，扬声器之间的相似性得分。我们利用这种相似性度量来定义目标说话者的构音障碍和健康评分，并以95%的准确率诊断构音障碍。
2022-03-14 cs.CL cs.SD eess.AS
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
Enhancing Code-Switching ASR Leveraging Non-Peaky CTC Loss and Deep Language Posterior Injection
National Taiwan Normal University（国立台湾师范大学）
针对语码转换场景下端到端ASR系统性能下降的问题，提出融入语言识别信息、应用语言边界对齐损失、利用语言后验促进编码器深度交互的方法，在SEAME语料库上性能优于D-MoE方法。
2024-11-26 cs.CL cs.LG cs.SD
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
我们介绍BERTphone，一个Transformer编码器训练的大型语音语料库，输出语音感知的上下文表示向量，可用于扬声器和语言识别。这是通过对两个目标的训练来实现的：第一个目标，受BERT适应连续域的启发，涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标，受ASR瓶颈特征的成功启发，是应用于音素标签的序列级CTC损失，用于语音表示学习。我们预训练了两个BERTphone模型（一个在Fisher上，一个在TED-LIUM上），并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中，我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中，我们看到在BERTphone向量而不是MFCC上训练时，说话人EER相对降低了18%。一般来说，BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
Embeddings for DNN speaker adaptive training
University of Edinburgh（爱丁堡大学）
在这项工作中，我们研究了嵌入用于DNN（DNN-SAT）的说话者自适应训练，重点是每个说话者的少量自适应数据。DNN-SAT可以被视为学习从每个嵌入到应用于DNN的共享参数的变换参数的映射。我们研究了应用这些变换的不同方法，发现在良好的训练策略下，应用于所有隐藏层的多层自适应网络并不比作用于嵌入的单个线性层更有效，以变换输入特征。在我们工作的第二部分，我们在额外的说话人识别任务中评估不同的嵌入（i向量，x向量和深度CNN嵌入），以便深入了解DNN-SAT嵌入的特征。我们发现给定表示的说话人识别性能与其ASR性能无关;事实上，捕获更多语音属性而不仅仅是说话人身份的能力是高效DNN-SAT ASR嵌入的最重要特征。我们最好的模型分别使用说话者水平倒谱均值归一化（CMN）和完全说话者独立模型，在DNN基线上实现了4%和9%的相对WER增益。
2019-09-30 cs.CL cs.SD eess.AS
Multi-Task Network for Noise-Robust Keyword Spotting and Speaker Verification using CTC-based Soft VAD and Global Query Attention
KAIST（韩国科学技术院）
关键字定位（KWS）和说话人确认（SV）已经独立研究，虽然它是已知的，声学和扬声器域是互补的。在本文中，我们提出了一个同时执行KWS和SV的多任务网络，以充分利用相互关联的域信息。多任务网络紧密结合的子网络，旨在提高性能的挑战性条件下，如嘈杂的环境，开放的词汇KWS，和短时间SV，通过引入新的技术的连接时间分类（CTC）的软语音活动检测（VAD）和全球查询注意。帧级的声学和说话人信息与语音起源的权重相结合，从而形成单词级的全局表示。然后将其用于特征向量的聚合以生成区分性嵌入。我们提出的方法显示，4.06%和26.71%的相对改善等错误率（EER）相比，这两个任务的基线。我们还提出了一个可视化的例子和烧蚀实验的结果。
2020-08-07 cs.CL cs.LG cs.SD
Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation
从特定领域进行高质量的数据标记是昂贵的，并且耗时。在这项工作中，我们提出了一个自我监督的领域自适应方法，基于迭代伪强制对齐算法。所产生的对齐被用于定制端到端自动语音识别（ASR）并迭代地细化。该算法由种子ASR产生的逐帧字符后验提供，用域外数据进行训练，并在整个连接主义时间分类（CTC）损失中进行优化。在广播电视的语料库上迭代地计算对准。通过减少要对齐的文本数量或扩大对齐窗口来重复该过程，直到找到最佳的音频-文本对齐。起始时间戳或时间锚是基于最后对齐的话语的置信度分数唯一地产生的。这个分数是用CTC比对矩阵的路径计算的。使用这种方法，不需要人工修改的文本参考。来自具有低质量透明度的长音频文件的对齐（如电视字幕）通过置信度分数过滤掉，并准备好进一步的ASR适配。在西班牙RTVE 2022和CommonVoice数据库上获得的结果支持了使用基于CTC的系统执行以下操作的可行性：高度准确的音频文本对齐、领域自适应和端到端ASR的半监督训练。
2023-01-15 cs.CL cs.SD eess.AS
Multi-Task Learning for Speaker-Role Adaptation in Neural Conversation Models
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
由于缺乏大量用于模型训练的特定于说话者的会话数据，构建基于人物的会话代理具有挑战性。本文通过提出一种多任务学习方法来训练神经会话模型来解决这个问题，该方法利用说话者之间的会话数据以及与要建模的说话者和说话者角色有关的其他类型的数据。实验表明，我们的方法导致基线模型质量的显着改善，生成的响应，更准确地捕捉说话者的特质和说话风格。该模型提供了算法简单且易于实现的优点，并且不依赖于代表特定个体扬声器的大量数据。
2017-10-20 cs.CL
Exploring Textual and Speech information in Dialogue Act Classification with Speaker Domain Adaptation
Monash University（莫纳什大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
尽管最近的成功的对话行为（DA）的分类，大多数先前的作品集中在基于文本的分类与甲骨文transmittance，即人类transmittance，而不是自动语音识别（ASR）的transmittance。然而，在口语对话系统中，代理将只能访问有噪声的ASR传输，这可能由于域移位而进一步遭受性能降级。在本文中，我们探讨了使用声学和文本信号的有效性，无论是甲骨文或ASR transmittance，并探讨说话人领域自适应DA分类。我们的多模态模型被证明是优于单峰模型，特别是当甲骨文transmittance不可用。我们还提出了一种有效的方法，说话人领域自适应，取得了竞争力的结果。
2018-10-17 cs.CL
BnTTS: Few-Shot Speaker Adaptation in Low-Resource Setting
Hishab Singapore Pte. Ltd（Hishab新加坡私人有限公司）；University of Central Florida（中佛罗里达大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提出首个孟加拉语说话人自适应TTS框架BnTTS，基于XTTS架构整合孟加拉语并适配其语言特征，经3.85k小时数据预训练后，在零样本和少样本场景测试中，合成语音的自然度、可懂度等指标显著优于现有系统。
2025-02-09 cs.CL
Empirical Evaluation of Speaker Adaptation on DNN based Acoustic Model
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
说话人自适应的目的是从一个与说话人无关的声学模型中估计出一个特定于说话人的声学模型，以最大限度地减少由于说话人变异而引起的训练条件和测试条件之间的不匹配。自从深度学习模型成为主流以来，人们提出了多种神经网络自适应方法。但是，仍然缺乏不同的方法之间的实验比较，特别是当基于DNN的声学模型已经取得了很大进展。在本文中，我们的目标是通过提供三个典型的说话人自适应方法：LIN，LHUC和KLD的实证评估，以缩小这一差距。在强TDNN-LSTM声学模型上进行了不同大小自适应数据的自适应实验。更具挑战性的是，本文所研究的源和目标是标准普通话说话人模型和带口音普通话说话人模型。我们比较了不同方法及其组合的性能。说话人的口音程度也是衡量说话人自适应性能的重要指标。
2018-10-25 cs.CL cs.SD eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation
Google Research（谷歌研究院）
使神经文本到语音（TTS）模型适应目标说话者通常涉及微调预训练的多说话者骨干模型的大多数（如果不是全部）参数。然而，服务数百个微调的神经TTS模型是昂贵的，因为它们中的每一个都需要显著的占地面积和单独的计算资源（例如，加速器、存储器）。为了将说话人自适应神经TTS语音扩展到数百个说话人，同时保持自然度和说话人相似性，本文提出了一种参数有效的Few-Shot说话人自适应，其中骨干模型用称为残余适配器的可训练轻量级模块进行增强。这种架构允许骨干模型在不同的目标扬声器之间共享。实验结果表明，与完全微调方法相比，所提方法能够获得有竞争力的自然度和说话人相似度，而对每个说话人只需要$\sim$ 0.1%的骨干模型参数。
2022-10-28 cs.CL cs.SD eess.AS
Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech
National Taiwan University（台湾大学）
个性化语音合成系统是非常期望的应用，其中系统可以利用用户的语音生成语音，而用户的语音具有罕见的登记记录。在最近的工作中，有两种主要的方法来建立这样的系统：说话人自适应和说话人编码。一方面，说话人自适应方法用很少的注册样本对训练好的多说话人文本到语音（TTS）模型进行微调。然而，它们需要至少数千个微调步骤才能实现高质量的适配，这使得它很难应用于设备。另一方面，说话人编码方法将登记话语编码到说话人嵌入中。训练好的TTS模型可以在相应的说话人嵌入的条件下合成用户的语音。然而，扬声器编码器受到可见扬声器和不可见扬声器之间的泛化间隙的影响。在本文中，我们提出了应用Meta学习算法的说话人自适应方法。更具体地说，我们使用模型不可知元学习（MAML）作为多说话者TTS模型的训练算法，其目的是找到一个很好的元初始化，以使模型快速适应任何Few-Shot说话者自适应任务。因此，我们也可以有效地将元训练的TTS模型适应于看不见的说话者。我们的实验比较所提出的方法（元TTS）与两个基线：一个扬声器自适应方法基线和扬声器编码方法基线。实验结果表明，在相同训练方案下，元文语转换系统能够以较少的训练步骤从少量的注册样本中合成出具有较高说话人相似度的语音，且性能优于说话人编码基线。当基线的扬声器编码器使用额外的8371个扬声器数据进行预训练时，Meta-TTS仍然可以在LibriTTS数据集上优于基线，并在VC…
2022-07-29 cs.CL cs.SD eess.AS
Speaker Adaptive Training using Model Agnostic Meta-Learning
Bloomberg（彭博社）
神经网络声学模型的说话人自适应训练（SAT）以使模型更适合于适应测试条件的方式来学习模型。传统上，基于模型的说话者自适应训练是通过具有一组与说话者无关参数联合优化的说话者相关参数来执行的，以便去除说话者变化。然而，如果所有神经网络权重都要适应说话者，则这不能很好地缩放。在本文中，我们制定了说话人自适应训练作为一个元学习任务，其中使用梯度下降的自适应过程直接编码到模型的训练。我们将我们的方法与标准基线模型的仅测试适应和具有学习的扬声器适应时间表的SAT-LHUC模型进行比较，并证明元学习方法取得了可比的结果。
2019-10-23 cs.CL cs.LG eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Robust Unsupervised Adaptation of a Speech Recogniser Using Entropy Minimisation and Speaker Codes
AI Center Cambridge（剑桥人工智能中心）
针对新说话人无标注自适应数据少、微调鲁棒性差的问题，提出结合条件熵损失与说话人编码的无监督自适应方法，在Common Voice噪声增强数据集上实现显著词错误率下降。
2025-06-12 cs.CL cs.LG eess.AS
A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；University of Edinburgh（爱丁堡大学）
通过将说话人特征表示为单独从语音中提取的单个固定长度的向量，我们可以通过对这些向量进行调节来训练神经多说话人语音合成模型。该模型也可以适应于看不见的扬声器，无论适应数据的转录是否可用。然而，这种设置将扬声器分量限制为仅单个偏置向量，这又限制了自适应过程的性能。在这项研究中，我们提出了一种新的语音合成模型，它可以适应于看不见的扬声器微调部分或全部的网络使用转录或未转录的语音。我们的方法基本上包括两个步骤：第一，我们分裂成一个独立于说话者（SI）的语言编码器和一个说话者自适应（SA）的声学解码器的传统声学模型;第二，我们训练一个辅助声学编码器，可以用作语言编码器的替代品时，语言功能是无法获得的。客观和主观评价的结果表明，适应使用转录或未转录的语音与我们的方法实现了一个合理的水平的性能与极其有限的数据量，并大大提高了性能与更多的数据。令人惊讶的是，适应与未转录的语音超过了转录对应的主观测试，这揭示了传统的声学模型的局限性，并提示潜在的改进方向。
2019-10-08 cs.CL cs.LG cs.SD
Continual Speaker Adaptation for Text-to-Speech Synthesis
University of St.Gallen（圣加仑大学）
从头开始训练多说话者文本到语音（TTS）模型在计算上是昂贵的，并且向数据集添加新的说话者需要重新训练模型。对于新的扬声器，对模型进行顺序微调的天真解决方案可能导致旧扬声器的性能不佳。这种现象被称为灾难性遗忘。在本文中，我们从持续学习的角度来看待TTS建模，其目标是在不忘记先前发言者的情况下添加新的发言者。因此，我们首先提出了一个实验设置，并表明，串行微调新的扬声器可能会导致忘记较早的扬声器。然后，我们利用两个著名的技术持续学习，即经验重放和权重正则化。我们揭示了如何可以减轻退化的影响，在语音合成多样性的顺序训练的新的扬声器使用这些方法。最后，我们提出了一个简单的扩展来体验重播，以改善我们可以访问非常小的缓冲区的极端设置中的结果。
2022-03-31 cs.CL cs.LG cs.SD
Probabilistic adaptation of language comprehension for individual speakers: evidence from neural oscillations
The Chinese University of Hong Kong（香港中文大学）
本研究通过脑电图实验发现，听者基于说话者做出刻板印象不一致陈述的频率概率性适应语言理解，涉及高β振荡的说话者一般性机制和θ振荡的说话者特异性机制。
2025-10-25 cs.CL q-bio.NC
Cross-lingual Low Resource Speaker Adaptation Using Phonological Features
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信事业部）
最近提出了使用音位特征代替音素作为序列到序列TTS的输入的思想，用于zero-shot多语言语音合成。这种方法对于语码转换很有用，因为它有助于在母语文本流中无缝地说出嵌入的外语文本。在我们的工作中，我们训练一个语言无关的多说话人模型的条件下，一组不同语言的语音衍生功能，实现跨语言的扬声器自适应的目标。我们首先实验了语音相似性对几种源-目标语言组合的跨语言TTS的影响。随后，我们用一个新的说话者的声音在一个看到的或看不见的语言非常有限的数据微调模型，并实现同等质量的合成语音，同时保留目标说话者的身份。与32和8话语的目标说话人的数据，我们得到了较高的说话人相似性分数和自然度相媲美的相应文献。在只有2个可用的适应话语的极端情况下，我们发现我们的模型表现为一个Few-Shot学习者，因为在可见和不可见的适应语言场景中的性能是相似的。
2021-11-17 cs.CL cs.LG cs.SD
Unseen Speaker and Language Adaptation for Lightweight Text-To-Speech with Adapters
本文针对轻量级文本转语音系统，通过适配器实现未见说话人和语言的跨语言适配，避免灾难性遗忘，提出口音母语程度的客观指标，并分析适配器配置等因素的影响。
2025-08-25 cs.CL cs.LG cs.SD
kNN For Whisper And Its Effect On Bias And Speaker Adaptation
University of Amsterdam（阿姆斯特丹大学）
针对语音识别模型微调易致灾难性遗忘的问题，本研究将非参数的令牌级kNN方法应用于Whisper模型，通过推理时外部数据存储搜索实现自适应，证明其可提升性能并分析了语音与文本设置差异及对说话人自适应的意义。
2025-02-11 cs.CL cs.SD eess.AS
Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation
The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（深圳声希科技有限公司）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
构音障碍语音重建（DSR），旨在改善构音障碍语音的质量，仍然是一个挑战，不仅因为我们需要恢复语音是正常的，而且还必须保持说话人的身份。为了控制说话人的身份，本文研究了由说话人识别优化的说话人编码器（SE）提取的说话人表示。然而，SE可能无法完全捕获以前看不见的构音障碍扬声器的特征。为了解决这个研究问题，我们提出了一种新的多任务学习策略，即，对抗性说话人自适应（ASA）。ASA的主要任务微调SE与目标构音障碍说话者的语音，以有效地捕获身份相关的信息，和次要任务应用对抗训练，以避免异常说话模式的重建语音的合并，通过正则化重建语音的分布接近的参考语音的高质量。实验表明，该方法可以实现增强的说话人相似度和可比的语音自然度与强大的基线方法。与构音障碍语音相比，对于中度构音障碍和中重度构音障碍的说话人，重建语音的绝对错误率分别降低了22.3%和31.5%。我们的演示页面在这里发布：https://wendison.github.io/ASA-DSR-demo/
2022-02-18 cs.CL cs.MM cs.SD
In-Context Learning Boosts Speech Recognition via Human-like Adaptation to Speakers and Language Varieties
Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）
本研究提出可扩展的上下文学习框架，使Phi-4 Multimodal模型可通过少量示例适应不同说话者和语言变体，显著降低语音识别词错误率，展现类人适应模式，同时指出当前模型仍存在的灵活性差距。
2025-05-20 cs.CL cs.SD eess.AS
USAT: A Universal Speaker-Adaptive Text-to-Speech Approach
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文提出统一零样本与少样本说话人自适应的TTS框架USAT，通过创新判别器、记忆机制和适配器解决泛化不足、灾难性遗忘等问题，并兼顾非母语口音场景。
2024-04-28 cs.AI cs.CL cs.SD
Exploring Gaussian mixture model framework for speaker adaptation of deep neural network acoustic models
University of Avignon（阿维尼翁大学）；STC-innovations Ltd（STC创新有限公司）
在本文中，我们研究了用于深度神经网络（DNN）声学模型自适应的GMM衍生（GMMD）特征。在GMMD特征上训练的DNN的适应是通过用于GMMD特征提取的辅助GMM模型的最大后验（MAP）适应来完成的。我们探讨融合的适应GMMD功能与传统的功能，如瓶颈和MFCC功能，在两个不同的神经网络架构：DNN和时间延迟神经网络（TDNN）。我们分析和比较不同类型的自适应技术，如i-向量和特征空间自适应技术的基础上最大似然线性回归（fMLLR）与建议的适应方法，并探讨其互补性，使用各种类型的融合，如特征级，后验级，格级和其他，以发现最佳的组合方式。在TED-LIUM语料库上的实验结果表明，所提出的自适应技术可以有效地集成到不同级别的DNN和TDNN设置中，并在识别性能方面提供额外的增益：相对于基于最大似然线性回归（fMLLR）说话者自适应DNN基线的强特征空间自适应技术，相对字错误率降低（WERR）高达6%，与在传统特征上训练的说话人独立（SI）DNN基线模型相比，相对WERR高达18%。对于TDNN模型，与SI基线相比，所提出的方法实现了高达26%的相对WERR，并且与通过使用i向量调整的模型相比，该方法实现了13%的相对WERR。从不同的角度对适应的GMMD特征进行分析，证明了它们在不同层次上的有效性。
2020-03-15 cs.CL cs.SD eess.AS
ADAPTERMIX: Exploring the Efficacy of Mixture of Adapters for Low-Resource TTS Adaptation
Singapore University of Technology and Design（新加坡科技设计大学）；ASUS Intelligent Cloud Services (AICS)（华硕智能云服务）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出ADAPTERMIX方法，通过在骨干模型层中混合多个适配器实现低资源语音合成的说话人自适应，仅需一分钟数据即带来5%的偏好提升，且只需微调11%的模型参数。
2023-05-29 cs.AI cs.CL cs.SD
Neural Voice Cloning with a Few Samples
Baidu Research（百度研究院）
语音克隆是个性化语音界面的一个非常需要的功能。基于神经网络的语音合成已被证明可以为大量说话者生成高质量的语音。在本文中，我们介绍了一个神经语音克隆系统，需要一些音频样本作为输入。我们研究了两种方法：说话人自适应和说话人编码。说话人自适应是基于微调的多说话人生成模型与一些克隆样本。说话人编码是基于训练一个单独的模型来直接从克隆音频中推断出一个新的说话人嵌入，并与多说话人生成模型一起使用。在语音的自然度和与原说话人的相似度方面，这两种方法都可以达到很好的性能，即使克隆音频很少。虽然说话人自适应可以实现更好的自然度和相似性，但说话人编码方法的克隆时间或所需内存显着减少，使其有利于低资源部署。
2018-10-12 cs.CL cs.LG cs.SD
Graph-based Multi-View Fusion and Local Adaptation: Mitigating Within-Household Confusability for Speaker Identification
Amazon Alexa AI（亚马逊Alexa人工智能部门）
针对家庭场景中声音混淆和注册语音有限导致的说话人识别性能下降，提出基于图的半监督方法，结合局部自适应图归一化与多视图多信号融合，在 VoxCeleb 上持续提升不同家庭的识别鲁棒性。
2022-07-08 cs.CL cs.LG cs.SD
Speaking the Language of Your Listener: Audience-Aware Adaptation via Plug-and-Play Theory of Mind
University of Amsterdam（阿姆斯特丹大学）；Sapienza University of Rome（罗马第一大学）
本文提出一种即插即用的模拟模块，使说话者能从听者视角实时调整指称表达，无需微调语言模型即可提升交际成功率。
2023-05-31 cs.AI cs.CL cs.CV
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology（代尔夫特理工大学）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；University of Amsterdam（阿姆斯特丹大学）；Netherlands Cancer Institute（荷兰癌症研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们提出了一种新的方法，病理语音合成。而不是使用健康的语音作为源，我们定制一个现有的病理语音样本，以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题，因为在我们的方法中，语音转换（VC）模型不需要针对语音退化进行优化，而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念，我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明，合理的自然度高清晰度构音障碍的扬声器，虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比，地面真理。对于低清晰度和高清晰度的说话人，说话人特性转换是成功的，但对于中清晰度的说话人，转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
When Forgetting Looks Like Improvement: Metric Masking in Streaming Diarizer Adaptation and the Price of Rehearsal
Tongji University（同济大学）
本研究揭示流式说话人日志系统小数据自适应提升检测却损害说话人归属，重放缓解退化但牺牲跨域迁移，强调需联合评估检测、身份一致性与保留行为。
2026-10-08 cs.CL cs.SD eess.AS
AdaDurIAN: Few-shot Adaptation for Neural Text-to-Speech with DurIAN
Tencent（腾讯）
本文研究了如何利用基于DuIAN的平均模型，使一个新的发言人既有准确的发音和流利的跨语言说话非常有限的单语数据。最近提出的端到端文本到语音（TTS）系统的一个弱点是，很难实现鲁棒的对齐，这阻碍了它的规模以及非常有限的数据。为了解决这个问题，我们通过训练改进的基于DuriAN的平均模型来引入AdaDuIAN，并利用它来跨不同扬声器共享与扬声器无关的内容编码器进行少样本学习。在我们的实验中，几个少样本学习任务表明AdaDurIAN可以大大优于基线端到端系统。主观评价也表明，AdaDurIAN产生更高的平均意见得分（MOS）的自然度和更多的偏好的说话人相似性。此外，我们还将AdaDuIAN应用于情绪转移任务，并展示了其良好的性能。
2020-05-12 cs.CL cs.SD eess.AS
HyperTTS: Parameter Efficient Adaptation in Text to Speech using Hypernetworks
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出HyperTTS，利用超网络根据说话人表示动态生成Adapter参数，以参数高效方式提升TTS的域外说话人适配性能，并在两种设置下达到最先进水平。
2024-04-06 cs.CL cs.LG cs.SD
Voice Filter: Few-shot text-to-speech speaker adaptation using voice conversion as a post-processing module
Alexa AI（亚马逊语音助手人工智能）；National Taiwan University (NTU)（台湾大学）
最先进的文本转语音（TTS）系统需要几个小时的记录语音数据来生成高质量的合成语音。当使用减少量的训练数据时，标准TTS模型遭受语音质量和可懂度降级，使得训练低资源TTS系统成为问题。在本文中，我们提出了一种新的极低资源的TTS方法，称为语音过滤器，使用少至一分钟的语音从目标扬声器。它使用语音转换（VC）作为附加到一个预先存在的高质量的TTS系统的后处理模块，标志着在现有的TTS范式的概念转变，框架的Few-Shot TTS问题作为VC任务。此外，我们建议使用一个持续时间可控的TTS系统来创建一个并行的语音语料库，以促进VC任务。结果表明，语音过滤器优于国家的最先进的Few-Shot语音合成技术的客观和主观指标方面的一分钟的语音对一组不同的声音，而竞争对手的TTS模型建立在30倍以上的数据。
2022-02-16 cs.CL cs.LG eess.AS
