Exploring Speech Foundation Models for Speaker Diarization in Child-Adult Dyadic Interactions
University of Southern California（南加州大学）；Boston University（波士顿大学）
本文评估语音基础模型在儿童-成人双人互动说话人日志中的表现，通过音频窗口、人群特征和训练数据比例等基准实验，证明其显著降低日志错误与说话人混淆。
2024-06-12 cs.CL cs.LG eess.AS
Machine Speech Chain with One-shot Speaker Adaptation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
在之前的工作中，我们开发了一个基于深度学习的闭环语音链模型，该架构使自动语音识别（ASR）和文本到语音合成（TTS）组件能够相互提高其性能。这是通过两个部分使用标记和未标记的数据相互教导来实现的。这种方法可以显着提高单说话人语音数据集内的模型性能，但在多说话人任务中只能获得轻微的提高。此外，该模型仍然无法处理看不见的扬声器。在本文中，我们提出了一个新的语音链机制，通过集成的说话人识别模型内的循环。我们还建议扩展TTS的能力，以处理看不见的扬声器，通过实施一次性扬声器自适应。这使得TTS能够仅用一次说话者样本来模仿从一个说话者到另一个说话者的语音特征，即使是来自没有任何说话者信息的文本。在语音链循环机制中，ASR还受益于从生成的语音波形进一步学习任意说话者特征的能力，从而显著提高识别率。
2018-03-28 cs.CL cs.LG cs.SD
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories（NTT人类信息学研究所）；NTT Corporation（NTT公司）
本文提出一种基于语音节奏的说话人嵌入提取方法，通过音素及其时长建模目标说话人特征，实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.（百度公司）；University of Chinese Academy of Sciences（中国科学院大学）；University of Waterloo（滑铁卢大学）；Oregon State University（俄勒冈州立大学）
语音表征学习提高了语音理解和语音合成任务的单一语言。然而，它在跨语言场景中的能力还没有被探索。在本文中，我们扩展了跨语言多说话人语音合成任务的预训练方法，包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架，在这个框架中，我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分，我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外，我们的框架对于训练和推理都是端到端的，无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中，我们的实验表明，我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis
Google Inc.（谷歌公司）
我们描述了一种基于神经网络的文本到语音（TTS）合成系统，该系统能够在许多不同的扬声器的声音中生成语音音频，包括那些在训练过程中看不见的声音。我们的系统由三个独立训练的组件组成：（1）说话人编码器网络，使用来自数千个没有转录的说话人的带噪语音的独立数据集在说话人验证任务上训练，以从目标说话人的参考语音中生成固定维度的嵌入向量;（2）基于Tacotron 2的序列到序列合成网络，该网络以说话人嵌入为条件，从文本生成mel频谱图;（3）将梅尔频谱图转换成时域波形样本序列的基于自回归WaveNet的声码器。我们证明，该模型能够转移的知识的区别性训练的扬声器编码器学习到新的任务的扬声器可变性，并能够合成自然的语音从扬声器在训练过程中没有看到。为了获得最佳的泛化性能，我们量化了在一个大的和不同的扬声器集上训练扬声器编码器的重要性。最后，我们证明了随机采样的说话人嵌入可以用于合成与训练中使用的说话人不同的新说话人的声音中的语音，这表明该模型已经学习了高质量的说话人表示。
2019-01-02 cs.CL cs.LG cs.SD
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Speaker Re-identification with Speaker Dependent Speech Enhancement
University of Sheffield（谢菲尔德大学）
虽然深度神经网络的使用显著提高了说话人识别性能，但在声学环境较差的情况下分离说话人仍然具有挑战性。这里，语音增强方法传统上允许改进的性能。最近的工作表明，适应语音增强可以导致进一步的增益。提出了一种将语音增强和说话人识别相结合的新方法。在第一步中，生成说话人嵌入向量，在第二步中使用该向量来增强语音质量并重新识别说话人。模型在具有联合优化的集成框架中进行训练。该方法使用Voxceleb1数据集进行评估，该数据集旨在评估现实世界中的说话人识别。此外，在这项工作中加入了三种不同信噪比的噪声。实验结果表明，在各种噪声条件下，与两个基线相比，基于说话人的语音增强方法具有更好的说话人识别和语音增强性能。
2020-08-27 cs.CL cs.SD eess.AS
Noise Robust TTS for Low Resource Speakers using Pre-trained Model and Speech Enhancement
ByteDance（字节跳动）
随着深度神经网络的普及，基于端到端编码器-解码器框架的语音合成任务在最近几天取得了显著的改进。越来越多的应用依赖于语音合成技术已经广泛地应用于我们的日常生活中。鲁棒的语音合成模型依赖于高质量的定制数据，而这些数据需要大量的采集工作。如何利用互联网上容易获取的低质量、低资源的语音数据进行个性化语音合成是一个值得研究的问题。本文提出的端到端语音合成模型将说话人嵌入和噪声表示作为条件输入，分别对说话人和噪声信息进行建模。该方法首先利用多说话人纯净语音数据和含噪增强语音数据对语音合成模型进行预训练，然后利用含噪低资源新说话人数据对预训练好的模型进行自适应训练，最后通过设置纯净语音条件，合成新说话人的纯净语音。实验结果表明，与直接用去噪后的新说话人数据对预训练好的多说话人语音合成模型进行微调的方法相比，该方法生成的语音具有更好的主观评价效果。
2020-10-22 cs.CL cs.LG cs.SD
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；University of Edinburgh（爱丁堡大学）
通过将说话人特征表示为单独从语音中提取的单个固定长度的向量，我们可以通过对这些向量进行调节来训练神经多说话人语音合成模型。该模型也可以适应于看不见的扬声器，无论适应数据的转录是否可用。然而，这种设置将扬声器分量限制为仅单个偏置向量，这又限制了自适应过程的性能。在这项研究中，我们提出了一种新的语音合成模型，它可以适应于看不见的扬声器微调部分或全部的网络使用转录或未转录的语音。我们的方法基本上包括两个步骤：第一，我们分裂成一个独立于说话者（SI）的语言编码器和一个说话者自适应（SA）的声学解码器的传统声学模型;第二，我们训练一个辅助声学编码器，可以用作语言编码器的替代品时，语言功能是无法获得的。客观和主观评价的结果表明，适应使用转录或未转录的语音与我们的方法实现了一个合理的水平的性能与极其有限的数据量，并大大提高了性能与更多的数据。令人惊讶的是，适应与未转录的语音超过了转录对应的主观测试，这揭示了传统的声学模型的局限性，并提示潜在的改进方向。
2019-10-08 cs.CL cs.LG cs.SD
Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
随着神经文本转语音（TTS）模型的快速发展，个性化语音生成现在在许多应用中具有很高的需求。为了实用性，TTS模型应该仅用来自给定说话者的几个音频样本生成高质量的语音，这些音频样本的长度也很短。然而，现有的方法要么需要微调的模型或实现低适应质量没有微调。在这项工作中，我们提出了StyleSpeech，一个新的TTS模型，不仅合成高质量的语音，但也有效地适应新的扬声器。具体来说，我们提出了风格自适应层归一化（SALN），它根据从参考语音音频中提取的风格来调整文本输入的增益和偏差。与SALN，我们的模型有效地合成语音的风格的目标扬声器，甚至从单一的语音音频。此外，为了增强StyleSpeech对新演讲者语音的适应性，我们通过引入两个用风格原型训练的判别器并进行情景训练来将其扩展到元StyleSpeech。实验结果表明，我们的模型生成高质量的语音，准确地遵循说话人的声音与单一的短持续时间（1-3秒）的语音音频，显着优于基线。
2021-06-16 cs.CL cs.LG cs.SD
Multi-Speaker End-to-End Speech Synthesis
University of California, Irvine（加州大学欧文分校）；Baidu Research（百度研究院）
在这项工作中，我们扩展了ClariNet（Ping等人，2019），完全端到端的语音合成模型（即，文本到波形），以从多个说话者生成高保真语音。为了模拟不同声音的独特特征，低维可训练的说话人嵌入在ClariNet的每个组件中共享，并与模型的其余部分一起训练。我们证明了多扬声器ClariNet在自然度方面优于最先进的系统，因为整个模型以端到端的方式进行了联合优化。
2019-07-09 cs.CL cs.LG cs.SD
Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation
National Taiwan University（台湾大学）
近年来，端到端的多说话人文本转语音（TTS）系统在大量高质量语音及其对应的传输可用的情况下获得了成功。然而，费力的配对数据收集过程阻止了许多机构构建具有良好性能的多扬声器TTS系统。在这项工作中，我们提出了一个半监督学习方法的多说话人TTS。多说话人TTS模型可以通过所提出的具有离散语音表示的编码器-解码器框架从未转录的音频中学习。实验结果表明，该模型仅用一小时的配对语音数据，无论是多个说话人还是单个说话人的配对语音，都能生成不同语音的可理解语音。我们发现该模型可以受益于所提出的半监督学习方法，即使部分未配对的语音数据是嘈杂的。此外，我们的分析表明，不同的说话人特征的配对数据的半监督TTS的有效性有影响。
2020-08-04 cs.CL cs.SD eess.AS
Speaker-independent classification of phonetic segments from raw ultrasound in child speech
University of Edinburgh（爱丁堡大学）
超声舌成像（UTI）提供了一种方便的方法来可视化语音产生过程中的声道。UTI越来越多地用于语言治疗，因此开发自动方法来协助目前由语言治疗师执行的各种耗时的手动任务变得非常重要。一个关键的挑战是将超声舌图像的自动处理推广到以前看不见的扬声器。在这项工作中，我们研究了语音段（舌头形状）的分类，从原始超声记录在几个训练方案：扬声器依赖，多扬声器，扬声器独立，扬声器适应。我们观察到，当应用于训练时没有看到的说话者的数据时，模型表现不佳。然而，当提供最小的附加扬声器信息时，例如平均超声帧，模型更好地推广到看不见的扬声器。
2019-07-01 cs.CL cs.CV cs.LG
Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation
The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（深圳声希科技有限公司）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
构音障碍语音重建（DSR），旨在改善构音障碍语音的质量，仍然是一个挑战，不仅因为我们需要恢复语音是正常的，而且还必须保持说话人的身份。为了控制说话人的身份，本文研究了由说话人识别优化的说话人编码器（SE）提取的说话人表示。然而，SE可能无法完全捕获以前看不见的构音障碍扬声器的特征。为了解决这个研究问题，我们提出了一种新的多任务学习策略，即，对抗性说话人自适应（ASA）。ASA的主要任务微调SE与目标构音障碍说话者的语音，以有效地捕获身份相关的信息，和次要任务应用对抗训练，以避免异常说话模式的重建语音的合并，通过正则化重建语音的分布接近的参考语音的高质量。实验表明，该方法可以实现增强的说话人相似度和可比的语音自然度与强大的基线方法。与构音障碍语音相比，对于中度构音障碍和中重度构音障碍的说话人，重建语音的绝对错误率分别降低了22.3%和31.5%。我们的演示页面在这里发布：https://wendison.github.io/ASA-DSR-demo/
2022-02-18 cs.CL cs.MM cs.SD
Continual Speaker Adaptation for Text-to-Speech Synthesis
University of St.Gallen（圣加仑大学）
从头开始训练多说话者文本到语音（TTS）模型在计算上是昂贵的，并且向数据集添加新的说话者需要重新训练模型。对于新的扬声器，对模型进行顺序微调的天真解决方案可能导致旧扬声器的性能不佳。这种现象被称为灾难性遗忘。在本文中，我们从持续学习的角度来看待TTS建模，其目标是在不忘记先前发言者的情况下添加新的发言者。因此，我们首先提出了一个实验设置，并表明，串行微调新的扬声器可能会导致忘记较早的扬声器。然后，我们利用两个著名的技术持续学习，即经验重放和权重正则化。我们揭示了如何可以减轻退化的影响，在语音合成多样性的顺序训练的新的扬声器使用这些方法。最后，我们提出了一个简单的扩展来体验重播，以改善我们可以访问非常小的缓冲区的极端设置中的结果。
2022-03-31 cs.CL cs.LG cs.SD
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion（Zaion公司）；Zaion Lab（Zaion实验室）
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别（ASR）中取得了革命性的进展。然而，它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中，我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调，用于三个非ASR语音任务：语音情感识别，说话人验证和口语语言理解。在简单的下游框架下，IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%，在说话者无关设置上的加权准确率达到73.01%，VoxCeleb 1上的说话者验证的平均出错率达到2.36%，SLURP上的意图分类的准确率达到89.38%，时隙填充的F1达到78.92%，显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield（谢菲尔德大学）
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时，语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别，而是通过使用深度神经网络的联合优化集成到一个框架中。此外，为了提高对噪声的鲁棒性，采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能，我们测试它的数据集VoxCeleb1，最常用的基准数据集之一。此外，我们所提出的方法的鲁棒性也测试VoxCeleb1数据时，被破坏的三种类型的干扰，一般的噪声，音乐，和串音，在不同的信噪比（SNR）水平。所得到的结果表明，在我们的实验中，使用语音增强和多阶段注意力模型的方法优于两个强基线，在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
ELF: Encoding Speaker-Specific Latent Speech Feature for Speech Synthesis
SK Telecom（SK电信）
本文提出ELF方法，通过离散化特征并作为条件输入语音合成模型，无需目标说话人额外训练即可详细表达其特征，在未见说话人上相似度超越多说话人与零样本方法，并能完全重建原始语音。
2024-05-31 cs.CL cs.SD eess.AS
Comparison of Speech Representations for Automatic Quality Estimation in Multi-Speaker Text-to-Speech Synthesis
University of Edinburgh（爱丁堡大学）
我们的目标是表征不同的扬声器有助于感知输出质量的多扬声器文本到语音（TTS）合成。我们使用一个神经网络（NN）训练人类平均意见评分（MOS）评级的TTS的质量自动率。首先，我们在ASVSpoof 2019逻辑访问（LA）数据集的13个不同的TTS和语音转换（VC）系统上训练和评估我们的NN模型。由于目前还不知道如何最好地表示语音的这项任务，我们比较了8种不同的表示方式，以及MOSNet基于帧的功能。我们的表示包括基于图像的频谱图特征和x向量嵌入，这些特征明确地对不同类型的噪声（如T60混响时间）进行建模。我们的NN预测MOS与人类判断高度相关。我们报告预测相关性和误差。一个关键的发现是，无论TTS或VC系统如何，某些扬声器所达到的质量似乎是一致的。人们普遍认为，一些扬声器提供更高的质量比其他人建立一个TTS系统：我们的方法提供了一个自动的方式来识别这样的扬声器。最后，为了看看我们的质量预测模型是否具有普遍性，我们使用一个单独的多扬声器TTS系统来预测合成语音的质量分数，该系统是在LibriTTS数据上训练的，并进行我们自己的MOS听力测试来比较人类的评级与我们的NN预测。
2020-04-27 cs.CL cs.LG cs.SD
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad（海得拉巴国际信息技术学院科利智能系统中心）；TCS Research（塔塔咨询服务公司研究部）
本文提出MParrotTTS模型，利用自监督语音表示的模块化训练范式，在低资源下实现高质量多语言多说话人TTS及跨语言声音转换，仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
A Multi Purpose and Large Scale Speech Corpus in Persian and English for Speaker and Speech Recognition: the DeepMine Database
Brno University of Technology（布尔诺理工大学）；Sharif DeepMine Ltd.（谢里夫DeepMine有限公司）
DeepMine是波斯语和英语的语音数据库，旨在构建和评估文本相关，文本提示和文本无关的说话人验证以及波斯语语音识别系统。它包含了超过1850个演讲者和54万个录音，超过480小时的演讲被转录。它是第一个公开的波斯语大规模说话人确认数据库，最大的英语文本相关和文本提示的说话人确认数据库，以及最大的文本无关说话人确认的公共评估数据集。它有一个很好的覆盖年龄，性别和口音。我们为数据库的每个部分提供了几个评估协议，以便对说话人验证的不同方面进行研究。我们还提供了几个实验的结果，这些实验可以被视为基线：基于HMM的i向量用于文本相关的说话人验证，以及基于HMM和最先进的基于深度神经网络的ASR。我们证明，该数据库可以用于训练强大的ASR模型。
2019-12-08 cs.CL cs.SD eess.AS
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)（伍斯特理工学院（WPI））
我们提出了一种新的说话人日志化方法，可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]：像标准的说话人嵌入方法，如x向量[2]，合成嵌入模型包含一个函数f，它将语音从不同的说话人中分离出来。此外，它们包括合成函数g以计算嵌入空间中的集合并运算，以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中，所提出的方法优于传统的嵌入方法，传统的嵌入方法只训练分离单个说话人（而不是说话人集）。在AMI Headset Mix语料库上的扬声器日志化实验中，我们实现了最先进的准确率（DER=22.93%），略高于之前的最佳结果（来自[3]的23.82%）。
2021-02-10 cs.CL cs.SD eess.AS
CSS10: A Collection of Single Speaker Speech Datasets for 10 Languages
Kakao Brain；Expedia Group（亿客行集团）
我们描述了我们的开发CSS10，一个集合的10种语言的单扬声器语音数据集。它由来自LibriVox有声读物的短音频片段及其对齐文本组成。为了验证其质量，我们在每个数据集上训练两个神经文本到语音模型。随后，我们对合成的语音样本进行平均意见得分测试。我们将我们的数据集、预训练模型和测试资源公开提供。我们希望他们将用于未来的演讲任务。
2019-08-05 cs.CL
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
Auxiliary Interference Speaker Loss for Target-Speaker Speech Recognition
Hitachi Ltd.（日立有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种新的辅助损失函数用于目标-说话人自动语音识别。我们的方法自动提取和转录目标扬声器的话语从单声道混合多个扬声器语音给定的目标扬声器的短样本。所提出的辅助损失函数试图在训练期间额外最大化干扰扬声器ASR准确性。这将正则化网络，以实现更好的说话人分离表示，从而实现更好的目标说话人ASR准确性。我们评估了我们提出的方法，使用两个扬声器混合语音在各种信号干扰比条件。我们首先建立了一个强大的目标说话人的ASR基线的基础上，最先进的无格最大互信息。该基线在测试集上实现了18.06%的单词出错率（WER），而使用干净数据训练的正常ASR产生了完全损坏的结果（WER为84.71%）。然后，我们提出的损失进一步降低了6.6%的WER相对于这个强大的基线，实现WER为16.87%。除了准确性的提高，我们还表明，所提出的损失的辅助输出分支，甚至可以用于二次ASR干扰扬声器的语音。
2019-06-26 cs.CL cs.SD eess.AS
Streaming Speaker Change Detection and Gender Classification for Transducer-Based Multi-Talker Speech Translation
Microsoft（微软公司）
本文提出将说话人嵌入整合到基于 Transducer 的流式端到端语音翻译模型中，以同时实现多说话人场景下的流式说话人变更检测与性别分类，实验验证了该方法的高准确率。
2025-02-04 cs.AI cs.CL cs.SD
Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement
University of Sheffield（谢菲尔德大学）；South Westphalia University of Applied Sciences（南威斯特法伦应用科学大学）
针对真实对话中多说话人提取面临的沉默过多和注册语音不匹配挑战，提出新损失函数提升STOI和分段SNR，并分析不匹配影响。
2026-09-23 cs.CL cs.SD
Investigation of Speaker Representation for Target-Speaker Speech Processing
NTT Corporation（NTT公司）；Brno University of Technology（布尔诺理工大学）
本文在统一跨任务评估中研究了TS-ASR、TSE和p-VAD等目标说话人语音处理任务的首选说话人嵌入，发现独热向量优于基于注册语音的嵌入，且最优嵌入取决于输入混合语音。
2024-10-15 cs.CL cs.SD eess.AS
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别（TS-ASR）的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是，当录音中的扬声器未知时，它不能使用，因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制，我们提出了一种迭代法，其中（i）说话人嵌入的估计和（ii）基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音，其中扬声器重叠率超过20%，评估所提出的方法。我们证实，所提出的方法显着降低了字出错率（WER）和日记出错率（DER）。我们提出的方法结合i-向量说话人嵌入最终实现了WER，其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外，我们的方法可以同时解决说话人日记作为一个副产品，并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition
Telefónica Innovación DigitalSpain（西班牙电信创新数字研究院）；Universidad Autónoma de MadridSpain（马德里自治大学）；Brno University of TechnologyCzech Republic（捷克布拉格技术大学）
本研究提出通过特征线性调制（FiLM）将x-vector说话人信息注入冻结的ASR编码器各Transformer层，实现对病理语音的说话人自适应，在不修改基础模型权重的情况下提升识别性能，并保持对非条件化语音的问答能力。
2026-06-04 cs.CL cs.SD eess.AS
Style-Label-Free: Cross-Speaker Style Transfer by Quantized VAE and Speaker-wise Normalization in Speech Synthesis
Kwai（快手）
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。以前的大多数方法都依赖于带有样式标签的数据，但是手动注释的标签成本很高，而且并不总是可靠的。针对这一问题，本文提出了一种跨说话人风格转换方法Style-Label-Free，该方法可以实现从源说话人到目标说话人的风格转换，而无需使用风格标签。首先，设计了一种基于量化变分自编码器（Q-VAE）和风格瓶颈的参考编码器结构来提取离散风格表示。其次，提出了一个逐说话人批量归一化层，以减少源说话人泄漏。为了提高参考编码器的风格提取能力，提出了一种风格不变和对比度增强的数据增强方法。实验结果表明，该方法优于基线。我们提供了一个网站与音频样本。
2022-12-13 cs.AI cs.CL cs.SD
Cross-speaker Emotion Transfer by Manipulating Speech Style Latents
Neosapience, Inc.（Neosapience公司）
近年来，情感文本到语音已经取得了相当大的进展。然而，它需要大量的标记数据，这是不容易获得的。即使可以获取情感语音数据集，在控制情感强度方面仍然存在限制。在这项工作中，我们提出了一种新的方法，跨扬声器的情感转移和操纵使用向量算法在潜在的风格空间。通过仅利用少量标记样本，我们从阅读风格的语音中生成情感语音，而不会丢失说话者身份。此外，情绪强度是容易控制的使用标量值，提供了一种直观的方式，为用户操纵语音。实验结果表明，该方法提供了优越的表现力，自然，可控性方面，保持说话人身份。
2023-03-15 cs.CL cs.SD eess.AS
3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement
DAMO Academy（达摩院）；Alibaba Group（阿里巴巴集团）
3D-Speaker构建了超1万名说话人在多设备、多距离、多方言条件下的受控语音语料库，用于研究语音表示解耦，并支持通用语音模型评估及域外学习与自监督学习方法实验。
2023-09-25 cs.CL cs.SD eess.AS
TOGGL: Transcribing Overlapping Speech with Staggered Labeling
BBN Technologies（BBN科技公司）
针对重叠语音转录需多解码器的问题，提出仅用单个解码器、通过特殊标记归属说话人的TOGGL模型，可泛化至多说话人场景，在对话数据集上性能优于同类方法，还能提升单说话人转录效果。
2024-08-12 cs.CL cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们提出了一种新的多通道语音提取系统，同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上，采用说话人嵌入来识别和提取多个目标，而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型，我们提出了一个新的扬声器调节机制，通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR！数据表明，在强多通道基线上，所提出的系统相对于源分离性能提高了9%，并且相对于相同基线，它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出端到端多任务的说话人轮次感知对话语音翻译模型，融合 ASR、ST 与轮次检测，并在适配后的 Fisher-CALLHOME 单通道多说话人语料上验证其优势。
2023-11-01 cs.CL eess.AS
Speaker-Targeted Audio-Visual Models for Speech Recognition in Cocktail-Party Environments
Carnegie Mellon University（卡内基梅隆大学）
鸡尾酒会环境中的语音识别对于现有技术的语音识别系统来说仍然是一个重大的挑战，因为从具有相似频率和时间特性的重叠语音的背景中提取单个说话者的声学信号是极其困难的。我们建议使用扬声器为目标的声学和视听模型为这项任务。我们补充的声学特征的混合DNN-HMM模型与信息的目标扬声器的身份，以及从目标扬声器的嘴部区域的视觉特征。实验进行了使用模拟鸡尾酒会数据产生的GRID视听语料库重叠两个扬声器的语音在一个单一的声学通道。我们的纯音频基线达到了26.3%的WER。视听模型将WER提高到4.4%。引入说话人身份信息的效果更明显，将WER提高到3.6%。然而，结合这两种方法并没有进一步显着提高性能。我们的工作表明，以说话人为目标的模型可以显着提高鸡尾酒会环境中的语音识别。
2019-06-13 cs.CL cs.CV cs.SD
Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
Human-Computer Communications Laboratory（人机通信实验室）；The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（SpeechX有限公司）；University of Cambridge（剑桥大学）
虽然典型语音的语音转换（VC）已经取得了显著的进展，但是对于非典型语音的VC，例如，构音障碍和第二语言（L2）语音仍然是一个挑战，因为它涉及在保持说话者身份的同时纠正非典型韵律。为了解决这个问题，我们提出了一个具有显式韵律建模和深度说话人嵌入（DSE）学习的VC系统。首先，语音编码器努力从非典型语音中提取鲁棒的音素嵌入。第二，韵律校正器接收音素嵌入以推断典型的音素持续时间和音高值。第三，转换模型将音素嵌入和典型韵律特征作为输入以生成转换后的语音，条件是通过扬声器编码器或扬声器自适应学习的目标DSE。大量的实验表明，说话人自适应可以实现更高的说话人相似度，和说话人编码器为基础的转换模型，可以大大减少构音障碍和非母语发音模式，提高语音可懂度。对构音障碍语音和转换语音的语音识别结果的比较表明，该方法可以实现47.6%的字符错误率（CER）和29.3%的单词错误率（WER）的绝对降低。
2021-06-17 cs.CL cs.SD eess.AS
What Do Self-Supervised Speech and Speaker Models Learn? New Findings From a Cross Model Layer-Wise Analysis
NTT Corporation（日本电信电话公司）
本文通过SUPERB探测任务和逐层跨模型对比分析，探究语音与说话人自监督模型的表征差异，发现内容表征与说话人表征能力关联弱、语音SSL部分层专于语言信息、说话人SSL重说话人表征而轻语言信息，为模型优化提供依据。
2024-01-31 cs.CL cs.SD eess.AS
Incorporation of Speech Duration Information in Score Fusion of Speaker Recognition Systems
Özyeğin University（奥兹耶金大学）；TUBITAK BILGEM（土耳其科学技术研究理事会信息与通信技术研究所）
近年来，基于身份向量（i-vector）的说话人确认（SV）系统已经变得非常成功。然而，环境噪声和语音持续时间的变化仍然有显着的影响，降低这些系统的性能。在许多现实生活中的应用中，录音的持续时间非常短;因此，提取的i向量不能可靠地表示说话者的属性。在这里，我们研究了语音持续时间对三种最先进的说话人识别系统性能的影响。此外，使用各种可用的分数融合方法，我们调查分数融合的效果，这些说话人确认技术受益于不同的方法在不同的注册和测试语音持续时间条件下的性能差异。该技术的表现明显优于基线评分融合方法。
2016-08-07 cs.CL cs.SD
Analysis of Speech Temporal Dynamics in the Context of Speaker Verification and Voice Anonymization
Université de Lorraine, CNRS, Inria Loria（卢瓦尔大学、法国国家科学研究中心、Inria Loria）；Université de Lille, CNRS, Inria Centrale Lille, UMR 9189 - CRIStAL Lille（里尔大学、法国国家科学研究中心、Inria Centrale Lille、UMR 9189 - CRIStAL Lille）
本文研究语音时间动态对说话人验证和匿名化的影响，提出基于音素时长的度量方法，证明音素时长泄露说话人身份，强调匿名化需修改语速和音素时长特征。
2024-12-22 cs.CL cs.SD eess.AS
Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech
National Taiwan University（台湾大学）
个性化语音合成系统是非常期望的应用，其中系统可以利用用户的语音生成语音，而用户的语音具有罕见的登记记录。在最近的工作中，有两种主要的方法来建立这样的系统：说话人自适应和说话人编码。一方面，说话人自适应方法用很少的注册样本对训练好的多说话人文本到语音（TTS）模型进行微调。然而，它们需要至少数千个微调步骤才能实现高质量的适配，这使得它很难应用于设备。另一方面，说话人编码方法将登记话语编码到说话人嵌入中。训练好的TTS模型可以在相应的说话人嵌入的条件下合成用户的语音。然而，扬声器编码器受到可见扬声器和不可见扬声器之间的泛化间隙的影响。在本文中，我们提出了应用Meta学习算法的说话人自适应方法。更具体地说，我们使用模型不可知元学习（MAML）作为多说话者TTS模型的训练算法，其目的是找到一个很好的元初始化，以使模型快速适应任何Few-Shot说话者自适应任务。因此，我们也可以有效地将元训练的TTS模型适应于看不见的说话者。我们的实验比较所提出的方法（元TTS）与两个基线：一个扬声器自适应方法基线和扬声器编码方法基线。实验结果表明，在相同训练方案下，元文语转换系统能够以较少的训练步骤从少量的注册样本中合成出具有较高说话人相似度的语音，且性能优于说话人编码基线。当基线的扬声器编码器使用额外的8371个扬声器数据进行预训练时，Meta-TTS仍然可以在LibriTTS数据集上优于基线，并在VC…
2022-07-29 cs.CL cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
Speaker-aware speech-transformer
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kwai（快手）
近年来，端到端（E2 E）模型成为传统的混合自动语音识别（ASR）系统的一种有竞争力的替代方案。然而，在训练和测试条件下，它们仍然受到说话人失配的影响。本文以Speech-Transformer（ST）为研究平台，对E2 E模型的说话人感知训练进行了研究。我们提出了一个模型，称为扬声器感知语音转换器（SAST），这是一个标准的ST配备了扬声器注意模块（SAM）。SAM具有由i向量组成的静态扬声器知识块（SKB）。在每个时间步，编码器输出关注块中的i向量，并生成加权的组合说话人嵌入向量，这有助于模型对说话人变化进行归一化。以这种方式训练的SAST模型变得独立于特定的训练说话者，从而更好地推广到看不见的测试说话者。我们研究了SAM的不同因素。在AISHELL-1任务上的实验结果表明，SAST在说话人无关（SI）基线上实现了相对6.5%的CER减少（CERR）。此外，我们证明了SAST仍然工作得很好，即使SKB中的i向量都来自不同的数据源，而不是声学训练集。
2020-01-02 cs.CL cs.SD eess.AS
DELULU: Discriminative Embedding Learning Using Latent Units for Speaker-Aware Self-Trained Speech Foundational Model
Carnegie Mellon University（卡内基梅隆大学）
DELULU通过在伪标签生成中引入说话人信息结构，提升语音模型对说话人特征的判别能力，在说话人验证、声纹识别等任务中取得显著提升。
2026-03-25 cs.CL cs.SD
TS-SUPERB: A Target Speech Processing Benchmark for Speech Self-Supervised Learning Models
Brno University of Technology（布拉格技术大学）；NTT Corporation（NTT公司）
本文提出 TS-SUPERB 基准，通过四类目标说话人任务评估语音 SSL 模型，并用统一编码器验证跨任务联合优化的效果。
2025-05-10 cs.CL cs.SD eess.AS
Sentiment Analysis on Speaker Specific Speech Data
VIT University（VIT大学）
情感分析在过去的几十年里得到了发展，其中的大部分工作都围绕着文本情感分析和文本挖掘技术。但音频情感分析在研究界仍处于起步阶段。在这项研究中，我们进行情感分析的发言者区分的语音转录检测的情绪参与对话中的个人发言者。我们分析了不同的技术来执行说话人歧视和情感分析，以找到有效的算法来执行这项任务。
2018-02-17 cs.CL cs.SD eess.AS
Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation
Google Research（谷歌研究院）
使神经文本到语音（TTS）模型适应目标说话者通常涉及微调预训练的多说话者骨干模型的大多数（如果不是全部）参数。然而，服务数百个微调的神经TTS模型是昂贵的，因为它们中的每一个都需要显著的占地面积和单独的计算资源（例如，加速器、存储器）。为了将说话人自适应神经TTS语音扩展到数百个说话人，同时保持自然度和说话人相似性，本文提出了一种参数有效的Few-Shot说话人自适应，其中骨干模型用称为残余适配器的可训练轻量级模块进行增强。这种架构允许骨干模型在不同的目标扬声器之间共享。实验结果表明，与完全微调方法相比，所提方法能够获得有竞争力的自然度和说话人相似度，而对每个说话人只需要$\sim$ 0.1%的骨干模型参数。
2022-10-28 cs.CL cs.SD eess.AS
AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios
Microsoft Research Asia（微软亚洲研究院）
自适应文本转语音（TTS）技术可以在zero-shot场景下有效地合成新的语音，它使用一个经过良好训练的源TTS模型，而不需要对新说话人的语音数据进行自适应。考虑到说话人具有多样性，zero-shot自适应语音合成对说话人特征的泛化能力要求很高，这给语音合成建模带来了挑战。在本文中，我们开发了AdaSpeech 4，一个zero-shot自适应TTS系统，用于高质量的语音合成。我们系统地对说话者特征进行建模，以提高对新说话者的概括性。一般来说，说话人特征的建模可以分为三个步骤：提取说话人特征，以该说话人特征为条件，在给定该说话人特征的情况下合成语音/梅尔谱图。相应地，我们分三步改进模型：1）为了提取具有更好泛化性的说话人表示，我们将说话人特征分解为基向量，并通过注意力对这些基向量进行加权组合来提取说话人表示。2)我们利用条件层归一化，将提取的说话人表示集成到TTS模型中。3)我们提出了一种新的监督损失的基础上的基向量的分布，以保持相应的扬声器特性在生成的梅尔频谱。在没有任何微调的情况下，AdaSpeech 4在多个数据集中实现了比基线更好的语音质量和相似性。
2022-04-01 cs.AI cs.CL cs.SD
Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations
National Institute of Technology, Trichy（印度Trichy国家理工学院）；Indian Institute of Technology, Madras（印度Madras理工学院）
分析基于BigVGAN的单元声码器在多语言多说话人语音生成中的表现，发现聚类大小控制可懂度，显式说话人条件防止身份崩溃，语言监督在低聚类大小时有益。
2026-06-04 cs.AI cs.CL cs.SD
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）；Kriston AI Lab（Kriston AI实验室）
说话人提取的目的是模仿人类的选择性听觉注意，从多说话人环境中提取目标说话人的声音。通常在频域中进行提取，并从提取的幅度谱和估计的相位谱重建时域信号。然而，这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发，我们提出了一种时域说话人提取网络（SpEx），它将混合语音转换为多尺度嵌入系数，而不是将语音信号分解为幅度和相位谱。通过这种方式，我们避免了相位估计。SpEx网络由四个网络组件组成，即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说，语音编码器将混合语音转换成多尺度嵌入系数，说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入，并估计接收掩码。最后，语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明，在开放评价条件下，该算法在信失真比（SDR）、尺度不变SDR（SI-SDR）和语音质量感知评价（PESQ）方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
