Speaker Separation Using Speaker Inventories and Estimated Speech
The Ohio State University（俄亥俄州立大学）；Microsoft（微软）
我们提出了扬声器分离使用扬声器库存和估计的语音（SSUSIES），一个框架，利用扬声器配置文件和估计的语音扬声器分离。SSUSIES包含两种方法，说话人分离使用说话人清单（SSUSI）和说话人分离使用估计语音（SSUES）。SSUSI在说话人清单的帮助下执行说话人分离。通过结合置换不变训练（PIT）和语音提取的优点，SSUSI显着优于传统的方法。SSUES是一种广泛应用的技术，它可以使用第一遍分离的输出来显著改善扬声器分离性能。我们评估模型的说话人分离和语音识别指标。
2020-10-20 cs.CL cs.SD eess.AS
AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios
Microsoft Research Asia（微软亚洲研究院）
自适应文本转语音（TTS）技术可以在zero-shot场景下有效地合成新的语音，它使用一个经过良好训练的源TTS模型，而不需要对新说话人的语音数据进行自适应。考虑到说话人具有多样性，zero-shot自适应语音合成对说话人特征的泛化能力要求很高，这给语音合成建模带来了挑战。在本文中，我们开发了AdaSpeech 4，一个zero-shot自适应TTS系统，用于高质量的语音合成。我们系统地对说话者特征进行建模，以提高对新说话者的概括性。一般来说，说话人特征的建模可以分为三个步骤：提取说话人特征，以该说话人特征为条件，在给定该说话人特征的情况下合成语音/梅尔谱图。相应地，我们分三步改进模型：1）为了提取具有更好泛化性的说话人表示，我们将说话人特征分解为基向量，并通过注意力对这些基向量进行加权组合来提取说话人表示。2)我们利用条件层归一化，将提取的说话人表示集成到TTS模型中。3)我们提出了一种新的监督损失的基础上的基向量的分布，以保持相应的扬声器特性在生成的梅尔频谱。在没有任何微调的情况下，AdaSpeech 4在多个数据集中实现了比基线更好的语音质量和相似性。
2022-04-01 cs.AI cs.CL cs.SD
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.（百度公司）；University of Chinese Academy of Sciences（中国科学院大学）；University of Waterloo（滑铁卢大学）；Oregon State University（俄勒冈州立大学）
语音表征学习提高了语音理解和语音合成任务的单一语言。然而，它在跨语言场景中的能力还没有被探索。在本文中，我们扩展了跨语言多说话人语音合成任务的预训练方法，包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架，在这个框架中，我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分，我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外，我们的框架对于训练和推理都是端到端的，无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中，我们的实验表明，我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Speaker Re-identification with Speaker Dependent Speech Enhancement
University of Sheffield（谢菲尔德大学）
虽然深度神经网络的使用显著提高了说话人识别性能，但在声学环境较差的情况下分离说话人仍然具有挑战性。这里，语音增强方法传统上允许改进的性能。最近的工作表明，适应语音增强可以导致进一步的增益。提出了一种将语音增强和说话人识别相结合的新方法。在第一步中，生成说话人嵌入向量，在第二步中使用该向量来增强语音质量并重新识别说话人。模型在具有联合优化的集成框架中进行训练。该方法使用Voxceleb1数据集进行评估，该数据集旨在评估现实世界中的说话人识别。此外，在这项工作中加入了三种不同信噪比的噪声。实验结果表明，在各种噪声条件下，与两个基线相比，基于说话人的语音增强方法具有更好的说话人识别和语音增强性能。
2020-08-27 cs.CL cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出端到端多任务的说话人轮次感知对话语音翻译模型，融合 ASR、ST 与轮次检测，并在适配后的 Fisher-CALLHOME 单通道多说话人语料上验证其优势。
2023-11-01 cs.CL eess.AS
X-Translator: A Real-Time Multilingual Speaker-Aware Speech-to-Speech Translation System
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学系）；Shanghai Innovation Institute（上海创新研究院）；MoE Key Lab of Artificial Intelligence（教育部人工智能重点实验室）；Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室）
研究旨在实现实时多语言语音到语音翻译，提出低成本模块化级联系统X-Translator，结合流式ASR、机器翻译和提示条件TTS，经实验评估翻译等指标，为理解面向部署的S2ST实际权衡提供开放平台。
2026-09-04 cs.AI eess.AS
Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation
National Taiwan University（台湾大学）
近年来，端到端的多说话人文本转语音（TTS）系统在大量高质量语音及其对应的传输可用的情况下获得了成功。然而，费力的配对数据收集过程阻止了许多机构构建具有良好性能的多扬声器TTS系统。在这项工作中，我们提出了一个半监督学习方法的多说话人TTS。多说话人TTS模型可以通过所提出的具有离散语音表示的编码器-解码器框架从未转录的音频中学习。实验结果表明，该模型仅用一小时的配对语音数据，无论是多个说话人还是单个说话人的配对语音，都能生成不同语音的可理解语音。我们发现该模型可以受益于所提出的半监督学习方法，即使部分未配对的语音数据是嘈杂的。此外，我们的分析表明，不同的说话人特征的配对数据的半监督TTS的有效性有影响。
2020-08-04 cs.CL cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Cross-Lingual Text-to-Speech Using Multi-Task Learning and Speaker Classifier Joint Training
Microsoft Azure Speech（微软Azure语音团队）
在跨语言语音合成中，可以为单语说话者合成各种语言的语音。通常，只有单语说话者的数据可用于模型训练，因此合成的跨语言语音与母语录音之间的说话者相似度相对较低。基于多语言Transformer文语转换模型，研究了一种多任务学习框架，以提高跨语言说话人相似度。为了进一步提高说话人相似度，提出了与说话人分类器的联合训练。本文提出了一种类似于并行调度采样的方案来有效地训练Transformer模型，避免了引入联合训练时打破并行训练机制。通过使用多任务学习和说话人分类器联合训练，在主观和客观评估中，可以一致地提高训练集中的可见和不可见说话人的跨语言说话人相似性。
2022-01-20 cs.AI cs.SD eess.AS
Generalizable Zero-Shot Speaker Adaptive Speech Synthesis with Disentangled Representations
University of New South Wales（新南威尔士大学）
针对零样本说话人自适应语音合成中未见过说话人语音自然度与相似度下降的问题，提出引入解耦表征和变分自编码器增强的GZS-TV模型，提升了泛化性且在多数据集上优于基线。
2023-08-24 cs.AI cs.SD eess.AS
ELF: Encoding Speaker-Specific Latent Speech Feature for Speech Synthesis
SK Telecom（SK电信）
本文提出ELF方法，通过离散化特征并作为条件输入语音合成模型，无需目标说话人额外训练即可详细表达其特征，在未见说话人上相似度超越多说话人与零样本方法，并能完全重建原始语音。
2024-05-31 cs.CL cs.SD eess.AS
Training Multi-Speaker Neural Text-to-Speech Systems using Speaker-Imbalanced Speech Corpora
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（简称SOKENDAI））；KDDI Research Inc.（KDDI研究株式会社）；University of Edinburgh（爱丁堡大学）
当目标说话人的可用数据不足以训练高质量的说话人相关神经文本转语音（TTS）系统时，我们可以将来自多个说话人的数据合并，训练多说话人TTS模型。许多研究表明，用少量多个说话人的数据训练的神经网络多说话人TTS模型可以产生比依赖于说话人的合成语音质量更好、稳定性更好的合成语音。然而，当来自每个说话者的数据量高度不平衡时，利用过量数据的最佳方法仍然未知。我们的实验表明，简单地结合所有可用的数据，从每个扬声器训练多扬声器模型产生更好的或至少类似的性能，其扬声器相关的副本。此外，通过使用集成多说话人模型，其中每个子系统在可用数据的子集上进行训练，我们可以进一步提高合成语音的质量，特别是对于训练数据有限的代表性不足的说话人。
2019-04-07 cs.CL cs.SD eess.AS
Guided Training: A Simple Method for Single-channel Speaker Separation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
深度学习在语音分离，特别是语音和非语音分离方面显示出巨大的潜力。然而，它遇到的置换问题的多说话人分离的目标和干扰都是语音。排列不变训练（PIT）通过排列多个说话人的顺序来解决这个问题。另一种方法是使用锚语音，目标说话人的短语音，来建模说话人身份。在本文中，我们提出了一个简单的策略来训练一个长短期记忆（LSTM）模型，以解决说话人分离中的置换问题。具体地说，我们在一个混合的开始插入一个目标说话人的短语音作为指导信息。因此，第一个出现的说话者被定义为目标。由于强大的序列建模能力，LSTM可以使用其存储单元来跟踪和分离目标语音与干扰语音。实验结果表明，该训练策略对说话人分离是有效的。
2021-03-26 cs.AI cs.SD eess.AS
Exploring Speech Foundation Models for Speaker Diarization in Child-Adult Dyadic Interactions
University of Southern California（南加州大学）；Boston University（波士顿大学）
本文评估语音基础模型在儿童-成人双人互动说话人日志中的表现，通过音频窗口、人群特征和训练数据比例等基准实验，证明其显著降低日志错误与说话人混淆。
2024-06-12 cs.CL cs.LG eess.AS
A Multi Purpose and Large Scale Speech Corpus in Persian and English for Speaker and Speech Recognition: the DeepMine Database
Brno University of Technology（布尔诺理工大学）；Sharif DeepMine Ltd.（谢里夫DeepMine有限公司）
DeepMine是波斯语和英语的语音数据库，旨在构建和评估文本相关，文本提示和文本无关的说话人验证以及波斯语语音识别系统。它包含了超过1850个演讲者和54万个录音，超过480小时的演讲被转录。它是第一个公开的波斯语大规模说话人确认数据库，最大的英语文本相关和文本提示的说话人确认数据库，以及最大的文本无关说话人确认的公共评估数据集。它有一个很好的覆盖年龄，性别和口音。我们为数据库的每个部分提供了几个评估协议，以便对说话人验证的不同方面进行研究。我们还提供了几个实验的结果，这些实验可以被视为基线：基于HMM的i向量用于文本相关的说话人验证，以及基于HMM和最先进的基于深度神经网络的ASR。我们证明，该数据库可以用于训练强大的ASR模型。
2019-12-08 cs.CL cs.SD eess.AS
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)（伍斯特理工学院（WPI））
我们提出了一种新的说话人日志化方法，可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]：像标准的说话人嵌入方法，如x向量[2]，合成嵌入模型包含一个函数f，它将语音从不同的说话人中分离出来。此外，它们包括合成函数g以计算嵌入空间中的集合并运算，以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中，所提出的方法优于传统的嵌入方法，传统的嵌入方法只训练分离单个说话人（而不是说话人集）。在AMI Headset Mix语料库上的扬声器日志化实验中，我们实现了最先进的准确率（DER=22.93%），略高于之前的最佳结果（来自[3]的23.82%）。
2021-02-10 cs.CL cs.SD eess.AS
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
Grad-StyleSpeech: Any-speaker Adaptive Text-to-Speech Synthesis with Diffusion Models
AITRICS；KAIST（韩国科学技术院）
近年来，由于神经生成模型的发展，文本转语音（TTS）合成技术取得了重大进展。然而，现有的方法在任何说话人自适应TTS取得了不令人满意的性能，由于他们在模仿目标说话人的风格的次优精度。在这项工作中，我们提出了梯度风格的语音，这是一个任何扬声器自适应TTS框架，它是基于扩散模型，可以生成高度自然的语音与目标扬声器的声音非常高的相似性，给定几秒钟的参考语音。Grad-StyleSpeech在英语基准测试中的表现明显优于最近的说话者自适应TTS基线。音频样本可在https://nardien.github.io/grad-stylespeech-demo上获得。
2023-03-14 cs.AI cs.SD eess.AS
Auxiliary Interference Speaker Loss for Target-Speaker Speech Recognition
Hitachi Ltd.（日立有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种新的辅助损失函数用于目标-说话人自动语音识别。我们的方法自动提取和转录目标扬声器的话语从单声道混合多个扬声器语音给定的目标扬声器的短样本。所提出的辅助损失函数试图在训练期间额外最大化干扰扬声器ASR准确性。这将正则化网络，以实现更好的说话人分离表示，从而实现更好的目标说话人ASR准确性。我们评估了我们提出的方法，使用两个扬声器混合语音在各种信号干扰比条件。我们首先建立了一个强大的目标说话人的ASR基线的基础上，最先进的无格最大互信息。该基线在测试集上实现了18.06%的单词出错率（WER），而使用干净数据训练的正常ASR产生了完全损坏的结果（WER为84.71%）。然后，我们提出的损失进一步降低了6.6%的WER相对于这个强大的基线，实现WER为16.87%。除了准确性的提高，我们还表明，所提出的损失的辅助输出分支，甚至可以用于二次ASR干扰扬声器的语音。
2019-06-26 cs.CL cs.SD eess.AS
Investigation of Speaker Representation for Target-Speaker Speech Processing
NTT Corporation（NTT公司）；Brno University of Technology（布尔诺理工大学）
本文在统一跨任务评估中研究了TS-ASR、TSE和p-VAD等目标说话人语音处理任务的首选说话人嵌入，发现独热向量优于基于注册语音的嵌入，且最优嵌入取决于输入混合语音。
2024-10-15 cs.CL cs.SD eess.AS
Cross-lingual Multi-speaker Text-to-speech Synthesis for Voice Cloning without Using Parallel Corpus for Unseen Speakers
我们研究了一种新的跨语言多说话人文本转语音合成方法，用于生成高质量的本地或口音的语音，为本地/外国看到/看不见的发言人在英语和普通话。该系统由三个单独训练的组件组成：x矢量扬声器编码器，基于Tacotron的合成器和WaveNet声码器。它以3种嵌入为条件：（1）说话人嵌入，以便系统可以用来自许多说话人的语音进行训练，而每个说话人的数据很少;（2）具有共享音素输入的语言嵌入;（3）重音和音调嵌入，提高了合成语音的自然度，特别是对于像普通话这样的音调语言。通过调整各种嵌入，MOS结果表明，我们的方法可以生成高质量的自然和可理解的母语语音的母语/外国看到/看不见的扬声器。口音语音的可懂度和自然度低于预期。说话人相似性对母语者的母语语音有好处。有趣的是，说话人相似性对外国人的口音也有好处。我们还发现，在许多情况下，通过L2范数归一化或白化对说话人嵌入x向量进行归一化可以大大提高输出质量，并且WaveNet的性能似乎与语言无关：我们的WaveNet是用粤语语音训练的，可以很好地用于生成普通话和英语语音。
2019-11-26 eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别（TS-ASR）的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是，当录音中的扬声器未知时，它不能使用，因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制，我们提出了一种迭代法，其中（i）说话人嵌入的估计和（ii）基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音，其中扬声器重叠率超过20%，评估所提出的方法。我们证实，所提出的方法显着降低了字出错率（WER）和日记出错率（DER）。我们提出的方法结合i-向量说话人嵌入最终实现了WER，其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外，我们的方法可以同时解决说话人日记作为一个副产品，并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
Machine Speech Chain with One-shot Speaker Adaptation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
在之前的工作中，我们开发了一个基于深度学习的闭环语音链模型，该架构使自动语音识别（ASR）和文本到语音合成（TTS）组件能够相互提高其性能。这是通过两个部分使用标记和未标记的数据相互教导来实现的。这种方法可以显着提高单说话人语音数据集内的模型性能，但在多说话人任务中只能获得轻微的提高。此外，该模型仍然无法处理看不见的扬声器。在本文中，我们提出了一个新的语音链机制，通过集成的说话人识别模型内的循环。我们还建议扩展TTS的能力，以处理看不见的扬声器，通过实施一次性扬声器自适应。这使得TTS能够仅用一次说话者样本来模仿从一个说话者到另一个说话者的语音特征，即使是来自没有任何说话者信息的文本。在语音链循环机制中，ASR还受益于从生成的语音波形进一步学习任意说话者特征的能力，从而显著提高识别率。
2018-03-28 cs.CL cs.LG cs.SD
Disentangling Speakers in Multi-Talker Speech Recognition with Speaker-Aware CTC
The Chinese University of Hong Kong（香港中文大学）
本文提出说话人感知CTC训练目标，通过约束编码器在特定时间帧表示不同说话人token，与SOT结合后显著降低多说话人语音识别词错误率。
2025-01-03 cs.AI cs.SD eess.AS
FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition
Telefónica Innovación DigitalSpain（西班牙电信创新数字研究院）；Universidad Autónoma de MadridSpain（马德里自治大学）；Brno University of TechnologyCzech Republic（捷克布拉格技术大学）
本研究提出通过特征线性调制（FiLM）将x-vector说话人信息注入冻结的ASR编码器各Transformer层，实现对病理语音的说话人自适应，在不修改基础模型权重的情况下提升识别性能，并保持对非条件化语音的问答能力。
2026-06-04 cs.CL cs.SD eess.AS
Zero-Shot Multi-Speaker Text-To-Speech with State-of-the-art Neural Speaker Embeddings
虽然使用说话人嵌入的端到端语音合成的说话人自适应可以为训练期间看到的说话人产生良好的说话人相似性，但是对于未看到的说话人的zero-shot自适应仍然存在差距。我们研究了端到端文本转语音合成的多说话人建模，并研究了不同类型的最先进的神经说话人嵌入对未见过说话人的说话人相似性的影响。具有角度softmax损失的可学习的基于字典编码的说话人嵌入可以在说话人验证任务中提高x向量上的相等错误率;当用于端到端语音合成中对新说话人的zero-shot适应时，这些嵌入还可以提高未见过说话人的说话人相似性和自然度。
2020-02-04 eess.AS
Speaker Adaption with Intuitive Prosodic Features for Statistical Parametric Speech Synthesis
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一种统计参数语音合成的说话人自适应方法与直观的韵律特征。该方法采用的直观韵律特征包括音高、音高范围、语速和能量，因为它们直接关系到不同说话人的整体韵律特征。该方法在说话人和说话人两个层次上提取韵律特征，并将其分别集成到现有的基于说话人编码和基于说话人嵌入的自适应框架中。声学模型是基于Tacotron 2的序列到序列模型。实验结果表明，本文提出的方法可以获得比没有直观韵律特征的基准方法更好的客观和主观性能。此外，本文提出的基于话语级韵律特征的说话人自适应方法在所有比较方法中获得了最好的合成语音相似度。
2022-03-02 cs.AI cs.SD eess.AS
Cross-speaker Emotion Transfer by Manipulating Speech Style Latents
Neosapience, Inc.（Neosapience公司）
近年来，情感文本到语音已经取得了相当大的进展。然而，它需要大量的标记数据，这是不容易获得的。即使可以获取情感语音数据集，在控制情感强度方面仍然存在限制。在这项工作中，我们提出了一种新的方法，跨扬声器的情感转移和操纵使用向量算法在潜在的风格空间。通过仅利用少量标记样本，我们从阅读风格的语音中生成情感语音，而不会丢失说话者身份。此外，情绪强度是容易控制的使用标量值，提供了一种直观的方式，为用户操纵语音。实验结果表明，该方法提供了优越的表现力，自然，可控性方面，保持说话人身份。
2023-03-15 cs.CL cs.SD eess.AS
3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement
DAMO Academy（达摩院）；Alibaba Group（阿里巴巴集团）
3D-Speaker构建了超1万名说话人在多设备、多距离、多方言条件下的受控语音语料库，用于研究语音表示解耦，并支持通用语音模型评估及域外学习与自监督学习方法实验。
2023-09-25 cs.CL cs.SD eess.AS
TOGGL: Transcribing Overlapping Speech with Staggered Labeling
BBN Technologies（BBN科技公司）
针对重叠语音转录需多解码器的问题，提出仅用单个解码器、通过特殊标记归属说话人的TOGGL模型，可泛化至多说话人场景，在对话数据集上性能优于同类方法，还能提升单说话人转录效果。
2024-08-12 cs.CL cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们提出了一种新的多通道语音提取系统，同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上，采用说话人嵌入来识别和提取多个目标，而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型，我们提出了一个新的扬声器调节机制，通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR！数据表明，在强多通道基线上，所提出的系统相对于源分离性能提高了9%，并且相对于相同基线，它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
Human-Computer Communications Laboratory（人机通信实验室）；The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（SpeechX有限公司）；University of Cambridge（剑桥大学）
虽然典型语音的语音转换（VC）已经取得了显著的进展，但是对于非典型语音的VC，例如，构音障碍和第二语言（L2）语音仍然是一个挑战，因为它涉及在保持说话者身份的同时纠正非典型韵律。为了解决这个问题，我们提出了一个具有显式韵律建模和深度说话人嵌入（DSE）学习的VC系统。首先，语音编码器努力从非典型语音中提取鲁棒的音素嵌入。第二，韵律校正器接收音素嵌入以推断典型的音素持续时间和音高值。第三，转换模型将音素嵌入和典型韵律特征作为输入以生成转换后的语音，条件是通过扬声器编码器或扬声器自适应学习的目标DSE。大量的实验表明，说话人自适应可以实现更高的说话人相似度，和说话人编码器为基础的转换模型，可以大大减少构音障碍和非母语发音模式，提高语音可懂度。对构音障碍语音和转换语音的语音识别结果的比较表明，该方法可以实现47.6%的字符错误率（CER）和29.3%的单词错误率（WER）的绝对降低。
2021-06-17 cs.CL cs.SD eess.AS
DART: Disentanglement of Accent and Speaker Representation in Multispeaker Text-to-Speech
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出利用多级变分自编码器与向量量化解耦说话人和口音表征，以提升多说话人语音合成的灵活性与个性化控制能力。
2024-10-17 cs.AI cs.SD eess.AS
What Do Self-Supervised Speech and Speaker Models Learn? New Findings From a Cross Model Layer-Wise Analysis
NTT Corporation（日本电信电话公司）
本文通过SUPERB探测任务和逐层跨模型对比分析，探究语音与说话人自监督模型的表征差异，发现内容表征与说话人表征能力关联弱、语音SSL部分层专于语言信息、说话人SSL重说话人表征而轻语言信息，为模型优化提供依据。
2024-01-31 cs.CL cs.SD eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University（首尔大学）
最近提出的几种文本转语音（TTS）模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而，将新说话者的语音与单个参考音频合成，通常称为zero-shot多说话者文本转语音（ZSM-TTS），仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题，我们提出了对抗性说话者一致性学习（ASCL）。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后，该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明，该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
Analysis of Speech Temporal Dynamics in the Context of Speaker Verification and Voice Anonymization
Université de Lorraine, CNRS, Inria Loria（卢瓦尔大学、法国国家科学研究中心、Inria Loria）；Université de Lille, CNRS, Inria Centrale Lille, UMR 9189 - CRIStAL Lille（里尔大学、法国国家科学研究中心、Inria Centrale Lille、UMR 9189 - CRIStAL Lille）
本文研究语音时间动态对说话人验证和匿名化的影响，提出基于音素时长的度量方法，证明音素时长泄露说话人身份，强调匿名化需修改语速和音素时长特征。
2024-12-22 cs.CL cs.SD eess.AS
ContentVec: An Improved Self-Supervised Speech Representation by Disentangling Speakers
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
语音中的自监督学习涉及在大规模未注释的语音语料库上训练语音表示网络，然后将学习到的表示应用于下游任务。由于语音中SSL学习的大多数下游任务主要集中在语音中的内容信息上，因此最理想的语音表示应该能够从内容中分离出不需要的变化，例如说话者变化。然而，解开说话者是非常具有挑战性的，因为删除说话者信息也很容易导致内容丢失，而后者的损害通常远远超过前者的好处。在本文中，我们提出了一种新的SSL方法，可以实现扬声器解纠缠没有严重损失的内容。我们的方法是改编自HuBERT框架，并结合了解开机制，以规范教师标签和学习表示。我们评估了一组内容相关的下游任务上的扬声器解纠缠的好处，并观察到我们的扬声器解纠缠表示的一致和显着的性能优势。
2022-06-23 cs.AI cs.SD eess.AS
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories（NTT人类信息学研究所）；NTT Corporation（NTT公司）
本文提出一种基于语音节奏的说话人嵌入提取方法，通过音素及其时长建模目标说话人特征，实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech
National Taiwan University（台湾大学）
个性化语音合成系统是非常期望的应用，其中系统可以利用用户的语音生成语音，而用户的语音具有罕见的登记记录。在最近的工作中，有两种主要的方法来建立这样的系统：说话人自适应和说话人编码。一方面，说话人自适应方法用很少的注册样本对训练好的多说话人文本到语音（TTS）模型进行微调。然而，它们需要至少数千个微调步骤才能实现高质量的适配，这使得它很难应用于设备。另一方面，说话人编码方法将登记话语编码到说话人嵌入中。训练好的TTS模型可以在相应的说话人嵌入的条件下合成用户的语音。然而，扬声器编码器受到可见扬声器和不可见扬声器之间的泛化间隙的影响。在本文中，我们提出了应用Meta学习算法的说话人自适应方法。更具体地说，我们使用模型不可知元学习（MAML）作为多说话者TTS模型的训练算法，其目的是找到一个很好的元初始化，以使模型快速适应任何Few-Shot说话者自适应任务。因此，我们也可以有效地将元训练的TTS模型适应于看不见的说话者。我们的实验比较所提出的方法（元TTS）与两个基线：一个扬声器自适应方法基线和扬声器编码方法基线。实验结果表明，在相同训练方案下，元文语转换系统能够以较少的训练步骤从少量的注册样本中合成出具有较高说话人相似度的语音，且性能优于说话人编码基线。当基线的扬声器编码器使用额外的8371个扬声器数据进行预训练时，Meta-TTS仍然可以在LibriTTS数据集上优于基线，并在VC…
2022-07-29 cs.CL cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
Serialized Speech Information Guidance with Overlapped Encoding Separation for Multi-Speaker Automatic Speech Recognition
Kyoto University（京都大学）
针对多说话人ASR中SOT仅用注意力损失训练难的问题，提出EncSep和GEncSep方法，借助CTC与注意力混合损失分离重叠编码并引导解码注意力，在LibriMix上验证了性能提升。
2024-09-11 cs.AI cs.SD eess.AS
Modeling Prosodic Phrasing with Multi-Task Learning in Tacotron-based TTS
Inner Mongolia University（内蒙古大学）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
基于Tacotron的端到端语音合成已经显示出卓越的语音质量。然而，合成语音中韵律的呈现仍有待改进，特别是对于长句，韵律短语错误可能会经常发生。在本文中，我们扩展了基于Tacotron的语音合成框架，明确建模的韵律短语休息。我们提出了一个多任务的学习计划Tacotron培训，优化系统预测梅尔频谱和短语休息。据我们所知，这是第一次实现多任务学习的Tacotron为基础的TTS与韵律短语模型。实验表明，我们提出的训练方案一致提高语音质量的汉语和蒙古语系统。
2020-08-11 cs.CL cs.SD eess.AS
Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation
The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（深圳声希科技有限公司）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
构音障碍语音重建（DSR），旨在改善构音障碍语音的质量，仍然是一个挑战，不仅因为我们需要恢复语音是正常的，而且还必须保持说话人的身份。为了控制说话人的身份，本文研究了由说话人识别优化的说话人编码器（SE）提取的说话人表示。然而，SE可能无法完全捕获以前看不见的构音障碍扬声器的特征。为了解决这个研究问题，我们提出了一种新的多任务学习策略，即，对抗性说话人自适应（ASA）。ASA的主要任务微调SE与目标构音障碍说话者的语音，以有效地捕获身份相关的信息，和次要任务应用对抗训练，以避免异常说话模式的重建语音的合并，通过正则化重建语音的分布接近的参考语音的高质量。实验表明，该方法可以实现增强的说话人相似度和可比的语音自然度与强大的基线方法。与构音障碍语音相比，对于中度构音障碍和中重度构音障碍的说话人，重建语音的绝对错误率分别降低了22.3%和31.5%。我们的演示页面在这里发布：https://wendison.github.io/ASA-DSR-demo/
2022-02-18 cs.CL cs.MM cs.SD
Eta-WavLM: Efficient Speaker Identity Removal in Self-Supervised Speech Representations Using a Simple Linear Equation
Università degli studi di Torino（托斯纳大学）；Cerence Inc（Cerence公司）
本文提出Eta-WavLM，通过线性分解自监督语音表示中的说话人特定与无关成分，实现高效说话人身份去除，在语音转换等任务上优于现有方法。
2025-05-25 cs.AI cs.SD eess.AS
Speaker-aware speech-transformer
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kwai（快手）
近年来，端到端（E2 E）模型成为传统的混合自动语音识别（ASR）系统的一种有竞争力的替代方案。然而，在训练和测试条件下，它们仍然受到说话人失配的影响。本文以Speech-Transformer（ST）为研究平台，对E2 E模型的说话人感知训练进行了研究。我们提出了一个模型，称为扬声器感知语音转换器（SAST），这是一个标准的ST配备了扬声器注意模块（SAM）。SAM具有由i向量组成的静态扬声器知识块（SKB）。在每个时间步，编码器输出关注块中的i向量，并生成加权的组合说话人嵌入向量，这有助于模型对说话人变化进行归一化。以这种方式训练的SAST模型变得独立于特定的训练说话者，从而更好地推广到看不见的测试说话者。我们研究了SAM的不同因素。在AISHELL-1任务上的实验结果表明，SAST在说话人无关（SI）基线上实现了相对6.5%的CER减少（CERR）。此外，我们证明了SAST仍然工作得很好，即使SKB中的i向量都来自不同的数据源，而不是声学训练集。
2020-01-02 cs.CL cs.SD eess.AS
Royalflush Speaker Diarization System for ICASSP 2022 Multi-channel Multi-party Meeting Transcription Challenge
Hithink RoyalFlush AI Research Institute（海智思皇家同花顺人工智能研究院）
本文介绍了Royalflush发言人日记系统提交给多通道多方会议转录挑战赛（M2MeT）。我们的系统包括语音增强，重叠语音检测，说话人嵌入提取，说话人聚类，语音分离和系统融合。在这个系统中，我们做出了三个贡献。首先，我们提出了一个架构相结合的多通道和U-Net为基础的模型，旨在利用这两个单独的架构的好处，远场重叠语音检测。其次，为了利用重叠语音检测模型来辅助说话人分类，提出了一种基于语音分离的重叠语音处理方法，并在此基础上进一步应用了说话人确认技术。第三，我们研究了三种说话人嵌入方法，并在CNCeleb-E测试集上获得了最佳的性能。通过这些建议，我们最好的单个系统将DER从15.25%显著降低到6.40%，并且四个系统的融合最终在远场Alimeeting评估集上实现了6.30%的DER。
2022-02-18 cs.AI cs.SD eess.AS
TS-SUPERB: A Target Speech Processing Benchmark for Speech Self-Supervised Learning Models
Brno University of Technology（布拉格技术大学）；NTT Corporation（NTT公司）
本文提出 TS-SUPERB 基准，通过四类目标说话人任务评估语音 SSL 模型，并用统一编码器验证跨任务联合优化的效果。
2025-05-10 cs.CL cs.SD eess.AS
Sentiment Analysis on Speaker Specific Speech Data
VIT University（VIT大学）
情感分析在过去的几十年里得到了发展，其中的大部分工作都围绕着文本情感分析和文本挖掘技术。但音频情感分析在研究界仍处于起步阶段。在这项研究中，我们进行情感分析的发言者区分的语音转录检测的情绪参与对话中的个人发言者。我们分析了不同的技术来执行说话人歧视和情感分析，以找到有效的算法来执行这项任务。
2018-02-17 cs.CL cs.SD eess.AS
Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation
Google Research（谷歌研究院）
使神经文本到语音（TTS）模型适应目标说话者通常涉及微调预训练的多说话者骨干模型的大多数（如果不是全部）参数。然而，服务数百个微调的神经TTS模型是昂贵的，因为它们中的每一个都需要显著的占地面积和单独的计算资源（例如，加速器、存储器）。为了将说话人自适应神经TTS语音扩展到数百个说话人，同时保持自然度和说话人相似性，本文提出了一种参数有效的Few-Shot说话人自适应，其中骨干模型用称为残余适配器的可训练轻量级模块进行增强。这种架构允许骨干模型在不同的目标扬声器之间共享。实验结果表明，与完全微调方法相比，所提方法能够获得有竞争力的自然度和说话人相似度，而对每个说话人只需要$\sim$ 0.1%的骨干模型参数。
2022-10-28 cs.CL cs.SD eess.AS
Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis
Google Inc.（谷歌公司）
我们描述了一种基于神经网络的文本到语音（TTS）合成系统，该系统能够在许多不同的扬声器的声音中生成语音音频，包括那些在训练过程中看不见的声音。我们的系统由三个独立训练的组件组成：（1）说话人编码器网络，使用来自数千个没有转录的说话人的带噪语音的独立数据集在说话人验证任务上训练，以从目标说话人的参考语音中生成固定维度的嵌入向量;（2）基于Tacotron 2的序列到序列合成网络，该网络以说话人嵌入为条件，从文本生成mel频谱图;（3）将梅尔频谱图转换成时域波形样本序列的基于自回归WaveNet的声码器。我们证明，该模型能够转移的知识的区别性训练的扬声器编码器学习到新的任务的扬声器可变性，并能够合成自然的语音从扬声器在训练过程中没有看到。为了获得最佳的泛化性能，我们量化了在一个大的和不同的扬声器集上训练扬声器编码器的重要性。最后，我们证明了随机采样的说话人嵌入可以用于合成与训练中使用的说话人不同的新说话人的声音中的语音，这表明该模型已经学习了高质量的说话人表示。
2019-01-02 cs.CL cs.LG cs.SD
