A Novel Speech Feature Fusion Algorithm for Text-Independent Speaker Recognition
针对文本无关说话人识别，提出了一种基于独立向量分析（IVA）和并行卷积神经网络（PCNN）的语音特征融合算法。首先，可以从说话人的语音中提取一些不同的特征类型，例如时域（TD）特征和频域（FD）特征，并且TD和FD特征可以被认为是独立特征分量（IFC）与未知混合系统的线性混合。为了估计IFC，说话人语音的TD和FD特征被级联以分别构建TD和FD特征矩阵。然后，通过将TD和FD特征矩阵并行化，得到说话人语音的特征张量。为了增强对不同特征类型的依赖性并去除相同特征类型的冗余，可以使用独立向量分析（IVA）来估计具有特征张量的TD和FD特征的IFC矩阵。IFC矩阵被用作PCNN的输入，以分别提取TD和FD特征的深度特征。深度特征可以被整合以获得说话人语音的融合特征。最后，说话人语音的融合特征被用作深度卷积神经网络（DCNN）分类器的输入，用于说话人识别。实验结果表明了所提出的说话人识别系统的有效性和性能。
2022-12-01 eess.AS
SA-WavLM: Speaker-Aware Self-Supervised Pre-training for Mixture Speech
针对混合语音中单人 SSL 预训练模型受限的问题，本文提出 SA-WavLM，通过说话人感知的“提取—合并—预测”流程与说话人打乱策略提升性能，达到或超过现有预训练模型。
2024-07-03 eess.AS
X-TaSNet: Robust and Accurate Time-Domain Speaker Extraction Network
基于目标说话人的参考语音从混合音频中提取目标说话人的语音是语音处理中具有挑战性但功能强大的技术。最近对与说话者无关的语音分离的研究，如TasNet，通过在时域波形上应用深度神经网络，已经显示出了有希望的结果。这种分离神经网络在指定目标说话人时不能直接产生可靠和准确的输出，因为说话人数量的必要先验以及在处理不存在说话人的音频时缺乏鲁棒性。在本文中，我们打破了这些限制，引入了一种新的扬声器感知的语音掩蔽方法，称为X-TaSNet。我们的建议采用了新的策略，包括基于失真的损失和相应的交替训练方案，以更好地解决鲁棒性问题。X-TaSNet显著提高了提取的语音质量，与最先进的语音滤波方法相比，输出语音音频的SDRi和SI-SNRi加倍。X-TaSNet还通过将输出音频中的扬声器身份的准确性提高到95.4%来提高结果的可靠性，使得在目标扬声器不存在的大多数情况下，它返回无声音频。这些结果表明X-TaSNet向说话人提取技术的更实际应用迈出了坚实的一步。
2020-10-24 eess.AS
Analyzing the impact of speaker localization errors on speech separation for automatic speech recognition
我们研究了说话人定位对多说话人、多通道环境下语音识别系统性能的影响。给定说话人位置信息，语音分离分三个阶段进行。在第一阶段中，一个简单的延迟和总和（DS）波束形成器被用来增强从扬声器的位置，然后使用神经网络来估计对应于本地化扬声器的时间-频率掩模撞击的信号。该掩模用于计算二阶统计量并在第三阶段中导出自适应波束形成器。我们生成了一个多通道，多扬声器，混响，嘈杂的数据集的灵感来自研究WSJ 0 - 2 mix和研究所提出的管道的字错误率（WER）方面的性能。使用地面实况定位信息实现$29.4$ %的平均WER，并且使用经由GCC-PHAT估计的定位信息实现$42.4$ %的平均WER。扬声器之间的信号干扰比（SIR）对ASR性能具有更高的影响，达到相对于$15$ dB的SIR增加将WER降低$59$ %的程度。相比之下，将空间距离增加到$50^\circ$或更大仅使WER相对提高$23$ %
2019-10-24 eess.AS
Separating Content from Speaker Identity in Speech for the Assessment of Cognitive Impairments
深度说话人嵌入已经被证明是有效的评估认知障碍，除了他们的说话人验证的原始目的。然而，研究发现，说话人嵌入编码说话人身份和一系列信息，包括说话人的人口统计数据，如性别和年龄，以及一定程度上的语音内容，这是认知障碍评估中已知的混杂因素。在本文中，我们假设，内容信息分离的扬声器身份使用的框架，语音转换是更有效的评估认知障碍和训练简单的分类比较分析的DementiaBank皮特语料库。我们的研究结果表明，虽然内容嵌入具有优势，扬声器嵌入的定义的问题，进一步的实验表明，其有效性取决于信息编码的扬声器嵌入由于用于提取内容的架构的固有设计。
2022-03-21 eess.AS
An enhanced Conv-TasNet model for speech separation using a speaker distance-based loss function
这项工作使用预先训练的深度学习模型解决了西班牙语中的语音分离问题。与许多语音处理任务一样，与英语不同的其他语言的大型数据库很少。因此，这项工作使用Conv-TasNet模型作为基准来探索不同的训练策略。最佳训练策略的尺度不变信号失真比（SI-SDR）度量值为9.9 dB。然后，通过实验，我们发现了说话人的相似性和模型的性能之间的反比关系，因此提出了一种改进的ConvTasNet架构。增强的Conv-TasNet模型使用预先训练的语音嵌入在代价函数中添加扬声器之间的余弦相似性项，产生10.6 dB的SI-SDR。最后，关于实时部署的最终实验显示了扬声器的通道同步中的一些缺点，这是由于需要处理仅出现一个扬声器的小语音段。
2022-06-17 eess.AS
Who is Speaking or Who is Depressed? A Controlled Study of Speaker Leakage in Speech-Based Depression Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Michigan（密歇根大学）
研究探讨语音抑郁检测模型是否学习抑郁相关声学生物标记物还是依赖说话者身份线索，通过DAIC-WOZ数据集提出数据分割策略，评估三种复杂度不同的模型，发现说话者重叠显著提升性能，但未见说话者时性能下降，表明当前语音模型提取的抑郁特征与说话者身份高度纠缠。
2026-04-15 eess.AS
Investigating Speaker Embedding Disentanglement on Natural Read Speech
本文研究自然朗读语音中说话人嵌入的解耦程度，通过识别高说话人变异性的声学特征作为变化因素代理来量化解耦，发现标准解耦目标的改进有限但优于普通表示学习。
2023-08-08 eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University（首尔大学）
最近提出的几种文本转语音（TTS）模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而，将新说话者的语音与单个参考音频合成，通常称为zero-shot多说话者文本转语音（ZSM-TTS），仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题，我们提出了对抗性说话者一致性学习（ASCL）。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后，该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明，该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.（微软公司）
本文提出了一个端到端的说话人属性自动语音识别模型，该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练（SOT）与基于注意力的编码器-解码器，最近提出的方法，用于识别重叠的语音，包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入，以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化，该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明，该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
SATTS: Speaker Attractor Text to Speech, Learning to Speak by Learning to Separate
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
文本转语音（TTS）的映射是非确定性的，字母可以基于上下文而不同地发音，或者音素可以根据各种生理和风格因素（如性别、年龄、口音、情绪等）而变化。被训练以识别或验证说话者的神经说话者嵌入通常用于表示和将这些特征从参考语音转移到合成语音。另一方面，语音分离是一项具有挑战性的任务，即从各种说话人的重叠混合信号中分离出单个说话人。说话者吸引子是高维嵌入向量，其将每个说话者的语音的时频箱拉向自己，同时排斥属于其他说话者的那些时频箱。在这项工作中，我们探讨了使用这些强大的扬声器吸引zero-shot扬声器自适应多扬声器TTS合成的可能性，并提出扬声器吸引文本转语音（SATTS）。通过各种实验，我们表明，SATTS可以从一个看不见的目标扬声器的参考信号，可能有不到理想的记录条件，即混响或与其他扬声器混合的文本合成自然语音。
2022-07-13 cs.SD eess.AS
Speaker Separation Using Speaker Inventories and Estimated Speech
The Ohio State University（俄亥俄州立大学）；Microsoft（微软）
我们提出了扬声器分离使用扬声器库存和估计的语音（SSUSIES），一个框架，利用扬声器配置文件和估计的语音扬声器分离。SSUSIES包含两种方法，说话人分离使用说话人清单（SSUSI）和说话人分离使用估计语音（SSUES）。SSUSI在说话人清单的帮助下执行说话人分离。通过结合置换不变训练（PIT）和语音提取的优点，SSUSI显着优于传统的方法。SSUES是一种广泛应用的技术，它可以使用第一遍分离的输出来显著改善扬声器分离性能。我们评估模型的说话人分离和语音识别指标。
2020-10-20 cs.CL cs.SD eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而，语音转换系统可以操纵一个人的语音信号，使其听起来像另一个说话者的声音，并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中，我们研究的问题，源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别，我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明，当使用来自相同语音转换模型的转换语音进行训练和测试时，源说话人识别是可行的。此外，我们的研究结果表明，有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent（腾讯）
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音，没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入，并且有几次尝试尝试了可变长度的说话人嵌入。然而，他们忽略了转移个人的发音特征相关的音素内容，导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力，我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系，一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模，并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明，该方法可以提高合成语音的说话人相似度，特别是对未知说话人。
2022-11-11 cs.SD eess.AS
SNAC: Speaker-normalized affine coupling layer in flow-based architecture for zero-shot multi-speaker text-to-speech
Seoul National University（首尔国立大学）；Institute of New Media and Communications（新媒体与通信研究所）；Samsung Research, Samsung Electronics Co., Ltd（三星电子株式会社三星研究院）
Zero-shot多说话人文本转语音（ZSM-TTS）模型的目标是生成一个语音样本的语音特征的一个看不见的发言人。ZSM-TTS的主要挑战是增加未被看见的说话者的整体说话者相似性。在基于流的多说话人文本转语音（TTS）模型中，最成功的说话人条件化方法之一是根据给定的说话人嵌入向量预测仿射耦合层的尺度和偏置参数。在这封信中，我们改进了以前的扬声器调节方法，通过引入扬声器归一化仿射耦合（SNAC）层，它允许看不见的扬声器语音合成在一个zero-shot的方式利用基于归一化的调节技术。新设计的耦合层通过在训练时从扬声器嵌入向量预测的参数显式地规范化输入，从而在推理时实现新扬声器嵌入的反规范化过程。所提出的空调计划产生的最先进的性能方面的语音质量和扬声器的相似性在ZSM-TTS设置。
2022-11-30 cs.SD eess.AS
Online Binaural Speech Separation of Moving Speakers With a Wavesplit Network
Columbia University（哥伦比亚大学）
真实世界场景中的双耳语音分离通常涉及移动扬声器。当前的语音分离方法大多使用话语级排列不变训练（u-PIT）进行训练。然而，在推理时间中，输出的顺序可能随着时间的推移而不一致，特别是在长形式语音分离中。当扬声器在空间中不断移动时，这种被称为扬声器交换问题的情况甚至更成问题，因此对输出声道中扬声器的一致放置提出了挑战。在这里，我们描述了一个实时双耳语音分离模型的基础上Wavesplit网络，以减轻扬声器交换问题的移动扬声器分离。我们的模型从混合音频中计算每个时间帧的每个扬声器的扬声器嵌入，使用在线聚类聚合嵌入，并使用聚类质心作为扬声器配置文件来跟踪每个扬声器。混响，长形式的移动多说话人语音分离的实验结果表明，该方法是不太容易说话人交换，并实现与基于u-PIT模型与地面真值跟踪在分离精度和保留耳间线索的性能相当。
2023-03-13 cs.SD eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一个新的框架，共同执行三个任务：说话人日记，语音分离，说话人计数。我们提出的框架集成了基于端到端神经日记化（EEND）模型的说话人日记化，基于编码器-解码器的吸引子（EDA）的说话人计数，以及使用Conv-TasNet的语音分离。此外，我们提出了一个多个1x 1卷积层架构，用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术，用于细化分离的语音信号与获得的扬声器diarization信息，以改善联合框架。使用LibriMix数据集的实验表明，我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线，并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
Speaker Extraction with Co-Speech Gestures Cue
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
说话人提取的目的是从多说话人的混合语音中提取出目标说话人的纯净语音。已经有研究使用预先录制的语音样本或目标说话者的面部图像作为说话者线索。在人类交流中，与语音自然同步的协同语音手势也有助于语音感知。在这项工作中，我们探索使用共同的语音手势序列，例如手和身体的动作，作为说话人提取的说话人线索，这可以很容易地从低分辨率的视频记录中获得，因此比人脸记录更可用。我们提出了两个网络使用的共同语音手势线索，以执行专注的听目标扬声器，一个隐式融合的共同语音手势线索在扬声器提取过程中，另一个执行语音分离第一，然后明确使用共同语音手势线索相关联的分离语音的目标扬声器。实验结果表明，协同语音手势提示在与目标说话人的关联中具有一定的信息量。
2022-05-10 cs.CV cs.SD eess.AS
Hiding speaker's sex in speech using zero-evidence speaker representation in an analysis/synthesis pipeline
National Institute of Informatics（国立信息学研究所）
在分析/合成管道中使用现代声码器使我们能够研究可用于隐私目的的高质量语音转换。在这里，我们建议变换扬声器嵌入和音高，以隐藏扬声器的性别。基于ECAPA-TDNN的说话人表示馈入HiFiGAN声码器使用神经判别分析方法进行保护，这与隐私的零证据概念一致。这种方法大大减少了语音中与说话者性别有关的信息，同时保留了语音内容和由此产生的受保护声音的一致性。
2023-03-24 cs.SD eess.AS
Voice Imitating Text-to-Speech Neural Networks
Neosapience（尼奥萨匹恩斯）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个神经文本到语音（TTS）模型，可以模仿一个新的扬声器的声音，只有少量的语音样本。我们演示语音模仿只使用6秒长的语音样本，没有任何其他信息，如成绩单。我们的模型还可以立即进行语音模仿，而无需对模型进行额外的训练。我们实现了语音模仿TTS模型相结合的发言人嵌入网络与国家的最先进的TTS模型，Tacotron。说话人嵌入器网络获取新说话人的语音样本并返回说话人嵌入。将带有目标句子的说话者嵌入到Tacotron中，并使用新说话者的声音生成语音。我们表明，说话人嵌入网络提取的说话人嵌入可以代表不同的声音中的潜在结构。从我们的模型生成的语音样本具有可比的语音质量从现有的多扬声器TTS模型。
2018-06-04 cs.SD eess.AS
USEV: Universal Speaker Extraction with Visual Cue
National University of Singapore（新加坡国立大学）；Tianjin University（天津大学）；the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）；Kriston AI（Kriston人工智能）
说话人提取算法试图从多说话人语音混合中提取目标说话人的语音。现有的研究主要集中在从高度重叠的多说话人混合语音中提取说话人。然而，在自然语音通信中，目标说话人与干扰说话人的重叠率可能在0%~ 100%的范围内变化，而且目标说话人可能不存在于语音混合中，因此将这种通用多说话人情况下的语音混合描述为通用语音混合。说话人提取算法需要辅助参考，例如视频记录或预先录制的语音，以形成对目标说话人的自上而下的听觉注意。我们提倡视觉提示，即，嘴唇运动比音频提示更能提供信息，即，预先录制的语音，作为辅助参考的讲话者提取在解开目标说话者从一个一般的语音混合。在本文中，我们提出了一个通用的说话人提取网络与视觉提示，适用于所有多说话人的情况。此外，我们提出了一个基于目标感知的差异化损失函数用于网络训练，以平衡不同目标-干扰说话人配对场景下的网络性能。实验结果表明，我们提出的方法优于各种竞争基线的一般语音混合信号的保真度。
2022-08-30 cs.SD eess.AS
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.（百度公司）；University of Chinese Academy of Sciences（中国科学院大学）；University of Waterloo（滑铁卢大学）；Oregon State University（俄勒冈州立大学）
语音表征学习提高了语音理解和语音合成任务的单一语言。然而，它在跨语言场景中的能力还没有被探索。在本文中，我们扩展了跨语言多说话人语音合成任务的预训练方法，包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架，在这个框架中，我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分，我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外，我们的框架对于训练和推理都是端到端的，无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中，我们的实验表明，我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Speaker Re-identification with Speaker Dependent Speech Enhancement
University of Sheffield（谢菲尔德大学）
虽然深度神经网络的使用显著提高了说话人识别性能，但在声学环境较差的情况下分离说话人仍然具有挑战性。这里，语音增强方法传统上允许改进的性能。最近的工作表明，适应语音增强可以导致进一步的增益。提出了一种将语音增强和说话人识别相结合的新方法。在第一步中，生成说话人嵌入向量，在第二步中使用该向量来增强语音质量并重新识别说话人。模型在具有联合优化的集成框架中进行训练。该方法使用Voxceleb1数据集进行评估，该数据集旨在评估现实世界中的说话人识别。此外，在这项工作中加入了三种不同信噪比的噪声。实验结果表明，在各种噪声条件下，与两个基线相比，基于说话人的语音增强方法具有更好的说话人识别和语音增强性能。
2020-08-27 cs.CL cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Cross-speaker emotion disentangling and transfer for end-to-end speech synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）
文本到语音（TTS）合成中的跨说话人情感转移任务特别旨在合成具有从另一（源）说话人记录的参考语音转移的情感的目标说话人的语音。在情感传递过程中，源说话人的身份信息也会影响合成结果，导致说话人泄漏问题。本文提出了一种新的方法，旨在合成可控的情感表达语音，同时保持目标说话人的身份在跨说话人情感TTS任务。所提出的方法是一个基于Tacotron2的框架，情感嵌入作为条件变量提供情感信息。在我们的方法中包含两个情感解开模块，1）得到说话人无关和情感歧视嵌入，2）显式地限制合成语音的情感和说话人身份是预期的。此外，我们提出了一个直观的方法来控制合成语音的情感强度为目标说话人。具体地，利用灵活的标量值来调整所学习的情感嵌入，这允许控制由嵌入传达的情感强度。在汉语不相交语料库上进行了大量的实验，实验结果表明，该方法能够为目标说话人合成合理的情感语音。与现有的参考嵌入学习方法相比，该方法在跨说话人情感迁移任务上获得了最佳性能，表明该方法在学习说话人无关情感嵌入方面取得了新的性能。此外，强度排序测试和音高轨迹图表明，该方法可以有效地控制情感强度，导致韵律多样性的合成语音。
2022-04-08 cs.SD eess.AS
Msdtron: a high-capability multi-speaker speech synthesis system for diverse data using characteristic information
Xiaomi Corporation（小米公司）
在多说话人语音合成中，由于多个说话人在年龄、说话风格、情感等方面存在很大差异，因此多说话人语音合成的建模能力是一个重要而又具有挑战性的问题。针对这一问题，本文提出了一种高性能的语音合成系统Msdtron，该系统包括：1）设计了一种语音谐波结构的表示方法，称为激励谱图，用于直接指导语音谐波的学习。2)提出了条件选通LSTM（CGLSTM），通过使用说话人信息重新加权LSTM的门来控制文本内容信息通过网络的流动。实验结果表明，在训练多说话人模型时，Mel声谱图的重建误差明显减小，说话人自适应模型的主观评价也有很大提高。
2022-02-11 cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Localization Based Sequential Grouping for Continuous Speech Separation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；The Ohio State University（俄亥俄州立大学）
本文研究了连续语音分离和说话人日志化的鲁棒说话人定位方法，即利用说话人方向对同一说话人的非连续段进行分组。假设说话人不移动，并位于不同的方向，到达方向（DOA）的信息提供了一个准确的顺序分组和说话人日记的信息线索。我们的系统在以下意义上是块在线的。给定一个最多有两个说话人的帧块，我们应用两个说话人分离模型来分离（和增强）说话人，估计每个分离的说话人的DOA，并根据DOA估计将分离结果分组到块中。在LibriCSS语料库上的说话人日志化和说话人属性语音识别结果验证了该算法的有效性。
2021-07-14 cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Speaker activity driven neural speech extraction
NTT Corporation（日本电报电话公司）；Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
目标语音提取，即在给定辅助说话人线索的情况下，从混合语音中提取目标说话人的语音，近来受到越来越多的关注。已经调查了各种线索，例如预先录制的注册话语、方向信息或目标说话者的视频。在本文中，我们探索使用说话人活动信息作为辅助线索的单通道神经网络的语音提取。我们提出了一个说话人活动驱动的语音提取神经网络（ADeNet），并表明它可以实现性能水平的竞争力与基于注册的方法，而不需要预先录制。我们进一步证明了所提出的方法的潜力，用于处理类似会议的录音，其中的扬声器活动是从日记系统。我们表明，这种简单而实用的方法可以成功地提取扬声器后，日记，从而提高ASR性能，特别是在高重叠的条件下，与相对字错误率降低高达25%。
2021-02-09 cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库，但尚未建立英语以外语言的开源语料库。在本文中，我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕，几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类（CTC）的自动语音识别（ASR）和自动说话人验证（ASV）的基于说话人变异的方法的技术。我们建立了1）一个大规模的日本ASR基准，拥有超过1，300小时的数据，2）日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
Multi-speaker Multi-style Text-to-speech Synthesis With Single-speaker Single-style Training Data Scenarios
Northwestern Polytechnical University（西北工业大学）；Meituan-Dianping Group（美团点评集团）
在现有的跨说话人风格传递任务中，需要具有多风格录音的源说话人来为目标说话人提供风格。然而，一个演讲者很难表达所有预期的风格。在本文中，一个更一般的任务，这是产生表达语音的任何风格和音色的组合从多说话人语料库中，每个扬声器有一个独特的风格，提出。为了实现这一任务，提出了一种新的方法。该方法是一个基于Tacotron 2的框架，但具有细粒度的基于文本的韵律预测模块和说话人身份控制器。实验表明，该方法可以成功地表达一个说话人的风格与木材的另一个说话人绕过依赖于单个说话人的多风格语料库。此外，韵律预测模块中使用的显式韵律特征可以通过调整韵律特征的值来增加合成语音的多样性。
2021-12-23 cs.SD eess.AS
Token-level Speaker Change Detection Using Speaker Difference and Speech Content via Continuous Integrate-and-fire
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Bytedance AI LAB（字节跳动人工智能实验室）
在会议和对话等多人场景中，通常需要语音处理系统对音频进行分段，然后转录每个分段。这两个阶段分别由说话人变化检测（SCD）和自动语音识别（ASR）来解决。大多数先前的SCD系统仅依赖于说话人信息，而忽略了语音内容的重要性。在本文中，我们提出了一种新的SCD系统，同时考虑说话人差异和语音内容的线索。这两个线索被转换成令牌级表示的连续集成和消防（CIF）机制，然后结合用于检测扬声器的变化令牌声学边界。我们评估了我们的方法在公共真实记录的会议数据集AISHELL-4上的性能。实验结果表明，我们的方法优于竞争帧级基线系统的2.45%等覆盖率纯度（ECP）。此外，我们证明了语音内容和扬声器差异的SCD任务的重要性，以及进行SCD的令牌声学边界相比，进行SCD帧逐帧的优势。
2022-11-17 cs.SD eess.AS
What can predictive speech coders learn from speaker recognizers?
Escola Universitaria Politècnica de Mataró (UPC)（马塔罗理工学院（加泰罗尼亚理工大学））
本文比较了语音编码器和说话人识别器的应用，显示了它们之间的一些并行性。本文将说话人识别中的一些方法应用到语音编码中，以提高预测精度。实验结果表明，分段信噪比（SEGSNR）的改善。
2022-04-05 cs.SD eess.AS
Training Multi-Speaker Neural Text-to-Speech Systems using Speaker-Imbalanced Speech Corpora
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（简称SOKENDAI））；KDDI Research Inc.（KDDI研究株式会社）；University of Edinburgh（爱丁堡大学）
当目标说话人的可用数据不足以训练高质量的说话人相关神经文本转语音（TTS）系统时，我们可以将来自多个说话人的数据合并，训练多说话人TTS模型。许多研究表明，用少量多个说话人的数据训练的神经网络多说话人TTS模型可以产生比依赖于说话人的合成语音质量更好、稳定性更好的合成语音。然而，当来自每个说话者的数据量高度不平衡时，利用过量数据的最佳方法仍然未知。我们的实验表明，简单地结合所有可用的数据，从每个扬声器训练多扬声器模型产生更好的或至少类似的性能，其扬声器相关的副本。此外，通过使用集成多说话人模型，其中每个子系统在可用数据的子集上进行训练，我们可以进一步提高合成语音的质量，特别是对于训练数据有限的代表性不足的说话人。
2019-04-07 cs.CL cs.SD eess.AS
Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation
National Taiwan University（台湾大学）
近年来，端到端的多说话人文本转语音（TTS）系统在大量高质量语音及其对应的传输可用的情况下获得了成功。然而，费力的配对数据收集过程阻止了许多机构构建具有良好性能的多扬声器TTS系统。在这项工作中，我们提出了一个半监督学习方法的多说话人TTS。多说话人TTS模型可以通过所提出的具有离散语音表示的编码器-解码器框架从未转录的音频中学习。实验结果表明，该模型仅用一小时的配对语音数据，无论是多个说话人还是单个说话人的配对语音，都能生成不同语音的可理解语音。我们发现该模型可以受益于所提出的半监督学习方法，即使部分未配对的语音数据是嘈杂的。此外，我们的分析表明，不同的说话人特征的配对数据的半监督TTS的有效性有影响。
2020-08-04 cs.CL cs.SD eess.AS
Personalized speech enhancement combining band-split RNN and speaker attentive module
Nanjing University（南京大学）；ByteDance（字节跳动）；Horizon Robotics（地平线机器人）
在语音增强（SE）模型中可以利用目标说话人信息来更有效地提取期望的语音。以往的工作是通过级联或仿射变换将说话人嵌入引入到语音增强模型中。在本文中，我们提出了一个扬声器注意模块计算的注意力分数之间的扬声器嵌入和中间功能，这是用来重新缩放的功能。通过将该模块合并到最先进的SE模型中，我们构建了ICASSP信号处理大挑战：DNS挑战5（2023）的个性化SE模型。我们的系统在track1的盲测试集上获得了0.529的最终分数，在track2上获得了0.549的最终分数。
2023-03-16 cs.SD eess.AS
From Speaker Verification to Multispeaker Speech Synthesis, Deep Transfer with Feedback Constraint
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
近年来，端到端的文语转换模型可以合成高保真语音。然而，在文本到语音系统中访问和控制语音属性，如说话人身份，韵律和情感仍然是一个挑战。本文提出了一种带反馈约束的多说话人语音合成系统。我们设法加强从说话人确认的语音合成通过从事说话人确认网络的知识转移。该约束通过与说话人身份相关的附加损失来获取，该附加损失被集中以提高合成语音与其自然参考音频之间的说话人相似性。该模型在公开的数据集上进行训练和评估。实验结果，包括可视化的说话人嵌入空间，显着改善方面的说话人身份克隆的声谱图水平。合成样本可在线收听。（https：//caizexin.github.io/mlspk-syn-samples/index.html）
2020-08-04 cs.LG cs.SD eess.AS
Multi-Scale Accent Modeling and Disentangling for Multi-Speaker Multi-Accent Text-to-Speech Synthesis
National University of Singapore（新加坡国立大学）；Hong Kong Generative AI Research and Development Centre, The Hong Kong University of Science and Technology（香港科技大学香港生成式人工智能研发中心）
本文提出多尺度口音建模与说话人解耦方法，结合全局和局部口音建模及局部口音预测模型，实现多说话人多口音TTS合成，并在语音质量和口音呈现上优于基线系统。
2025-01-01 cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University（密歇根州立大学）
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中，我们提出了一个名为DeepTalk的韵律编码网络，用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合，进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中，以生成合成语音。对合成语音的详细分析表明，DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外，基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
Recursive speech separation for unknown number of speakers
本文提出了一种未知说话人数目的单通道非特定人多说话人语音分离方法。相对于以前的作品，其中的扬声器的数量被假定为是已知的提前和语音分离模型是特定的扬声器的数量，我们所提出的方法可以应用于不同数量的扬声器使用一个单一的模型，通过递归分离扬声器的情况。为了使分离模型递归适用，我们提出了一个和其余的排列不变训练（OR-PIT）。WSJ 0 - 2 mix和WSJ 0 - 3 mix数据集上的评估表明，我们提出的方法实现了最先进的结果，两个和三个扬声器混合与一个单一的模型。此外，相同的模型可以分离四个扬声器混合，这是在训练过程中从未见过的。我们进一步提出了在递归分离过程中检测混合物中的扬声器数量，并表明这种方法可以更准确地估计扬声器的数量比使用基于深度神经网络的分类器提前检测。
2019-09-02 cs.SD eess.AS
MIRNet: Learning multiple identities representations in overlapped speech
Yonsei University（延世大学）
许多方法可以通过学习识别声学参数的一致特性来从语音中获得关于单个说话者身份的信息。然而，当在给定信号中存在多个并发说话者时，确定身份信息是具有挑战性的。在本文中，我们提出了一种新的深度说话人表示策略，可以可靠地从重叠的语音中提取多个说话人身份。我们设计了一个网络，可以提取一个高层次的嵌入，包含信息的每个扬声器的身份从一个给定的混合。与传统方法需要参考声学特征进行训练不同，我们提出的算法只需要重叠语音段的说话人身份标签。我们证明了我们的算法在说话人确认任务和语音分离系统的条件下，通过所提出的方法获得的目标说话人嵌入的有效性和实用性。
2020-08-06 cs.SD eess.AS
ASRRL-TTS: Agile Speaker Representation Reinforcement Learning for Text-to-Speech Speaker Adaptation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心）；Kuaishou Technology Co., Ltd.（快手科技有限公司）；Tianjin University（天津大学）；Shanghai Polytechnic University（上海第二工业大学）
针对少参考语音下TTS说话人自适应的表示不准与过拟合问题，提出ASRRL强化学习策略，分场景优化说话人嵌入并以多维度奖励保障音质，实验证明其优于传统微调。
2024-07-07 cs.SD eess.AS
Speaker independence of neural vocoders and their effect on parametric resynthesis speech enhancement
The Graduate Center, CUNY（纽约市立大学研究生院）；Brooklyn College（布鲁克林学院）
传统的语音增强系统产生具有折衷质量的语音。在这里，我们建议使用高质量的语音生成能力的神经声码器更好的质量语音增强。我们称之为参数再合成（PR）。在以前的工作中，我们证明了PR系统使用两个神经声码器WaveNet和WaveGlow为单个扬声器生成高质量的语音。这两种声码器传统上都依赖于扬声器。在这里，我们首先表明，当训练足够多的说话者的数据时，这些声码器可以从看不见的说话者（男性和女性）生成语音，其质量与训练中看到的说话者相似。接下来，使用这两个声码器和一个新的声码器LPCNet，我们评估了PR对看不见的扬声器的降噪质量，并表明客观信号和整体质量高于最先进的语音增强系统Wave-U-Net，Wavenet-denoise和SEGAN。此外，在主观质量，多扬声器PR优于甲骨文维纳面具。
2019-11-14 cs.LG cs.SD eess.AS
Listening for "You": Enhancing Speech Image Retrieval via Target Speaker Extraction
提出目标说话人语音-图像检索任务及TSRE框架，通过目标说话人感知对比学习提取并对齐语音与图像，在SpokenCOCO2Mix/3Mix上显著提升检索性能。
2025-09-11 eess.AS eess.IV
Synthetic Speech Detection Based on Temporal Consistency and Distribution of Speaker Features
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
该研究分析 TTS 合成语音中说话人特征的时间一致性与分布缺陷，并据此提出低复杂度 SSD 方法，在跨数据集和静音裁剪场景下表现良好。
2023-09-29 cs.SD eess.AS
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University（南昌大学）
提出了一种基于交叉门并行卷积神经网络（CG-PCNN）的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征，其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同，所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征，该特征采用交叉门机制来捕获互补特征，以提高说话人识别系统的性能。然后，将这些深层特征串联起来，得到融合特征，用于说话人识别。实验结果表明，基于该语音特征融合方法的说话人识别系统是有效的，其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
Cross-speaker Emotion Transfer Based On Prosody Compensation for End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）；Mobvoi AI Lab（出门问问人工智能实验室）
跨说话人情感转移语音合成的目的是通过从另一个（源）说话人记录的参考语音中转移情感来为目标说话人合成情感语音。在这个任务中，从参考语音中提取与说话人无关的情感嵌入起着重要的作用。然而，这种情感嵌入所传达的情感信息往往在挤出源说话人的音色信息的过程中被削弱。针对这一问题，本文提出了一种韵律补偿模块（PCM）来补偿情感信息的损失。具体来说，PCM试图从预先训练的ASR模型的中间特征中获得说话者独立的情感信息。为此，引入了一个具有全局上下文（GC）块的韵律补偿编码器，以从ASR模型的中间特征中获得全局情感信息。实验结果表明，该算法能有效地补偿情感嵌入过程中情感信息的损失，同时保持目标说话人的音质。与现有模型的比较表明，该方法在跨说话人情感传递方面具有明显的优势。
2022-07-04 cs.SD eess.AS
Cross-Lingual Text-to-Speech Using Multi-Task Learning and Speaker Classifier Joint Training
Microsoft Azure Speech（微软Azure语音团队）
在跨语言语音合成中，可以为单语说话者合成各种语言的语音。通常，只有单语说话者的数据可用于模型训练，因此合成的跨语言语音与母语录音之间的说话者相似度相对较低。基于多语言Transformer文语转换模型，研究了一种多任务学习框架，以提高跨语言说话人相似度。为了进一步提高说话人相似度，提出了与说话人分类器的联合训练。本文提出了一种类似于并行调度采样的方案来有效地训练Transformer模型，避免了引入联合训练时打破并行训练机制。通过使用多任务学习和说话人分类器联合训练，在主观和客观评估中，可以一致地提高训练集中的可见和不可见说话人的跨语言说话人相似性。
2022-01-20 cs.AI cs.SD eess.AS
SC-GlowTTS: an Efficient Zero-Shot Multi-Speaker Text-To-Speech Model
DefinedCrowd Corp.（DefinedCrowd公司）；Coqui（Coqui公司）；Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Federal University of Goias（戈亚斯联邦大学）；Federal University of Technology – Paraná（巴拉那联邦理工大学）
在本文中，我们提出了SC-GlowTTS：一个有效的zero-shot多说话人文本转语音模型，提高了训练过程中看不见的说话人的相似性。我们提出了一个扬声器的条件架构，探讨了基于流的解码器，工作在一个zero-shot的情况。作为文本编码器，我们探索了一种基于扩张残差卷积的编码器，基于门控卷积的编码器和基于变换的编码器。此外，我们已经证明，针对TTS模型在训练数据集上预测的频谱图调整基于GAN的声码器可以显着提高新说话者的相似性和语音质量。我们的模型仅使用11个扬声器进行收敛，达到了与新扬声器相似的最先进结果，以及高语音质量。
2021-06-15 cs.SD eess.AS
