ECAPA-TDNN Embeddings for Speaker Diarization
学习鲁棒的说话人嵌入是说话人日志化的关键步骤。深度神经网络可以准确地捕捉说话者的区分特征，而流行的深度嵌入（如x向量）现在是现代日记系统的基本组成部分。最近，已经提出了对用于x向量的标准TDNN架构的一些改进。例如，由于精心设计的神经模型，ECAPA-TDNN模型在说话人验证领域表现出令人印象深刻的性能。在这项工作中，我们扩展，第一次，使用ECAPA-TDNN模型的发言人日记。此外，我们通过一个强大的增强方案提高了其鲁棒性，该方案在同一批训练中连接了同一信号的几个污染版本。ECAPA-TDNN模型在近距离说话和远距离说话条件下都能提供鲁棒的说话人嵌入。流行的AMI会议语料库我们的结果表明，我们的系统显着优于最近提出的方法。
2021-04-03 eess.AS
Cross-lingual Multi-speaker Text-to-speech Synthesis for Voice Cloning without Using Parallel Corpus for Unseen Speakers
我们研究了一种新的跨语言多说话人文本转语音合成方法，用于生成高质量的本地或口音的语音，为本地/外国看到/看不见的发言人在英语和普通话。该系统由三个单独训练的组件组成：x矢量扬声器编码器，基于Tacotron的合成器和WaveNet声码器。它以3种嵌入为条件：（1）说话人嵌入，以便系统可以用来自许多说话人的语音进行训练，而每个说话人的数据很少;（2）具有共享音素输入的语言嵌入;（3）重音和音调嵌入，提高了合成语音的自然度，特别是对于像普通话这样的音调语言。通过调整各种嵌入，MOS结果表明，我们的方法可以生成高质量的自然和可理解的母语语音的母语/外国看到/看不见的扬声器。口音语音的可懂度和自然度低于预期。说话人相似性对母语者的母语语音有好处。有趣的是，说话人相似性对外国人的口音也有好处。我们还发现，在许多情况下，通过L2范数归一化或白化对说话人嵌入x向量进行归一化可以大大提高输出质量，并且WaveNet的性能似乎与语言无关：我们的WaveNet是用粤语语音训练的，可以很好地用于生成普通话和英语语音。
2019-11-26 eess.AS
Domain-adversarial training of multi-speaker TTS
多说话人TTS需要学习语言嵌入和文本嵌入，以生成所需语音中所需语言内容的语音。然而，言语特征的哪一部分来源于说话人，哪一部分来源于语言内容，目前尚不清楚。本文采用梯度反转层辅助说话人分类器，迫使文本嵌入算法去学习说话人相关特征。我们训练一个说话人分类器使用角裕度softmax损失。在主观评价方面，实验结果表明，针对单语多说话人TTS的文本嵌入对抗性训练在相似度MOS上提高了39.9%，在自然度MOS上提高了40.1%。
2020-06-12 eess.AS
Separating Content from Speaker Identity in Speech for the Assessment of Cognitive Impairments
深度说话人嵌入已经被证明是有效的评估认知障碍，除了他们的说话人验证的原始目的。然而，研究发现，说话人嵌入编码说话人身份和一系列信息，包括说话人的人口统计数据，如性别和年龄，以及一定程度上的语音内容，这是认知障碍评估中已知的混杂因素。在本文中，我们假设，内容信息分离的扬声器身份使用的框架，语音转换是更有效的评估认知障碍和训练简单的分类比较分析的DementiaBank皮特语料库。我们的研究结果表明，虽然内容嵌入具有优势，扬声器嵌入的定义的问题，进一步的实验表明，其有效性取决于信息编码的扬声器嵌入由于用于提取内容的架构的固有设计。
2022-03-21 eess.AS
Sequence-to-Sequence Neural Diarization with Automatic Speaker Detection and Representation
本文提出序列到序列神经说话人日志框架，通过自动说话人检测与表示，实现在线和离线的高精度说话人日志，无需预先注册。
2025-06-21 eess.AS
Online Speaker Adaptation for WaveNet-based Neural Vocoders
在本文中，我们提出了一个在线的扬声器自适应方法的WaveNet为基础的神经声码器，以提高其性能的扬声器无关的波形生成。在该方法中，首先使用大的说话人验证数据集来构造说话人编码器，该说话人验证数据集可以从由任意说话人发音的话语中提取说话人嵌入向量。在训练阶段，利用多说话人数据集，以声学特征序列和说话人嵌入向量为条件，构建说话人感知的WaveNet声码器;在生成阶段，首先将测试说话人的声学特征序列输入说话人编码器，得到说话人嵌入向量。然后，说话人嵌入向量和声学特征都通过说话人感知的WaveNet声码器来重建语音波形。实验结果表明，与传统的非特定人WaveNet声码器相比，该方法在重构未知说话人波形时具有更好的客观和主观性能。
2020-08-14 eess.AS
Analyzing speaker verification embedding extractors and back-ends under language and channel mismatch
在本文中，我们分析的行为和性能的发言人嵌入和后端评分模型下的领域和语言不匹配。我们提出了我们的研究结果，基于ResNet的扬声器嵌入架构，并表明，减少时间跨度产生更好的性能。然后，我们考虑一个PLDA后端，并显示如何组合的小扬声器子空间，语言相关的PLDA混合物，和滋扰属性投影系统的性能产生巨大的影响。此外，我们提出了一种有效的评分和融合类后验logit向量的方法，最近显示出良好的说话人确认任务。使用NIST SRE 2021设置进行实验。
2022-03-19 eess.AS
Adaptive Speaker Embedding Self-Augmentation for Personal Voice Activity Detection with Short Enrollment Speech
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；AI Research Center, Midea Group (Shanghai) Co.,Ltd.（美的集团（上海）有限公司人工智能研究中心）
本文提出自适应说话人嵌入自增强方法，通过关键帧嵌入融合和长期适应策略提升短注册语音下的个人语音活动检测性能。
2026-01-19 eess.AS
Frame-wise and overlap-robust speaker embeddings for meeting diarization
提出基于 Teacher-Student 的逐帧、抗重叠说话人嵌入，用于 EEND，显著缓解说话人增多时的性能下降，并通过分块处理支持任意长会议。
2023-06-01 eess.AS
EDITnet: A Lightweight Network for Unsupervised Domain Adaptation in Speaker Verification
语言不匹配导致的性能下降是将说话人确认系统应用于不同语言的语音数据时的常见问题。本文提出了一个域转移网络，命名为EDITnet，以减轻语言不匹配的问题，说话人嵌入，而不需要说话人标签。该网络利用条件变分自动编码器将嵌入从目标域转移到源域。一个自监督学习策略施加在转移的嵌入，以增加嵌入之间的余弦距离从不同的发言人。在EDITnet的训练过程中，嵌入提取模型是固定的，无需微调，这使得训练效率高，成本低。在Voxceleb和CN-Celeb上的实验表明，使用ECAPA-TDNN 512，EDITnet传输的嵌入比未传输的嵌入高出约30%。性能改进也可以通过其他嵌入提取模型来实现，例如，TDNN，SE-ResNet34.
2022-06-15 eess.AS
Challenging margin-based speaker embedding extractors by using the variational information bottleneck
本文提出用变分信息瓶颈将说话人嵌入提取器中的确定性节点随机化，以隐式降低目标说话人后验，达到类似间隔损失的效果，并在多项基准上取得与 Additive Angular Margin 竞争的结果。
2024-06-18 eess.AS
Geodesic interpolation of frame-wise speaker embeddings for the diarization of meeting scenarios
提出一种基于测地线距离损失的师生训练方法提取逐帧说话人嵌入，有效解决会议场景重叠语音的说话人日志问题，性能优于VBx等基线并接近或超越带重叠检测的系统。
2024-01-08 eess.AS
Emotional Styles Hide in Deep Speaker Embeddings: Disentangle Deep Speaker Embeddings for Speaker Clustering
Computer Engineering Florida International University Miami, USA（计算机工程，佛罗里达国际大学，迈阿密，美国）；Knight Foundation School of Computing（骑士基金会计算科学学院）；Information Sciences Florida International University Miami, USA（信息科学，佛罗里达国际大学，迈阿密，美国）
针对情感表达损害深度说话人嵌入及聚类性能的问题，提出DTG-VAE，在VAE框架中解耦情感因素，提取更鲁棒的说话人嵌入并显著提升聚类效果。
2025-09-27 cs.SD eess.AS
Adversarial Attacks and Robust Defenses in Speaker Embedding based Zero-Shot Text-to-Speech System
School of Computer Science, Wuhan University（武汉大学计算机学院）；Duke Kunshan University（杜克昆山大学）；OPPO
针对基于说话人嵌入的零样本 TTS 易受音频对抗扰动攻击的问题，本文比较对抗训练与基于扩散概率模型的对抗净化，证明二者可显著降低攻击影响并提升系统安全性。
2025-10-05 eess.AS
Recursive Attentive Pooling for Extracting Speaker Embeddings from Multi-Speaker Recordings
NTT Corporation（NTT公司）
本文提出一种递归注意力池化方法，从多说话人录音中提取各说话人嵌入，并可利用注意力权重估计说话人数量，使同一模型适用于不同人数场景，实验验证其在说话人验证和日志任务中的有效性。
2024-08-30 cs.SD eess.AS
On Feature Importance and Interpretability of Speaker Representations
本文利用 Shapley 值研究说话人嵌入向量的特征重要性与可解释性，发现特定声学-语音学属性可从嵌入中预测，而抽象音质特征则无法预测。
2023-10-19 eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent（腾讯）
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音，没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入，并且有几次尝试尝试了可变长度的说话人嵌入。然而，他们忽略了转移个人的发音特征相关的音素内容，导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力，我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系，一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模，并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明，该方法可以提高合成语音的说话人相似度，特别是对未知说话人。
2022-11-11 cs.SD eess.AS
Guided Speaker Embedding
NTT Corporation（NTT公司）
本文提出引导式说话人嵌入提取方法，利用目标与干扰说话人的活动线索从重叠语音中直接提取嵌入，并通过条件注意力机制抑制非目标区间，在说话人验证和日志任务中验证了有效性。
2025-01-01 cs.SD eess.AS
What Does the Speaker Embedding Encode?
Shanghai Jiao Tong University（上海交通大学）
本文通过分析i向量、d向量和s向量的编码特性，提出了一种结合i向量和s向量的多任务学习框架，生成新的i-s向量，显著提升了说话人识别性能。
2025-12-20 eess.AS
Speaker Embeddings With Weakly Supervised Voice Activity Detection For Efficient Speaker Diarization
IDLab, Department of Electronics；Information Systems Ghent University - imec, Belgium
针对现有说话人分割依赖外部VAD带来开销的问题，提出利用说话人嵌入提取器的注意力作为弱监督内部VAD，用ECAPA2嵌入同时实现VAD与嵌入提取，在多个基准上取得SOTA性能。
2024-05-15 cs.SD eess.AS
Text-Independent Speaker Verification with Dual Attention Network
本文提出了一种新颖的用于文本无关说话人确认的注意力模型设计。该模型采用一对输入话语并生成话语级嵌入以表示每个话语中的说话者特定特征。如果输入话语来自同一说话人，则期望它们具有高度相似的嵌入。所提出的注意力模型由一个自我注意力模块和一个相互注意力模块组成，这两个模块共同作用于话语级嵌入的生成。自注意权值是从话语本身计算的，而相互注意权值是在输入对中的其他话语的参与下计算的。结果，每个话语由自注意加权嵌入和互注意加权嵌入表示。嵌入之间的相似性通过余弦距离得分和二元分类器输出得分来测量。整个模型名为Dual Attention Network，在Voxceleb数据库上进行端到端训练。在Voxceleb 1测试集上的评测结果表明，双注意力网络的性能明显优于基准系统。最佳结果产生1：6%的相等错误率。
2020-09-11 eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University（首尔大学）
近年来，已经提出了各种基于深度学习的嵌入方法，并在说话人验证中表现出令人印象深刻的性能。然而，与大多数经典嵌入技术一样，已知基于深度学习的方法在处理具有不同条件的语音样本（例如，记录设备、情绪状态）。在本文中，我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明，该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
Investigating Speaker Embedding Disentanglement on Natural Read Speech
本文研究自然朗读语音中说话人嵌入的解耦程度，通过识别高说话人变异性的声学特征作为变化因素代理来量化解耦，发现标准解耦目标的改进有限但优于普通表示学习。
2023-08-08 eess.AS
Leveraging Speaker Embeddings with Adversarial Multi-task Learning for Age Group Classification
LG Uplus Corp.（LG Uplus公司）；LG AI Research（LG人工智能研究院）
最近，研究人员在说话人识别任务中利用基于神经网络的说话人嵌入技术来准确地识别说话人。然而，说话人区分嵌入并不总是代表语音特征，如年龄组。在经过高度训练以捕获说话人特征的嵌入模型中，年龄组分类的任务更接近于语音信息泄漏。因此，为了提高年龄组分类性能，我们考虑使用来自对抗性多任务学习的说话者区分嵌入来对齐特征并减少年龄子组中的域差异。此外，我们研究了不同类型的说话人嵌入，以学习和推广年龄组的域不变表示。在VoxCeleb Enrichment数据集上的实验结果验证了我们提出的自适应对抗网络在多目标场景中的有效性，并利用扬声器嵌入进行域适应任务。
2023-01-22 cs.LG eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
Mitigating Non-Target Speaker Bias in Guided Speaker Embedding
针对引导式说话人嵌入框架在低重叠场景存在性能下降的问题，提出利用目标说话人活动线索改进全局统计量模块的方法，提升了多场景下的说话人验证及多数据集上的说话人分割性能。
2025-06-14 cs.SD eess.AS
A Teacher-Student approach for extracting informative speaker embeddings from speech mixtures
Paderborn University（帕德博恩大学）；Toshiba Cambridge Research Laboratories（东芝剑桥研究实验室）
本文提出一种基于师生训练的单声道神经说话人嵌入提取方法，从语音混合信号中直接提取各说话人嵌入，在说话人存在性验证任务上显著优于传统方法，并达到与多通道空间方法相当的性能。
2023-09-19 cs.SD eess.AS
Frame-level speaker embeddings for text-independent speaker recognition and analysis of end-to-end model
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于卷积神经网络（CNN）的说话人识别模型，用于提取鲁棒的说话人嵌入。嵌入层的线性激活可以有效地提取嵌入。为了理解说话人识别模型如何与文本无关的输入操作，我们修改了结构，从每个隐藏层提取帧级说话人嵌入。我们将TIMIT数据集中的话语输入到训练好的网络中，并使用几个代理任务来研究网络表示语音输入和区分语音身份的能力。我们发现，网络更好地区分广泛的语音类比单个音素。特别是，属于相同语音类的帧级嵌入对于相同说话者是相似的（基于余弦距离）。帧级表示还允许我们在帧级分析网络，并且具有用于其他分析以改进说话人识别的潜力。
2018-09-12 cs.LG eess.AS
Unmixing The Crowd: Learning Persistent Speaker Representations from Mixture-Derived Multi-Speaker Embeddings
University of Michigan Ann Arbor, MI, USA；Oregon Health \& Science University Portland, OR, USA
提出教师-学生框架，仅使用短重叠片段和置换不变潜在监督学习混合衍生多说话人嵌入，结合轻量在线记忆机制实现长时说话人重识别。
2026-06-23 cs.SD eess.AS
Spectral Clustering-aware Learning of Embeddings for Speaker Diarisation
Cambridge University（剑桥大学）
在说话人分类中，说话人嵌入提取模型的训练损失函数与说话人聚类方法不匹配。在本文中，我们提出了光谱聚类感知嵌入学习（SCALE）的方法来解决不匹配。具体而言，除了角度原型cal（AP）损失，SCALE使用一种新的亲和矩阵损失，直接最小化从扬声器嵌入和参考估计的亲和矩阵之间的误差。SCALE还包括p百分位阈值和高斯模糊作为训练中谱聚类的两个重要超参数。AMI数据集上的实验表明，与基于AP丢失的说话人嵌入的强基线相比，使用Oracle分割，使用SCALE获得的说话人嵌入实现了超过50%的相对说话人出错率降低，并且使用自动分割，实现了超过30%的相对diarisation出错率降低。
2023-03-14 cs.SD eess.AS
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab（网易游戏AI实验室）
近年来，越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分，是提高转换语音的说话人相似度的关键。在本文中，我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征，提高说话人相似度，本文提出了一种新的说话人表示方法。我们的方法结合了D-向量，全局风格令牌（GST）的说话人表示和辅助监督的优点。客观和主观评价结果表明，该方法在zero-shot语音转换上取得了较好的效果，与D-向量和基于GST的说话人嵌入相比，该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
Text adaptation for speaker verification with speaker-text factorized embeddings
MoE Key Lab of Artificial Intelligence SpeechLab, Department of Computer Science（人工智能MoE重点实验室、语音实验室、计算机科学与工程系）
本文提出一种文本自适应框架，通过说话人-文本因子化网络分解语音嵌入，利用少量自适应话语将文本无关说话人嵌入转为文本定制嵌入，显著提升文本不匹配下的说话人验证性能。
2025-08-06 cs.SD eess.AS
EEND-DEMUX: End-to-End Neural Speaker Diarization via Demultiplexed Speaker Embeddings
Seoul National University（首尔大学）；Institute of New Media and Communications（新媒体与通信研究所）
提出 EEND-DEMUX 框架，通过解复用操作直接获得分离的说话人嵌入，并结合多头交叉注意力与三类约束损失，在 LibriMix 的固定及可变说话人数场景中持续提升说话人日志性能。
2023-12-11 cs.SD eess.AS
Supervised Speaker Embedding De-Mixing in Two-Speaker Environment
University of Sheffield（谢菲尔德大学）
从多扬声器环境中分离不同的扬声器属性是具有挑战性的。与传统的语音声源分离方法不同，本文提出了一种说话人嵌入去混方法。该方法在嵌入空间中从双说话人信号中分离出不同的说话人属性。拟议的办法包括两个步骤。在第一步中，干净的说话人嵌入学习和收集的残余TDNN为基础的网络。在步骤2中，将两个扬声器信号和扬声器之一的嵌入都输入到扬声器嵌入解混网络。训练去混网络，通过重构损失产生另一个说话人的嵌入。利用说话人辨识准确率和纯净嵌入与去混嵌入之间的余弦相似度来评价所得到的嵌入的质量。在人工增强的双说话人数据（TIMIT）和真实世界的双说话人数据（MC-WSJ）上进行了实验。研究了六种不同的说话人嵌入去混结构。实验结果表明，本文提出的一种结构与纯说话人嵌入的性能相近，识别准确率达到96.9%，余弦相似度为0.89。
2021-02-05 cs.CL cs.LG cs.SD
Interpreting the Dimensions of Speaker Embedding Space
University College London（伦敦大学学院）
本文利用10,000名说话人语料库和三种嵌入系统，分析说话人嵌入与可解释声学参数、年龄及性别的关系，发现9个声学参数可解释超过50%的方差并存在隐式性别信息，但年龄表征不足。
2025-10-18 cs.SD eess.AS
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)（伍斯特理工学院（WPI））
我们提出了一种新的说话人日志化方法，可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]：像标准的说话人嵌入方法，如x向量[2]，合成嵌入模型包含一个函数f，它将语音从不同的说话人中分离出来。此外，它们包括合成函数g以计算嵌入空间中的集合并运算，以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中，所提出的方法优于传统的嵌入方法，传统的嵌入方法只训练分离单个说话人（而不是说话人集）。在AMI Headset Mix语料库上的扬声器日志化实验中，我们实现了最先进的准确率（DER=22.93%），略高于之前的最佳结果（来自[3]的23.82%）。
2021-02-10 cs.CL cs.SD eess.AS
Multi-scale speaker embedding-based graph attention networks for speaker diarisation
Naver Corporation（NAVER 公司）
这项工作的目标是有效的扬声器diarisation使用多尺度扬声器嵌入。通常，根据用于嵌入提取的段长度，在识别短说话者段的能力和嵌入的辨别能力之间存在权衡。为此，最近的工作提出了使用多尺度嵌入，其中使用具有不同长度的段。然而，分数是使用加权求和方案组合的，其中权重在训练阶段后固定，而片段长度的重要性在单个会话中可能会有所不同。为了解决这个问题，我们在本文中提出了三个关键贡献：（1）我们提出了用于多尺度说话人diarisation的图形注意力网络;（2）我们设计了尺度指标，以利用每个嵌入的尺度信息;（3）我们调整了基于注意力的聚合，以利用来自多尺度嵌入的预先计算的亲和矩阵。我们证明了我们的方法在各种数据集中的有效性，其中构成主要指标的说话人混淆平均相对于基线下降超过10%。
2021-10-07 cs.AI eess.AS
Quantitative Evidence on Overlooked Aspects of Enrollment Speaker Embeddings for Target Speaker Separation
Dolby Laboratories（杜比实验室）
单通道目标说话人分离（TSS）的目的是从多个说话人的混合中提取说话人的语音，给定该说话人的注册话语。典型的深度学习TSS框架由获得登记说话人嵌入的上游模型和执行以嵌入为条件的分离的下游模型组成。在本文中，我们研究了几个重要的，但被忽视的方面的注册嵌入，包括广泛使用的说话人辨识嵌入的适用性，引入对数梅尔滤波器组和自监督嵌入，和嵌入的跨数据集泛化能力。我们的研究结果表明，说话人辨识嵌入可能会丢失相关信息，由于一个次优的度量，训练目标，或共同的预处理。相比之下，滤波器组和自监督嵌入都保持了说话人信息的完整性，但前者在跨数据集评估中始终优于后者。先前被忽视的滤波器组嵌入的竞争分离和泛化性能在我们的研究中是一致的，这需要进一步研究更好的上游特征。
2022-10-26 cs.AI cs.SD eess.AS
Wespeaker: A Research and Production oriented Speaker Embedding Learning Toolkit
Shanghai Jiao Tong University（上海交通大学）；Tencent Corporation（腾讯公司）；Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）；AISpeech Ltd（思必驰有限公司）；NVIDIA（英伟达）
说话人建模对于说话人识别、说话人日志化等相关任务都是必不可少的。主要的建模方法是固定维向量表示，即，扬声器嵌入本文介绍了一个面向研究和生产的说话人嵌入学习工具Wespeaker。Wespeaker包含可扩展的数据管理、最先进的说话人嵌入模型、损失函数和评分后端的实现，通过在几个说话人验证挑战中获胜的系统中采用的结构化配方实现了极具竞争力的结果。在相关的配方中也展示了对其他下游任务的应用，如扬声器日记。此外，还集成了CPU和GPU兼容的部署代码，用于面向生产的开发。该工具包可在https://github.com/wenet-e2e/wespeaker上公开查阅。
2022-11-01 cs.SD eess.AS
Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?
NEC Corporation（NEC公司）
本文提出了一种基于注意力机制的深度说话人嵌入的实验研究，该机制已被发现是说话人识别中一种强大的表示学习技术。在这个框架中，一个注意力模型作为一个帧选择器，计算每个帧级特征向量的注意力权重，根据该权重，在说话人嵌入网络的池化层产生一个话语级表示。一般来说，注意力模型与说话人嵌入网络一起在单个目标函数上训练，因此这两个组件彼此紧密结合。在本文中，我们考虑的可能性，注意力模型可能会从它的父网络解耦，并协助其他说话人嵌入网络，甚至传统的i向量提取器。这种可能性是通过一系列的实验证明了NIST的说话人识别评估（SRE）的任务，9.0%的EER减少和3.8%的min_Cprimary减少时，注意力的权重应用到i向量提取。另一个实验表明，基于DNN的柔和语音活动检测（VAD）可以有效地与注意力机制相结合，从而在深度说话人嵌入和i向量系统中分别将minCprimary进一步降低6.6%和1.6%。
2018-09-25 cs.SD eess.AS
End-to-end Online Speaker Diarization with Target Speaker Tracking
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
提出一种在线目标说话人语音活动检测系统，无需聚类先验知识，通过自生成嵌入实现实时说话人日志，在DIHARD III和AliMeeting上优于离线方法，并扩展到多通道数据。
2023-10-12 cs.SD eess.AS
Adapting Speaker Embeddings for Speaker Diarisation
Naver Corporation（NAVER公司）
本文的目标是适应扬声器嵌入解决问题的扬声器diarisation。说话人嵌入的质量对说话人拨号系统的性能至关重要。尽管如此，在该领域中的先前工作已经直接使用了仅被设计为在说话人验证任务上有效的嵌入。在本文中，我们提出了三种技术，可以用来更好地适应diarisation的扬声器嵌入：降维，基于注意力的嵌入聚合，和非语音聚类。在各种具有挑战性的数据集上进行了广泛的实验。结果表明，所有这三种技术都对Diarisation系统的性能做出了积极贡献，在基线上的Diarisation错误率方面平均相对改善了25.07%。
2021-04-07 cs.LG cs.SD eess.AS
Speaker Embedding Extraction with Phonetic Information
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
说话人嵌入在许多说话人确认任务中取得了令人满意的结果。语音信息作为语音的重要组成部分，在说话人嵌入提取中很少被考虑。本文将语音信息引入到基于x向量结构的说话人嵌入提取中。提出了语音矢量和多任务学习两种方法。在Fisher数据集上，我们的最佳系统在EER中比原始x向量方法高出20%，在minDCF 08和minDCF 10中分别高出15%和15%。在NIST SRE 10上进行的实验进一步验证了所提方法的有效性。
2018-06-14 cs.SD eess.AS
DNN-based Speaker Embedding Using Subjective Inter-speaker Similarity for Multi-speaker Modeling in Speech Synthesis
The University of Tokyo（东京大学）
本文提出了一种基于深度神经网络（DNN）的主观说话人间相似性的说话人嵌入新算法。尽管诸如$d$向量的常规的基于DNN的说话者嵌入可以应用于语音合成中的多说话者建模，但是它与主观说话者间相似性不相关，并且对于其语音话语不包括在训练数据中的开放式说话者来说不一定是适当的说话者表示。我们使用通过大规模主观评分获得的说话人间相似性矩阵，提出了两种基于DNN的说话人嵌入模型的训练算法。一种是基于相似向量嵌入，训练模型预测相似矩阵的向量作为说话人表示。另一种是基于相似矩阵嵌入，训练模型使相似矩阵与$d$ -向量的Gram矩阵之间的Frobenius范数平方最小，即，从$d$向量导出的说话者间相似性。我们众包了153名日本女性说话人的说话人间相似性得分，实验结果表明，我们的算法学习的说话人嵌入与主观相似性高度相关。我们还将所提出的说话人嵌入应用于基于DNN的语音合成中的多说话人建模，并揭示了所提出的相似性向量嵌入提高了开放式说话人的合成语音质量，其语音话语在训练过程中是不可见的。
2019-07-19 cs.LG cs.SD eess.AS
Online Target Speaker Voice Activity Detection for Speaker Diarization
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）；Lenovo Research（联想研究院）
本文提出了一种在线目标说话人语音活动检测系统的说话人日记任务，它不需要从基于聚类的日记系统的先验知识，以获得目标说话人嵌入。首先，我们采用一个基于ResNet的前端模型来提取信号的每个未来块的帧级扬声器嵌入。接下来，我们根据这些帧级说话人嵌入和先前估计的目标说话人嵌入来预测每个说话人的检测状态。然后，通过根据当前块中的预测聚合这些帧级说话人嵌入来更新目标说话人嵌入。我们迭代地提取每个块的结果，并更新目标说话人嵌入，直到到达信号的末尾。在AliMeeting数据集上的实验结果表明，该方法优于基于离线聚类的日志化系统。
2022-07-13 cs.SD eess.AS eess.SP
S-vectors and TESA: Speaker Embeddings and a Speaker Authenticator Based on Transformer Encoder
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最流行的说话人嵌入之一是x向量，它是从一个架构中获得的，该架构逐渐构建了一个更大的时间上下文。在本文中，我们提出了从Transformer的编码器训练的说话人分类来获得说话人嵌入。Transformer的编码器建立在自注意的基础上，它关注整个话语的所有特征，可能更适合于捕捉话语中的说话人特征。我们将从所提出的说话人分类模型中获得的说话人嵌入称为s向量，以强调它们是从严重依赖于自我注意力的架构中获得的。通过实验，我们证明了s-向量比x-向量表现得更好。除了s-向量，我们还提出了一个新的架构的基础上Transformer的编码器的说话人验证作为替代说话人验证的基础上，传统的概率线性判别分析（PLDA）。这种架构的灵感来自于Transformers（BERT）的双向编码器表示的下一个句子预测任务，我们馈送两个话语的s向量来验证它们是否属于同一个说话者。我们将这种架构命名为Transformer编码器扬声器扬声器阵列（TESA）。实验结果表明，TESA的s-向量的性能优于传统的基于PLDA的说话人确认的s-向量。
2021-12-12 cs.SD eess.AS
M-Vec: Matryoshka Speaker Embeddings with Flexible Dimensions
Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Data Science, Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；Fuxi AI Lab, NetEase Inc.（网易伏羲人工智能实验室）
提出Matryoshka说话人嵌入方法，支持动态提取子维度，在VoxCeleb数据集上验证了其能在极低维度（如8维）下保持高说话人验证性能，有效降低存储与计算成本。
2024-09-24 cs.SD eess.AS
Y-Vector: Multiscale Waveform Encoder for Speaker Embedding
University of Rochester（罗切斯特大学）；Beijing Institute of Technology（北京理工大学）
现有的文本无关说话人确认系统通常使用倒谱特征或滤波器组能量作为语音特征。最近的研究试图直接从原始波形中提取说话人嵌入，并显示出有竞争力的结果。在本文中，我们提出了一种新的多尺度波形编码器，使用三个卷积分支与不同的时间尺度计算语音特征的波形。然后，这些特征通过挤压和激励块、多级特征聚合器和时间延迟神经网络（TDNN）来处理以计算说话人嵌入。我们表明，建议的嵌入优于现有的原始波形为基础的说话人嵌入说话人确认的大幅度。对学习滤波器的进一步分析表明，多尺度编码器在其不同尺度下关注不同的频段，同时产生比任何单尺度对应物更平坦的总体频率响应。
2021-06-09 cs.SD eess.AS
Contrastive Speaker Embedding With Sequential Disentanglement
The Hong Kong Polytechnic University（香港理工大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出将解耦序列变分自编码器（DSVAE）引入 SimCLR 对比学习框架，以去除语音中的语言内容因素，从而学习内容不变的说话人嵌入，并在 VoxCeleb1-test 上验证其优于 SimCLR。
2023-09-23 cs.SD eess.AS
Speaker diarization with session-level speaker embedding refinement using graph neural networks
Microsoft（微软）
深度说话人嵌入模型通常被用作说话人日记系统的构建块;然而，说话人嵌入模型通常根据在训练数据上定义的全局损失来训练，这对于在特定会议会话中局部区分说话人来说可能是次优的。在这项工作中，我们提出了第一次使用图神经网络（GNNs）的扬声器diarization问题，利用GNN细化扬声器嵌入本地使用每个会话内的语音段之间的结构信息。由预训练模型提取的说话人嵌入被重新映射到一个新的嵌入空间，在这个空间中，单个会话中的不同说话人被更好地分离。通过最小化由细化嵌入构建的亲和矩阵与地面真实邻接矩阵之间的差异，以监督的方式训练模型进行连锁预测。然后在细化嵌入的顶部应用谱聚类。我们表明，改进的说话人嵌入的聚类性能优于原始嵌入显着的模拟和真实的会议数据，我们的系统实现了国家的最先进的结果在NIST SRE 2000 CALLHOME数据库。
2020-05-22 cs.LG cs.SD eess.AS
Rethinking Speaker Embeddings for Speech Generation: Sub-Center Modeling for Capturing Intra-Speaker Diversity
Center for Language and Speech Processing (CLSP), Johns Hopkins University, USA（语言与语音处理中心（CLSP），约翰霍普金斯大学，美国）；Center for Robust Speech Systems (CRSS), The University of Texas at Dallas, USA（稳健语音系统中心（CRSS），德克萨斯大学达拉斯分校，美国）；Language Technologies Institute (LTI), Carnegie Mellon University, USA（语言技术研究所（LTI），卡内基梅隆大学，美国）
该研究针对语音生成中说话人嵌入的设计缺陷，提出子中心建模框架，在零样本语音转换任务中提升了可懂度、音高变异性与自然度，同时保留了说话人验证性能。
2026-08-31 cs.LG eess.AS
ProPS: Prompted Profile Synthesis for Natural Language-Conditioned Speaker Embedding Distributions
Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）
针对现有说话人嵌入提取器仅具备描述性不具备生成性的问题，提出ProPS框架，基于自然语言提示生成符合指定属性的说话人嵌入分布，支撑可控语音生成任务。
2026-09-14 cs.AI eess.AS
Attentive Statistics Pooling for Deep Speaker Embedding
NEC Corporation（日本电气股份有限公司）；Tokyo Institute of Technology（东京工业大学）
本文提出了文本无关说话人验证中深层说话人嵌入的注意统计池。在传统的说话人嵌入中，帧级特征在单个话语的所有帧上被平均以形成话语级特征。我们的方法利用注意力机制，给不同的权重，不同的帧，不仅产生加权平均值，但也加权标准差。通过这种方式，它可以更有效地捕捉扬声器特性的长期变化。对NIST SRE 2012和VoxCeleb数据集的评估表明，与传统方法相比，它分别将等误差率（EER）降低了7.5%和8.1%。
2019-02-25 cs.SD eess.AS
Analyzing And Improving Neural Speaker Embeddings for ASR
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
神经说话人嵌入通过DNN模型对说话人的语音特征进行编码，并普遍用于说话人验证任务。然而，很少有研究调查使用的神经扬声器嵌入的ASR系统。在这项工作中，我们提出了我们的努力w.r.t集成神经扬声器嵌入到一个基于conformer的混合HMM ASR系统。对于ASR，我们改进的嵌入提取管道与加权简单相加集成方法相结合，使x向量和c向量达到与i向量相当的性能。我们进一步比较和分析不同的说话人嵌入。我们提出了我们的声学模型的改进，通过从newbob学习率调度切换到一个周期的学习时间表，从而在Switchboard上减少了约3%的相对WER，另外减少了17%的整体训练时间。通过进一步添加神经说话人嵌入，我们在Hub 5 '00上获得了额外的~3%的相对WER改进。我们最好的基于Conformer的混合ASR系统，具有扬声器嵌入，在Hub 5 '00和Hub 5'01上实现了9.0%的WER，并在SWB 300 h上进行了训练。
2023-09-20 cs.CL eess.AS stat.ML
