Factorization of Discriminatively Trained i-vector Extractor for Speaker Recognition
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在这项工作中，我们继续在我们的研究的i-向量提取器的说话人确认（SV），我们优化其结构，快速和有效的判别训练。我们的动机是由原始生成i-vector模型的大量参数引起的计算和内存需求。我们的目标是保持原来的生成模型的力量，并在同一时间集中的模型对说话人相关信息的提取。我们表明，它是可能的表示一个标准的生成的i-向量提取器的模型具有显着更少的参数，并获得类似的性能SV任务。我们可以通过区分性训练来进一步改进这个紧凑的模型，并获得i向量，这些i向量在代表不同声学域的各种SV基准上具有更好的性能。
2019-04-05 cs.SD eess.AS
Deep CNN based feature extractor for text-prompted speaker recognition
ITMO University（ITMO大学）；STC-innovations Ltd.（STC创新有限公司）；STC Ltd.（STC有限公司）
深度学习在说话人确认领域仍然不是一个非常常用的工具。我们研究了深度卷积神经网络在文本提示的说话人验证任务中的性能。提示的密码短语被分割成单词状态-即数字-以单独测试每个数字发音。我们训练一个单一的高级特征提取器的所有状态，并使用余弦相似性度量评分。我们网络的关键特征是Max-Feature-Map激活函数，它充当嵌入式特征选择器。通过使用多任务学习方案来训练高级特征提取器，我们能够在质量方面超越经典基线系统，并在这种新手方法中取得了令人印象深刻的结果，在RSR 2015评估集上获得了2.85%的EER。建议和基线系统的融合改善了这一结果。
2018-03-13 cs.CL cs.LG cs.SD
DT-SV: A Transformer-based Time-domain Approach for Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
说话人确认的目的是确定测试语音中说话人的身份是否与参考语音相同。在过去的几年里，使用深度神经网络为SV系统提取说话人嵌入已经成为主流。近年来，不同的注意机制和Transformer网络在SV领域得到了广泛的研究。然而，直接在SV中使用原始的Transformer可能会在输出特征上产生帧级信息浪费，这可能会导致说话人嵌入容量和区分度的限制。因此，我们提出了一种方法来获得话语级说话人嵌入通过Transformer架构，使用一种新的损失函数命名为分流损失集成不同的Transformer层的特征信息。其中，分流损失旨在将帧级特征聚合到话语级表示中，并且可以方便地集成到Transformer中。此外，我们还介绍了一种可学习的mel-fbank能量特征提取器，称为时域特征提取器，它比标准mel-fbank提取器更精确，更有效地计算mel-fbank特征。结合分流损失和时域特征提取器，提出了一种新的基于变换器的时域SV模型（DT-SV），具有更快的训练速度和更高的精度。实验结果表明，我们提出的模型可以实现更好的性能与其他模型相比。
2022-05-26 cs.LG cs.SD eess.AS
Multi-target Extractor and Detector for Unknown-number Speaker Diarization
提出统一神经框架，结合 z-vector 提取器与时间-说话人上下文建模器，在未知说话人数量下逐帧检测说话人，并在 CALLHOME 及 2–7 人重叠场景中显著降低日志错误率。
2023-05-22 cs.MM cs.SD eess.AS
How to Improve Your Speaker Embeddings Extractor in Generic Toolkits
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）
近年来，使用深度神经网络提取的说话人嵌入成为说话人确认的最新方法。在本文中，我们的目标是促进其实现一个更通用的工具包比Kaldi，我们预计，使进一步改进的方法。我们研究了训练中的几个技巧，例如归一化输入特征和合并统计量的影响，防止过拟合的不同方法以及可用于代替整流器线性单元的替代非线性。此外，我们研究了TDNN和CNN之间的性能差异，以及两种类型的注意力机制之间的性能差异。在Speaker in the Wild、SRE 2016和SRE 2018数据集上的实验结果证明了该方法的有效性。
2018-11-05 cs.CL cs.SD eess.AS
Focus on the Sound around You: Monaural Target Speaker Extraction via Distance and Speaker Information
Tsinghua University（清华大学）；Xiaomi Inc.（小米公司）
针对强混响噪声环境下目标说话人提取难获取辅助说话人信息的问题，提出结合距离信息、采用说话人嵌入自注册和全子带建模的近场声音提取器，跨数据集实验验证其有效性和优异性能。
2023-10-07 cs.SD eess.AS
A Teacher-Student approach for extracting informative speaker embeddings from speech mixtures
Paderborn University（帕德博恩大学）；Toshiba Cambridge Research Laboratories（东芝剑桥研究实验室）
本文提出一种基于师生训练的单声道神经说话人嵌入提取方法，从语音混合信号中直接提取各说话人嵌入，在说话人存在性验证任务上显著优于传统方法，并达到与多通道空间方法相当的性能。
2023-09-19 cs.SD eess.AS
Joint Training of Speaker Embedding Extractor, Speech and Overlap Detection for Diarization
Brno University of Technology（布尔诺理工大学）；NTT Corporation（NTT公司）
提出联合训练模型同时输出说话人嵌入、VAD和OSD，以低推理时间达到竞争性能，简化流水线，迈向端到端聚类方法。
2024-11-04 cs.SD eess.AS
A comparative study of several parameterizations for speaker recognition
Escola Universitària Politècnica de Mataró（马塔罗理工学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文详细研究了几种参数化方法在说话人确认和识别中的鲁棒性。我们研究了几种不匹配条件：不同的录音会话、麦克风和不同的语言（它是从一组双语扬声器中获得的）。本研究揭示了几个参数化的组合可以提高在所有情况下的鲁棒性的任务，识别和验证。此外，两种不同的方法进行了评估：矢量量化，和协方差矩阵的算术谐波球度测量。
2022-02-24 cs.LG cs.SD eess.AS
A framework of text-dependent speaker verification for chinese numerical string corpus
University of Chinese Academy of Sciences（中国科学院大学）
针对文本相关说话人验证易受朗读节奏干扰的问题，提出解耦说话人与文本信息的端到端系统，结合新数据集与增强技术，在两个数据集上实现显著EER降低。
2024-05-21 cs.SD eess.AS
On deep speaker embeddings for text-independent speaker recognition
ITMO University（ITMO大学）；STC-innovations Ltd.（STC创新有限公司）
我们研究了深度神经网络在与文本无关的说话人识别任务中的性能。我们证明，在分类神经网络的最后一个分类层使用角softmax激活，而不是一个简单的softmax激活允许训练一个更广义的判别扬声器嵌入提取器。余弦相似度是在该嵌入空间中进行说话人确认的有效度量。我们还解决了选择一个架构的提取器的问题。我们发现，具有残留帧级连接的深度网络优于宽但相对较浅的架构。本文还提出了一些改进以前的基于DNN的提取器系统，以提高说话人识别的准确性。我们表明，区别训练的相似性度量学习方法优于标准的LDA-PLDA方法作为嵌入后端。在Speakers in the Wild和NIST SRE 2016评估集上获得的结果证明了所提出的系统在处理接近现实生活条件时的鲁棒性。
2018-04-26 cs.CL cs.SD eess.AS
The Royalflush System for VoxCeleb Speaker Recognition Challenge 2022
Hithink RoyalFlush AI Research Institute（华创同花顺人工智能研究院）
在本技术报告中，我们描述了Royalflush为VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）提交的申请。我们提交的文件包含轨道1，这是监督说话人验证和轨道3，这是半监督说话人验证。对于音轨1，我们开发了一个功能强大的基于U-Net的对称架构的说话人嵌入提取器。在验证集上，所提出的系统的EER和MinDCF分别达到2.06%和0.1293。与现有的ECAPA-TDNN相比，EER和MinDCF分别提高了20.7%和22.70%。对于音轨3，我们采用源域监督和目标域自监督的联合训练，得到一个说话人嵌入提取器。随后的聚类过程可以获得目标域伪说话人标签。我们使用所有源和目标域数据以监督的方式调整说话人嵌入提取器，它可以充分利用这两个域的信息。此外，可以重复聚类和监督领域自适应，直到性能收敛于验证集。我们最终提交的是10个模型的融合，在验证集上实现了7.75%的EER和0.3517 MinDCF。
2022-09-20 cs.AI cs.SD eess.AS
NWPU-ASLP System for the VoicePrivacy 2022 Challenge
Northwestern Polytechnical University（西北工业大学）
本文介绍了用于VoicePrivacy 2022挑战赛的NWPU-ASLP说话人匿名系统。我们的提交不涉及额外的自动说话人验证（ASV）模型或x向量池。我们的系统包括四个模块，包括特征提取器，声学模型，匿名化模块，和神经声码器。首先，特征提取器从输入语音信号中提取语音后验图（PPG）和音高。然后，我们从扬声器查找表（LUT）中保留一个伪扬声器ID，该ID随后被馈送到扬声器编码器中以生成不对应于任何真实扬声器的伪扬声器嵌入。为了确保伪说话人是可区分的，我们进一步平均随机选择的说话人嵌入，并将其与伪说话人嵌入加权连接，以生成匿名说话人嵌入。最后，声学模型从匿名说话者嵌入输出匿名化的梅尔频谱图，并且HifiGAN的修改版本将梅尔频谱图转换为匿名化的语音波形。实验结果表明，我们提出的匿名系统的有效性。
2022-09-24 cs.SD eess.AS
Unleashing the Unused Potential of I-Vectors Enabled by GPU Acceleration
NEC Corporation（日本电气股份有限公司）；University of Eastern Finland（东芬兰大学）
说话人嵌入是连续值向量表示，允许使用简单的几何运算轻松比较说话人的声音。其中，i-vector和x-vector已经成为说话人嵌入的主流方法。在本文中，我们说明了使用现代计算平台来利用GPU加速的好处来提取i向量。特别是，与实时的相比，我们在帧后验计算中实现了3000倍的加速，并且与Kaldi工具包的CPU基线相比，在训练i向量提取器中实现了25倍的加速。这种显著的加速允许探索迄今为止不可能的想法。特别是，我们表明，它是有益的，以更新通用背景模型（UBM）和重新计算帧对齐，同时训练的i向量提取器。此外，我们能够比以前更严格地研究i-vector提取器的不同变体。在这个过程中，我们揭示了Kaldi的i向量提取器的一些未记录的细节，并表明它优于标准制定的利润率为1至2%时，测试与VoxCeleb扬声器验证协议。我们所有的发现都是通过对随机开始的多个运行的结果进行总体平均来断言的。
2019-06-20 cs.LG cs.SD eess.AS
Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems
ITMO University（ITMO大学）；STC-innovations Ltd.（STC-innovations有限公司）
深度说话人嵌入提取器已经成为说话人验证领域的新的最先进的系统。然而，这种系统的验证分数校准的问题往往仍然是焦点。一个不相关的分数校准导致严重的问题，特别是在未知的声学条件的情况下，即使我们使用一个强大的扬声器验证系统在无阈值的指标。本文对几种分数校准方法进行了研究：基于逻辑回归模型的经典方法;最近提出的幅度估计网络MagnetO，其使用来自训练的深度说话人提取器的池化层的激活，以及基于单独的尺度和偏移预测神经网络的这种方法的推广。本研究的另一个重点是估计分数归一化对系统校准性能的影响。所得结果表明，有没有严重的问题，如果在域开发数据用于校准调谐。否则，在良好的校准性能和无阈值的系统质量之间的权衡出现。在大多数情况下，使用自适应s-范数有助于稳定分数分布并提高系统性能。同时，一些实验表明，新的方法在几个数据集上的分数稳定有其局限性。
2022-03-28 cs.LG cs.SD eess.AS
Rethinking Session Variability: Leveraging Session Embeddings for Session Robustness in Speaker Verification
NAVER Cloud Corporation（NAVER云公司）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对说话人验证中的会话/信道变异问题，本文在固定说话人嵌入提取器上训练辅助会话嵌入网络，并用会话相似度补偿说话人分数，在不重训提取器的情况下提升鲁棒性。
2023-09-26 cs.SD eess.AS
Designing an Effective Metric Learning Pipeline for Speaker Diarization
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
最先进的说话者日志化系统利用来自外部数据的知识，以预先训练的距离度量的形式，来有效地确定相对于看不见的数据的说话者身份。然而，最近的大部分焦点都集中在选择适当的特征提取器上，从预先训练的$i-$向量到通过不同的序列建模架构（例如1D-CNN，LSTM，注意力模型）学习的表示，同时采用现成的度量学习解决方案。在本文中，我们认为，无论特征提取器，它是至关重要的是要仔细设计一个度量学习管道，即损失函数，采样策略和离散的本地边缘参数，建立强大的日志化系统。此外，我们建议采用细粒度的验证过程，以获得度量学习管道的泛化能力的综合评估。为此，我们测量了不同语言使用者的日记化性能，以及录音中使用者数量的变化。使用实证研究，我们提供了有趣的见解不同的设计选择的有效性，并提出建议。
2018-11-01 cs.LG cs.SD eess.AS
Speaker Characterization by means of Attention Pooling
TALP Research Center（TALP研究中心）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
本文将 Double Multi-Head Self-Attention 池化架构从说话人识别扩展到情感识别、性别分类和 COVID-19 检测等说话人表征任务，并取得优异实验结果。
2024-05-07 cs.SD eess.AS
Improving Multi-Scale Aggregation Using Feature Pyramid Module for Robust Speaker Verification of Variable-Duration Utterances
KAIST（韩国科学技术院）
目前，最广泛使用的说话人验证方法是深度说话人嵌入学习。在这种方法中，我们通过池化从说话人特征提取器的最后一层提取的单尺度特征来获得说话人嵌入向量。多尺度聚合（MSA），它利用多尺度的特征提取器的不同层的功能，最近被引入，并显示出优越的性能为可变持续时间的话语。为了提高对任意时长语音的鲁棒性，本文通过引入特征金字塔模块对MSA进行了改进。该模块通过自上而下的路径和横向连接增强了多个层的特征的说话人区分信息。我们提取说话人嵌入使用的增强功能，包含丰富的说话人信息与不同的时间尺度。在VoxCeleb数据集上的实验表明，该模块以较少的参数改进了以往的MSA方法。它还实现了更好的性能比国家的最先进的方法为短和长的话语。
2020-08-06 cs.CL cs.LG cs.SD
Double Multi-Head Attention for Speaker Verification
TALP Research Center, Department of Signal Theory
大多数用于说话人验证的最先进的深度学习系统都基于说话人嵌入提取器。这些架构通常由特征提取器前端和池化层组成，以将可变长度的话语编码成固定长度的说话者向量。在本文中，我们提出了双多头注意力池，它扩展了我们以前的方法的基础上自我多头注意力。在池化层中增加了一个额外的自注意层，它将多头注意产生的上下文向量汇总为一个唯一的说话者表示。该方法通过对每个头部捕获的信息赋予权重来增强池化机制，从而创建更具鉴别力的说话人嵌入。我们使用VoxCeleb2数据集评估了我们的方法。我们的研究结果表明，6.09%和5.23%的EER相比，自我注意力池和自我多头注意力，分别。根据所获得的结果，双多头注意力已被证明是一种很好的方法，可以有效地选择基于CNN的前端从语音信号中捕获的最相关的特征。
2021-01-09 cs.SD eess.AS
ACA-Net: Towards Lightweight Speaker Verification using Asymmetric Cross Attention
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
提出ACA-Net，通过非对称交叉注意力替代时间池化，在WSJ0-1talker上以1/5参数实现5% EER相对改进，优于强基线。
2023-05-20 cs.LG cs.SD eess.AS
A text-independent speaker verification model: A comparative analysis
语音生物识别领域最紧迫的挑战是选择最有效的说话人识别技术。每个人的声音都是独特的，像发音器官，口音和发音的物理差异等因素导致了问题的复杂性。在本文中，我们探讨了说话人识别过程中每个块中可用的各种方法，目的是确定可用于获得精确结果的最佳技术。我们在文本无关语料库上研究了这一结果。我们使用MFCC（梅尔频率倒谱系数），LPCC（线性预测倒谱系数）和PLP用于特征提取的感知线性预测算法（主成分分析）和tSNE进行降维和SVM（支持向量机），前馈，最近邻法和决策树算法对说话人识别系统中的分类块进行分类，并对每个分类块进行比较分析，技术
2017-12-04 cs.SD eess.AS
Disentangled Representation Learning for Environment-agnostic Speaker Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Naver Cloud Corporation（Naver云公司）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于特征解耦的环境无关说话人识别框架，用自编码器分离说话人相关特征与环境残差信息，可兼容任意现有嵌入提取器，实验验证最高提升16%性能且代码开源。
2024-06-20 cs.SD eess.AS
ESPnet-SPK: full pipeline speaker embedding toolkit with reproducible recipes, self-supervised front-ends, and off-the-shelf models
Carnegie Mellon University（卡内基梅隆大学）；Apple（苹果公司）
本文提出全流程说话人嵌入工具包ESPnet-SPK，提供多种模型、模块化设计、预训练模型、自监督特征集成与可复现配方，并在Vox1-O上达到0.39% EER。
2024-06-13 cs.AI cs.SD eess.AS
Speaker Contrastive Learning for Source Speaker Tracing
Northwestern Polytechnical University（西北工业大学）；China Telecom（中国电信）；School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
针对语音转换攻击对说话人验证系统的威胁，本研究提出基于说话人对比学习的源说话人溯源方法，通过说话人对比损失学习转换语音中的源说话人表征，在IEEE SLT2024源说话人溯源挑战赛中以16.788%的最低EER获得第一名。
2024-09-16 cs.SD eess.AS
Learnable MFCCs for Speaker Verification
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛里亚实验室）；Université de Lorraine（洛林大学）；School of Computing（计算机学院）；University of Eastern Finland（东芬兰大学）
提出了一种可学习的梅尔频率倒谱系数（MFCC）前端架构，用于基于深度神经网络（DNN）的自动说话人确认。我们的架构保留了基于MFCC的功能的简单性和可解释性，同时允许模型灵活地适应数据。在实践中，我们制定数据驱动版本的四个线性变换的标准MFCC提取器-窗口，离散傅立叶变换（DFT），梅尔滤波器组和离散余弦变换（DCT）。结果报告达到6.7\%（VoxCeleb 1）和9.7\%（SITW）的相对改善方面的平等出错率（EER）从静态MFCC，没有额外的调整工作。
2021-02-20 cs.LG cs.SD eess.AS
Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft（微软）；University of Michigan（密歇根大学）
针对在线音视频目标说话人提取的听感质量与前瞻限制问题，提出AV-PVQE方法，通过个性化语音增强模型引入口型特征并联合微调，将目标混淆率从46%降至1.6%，延迟仅20毫秒，在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
Magnitude-aware Probabilistic Speaker Embeddings
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
最近，超球面嵌入已经成为人脸和语音识别的主要技术。具体来说，学习欧几里得空间向量嵌入以在其方向上编码特定于人的信息，而忽略幅度。然而，最近的研究表明，深度神经网络提取的嵌入的大小可能表明相应输入的质量。本文探讨了嵌入的质量评估和分布外检测相关的幅度的性质。我们提出了一种新的概率说话人嵌入提取器，使用嵌入幅度编码的信息，并利用它在说话人验证管道。我们还提出了几种质量感知的日记化方法，并将这些方法中的幅度。我们的研究结果表明，无论是在扬声器验证和日记任务的幅度不可知的基线显着改善。
2022-10-23 cs.LG cs.SD eess.AS
The BUCEA Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
Beijing University of Civil Engineering and Architecture（北京建筑大学）
本文介绍了BUCEA扬声器日记系统为2022 VoxCeleb扬声器识别挑战赛。Voxsrc-22提供VoxConverse的开发集和测试集，我们主要使用VoxConverse的测试集进行参数调整。该系统包括语音活动检测、说话人嵌入提取、聚类方法、重叠语音检测和结果融合等模块。在不考虑重叠的情况下，采用Dover-Rank（Diarization Output Voting Error Reduction）方法进行系统融合，最后进行重叠语音的检测和处理。我们最好的系统在VoxSRC 2022评估集上分别实现了5.48%的日记出错率（DER）和32.1%的Jaccard出错率（JER）。
2022-09-20 cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation（腾讯公司）
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统，通过联合训练编码器与解码器并利用预训练模型初始化，有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）；Kriston AI Lab（Kriston AI实验室）
说话人提取的目的是模仿人类的选择性听觉注意，从多说话人环境中提取目标说话人的声音。通常在频域中进行提取，并从提取的幅度谱和估计的相位谱重建时域信号。然而，这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发，我们提出了一种时域说话人提取网络（SpEx），它将混合语音转换为多尺度嵌入系数，而不是将语音信号分解为幅度和相位谱。通过这种方式，我们避免了相位估计。SpEx网络由四个网络组件组成，即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说，语音编码器将混合语音转换成多尺度嵌入系数，说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入，并估计接收掩码。最后，语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明，在开放评价条件下，该算法在信失真比（SDR）、尺度不变SDR（SI-SDR）和语音质量感知评价（PESQ）方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
Multi-stream Convolutional Neural Network with Frequency Selection for Robust Speaker Verification
Key Laboratory of Technology in Rural Water Management of Zhejiang Province（浙江省农村水利技术重点实验室）；College of Electric Engineering（电气工程学院）；Zhejiang University of Water Resources and Electric Power（水利与电力学院）
针对传统单流说话人验证系统采用全频特征的局限，提出带频率选择的多流CNN框架，通过分多子带并行处理与融合增强鲁棒性，在VoxCeleb上minDCF相对提升20.53%。
2025-08-31 cs.LG cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
Supervised Hierarchical Clustering using Graph Neural Networks for Speaker Diarization
Indian Institute of Science（印度科学学院）
用于说话人日记化的常规方法涉及将音频文件窗口化为短片段以提取说话人嵌入，随后是嵌入的无监督聚类。这种多步骤方法为每个片段生成扬声器分配。在本文中，我们提出了一种新的监督层次gRaph聚类算法（SHARC）的说话人日记，我们引入了一个层次结构，使用图神经网络（GNN）进行监督聚类。监督允许模型更新表示，并直接提高聚类性能，从而实现一个单步方法的日志。在所提出的工作中，输入段嵌入被视为一个图的节点，与节点之间的相似性得分对应的边的权重。我们还提出了一种方法来联合更新嵌入提取器和GNN模型，以执行端到端的扬声器日记（E2 E-SHARC）。在推理过程中，使用节点密度和边缘存在概率进行分层聚类，以合并段直到收敛。在日志化实验中，我们说明了所提出的E2 E-SHARC方法在AMI和Voxconverse等基准数据集上分别比基线系统实现了53%和44%的相对改进。
2023-02-24 cs.LG cs.SD eess.AS
Mitigating Non-Target Speaker Bias in Guided Speaker Embedding
针对引导式说话人嵌入框架在低重叠场景存在性能下降的问题，提出利用目标说话人活动线索改进全局统计量模块的方法，提升了多场景下的说话人验证及多数据集上的说话人分割性能。
2025-06-14 cs.SD eess.AS
Robust Speaker Recognition with Transformers Using wav2vec 2.0
STC Ltd.（STC有限公司）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
无监督语音表示学习的最新进展为各种类型的语音处理任务发现了新的方法并提供了新的最先进的技术。本文提出了一种使用wav2vec 2.0深度语音表示进行说话人识别任务的研究。所提出的wav2vec 2.0的微调过程具有简单的TDNN和使用附加角裕度损失的统计池后端，可以获得在不同领域中通用的深度说话人嵌入提取器。它的结论是，对比预测编码预训练方案有效地利用了未标记数据的力量，从而打开了大门，强大的基于变压器的说话人识别系统。在这项研究中获得的实验结果表明，微调可以在相对较小的集合和一个干净的数据版本。在微调期间使用数据增强在说话者验证中提供额外的性能增益。在这项研究中，我们对说话人识别系统进行了广泛的验证：VoxCeleb1清洁测试集，NIST SRE 18开发集，NIST SRE 2016和NIST SRE 2019评估集，VOiCES评估集，NIST 2021 SRE和CTS挑战集。
2022-03-28 cs.LG cs.SD eess.AS
Speaker Embeddings With Weakly Supervised Voice Activity Detection For Efficient Speaker Diarization
IDLab, Department of Electronics；Information Systems Ghent University - imec, Belgium
针对现有说话人分割依赖外部VAD带来开销的问题，提出利用说话人嵌入提取器的注意力作为弱监督内部VAD，用ECAPA2嵌入同时实现VAD与嵌入提取，在多个基准上取得SOTA性能。
2024-05-15 cs.SD eess.AS
DropClass and DropAdapt: Dropping classes for deep speaker representation learning
最近许多关于深度说话人嵌入的工作都在大型分类任务上训练他们的特征提取网络，区分训练集中的所有说话人。从经验上讲，这已被证明可以产生说话者区分嵌入，即使是看不见的说话者。然而，目前尚不清楚这是否是训练泛化良好的嵌入的最佳方法。这项工作提出了两种学习嵌入的方法，基于在训练过程中放弃类的概念。我们证明了这两种方法可以在说话人确认任务中产生性能增益。第一个提出的方法，DropClass，通过周期性地从训练数据和整个训练过程中的输出层中删除类的随机子集，从而导致在许多不同的分类任务上训练的特征提取器。结合附加的角度裕度损失，该方法可以在VoxCeleb上的强基线上在相等出错率（EER）方面产生7.9%的相对改善。第二种方法，DropAdapt，是一种以无监督的方式将训练模型适应一组注册发言人的方法。这是通过仅对那些当注册发言者用作输入时产生高概率预测的类微调模型来执行的，同样也从输出层丢弃相关行。这种方法在VoxCeleb上产生了13.2%的EER相对改善。这篇论文的代码已经公开。
2020-02-02 cs.LG cs.SD eess.AS
A Comparative Study of Modular and Joint Approaches for Speaker-Attributed ASR on Monaural Long-Form Audio
Microsoft Corp.（微软公司）
说话人属性自动语音识别（SA-ASR）是从多个说话人的录音中识别“谁说了什么”的任务。SA-ASR系统通常由语音分离、说话人日志化和ASR等多个模块组成。另一方面，考虑到联合优化，最近提出了一种端到端（E2 E）SA-ASR模型，并在仿真数据上取得了令人满意的结果。在本文中，我们提出了我们最近的研究比较真实的单声道录音，这种模块化和联合的方法对SA-ASR。我们通过利用大规模训练数据，包括7.5万小时的ASR训练数据和用于说话人表示学习的VoxCeleb语料库，为模块化和联合方法开发最先进的SA-ASR系统。我们还提出了一个新的管道，执行E2 E SA-ASR模型后，扬声器聚类。在AMI会议语料库上的评价表明，经过少量的实际数据微调后，联合系统的准确率比最好的模块系统提高了8.9- 29.9%，而模块系统在微调前的准确率更高。我们还进行了各种误差分析，以显示单耳SA-ASR的剩余问题。
2021-09-17 cs.CL cs.SD eess.AS
Microsoft Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2020
Microsoft（微软公司）
本文介绍了用于野外单声道多人录音的Microsoft扬声器日记系统，该系统在VoxCeleb说话人识别挑战赛（VoxSRC）2020的日记轨道上进行了评估。我们将首先解释我们的系统设计，以解决处理真实多说话者录音的问题。然后，我们提出的组件的细节，其中包括基于Res2Net的说话人嵌入提取器，符合者为基础的连续语音分离与泄漏滤波，和一个修改后的DOVER（缩写为Diarization Output Voting Error Reduction）方法系统融合。我们使用VoxSRCchallenge 2020提供的数据集对系统进行了评估，该数据集包含从YouTube收集的真实多人音频。我们的最佳系统在开发集和评估集上分别实现了3.71%和6.23%的日志错误率（DER），在挑战的日志跟踪中排名第一。
2020-10-23 cs.SD eess.AS
Speaker verification using end-to-end adversarial language adaptation
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）
在本文中，我们研究了使用对抗域自适应解决说话人识别语料库之间的语言不匹配的问题。在说话人确认的背景下，对抗域自适应方法的目的是最小化从源域和目标域（即语言）提取的话语级特征（即说话人嵌入）所遵循的分布之间的某些差异，同时保留其识别说话人的能力。用于提取话语级表示的神经架构使我们能够以端到端的方式应用对抗性自适应方法，并结合标准交叉熵损失对网络进行训练。我们研究了几种配置，例如在目标域上使用（伪）标签以及在特征提取器中使用域标签，并且我们在具有挑战性的NIST SRE 16和SRE 18基准测试上证明了我们的方法的有效性。
2018-11-06 cs.SD eess.AS
Tackling the Score Shift in Cross-Lingual Speaker Verification by Exploiting Language Information
Ghent University（根特大学）；imec（比利时微电子研究中心）
本文包含对IDLab提交给VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的跨语言说话人验证的挑战后性能分析。我们发现，目前的扬声器嵌入提取器一致低估扬声器内跨语言试验的相似性。因此，典型的训练和评分协议没有足够重视说话人内部语言变异的补偿。我们提出了两种技术来提高跨语言说话人确认的鲁棒性。首先，我们用小批量采样策略增强了我们之前提出的大间距微调（LM-FT）训练阶段，该策略增加了小批量中说话人内跨语言样本的数量。其次，我们在逻辑回归校准阶段加入语言信息。我们集成质量指标的基础上的软，硬决定的VoxLingua 107语言识别模型。在VoxSRC-21测试集上，所提出的技术比基线模型相对提高了11.7%，并在相应的挑战中获得了第三名。
2022-06-19 cs.SD eess.AS
Cross-Lingual Speaker Verification with Self-Supervised Pre-Trained Models
Ant Group（蚂蚁集团）
针对跨语言说话人验证的语言不匹配性能下降问题，利用自监督预训练模型提取通用声学特征训练解耦说话人嵌入网络，在TidyVoice2026基准上取得2.21%和2.99%的等错误率。
2026-10-09 cs.SD eess.AS
Speaker-Aware Mixture of Mixtures Training for Weakly Supervised Speaker Extraction
Peking University（北京大学）
主流的说话人提取研究多采用有监督的训练方法，很少考虑理想纯净语料的缺乏和通道失配问题。为此，我们提出了说话人感知混合训练（SAMoM），利用目标源，注册话语和目标估计之间的说话人身份的一致性来弱监督深度说话人提取器的训练。在SAMoM中，输入是通过混合不同的说话者感知混合物（SAM）来构建的，每个SAM包含多个说话者，其身份已知并且可以注册话语。通过注册话语通知，从输入中逐个提取目标语音，使得估计的目标能够根据身份一致性在混音后近似于原始SAM。此外，在具有一定量的清洁源的半监督设置中使用SAMoM使得能够在噪声场景中应用。在Libri 2 Mix上的大量实验表明，该方法在不访问任何干净源的情况下取得了令人满意的结果（11.06dB SI-SDRi）。通过域自适应，我们的方法在AISHELL-1的跨域评估中甚至优于监督框架。
2022-04-15 cs.SD eess.AS
Supervised attention for speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Naver Corporation（Naver公司）
最近提出的自注意池（SAP）在几个说话人识别系统中表现出良好的性能。在SAP系统中，上下文向量与特征提取器一起端到端地训练，其中上下文向量的作用是选择用于说话人识别的最具鉴别力的帧。然而，在某些情况下，SAP与时间平均池（TAP）基线相比表现不佳，这意味着在端到端培训中没有有效地学习注意力。为了解决这个问题，我们引入了以监督方式训练注意力机制的策略，该机制使用分类样本学习上下文向量。通过我们提出的方法，上下文向量可以被提升以选择信息量最大的帧。我们表明，我们的方法在各种实验环境中（包括短话语说话人识别）优于现有方法，并在VoxCeleb数据集上的现有基线上实现了有竞争力的性能。
2020-12-03 cs.SD eess.AS
EEND-DEMUX: End-to-End Neural Speaker Diarization via Demultiplexed Speaker Embeddings
Seoul National University（首尔大学）；Institute of New Media and Communications（新媒体与通信研究所）
提出 EEND-DEMUX 框架，通过解复用操作直接获得分离的说话人嵌入，并结合多头交叉注意力与三类约束损失，在 LibriMix 的固定及可变说话人数场景中持续提升说话人日志性能。
2023-12-11 cs.SD eess.AS
MC-SpEx: Towards Effective Speaker Extraction with Multi-Scale Interfusion and Conditional Speaker Modulation
Tsinghua University（清华大学）；Tencent（腾讯）；The Chinese University of Hong Kong（香港中文大学）
针对SpEx+对多尺度信息和说话人嵌入利用不足的问题，本文提出MC-SpEx说话人提取系统，通过设计多尺度融合器、交互掩码生成器及ConSM模块，在Libri2Mix数据集上实现了最先进的性能。
2023-06-28 cs.SD eess.AS
The SJTU System for Short-duration Speaker Verification Challenge 2021
Shanghai Jiao Tong University（上海交通大学）
本文介绍了SJTU系统在2021年短时间说话人确认（SdSV）挑战赛中的文本相关和文本无关任务。在这个挑战中，我们探索了不同的强嵌入提取器来提取鲁棒的说话人嵌入。对于文本无关的验证任务，本文提出了一种语言相关的自适应snorm算法，以提高跨语言验证条件下的系统性能。对于文本相关的任务，我们主要关注基于大规模域外数据预训练的模型的域内微调策略。为了提高不同说话人说出同一短语的区别，我们提出了几种新的短语感知微调策略和短语感知神经PLDA。通过这些策略，系统性能得到进一步提高。最后，我们融合了不同系统的得分，我们的融合系统在主要评价指标上在任务1（排名3）和任务2（排名8）中分别达到0.0473和0.0581。
2022-08-03 cs.SD eess.AS
Optimized Power Normalized Cepstral Coefficients towards Robust Deep Speaker Verification
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
功率归一化倒谱系数（PNCC）特征被引入鲁棒语音识别后，被成功地应用于其他任务，包括说话人确认。然而，作为对功率谱图进行长期操作的特征提取器，其专用于环境补偿的时间处理和幅度缩放步骤可能是冗余的。此外，它们可能会抑制对基于深度神经网络（DNN）的说话者验证有用的固有说话者变化。因此，在这项研究中，我们重新审视和优化PNCCs烧蚀其中期时间处理器，并通过引入通道能量归一化。基于DNN的说话人验证系统的实验结果表明，在域内和跨域情况下，与基线PNCCs相比，VoxCeleb1和VoxMovies上的最大相等出错率分别降低了5.8%和61.2%，这反映了显着的改善。
2021-09-24 cs.AI cs.SD eess.AS
Memory-Efficient Training for Deep Speaker Embedding Learning in Speaker Verification
Shanghai Jiao Tong University（上海交通大学）
针对深度说话人嵌入模型训练的高显存问题，提出可逆网络与8位动态量化优化器，在VoxCeleb上最高节省16.2倍显存且性能基本不变。
2024-12-02 cs.AI cs.SD eess.AS
HeightCeleb - an enrichment of VoxCeleb dataset with speaker height information
AGH University of Krakow（克拉科夫AGH科技大学）
本文提出HeightCeleb数据集，为VoxCeleb中1251位说话人补充身高标注，利用预训练嵌入和简单统计回归，在TIMIT测试集上取得最先进的身高估计结果。
2024-10-17 cs.SD eess.AS
Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?
NEC Corporation（NEC公司）
本文提出了一种基于注意力机制的深度说话人嵌入的实验研究，该机制已被发现是说话人识别中一种强大的表示学习技术。在这个框架中，一个注意力模型作为一个帧选择器，计算每个帧级特征向量的注意力权重，根据该权重，在说话人嵌入网络的池化层产生一个话语级表示。一般来说，注意力模型与说话人嵌入网络一起在单个目标函数上训练，因此这两个组件彼此紧密结合。在本文中，我们考虑的可能性，注意力模型可能会从它的父网络解耦，并协助其他说话人嵌入网络，甚至传统的i向量提取器。这种可能性是通过一系列的实验证明了NIST的说话人识别评估（SRE）的任务，9.0%的EER减少和3.8%的min_Cprimary减少时，注意力的权重应用到i向量提取。另一个实验表明，基于DNN的柔和语音活动检测（VAD）可以有效地与注意力机制相结合，从而在深度说话人嵌入和i向量系统中分别将minCprimary进一步降低6.6%和1.6%。
2018-09-25 cs.SD eess.AS
NPLDA: A Deep Neural PLDA Model for Speaker Verification
Indian Institute of Science（印度科学学院）
说话人验证的最新方法包括基于神经网络的嵌入提取器以及后端生成模型，如概率线性判别分析（PLDA）。在这项工作中，我们提出了一个神经网络的后端建模方法在说话人识别。生成PLDA模型的似然比得分被提出作为一个判别相似性函数，并使用验证成本优化得分函数的可学习参数。所提出的模型，称为神经PLDA（NPLDA），初始化使用生成PLDA模型参数。NPLDA模型的损失函数是最小检测代价函数（DCF）的近似值。在VOiCES数据集和SITW挑战数据集上进行了基于NPLDA模型的说话人识别实验。在这些实验中，使用所提出的损失函数优化的NPLDA模型显著改善了基于PLDA的说话人确认系统。
2020-05-24 cs.CL cs.LG cs.SD
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
本文针对音视觉标注数据不足问题，在端到端AVSD系统中引入监督式与自监督式预训练语音模型，并联合训练音频、说话人编码器及音视觉解码器，在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
