The ins and outs of speaker recognition: lessons from VoxSRC 2020
Naver Corporation（NAVER 公司）；Yonsei University（延世大学）
Interspeech 2020的VoxCeleb Speaker Recognition Challenge（VoxSRC）为说话人识别系统提供了一个具有挑战性的评估，其中包括名人在电影中扮演不同的角色。这项工作的目标是强大的说话人识别的话语记录在这些具有挑战性的环境。我们利用流行的ResNet架构的变体进行说话人识别，并使用一系列损失函数和训练参数进行广泛的实验。为此，我们优化了一个高效的训练框架，允许在有限的时间和资源下训练强大的模型。我们的训练模型通过更轻的模型和简单的管道展示了对大多数现有作品的改进。该文件分享了我们从参与挑战中吸取的经验教训。
2020-10-29 cs.SD eess.AS
MTGAN: Speaker Verification through Multitasking Triplet Generative Adversarial Networks
Tsinghua University（清华大学）
在本文中，我们提出了一种增强的三元组方法，通过联合利用生成对抗机制和多任务优化来改进嵌入的编码过程。我们使用生成对抗网络（GANs）和softmax损失函数扩展了我们的三元组编码器。GAN用于增加样本的通用性和多样性，而softmax用于增强说话人的特征。为了简化，我们将我们的方法称为多任务三元组生成对抗网络（MTGAN）。实验结果表明，MTGAN在短话语上的验证等出错率（EER）相对于传统的i向量方法和最新的三重丢失方法分别降低了67%和32%。这有效地表明，MTGAN在表达说话人信息的高层特征方面优于三元组方法。
2018-03-24 cs.SD eess.AS
Adversarial Training for Multi-domain Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Tencent Media Lab（腾讯媒体实验室）
在实际应用中，说话人识别系统的性能往往会因为训练数据和评估数据的不匹配而下降。许多领域自适应方法已成功地用于消除说话人识别中的领域失配。然而，通常训练和评估数据本身都可以由几个子集组成。每个数据集的这些内部方差也可以被认为是不同的域。源域或目标域数据集的不同分布子集也会导致多域失配，影响说话人识别性能。在这项研究中，我们提出使用对抗训练多域说话人识别，以解决域失配和数据集方差问题。通过采用所提出的方法，我们能够获得多域不变和说话人区分的语音表示的说话人识别。在DAC13数据集上的实验结果表明，该方法不仅能有效解决多领域失配问题，而且性能优于无监督领域自适应方法.
2020-11-17 cs.SD eess.AS
Clova Baseline System for the VoxCeleb Speaker Recognition Challenge 2020
Naver Corporation（NAVER公司）
本报告描述了我们在Interspeech 2020上提交的VoxCeleb说话人识别挑战赛（VoxSRC）。我们对基于流行的ResNet架构的说话人识别模型进行了仔细的分析，并使用一系列损失函数训练了一些变体。我们的研究结果表明，显着的改进，大多数现有的作品，而不使用模型集成或后处理。我们发布了训练代码和预训练模型，作为今年挑战赛的非官方基线。
2020-09-29 cs.SD eess.AS
Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion
Institute of Science Tokyo（东京科学研究所）
本文提出通过说话人识别、知识蒸馏和分层融合方法，提升多说话人对话中情绪识别的准确性和鲁棒性。
2025-11-05 cs.SD eess.AS
Multi-speaker Recognition in Cocktail Party Problem
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出了一种新颖的统计决策理论来实现鸡尾酒会问题中的多说话人识别任务。该理论假设说话人的不同频率服从高斯分布，并且他们之间的声纹关系可以用欧氏距离向量来表示。本文利用梅尔倒谱系数提取语音的特征，用于判断多说话人环境中是否包含说话人，并区分说话人是谁。最后，为了全面考虑总体影响因素，通过对说话人曼哈顿距离的映射，建立了一个13维星座图。
2017-12-05 cs.SD eess.AS
The BUCEA Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
Beijing University of Civil Engineering and Architecture（北京建筑大学）
本文介绍了BUCEA扬声器日记系统为2022 VoxCeleb扬声器识别挑战赛。Voxsrc-22提供VoxConverse的开发集和测试集，我们主要使用VoxConverse的测试集进行参数调整。该系统包括语音活动检测、说话人嵌入提取、聚类方法、重叠语音检测和结果融合等模块。在不考虑重叠的情况下，采用Dover-Rank（Diarization Output Voting Error Reduction）方法进行系统融合，最后进行重叠语音的检测和处理。我们最好的系统在VoxSRC 2022评估集上分别实现了5.48%的日记出错率（DER）和32.1%的Jaccard出错率（JER）。
2022-09-20 cs.SD eess.AS
Speaker Recognition using Deep Belief Networks
Indian Institute of Information Technology, Allahabad（印度信息科学与技术研究所阿拉哈巴德分校）
诸如梅尔频率倒谱系数（MFCC）的短时间谱特征先前已经被部署在现有技术的说话人识别系统中，然而，较少注意可以通过生成学习模型从语音信号学习的短期谱特征。更高维度的编码器，如深度信念网络（DBN），可以通过更好地建模声波的统计结构来提高说话人识别任务的性能。在本文中，我们使用短期的频谱特征学习的DBN与MFCC功能增强执行说话人识别的任务。使用我们的功能，我们实现了0.95的识别准确率，而在ELSDSR数据集上使用独立的MFCC功能时为0.90。
2018-05-09 cs.SD eess.AS
The DKU-DukeECE-Lenovo System for the Diarization Task of the 2021 VoxCeleb Speaker Recognition Challenge
DKU（昆山杜克大学）；DukeECE（杜克大学电子与计算机工程系）；Lenovo（联想）
本报告介绍了DKU-DukeECE-Lenovo团队提交的VoxCeleb说话人识别挑战赛（VoxSRC）2021年第4场比赛。我们的系统包括一个语音活动检测（VAD）模型，说话人嵌入模型，两个基于聚类的说话人日记系统与不同的相似性测量，两个不同的重叠语音检测（OSD）模型，和一个目标说话人语音活动检测（TS-VAD）模型。我们的最终提交，由5个独立的系统组成，在挑战测试集上实现了5.07%的DER。
2021-09-07 cs.SD eess.AS
XMUSPEECH System for VoxCeleb Speaker Recognition Challenge 2021
Xiamen University（厦门大学）
本文介绍了用于VoxCeleb说话人识别挑战赛2021的XMUSPEECH说话人识别和日记系统。对于第二轨道，我们评估了两个系统，包括ResNet 34-SE和ECAPA-TDNN。对于第四道，我们的系统的一个重要组成部分是VAD模块，大大提高了性能。我们在第4轨道上的最佳提交在评估集上获得了DER 5.54%和JER 27.11%，而在开发集上的表现是DER 2.92%和JER 20.84%。
2021-09-06 cs.SD eess.AS
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University（剑桥大学）
在本文中，我们提出了一种用于训练深度神经网络（DNN）的半监督学习（SSL）技术，以生成说话人区分的声学嵌入（说话人嵌入）。获取大量的说话人识别训练数据对于期望的目标域可能是困难的，特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练（VAT）[1]的一种变体，其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性，如余弦距离所测量的。因此，我们将该技术称为余弦距离虚拟对抗训练（CD-VAT）。与许多现有的SSL技术相比，未标记的数据不必来自与标记数据相同的类（这里是扬声器）。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示，在说话人验证任务中，相对于纯监督基线，它实现了11.1%的等错误率（EER）降低。如果未标记数据的说话人标签可用，这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University（南昌大学）
提出了一种基于交叉门并行卷积神经网络（CG-PCNN）的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征，其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同，所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征，该特征采用交叉门机制来捕获互补特征，以提高说话人识别系统的性能。然后，将这些深层特征串联起来，得到融合特征，用于说话人识别。实验结果表明，基于该语音特征融合方法的说话人识别系统是有效的，其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
The UPC Speaker Verification System Submitted to VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20)
UPC（加泰罗尼亚理工大学）
本报告描述了加泰罗尼亚技术大学（UPC）在Interspeech 2020上向VoxCeleb说话人识别挑战赛（VoxSRC-20）提交的材料。最后提交的是三个系统的组合。系统-1是基于自动编码器的方法，其尝试重构相似的i向量，而系统-2和系统-3是基于卷积神经网络（CNN）的连体架构。连体网络分别具有两个和三个分支，其中每个分支是CNN编码器。双分支连体机器人在训练过程中使用交叉熵损失进行二进制分类。然而，我们的三分支连体狗被训练成使用三重丢失来学习说话者嵌入。我们提供我们的系统在VoxCeleb-1测试，VoxSRC-20验证和测试集的结果。
2020-10-27 cs.SD eess.AS
Disentangled representation learning for multilingual speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Oxford（牛津大学）；Naver Corporation（NAVER公司）；Carnegie Mellon University（卡内基梅隆大学）
针对跨语言说话人识别难题，本文构建了考虑双语场景的大规模评估集 VoxCeleb1-B，并提出一种结合对抗学习与度量学习、仅依赖语言伪标签的解耦表示学习方法。
2023-06-06 cs.SD eess.AS
VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
VoxCeleb Speaker Recognition Challenge的第三阶段与Interspeech 2021一起举行。这项挑战的目的是评估如何以及当前的说话人识别技术能够diarise和识别扬声器在不受约束的或“在野外”的数据。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2021举行的虚拟公众挑战和研讨会。本文概述了挑战，并介绍了基线，方法和结果。最后，我们讨论了VoxSRC 2021的新多语言重点，以及自前两个版本以来挑战的进展。
2022-11-16 cs.SD eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.（微软公司）
本文提出了一个端到端的说话人属性自动语音识别模型，该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练（SOT）与基于注意力的编码器-解码器，最近提出的方法，用于识别重叠的语音，包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入，以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化，该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明，该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
A Comprehensive Investigation on Speaker Augmentation for Speaker Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文系统研究SP与VTLP两种说话人增强方法，在VoxCeleb和CN-Celeb上验证二者均可生成新说话人并显著提升识别性能，且特性互补、具有融合潜力。
2024-06-11 cs.SD eess.AS
Vocal Style Factorization for Effective Speaker Recognition in Affective Scenarios
Michigan State University（密歇根州立大学）
针对情感变化影响说话人识别准确率的问题，提出E-Vector架构，利用1-D CNN和语音风格因式分解技术学习并重组说话人身份特征，在MSP-Podcast数据集上显著提升了情感场景下的识别准确率。
2023-08-03 cs.SD eess.AS
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University（西北工业大学）；Beijing ZKJ Technology Co., Ltd.（北京中科金技术有限公司）
在这份报告中，我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中，我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外，我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外，我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统，我们最终的最佳性能（minDCF/EER）的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交，我们来到了第二位的挑战，为两个轨道。
2021-11-18 cs.SD eess.AS
Non-local convolutional neural networks (nlcnn) for speaker recognition
Indiana University Bloomington（印第安纳大学伯明顿分校）
说话人识别是根据语音来识别说话人的过程。随着最近亚马逊Alexa等智能语音助手的普及，这项技术吸引了更多的关注。在过去的几年中，各种基于卷积神经网络（CNN）的说话人识别算法被提出并取得了令人满意的性能。然而，卷积运算是通常一次在局部邻域上执行的构建块，因此无法在特征级别捕获全局的长距离交互，这对于理解说话者语音中的模式至关重要。在这项工作中，我们提出了应用非局部卷积神经网络（NLCNN），以提高在特征级捕获长程依赖关系的能力，从而提高说话人识别性能。具体来说，我们引入非局部块，其中位置的输出响应被计算为所有位置处的输入特征的加权和。将非局部块与预定义的CNN网络相结合，我们研究了NL CNN模型的有效性。在没有广泛调整的情况下，所提出的NLCNN模型在公共Voxceleb数据集上的性能优于最先进的说话人识别算法。此外，我们还分别研究了应用于频时域、时域、频域和帧级的不同类型的非局部运算。其中，时域是说话人识别应用中最有效的方法。
2021-05-20 cs.SD eess.AS
Tongji University Team for the VoxCeleb Speaker Recognition Challenge 2020
Tongji University（同济大学）
在这份报告中，我们描述了同济大学团队在Interspeech 2020上提交VoxCeleb说话人识别挑战赛（VoxSRC）2020的CLOSE赛道。我们研究了基于流行的ResNet-34架构的不同说话人识别系统，并通过各种损失函数训练多个变体。离线和在线数据增强被引入以提高训练集的多样性，并在后处理中应用分数归一化与穷举网格搜索。我们为CLOSE赛道选择的五个系统的最佳融合在挑战赛中达到了0.2800 DCF和4.7770% EER。
2020-10-16 cs.SD eess.AS
Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?
NEC Corporation（NEC公司）
本文提出了一种基于注意力机制的深度说话人嵌入的实验研究，该机制已被发现是说话人识别中一种强大的表示学习技术。在这个框架中，一个注意力模型作为一个帧选择器，计算每个帧级特征向量的注意力权重，根据该权重，在说话人嵌入网络的池化层产生一个话语级表示。一般来说，注意力模型与说话人嵌入网络一起在单个目标函数上训练，因此这两个组件彼此紧密结合。在本文中，我们考虑的可能性，注意力模型可能会从它的父网络解耦，并协助其他说话人嵌入网络，甚至传统的i向量提取器。这种可能性是通过一系列的实验证明了NIST的说话人识别评估（SRE）的任务，9.0%的EER减少和3.8%的min_Cprimary减少时，注意力的权重应用到i向量提取。另一个实验表明，基于DNN的柔和语音活动检测（VAD）可以有效地与注意力机制相结合，从而在深度说话人嵌入和i向量系统中分别将minCprimary进一步降低6.6%和1.6%。
2018-09-25 cs.SD eess.AS
The ByteDance Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2021
ByteDance（字节跳动）
本文描述了用于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）第四轨的字节跳动扬声器日志化系统。VoxSRC-21提供VoxConverse的开发集和测试集用于验证，并提供独立的测试集用于评估。我们首先收集所有音频的持续时间和信噪比（SNR），发现VoxConverse的测试集和VoxSRC-21的测试集的分布更加接近。我们的系统包括语音主动检测（VAD），说话人嵌入提取，谱聚类，然后是一个基于凝聚层次聚类（AHC）和重叠语音检测和处理的重新聚类步骤。最后，我们使用DOVER-Lap集成具有不同时间尺度的系统。我们的最佳系统在评估集上达到了5.15%的日志出错率，在挑战的日志跟踪中排名第二。
2021-09-05 cs.SD eess.AS
The HCCL system for VoxCeleb Speaker Recognition Challenge 2022
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文介绍了提交至VoxSRC2022的HCCL系统，该系统在track1和track3中分别取得了minDCF 0.1397/EER 2.414和minDCF 0.388/EER 7.030的优异结果。
2023-05-22 cs.SD eess.AS
On the application of Visibility Graphs in the Spectral Domain for Speaker Recognition
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；INFINA - CONICET（INFINA - 阿根廷国家科学技术研究委员会）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
提出将语音频谱剖面构建为可见图并提取图论拓扑特征，结合决策树集成实现高准确率说话人识别。
2025-02-19 cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
HLT-NUS Submission for NIST 2019 Multimedia Speaker Recognition Evaluation
Department of Electrical and Computer Engineering National University of Singapore（新加坡国立大学电气与计算机工程系）
这项工作描述了新加坡国立大学人类语言技术实验室（HLT-NUS）为2019年NIST多媒体说话人识别评估（SRE）开发的说话人验证系统。多媒体研究已经得到了广泛的应用，说话人识别也不例外，与以前的NIST SRE相比，最新版本侧重于多媒体跟踪，以识别说话人的音频和视频信息。我们开发了用于音频和视觉输入的单独系统，然后将两种模式的系统进行评分级融合，以共同使用它们的信息。音频系统基于基于x向量的说话人嵌入，而人脸识别系统基于ResNet和InsightFace的人脸嵌入。通过后评估研究和改进，我们在2019年NIST多媒体SRE语料库的评估集上获得了0.88%的等错误率（EER）和0.026的实际检测代价函数（actDCF）。
2020-10-08 cs.SD eess.AS
MDD: a Mask Diffusion Detector to Protect Speaker Verification Systems from Adversarial Perturbations
EURECOM；The University of Sydney（悉尼大学）；Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence (TeleAI)（人工智能研究所）；China Telecom Corp Ltd（中国电信有限公司）
本文提出掩码扩散检测器（MDD），一种基于文本条件掩码扩散模型的对抗性检测与净化框架，无需对抗样本或大规模预训练，有效提升说话人验证系统的安全性与鲁棒性。
2025-08-26 cs.SD eess.AS
Baselines and Protocols for Household Speaker Recognition
School of Computing, University of Eastern Finland（东芬兰大学计算机学院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用研究实验室）
在诸如智能扬声器之类的家用设备上的说话人识别具有若干挑战：（i）跨大量异构域（家庭）的鲁棒性，（ii）短话语，（iii）可能缺少登记数据的说话人标签（被动登记），以及（iv）未知人员（客人）的存在。虽然有许多商业产品，但发表的研究较少，也没有公开的评估协议或开源基线。我们的工作旨在通过提供一个来自公共资源（VoxCeleb和ASVspoof 2019数据）的可访问的评估基准以及一个初步的开源基线池来弥合这一差距。这包括四种主动注册算法（扬声器标签可用）和一种被动注册算法。
2022-05-05 cs.SD eess.AS
Unsupervised Representation Learning for Speaker Recognition via Contrastive Equilibrium Learning
Seoul National University（首尔国立大学）
在本文中，我们提出了一个简单的，但强大的无监督学习方法说话人识别，即对比均衡学习（CEL），它增加了潜在的干扰因素的不确定性，在嵌入的均匀性损失。此外，为了保持说话人的可辨别性，一个对比相似性损失函数一起使用。实验结果表明，该模型在VoxCeleb1和VOiCES评价集上的EER分别为8.01%和4.01%，显著优于现有的无监督说话人确认系统。最重要的是，使用通过CEL预训练的初始参数训练的有监督说话人嵌入网络的性能比使用随机初始化参数训练的网络表现出更好的性能。
2020-10-22 cs.SD eess.AS
Microsoft Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2020
Microsoft（微软公司）
本文介绍了用于野外单声道多人录音的Microsoft扬声器日记系统，该系统在VoxCeleb说话人识别挑战赛（VoxSRC）2020的日记轨道上进行了评估。我们将首先解释我们的系统设计，以解决处理真实多说话者录音的问题。然后，我们提出的组件的细节，其中包括基于Res2Net的说话人嵌入提取器，符合者为基础的连续语音分离与泄漏滤波，和一个修改后的DOVER（缩写为Diarization Output Voting Error Reduction）方法系统融合。我们使用VoxSRCchallenge 2020提供的数据集对系统进行了评估，该数据集包含从YouTube收集的真实多人音频。我们的最佳系统在开发集和评估集上分别实现了3.71%和6.23%的日志错误率（DER），在挑战的日志跟踪中排名第一。
2020-10-23 cs.SD eess.AS
DiffAttack: Diffusion-based Timbre-reserved Adversarial Attack in Speaker Identification
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Northwestern Polytechnical University（西北工业大学）
提出 DiffAttack，将对抗约束注入 DiffVC 的反向扩散过程，在保留音色与语音质量的同时生成可误导 SID 系统的目标说话人音频。
2025-01-09 cs.SD eess.AS
Supervised attention for speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Naver Corporation（Naver公司）
最近提出的自注意池（SAP）在几个说话人识别系统中表现出良好的性能。在SAP系统中，上下文向量与特征提取器一起端到端地训练，其中上下文向量的作用是选择用于说话人识别的最具鉴别力的帧。然而，在某些情况下，SAP与时间平均池（TAP）基线相比表现不佳，这意味着在端到端培训中没有有效地学习注意力。为了解决这个问题，我们引入了以监督方式训练注意力机制的策略，该机制使用分类样本学习上下文向量。通过我们提出的方法，上下文向量可以被提升以选择信息量最大的帧。我们表明，我们的方法在各种实验环境中（包括短话语说话人识别）优于现有方法，并在VoxCeleb数据集上的现有基线上实现了有竞争力的性能。
2020-12-03 cs.SD eess.AS
On the use of DNN Autoencoder for Robust Speaker Recognition
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本文中，我们分析了用于语音增强、去混响和去噪的基于DNN的自动编码器。目标应用是一个鲁棒的说话人识别系统。我们首先使用人工噪声和混响数据来增强Fisher数据库，然后训练自动编码器将噪声和混响语音映射到其干净版本。我们使用自动编码器作为一个国家的最先进的文本无关的说话人识别系统的预处理步骤。我们比较了纯自动编码器增强，多条件PLDA训练及其同时使用所取得的结果。我们提出了一个详细的分析与各种条件下的NIST SRE 2010，PRISM和人为损坏的NIST SRE 2010电话条件。我们的结论是，建议的预处理显着优于基线，这种技术可以用来建立一个强大的说话人识别系统的混响和噪声数据。
2018-11-07 cs.SD eess.AS
Speaker Recognition Using Isomorphic Graph Attention Network Based Pooling on Self-Supervised Representation
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出在自监督表示上使用同构图注意力网络IsoGAT进行说话人识别，通过表示学习、图注意力和聚合三模块联合建模，在VoxCeleb1&2数据集上验证了其优于现有池化方法的识别性能。
2024-02-24 cs.SD eess.AS
The SpeakIn System for VoxCeleb Speaker Recognition Challange 2021
SpeakIn Technologies Co. Ltd.（思必驰科技股份有限公司）
本报告描述了我们提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC 2021）的第1和第2轨道。音轨1和音轨2共享相同的说话人验证系统，该系统仅使用VoxCeleb 2-dev作为我们的训练集。本报告探讨了几个部分，包括数据增强、网络结构、基于域的大幅度微调和后端优化。我们的系统融合了9个模型，并在VoxSRC 2021的这两个赛道中获得第一名。我们提交的minDCF为0.1034，相应的EER为1.8460%。
2021-09-05 cs.SD eess.AS
The DKU-DukeECE System for the Self-Supervision Speaker Verification Task of the 2021 VoxCeleb Speaker Recognition Challenge
Duke Kunshan University（昆山杜克大学）；Duke University（杜克大学）
本报告描述了DKU-DukeECE团队提交的2021 VoxCeleb说话人识别挑战赛（VoxSRC）的自我监督说话人验证任务。我们的方法采用迭代标记框架来学习基于深度神经网络（DNN）的自监督说话人表示。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力，我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类，并使用后续的类分配作为伪标签来训练一个新的DNN。此外，我们迭代地训练扬声器网络与从上一步生成的伪标签，以引导DNN的辨别能力。此外，视觉模态数据被纳入这个自标记框架。视觉伪标签和音频伪标签与聚类集成算法融合，以产生用于表示学习的鲁棒监督信号。我们的提交在挑战开发和测试集上分别实现了5.58%和5.59%的等错误率（EER）。
2021-09-07 cs.SD eess.AS
Semi-Supervised Contrastive Learning with Generalized Contrastive Loss and Its Application to Speaker Recognition
Tokyo Institute of Technology（东京工业大学）
本文介绍了一种半监督对比学习框架及其在文本无关说话人确认中的应用。所提出的框架采用广义对比损失（GCL）。GCL统一了两种不同的学习框架，监督度量学习和无监督对比学习的损失，因此它自然决定了半监督学习的损失。在实验中，我们将所提出的框架应用于VoxCeleb数据集上的文本无关的说话人验证。我们证明了GCL能够以三种方式学习说话人嵌入，监督学习，半监督学习和无监督学习，而损失函数的定义没有任何变化。
2020-06-08 cs.SD eess.AS
Fine-tuning wav2vec2 for speaker recognition
Radboud University（拉德堡德大学）
本文探讨了将wav 2 vec 2框架应用于说话人识别而不是语音识别。我们研究了预训练权重在说话人识别任务中的有效性，以及如何将wav 2 vec 2输出序列合并到固定长度的说话人嵌入中。为了使该框架适用于说话人识别，我们提出了一个单一的话语分类变体CE或AAM softmax损失，和一个话语对分类变体BCE损失。我们表现最好的变体w2 v2-aam在扩展voxceleb 1测试集上实现了1.88%的EER，而ECAPA-TDNN基线的EER为1.69%。代码可在https://github.com/nikvaessen/w2v2-speaker上获得。
2022-05-06 cs.LG cs.SD eess.AS
FoolHD: Fooling speaker identification by Highly imperceptible adversarial Disturbances
Alan Turing Institute（阿兰·图灵研究所）
说话人辨识模型容易受到精心设计的输入信号的对抗性扰动的影响，从而导致误分类。在这项工作中，我们提出了一个白盒隐写启发的对抗攻击，对说话人辨识模型产生不可感知的对抗性扰动。我们的方法，FoolHD，使用门控卷积自动编码器，在DCT域中操作，并使用多目标损失函数进行训练，以生成和隐藏原始音频文件中的对抗性扰动。除了阻碍说话人辨识性能之外，这种多目标损失通过从原始音频文件和对抗音频文件中提取的MFCC特征向量之间的逐帧余弦相似性来考虑人类感知。我们使用VoxCeleb训练的250-说话人辨识x向量网络验证了FoolHD在准确性、成功率和不可感知性方面的有效性。我们的研究结果表明，FoolHD生成高度不可感知的对抗性音频文件（平均PESQ分数高于4.30），同时在非目标和目标设置下分别实现了99.6%和99.2%的误导说话人辨识模型的成功率。
2021-02-20 cs.LG cs.SD eess.AS
A Machine of Few Words -- Interactive Speaker Recognition with Reinforcement Learning
Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Deepmind（深度思维）；Google Research（谷歌研究院）
说话人识别是语音处理领域中一个众所周知的研究课题。它有许多应用，用于个人设备的安全或扬声器适配。在本文中，我们提出了一个新的范例自动说话人识别，我们称之为交互式说话人识别（ISR）。在这个范例中，识别系统的目的是通过请求个性化的话语来逐步建立一个代表的发言者被发言的标准文本相关或文本无关的计划。为此，我们将说话人识别任务转换为一个顺序决策问题，并使用强化学习来解决。使用一个标准的数据集，我们表明，我们的方法取得了优异的性能，同时使用很少的语音信号量。该方法也可以作为一种发声选择机制，用于构建语音合成系统。
2020-08-07 cs.LG cs.SD eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）
最近，自监督学习（SSL）在说话人识别中表现出了很强的性能，即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验，研究了自监督学习在说话人相关任务（如说话人确认）中的成功因素。我们在Voxceleb-1数据集上的实证结果表明，SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合，而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Time-frequency Network for Robust Speaker Recognition
Fudan University（复旦大学）
基于语音的生物识别系统的广泛应用通常需要高性能的说话人识别算法。然而，大多数用于说话人识别的现有工作要么在频域要么在时域中处理语音，这可能产生次优的结果，因为时域和频域对于说话人识别都很重要。本文尝试对语音信号进行时域和频域分析，通过提取和融合时域和频域特征，提出了用于说话人识别的时频网络TFN。基于深度神经网络的最新进展，我们提出了一种卷积神经网络，将原始语音波形和频谱编码为特定于领域的特征，然后将其融合并转换为用于说话人识别的分类特征空间。在公开数据集TIMIT和LibriSpeech上的实验结果表明，该框架能够有效地将两个领域的信息结合起来，并且性能优于现有的说话人识别方法。
2023-03-07 cs.MM cs.SD eess.AS
Learning to fool the speaker recognition
Institute of Computer Technology, Chinese Academic of Sciences（中国科学院计算技术研究所）；Peking University（北京大学）；University of Chinese Academic of Sciences（中国科学院大学）
由于指纹/人脸/说话人识别系统的广泛部署，攻击基于深度学习的生物特征系统引起了越来越多的关注。以往的研究主要是针对基于视觉的系统，如指纹、人脸识别等进行攻击。而对说话人识别的攻击虽然在日常生活中得到了广泛的应用，但至今还没有研究。在本文中，我们试图欺骗最先进的说话人识别模型，并提出了\textit{speaker recognition attacker}，一个轻量级的模型，欺骗深层说话人识别模型，通过添加不可察觉的扰动到原始语音波形。我们发现说话人识别系统也容易受到攻击，并且我们在非目标攻击上取得了很高的成功率。此外，我们还提出了一种有效的方法来优化说话人识别攻击，以获得攻击成功率和感知质量之间的权衡。在TIMIT数据集上的实验表明，我们可以达到一个平均信噪比为$57.2\text{dB}$和PESQ 4.2的$99.2\%$的句子错误率，速度比实时快。
2020-04-07 cs.CR cs.SD eess.AS
Improved I-vector-based Speaker Recognition for Utterances with Speaker Generated Non-speech sounds
TCS Innovation Labs-Mumbai（塔塔咨询服务公司孟买创新实验室）
会话言语不仅包含中性言语的几种变体，而且还显著地与说话者产生的几种非言语声音（如笑声和呼吸）交织。一个鲁棒的说话人识别系统应该能够识别说话人，而不管他的语音中的这些变化。了解这些变化所代表的特定于说话人的信息是否相似，有助于建立一个良好的说话人识别系统。在本文中，说话人的中性语音捕获的扬声器变化进行了分析，考虑语音笑（中性语音的变体）和笑声（非语音）的声音说话人。我们研究了一个基于i向量的说话人识别系统，该系统只训练了中性语音，并评估了它在语音笑声和笑声上的性能。此外，我们分析了在基于i向量的说话人识别系统的训练过程中包括笑声的效果。我们的实验结果表明，在训练过程中的笑声的声音似乎提供了互补的特定于说话人的信息，从而导致在说话人识别系统的整体性能的提高，特别是在话语与语音笑段。
2017-05-25 cs.SD
Adapting End-to-End Neural Speaker Verification to New Languages and Recording Conditions with Adversarial Training
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
在这篇文章中，我们提出了一种新的方法来适应扬声器嵌入到新的领域的基础上对抗训练的神经网络。我们将我们的嵌入应用于文本无关的说话人验证任务，这是生物识别安全中一个具有挑战性的现实问题。我们通过结合一种新的一维自关注残差网络，角裕度损失函数和对抗训练策略，进一步开发了端到端的说话人嵌入模型。我们的模型能够学习非常紧凑的64维扬声器嵌入，使用简单的余弦距离评分在许多流行的数据集上提供有竞争力的性能。在NIST-SRE 2016任务中，我们能够击败强大的i向量基线，而在Speakers in the Wild任务中，我们的模型能够超越i向量和x向量基线，显示出比后者绝对提高了2.19%。此外，我们还表明，对抗性训练的整合始终导致了对未适应模型的显着改进。
2018-11-07 cs.CV cs.SD eess.AS
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley（加州大学伯克利分校）
在本文中，我们研究了生成对抗网络（GANs）对现代说话人识别系统合成欺骗攻击的能力。我们首先证明，使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数，利用数据是真实的，但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击，提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS
Query Expansion System for the VoxCeleb Speaker Recognition Challenge 2020
National Taiwan Normal University（国立台湾师范大学）
在本报告中，我们描述了我们提交给VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的申请。采取了两种办法。一种是将查询扩展应用于说话人确认，与本研究的基线相比，取得了显著的进步。另一种是使用Kaldi提取x向量，并将其概率线性判别分析（PLDA）得分与ResNet得分相结合。
2020-11-04 cs.CL cs.SD eess.AS
Multi-Task Learning with Auxiliary Speaker Identification for Conversational Emotion Recognition
Wuhan University（武汉大学）；Tianjin University（天津大学）
会话情感识别在自然语言处理领域引起了越来越多的关注。与普通的情感识别不同，有效的说话人敏感话语表示是CER的一个主要挑战。在本文中，我们利用说话人辨识（SI）作为一个辅助任务，以提高在会话中的话语表示。通过这种方法，我们可以从额外的SI语料库中学习更好的说话人感知的上下文表示。两个基准数据集上的实验表明，该架构是非常有效的CER，获得新的国家的最先进的结果在两个数据集上。
2020-03-05 cs.CL cs.SD eess.AS
Generative Adversarial Speaker Embedding Networks for Domain Robust End-to-End Speaker Verification
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
本文提出了一种使用生成对抗网络学习域不变说话人嵌入的新方法。其主要思想是混淆域映射，使其无法分辨嵌入是来自源域还是目标域。我们训练几个GAN变种使用我们提出的框架，并将它们应用到说话人验证任务。在具有挑战性的NIST-SRE 2016数据集上，我们能够匹配强基线x向量系统的性能。与依赖于降维（LDA）和外部分类器（PLDA）的基线系统相比，我们提出的说话人嵌入可以使用简单的余弦距离进行评分。这是通过使用角裕度损失函数端到端优化我们的模型来实现的。此外，我们能够通过在分数水平上平均我们不同的GAN模型来显着提高验证性能，相对于基线提高了7.2%。
2018-11-07 cs.CV cs.SD eess.AS
Robust speaker recognition using unsupervised adversarial invariance
University of Southern California（南加州大学）
在本文中，我们解决的问题，说话人识别在具有挑战性的声学条件下，使用一种新的方法来提取强大的说话人区分的语音表示。我们采用最近提出的无监督对抗不变性架构来训练网络，该网络将使用预训练模型提取的说话人嵌入映射到两个较低维的嵌入空间。学习嵌入空间以将说话者辨别信息从音频记录中存在的所有其他信息中分离出来，而无需监督声学条件。我们分析了鲁棒性的建议嵌入到各种来源的变异存在于信号中的说话人验证和无监督聚类任务的大规模说话人识别语料库。我们的分析表明，所提出的系统大大优于基线在各种具有挑战性的声学场景。此外，对于真实世界会议语料库上的发言人日记化任务，与最先进的基线相比，我们的系统在日记化错误率方面显示出36%的相对改善。
2019-11-03 cs.SD eess.AS eess.SP
Asynchronous Voice Anonymization Using Adversarial Perturbation On Speaker Embedding
本文提出异步语音匿名化方法，通过结合说话人解耦机制的语音生成框架，在说话人嵌入上应用对抗扰动改变属性以对抗机器识别，并控制扰动强度保留人类感知，在LibriSpeech数据集上对60.71%的话语成功实现属性掩盖与感知保留。
2024-11-12 cs.AI cs.SD eess.AS
Adversarial Attack and Defense Strategies for Deep Speaker Recognition Systems
University of Southern California (USC)（南加州大学）；USC Information Sciences Institute（南加州大学信息科学学院）
稳健的说话人识别（包括在存在恶意攻击的情况下）正变得越来越重要和必不可少，特别是由于与个人的语音命令交互以执行各种甚至敏感任务的若干智能扬声器和个人代理的扩散。对抗性攻击是最近复兴的领域，它被证明可以有效地破坏基于深度神经网络的分类器，具体来说，通过仅对输入样本进行非常少量的扰动来迫使它们改变其后验分布。虽然在计算机视觉领域已经取得了显著的进展，但在说话人识别中的进展仍然有限。本文考虑了几种最先进的对抗性攻击的深度说话人识别系统，采用强大的防御方法作为对策，并报告了几个消融研究，以获得全面的了解这个问题。实验表明，说话人识别系统容易受到攻击，最强的攻击可以使系统的准确率从94%降低到甚至为0%。该研究还详细比较了所采用的防御方法的性能，并发现基于投影梯度下降（PGD）的对抗训练是我们设置中最好的防御方法。我们希望本文中提出的实验提供了基线，可以为有兴趣进一步研究说话人识别系统的对抗鲁棒性的研究社区是有用的。
2020-08-18 cs.LG cs.SD eess.AS
Real-time, Universal, and Robust Adversarial Attacks Against Speaker Recognition Systems
Rutgers University（罗格斯大学）；The University of Tennessee（田纳西大学）
近年来，随着语音用户界面（VUI）的迅速普及，说话人识别系统已经成为许多安全应用和服务中识别说话人的重要手段。在本文中，我们提出了针对最先进的基于深度神经网络（DNN）的说话人识别系统的第一个实时、通用和鲁棒的对抗性攻击。通过在任意登记的说话者的语音输入上添加音频不可知的通用扰动，基于DNN的说话人识别系统将把说话者识别为任何目标（即，对手期望的）扬声器标签。此外，我们通过估计房间脉冲响应（RIR）对物理空中传播引起的声音失真进行建模，提高了攻击的鲁棒性。使用109名英语使用者的公共数据集的实验表明，我们提出的攻击的有效性和鲁棒性与高攻击成功率超过90%。攻击启动时间也比当代非通用攻击快100倍。
2020-05-01 cs.CL cs.SD eess.AS
