Multi-speaker Recognition in Cocktail Party Problem
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出了一种新颖的统计决策理论来实现鸡尾酒会问题中的多说话人识别任务。该理论假设说话人的不同频率服从高斯分布，并且他们之间的声纹关系可以用欧氏距离向量来表示。本文利用梅尔倒谱系数提取语音的特征，用于判断多说话人环境中是否包含说话人，并区分说话人是谁。最后，为了全面考虑总体影响因素，通过对说话人曼哈顿距离的映射，建立了一个13维星座图。
2017-12-05 cs.SD eess.AS
The BUCEA Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
Beijing University of Civil Engineering and Architecture（北京建筑大学）
本文介绍了BUCEA扬声器日记系统为2022 VoxCeleb扬声器识别挑战赛。Voxsrc-22提供VoxConverse的开发集和测试集，我们主要使用VoxConverse的测试集进行参数调整。该系统包括语音活动检测、说话人嵌入提取、聚类方法、重叠语音检测和结果融合等模块。在不考虑重叠的情况下，采用Dover-Rank（Diarization Output Voting Error Reduction）方法进行系统融合，最后进行重叠语音的检测和处理。我们最好的系统在VoxSRC 2022评估集上分别实现了5.48%的日记出错率（DER）和32.1%的Jaccard出错率（JER）。
2022-09-20 cs.SD eess.AS
Speaker Recognition using Deep Belief Networks
Indian Institute of Information Technology, Allahabad（印度信息科学与技术研究所阿拉哈巴德分校）
诸如梅尔频率倒谱系数（MFCC）的短时间谱特征先前已经被部署在现有技术的说话人识别系统中，然而，较少注意可以通过生成学习模型从语音信号学习的短期谱特征。更高维度的编码器，如深度信念网络（DBN），可以通过更好地建模声波的统计结构来提高说话人识别任务的性能。在本文中，我们使用短期的频谱特征学习的DBN与MFCC功能增强执行说话人识别的任务。使用我们的功能，我们实现了0.95的识别准确率，而在ELSDSR数据集上使用独立的MFCC功能时为0.90。
2018-05-09 cs.SD eess.AS
The DKU-DukeECE-Lenovo System for the Diarization Task of the 2021 VoxCeleb Speaker Recognition Challenge
DKU（昆山杜克大学）；DukeECE（杜克大学电子与计算机工程系）；Lenovo（联想）
本报告介绍了DKU-DukeECE-Lenovo团队提交的VoxCeleb说话人识别挑战赛（VoxSRC）2021年第4场比赛。我们的系统包括一个语音活动检测（VAD）模型，说话人嵌入模型，两个基于聚类的说话人日记系统与不同的相似性测量，两个不同的重叠语音检测（OSD）模型，和一个目标说话人语音活动检测（TS-VAD）模型。我们的最终提交，由5个独立的系统组成，在挑战测试集上实现了5.07%的DER。
2021-09-07 cs.SD eess.AS
XMUSPEECH System for VoxCeleb Speaker Recognition Challenge 2021
Xiamen University（厦门大学）
本文介绍了用于VoxCeleb说话人识别挑战赛2021的XMUSPEECH说话人识别和日记系统。对于第二轨道，我们评估了两个系统，包括ResNet 34-SE和ECAPA-TDNN。对于第四道，我们的系统的一个重要组成部分是VAD模块，大大提高了性能。我们在第4轨道上的最佳提交在评估集上获得了DER 5.54%和JER 27.11%，而在开发集上的表现是DER 2.92%和JER 20.84%。
2021-09-06 cs.SD eess.AS
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University（南昌大学）
提出了一种基于交叉门并行卷积神经网络（CG-PCNN）的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征，其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同，所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征，该特征采用交叉门机制来捕获互补特征，以提高说话人识别系统的性能。然后，将这些深层特征串联起来，得到融合特征，用于说话人识别。实验结果表明，基于该语音特征融合方法的说话人识别系统是有效的，其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
The UPC Speaker Verification System Submitted to VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20)
UPC（加泰罗尼亚理工大学）
本报告描述了加泰罗尼亚技术大学（UPC）在Interspeech 2020上向VoxCeleb说话人识别挑战赛（VoxSRC-20）提交的材料。最后提交的是三个系统的组合。系统-1是基于自动编码器的方法，其尝试重构相似的i向量，而系统-2和系统-3是基于卷积神经网络（CNN）的连体架构。连体网络分别具有两个和三个分支，其中每个分支是CNN编码器。双分支连体机器人在训练过程中使用交叉熵损失进行二进制分类。然而，我们的三分支连体狗被训练成使用三重丢失来学习说话者嵌入。我们提供我们的系统在VoxCeleb-1测试，VoxSRC-20验证和测试集的结果。
2020-10-27 cs.SD eess.AS
Disentangled representation learning for multilingual speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Oxford（牛津大学）；Naver Corporation（NAVER公司）；Carnegie Mellon University（卡内基梅隆大学）
针对跨语言说话人识别难题，本文构建了考虑双语场景的大规模评估集 VoxCeleb1-B，并提出一种结合对抗学习与度量学习、仅依赖语言伪标签的解耦表示学习方法。
2023-06-06 cs.SD eess.AS
VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
VoxCeleb Speaker Recognition Challenge的第三阶段与Interspeech 2021一起举行。这项挑战的目的是评估如何以及当前的说话人识别技术能够diarise和识别扬声器在不受约束的或“在野外”的数据。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2021举行的虚拟公众挑战和研讨会。本文概述了挑战，并介绍了基线，方法和结果。最后，我们讨论了VoxSRC 2021的新多语言重点，以及自前两个版本以来挑战的进展。
2022-11-16 cs.SD eess.AS
A Comprehensive Investigation on Speaker Augmentation for Speaker Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文系统研究SP与VTLP两种说话人增强方法，在VoxCeleb和CN-Celeb上验证二者均可生成新说话人并显著提升识别性能，且特性互补、具有融合潜力。
2024-06-11 cs.SD eess.AS
Vocal Style Factorization for Effective Speaker Recognition in Affective Scenarios
Michigan State University（密歇根州立大学）
针对情感变化影响说话人识别准确率的问题，提出E-Vector架构，利用1-D CNN和语音风格因式分解技术学习并重组说话人身份特征，在MSP-Podcast数据集上显著提升了情感场景下的识别准确率。
2023-08-03 cs.SD eess.AS
Inaudible Adversarial Perturbations for Targeted Attack in Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
说话人识别是生物特征认证领域的一个热门课题，许多深度学习方法都取得了优异的性能。然而，在图像和语音应用中已经表明，深度神经网络容易受到对抗性示例的影响。在这项研究中，我们的目标是利用这一弱点进行有针对性的对抗攻击对基于x向量的说话人识别系统。本文提出了一种基于心理声学频率掩蔽原理的说话人识别系统的白盒攻击方法。具体地说，我们将扰动限制在原始音频的掩蔽阈值之下，而不是使用公共的l_p范数来度量扰动。在Aishell-1语料库上的实验表明，该方法对任意性别说话人目标的攻击成功率高达98.5%，同时保持了对听者的不可区分属性。此外，我们还实现了一个有效的扬声器攻击时，所提出的方法应用到一个完全不相关的波形，如音乐。
2020-05-22 cs.SD eess.AS
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University（西北工业大学）；Beijing ZKJ Technology Co., Ltd.（北京中科金技术有限公司）
在这份报告中，我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中，我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外，我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外，我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统，我们最终的最佳性能（minDCF/EER）的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交，我们来到了第二位的挑战，为两个轨道。
2021-11-18 cs.SD eess.AS
Non-local convolutional neural networks (nlcnn) for speaker recognition
Indiana University Bloomington（印第安纳大学伯明顿分校）
说话人识别是根据语音来识别说话人的过程。随着最近亚马逊Alexa等智能语音助手的普及，这项技术吸引了更多的关注。在过去的几年中，各种基于卷积神经网络（CNN）的说话人识别算法被提出并取得了令人满意的性能。然而，卷积运算是通常一次在局部邻域上执行的构建块，因此无法在特征级别捕获全局的长距离交互，这对于理解说话者语音中的模式至关重要。在这项工作中，我们提出了应用非局部卷积神经网络（NLCNN），以提高在特征级捕获长程依赖关系的能力，从而提高说话人识别性能。具体来说，我们引入非局部块，其中位置的输出响应被计算为所有位置处的输入特征的加权和。将非局部块与预定义的CNN网络相结合，我们研究了NL CNN模型的有效性。在没有广泛调整的情况下，所提出的NLCNN模型在公共Voxceleb数据集上的性能优于最先进的说话人识别算法。此外，我们还分别研究了应用于频时域、时域、频域和帧级的不同类型的非局部运算。其中，时域是说话人识别应用中最有效的方法。
2021-05-20 cs.SD eess.AS
Tongji University Team for the VoxCeleb Speaker Recognition Challenge 2020
Tongji University（同济大学）
在这份报告中，我们描述了同济大学团队在Interspeech 2020上提交VoxCeleb说话人识别挑战赛（VoxSRC）2020的CLOSE赛道。我们研究了基于流行的ResNet-34架构的不同说话人识别系统，并通过各种损失函数训练多个变体。离线和在线数据增强被引入以提高训练集的多样性，并在后处理中应用分数归一化与穷举网格搜索。我们为CLOSE赛道选择的五个系统的最佳融合在挑战赛中达到了0.2800 DCF和4.7770% EER。
2020-10-16 cs.SD eess.AS
Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?
NEC Corporation（NEC公司）
本文提出了一种基于注意力机制的深度说话人嵌入的实验研究，该机制已被发现是说话人识别中一种强大的表示学习技术。在这个框架中，一个注意力模型作为一个帧选择器，计算每个帧级特征向量的注意力权重，根据该权重，在说话人嵌入网络的池化层产生一个话语级表示。一般来说，注意力模型与说话人嵌入网络一起在单个目标函数上训练，因此这两个组件彼此紧密结合。在本文中，我们考虑的可能性，注意力模型可能会从它的父网络解耦，并协助其他说话人嵌入网络，甚至传统的i向量提取器。这种可能性是通过一系列的实验证明了NIST的说话人识别评估（SRE）的任务，9.0%的EER减少和3.8%的min_Cprimary减少时，注意力的权重应用到i向量提取。另一个实验表明，基于DNN的柔和语音活动检测（VAD）可以有效地与注意力机制相结合，从而在深度说话人嵌入和i向量系统中分别将minCprimary进一步降低6.6%和1.6%。
2018-09-25 cs.SD eess.AS
The ByteDance Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2021
ByteDance（字节跳动）
本文描述了用于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）第四轨的字节跳动扬声器日志化系统。VoxSRC-21提供VoxConverse的开发集和测试集用于验证，并提供独立的测试集用于评估。我们首先收集所有音频的持续时间和信噪比（SNR），发现VoxConverse的测试集和VoxSRC-21的测试集的分布更加接近。我们的系统包括语音主动检测（VAD），说话人嵌入提取，谱聚类，然后是一个基于凝聚层次聚类（AHC）和重叠语音检测和处理的重新聚类步骤。最后，我们使用DOVER-Lap集成具有不同时间尺度的系统。我们的最佳系统在评估集上达到了5.15%的日志出错率，在挑战的日志跟踪中排名第二。
2021-09-05 cs.SD eess.AS
The HCCL system for VoxCeleb Speaker Recognition Challenge 2022
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文介绍了提交至VoxSRC2022的HCCL系统，该系统在track1和track3中分别取得了minDCF 0.1397/EER 2.414和minDCF 0.388/EER 7.030的优异结果。
2023-05-22 cs.SD eess.AS
On the application of Visibility Graphs in the Spectral Domain for Speaker Recognition
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；INFINA - CONICET（INFINA - 阿根廷国家科学技术研究委员会）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
提出将语音频谱剖面构建为可见图并提取图论拓扑特征，结合决策树集成实现高准确率说话人识别。
2025-02-19 cs.SD eess.AS
HLT-NUS Submission for NIST 2019 Multimedia Speaker Recognition Evaluation
Department of Electrical and Computer Engineering National University of Singapore（新加坡国立大学电气与计算机工程系）
这项工作描述了新加坡国立大学人类语言技术实验室（HLT-NUS）为2019年NIST多媒体说话人识别评估（SRE）开发的说话人验证系统。多媒体研究已经得到了广泛的应用，说话人识别也不例外，与以前的NIST SRE相比，最新版本侧重于多媒体跟踪，以识别说话人的音频和视频信息。我们开发了用于音频和视觉输入的单独系统，然后将两种模式的系统进行评分级融合，以共同使用它们的信息。音频系统基于基于x向量的说话人嵌入，而人脸识别系统基于ResNet和InsightFace的人脸嵌入。通过后评估研究和改进，我们在2019年NIST多媒体SRE语料库的评估集上获得了0.88%的等错误率（EER）和0.026的实际检测代价函数（actDCF）。
2020-10-08 cs.SD eess.AS
Baselines and Protocols for Household Speaker Recognition
School of Computing, University of Eastern Finland（东芬兰大学计算机学院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用研究实验室）
在诸如智能扬声器之类的家用设备上的说话人识别具有若干挑战：（i）跨大量异构域（家庭）的鲁棒性，（ii）短话语，（iii）可能缺少登记数据的说话人标签（被动登记），以及（iv）未知人员（客人）的存在。虽然有许多商业产品，但发表的研究较少，也没有公开的评估协议或开源基线。我们的工作旨在通过提供一个来自公共资源（VoxCeleb和ASVspoof 2019数据）的可访问的评估基准以及一个初步的开源基线池来弥合这一差距。这包括四种主动注册算法（扬声器标签可用）和一种被动注册算法。
2022-05-05 cs.SD eess.AS
Unsupervised Representation Learning for Speaker Recognition via Contrastive Equilibrium Learning
Seoul National University（首尔国立大学）
在本文中，我们提出了一个简单的，但强大的无监督学习方法说话人识别，即对比均衡学习（CEL），它增加了潜在的干扰因素的不确定性，在嵌入的均匀性损失。此外，为了保持说话人的可辨别性，一个对比相似性损失函数一起使用。实验结果表明，该模型在VoxCeleb1和VOiCES评价集上的EER分别为8.01%和4.01%，显著优于现有的无监督说话人确认系统。最重要的是，使用通过CEL预训练的初始参数训练的有监督说话人嵌入网络的性能比使用随机初始化参数训练的网络表现出更好的性能。
2020-10-22 cs.SD eess.AS
Microsoft Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2020
Microsoft（微软公司）
本文介绍了用于野外单声道多人录音的Microsoft扬声器日记系统，该系统在VoxCeleb说话人识别挑战赛（VoxSRC）2020的日记轨道上进行了评估。我们将首先解释我们的系统设计，以解决处理真实多说话者录音的问题。然后，我们提出的组件的细节，其中包括基于Res2Net的说话人嵌入提取器，符合者为基础的连续语音分离与泄漏滤波，和一个修改后的DOVER（缩写为Diarization Output Voting Error Reduction）方法系统融合。我们使用VoxSRCchallenge 2020提供的数据集对系统进行了评估，该数据集包含从YouTube收集的真实多人音频。我们的最佳系统在开发集和评估集上分别实现了3.71%和6.23%的日志错误率（DER），在挑战的日志跟踪中排名第一。
2020-10-23 cs.SD eess.AS
Supervised attention for speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Naver Corporation（Naver公司）
最近提出的自注意池（SAP）在几个说话人识别系统中表现出良好的性能。在SAP系统中，上下文向量与特征提取器一起端到端地训练，其中上下文向量的作用是选择用于说话人识别的最具鉴别力的帧。然而，在某些情况下，SAP与时间平均池（TAP）基线相比表现不佳，这意味着在端到端培训中没有有效地学习注意力。为了解决这个问题，我们引入了以监督方式训练注意力机制的策略，该机制使用分类样本学习上下文向量。通过我们提出的方法，上下文向量可以被提升以选择信息量最大的帧。我们表明，我们的方法在各种实验环境中（包括短话语说话人识别）优于现有方法，并在VoxCeleb数据集上的现有基线上实现了有竞争力的性能。
2020-12-03 cs.SD eess.AS
On the use of DNN Autoencoder for Robust Speaker Recognition
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本文中，我们分析了用于语音增强、去混响和去噪的基于DNN的自动编码器。目标应用是一个鲁棒的说话人识别系统。我们首先使用人工噪声和混响数据来增强Fisher数据库，然后训练自动编码器将噪声和混响语音映射到其干净版本。我们使用自动编码器作为一个国家的最先进的文本无关的说话人识别系统的预处理步骤。我们比较了纯自动编码器增强，多条件PLDA训练及其同时使用所取得的结果。我们提出了一个详细的分析与各种条件下的NIST SRE 2010，PRISM和人为损坏的NIST SRE 2010电话条件。我们的结论是，建议的预处理显着优于基线，这种技术可以用来建立一个强大的说话人识别系统的混响和噪声数据。
2018-11-07 cs.SD eess.AS
Speaker Recognition Using Isomorphic Graph Attention Network Based Pooling on Self-Supervised Representation
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出在自监督表示上使用同构图注意力网络IsoGAT进行说话人识别，通过表示学习、图注意力和聚合三模块联合建模，在VoxCeleb1&2数据集上验证了其优于现有池化方法的识别性能。
2024-02-24 cs.SD eess.AS
The SpeakIn System for VoxCeleb Speaker Recognition Challange 2021
SpeakIn Technologies Co. Ltd.（思必驰科技股份有限公司）
本报告描述了我们提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC 2021）的第1和第2轨道。音轨1和音轨2共享相同的说话人验证系统，该系统仅使用VoxCeleb 2-dev作为我们的训练集。本报告探讨了几个部分，包括数据增强、网络结构、基于域的大幅度微调和后端优化。我们的系统融合了9个模型，并在VoxSRC 2021的这两个赛道中获得第一名。我们提交的minDCF为0.1034，相应的EER为1.8460%。
2021-09-05 cs.SD eess.AS
The DKU-DukeECE System for the Self-Supervision Speaker Verification Task of the 2021 VoxCeleb Speaker Recognition Challenge
Duke Kunshan University（昆山杜克大学）；Duke University（杜克大学）
本报告描述了DKU-DukeECE团队提交的2021 VoxCeleb说话人识别挑战赛（VoxSRC）的自我监督说话人验证任务。我们的方法采用迭代标记框架来学习基于深度神经网络（DNN）的自监督说话人表示。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力，我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类，并使用后续的类分配作为伪标签来训练一个新的DNN。此外，我们迭代地训练扬声器网络与从上一步生成的伪标签，以引导DNN的辨别能力。此外，视觉模态数据被纳入这个自标记框架。视觉伪标签和音频伪标签与聚类集成算法融合，以产生用于表示学习的鲁棒监督信号。我们的提交在挑战开发和测试集上分别实现了5.58%和5.59%的等错误率（EER）。
2021-09-07 cs.SD eess.AS
Semi-Supervised Contrastive Learning with Generalized Contrastive Loss and Its Application to Speaker Recognition
Tokyo Institute of Technology（东京工业大学）
本文介绍了一种半监督对比学习框架及其在文本无关说话人确认中的应用。所提出的框架采用广义对比损失（GCL）。GCL统一了两种不同的学习框架，监督度量学习和无监督对比学习的损失，因此它自然决定了半监督学习的损失。在实验中，我们将所提出的框架应用于VoxCeleb数据集上的文本无关的说话人验证。我们证明了GCL能够以三种方式学习说话人嵌入，监督学习，半监督学习和无监督学习，而损失函数的定义没有任何变化。
2020-06-08 cs.SD eess.AS
Within-sample variability-invariant loss for robust speaker recognition under noisy environments
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
尽管深度神经网络在说话人识别方面有了显著的改进，但在嘈杂的环境下，性能仍不令人满意。在本文中，我们训练说话人嵌入网络，学习“干净”的嵌入噪声的话语。具体地说，该网络是用原始说话人识别损失和辅助样本内变率不变损失来训练的。这种辅助可变性不变损失用于学习干净话语及其噪声副本之间的相同嵌入，并防止网络将不期望的噪声或可变性编码到说话者表示中。此外，我们调查的数据准备策略生成干净和嘈杂的话语对上的飞行。该策略在每个训练步骤中为相同的干净话语生成不同的噪声副本，帮助说话人嵌入网络在噪声环境下更好地泛化。在VoxCeleb1上的实验表明，该训练框架提高了说话人确认系统在纯净和噪声环境下的性能。
2020-02-13 cs.SD eess.AS
Deep Discriminant Analysis for i-vector Based Robust Speaker Recognition
Shanghai Jiao Tong University（上海交通大学）
线性判别分析（LDA）已被用作许多最先进的说话人识别任务中的标准后处理过程。通过最大化说话人间差异和最小化说话人内差异，LDA将i向量投影到更低维和更具区分性的子空间。在本文中，我们提出了一个神经网络为基础的补偿方案（称为深度判别分析，DDA）的i-向量的说话人识别，它共享的精神与LDA。该方法同时针对softmax损失和中心损失进行了优化，学习了一个更紧凑和有区别的嵌入空间。与LDA中数据的高斯分布假设和学习线性投影相比，该方法不对数据作任何假设，可以学习非线性投影函数。在基于SRE语料库的短时间文本无关数据集上进行了实验，与常规LDA或PLDA方法相比，性能有明显的提高。
2018-05-03 cs.SD eess.AS
Channel adversarial training for cross-channel text-independent speaker recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（讯飞研究院）；Anhui University（安徽大学）
传统的说话人识别框架（例如，i-向量和基于CNN的方法）已经成功地应用于当注册数据集的信道与测试数据集的信道相似时的各种任务。然而，在实际应用中，这两个数据集之间总是存在不匹配，这可能会严重恶化识别性能。以前，已经提出了一些信道补偿算法，例如线性判别分析（LDA）和概率LDA。然而，这些方法总是需要收集来自特定说话人的不同声道，这在实际场景中是不现实的。受领域自适应的启发，我们提出了一种新的基于深度学习的说话人识别框架，通过通道对抗训练来学习通道不变和说话人区分的语音表示。具体来说，我们首先采用梯度反转层来消除不同通道之间的变化。然后通过对抗训练将压缩后的信息投影到同一个子空间中。在54，133个说话人的测试数据集上的实验表明，该方法不仅能有效地缓解通道失配问题，而且优于现有的说话人识别方法。与基于i向量的方法和基于CNN的方法相比，我们提出的方法在Top1召回率方面分别实现了44.7%和22.6%的相对提高。
2019-02-25 cs.SD eess.AS
Joint Speaker Features Learning for Audio-visual Multichannel Speech Separation and Recognition
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）；The Hong Kong Polytechnic University（香港理工大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对视听多通道语音分离与识别的零样本自适应，本文通过专用融合模块联合训练xVector与ECAPA-TDNN说话人编码器，显著提升分离识别效果并大幅降低WER。
2024-06-14 cs.SD eess.AS
Reliable Visualization for Deep Speaker Recognition
Information Science and Engineering Institute, Xinjiang University（新疆大学信息科学与工程学院）；Center for Speech and Language Technologies, Tsinghua University（清华大学语音语言技术中心）
尽管卷积神经网络（CNN）在说话人识别中取得了令人瞩目的成功，但我们对CNN内部功能的理解仍然有限。一个主要的障碍是，一些流行的可视化工具很难应用，例如那些产生显着图。其原因是说话人信息在时频空间中没有显示出清晰的空间模式，这使得难以解释可视化结果，因此难以确认可视化工具的可靠性。在本文中，我们进行了广泛的分析，基于CAM的三个流行的可视化方法：梯度CAM，分数CAM和层CAM，调查他们的可靠性说话人识别任务。在最新的ResNet 34 SE模型上进行的实验表明，Layer-CAM算法可以产生可靠的可视化，因此可以作为一个有前途的工具来解释基于CNN的说话人模型。源代码和示例可以在我们的项目页面上找到：http://project.cslt.org/。
2022-04-12 cs.SD eess.AS
Is Style All You Need? Dependencies Between Emotion and GST-based Speaker Recognition
Michigan State University（密歇根州立大学）
在这项工作中，我们研究的假设，从语音样本中提取的说话人身份嵌入可用于检测和分类的情绪。特别地，我们表明，通过使用1-D三重卷积神经网络（CNN）和全局风格令牌（GST）方案（例如，DeepTalk Network）并重用训练的说话人识别模型权重来生成情感分类域中的特征。自动说话人识别（ASR）网络使用VoxCeleb 1、VoxCeleb 2和Librisepeech数据集进行训练，并使用说话人身份标签的三重训练损失函数。使用支持向量机（SVM）分类器，我们映射到离散的情感类别从CREMA-D，IEMOCAP，和MSP播客数据集的扬声器身份嵌入。在语音情感检测任务中，我们从CREMA-D中获得了80.8%的ACC，从IEMOCAP中获得了81.2%的ACC，从MSP-Podcast中获得了66.9%的ACC。我们还提出了一种新的两阶段分层分类器（HC）方法，该方法在CREMA-D情感样本上显示出+2%的ACC改进。通过这项工作，我们试图传达整体建模音频样本内的用户内变化的重要性
2022-11-15 cs.SD eess.AS
Jeffreys divergence-based regularization of neural network output distribution applied to speaker recognition
LIA - Avignon University（阿维尼翁大学 LIA）
本文提出基于Jeffreys散度的新损失函数用于说话人识别，通过平滑非目标值并最大化目标值提升判别力，理论论证有效性，实验证明在域外数据上优于现有方法并减少误报。
2023-12-28 cs.SD eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.（微软公司）
本文提出了一个端到端的说话人属性自动语音识别模型，该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练（SOT）与基于注意力的编码器-解码器，最近提出的方法，用于识别重叠的语音，包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入，以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化，该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明，该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Fine-tuning wav2vec2 for speaker recognition
Radboud University（拉德堡德大学）
本文探讨了将wav 2 vec 2框架应用于说话人识别而不是语音识别。我们研究了预训练权重在说话人识别任务中的有效性，以及如何将wav 2 vec 2输出序列合并到固定长度的说话人嵌入中。为了使该框架适用于说话人识别，我们提出了一个单一的话语分类变体CE或AAM softmax损失，和一个话语对分类变体BCE损失。我们表现最好的变体w2 v2-aam在扩展voxceleb 1测试集上实现了1.88%的EER，而ECAPA-TDNN基线的EER为1.69%。代码可在https://github.com/nikvaessen/w2v2-speaker上获得。
2022-05-06 cs.LG cs.SD eess.AS
A Machine of Few Words -- Interactive Speaker Recognition with Reinforcement Learning
Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Deepmind（深度思维）；Google Research（谷歌研究院）
说话人识别是语音处理领域中一个众所周知的研究课题。它有许多应用，用于个人设备的安全或扬声器适配。在本文中，我们提出了一个新的范例自动说话人识别，我们称之为交互式说话人识别（ISR）。在这个范例中，识别系统的目的是通过请求个性化的话语来逐步建立一个代表的发言者被发言的标准文本相关或文本无关的计划。为此，我们将说话人识别任务转换为一个顺序决策问题，并使用强化学习来解决。使用一个标准的数据集，我们表明，我们的方法取得了优异的性能，同时使用很少的语音信号量。该方法也可以作为一种发声选择机制，用于构建语音合成系统。
2020-08-07 cs.LG cs.SD eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）
最近，自监督学习（SSL）在说话人识别中表现出了很强的性能，即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验，研究了自监督学习在说话人相关任务（如说话人确认）中的成功因素。我们在Voxceleb-1数据集上的实证结果表明，SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合，而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Time-frequency Network for Robust Speaker Recognition
Fudan University（复旦大学）
基于语音的生物识别系统的广泛应用通常需要高性能的说话人识别算法。然而，大多数用于说话人识别的现有工作要么在频域要么在时域中处理语音，这可能产生次优的结果，因为时域和频域对于说话人识别都很重要。本文尝试对语音信号进行时域和频域分析，通过提取和融合时域和频域特征，提出了用于说话人识别的时频网络TFN。基于深度神经网络的最新进展，我们提出了一种卷积神经网络，将原始语音波形和频谱编码为特定于领域的特征，然后将其融合并转换为用于说话人识别的分类特征空间。在公开数据集TIMIT和LibriSpeech上的实验结果表明，该框架能够有效地将两个领域的信息结合起来，并且性能优于现有的说话人识别方法。
2023-03-07 cs.MM cs.SD eess.AS
Learning to fool the speaker recognition
Institute of Computer Technology, Chinese Academic of Sciences（中国科学院计算技术研究所）；Peking University（北京大学）；University of Chinese Academic of Sciences（中国科学院大学）
由于指纹/人脸/说话人识别系统的广泛部署，攻击基于深度学习的生物特征系统引起了越来越多的关注。以往的研究主要是针对基于视觉的系统，如指纹、人脸识别等进行攻击。而对说话人识别的攻击虽然在日常生活中得到了广泛的应用，但至今还没有研究。在本文中，我们试图欺骗最先进的说话人识别模型，并提出了\textit{speaker recognition attacker}，一个轻量级的模型，欺骗深层说话人识别模型，通过添加不可察觉的扰动到原始语音波形。我们发现说话人识别系统也容易受到攻击，并且我们在非目标攻击上取得了很高的成功率。此外，我们还提出了一种有效的方法来优化说话人识别攻击，以获得攻击成功率和感知质量之间的权衡。在TIMIT数据集上的实验表明，我们可以达到一个平均信噪比为$57.2\text{dB}$和PESQ 4.2的$99.2\%$的句子错误率，速度比实时快。
2020-04-07 cs.CR cs.SD eess.AS
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley（加州大学伯克利分校）
在本文中，我们研究了生成对抗网络（GANs）对现代说话人识别系统合成欺骗攻击的能力。我们首先证明，使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数，利用数据是真实的，但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击，提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS
Query Expansion System for the VoxCeleb Speaker Recognition Challenge 2020
National Taiwan Normal University（国立台湾师范大学）
在本报告中，我们描述了我们提交给VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的申请。采取了两种办法。一种是将查询扩展应用于说话人确认，与本研究的基线相比，取得了显著的进步。另一种是使用Kaldi提取x向量，并将其概率线性判别分析（PLDA）得分与ResNet得分相结合。
2020-11-04 cs.CL cs.SD eess.AS
Multi-Task Learning with Auxiliary Speaker Identification for Conversational Emotion Recognition
Wuhan University（武汉大学）；Tianjin University（天津大学）
会话情感识别在自然语言处理领域引起了越来越多的关注。与普通的情感识别不同，有效的说话人敏感话语表示是CER的一个主要挑战。在本文中，我们利用说话人辨识（SI）作为一个辅助任务，以提高在会话中的话语表示。通过这种方法，我们可以从额外的SI语料库中学习更好的说话人感知的上下文表示。两个基准数据集上的实验表明，该架构是非常有效的CER，获得新的国家的最先进的结果在两个数据集上。
2020-03-05 cs.CL cs.SD eess.AS
VoxSRC 2020: The Second VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（SRI国际）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们与Interspeech 2020一起举办了VoxCeleb Speaker Recognition Challenge的第二部分。这项挑战的目标是评估如何以及当前的说话人识别技术能够diarise和识别说话人在不受约束的或“在野生”的数据。它包括：（i）来自YouTube视频的公开可用的说话人识别和日记数据集，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2020举办的虚拟公共挑战和研讨会。本文概述了挑战，并描述了基线，使用的方法和结果。最后，我们讨论了第一阶段挑战的进展情况。
2020-12-12 cs.LG cs.SD eess.AS
Real-time, Universal, and Robust Adversarial Attacks Against Speaker Recognition Systems
Rutgers University（罗格斯大学）；The University of Tennessee（田纳西大学）
近年来，随着语音用户界面（VUI）的迅速普及，说话人识别系统已经成为许多安全应用和服务中识别说话人的重要手段。在本文中，我们提出了针对最先进的基于深度神经网络（DNN）的说话人识别系统的第一个实时、通用和鲁棒的对抗性攻击。通过在任意登记的说话者的语音输入上添加音频不可知的通用扰动，基于DNN的说话人识别系统将把说话者识别为任何目标（即，对手期望的）扬声器标签。此外，我们通过估计房间脉冲响应（RIR）对物理空中传播引起的声音失真进行建模，提高了攻击的鲁棒性。使用109名英语使用者的公共数据集的实验表明，我们提出的攻击的有效性和鲁棒性与高攻击成功率超过90%。攻击启动时间也比当代非通用攻击快100倍。
2020-05-01 cs.CL cs.SD eess.AS
On the relevance of language in speaker recognition
Escola Universitària Politècnica de Mataró（马塔罗理工大学学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出了一个新的数据库收集的双语扬声器集（49），在两种不同的语言：西班牙语和加泰罗尼亚语。在语音上，两种语言之间存在着显著的差异。这些差异让我们建立了几个结论的相关性的语言在说话人识别，使用两种方法：矢量量化和协方差矩阵
2022-03-04 cs.LG cs.SD eess.AS
VoxCeleb2: Deep Speaker Recognition
University of Oxford（牛津大学）
本文的目的是在噪声和无约束条件下的说话人识别。我们做出了两个重要贡献。首先，我们介绍了一个非常大规模的视听说话人识别数据集收集的开源媒体。使用全自动管道，我们策划了VoxCeleb2，其中包含来自6，000多名发言者的超过100万条话语。这是任何公开可用的说话人识别数据集的几倍。其次，我们开发和比较卷积神经网络（CNN）模型和训练策略，可以有效地识别身份的声音在各种条件下。在VoxCeleb2数据集上训练的模型大大超过了以前在基准数据集上的工作。
2018-06-27 cs.CV cs.SD eess.AS
Training speaker recognition systems with limited data
Radboud University（拉德堡德大学）
这项工作考虑训练神经网络的说话人识别与一个更小的数据集大小相比，当代的工作。我们通过提出流行的VoxCeleb 2数据集的三个子集来人为地限制数据量。这些子集被限制为50，k音频文件（相对于可用的超过1，M文件），并且在扬声器数量和会话可变性的轴上变化。我们在这些子集上训练了三个说话人识别系统：X-vector、ECAPA-TDNN和wav 2 vec 2网络架构。我们表明，自我监督，wav 2 vec 2的预训练的权重大大提高性能时，训练数据是有限的。代码和数据子集可在https://github.com/nikvaessen/w2v2-speaker-few-samples上获得。
2023-02-27 cs.LG cs.SD eess.AS
JukeBox: A Multilingual Singer Recognition Dataset
Michigan State University（密歇根州立大学）
文本无关的说话人识别系统依赖于成功地编码语音因素，如音高，强度和音色，以实现良好的性能。大多数这样的系统都是使用口语或日常对话语音数据进行训练和评估的。然而，口语，表现出有限的范围内可能的扬声器动态，从而限制了效用的派生说话人识别模型。另一方面，歌唱声音涵盖了更广泛的声音和环境因素，因此可以用来评估说话人识别系统的鲁棒性。然而，大多数现有的说话人识别数据集只关注口语语音。相比之下，适合于说话人识别研究的带标签歌声数据明显不足。为了解决这个问题，我们组装\textit{JukeBox} -一个说话人识别数据集，多语言歌唱声音音频注释歌手身份，性别和语言标签。我们使用当前最先进的方法来证明使用单独训练口语的模型对唱歌的声音进行说话人识别的困难。我们还评估了性别和语言对说话人识别性能的影响，无论是在口语和唱歌的声音数据。完整的\textit{JukeBox}数据集可访问http://iprobe.cse.msu.edu/datasets/jukebox.html。
2020-08-08 cs.LG cs.SD eess.AS
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC（谷歌有限责任公司）；DeepMind（深度思维）
近年来，文语转换（TTS）已被用作语音识别的数据增强技术，以帮助补充训练数据中的不足。相应地，我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中，我们专注于任务的分析，其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到，TTS合成语音提高了跨域说话人识别性能，并且可以有效地与多风格训练相结合。此外，我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明，匹配目标域的文本内容是一个很好的做法，如果这是不可行的，一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
本文总结了VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）的研究结果，该挑战赛与INTERSPEECH 2022联合举行。这项挑战的目标是评估如何以及国家的最先进的说话人识别系统可以diarise和识别说话人从语音获得“在野外”。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在INTERSPEECH 2022举行的公共挑战和混合研讨会。我们描述了我们的挑战的四个轨道以及基线，方法和结果。最后，我们讨论了VoxSRC-22的新域转移焦点，以及前三个版本的挑战进展。
2023-03-06 cs.LG cs.SD eess.AS
