The HCCL system for VoxCeleb Speaker Recognition Challenge 2022
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文介绍了提交至VoxSRC2022的HCCL系统，该系统在track1和track3中分别取得了minDCF 0.1397/EER 2.414和minDCF 0.388/EER 7.030的优异结果。
2023-05-22 cs.SD eess.AS
HeightCeleb - an enrichment of VoxCeleb dataset with speaker height information
AGH University of Krakow（克拉科夫AGH科技大学）
本文提出HeightCeleb数据集，为VoxCeleb中1251位说话人补充身高标注，利用预训练嵌入和简单统计回归，在TIMIT测试集上取得最先进的身高估计结果。
2024-10-17 cs.SD eess.AS
Tongji University Team for the VoxCeleb Speaker Recognition Challenge 2020
Tongji University（同济大学）
在这份报告中，我们描述了同济大学团队在Interspeech 2020上提交VoxCeleb说话人识别挑战赛（VoxSRC）2020的CLOSE赛道。我们研究了基于流行的ResNet-34架构的不同说话人识别系统，并通过各种损失函数训练多个变体。离线和在线数据增强被引入以提高训练集的多样性，并在后处理中应用分数归一化与穷举网格搜索。我们为CLOSE赛道选择的五个系统的最佳融合在挑战赛中达到了0.2800 DCF和4.7770% EER。
2020-10-16 cs.SD eess.AS
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University（西北工业大学）；Beijing ZKJ Technology Co., Ltd.（北京中科金技术有限公司）
在这份报告中，我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中，我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外，我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外，我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统，我们最终的最佳性能（minDCF/EER）的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交，我们来到了第二位的挑战，为两个轨道。
2021-11-18 cs.SD eess.AS
The ByteDance Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2021
ByteDance（字节跳动）
本文描述了用于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）第四轨的字节跳动扬声器日志化系统。VoxSRC-21提供VoxConverse的开发集和测试集用于验证，并提供独立的测试集用于评估。我们首先收集所有音频的持续时间和信噪比（SNR），发现VoxConverse的测试集和VoxSRC-21的测试集的分布更加接近。我们的系统包括语音主动检测（VAD），说话人嵌入提取，谱聚类，然后是一个基于凝聚层次聚类（AHC）和重叠语音检测和处理的重新聚类步骤。最后，我们使用DOVER-Lap集成具有不同时间尺度的系统。我们的最佳系统在评估集上达到了5.15%的日志出错率，在挑战的日志跟踪中排名第二。
2021-09-05 cs.SD eess.AS
VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
VoxCeleb Speaker Recognition Challenge的第三阶段与Interspeech 2021一起举行。这项挑战的目的是评估如何以及当前的说话人识别技术能够diarise和识别扬声器在不受约束的或“在野外”的数据。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2021举行的虚拟公众挑战和研讨会。本文概述了挑战，并介绍了基线，方法和结果。最后，我们讨论了VoxSRC 2021的新多语言重点，以及自前两个版本以来挑战的进展。
2022-11-16 cs.SD eess.AS
Microsoft Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2020
Microsoft（微软公司）
本文介绍了用于野外单声道多人录音的Microsoft扬声器日记系统，该系统在VoxCeleb说话人识别挑战赛（VoxSRC）2020的日记轨道上进行了评估。我们将首先解释我们的系统设计，以解决处理真实多说话者录音的问题。然后，我们提出的组件的细节，其中包括基于Res2Net的说话人嵌入提取器，符合者为基础的连续语音分离与泄漏滤波，和一个修改后的DOVER（缩写为Diarization Output Voting Error Reduction）方法系统融合。我们使用VoxSRCchallenge 2020提供的数据集对系统进行了评估，该数据集包含从YouTube收集的真实多人音频。我们的最佳系统在开发集和评估集上分别实现了3.71%和6.23%的日志错误率（DER），在挑战的日志跟踪中排名第一。
2020-10-23 cs.SD eess.AS
The DKU-DukeECE System for the Self-Supervision Speaker Verification Task of the 2021 VoxCeleb Speaker Recognition Challenge
Duke Kunshan University（昆山杜克大学）；Duke University（杜克大学）
本报告描述了DKU-DukeECE团队提交的2021 VoxCeleb说话人识别挑战赛（VoxSRC）的自我监督说话人验证任务。我们的方法采用迭代标记框架来学习基于深度神经网络（DNN）的自监督说话人表示。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力，我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类，并使用后续的类分配作为伪标签来训练一个新的DNN。此外，我们迭代地训练扬声器网络与从上一步生成的伪标签，以引导DNN的辨别能力。此外，视觉模态数据被纳入这个自标记框架。视觉伪标签和音频伪标签与聚类集成算法融合，以产生用于表示学习的鲁棒监督信号。我们的提交在挑战开发和测试集上分别实现了5.58%和5.59%的等错误率（EER）。
2021-09-07 cs.SD eess.AS
The DKU-Tencent System for the VoxCeleb Speaker Recognition Challenge 2022
Tencent（腾讯）
本文是DKU-Tencent VoxCeleb Speaker Recognition Challenge 2022（VoxSRC 22）系统的系统描述。在这次挑战中，我们将重点放在轨道1和轨道3上。对于track 1，采用多个骨干网络来提取帧级特征。由于轨道1侧重于跨年龄场景，我们采用跨年龄试验和QMF校准分数。基于量值的质量度量实现了大的改进。对于半监督领域自适应任务track 3，采用伪标签方法进行领域自适应。考虑到聚类过程中的噪声标签，用次中心弧面代替弧面。最终提交在任务1中实现0.107 mDCF，在任务3中实现7.135% EER。
2022-10-11 cs.SD eess.AS
Query Expansion System for the VoxCeleb Speaker Recognition Challenge 2020
National Taiwan Normal University（国立台湾师范大学）
在本报告中，我们描述了我们提交给VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的申请。采取了两种办法。一种是将查询扩展应用于说话人确认，与本研究的基线相比，取得了显著的进步。另一种是使用Kaldi提取x向量，并将其概率线性判别分析（PLDA）得分与ResNet得分相结合。
2020-11-04 cs.CL cs.SD eess.AS
ShaneRun System Description to VoxCeleb Speaker Recognition Challenge 2020
Delta Electronics（台达电子）
在这份报告中，我们描述了ShaneRun团队提交给VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的情况。我们使用ResNet-34作为编码器来提取说话人嵌入，这参考了开源的voxceleb-trainer。我们还提供了一个简单的方法来实现最佳融合使用t-SNE归一化距离的测试话语对，而不是原来的负欧几里德距离的编码器。最终提交的系统对于固定数据跟踪得到0.3098 minDCF和5.076%ERR，分别比基线高1.3%minDCF和2.2%ERR。
2020-11-03 cs.LG cs.SD eess.AS
The Kriston AI System for the VoxCeleb Speaker Recognition Challenge 2022
Kriston AI Lab（克里斯顿人工智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本技术报告介绍了我们的系统为轨道1，2和4的VoxCeleb说话人识别挑战2022（VoxSRC-22）。通过结合几个ResNet变体，我们提交的第1轨道的minDCF为0：090，EER为1：401%。通过进一步整合三个微调的预训练模型，我们提交的第2轨道的minDCF为0：072，EER为1：119%。对于音轨4，我们的系统包括语音活动检测（VAD），说话人嵌入提取，凝聚层次聚类（AHC），然后是基于贝叶斯隐马尔可夫模型和重叠语音检测和处理的重新聚类步骤。我们提交的第4轨的诊断错误率（DER）为4.86%。所有参赛作品都排在相应曲目的第二位。
2022-09-23 cs.SD eess.AS
Self-Distillation Prototypes Network: Learning Robust Speaker Representations without Supervision
本文提出自蒸馏原型网络（SDPN），通过将话语增强视图与原始视图分配至相同原型实现自监督知识转移，并引入多样性正则化项解决模型崩溃问题，在VoxCeleb基准上达到最先进性能。
2024-06-25 cs.SD eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2020 System Description
IDLAB（ID实验室）
在这份技术报告中，我们描述了IDLAB在有监督和无监督说话人验证轨道中为VoxCeleb说话人识别挑战赛2020（VoxSRC-20）提交的最高得分。对于监督验证跟踪，我们训练了6个最先进的ECAPA-TDNN系统和4个基于Resnet 34的系统。在所有模型上，我们应用了一个大间隔微调策略，这使得训练过程能够通过使用更长的训练话语来使用更高的间隔惩罚。此外，我们使用质量感知的分数校准，在校准系统中引入质量指标，以产生更一致的分数在不同水平的话语条件。所有系统的融合以及两种增强功能的应用导致了开放式和封闭式监督核查轨道的第一名。通过对比学习来训练无监督系统。随后通过训练嵌入的迭代聚类生成的伪标签允许使用监督技术。这一过程导致了在无监督的轨道上获胜的提交，其性能正在接近监督训练。
2020-10-23 cs.SD eess.AS
EML System Description for VoxCeleb Speaker Diarization Challenge 2020
EML Speech Technology GmbH（EML语音技术有限公司）
本技术报告介绍了EML提交的第一VoxCeleb扬声器日记挑战.虽然挑战的目的是离线处理信号，但提交的系统基本上是EML在线算法，该算法在运行时大约每1.2秒决定一次说话者标签。对于挑战的第一阶段，仅使用VoxCeleb2 dev数据集进行训练。与挑战中提供的离线基线相比，所提供的VoxConverse开发集的结果在DER和JER方面显示出更好的准确性。在单机上，整个日志化过程的实时性约为0.01。
2020-10-23 cs.CL cs.SD eess.AS
VoxCeleb2: Deep Speaker Recognition
University of Oxford（牛津大学）
本文的目的是在噪声和无约束条件下的说话人识别。我们做出了两个重要贡献。首先，我们介绍了一个非常大规模的视听说话人识别数据集收集的开源媒体。使用全自动管道，我们策划了VoxCeleb2，其中包含来自6，000多名发言者的超过100万条话语。这是任何公开可用的说话人识别数据集的几倍。其次，我们开发和比较卷积神经网络（CNN）模型和训练策略，可以有效地识别身份的声音在各种条件下。在VoxCeleb2数据集上训练的模型大大超过了以前在基准数据集上的工作。
2018-06-27 cs.CV cs.SD eess.AS
SynVox2: Towards a privacy-friendly VoxCeleb2 dataset
National Institute of Informatics（国立信息学研究所）；EURECOM（EURECOM通信与计算机科学研究院）；University of Avignon（阿维尼翁大学）
针对大规模真实语音数据集引发的隐私与法律问题，本研究提出生成隐私友好的合成 VoxCeleb2 数据集，确保语音在隐私、效用和公平性方面的质量，并探讨其在说话人验证任务中的挑战。
2023-09-12 cs.SD eess.AS
EACELEB: An East Asian Language Speaking Celebrity Dataset for Speaker Recognition
Georgia Institute of Technology（佐治亚理工学院）
大型数据集对于训练说话人识别系统非常有用，多年来，各种研究小组已经构建了几个。Voxceleb是一个从Youtube视频中提取的大型说话人识别数据集。本文提出了一种从Youtube获取音频数据的视听方法，给定扬声器的名称作为输入。该系统遵循类似于Voxceleb数据采集方法的流水线。然而，我们的工作集中在快速数据采集，一旦人脸被检测到，在随后的帧中使用人脸跟踪-这是最好的人脸检测为每帧考虑其计算成本。我们表明，应用音频日志我们的数据采集后，可以产生相等的出错率可比Voxceleb。第二组实验表明，我们可以通过使用获取的数据微调预训练的x向量系统来进一步降低出错率。像Voxceleb一样，这里的工作主要集中在为名人开发音频。然而，与Voxceleb不同的是，我们的目标音频数据来自东亚国家的名人。最后，我们建立了一个说话人验证任务，以评估我们所获得的数据的准确性。经过日志化和微调，我们在整个数据集上实现了大约4\%的相等出错率。
2022-03-10 cs.SD eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2021 System Description
Ghent University（根特大学）；imec（比利时微电子研究中心）；IDLab（IDLab实验室）
本技术报告描述了IDLab提交的VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的第1和第2轨道。本次说话人确认比赛侧重于短时间测试录音和跨语言测试。目前，时间延迟神经网络（TDNNs）和ResNets在说话人验证方面都取得了最先进的结果。我们选择在我们的最终提交中使用混合架构的系统融合。ECAPA-TDNN基线通过2D卷积干增强，以将基于ResNet的模型的一些强大特征转移到这种混合CNN-TDNN架构中。同样，我们将绝对频率位置信息纳入SE-ResNet架构中。所有模型都使用特殊的小批量数据采样技术进行训练，该技术使用在说话人内可变性水平上对系统最具挑战性的数据构建小批量。这种说话人内部的变异性主要是由说话人话语之间的语言和背景条件的差异引起的。通过在基于逻辑回归的系统校准中引入二进制跨语言试验特征，进一步补偿了说话人验证分数上的跨语言影响。最终系统融合了两个ECAPA CNN-TDNN和三个SE-ResNet，增强了频率位置信息，在VoxSRC-21排行榜上获得了第三名，轨道1和2的minDCF分别为0.1291和0.1313。
2021-09-09 cs.SD eess.AS
Tongji University Undergraduate Team for the VoxCeleb Speaker Recognition Challenge2020
Tongji University（同济大学）
在这份报告中，我们描述了同济大学本科团队在Interspeech 2020上参加VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的CLOSE赛道。为了提高网络的去噪能力，更好地完成复杂环境下的说话人确认任务，我们将RSBU-CW模块应用到ResNet 34框架中，训练ResNet的两个变体，使用分数融合和数据增强方法来提高模型的性能。我们的融合两个选定的系统的关闭轨道上的挑战评估集达到0.2973 DCF和4.9700\% EER。
2020-10-20 cs.LG cs.SD eess.AS
SJTU-AISPEECH System for VoxCeleb Speaker Recognition Challenge 2022
Shanghai Jiao Tong University（上海交通大学）；AISpeech Ltd（思必驰有限公司）
本报告介绍了用于Voxceleb说话人识别挑战赛2022的SJTU-AISPEECH系统。对于track 1，我们实现了两种系统，在线系统和离线系统。探索了不同的基于ResNet的主干和损失函数。我们最终的融合系统在第一赛道获得第三名。对于track 3，我们实现了统计自适应和基于联合训练的领域自适应。在基于联合训练的领域自适应中，我们联合训练具有不同训练目标的源和目标领域数据集，进行领域自适应。我们探索了两种不同的训练目标的目标域数据，自监督学习的角度原型损失和半监督学习的分类损失估计的伪标签。此外，我们使用动态损失门和标签校正（DLG-LC）策略，以提高伪标签的质量时，目标领域的目标是一个分类损失。我们最终的融合系统在第3轨道中获得了第4名（非常接近第3名，相对不到1%）。
2022-09-20 cs.SD eess.AS
Delving into VoxCeleb: environment invariant speaker recognition
Naver Corporation（Naver公司）
由于神经网络模型的应用和新的大规模数据集的出现，说话人识别的研究取得了重大进展。已经有大量的工作在寻找更强大的架构或适合于该任务的损失函数，但这些工作没有考虑模型除了能够预测给定的标签之外还学习了什么信息。在这项工作中，我们引入了一个环境对抗训练框架，在这个框架中，网络可以有效地学习说话者区分和环境不变的嵌入，而无需在训练过程中进行显式域转移。我们通过利用VoxCeleb数据集中以前未使用的“视频”信息来实现这一点。环境对抗训练允许网络更好地概括看不见的条件。使用VoxCeleb数据集，我们证明了显着的性能改进基线上的说话人辨识和验证任务的方法进行评估。
2020-02-03 cs.LG cs.SD eess.AS
VoxSRC 2020: The Second VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（SRI国际）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们与Interspeech 2020一起举办了VoxCeleb Speaker Recognition Challenge的第二部分。这项挑战的目标是评估如何以及当前的说话人识别技术能够diarise和识别说话人在不受约束的或“在野生”的数据。它包括：（i）来自YouTube视频的公开可用的说话人识别和日记数据集，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2020举办的虚拟公共挑战和研讨会。本文概述了挑战，并描述了基线，使用的方法和结果。最后，我们讨论了第一阶段挑战的进展情况。
2020-12-12 cs.LG cs.SD eess.AS
ChinaTelecom System Description to VoxCeleb Speaker Recognition Challenge 2023
China Telecom Corporation Ltd. Data&AI Technology Company（中国电信股份有限公司数据与人工智能技术公司）
本文提出中国电信 VoxSRC 2023 封闭赛道系统，通过融合多个仅用 VoxCeleb2 训练的 ResNet 并进行分数校准，最终实现 0.1066 minDCF 和 1.980% EER。
2023-08-16 cs.CL cs.SD eess.AS
The Newsbridge -Telecom SudParis VoxCeleb Speaker Recognition Challenge 2022 System Description
SAMOVAR, Telecom SudParis, Institut Polytechnique de Paris（巴黎高等电信学校，巴黎综合理工学院，SAMOVAR实验室）；Newsbridge（Newsbridge公司）
我们描述了我们的团队在VoxCeleb Speaker Recognition Challenge 2022（VoxSRC 2022）中使用的系统。我们的解决方案是围绕一种新的语音活动检测算法组合而设计的，该算法利用了多个系统的优势。我们介绍了一种新的多流方法与决策协议的基础上分类熵。我们称这种方法为多流语音活动检测，并将其与标准基线日志嵌入，聚类和重新分割一起使用。通过这项工作，我们成功地证明了使用强大的基线并仅在语音活动检测上工作，可以实现接近最先进的结果。
2023-01-17 cs.CL cs.SD eess.AS
The Phonexia VoxCeleb Speaker Recognition Challenge 2021 System Description
Phonexia s.r.o（Phonexia有限公司）
我们描述了Phonexia提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）的无监督说话人验证轨道。我们的解决方案与IDLab为VoxSRC-20提交的获奖作品非常相似。嵌入提取器使用动量对比学习自举，输入增强作为唯一的监督来源。随后进行多次聚类迭代，以分配伪说话人标签，然后用于监督嵌入提取器训练。最后，通过对五个不同嵌入提取器的zt归一化余弦分数进行平均来进行分数融合。我们还简要描述了不成功的解决方案，涉及i向量而不是DNN嵌入和PLDA而不是余弦评分。
2021-09-08 cs.LG cs.SD eess.AS
Self-Distillation Prototypes Network: Learning Robust Speaker Representations without Supervision
Alibaba Group（阿里巴巴集团）
本文提出自蒸馏原型网络 SDPN，通过将增强视图与原视图对齐到相同可学习原型并引入多样性正则化防止模型坍缩，在无说话人标签条件下于 VoxCeleb1 上取得最先进的说话人验证性能。
2024-12-27 cs.SD eess.AS
VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
本文总结了VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）的研究结果，该挑战赛与INTERSPEECH 2022联合举行。这项挑战的目标是评估如何以及国家的最先进的说话人识别系统可以diarise和识别说话人从语音获得“在野外”。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在INTERSPEECH 2022举行的公共挑战和混合研讨会。我们描述了我们的挑战的四个轨道以及基线，方法和结果。最后，我们讨论了VoxSRC-22的新域转移焦点，以及前三个版本的挑战进展。
2023-03-06 cs.LG cs.SD eess.AS
VoxSRC 2019: The first VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（斯坦福国际研究院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
VoxCeleb Speaker Recognition Challenge 2019旨在评估当前的说话人识别技术在不受约束或“野外”数据中识别说话人的能力。它包括：（i）来自YouTube视频的公开可用的说话人识别数据集以及地面实况注释和标准化评估软件;以及（ii）在奥地利格拉茨举行的Interspeech 2019上举行的公开挑战和研讨会。本文件概述了这一挑战，并提供了其基线、结果和讨论。
2019-12-05 cs.LG cs.SD eess.AS
The xx205 System for the VoxCeleb Speaker Recognition Challenge 2020
AISpeech Ltd（思必驰有限公司）
本报告描述了提交给VoxCeleb Speaker Recognition Challenge（VoxSRC）2020第一和第二轨道的系统，该系统在两个轨道中均排名第二。探讨了系统流水线的三个关键点：（1）研究多个CNN架构，包括ResNet，Res 2Net和双路径网络（DPN）来提取x向量，（2）使用复合角裕度softmax损失来训练说话人模型，以及（3）应用分数归一化和系统融合来提高性能。在VoxSRC-20 Eval集上进行测量，提交的最佳系统在闭合条件轨道1中实现了$3.808\%$的EER和$0.1958$的MinDCF，在开放条件轨道2中分别实现了$3.798\%$的EER和$0.1942$的MinDCF。
2020-10-31 cs.CL cs.SD eess.AS
Voxceleb-ESP: preliminary experiments detecting Spanish celebrities from their voices
Audias
本文构建包含160位西班牙名人的 VoxCeleb-ESP 说话人识别数据集，提供测试列表并评估预训练 ResNet，证明其任务难度与更大规模的英文 VoxCeleb 相当。
2023-12-20 cs.LG cs.SD eess.AS
The DKU-MSXF Speaker Verification System for the VoxCeleb Speaker Recognition Challenge 2023
Duke Kunshan University（昆山杜克大学）；Mashang Consumer Finance Co., Ltd（马上消费金融股份有限公司）
本文介绍 DKU-MSXF 在 VoxSRC-23 三个赛道的说话人验证方案，通过跨年龄数据、VoxBlink-clean 混合训练及三重阈值伪标签域适应取得优异成绩。
2023-08-17 cs.SD eess.AS
Duality Temporal-channel-frequency Attention Enhanced Speaker Representation Learning
在基于CNN的说话人表示网络中使用通道注意力在说话人确认（SV）中取得了显着的性能。但是这些方法在通道注意学习之前对时间和频率特征图进行简单的平均，忽略了时间、通道和频率尺度之间的相互作用。为了解决这个问题，我们提出了二元时间-信道-频率（DTCF）注意重新校准信道的功能与时间和频率维度上的全局上下文的聚合。具体而言，二元注意力-时间-通道（T-C）注意力以及频率-通道（F-C）注意力-旨在关注T-C和F-C特征图上的显著区域，这些区域可能对全局上下文产生更大的影响，从而导致更具歧视性的说话人表示。我们评估了建议的DTCF关注CN-Celeb和VoxCeleb数据集的有效性。在CN-Celeb评估集上，ResNet 34-DTCF的EER/minDCF与ResNet 34-SE相比降低了0.63%/0.0718。在VoxCeleb 1-O、VoxCeleb 1-E和VoxCeleb 1-H评估集上，ResNet 34-DTCF的EER/minDCF与ResNet 34-SE相比分别降低了0.36%/0.0263、0.39%/0.0382和0.74%/0.0753。
2021-10-15 cs.SD eess.AS
Why Did the x-Vector System Miss a Target Speaker? Impact of Acoustic Mismatch Upon Target Score on VoxCeleb Data
University of Eastern Finland（东芬兰大学）；School of Computing（计算机学院）
现代自动说话人验证（ASV）在很大程度上依赖于通过深度神经网络实现的机器学习。很难解释这些黑匣子的输出。与解释性机器学习一致，我们对ASV检测分数对注册和测试话语的声学失配的依赖性进行建模。我们的目标是确定失配的因素，解释目标扬声器错过（错误拒绝）。我们使用选定的声学特征的一阶和二阶统计中的距离作为线性混合效应模型中的预测因子，而标准的Kaldi x向量系统形成了我们的ASV黑盒。我们对VoxCeleb数据的研究结果显示，最突出的失配因素是F0均值，其次是与共振峰频率相关的失配。我们的研究结果表明，x-向量系统缺乏鲁棒性扬声器内的变化。
2020-08-11 cs.CY cs.SD eess.AS
Neighborhood Attention Transformer with Progressive Channel Fusion for Speaker Verification
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
提出PCF-NAT骨干网络，通过交替邻域与全局注意力及渐进式通道融合，仅在VoxCeleb2上训练即优于相似规模ECAPA-TDNN，大幅降低EER与minDCF。
2024-05-30 cs.SD eess.AS
BUT System Description to VoxCeleb Speaker Recognition Challenge 2019
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在这份报告中，我们描述了布尔诺理工大学（BUT）团队提交给VoxCeleb说话人识别挑战赛（VoxSRC）2019的情况。我们还提供了VoxCeleb-1测试集上不同系统的简要分析。提交的固定和开放条件下的系统是4个卷积神经网络（CNN）拓扑的融合。第一和第二网络具有ResNet 34拓扑，并使用二维CNN。最后两个网络是一维CNN，并且基于x向量提取拓扑。一些网络使用附加裕度角softmax进行微调。Kaldi FBanks和Kaldi PLP被用作特征。固定系统和开放系统的区别在于所使用的训练数据和融合策略。固定和开放条件下的最佳系统在挑战评估集上分别达到1.42%和1.26%的ERR。
2019-10-16 cs.CL cs.SD eess.AS
The Royalflush System for VoxCeleb Speaker Recognition Challenge 2022
Hithink RoyalFlush AI Research Institute（华创同花顺人工智能研究院）
在本技术报告中，我们描述了Royalflush为VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）提交的申请。我们提交的文件包含轨道1，这是监督说话人验证和轨道3，这是半监督说话人验证。对于音轨1，我们开发了一个功能强大的基于U-Net的对称架构的说话人嵌入提取器。在验证集上，所提出的系统的EER和MinDCF分别达到2.06%和0.1293。与现有的ECAPA-TDNN相比，EER和MinDCF分别提高了20.7%和22.70%。对于音轨3，我们采用源域监督和目标域自监督的联合训练，得到一个说话人嵌入提取器。随后的聚类过程可以获得目标域伪说话人标签。我们使用所有源和目标域数据以监督的方式调整说话人嵌入提取器，它可以充分利用这两个域的信息。此外，可以重复聚类和监督领域自适应，直到性能收敛于验证集。我们最终提交的是10个模型的融合，在验证集上实现了7.75%的EER和0.3517 MinDCF。
2022-09-20 cs.AI cs.SD eess.AS
UNISOUND System for VoxCeleb Speaker Recognition Challenge 2023
Unisound AI Technology Co., Ltd.（优必选智能语音技术有限公司）；Shanghai Normal University（上海师范大学）
本研究针对2023年VoxCeleb说话人识别挑战赛，提出基于CMF的一致性感知分数校准方法，结合多模型融合，仅用VoxCeleb2-dev训练便取得赛道一第一、赛道二第二的成绩。
2023-08-24 cs.LG cs.SD eess.AS
Large-scale Self-Supervised Speech Representation Learning for Automatic Speaker Verification
Microsoft（微软）
从大规模未标记数据中学习到的语音表示比从监督学习中学习到的语音表示具有更好的泛化能力，因此吸引了大量的兴趣被应用于各种下游任务。在本文中，我们探索了通过不同的自监督目标和数据集学习的语音表示的限制，用于自动说话人验证（ASV），特别是使用公认的SOTA ASV模型ECAPA-TDNN [1]作为下游模型。来自预训练模型的所有隐藏层的表示首先用可学习的权重进行平均，然后作为输入特征输入ECAPA-TDNN。在Voxceleb数据集上的实验结果表明，加权平均表示明显优于FBank，ASV的传统手工特征。我们最好的单系统分别在VoxCeleb 1的三次正式试验中达到0.537%、0.569%和1.180%的相等出错率（EER）。相应地，具有三个预训练模型的集成系统可以进一步将EER提高到0.479%、0.536%和1.023%。在三个评估试验中，我们最好的系统在VoxCeleb 1-E试验中的表现优于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC 2021）的获胜者系统。
2022-01-24 cs.SD eess.AS
The Microsoft System for VoxCeleb Speaker Recognition Challenge 2022
Microsoft（微软）
在这份报告中，我们描述了我们提交的系统的VoxCeleb扬声器识别挑战赛2022（VoxSRC-22）的轨道2。我们融合了各种性能良好的模型，从监督模型到自监督学习（SSL）预训练模型。使用VoxCeleb-2 dev数据训练的监督模型由ECAPA-TDNN和Res2Net组成。SSL预训练模型wav2vec和wavLM使用高达百万小时的大规模未标记语音数据进行训练。这些模型与ECAPA-TDNN级联，并以监督的方式进一步微调以提取说话人表示。所有13个模型都应用了分数归一化和校准，然后融合到提交的系统中。我们还探讨了音频质量的措施，在校准阶段，如持续时间，信噪比，T60，MOS。在VoxSRC-22评估集上，提交的最佳系统的minDCF为0.073，EER为1.436%。
2022-09-22 cs.SD
Momentum Contrast Speaker Representation Learning
SNU（首尔国立大学）
无监督表示学习通过减少与有监督特征学习的性能差距而取得了显着的成就，特别是在图像领域。在这项研究中，为了将无监督学习技术扩展到语音领域，我们提出了VoxCeleb（MoCoVox）的动量对比作为一种学习机制。我们通过实施实例歧视在VoxCeleb1上预训练MoCoVox。将MoCoVox应用于说话人验证表明，它的性能大大优于最先进的基于度量学习的方法。我们还通过分析学习表征的分布，实证展示了语音领域对比学习的特征。此外，我们探讨了哪些借口任务是足够的话者确认。我们期望在没有人监督的情况下学习说话人表示有助于解决开集说话人识别问题。
2020-10-22 cs.SD eess.AS
VoxCeleb: a large-scale speaker identification dataset
University of Oxford（牛津大学）
大多数现有的说话人辨识数据集包含在相当约束的条件下获得的样本，并且通常是手工注释的，因此大小有限。本文的目标是生成一个大规模的文本无关的说话人辨识数据集收集“在野外”。我们做了两个贡献。首先，我们提出了一个基于计算机视觉技术的全自动流水线，从开源媒体创建数据集。我们的管道包括从YouTube获取视频;使用双流同步卷积神经网络（CNN）执行主动说话者验证，并使用基于CNN的面部识别来确认说话者的身份。我们使用这个管道来策划VoxCeleb，它包含了1,000多位名人的数十万个“真实世界”的话语。我们的第二个贡献是在我们的数据集上应用和比较各种最先进的说话人辨识技术，以建立基线性能。我们表明，一个基于CNN的架构获得最佳性能的识别和验证。
2018-05-30 cs.SD
Cross-Age Speaker Verification: Learning Age-Invariant Speaker Embeddings
Tencent AI Lab（腾讯人工智能实验室）
近年来，说话人自动确认技术取得了显著的进展。然而，由于相关数据不足，跨年龄说话人确认的研究还很少。本文基于VoxCeleb数据集挖掘跨年龄测试集，提出了一种年龄不变的说话人表示（AISR）学习方法。由于VoxCeleb是从YouTube平台收集的，因此数据集本身就包含了跨年龄数据。然而，元数据不包含说话者年龄标签。因此，我们采用人脸年龄估计的方法来预测说话人的年龄值从相关的视觉数据，然后标记的音频记录与估计的年龄。我们在VoxCeleb（Vox-CA）上构建了多个跨年龄测试集，这些测试集故意选择年龄差距较大的阳性试验。此外，国籍和性别的影响被认为是在选择负对对齐Vox-H的情况下。基线系统性能从Vox-H测试集上的1.939\% EER下降到Vox-CA 20测试集上的10.419\%，这表明跨年龄场景是多么困难。因此，我们提出了一种年龄解耦对抗学习（ADAL）方法，以减轻年龄差距的负面影响，并减少类内方差。在Vox-CA 20测试集上，我们的方法优于基线系统，相关EER降低超过10%。源代码和试用资源可在https://github.com/qinxiaoyi/Cross-Age_Speaker_Verification上获得
2022-07-13 cs.SD eess.AS
The ReturnZero System for VoxCeleb Speaker Recognition Challenge 2022
Return Zero Inc.（Return Zero公司）
在本文中，我们描述了RTZR VoxCeleb说话人识别挑战赛2022（VoxSRC-22）在封闭数据集中的最高得分提交，说话人验证轨道1。性能最好的系统是7个模型的融合，其中包含3种不同类型的模型架构。我们专注于训练模型来学习额外的时间信息。因此，所有模型都是用每个话语的4-6秒帧进行训练的。此外，我们采用了大余量微调策略，该策略在我们的一些融合模型的先前挑战中表现出良好的性能。在评价过程中，我们采用了自适应对称归一化（AS-Norm）和矩阵得分平均（MSA）的评分方法。最后，我们将模型与逻辑回归混合，以融合所有训练过的模型。最终提交在VoxSRC 22测试集上实现了0.165 DCF和2.912% EER。
2022-09-21 cs.AI cs.LG cs.SD
The VoxCeleb Speaker Recognition Challenge: A Retrospective
University of Oxford（牛津大学）；Google Research（谷歌研究院）；Meta；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；AWS AI（亚马逊云科技人工智能研究院）
本文回顾了2019至2023年举办的VoxCeleb说话人识别挑战赛，总结了其在多种设置下评估说话人识别与日志任务的方法演变、性能进展及领域现状，为相关研究人员和挑战赛组织者提供参考。
2024-08-27 cs.AI cs.SD eess.AS
Multi-query multi-head attention pooling and Inter-topK penalty for speaker verification
SpeakIn Technologies Co. Ltd.（思必驰科技股份有限公司）；Fudan University（复旦大学）
本文描述了多查询多头注意力（MQMHA）池化和inter-topK惩罚方法，这些方法首次在我们提交的VoxCeleb说话人识别挑战赛（VoxSRC）2021的系统描述中提出。大多数多头注意力池机制要么通过多个头来关注整个特征，要么关注整个特征的几个分割部分。我们提出的MQMHA结合了这两种机制，并获得更多样化的信息。基于边缘的softmax损失函数通常用于获得区分性说话人表示。为了进一步提高类间区分度，我们提出了一种方法，增加了一个额外的inter-topK惩罚对一些混乱的扬声器。通过采用MQMHA和inter-topK惩罚，我们在所有公共VoxCeleb测试集中实现了最先进的性能。
2021-10-12 cs.SD eess.AS
Disentangled representation learning for multilingual speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Oxford（牛津大学）；Naver Corporation（NAVER公司）；Carnegie Mellon University（卡内基梅隆大学）
针对跨语言说话人识别难题，本文构建了考虑双语场景的大规模评估集 VoxCeleb1-B，并提出一种结合对抗学习与度量学习、仅依赖语言伪标签的解耦表示学习方法。
2023-06-06 cs.SD eess.AS
Attention Back-end for Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
概率线性判别分析（PLDA）或余弦相似度已被广泛用于传统的说话人确认系统作为后端技术来衡量成对的相似度。为了更好地利用多个注册话语，我们提出了一种新的注意后端模型，它可以用于文本无关（TI）和文本相关（TD）的说话人验证，并采用缩放点自注意和前馈自注意网络作为架构，学习注册话语的内部关系。为了验证所提出的注意力后端，我们在CNCeleb和VoxCeleb数据集上进行了一系列实验，将其与几种最先进的说话人编码器（包括TDNN和ResNet）相结合。实验结果表明，使用多个注册话语CNCeleb的建议注意力后端模型导致较低的EER和minDCF分数比PLDA和余弦相似度对应的每个扬声器编码器和VoxCeleb上的实验表明，我们的模型甚至可以用于单个注册情况。
2021-10-06 cs.SD eess.AS
The IDLAB VoxSRC-20 Submission: Large Margin Fine-Tuning and Quality-Aware Score Calibration in DNN Based Speaker Verification
IDLab, Department of Electronics；Information Systems, Ghent University - imec, Belgium
在本文中，我们提出并分析了一个大裕度微调策略和质量感知的分数校准在文本无关的说话人确认。大裕度微调是使用基于裕度的损失函数训练的基于DNN的说话人验证系统的次级训练阶段。它使网络能够通过使用更长的训练话语结合更积极的边缘惩罚来创建更强大的说话人嵌入。分数校准是说话人确认系统中的一种常见做法，将输出分数映射到校准良好的对数似然比，其可以转换为可解释的概率。通过在校准系统中包括质量特征，评估度量的决策阈值变得依赖于质量，并且在不同的试验条件下更加一致。在ECAPA-TDNN架构上应用这两项增强功能，可以在所有公开的VoxCeleb 1测试集上获得最先进的结果，并为我们在VoxCeleb Speaker Recognition Challenge 2020的监督验证轨道中获胜做出了贡献。
2021-04-06 cs.SD eess.AS
Explore Long-Range Context feature for Speaker Verification
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
捕获长距离依赖和建模长时间的上下文被证明有利于说话人确认任务。在本文中，我们提出了分层分裂块（HS-块）和独立可分离的自我注意（DSSA）模块的组合，以捕获更丰富的多范围上下文说话人的功能，分别从本地和全球的角度。具体来说，HS块将特征图和过滤器分成几组，并将它们堆叠在一个块中，这在局部扩大了感受野（RF）。DSSA模块通过深度可分离策略和显式稀疏注意策略改进了多头自注意力机制，实现了对两两关系的全局建模，并在每个通道中捕获有效的长程依赖关系。在Voxceleb和SITW上进行了实验。我们最好的系统达到1.27%EER的Voxceleb 1测试集和1.56%的SITW通过应用HS-block和DSSA模块的组合。
2021-12-14 cs.SD eess.AS
C3-DINO: Joint Contrastive and Non-contrastive Self-Supervised Learning for Speaker Verification
IEEE Publication Technology Group（IEEE出版技术组）
自监督学习（Self-supervised learning，SSL）在语音处理领域引起了越来越多的关注。最近的研究表明，对比学习能够以自我监督的方式学习区分性说话人嵌入。然而，基础对比自监督学习（CSSL）假设锚实例的一个视图和其他实例的任何视图生成的对都是负的，这在构造损失函数时引入了许多假负对。这个问题被称为$class$ - $collision$，它仍然是阻碍基于CSSL的说话人确认（SV）系统实现更好性能的一个主要问题。同时，研究表明，负样本自由SSL框架在学习说话人或图像表征方面表现良好。在这项研究中，我们调查SSL技术，导致改善SV性能。我们首先分析了CSSL系统中假阴性对的影响。在此基础上，提出了一种多阶段的类冲突校正（C3）方法，并以此为基础实现了基于CSSL的说话人嵌入系统。在预训练的CSSL模型的基础上，我们进一步提出采用负样本自由SSL目标（即，DINO）来微调扬声器嵌入网络。在Voxceleb 1测试集上，使用简单的余弦距离评分方法，得到的说话人嵌入系统（C3-DINO）实现了2.5%的EER，比之前的SOTA SSL系统（4.86%）有显著的+45%的相对改进。通过对Voxceleb 2训练集进行说话人聚类和伪标记，应用于C3-DINO说话人嵌入的LDA/CDS后端能够进一步将EER提高到2.2%。Voxceleb基准测试和我们内部数据集的综合实验研究…
2022-08-15 cs.SD eess.AS
VoxCeleb Enrichment for Age and Gender Recognition
University of Eastern Finland（东芬兰大学）；Università degli Studi di Milano-Bicocca（米兰比可卡大学）
VoxCeleb数据集广泛用于说话人识别研究。我们的工作有两个目的。首先，我们提供说话人年龄标签和（另一种）说话人性别的注释。其次，我们通过构建具有不同特征和分类器的年龄和性别识别模型来演示此元数据的使用。我们查询不同的名人数据库，并应用共识规则来获得年龄和性别标签。我们还将原始VoxCeleb性别标签与我们的标签进行比较，以识别原始VoxCeleb数据中可能被错误标记的记录。在建模方面，我们设计了一个全面的研究，多功能和模型识别性别和年龄。我们最好的系统，使用i-向量特征，实现了F1得分为0.9829的性别识别任务，使用逻辑回归，和最低的平均绝对误差（MAE）在年龄回归，9.443岁，得到岭回归。这表明从野生风格语音数据进行年龄估计的挑战。
2021-12-20 cs.CL cs.LG cs.SD
Rep Works in Speaker Verification
SpeakIn Technologies Co. Ltd.（思必驰科技股份有限公司）；Fudan University（复旦大学）
多分支卷积神经网络结构在说话人确认中得到了广泛的关注，因为多个并行分支的聚合可以显著提高性能。然而，由于模型参数的增加和额外的操作，这种设计在推理时间内不够有效。在本文中，我们提出了一个新的多分支网络架构RepSPKNet，使用重新参数化技术。通过这种技术，我们的骨干模型包含一个有效的VGG类推理状态，而其训练状态是一个复杂的多分支结构。我们首先将RepVGG的具体结构引入到说话人确认中，并提出了这种结构的几种变体。在基于VoxCeleb的测试集上评估性能。我们证明了分支多样性和分支容量在RepSPKNet设计中起着重要作用。我们的RepSPKNet在VoxCeleb 1-H上实现了1.5982%的EER和0.1374 minDCF的最新性能。
2021-10-19 cs.SD eess.AS
Simple Attention Module based Speaker Verification with Iterative noisy label detection
Tencent AI Lab（腾讯AI Lab）
近年来，在基于深度学习的说话人确认系统中，挤压激励模块（SE）和卷积块注意力模块（CBAM）等注意力机制取得了巨大的成功。本文介绍了一种替代的有效而简单的方法，即，简单注意力模块（SimAM），用于说话人验证。SimAM模块是一个即插即用的模块，没有额外的模态参数。此外，我们提出了一种噪声标签检测方法，迭代过滤出的数据样本与噪声标签的训练数据，考虑到一个大规模的数据集标记与人类注释或其他自动化过程中可能包含噪声标签。带有噪声标签的数据可能会超过深度神经网络（DNN）的参数，并由于DNN的记忆效应而导致性能下降。实验在VoxCeleb数据集上进行。基于SimAM的说话人确认模型在VoxCeleb1原始测试中达到了0.675%的等出错率（EER）。我们提出的迭代噪声标签检测方法进一步降低EER为0.643%。
2021-10-13 cs.SD eess.AS
