Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入，图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程，辅助说话者的信息参与确定输入话语之间的关系，从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器，在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明，将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Large Margin Softmax Loss for Speaker Verification
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）
在基于神经网络的说话人确认中，说话人嵌入需要在说话人之间具有区分性，同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中，我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则，进一步提高了算法的性能。在VoxCeleb上的实验结果表明，我们的最佳系统在EER上比基线方法高出15%，在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science；Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中，我们提出了VoiceID损失，一个新的损失函数训练的语音增强模型，以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数（例如L2损失）相比，VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图，以过滤掉用于说话人验证的不必要分量。在实验中，我们观察到增强网络在使用VoiceID丢失进行训练后，能够忽略大量的时频点，例如那些由噪声主导的时频点，以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Sparse Architectures for Text-Independent Speaker Verification Using Deep Neural Networks
Boise State University（博伊西州立大学）；FANAP Telecom（FANAP电信）
网络修剪是非常重要的，因为它消除了由于网络过度参数化而激活的不重要的权重或特征。稀疏性增强的优点包括防止过拟合和加速。考虑到深度架构中的大量参数，由于需要大量的计算能力，网络压缩变得至关重要。在这项工作中，我们施加结构稀疏的扬声器验证，这是验证的查询扬声器相比，扬声器库。我们将证明，由于网络中可能的初始过拟合，仅仅稀疏性强制可以改善验证结果。
2018-08-09 cs.SD eess.AS
Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map
Korea Advanced Institute of Science and Technology（韩国科学技术院）
为了在与文本无关的说话人确认中提取准确的说话人信息，提出了一种基于时间窗自适应核函数的时域动态神经网络（TDY-CNN）。然而TDY-CNN的模型尺寸太大，自适应核的自由度有限。为了解决这些限制，我们提出了分解的时间动态CNN（DTDY-CNN），它通过将静态内核与基于矩阵分解的动态残差相结合来形成时间自适应内核。使用无数据增强的精心统计合并的拟议DTDY-ResNet-34（x0.50）显示EER为0.96%，优于其他最先进的方法。DTDY-CNN是TDY-CNN的成功升级，将模型大小减少了64%，并提高了性能。我们发现，与TDY-CNN相比，DTDY-CNN也提取了更准确的帧级说话人嵌入。使用由用于说话人确认的改进的梯度加权类激活映射（Grad-CAM）产生的说话人激活映射（SAM）来分析DTDY-ResNet-34（x 0. 50）在说话人信息提取上的详细行为。DTDY-ResNet-34（x0.50）不仅有效地从共振峰频率中提取说话人信息，而且还有效地从清音音素的高频信息中提取说话人信息，从而解释了其在与文本无关的说话人确认方面的出色性能。
2022-10-27 cs.SD eess.AS
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong Polytechnic University（香港理工大学）
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率，该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University（新疆大学计算机科学与技术学院）；Tsinghua University（清华大学）
针对ASV在噪声下性能下降问题，提出结合噪声解耦与对抗训练的框架，通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失，构建噪声无关的说话人不变嵌入空间，在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
The HCCL Speaker Verification System for Far-Field Speaker Verification Challenge
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所语音声学与内容理解重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Key Laboratory of Minority Speech and Language Information Processing, Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所少数民族语音与语言信息处理新疆重点实验室）
本文介绍了HCCL团队提交的远场扬声器验证挑战赛的系统。我们之前在AIshell Speaker Verification Challenge 2019中的工作表明，神经网络架构的强大建模能力可以为此类任务提供卓越的性能。因此，在本次挑战中，我们重点关注基于TDNN、Resnet和Res2net块构建深度神经网络架构。大多数已开发的系统由神经网络嵌入组成，并与PLDA后端一起应用。首先，速度扰动方法被用来增加数据，并取得显着的性能改善。然后，我们探索了AMsoftmax损失函数的使用，并提出在使用AMsoftmax损失训练模型时加入CE损失分支。此外，还研究了分数归一化对性能的影响。最后的系统是四个系统的融合，在task1 eval集上实现了minDCF 0.5342，EER 5.05，在task3 eval集上实现了minDCF 0.5193，EER 5.47。
2021-07-03 cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University（首尔大学）
近年来，已经提出了各种基于深度学习的嵌入方法，并在说话人验证中表现出令人印象深刻的性能。然而，与大多数经典嵌入技术一样，已知基于深度学习的方法在处理具有不同条件的语音样本（例如，记录设备、情绪状态）。在本文中，我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明，该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
NPU Speaker Verification System for INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Northwestern Polytechnical University（西北工业大学）
本文介绍了提交给Interspeech 2020远场扬声器验证挑战赛（FFSVC）的NPU系统。我们特别关注远场文本依赖SV从单个（task 1）和多个麦克风阵列（task 3）。在这种情况下的主要挑战是短话语和跨通道和距离不匹配的登记和测试。我们相信更好的说话人嵌入可以减轻短话语的影响，因此我们引入了一种新的说话人嵌入架构- ResNet-BAM，它将瓶颈注意力模块与ResNet集成在一起，作为一种简单有效的方法来进一步提高ResNet的表示能力。这一贡献带来了高达1%的EER降低。我们从三个方面进一步解决不匹配问题。首先，旨在学习领域不变特征的领域对抗训练可以减少0.8%的EER。第二，前端信号处理，包括WPE和波束形成，没有明显的贡献，但与数据选择和域对抗训练一起，可以进一步贡献0.5%的EER降低。最后，数据增强，它与一个专门设计的数据选择策略，可以导致2%的EER减少。加上上述贡献，在中间的挑战结果中，我们的单提交系统（没有多系统融合）分别在任务1和任务3上获得第一名和第二名。
2020-08-08 cs.SD eess.AS
Exploring a Unified Attention-Based Pooling Framework for Speaker Verification
Tsinghua University（清华大学）；Unit, Chinese People's Liberation Army（中国人民解放军62315部队）
池化层是基于神经网络的说话人确认的重要组成部分。目前说话人确认中的大多数网络都使用平均池来获得话语级说话人表示。平均池化将每个帧视为同等重要，这是次优的，因为说话者判别能力在语音段之间是不同的。在本文中，我们提出了一个统一的基于注意力池的框架，并将其与多头注意力。在Fisher和NIST SRE 2010数据集上的实验表明，涉及较低层的输出来计算注意力权重可以优于平均池化，并且比vanilla注意力方法获得更好的结果。多头注意力进一步提高了性能。
2018-08-21 cs.SD eess.AS
The INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Duke Kunshan University（昆山杜克大学）；National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
INTERSPEECH 2020远场说话人验证挑战赛（FFSVC 2020）在明确定义的条件下解决了三个不同的研究问题：来自单个麦克风阵列的远场文本相关的说话人验证，来自单个麦克风阵列的远场文本无关的说话人验证，以及来自分布式麦克风阵列的远场文本相关的说话人验证。所有这三项任务都对参与者提出了跨渠道的挑战。为了模拟现实生活中的场景，注册话语记录从近距离通话的手机，而测试话语记录从远场麦克风阵列。在本文中，我们描述了数据库，挑战和基线系统，该系统基于基于ResNet的深度说话人网络，具有余弦相似性评分。对于一个给定的话语，不同通道的说话人嵌入平均作为最终的嵌入。对于任务1、任务2和任务3，基线系统分别实现了0.62、0.66和0.64的minDCF以及6.27%、6.55%和7.18%的EER。
2020-05-16 cs.SD eess.AS
Cross attentive pooling for speaker verification
Naver Corporation（NAVER公司）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；Yonsei University（延世大学）
本文的目标是文本无关的说话人确认的话语来自“在野外”的视频，可能包含不相关的信号。虽然说话人确认自然是一个成对的问题，但现有的生成说话人嵌入的方法是逐实例的。在本文中，我们提出了交叉注意池（CAP），它利用跨参考查询对的上下文信息来生成话语级嵌入，其中包含最具鉴别力的信息的配对匹配问题。在VoxCeleb数据集上进行了实验，其中我们的方法优于可比的池化策略。
2020-12-03 cs.SD eess.AS
Tackling the Score Shift in Cross-Lingual Speaker Verification by Exploiting Language Information
Ghent University（根特大学）；imec（比利时微电子研究中心）
本文包含对IDLab提交给VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的跨语言说话人验证的挑战后性能分析。我们发现，目前的扬声器嵌入提取器一致低估扬声器内跨语言试验的相似性。因此，典型的训练和评分协议没有足够重视说话人内部语言变异的补偿。我们提出了两种技术来提高跨语言说话人确认的鲁棒性。首先，我们用小批量采样策略增强了我们之前提出的大间距微调（LM-FT）训练阶段，该策略增加了小批量中说话人内跨语言样本的数量。其次，我们在逻辑回归校准阶段加入语言信息。我们集成质量指标的基础上的软，硬决定的VoxLingua 107语言识别模型。在VoxSRC-21测试集上，所提出的技术比基线模型相对提高了11.7%，并在相应的挑战中获得了第三名。
2022-06-19 cs.SD eess.AS
On the influence of language similarity in non-target speaker verification trials
Reuter Jessen Division Hearing, Speech and Audio Technology（听力、语音和音频技术部门）；Fraunhofer Institute for Digital Media Technology（弗劳恩霍夫数字媒体技术研究所）；Bundeskriminalamt（德国联邦刑事侦查局）
本文研究跨语言非目标说话人验证中语言相似性的影响，发现训练语言内比较存在聚类效应，而未训练语言试验中分数与语言相似性相关。
2025-06-03 cs.SD eess.AS
The IDLAB VoxSRC-20 Submission: Large Margin Fine-Tuning and Quality-Aware Score Calibration in DNN Based Speaker Verification
IDLab, Department of Electronics；Information Systems, Ghent University - imec, Belgium
在本文中，我们提出并分析了一个大裕度微调策略和质量感知的分数校准在文本无关的说话人确认。大裕度微调是使用基于裕度的损失函数训练的基于DNN的说话人验证系统的次级训练阶段。它使网络能够通过使用更长的训练话语结合更积极的边缘惩罚来创建更强大的说话人嵌入。分数校准是说话人确认系统中的一种常见做法，将输出分数映射到校准良好的对数似然比，其可以转换为可解释的概率。通过在校准系统中包括质量特征，评估度量的决策阈值变得依赖于质量，并且在不同的试验条件下更加一致。在ECAPA-TDNN架构上应用这两项增强功能，可以在所有公开的VoxCeleb 1测试集上获得最先进的结果，并为我们在VoxCeleb Speaker Recognition Challenge 2020的监督验证轨道中获胜做出了贡献。
2021-04-06 cs.SD eess.AS
Analysis of Length Normalization in End-to-End Speaker Verification System
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）
经典的i向量和最新的端到端深度说话人嵌入是自动说话人确认系统中话语级表示的两个代表性类别。传统上，一旦提取了i向量或深度说话人嵌入，我们就依赖于额外的长度归一化步骤，在后端建模之前将表示归一化到单位长度的超空间中。在本文中，我们探索了神经网络如何以端到端的方式学习长度归一化的深度说话人嵌入。为此，我们在通用分类网络的输出层之前添加了一个长度归一化层，然后是一个尺度层。我们对Voxceleb1数据集的验证任务进行了实验。结果表明，将这个简单的步骤集成到端到端训练管道中可以显着提高说话人验证的性能。在我们的L2规范化端到端系统的测试阶段，一个简单的内积可以达到最先进的水平。
2018-06-11 cs.SD eess.AS
SA-SASV: An End-to-End Spoof-Aggregated Spoofing-Aware Speaker Verification System
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
过去几年的研究已经提高了自动说话人验证系统和对抗系统的性能，以在每个系统上提供低的相等出错率（EER）。然而，这两个系统的联合优化的研究仍然有限。提出了欺骗感知扬声器验证（SASV）2022挑战，以鼓励开发具有新指标的集成SASV系统，以评估联合模型性能。本文提出了一种无集成的端到端解决方案，称为欺骗聚合SASV（SA-SASV），以构建一个多任务分类器的SASV系统，该系统通过多次损失进行优化，并对训练集有更灵活的要求。该系统在ASVSpoof 2019 LA数据集上进行了训练，这是一个具有少量真实扬声器的欺骗验证数据集。SASV-EER的结果表明，通过在完整的自动说话人确认和对策数据集上进行训练，可以进一步提高模型的性能。
2022-03-24 cs.SD eess.AS
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University（西北工业大学）；Beijing ZKJ Technology Co., Ltd.（北京中科金技术有限公司）
在这份报告中，我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中，我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外，我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外，我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统，我们最终的最佳性能（minDCF/EER）的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交，我们来到了第二位的挑战，为两个轨道。
2021-11-18 cs.SD eess.AS
Unsupervised Feature Enhancement for speaker verification
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
使说话人确认系统对不利场景具有鲁棒性的任务仍然是一个具有挑战性和活跃的研究领域。我们开发了一种在对数滤波器组域的无监督特征增强方法，最终目标是提高说话人确认性能。我们实验使用真实的语音记录在恶劣的环境和退化的语音通过模拟得到的训练增强系统。通过对几个真实的、模拟的噪声和混响测试集的测试，证明了该方法的有效性。当说话人确认流水线中不使用数据增强或仅在x向量训练期间使用增强时，该方法在真实和模拟集上都得到了显着的改进。当数据增强用于x向量和PLDA训练时，我们的增强方法略有改进。
2020-02-14 cs.SD eess.AS
Learning Metrics from Mean Teacher: A Supervised Learning Method for Improving the Generalization of Speaker Verification System
University of Seoul（首尔大学）；Naver Corporation（NAVER公司）
大多数说话人确认任务都是考虑真实世界条件的开集评估场景。因此，对未见过说话人的泛化能力对说话人确认系统的性能至关重要。我们建议应用\textit {Mean Teacher}，一种时间平均模型，来提取具有小的类内方差和大的类间方差的说话人嵌入。平均教师网络是指对深度神经网络参数进行时间平均;它可以产生比训练完成后使用权重更准确和稳定的表示。通过学习均值教师网络的可靠中间表示，我们期望该方法能够探索更多的判别嵌入空间，提高说话人确认系统的泛化性能。在VoxCeleb 1测试集上的实验结果表明，与基线系统相比，该方法的性能提高了11.61%.
2021-04-14 cs.SD eess.AS
Study on the temporal pooling used in deep neural networks for speaker verification
LIA - Avignon University（阿维尼翁大学LIA实验室）
x向量架构最近在说话人验证任务上取得了最先进的成果。该架构包括被称为时间池化的中心层，其堆叠声学帧分布的统计参数。这项工作提出了突出的时间池内容的训练动态和任务性能的显着影响。进行了具有不同汇集层的评估，即包括集中趋势的不同统计测量。值得注意的是，还测试了基于三阶和四阶矩的统计量（偏度和峰度），以完成通常的平均值和标准差参数。我们的实验显示了池化层内容在说话人验证性能方面的影响，但也适用于几个分类任务（说话人，通道或文本相关），并允许根据层内容更好地揭示说话人身份的外部信息的存在。
2021-05-10 cs.SD eess.AS
Towards Lightweight Applications: Asymmetric Enroll-Verify Structure for Speaker Verification
AI Lab, Lenovo Research（联想研究院人工智能实验室）；Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
随着深度学习的发展，自动说话人确认在过去几年中取得了长足的进步。然而，在有限的计算资源下设计一个轻量级的、鲁棒的系统仍然是一个具有挑战性的问题。传统上，说话人确认系统是对称的，这表明在推理中，相同的嵌入提取模型被应用于注册和确认。本文提出了一种创新的非对称结构，采用大规模ECAPA-TDNN模型进行注册，采用小规模ECAPA-TDNNLite模型进行验证。作为一个对称的系统，我们提出的ECAPA-TDNNLite模型实现了3.07%的EER的Voxceleb 1原始测试集，只有11.6M的FLOPS。此外，非对称结构进一步将EER降低到2.31%，而不会增加验证过程中的任何计算成本。
2022-01-26 cs.SD eess.AS
Cross-Age Speaker Verification: Learning Age-Invariant Speaker Embeddings
Tencent AI Lab（腾讯人工智能实验室）
近年来，说话人自动确认技术取得了显著的进展。然而，由于相关数据不足，跨年龄说话人确认的研究还很少。本文基于VoxCeleb数据集挖掘跨年龄测试集，提出了一种年龄不变的说话人表示（AISR）学习方法。由于VoxCeleb是从YouTube平台收集的，因此数据集本身就包含了跨年龄数据。然而，元数据不包含说话者年龄标签。因此，我们采用人脸年龄估计的方法来预测说话人的年龄值从相关的视觉数据，然后标记的音频记录与估计的年龄。我们在VoxCeleb（Vox-CA）上构建了多个跨年龄测试集，这些测试集故意选择年龄差距较大的阳性试验。此外，国籍和性别的影响被认为是在选择负对对齐Vox-H的情况下。基线系统性能从Vox-H测试集上的1.939\% EER下降到Vox-CA 20测试集上的10.419\%，这表明跨年龄场景是多么困难。因此，我们提出了一种年龄解耦对抗学习（ADAL）方法，以减轻年龄差距的负面影响，并减少类内方差。在Vox-CA 20测试集上，我们的方法优于基线系统，相关EER降低超过10%。源代码和试用资源可在https://github.com/qinxiaoyi/Cross-Age_Speaker_Verification上获得
2022-07-13 cs.SD eess.AS
Data augmentation enhanced speaker enrollment for text-dependent speaker verification
Indian Institute of Information Technology (IIIT)（印度信息技术学院）；Aalborg University（奥尔堡大学）
数据增强通常用于从可用的训练数据生成附加数据，以实现对复杂模型的参数的鲁棒估计，例如用于说话人验证（SV）的模型，特别是对于资源不足的应用。SV涉及训练说话者无关（SI）模型和说话者相关模型，其中说话者由在注册阶段期间使用特定说话者的训练数据从SI模型导出的模型表示。虽然用于训练SI模型的数据增强得到了很好的研究，但用于说话人登记的数据增强很少被探索。在本文中，我们提出了使用数据增强方法来生成额外的数据，使发言人登记。每种数据扩充方法都会生成一个新的数据集。研究了两种使用数据集的策略：一种是训练独立的系统并在分数水平上融合它们，另一种是进行多条件训练。此外，我们研究了噪声条件下的数据增强的效果。在RedDots challenge 2016数据库上进行实验，结果验证了所提方法的有效性。
2020-07-12 cs.SD eess.AS
Text adaptation for speaker verification with speaker-text factorized embeddings
MoE Key Lab of Artificial Intelligence SpeechLab, Department of Computer Science（人工智能MoE重点实验室、语音实验室、计算机科学与工程系）
本文提出一种文本自适应框架，通过说话人-文本因子化网络分解语音嵌入，利用少量自适应话语将文本无关说话人嵌入转为文本定制嵌入，显著提升文本不匹配下的说话人验证性能。
2025-08-06 cs.SD eess.AS
The UPC Speaker Verification System Submitted to VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20)
UPC（加泰罗尼亚理工大学）
本报告描述了加泰罗尼亚技术大学（UPC）在Interspeech 2020上向VoxCeleb说话人识别挑战赛（VoxSRC-20）提交的材料。最后提交的是三个系统的组合。系统-1是基于自动编码器的方法，其尝试重构相似的i向量，而系统-2和系统-3是基于卷积神经网络（CNN）的连体架构。连体网络分别具有两个和三个分支，其中每个分支是CNN编码器。双分支连体机器人在训练过程中使用交叉熵损失进行二进制分类。然而，我们的三分支连体狗被训练成使用三重丢失来学习说话者嵌入。我们提供我们的系统在VoxCeleb-1测试，VoxSRC-20验证和测试集的结果。
2020-10-27 cs.SD eess.AS
Investigation of Frame Alignments for GMM-based Digit-prompted Speaker Verification
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
在基于GMM的说话人确认中，帧对齐可以通过不同的方法来计算。通过结合语音高斯混合模型（PGMM），我们能够比较使用从深度神经网络（DNN）和传统的隐马尔可夫模型（HMM）在数字提示的说话人验证中提取的对齐的性能。基于这两种对齐的不同特点，我们提出了一种新的内容验证方法，以提高系统的安全性，而不需要太多的计算开销。我们在RSR 2015 Part-3数字提示任务上的实验表明，基于DNN的对齐与HMM对齐表现相当。实验结果也证明了所提出的基于Kullback-Leibler（KL）散度的评分方法在拒绝带有错误密码短语的语音时的有效性。
2018-09-02 cs.SD eess.AS
Speaker Verification in Emotional Talking Environments based on Third-Order Circular Suprasegmental Hidden Markov Model
University of Sharjah（沙迦大学）
说话人确认的准确率在情感说话环境中不高，因为它是在中性的。本文基于三阶循环超音段隐马尔可夫模型（CSPHMM3）作为分类器，研究了在情感环境中说话人的语音识别问题。已被用来评估我们的工作与梅尔频率倒谱系数作为提取的特征的阿拉伯口音（阿拉伯语）的语音数据库。实验结果表明，基于CSPHMM3的说话人确认准确率高于基于高斯混合模型（GMM）、支持向量机（SVM）和矢量量化（VQ）等最新分类器和模型的说话人确认准确率。
2019-10-29 cs.SD eess.AS
Learning Emotion-Invariant Speaker Representations for Speaker Verification
Hithink RoyalFlush AI Research Institute（同花顺人工智能研究院）
针对说话人验证中情感变化导致表征脆弱的问题，提出基于CopyPaste数据增强、余弦相似度损失和情感感知掩蔽的改进方法，显著降低等错误率。
2025-05-24 cs.SD eess.AS
Multi-Task Learning with High-Order Statistics for X-vector based Text-Independent Speaker Verification
University of Science and Technology of China（中国科学技术大学）
基于x向量的深度神经网络（DNN）嵌入系统已经证明了文本无关说话人验证的有效性。本文提出了一种用于训练说话人嵌入DNN的多任务学习架构，其主要任务是对目标说话人进行分类，辅助任务是重建原始输入话语的一阶和高阶统计量。该训练策略将有监督学习和无监督学习集成到一个框架中，使说话人嵌入更具鉴别力和鲁棒性。使用NIST SRE 16评估数据集和VOiCES数据集进行实验。结果表明，我们提出的方法优于原来的x-向量的方法，非常低的额外的复杂性增加。
2019-04-04 cs.SD eess.AS
Multi-task Metric Learning for Text-independent Speaker Verification
在这项工作中，我们引入了度量学习（ML）来增强文本无关说话人验证（SV）的深度嵌入学习。具体地，使用传统的交叉熵损失和基于辅助对的ML损失函数来训练深度说话人嵌入网络。对于辅助ML任务，首先将小批量的训练样本排列成对，然后选择正对和负对，并通过它们自身和相对相似度进行加权，最后通过所选对的相似度计算辅助ML损失。为了评估所提出的方法，我们进行实验的扬声器在野生（SITW）数据集。结果表明了该方法的有效性。
2023-03-23 cs.SD eess.AS
Phonetic Richness for Improved Automatic Speaker Verification
Pindrop（品卓科技）
该研究提出基于语音直方图的语音丰富度度量指标，结合净语音时长校准说话人验证得分，在Voxceleb1基准上实现5.8%的EER相对提升，对短话语效果更优。
2024-07-10 cs.SD eess.AS
Unit selection synthesis based data augmentation for fixed phrase speaker verification
AISpeech Ltd（思必驰科技有限公司）
数据增强通常用于帮助构建鲁棒的说话人确认系统，特别是在资源有限的情况下。然而，传统的数据增强方法通常只关注声环境的多样性，而忽略了词典的变化。对于文本相关的说话人确认任务，众所周知，准备训练数据与目标成绩单是最有效的方法来建立一个性能良好的系统，然而，收集这样的数据是耗时和昂贵的。在这项工作中，我们提出了一个基于单元选择合成的数据增强方法，利用丰富的文本无关的数据资源。在这种方法中，每个说话人的文本无关的语音首先被分解成语音段，每个语音段包含一个音素单元。然后，选择包含目标转录本中的语音的片段，以通过依次连接它们来产生具有目标转录本的语音。在AISHELL Speaker Verification Challenge 2019数据库上进行了实验，实验结果和分析表明，该方法能显著提高系统性能。
2021-02-19 cs.SD eess.AS
Joint Speaker Encoder and Neural Back-end Model for Fully End-to-End Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics（国立信息学研究所）
传统的自动说话人确认系统通常可以被分解成用于提取说话人嵌入的前端模型（诸如时间延迟神经网络（TDNN））和用于相似性评分的后端模型（诸如基于概率线性判别分析（PLDA）或基于神经网络的神经PLDA（NPLDA））。然而，前端和后端模型的顺序优化可能会导致局部最小值，这在理论上阻止了整个系统实现最佳优化。虽然已经提出了一些方法来联合优化这两个模型，如广义端到端（GE2E）模型和NPLDA E2E模型，所有这些方法都是设计用于单个注册话语。在本文中，我们提出了一个新的E2E联合方法的说话人确认特别是针对实际情况下的多个注册话语。为了利用多个注册话语之间的内部关系，我们的模型配备了帧级和话语级的注意机制。我们还利用了几种数据增强技术，包括使用MUSAN和RIR数据集的传统噪声增强以及独特的扬声器嵌入级混合策略，以实现更好的优化。
2022-09-01 cs.SD eess.AS
Gradient weighting for speaker verification in extremely low Signal-to-Noise Ratio
National University of Singapore（新加坡国立大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Eastern Finland（东芬兰大学）；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对0 dB以下极低信噪比导致说话人验证受干扰的问题，提出Gradient Weighting机制，利用梯度动态识别并降低去噪引入的伪影噪声，有效提升了各信噪比水平下的验证性能。
2024-01-05 cs.SD eess.AS
Pushing the limits of self-supervised speaker verification using regularized distillation framework
Speech Lab of DAMO Academy, Alibaba Group（阿里巴巴集团达摩院语音实验室）
本文针对无标签说话人验证任务，应用非对比自监督框架DINO并引入保证多样性与去相关变量的两个正则化项，结合时频域数据增强，在VoxCeleb上实现了单阶段自监督设置下的最优性能。
2023-08-03 cs.SD eess.AS
Linear Regression for Speaker Verification
Northwestern Polytechnical University（西北工业大学）；School of Marine Science and Technology（海洋科学与技术学院）；Center for Intelligent Acoustics and Immersive Communications（智能声学与沉浸式通信中心）
本文提出了一种基于线性回归的说话人确认后端。线性回归是一种简单的线性模型，它利用封闭形式的解最小化目标与其估计之间的均方估计误差，其中目标被定义为话语的地面实况指示符向量。我们使用线性回归模型从前端学习说话人模型，并通过余弦相似性评分分类器验证两个说话人模型的相似性。为了评估线性回归模型的有效性，我们构建了三个说话人确认系统，分别使用高斯混合模型和身份向量（GMM/i-vector）前端，深度神经网络和i-vector（DNN/i-vector）前端，和深度向量（d-vector）前端作为其前端。NIST说话人识别评估数据集上的实证比较结果表明，该方法优于类内协方差归一化，线性判别分析和概率线性判别分析，给定的三个前端。
2018-02-12 cs.SD eess.AS
Speaker Verification in Multi-Speaker Environments Using Temporal Feature Fusion
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer Institute for Integrated Circuits（弗劳恩霍夫集成电路研究所）
识别说话者的身份在现代人机界面中至关重要，例如，以确保隐私保护或启用生物测定认证。经典的说话人确认（SV）方法从编码说话人的语音特征的语音话语中估计固定维嵌入。如果他/她的语音嵌入与所要求的说话者的嵌入足够相似，则验证说话者。然而，这样的方法假设在输入中仅存在单个说话者。同时发言的人的存在可能会对表演产生不利影响。为了解决多说话人环境中的SV问题，我们提出了一种基于端到端深度学习的SV系统，该系统检测目标说话人是否存在于输入中。首先，从参考话语中估计嵌入以表示目标的特征。第二，帧级特征估计从输入的混合。然后将参考嵌入与混合物的特征逐帧融合，以允许在帧的基础上将目标与其他扬声器区分开。最后，融合后的特征被用来预测目标说话人在语音段中是否是活跃的。实验结果表明，该方法在多说话人情况下的性能优于x向量。
2022-06-28 cs.SD eess.AS
Speaker Verification Across Ages: Investigating Deep Speaker Embedding Sensitivity to Age Mismatch in Enrollment and Test Speech
University of Eastern Finland（东芬兰大学）；Institute for Advancing Intelligence, TCG CREST（TCG CREST 智能推进研究所）
该研究针对年龄不匹配对深度说话人嵌入ASV系统的影响，用VoxCeleb和LCFSH数据集在ECAPA-TDNN上测试，建立了衰老与ASV评分的量化关系，发现不同语言下衰老对不同性别说话人影响存在差异。
2023-06-13 cs.SD eess.AS
MSV Challenge 2022: NPU-HC Speaker Verification System for Low-resource Indian Languages
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
本报告介绍了提交给O-COCOSDA多语言说话人验证（MSV）挑战赛2022的NPU-HC说话人验证系统，该挑战赛的重点是为低资源的亚洲语言开发说话人验证系统。我们参与了I-MSV项目，旨在为各种印度语言开发说话人验证系统。在这个挑战中，我们首先探索了用于低资源说话人验证的不同神经网络框架。然后，我们利用vanilla微调和权重转移微调将域外预训练模型转移到域内印度数据集。具体来说，权重转移微调旨在约束预训练模型和微调模型之间的权重距离，这利用了先前从大规模域外数据集获得的区分能力，同时避免了灾难性遗忘和过拟合。最后，采用分数融合的方法进一步提高性能。加上上述贡献，我们在公共评估集上获得了0.223%的EER，在排行榜上排名第二。在私人评估集上，我们提交的系统对于I-MSV轨道的约束和无约束子任务的EER分别为2.123%和0.630%，分别排名第一和第三。
2022-12-02 cs.SD eess.AS
The DKU-DukeECE System for the Self-Supervision Speaker Verification Task of the 2021 VoxCeleb Speaker Recognition Challenge
Duke Kunshan University（昆山杜克大学）；Duke University（杜克大学）
本报告描述了DKU-DukeECE团队提交的2021 VoxCeleb说话人识别挑战赛（VoxSRC）的自我监督说话人验证任务。我们的方法采用迭代标记框架来学习基于深度神经网络（DNN）的自监督说话人表示。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力，我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类，并使用后续的类分配作为伪标签来训练一个新的DNN。此外，我们迭代地训练扬声器网络与从上一步生成的伪标签，以引导DNN的辨别能力。此外，视觉模态数据被纳入这个自标记框架。视觉伪标签和音频伪标签与聚类集成算法融合，以产生用于表示学习的鲁棒监督信号。我们的提交在挑战开发和测试集上分别实现了5.58%和5.59%的等错误率（EER）。
2021-09-07 cs.SD eess.AS
ResNeXt and Res2Net Structures for Speaker Verification
Microsoft Corporation（微软公司）
基于ResNet的架构已被广泛采用，以提取说话人嵌入文本无关的说话人确认系统。通过将残差连接引入到CNN并标准化残差块，ResNet结构能够训练深度网络，以实现极具竞争力的识别性能。然而，当输入特征空间变得更加复杂时，简单地增加ResNet网络的深度和宽度可能无法完全实现其性能潜力。在本文中，我们提出了ResNet架构的两个扩展，ResNeXt和Res2Net，用于说话人验证。ResNeXt和Res2Net最初是为图像识别而提出的，除了深度和宽度之外，还引入了两个维度，基数和规模，以提高模型的表示能力。通过增加尺度维数，Res2Net模型可以表示具有不同粒度的多尺度特征，这特别有利于短话语的说话人确认。我们评估我们提出的系统上的三个扬声器验证任务。在VoxCeleb测试集上的实验表明，ResNeXt和Res2Net可以显着优于传统的ResNet模型。Res2Net模型通过将EER相对降低18.5%实现了卓越的性能。在其他两个不匹配条件的内部测试集上进行的实验进一步证实了ResNeXt和Res2Net架构对噪声环境和段长度变化的通用性。
2020-11-30 cs.SD eess.AS
A New Perspective on Speaker Verification: Joint Modeling with DFSMN and Transformer
Harbin Engineering University（哈尔滨工程大学）
本文提出融合多尺度并行 Transformer、DFSMN、注意力统计池化与 AAMF 损失的 VOT 模型，用于提升开放集说话人验证性能，并在 VoxCeleb1 和 CN-Celeb2 上验证其优于多数主流模型。
2024-09-08 cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University（西北工业大学）
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类，即，核查和识别。验证损失函数与说话人验证的流水线相匹配，但其实现比较困难。因此，大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中，我们提出了一个验证损失函数，命名为最大化的接收机操作特征（ROC）曲线下的部分面积（pAUC），基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法，以提高训练效率，这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild（SITW）和NIST SRE 2016数据集上的实验表明，所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS
Impact of Naturalistic Field Acoustic Environments on Forensic Text-independent Speaker Verification System
Center for Robust Speech Systems (CRSS), University of Texas at Dallas（德克萨斯大学达拉斯分校鲁棒语音系统中心）
用于法医说话人验证的音频分析在系统性能方面提供了独特的挑战，部分原因是在自然现场声学环境中收集的数据，其中位置/场景不确定性在法医数据收集过程中是常见的。作为潜在证据的法庭语音数据可以在随机的自然环境中获得，导致数据质量可变。语音样本可能包括由于声音的努力，如在911紧急呼叫大喊大叫，而其他可能是耳语或现场位置或面试室的情景强调的声音的变化。这种语音变异性包括内在和外在特征，使得说话人确认成为一项复杂而艰巨的任务。外部属性包括录音设备，如麦克风类型和位置，环境噪声，房间配置（包括混响）和其他基于环境噪声的问题。一些因素，如噪声和非目标语音，会影响验证系统的性能，因为它们的存在。为了调查现场声学环境的影响，我们进行了说话人验证研究的基础上，从8个现场位置，包括警察采访收集的音频CRSS-法医语料库。这项调查包括七个看不见的声学环境对扬声器验证系统的性能使用x-向量系统的影响进行分析。
2022-01-28 cs.SD eess.AS
PhiNet: Speaker Verification with Phonetic Interpretability
National University of Singapore（新加坡国立大学）；LIGHTSPEED；Nanjing University（南京大学）；Shenzhen Loop Area Institute（深圳河套学院）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong（香港中文大学（深圳）深圳市大数据研究院）
PhiNet通过利用语音证据提升局部和全局可解释性，为说话人验证提供详细的语音级比较，帮助用户手动检查特征并评估验证结果，同时为开发者提供决策理由，简化错误追踪和超参数选择。
2026-04-04 cs.SD eess.AS
Character Identity is not Speaker Identity: KyaraBench and KyaraEmbed for Character Verification
Spellbrush
针对角色身份与说话人身份不同的问题，提出 KyaraBench 基准和 KyaraEmbed 编码器，直接验证角色声音，并在所有角色特定条件下取得最优性能。
2026-10-06 cs.SD eess.AS
Speaker verification using end-to-end adversarial language adaptation
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）
在本文中，我们研究了使用对抗域自适应解决说话人识别语料库之间的语言不匹配的问题。在说话人确认的背景下，对抗域自适应方法的目的是最小化从源域和目标域（即语言）提取的话语级特征（即说话人嵌入）所遵循的分布之间的某些差异，同时保留其识别说话人的能力。用于提取话语级表示的神经架构使我们能够以端到端的方式应用对抗性自适应方法，并结合标准交叉熵损失对网络进行训练。我们研究了几种配置，例如在目标域上使用（伪）标签以及在特征提取器中使用域标签，并且我们在具有挑战性的NIST SRE 16和SRE 18基准测试上证明了我们的方法的有效性。
2018-11-06 cs.SD eess.AS
Self-supervised learning with diffusion-based multichannel speech enhancement for speaker verification under noisy conditions
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林信息学及其应用实验室）；MBZUAI University（穆罕默德·本·扎耶德人工智能大学）
本文提出 Diff-Filter 多通道语音增强方法，结合扩散概率模型与两阶段自监督学习，并设计基于等错误率的损失函数，在 MultiSV 数据集上显著提升噪声条件下的说话人验证性能。
2023-07-05 cs.SD eess.AS
Cross-Lingual Speaker Verification with Self-Supervised Pre-Trained Models
Ant Group（蚂蚁集团）
针对跨语言说话人验证的语言不匹配性能下降问题，利用自监督预训练模型提取通用声学特征训练解耦说话人嵌入网络，在TidyVoice2026基准上取得2.21%和2.99%的等错误率。
2026-10-09 cs.SD eess.AS
Text-dependent Speaker Verification (TdSV) Challenge 2024: Challenge Evaluation Plan
本文档介绍了文本相关说话人验证（TdSV）挑战赛2024，旨在激励参与者开发单一且具竞争力的系统，并探索多任务学习、自监督学习及少样本学习等创新概念以解决文本相关说话人验证问题。
2024-04-20 cs.AI cs.SD eess.AS
Attention Back-end for Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
概率线性判别分析（PLDA）或余弦相似度已被广泛用于传统的说话人确认系统作为后端技术来衡量成对的相似度。为了更好地利用多个注册话语，我们提出了一种新的注意后端模型，它可以用于文本无关（TI）和文本相关（TD）的说话人验证，并采用缩放点自注意和前馈自注意网络作为架构，学习注册话语的内部关系。为了验证所提出的注意力后端，我们在CNCeleb和VoxCeleb数据集上进行了一系列实验，将其与几种最先进的说话人编码器（包括TDNN和ResNet）相结合。实验结果表明，使用多个注册话语CNCeleb的建议注意力后端模型导致较低的EER和minDCF分数比PLDA和余弦相似度对应的每个扬声器编码器和VoxCeleb上的实验表明，我们的模型甚至可以用于单个注册情况。
2021-10-06 cs.SD eess.AS
Simple Attention Module based Speaker Verification with Iterative noisy label detection
Tencent AI Lab（腾讯AI Lab）
近年来，在基于深度学习的说话人确认系统中，挤压激励模块（SE）和卷积块注意力模块（CBAM）等注意力机制取得了巨大的成功。本文介绍了一种替代的有效而简单的方法，即，简单注意力模块（SimAM），用于说话人验证。SimAM模块是一个即插即用的模块，没有额外的模态参数。此外，我们提出了一种噪声标签检测方法，迭代过滤出的数据样本与噪声标签的训练数据，考虑到一个大规模的数据集标记与人类注释或其他自动化过程中可能包含噪声标签。带有噪声标签的数据可能会超过深度神经网络（DNN）的参数，并由于DNN的记忆效应而导致性能下降。实验在VoxCeleb数据集上进行。基于SimAM的说话人确认模型在VoxCeleb1原始测试中达到了0.675%的等出错率（EER）。我们提出的迭代噪声标签检测方法进一步降低EER为0.643%。
2021-10-13 cs.SD eess.AS
