Deep Representation Decomposition for Rate-Invariant Speaker Verification
虽然通过深度说话人嵌入已经实现了说话人验证的有希望的性能，但在说话风格可变性的情况下，该优势将减少。在实际的说话人确认系统中，经常会出现语速失配的情况，这会降低系统的性能。为了减少由说话速率引起的类内差异，我们提出了一种带有对抗学习的深度表示分解方法来学习说话速率不变的说话人嵌入。具体地说，采用注意力块，我们通过多任务训练将原始嵌入分解为身份相关分量和速率相关分量。此外，为了减少两个分解组件之间的潜在关系，我们进一步提出了一个余弦映射块来反向训练参数，以最小化两个分解组件之间的余弦相似性。因此，身份相关的功能变得强大的说话速率，然后用于验证。在VoxCeleb 1数据和HI-MIA数据上的实验证明了该方法的有效性。
2022-05-28 eess.AS
Angular Softmax Loss for End-to-end Speaker Verification
端到端的说话人确认系统受到越来越多的关注。传统的i向量方法训练生成模型（基本上是因子分析模型）来提取i向量作为说话者嵌入。相比之下，端到端方法直接训练判别模型（通常是神经网络）来学习判别说话人嵌入;一个关键的组成部分是训练标准。在本文中，我们使用角softmax（A-softmax），这是最初提出的人脸验证，作为损失函数的特征学习在端到端的说话人验证。通过在softmax loss中引入类间的间隔，A-softmax可以学习比softmax loss和triplet loss更多的区分特征，同时易于使用和稳定。我们在这项工作中做出了两个贡献。1)我们将A-softmax损失引入到端到端说话人验证中，并实现了显着的EER降低。2)我们发现，在前端训练中使用A-softmax和在后端评分中使用PLDA的组合进一步提高了短话语条件下（注册和测试都很短）端到端系统的性能。在部分$Fisher$数据集上进行了实验，验证了使用A-softmax的改进。
2018-12-12 eess.AS
Speaker Verification By Partial AUC Optimization With Mahalanobis Distance Metric Learning
受试者工作特性（ROC）曲线和检测误差折衷（DET）曲线是说话人确认中两个广泛使用的评价指标。它们是等价的，因为后者可以通过将前者的真正y轴转换为假负y轴，然后通过概率单位算子重新缩放两个轴来获得。然而，现实世界的说话人确认系统，通常工作在ROC曲线的一部分，而不是整个ROC曲线给定的应用程序。因此，在本文中，我们建议使用的ROC曲线（pAUC）的一部分下的面积作为一个更有效的评价指标的说话人验证。应用基于马氏距离度量学习的后端来优化pAUC，其中马氏距离度量学习保证后端的优化目标是凸的，使得全局最优解是可实现的。为了提高现有说话人确认系统的性能，本文进一步提出了基于长度归一化和概率线性判别分析的特征预处理技术。我们评估了NIST SRE 16的主要语言和SITW的核心任务的建议系统。实验结果表明，所提出的后端优于国家的最先进的说话人确认后端的七个评价指标。
2020-04-21 eess.AS
Analyzing speaker verification embedding extractors and back-ends under language and channel mismatch
在本文中，我们分析的行为和性能的发言人嵌入和后端评分模型下的领域和语言不匹配。我们提出了我们的研究结果，基于ResNet的扬声器嵌入架构，并表明，减少时间跨度产生更好的性能。然后，我们考虑一个PLDA后端，并显示如何组合的小扬声器子空间，语言相关的PLDA混合物，和滋扰属性投影系统的性能产生巨大的影响。此外，我们提出了一种有效的评分和融合类后验logit向量的方法，最近显示出良好的说话人确认任务。使用NIST SRE 2021设置进行实验。
2022-03-19 eess.AS
Multimodal Speaker Verification as a Threat to Speaker Anonymization
Johns Hopkins University（约翰斯·霍普金斯大学）
研究多话语、多模态环境下的说话人验证，通过对多个匿名话语的音频、韵律和语言信息进行聚合，比较不同聚合策略，发现多模态系统性能更优，帧级聚合EER最低，即便少量匿名话语结合音频和文本也能显著降低EER。
2026-07-23 eess.AS
Dual-LoRA: Parameter-Efficient Adversarial Disentanglement for Cross-Lingual Speaker Verification
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；X-LANCE Lab, School of Computer Science, MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学计算机科学技术学院人工智能教育部重点实验室X-LANCE实验室）；Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室）；AISpeech Co., Ltd.（思必驰科技股份有限公司）；Soul AI Lab（Soul人工智能实验室）
本文提出Dual-LoRA，通过注入可训练任务因子化LoRA适配器解决交叉语言说话人验证中的语言-说话人纠缠问题，采用语言锚定对抗器提升说话人区分度。
2026-04-30 eess.AS
A Framework for Robust Speaker Verification in Highly Noisy Environments Leveraging Both Noisy and Enhanced Audio
针对高噪声环境下说话人验证性能下降及语音增强可能扭曲说话人信息的问题，提出基于孪生架构结合带噪与增强语音嵌入的轻量框架，提升验证鲁棒性且兼容多种先进技术，实验证明其性能更优。
2025-08-26 eess.AS
Learnable Frequency Filters for Speech Feature Extraction in Speaker Verification
Mel尺度谱特征用于语音信号的各种识别和分类任务。没有理由期望这些功能对于所有不同的任务都是最佳的，包括说话人验证（SV）。本文描述了一种可学习的前端特征提取模型。该模型包括一组滤波器来变换傅立叶频谱。定义这些滤波器的模型参数是端到端训练的，并专门针对说话人验证任务进行了优化。与标准的梅尔尺度滤波器组相比，滤波器的带宽和中心频率可调。实验结果表明，应用可学习的声学前端提高说话人确认性能比传统的梅尔尺度频谱特征。对学习的滤波器参数的分析表明，窄带信息有利于SV系统的性能。该模型实现了性能和计算成本之间的良好平衡。在资源受限的计算环境中，该模型的性能明显优于基于CNN的可学习前端。该模型在不同的嵌入提取模型和数据集上的泛化能力也得到了验证。
2022-06-15 eess.AS
Can spoofing countermeasure and speaker verification systems be jointly optimised?
本研究针对SASV任务中CM与ASV子系统独立训练的问题，通过少量新说话人辅助数据开展联合优化，虽降低子系统独立性能但提升互补性，在标准评测下等错误率相对降低27%。
2023-12-20 eess.AS
An Age-Agnostic System for Robust Speaker Verification
针对成人训练的说话人验证系统在儿童场景性能下降、领域自适应方法又会损害成人场景性能的问题，提出年龄无关SV系统，通过领域分类器解耦年龄属性并扩展嵌入空间，在两类数据集上均实现鲁棒性能。
2025-08-03 eess.AS
Bidirectional Multiscale Feature Aggregation for Speaker Verification
在本文中，我们提出了一种新的双向多尺度特征聚合（BMFA）网络与注意力融合模块的文本无关的说话人确认。来自主干网的不同阶段的特征图以自下而上和自上而下的方式迭代地组合和细化。此外，而不是简单的级联或元素的添加从不同阶段的特征图，注意力融合模块被设计来计算融合权重。实验在NIST SRE 16和VoxCeleb1数据集上进行。实验结果验证了双向聚合策略的有效性，并表明所提出的注意力融合模块可以进一步提高性能。
2021-04-01 eess.AS
EDITnet: A Lightweight Network for Unsupervised Domain Adaptation in Speaker Verification
语言不匹配导致的性能下降是将说话人确认系统应用于不同语言的语音数据时的常见问题。本文提出了一个域转移网络，命名为EDITnet，以减轻语言不匹配的问题，说话人嵌入，而不需要说话人标签。该网络利用条件变分自动编码器将嵌入从目标域转移到源域。一个自监督学习策略施加在转移的嵌入，以增加嵌入之间的余弦距离从不同的发言人。在EDITnet的训练过程中，嵌入提取模型是固定的，无需微调，这使得训练效率高，成本低。在Voxceleb和CN-Celeb上的实验表明，使用ECAPA-TDNN 512，EDITnet传输的嵌入比未传输的嵌入高出约30%。性能改进也可以通过其他嵌入提取模型来实现，例如，TDNN，SE-ResNet34.
2022-06-15 eess.AS
Deep Feature CycleGANs: Speaker Identity Preserving Non-parallel Microphone-Telephone Domain Adaptation for Speaker Verification
随着来自不同领域的语音的可用性的增加，迫切需要使用这些域外数据来改进现有的语音系统。域自适应是一种重要的预处理方法。我们调查它适应麦克风语音电话域。具体来说，我们探索了基于CycleGAN的麦克风数据的非配对翻译，以改进用于电话扬声器验证的x向量/扬声器嵌入网络。我们首先在真实的挑战性数据上证明了这种方法的有效性，然后为了进一步改进，我们修改了CycleGAN公式，使适应任务特定。我们修改了CycleGAN的身份丢失，循环一致性丢失和对抗性丢失，以在深层特征空间中操作。信号的深层特征是从辅助（说话人嵌入）网络中提取的，因此保留了说话人身份。我们基于3D卷积的深度特征鉴别器（DFD）在等错误率方面显示出5-10%的相对改进。为了深入研究，我们研究了一个具有挑战性的场景，即通过数据增强和电话编解码器来汇集（自适应）麦克风和电话数据。最后，我们强调了CycleGAN超参数的敏感性，并引入了一个称为适应概率的参数。
2021-04-03 eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
FDN: Finite Difference Network with Hierarchical Convolutional Features for Text-independent Speaker Verification
近年来，使用原始波形作为深度网络的输入已被广泛探索用于说话人验证系统。例如，RawNet和RawNet 2从波形中自动提取说话人的特征嵌入来识别他们的语音，这可以大大减少前端计算并获得最先进的性能。然而，这些模型没有考虑说话人的高级行为特征，如语调，表明每个说话人的通用风格，节奏，\textit{etc}。本文提出了一种新的网络，可以处理语调信息，通过计算不同的发言者的话语变化的有限差分。此外，还设计了一种由粗到细的层次化方法来增强语调特性，以提高系统的准确性。然后，将高级语调特征与低级嵌入特征融合。在官方VoxCeleb 1测试数据、VoxCeleb 1-E和VoxCeleb-H协议上的实验结果表明，该方法优于现有的最先进的系统。为了便于进一步研究，代码可在https://github.com/happyjin/FDN上获得
2021-10-07 eess.AS
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题，提出margin-mixup训练策略，无需修改现有架构即可提升说话人嵌入鲁棒性，在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah（沙迦大学）
本文致力于引入、执行和评估一个三阶段的说话人确认框架，以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段：性别识别阶段，其次是情感识别阶段，其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估：我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明，基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认，只有情感线索，既没有性别线索，也没有情感线索。所实现的平均说话人确认性能的基础上，建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数（特征）来完成的，这些参数（特征）可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征（MFCC），而另一些系统使用基于隐马尔可夫模型（HMM）的说话人识别、支持向量机（SVM）、GARCH。在本文中，简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时，性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时，观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库，已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而，语音转换系统可以操纵一个人的语音信号，使其听起来像另一个说话者的声音，并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中，我们研究的问题，源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别，我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明，当使用来自相同语音转换模型的转换语音进行训练和测试时，源说话人识别是可行的。此外，我们的研究结果表明，有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
Speaker Verification using Convolutional Neural Networks
NYU Tandon School of Engineering（纽约大学坦登工程学院）
在本文中，一种新的卷积神经网络架构已被开发用于说话人确认，以同时捕获和丢弃说话人和非说话人信息，分别。在训练阶段，训练网络以区分不同的说话人身份，以创建背景模型。其中一个关键部分是创建扬声器模型。大多数先前的方法基于对背景模型提供的说话者表示进行平均来创建说话者模型。我们通过使用Siamese框架进一步微调训练模型来推翻这个问题，以生成一个有区别的特征空间来区分相同和不同的说话者，而不管他们的身份如何。这提供了一种同时捕获说话者相关信息并创建对说话者内变化的鲁棒性的机制。实验结果表明，该方法优于传统的直接从背景模型建立说话人模型的验证方法。
2018-08-10 cs.SD eess.AS
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入，图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程，辅助说话者的信息参与确定输入话语之间的关系，从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器，在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明，将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Large Margin Softmax Loss for Speaker Verification
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）
在基于神经网络的说话人确认中，说话人嵌入需要在说话人之间具有区分性，同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中，我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则，进一步提高了算法的性能。在VoxCeleb上的实验结果表明，我们的最佳系统在EER上比基线方法高出15%，在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science；Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中，我们提出了VoiceID损失，一个新的损失函数训练的语音增强模型，以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数（例如L2损失）相比，VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图，以过滤掉用于说话人验证的不必要分量。在实验中，我们观察到增强网络在使用VoiceID丢失进行训练后，能够忽略大量的时频点，例如那些由噪声主导的时频点，以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Sparse Architectures for Text-Independent Speaker Verification Using Deep Neural Networks
Boise State University（博伊西州立大学）；FANAP Telecom（FANAP电信）
网络修剪是非常重要的，因为它消除了由于网络过度参数化而激活的不重要的权重或特征。稀疏性增强的优点包括防止过拟合和加速。考虑到深度架构中的大量参数，由于需要大量的计算能力，网络压缩变得至关重要。在这项工作中，我们施加结构稀疏的扬声器验证，这是验证的查询扬声器相比，扬声器库。我们将证明，由于网络中可能的初始过拟合，仅仅稀疏性强制可以改善验证结果。
2018-08-09 cs.SD eess.AS
Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map
Korea Advanced Institute of Science and Technology（韩国科学技术院）
为了在与文本无关的说话人确认中提取准确的说话人信息，提出了一种基于时间窗自适应核函数的时域动态神经网络（TDY-CNN）。然而TDY-CNN的模型尺寸太大，自适应核的自由度有限。为了解决这些限制，我们提出了分解的时间动态CNN（DTDY-CNN），它通过将静态内核与基于矩阵分解的动态残差相结合来形成时间自适应内核。使用无数据增强的精心统计合并的拟议DTDY-ResNet-34（x0.50）显示EER为0.96%，优于其他最先进的方法。DTDY-CNN是TDY-CNN的成功升级，将模型大小减少了64%，并提高了性能。我们发现，与TDY-CNN相比，DTDY-CNN也提取了更准确的帧级说话人嵌入。使用由用于说话人确认的改进的梯度加权类激活映射（Grad-CAM）产生的说话人激活映射（SAM）来分析DTDY-ResNet-34（x 0. 50）在说话人信息提取上的详细行为。DTDY-ResNet-34（x0.50）不仅有效地从共振峰频率中提取说话人信息，而且还有效地从清音音素的高频信息中提取说话人信息，从而解释了其在与文本无关的说话人确认方面的出色性能。
2022-10-27 cs.SD eess.AS
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong Polytechnic University（香港理工大学）
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率，该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University（新疆大学计算机科学与技术学院）；Tsinghua University（清华大学）
针对ASV在噪声下性能下降问题，提出结合噪声解耦与对抗训练的框架，通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失，构建噪声无关的说话人不变嵌入空间，在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
The HCCL Speaker Verification System for Far-Field Speaker Verification Challenge
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所语音声学与内容理解重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Key Laboratory of Minority Speech and Language Information Processing, Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所少数民族语音与语言信息处理新疆重点实验室）
本文介绍了HCCL团队提交的远场扬声器验证挑战赛的系统。我们之前在AIshell Speaker Verification Challenge 2019中的工作表明，神经网络架构的强大建模能力可以为此类任务提供卓越的性能。因此，在本次挑战中，我们重点关注基于TDNN、Resnet和Res2net块构建深度神经网络架构。大多数已开发的系统由神经网络嵌入组成，并与PLDA后端一起应用。首先，速度扰动方法被用来增加数据，并取得显着的性能改善。然后，我们探索了AMsoftmax损失函数的使用，并提出在使用AMsoftmax损失训练模型时加入CE损失分支。此外，还研究了分数归一化对性能的影响。最后的系统是四个系统的融合，在task1 eval集上实现了minDCF 0.5342，EER 5.05，在task3 eval集上实现了minDCF 0.5193，EER 5.47。
2021-07-03 cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University（西北工业大学）
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类，即，核查和识别。验证损失函数与说话人验证的流水线相匹配，但其实现比较困难。因此，大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中，我们提出了一个验证损失函数，命名为最大化的接收机操作特征（ROC）曲线下的部分面积（pAUC），基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法，以提高训练效率，这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild（SITW）和NIST SRE 2016数据集上的实验表明，所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University（首尔大学）
近年来，已经提出了各种基于深度学习的嵌入方法，并在说话人验证中表现出令人印象深刻的性能。然而，与大多数经典嵌入技术一样，已知基于深度学习的方法在处理具有不同条件的语音样本（例如，记录设备、情绪状态）。在本文中，我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明，该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
NPU Speaker Verification System for INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Northwestern Polytechnical University（西北工业大学）
本文介绍了提交给Interspeech 2020远场扬声器验证挑战赛（FFSVC）的NPU系统。我们特别关注远场文本依赖SV从单个（task 1）和多个麦克风阵列（task 3）。在这种情况下的主要挑战是短话语和跨通道和距离不匹配的登记和测试。我们相信更好的说话人嵌入可以减轻短话语的影响，因此我们引入了一种新的说话人嵌入架构- ResNet-BAM，它将瓶颈注意力模块与ResNet集成在一起，作为一种简单有效的方法来进一步提高ResNet的表示能力。这一贡献带来了高达1%的EER降低。我们从三个方面进一步解决不匹配问题。首先，旨在学习领域不变特征的领域对抗训练可以减少0.8%的EER。第二，前端信号处理，包括WPE和波束形成，没有明显的贡献，但与数据选择和域对抗训练一起，可以进一步贡献0.5%的EER降低。最后，数据增强，它与一个专门设计的数据选择策略，可以导致2%的EER减少。加上上述贡献，在中间的挑战结果中，我们的单提交系统（没有多系统融合）分别在任务1和任务3上获得第一名和第二名。
2020-08-08 cs.SD eess.AS
Exploring a Unified Attention-Based Pooling Framework for Speaker Verification
Tsinghua University（清华大学）；Unit, Chinese People's Liberation Army（中国人民解放军62315部队）
池化层是基于神经网络的说话人确认的重要组成部分。目前说话人确认中的大多数网络都使用平均池来获得话语级说话人表示。平均池化将每个帧视为同等重要，这是次优的，因为说话者判别能力在语音段之间是不同的。在本文中，我们提出了一个统一的基于注意力池的框架，并将其与多头注意力。在Fisher和NIST SRE 2010数据集上的实验表明，涉及较低层的输出来计算注意力权重可以优于平均池化，并且比vanilla注意力方法获得更好的结果。多头注意力进一步提高了性能。
2018-08-21 cs.SD eess.AS
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd（Pensees私人有限公司）；National University of Singapore（新加坡国立大学）
在本文中，我们研究了一种新的技术，利用说话人特征和语言内容之间的相互作用，以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意（SUDA）的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制，学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实，所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
The INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Duke Kunshan University（昆山杜克大学）；National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
INTERSPEECH 2020远场说话人验证挑战赛（FFSVC 2020）在明确定义的条件下解决了三个不同的研究问题：来自单个麦克风阵列的远场文本相关的说话人验证，来自单个麦克风阵列的远场文本无关的说话人验证，以及来自分布式麦克风阵列的远场文本相关的说话人验证。所有这三项任务都对参与者提出了跨渠道的挑战。为了模拟现实生活中的场景，注册话语记录从近距离通话的手机，而测试话语记录从远场麦克风阵列。在本文中，我们描述了数据库，挑战和基线系统，该系统基于基于ResNet的深度说话人网络，具有余弦相似性评分。对于一个给定的话语，不同通道的说话人嵌入平均作为最终的嵌入。对于任务1、任务2和任务3，基线系统分别实现了0.62、0.66和0.64的minDCF以及6.27%、6.55%和7.18%的EER。
2020-05-16 cs.SD eess.AS
Cross attentive pooling for speaker verification
Naver Corporation（NAVER公司）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；Yonsei University（延世大学）
本文的目标是文本无关的说话人确认的话语来自“在野外”的视频，可能包含不相关的信号。虽然说话人确认自然是一个成对的问题，但现有的生成说话人嵌入的方法是逐实例的。在本文中，我们提出了交叉注意池（CAP），它利用跨参考查询对的上下文信息来生成话语级嵌入，其中包含最具鉴别力的信息的配对匹配问题。在VoxCeleb数据集上进行了实验，其中我们的方法优于可比的池化策略。
2020-12-03 cs.SD eess.AS
Text-dependent Speaker Verification (TdSV) Challenge 2024: Challenge Evaluation Plan
本文档介绍了文本相关说话人验证（TdSV）挑战赛2024，旨在激励参与者开发单一且具竞争力的系统，并探索多任务学习、自监督学习及少样本学习等创新概念以解决文本相关说话人验证问题。
2024-04-20 cs.AI cs.SD eess.AS
Tackling the Score Shift in Cross-Lingual Speaker Verification by Exploiting Language Information
Ghent University（根特大学）；imec（比利时微电子研究中心）
本文包含对IDLab提交给VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的跨语言说话人验证的挑战后性能分析。我们发现，目前的扬声器嵌入提取器一致低估扬声器内跨语言试验的相似性。因此，典型的训练和评分协议没有足够重视说话人内部语言变异的补偿。我们提出了两种技术来提高跨语言说话人确认的鲁棒性。首先，我们用小批量采样策略增强了我们之前提出的大间距微调（LM-FT）训练阶段，该策略增加了小批量中说话人内跨语言样本的数量。其次，我们在逻辑回归校准阶段加入语言信息。我们集成质量指标的基础上的软，硬决定的VoxLingua 107语言识别模型。在VoxSRC-21测试集上，所提出的技术比基线模型相对提高了11.7%，并在相应的挑战中获得了第三名。
2022-06-19 cs.SD eess.AS
Three-Stage Speaker Verification Architecture in Emotional Talking Environments
University of Sharjah（沙迦大学）
说话人确认在中性说话环境中的性能通常较高，而在情绪化说话环境中性能急剧下降。情绪环境中的这种性能下降是由于在中性环境中训练与在情绪环境中测试之间的不匹配问题。在这项工作中，一个三阶段的说话人确认架构已被提出，以提高说话人确认性能在情感环境中。该架构由三个级联阶段组成：性别识别阶段，然后是情感识别阶段，然后是说话人验证阶段。所提出的框架已评估两个不同的和独立的情感语音数据集：内部数据集和情感韵律语音和成绩单数据集。实验结果表明，基于性别信息和情感信息的说话人确认优于仅基于性别信息、仅基于情感信息、不基于性别信息和情感信息的说话人确认。所获得的平均说话人确认性能的基础上，建议的框架是非常相似的主观评价人类听众。
2018-09-03 cs.AI cs.SD eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最先进的说话人验证模型基于深度学习技术，这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索（NAS）的思想，文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构，我们将NAS概念引入到著名的x向量网络中。此外，本文提出了一种进化算法增强的神经结构搜索方法，称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明，我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
On the influence of language similarity in non-target speaker verification trials
Reuter Jessen Division Hearing, Speech and Audio Technology（听力、语音和音频技术部门）；Fraunhofer Institute for Digital Media Technology（弗劳恩霍夫数字媒体技术研究所）；Bundeskriminalamt（德国联邦刑事侦查局）
本文研究跨语言非目标说话人验证中语言相似性的影响，发现训练语言内比较存在聚类效应，而未训练语言试验中分数与语言相似性相关。
2025-06-03 cs.SD eess.AS
The IDLAB VoxSRC-20 Submission: Large Margin Fine-Tuning and Quality-Aware Score Calibration in DNN Based Speaker Verification
IDLab, Department of Electronics；Information Systems, Ghent University - imec, Belgium
在本文中，我们提出并分析了一个大裕度微调策略和质量感知的分数校准在文本无关的说话人确认。大裕度微调是使用基于裕度的损失函数训练的基于DNN的说话人验证系统的次级训练阶段。它使网络能够通过使用更长的训练话语结合更积极的边缘惩罚来创建更强大的说话人嵌入。分数校准是说话人确认系统中的一种常见做法，将输出分数映射到校准良好的对数似然比，其可以转换为可解释的概率。通过在校准系统中包括质量特征，评估度量的决策阈值变得依赖于质量，并且在不同的试验条件下更加一致。在ECAPA-TDNN架构上应用这两项增强功能，可以在所有公开的VoxCeleb 1测试集上获得最先进的结果，并为我们在VoxCeleb Speaker Recognition Challenge 2020的监督验证轨道中获胜做出了贡献。
2021-04-06 cs.SD eess.AS
Integrated Replay Spoofing-aware Text-independent Speaker Verification
University of Seoul（首尔大学）
许多研究已经成功地开发了说话人确认或呈现攻击检测系统。然而，将这两项任务结合起来的研究仍处于初步阶段。在本文中，我们提出了两种方法来建立一个集成系统的说话人验证和演示攻击检测：一个端到端的单片方法和后端模块化的方法。第一种方法同时训练说话人识别，演示攻击检测，并使用多任务学习使用一个共同的功能的集成系统。然而，通过实验，我们假设，所需的信息进行说话人验证和演示攻击检测可能会有所不同，因为说话人验证系统试图从扬声器嵌入删除设备特定的信息，而演示攻击检测系统利用这些信息。因此，我们提出了一种后端模块化方法，使用单独的深度神经网络（DNN）进行说话人验证和演示攻击检测。这种方法有三个输入组件：两个扬声器嵌入（注册和测试）和预测的演示攻击。实验使用ASVspoof 2017-v2数据集进行，其中包括对说话人验证和演示攻击检测集成的正式试验。所提出的后端方法表现出21.77%的相对改善方面的综合试验相比，传统的说话人确认系统的相等的错误率。
2020-09-27 cs.LG cs.SD eess.AS
Improved Relation Networks for End-to-End Speaker Verification and Identification
LG Ads Solutions（LG广告解决方案公司）
现实世界场景中的说话者识别系统的任务是在一组登记的说话者中识别说话者，对于每个登记的说话者仅给出几个样本。本文展示了元学习和关系网络在此用例中的有效性。我们提出了改进的关系网络的说话人确认和Few-Shot（看不见的）说话人识别。关系网络的使用有助于前端扬声器编码器和后端模型的联合训练。受说话人验证中使用原型网络的启发，为了提高说话人嵌入的可辨别性，我们训练模型，以在训练集中存在的所有说话人中对当前集的样本进行分类。此外，我们提出了一种新的训练机制，通过从给定的元学习事件中提取更多的信息来加快模型收敛，而额外的计算可以忽略不计。我们评估VoxCeleb，SITW和VCTK数据集上的说话人验证和看不见的说话人识别的任务所提出的技术。所提出的方法优于现有的方法一致的任务。
2022-07-21 cs.LG cs.SD eess.AS
Analysis of Length Normalization in End-to-End Speaker Verification System
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）
经典的i向量和最新的端到端深度说话人嵌入是自动说话人确认系统中话语级表示的两个代表性类别。传统上，一旦提取了i向量或深度说话人嵌入，我们就依赖于额外的长度归一化步骤，在后端建模之前将表示归一化到单位长度的超空间中。在本文中，我们探索了神经网络如何以端到端的方式学习长度归一化的深度说话人嵌入。为此，我们在通用分类网络的输出层之前添加了一个长度归一化层，然后是一个尺度层。我们对Voxceleb1数据集的验证任务进行了实验。结果表明，将这个简单的步骤集成到端到端训练管道中可以显着提高说话人验证的性能。在我们的L2规范化端到端系统的测试阶段，一个简单的内积可以达到最先进的水平。
2018-06-11 cs.SD eess.AS
SA-SASV: An End-to-End Spoof-Aggregated Spoofing-Aware Speaker Verification System
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
过去几年的研究已经提高了自动说话人验证系统和对抗系统的性能，以在每个系统上提供低的相等出错率（EER）。然而，这两个系统的联合优化的研究仍然有限。提出了欺骗感知扬声器验证（SASV）2022挑战，以鼓励开发具有新指标的集成SASV系统，以评估联合模型性能。本文提出了一种无集成的端到端解决方案，称为欺骗聚合SASV（SA-SASV），以构建一个多任务分类器的SASV系统，该系统通过多次损失进行优化，并对训练集有更灵活的要求。该系统在ASVSpoof 2019 LA数据集上进行了训练，这是一个具有少量真实扬声器的欺骗验证数据集。SASV-EER的结果表明，通过在完整的自动说话人确认和对策数据集上进行训练，可以进一步提高模型的性能。
2022-03-24 cs.SD eess.AS
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University（西北工业大学）；Beijing ZKJ Technology Co., Ltd.（北京中科金技术有限公司）
在这份报告中，我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中，我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外，我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外，我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统，我们最终的最佳性能（minDCF/EER）的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交，我们来到了第二位的挑战，为两个轨道。
2021-11-18 cs.SD eess.AS
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore（新加坡国立大学）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发，SpEx，我们提出了一个统一的说话人验证框架，单和多说话人的语音，这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明，所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是，在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上，最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进，而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当，即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
Spoofing Speaker Verification Systems with Deep Multi-speaker Text-to-speech Synthesis
Tsinghua University（清华大学）；University of Rochester（罗切斯特大学）
提出了一种用于欺骗说话人确认系统的深度多说话人文本转语音（TTS）模型。该模型采用一个网络从文本输入合成时间下采样的梅尔频谱图，另一个网络将其转换为线性频谱图，然后使用Griffin-Lim算法将其进一步转换为时域。这两个网络分别在生成对抗网络（GAN）框架下进行训练。在两个最先进的SV系统（i-vectors和Google的GE 2 E）上的欺骗实验表明，所提出的系统可以成功地欺骗这些系统，成功率很高。反欺骗系统上的欺骗实验（即，用于区分真实语音和合成语音的二进制分类器）也显示出当这种反欺骗系统的结构暴露于所提出的TTS系统时的高欺骗成功率。
2019-10-29 cs.SD eess.AS
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了我们正在进行的对比预测编码（CPC）特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统，我们提出了我们的方法，实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识，传统的语音特征，以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Unsupervised Feature Enhancement for speaker verification
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
使说话人确认系统对不利场景具有鲁棒性的任务仍然是一个具有挑战性和活跃的研究领域。我们开发了一种在对数滤波器组域的无监督特征增强方法，最终目标是提高说话人确认性能。我们实验使用真实的语音记录在恶劣的环境和退化的语音通过模拟得到的训练增强系统。通过对几个真实的、模拟的噪声和混响测试集的测试，证明了该方法的有效性。当说话人确认流水线中不使用数据增强或仅在x向量训练期间使用增强时，该方法在真实和模拟集上都得到了显着的改进。当数据增强用于x向量和PLDA训练时，我们的增强方法略有改进。
2020-02-14 cs.SD eess.AS
Learning Metrics from Mean Teacher: A Supervised Learning Method for Improving the Generalization of Speaker Verification System
University of Seoul（首尔大学）；Naver Corporation（NAVER公司）
大多数说话人确认任务都是考虑真实世界条件的开集评估场景。因此，对未见过说话人的泛化能力对说话人确认系统的性能至关重要。我们建议应用\textit {Mean Teacher}，一种时间平均模型，来提取具有小的类内方差和大的类间方差的说话人嵌入。平均教师网络是指对深度神经网络参数进行时间平均;它可以产生比训练完成后使用权重更准确和稳定的表示。通过学习均值教师网络的可靠中间表示，我们期望该方法能够探索更多的判别嵌入空间，提高说话人确认系统的泛化性能。在VoxCeleb 1测试集上的实验结果表明，与基线系统相比，该方法的性能提高了11.61%.
2021-04-14 cs.SD eess.AS
Disentangling Speaker and Language Effects in Cross-Lingual Speaker Verification for Iberian Languages
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
针对跨语言说话人验证中语言不匹配与说话人变异性混淆的问题，引入双语同说话人评估集，基于HuBERT系统分析发现语言不匹配是性能下降主因。
2026-07-02 cs.CL eess.AS
Study on the temporal pooling used in deep neural networks for speaker verification
LIA - Avignon University（阿维尼翁大学LIA实验室）
x向量架构最近在说话人验证任务上取得了最先进的成果。该架构包括被称为时间池化的中心层，其堆叠声学帧分布的统计参数。这项工作提出了突出的时间池内容的训练动态和任务性能的显着影响。进行了具有不同汇集层的评估，即包括集中趋势的不同统计测量。值得注意的是，还测试了基于三阶和四阶矩的统计量（偏度和峰度），以完成通常的平均值和标准差参数。我们的实验显示了池化层内容在说话人验证性能方面的影响，但也适用于几个分类任务（说话人，通道或文本相关），并允许根据层内容更好地揭示说话人身份的外部信息的存在。
2021-05-10 cs.SD eess.AS
