Towards Robust Speaker Verification with Target Speaker Enhancement
本文提出了一种基于目标说话人增强的说话人确认网络（TASE-SVNet），它是一种将目标说话人增强和说话人嵌入提取相结合的全神经网络模型，用于鲁棒的说话人确认。具体地说，注册说话人条件语音增强模块被用作从其与干扰说话人和环境噪声的混合物中提取目标说话人的前端。与传统的目标说话人增强模型相比，非目标说话人/干扰抑制应该引起SV的额外关注。因此，一个有效的非目标说话人采样策略进行了探索。为了提高基于轻量模型的说话人嵌入提取算法的性能，提出了一种师生（T/S）训练方法，将说话人识别信息从大模型中提取到小模型中。迭代推理研究，以解决嘈杂的发言人登记问题。我们在两个SV任务上评估所提出的方法，即，一个是严重重叠的语音，另一个是车辆环境中的综合噪声类型。实验表明，与最先进的基线相比，等错误率（EER）有了显著和一致的改善。
2021-03-16 eess.AS
The SpeakIn Speaker Verification System for Far-Field Speaker Verification Challenge 2022
SpeakIn Technologies Co. Ltd.（SpeakIn科技有限公司）
本文介绍了SpeakIn团队提交给2022年远场扬声器验证挑战赛（FFSVC 2022）任务1和任务2的扬声器验证（SV）系统。挑战赛的SV任务集中在全监督远场说话人确认（任务1）和半监督远场说话人确认（任务2）的问题上。在任务1中，我们使用VoxCeleb和FFSVC 2020数据集作为训练数据集。对于任务2，我们仅使用VoxCeleb数据集作为训练集。基于ResNet和RepVGG的架构就是为了应对这一挑战而开发的。全局统计池结构和MQMHA池结构用于跨时间聚合帧级特征以获得话语级表示。我们采用AM-Softmax和AAM-Softmax对所得嵌入进行分类。本文创新性地提出了一种分阶段的迁移学习方法。在预训练阶段，我们保留扬声器权重，并且在此阶段没有正样本来训练它们。然后，我们在第二阶段使用正样本和负样本微调这些权重。与传统的迁移学习策略相比，该策略能更好地提高模型性能。使用Sub-Mean和AS-Norm后端方法来解决域不匹配问题。在融合阶段，在任务1中融合了三个模型，在任务2中融合了两个模型。在FFSVC 2022排行榜上，我们提交的EER为3.0049%，任务1中相应的minDCF为0.2938。在任务2中，EER和minDCF分别为6.2060%和0.5232。我们的方法带来了出色的性能，并在两项挑战任务中排名第一。
2022-09-23 cs.AI cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题，提出margin-mixup训练策略，无需修改现有架构即可提升说话人嵌入鲁棒性，在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
SpeakerNet: 1D Depth-wise Separable Convolutional Network for Text-Independent Speaker Recognition and Verification
我们提出了SpeakerNet -一个新的神经架构的说话人识别和说话人验证任务。它由具有1D深度可分离卷积、批量归一化和ReLU层的残差块组成。该架构使用基于x-向量的统计池化层来将可变长度的话语映射到固定长度的嵌入（q-向量）。SpeakerNet-M是一个简单的轻量级模型，只有5 M个参数。它不使用语音活动检测（VAD），并实现了接近最先进的性能，在VoxCeleb 1清理和VoxCeleb 1试用文件上的等错误率（EER）分别为2.10%和2.29%。
2020-10-23 eess.AS
Phonetic-aware speaker embedding for far-field speaker verification
The Hong Kong Polytechnic University（香港理工大学）
针对远场说话人验证受噪声和混响干扰的问题，提出联合训练语音与说话人识别的JTSS框架，利用音素信息补偿声学退化，在VOiCES 2019和VoxCeleb1上显著提升了验证性能。
2023-11-27 cs.AI cs.SD eess.AS
On the potential of jointly-optimised solutions to spoofing attack detection and automatic speaker verification
欺骗感知说话人验证（SASV）挑战旨在促进联合优化解决方案的研究，以完成传统上分别优化的欺骗检测和说话人验证任务。联合优化的系统有可能协同工作，作为可靠的说话人验证单一任务的更好的解决方案。然而，向SASV 2022提交的23份申请中没有一份是联合优化的。因此，我们试图确定为什么单独优化的子系统表现最好，或者为什么联合优化不成功。本文报道的实验表明，联合优化是成功的，提高鲁棒性欺骗，但它降低了说话人验证性能。研究结果表明，欺骗检测和说话人验证子系统应联合优化的方式，反映了每个子系统提供的信息是如何互补的，由其他的差异。能否取得进展还可能取决于能否从更多的发言者那里收集数据。
2022-10-07 eess.AS
SASV 2022: The First Spoofing-Aware Speaker Verification Challenge
第一个欺骗感知说话人验证（SASV）挑战旨在整合说话人验证和反欺骗的研究工作。我们通过将欺骗试验引入到通常的目标和冒名顶替者试验中来扩展说话人验证方案。与ASVspoof挑战不同，ASVspoof挑战的重点是单独的、独立优化的欺骗检测和说话者验证子系统，SASV的目标是开发集成的、联合优化的解决方案。预先训练的欺骗检测和说话者验证模型作为开源提供，并用于两个基线SASV解决方案。模型和基线都可免费提供给参与者，并可用于开发后端融合方法或端到端解决方案。使用所提供的共同评估协议，23个团队提交了SASV解决方案。当评估与目标，善意的非目标和欺骗的非目标试验，性能最好的系统降低了传统的说话人确认系统的等错误率从23.83%到0.13%。SASV挑战结果证明了当今最先进的欺骗检测和说话人验证方法的可靠性。
2022-03-28 eess.AS
SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification
Delft University of Technology（代尔夫特理工大学）
尽管深度神经网络（DNN）在支持设备上的语音助手方面取得了成功，但越来越多的证据表明，机器学习存在偏见和歧视，这使得调查这些系统的公平性变得更加紧迫。说话人验证是一种生物识别形式，可以访问语音助手。由于缺乏公平性指标和评估框架，适合于测试的公平性说话人验证组件，很少有人知道模型的性能如何在不同的子组，以及什么因素影响性能变化。为了应对这一新出现的挑战，我们设计和开发了SVEva Fair，这是一个可访问的，可操作的和模型无关的框架，用于评估说话人验证组件的公平性。该框架提供了评估措施和可视化，以询问跨扬声器子组的模型性能，并比较模型之间的公平性。我们在一个案例研究中展示了SVEva Fair，该案例研究使用在VoxCeleb数据集上训练的端到端DNN来揭示基于扬声器人口统计属性的现有嵌入式语音识别系统中的潜在偏见。我们的评估表明，公开访问的基准模型是不公平的，并始终产生一些民族，大多数民族的女性发言人更差的预测。为了为公平和可靠的嵌入式说话人验证铺平道路，SVEva Fair已被实现为开源python库，并可集成到嵌入式ML开发管道中，以方便开发人员和研究人员对不可靠的说话人验证性能进行故障排除，并选择高影响力的方法来缓解公平性挑战。
2022-10-04 cs.AI cs.SD eess.AS
The SVASR System for Text-dependent Speaker Verification (TdSV) AAIC Challenge 2024
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）
针对文本相关说话人验证需求，提出集成Fast-Conformer ASR模块过滤错误样本、融合wav2vec-BERT与ReDimNet说话人嵌入的SVASR系统，在TDSV 2024挑战赛测试集获归一化最小DCF 0.0452（排名第2）。
2024-11-25 cs.AI cs.SD eess.AS
Leveraging ASR Pretrained Conformers for Speaker Verification through Transfer Learning and Knowledge Distillation
本文利用ASR预训练Conformer，通过迁移学习、知识蒸馏和轻量级适配器三种策略，在VoxCeleb上实现低至0.43%的EER，有效迁移ASR能力至说话人验证。
2024-07-16 eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah（沙迦大学）
本文致力于引入、执行和评估一个三阶段的说话人确认框架，以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段：性别识别阶段，其次是情感识别阶段，其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估：我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明，基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认，只有情感线索，既没有性别线索，也没有情感线索。所实现的平均说话人确认性能的基础上，建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University（首尔国立大学）
在本文中，我们提出了自我监督的说话人表示学习策略，其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段，我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段，通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入，这不仅提供了说话人表示，而且还提供了数据的不确定性。实验结果表明，所提出的自举均衡训练策略能够有效地帮助学习说话人表征，并且优于传统的基于对比学习的方法。此外，我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数（特征）来完成的，这些参数（特征）可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征（MFCC），而另一些系统使用基于隐马尔可夫模型（HMM）的说话人识别、支持向量机（SVM）、GARCH。在本文中，简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时，性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时，观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库，已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
Short utterance compensation in speaker verification via cosine-based teacher-student learning of speaker embeddings
University of Seoul（首尔大学）
输入语音的短持续时间是降低说话人确认系统性能的最关键威胁之一。本研究的目的是开发一个集成的文本无关的说话人确认系统，输入的话语与短的持续时间为2秒或更少。我们提出了一种方法，使用教师-学生的学习框架，为这个目标，适用于短话语补偿在我们的知识。所提出的系统的核心概念是在整个提取说话人嵌入的网络中进行补偿，主要是在语音级别，而不是在提取说话人嵌入后通过单独的系统进行补偿。在所提出的架构中，使用卷积层提取语音级特征，其中每个特征表示130 ms的片段。门控递归单元层使用语音级特征提取话语级特征。该方法还采用了一个新的目标函数，教师-学生学习，同时考虑输出层的Kullback-Leibler发散和余弦距离的发言人嵌入层。实验使用深度神经网络进行，该网络将原始波形作为输入，并在VoxCeleb 1数据集上输出扬声器嵌入。该模型可以补偿约65%的性能下降，由于缩短的持续时间。
2019-04-10 cs.AI cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而，语音转换系统可以操纵一个人的语音信号，使其听起来像另一个说话者的声音，并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中，我们研究的问题，源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别，我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明，当使用来自相同语音转换模型的转换语音进行训练和测试时，源说话人识别是可行的。此外，我们的研究结果表明，有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
Optimization of DNN-based speaker verification model through efficient quantization technique
Yonsei University（延世大学）
针对DNN说话人验证模型计算与内存开销高、难部署于移动系统的问题，提出量化优化框架，通过分析预训练模型各层性能变化与体积缩减，首次在保持ECAPATDNN性能的同时将模型体积减半，EER仅上升0.07%。
2024-07-12 cs.AI cs.CC eess.AS
The 2022 Far-field Speaker Verification Challenge: Exploring domain mismatch and semi-supervised learning under the far-field scenario
FFSVC 2022是远场说话人确认的第二个挑战。FFSVC 2022提供了全监督远场说话人确认，以进一步探索远场场景，并提出了半监督远场说话人确认。与FFSVC 2020不同，FFSVC 2022专注于单通道场景。此外，今年还发布了FFSVC 2020数据集的补充集。补充集由更多记录设备组成，数据分布与FFSVC 2022评估集相同。本文总结了FFSVC 2022，包括任务描述，试验设计细节，基线系统和挑战结果总结。挑战结果表明，在该领域取得了重大进展，但也表明远场情景仍然存在困难。
2022-09-16 eess.AS
Speaker Verification using Convolutional Neural Networks
NYU Tandon School of Engineering（纽约大学坦登工程学院）
在本文中，一种新的卷积神经网络架构已被开发用于说话人确认，以同时捕获和丢弃说话人和非说话人信息，分别。在训练阶段，训练网络以区分不同的说话人身份，以创建背景模型。其中一个关键部分是创建扬声器模型。大多数先前的方法基于对背景模型提供的说话者表示进行平均来创建说话者模型。我们通过使用Siamese框架进一步微调训练模型来推翻这个问题，以生成一个有区别的特征空间来区分相同和不同的说话者，而不管他们的身份如何。这提供了一种同时捕获说话者相关信息并创建对说话者内变化的鲁棒性的机制。实验结果表明，该方法优于传统的直接从背景模型建立说话人模型的验证方法。
2018-08-10 cs.SD eess.AS
SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔大学）
SpeakerLLM通过统一说话人特征建模、录音条件理解及验证推理，提升音频大语言模型在说话人识别与验证中的性能与准确性。
2026-05-14 cs.AI cs.LG cs.MM
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入，图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程，辅助说话者的信息参与确定输入话语之间的关系，从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器，在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明，将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd（Pensees私人有限公司）；National University of Singapore（新加坡国立大学）
在本文中，我们研究了一种新的技术，利用说话人特征和语言内容之间的相互作用，以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意（SUDA）的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制，学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实，所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
Large Margin Softmax Loss for Speaker Verification
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）
在基于神经网络的说话人确认中，说话人嵌入需要在说话人之间具有区分性，同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中，我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则，进一步提高了算法的性能。在VoxCeleb上的实验结果表明，我们的最佳系统在EER上比基线方法高出15%，在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University（西北工业大学）
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类，即，核查和识别。验证损失函数与说话人验证的流水线相匹配，但其实现比较困难。因此，大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中，我们提出了一个验证损失函数，命名为最大化的接收机操作特征（ROC）曲线下的部分面积（pAUC），基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法，以提高训练效率，这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild（SITW）和NIST SRE 2016数据集上的实验表明，所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS
Deep Representation Decomposition for Rate-Invariant Speaker Verification
虽然通过深度说话人嵌入已经实现了说话人验证的有希望的性能，但在说话风格可变性的情况下，该优势将减少。在实际的说话人确认系统中，经常会出现语速失配的情况，这会降低系统的性能。为了减少由说话速率引起的类内差异，我们提出了一种带有对抗学习的深度表示分解方法来学习说话速率不变的说话人嵌入。具体地说，采用注意力块，我们通过多任务训练将原始嵌入分解为身份相关分量和速率相关分量。此外，为了减少两个分解组件之间的潜在关系，我们进一步提出了一个余弦映射块来反向训练参数，以最小化两个分解组件之间的余弦相似性。因此，身份相关的功能变得强大的说话速率，然后用于验证。在VoxCeleb 1数据和HI-MIA数据上的实验证明了该方法的有效性。
2022-05-28 eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science；Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中，我们提出了VoiceID损失，一个新的损失函数训练的语音增强模型，以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数（例如L2损失）相比，VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图，以过滤掉用于说话人验证的不必要分量。在实验中，我们观察到增强网络在使用VoiceID丢失进行训练后，能够忽略大量的时频点，例如那些由噪声主导的时频点，以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Angular Softmax Loss for End-to-end Speaker Verification
端到端的说话人确认系统受到越来越多的关注。传统的i向量方法训练生成模型（基本上是因子分析模型）来提取i向量作为说话者嵌入。相比之下，端到端方法直接训练判别模型（通常是神经网络）来学习判别说话人嵌入;一个关键的组成部分是训练标准。在本文中，我们使用角softmax（A-softmax），这是最初提出的人脸验证，作为损失函数的特征学习在端到端的说话人验证。通过在softmax loss中引入类间的间隔，A-softmax可以学习比softmax loss和triplet loss更多的区分特征，同时易于使用和稳定。我们在这项工作中做出了两个贡献。1)我们将A-softmax损失引入到端到端说话人验证中，并实现了显着的EER降低。2)我们发现，在前端训练中使用A-softmax和在后端评分中使用PLDA的组合进一步提高了短话语条件下（注册和测试都很短）端到端系统的性能。在部分$Fisher$数据集上进行了实验，验证了使用A-softmax的改进。
2018-12-12 eess.AS
Speaker Verification By Partial AUC Optimization With Mahalanobis Distance Metric Learning
受试者工作特性（ROC）曲线和检测误差折衷（DET）曲线是说话人确认中两个广泛使用的评价指标。它们是等价的，因为后者可以通过将前者的真正y轴转换为假负y轴，然后通过概率单位算子重新缩放两个轴来获得。然而，现实世界的说话人确认系统，通常工作在ROC曲线的一部分，而不是整个ROC曲线给定的应用程序。因此，在本文中，我们建议使用的ROC曲线（pAUC）的一部分下的面积作为一个更有效的评价指标的说话人验证。应用基于马氏距离度量学习的后端来优化pAUC，其中马氏距离度量学习保证后端的优化目标是凸的，使得全局最优解是可实现的。为了提高现有说话人确认系统的性能，本文进一步提出了基于长度归一化和概率线性判别分析的特征预处理技术。我们评估了NIST SRE 16的主要语言和SITW的核心任务的建议系统。实验结果表明，所提出的后端优于国家的最先进的说话人确认后端的七个评价指标。
2020-04-21 eess.AS
Analyzing speaker verification embedding extractors and back-ends under language and channel mismatch
在本文中，我们分析的行为和性能的发言人嵌入和后端评分模型下的领域和语言不匹配。我们提出了我们的研究结果，基于ResNet的扬声器嵌入架构，并表明，减少时间跨度产生更好的性能。然后，我们考虑一个PLDA后端，并显示如何组合的小扬声器子空间，语言相关的PLDA混合物，和滋扰属性投影系统的性能产生巨大的影响。此外，我们提出了一种有效的评分和融合类后验logit向量的方法，最近显示出良好的说话人确认任务。使用NIST SRE 2021设置进行实验。
2022-03-19 eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最先进的说话人验证模型基于深度学习技术，这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索（NAS）的思想，文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构，我们将NAS概念引入到著名的x向量网络中。此外，本文提出了一种进化算法增强的神经结构搜索方法，称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明，我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
Multimodal Speaker Verification as a Threat to Speaker Anonymization
Johns Hopkins University（约翰斯·霍普金斯大学）
研究多话语、多模态环境下的说话人验证，通过对多个匿名话语的音频、韵律和语言信息进行聚合，比较不同聚合策略，发现多模态系统性能更优，帧级聚合EER最低，即便少量匿名话语结合音频和文本也能显著降低EER。
2026-07-23 eess.AS
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了我们正在进行的对比预测编码（CPC）特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统，我们提出了我们的方法，实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识，传统的语音特征，以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Integrated Replay Spoofing-aware Text-independent Speaker Verification
University of Seoul（首尔大学）
许多研究已经成功地开发了说话人确认或呈现攻击检测系统。然而，将这两项任务结合起来的研究仍处于初步阶段。在本文中，我们提出了两种方法来建立一个集成系统的说话人验证和演示攻击检测：一个端到端的单片方法和后端模块化的方法。第一种方法同时训练说话人识别，演示攻击检测，并使用多任务学习使用一个共同的功能的集成系统。然而，通过实验，我们假设，所需的信息进行说话人验证和演示攻击检测可能会有所不同，因为说话人验证系统试图从扬声器嵌入删除设备特定的信息，而演示攻击检测系统利用这些信息。因此，我们提出了一种后端模块化方法，使用单独的深度神经网络（DNN）进行说话人验证和演示攻击检测。这种方法有三个输入组件：两个扬声器嵌入（注册和测试）和预测的演示攻击。实验使用ASVspoof 2017-v2数据集进行，其中包括对说话人验证和演示攻击检测集成的正式试验。所提出的后端方法表现出21.77%的相对改善方面的综合试验相比，传统的说话人确认系统的相等的错误率。
2020-09-27 cs.LG cs.SD eess.AS
Improved Relation Networks for End-to-End Speaker Verification and Identification
LG Ads Solutions（LG广告解决方案公司）
现实世界场景中的说话者识别系统的任务是在一组登记的说话者中识别说话者，对于每个登记的说话者仅给出几个样本。本文展示了元学习和关系网络在此用例中的有效性。我们提出了改进的关系网络的说话人确认和Few-Shot（看不见的）说话人识别。关系网络的使用有助于前端扬声器编码器和后端模型的联合训练。受说话人验证中使用原型网络的启发，为了提高说话人嵌入的可辨别性，我们训练模型，以在训练集中存在的所有说话人中对当前集的样本进行分类。此外，我们提出了一种新的训练机制，通过从给定的元学习事件中提取更多的信息来加快模型收敛，而额外的计算可以忽略不计。我们评估VoxCeleb，SITW和VCTK数据集上的说话人验证和看不见的说话人识别的任务所提出的技术。所提出的方法优于现有的方法一致的任务。
2022-07-21 cs.LG cs.SD eess.AS
Dual-LoRA: Parameter-Efficient Adversarial Disentanglement for Cross-Lingual Speaker Verification
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；X-LANCE Lab, School of Computer Science, MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学计算机科学技术学院人工智能教育部重点实验室X-LANCE实验室）；Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室）；AISpeech Co., Ltd.（思必驰科技股份有限公司）；Soul AI Lab（Soul人工智能实验室）
本文提出Dual-LoRA，通过注入可训练任务因子化LoRA适配器解决交叉语言说话人验证中的语言-说话人纠缠问题，采用语言锚定对抗器提升说话人区分度。
2026-04-30 eess.AS
A Framework for Robust Speaker Verification in Highly Noisy Environments Leveraging Both Noisy and Enhanced Audio
针对高噪声环境下说话人验证性能下降及语音增强可能扭曲说话人信息的问题，提出基于孪生架构结合带噪与增强语音嵌入的轻量框架，提升验证鲁棒性且兼容多种先进技术，实验证明其性能更优。
2025-08-26 eess.AS
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore（新加坡国立大学）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发，SpEx，我们提出了一个统一的说话人验证框架，单和多说话人的语音，这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明，所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是，在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上，最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进，而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当，即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
Sparse Architectures for Text-Independent Speaker Verification Using Deep Neural Networks
Boise State University（博伊西州立大学）；FANAP Telecom（FANAP电信）
网络修剪是非常重要的，因为它消除了由于网络过度参数化而激活的不重要的权重或特征。稀疏性增强的优点包括防止过拟合和加速。考虑到深度架构中的大量参数，由于需要大量的计算能力，网络压缩变得至关重要。在这项工作中，我们施加结构稀疏的扬声器验证，这是验证的查询扬声器相比，扬声器库。我们将证明，由于网络中可能的初始过拟合，仅仅稀疏性强制可以改善验证结果。
2018-08-09 cs.SD eess.AS
Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map
Korea Advanced Institute of Science and Technology（韩国科学技术院）
为了在与文本无关的说话人确认中提取准确的说话人信息，提出了一种基于时间窗自适应核函数的时域动态神经网络（TDY-CNN）。然而TDY-CNN的模型尺寸太大，自适应核的自由度有限。为了解决这些限制，我们提出了分解的时间动态CNN（DTDY-CNN），它通过将静态内核与基于矩阵分解的动态残差相结合来形成时间自适应内核。使用无数据增强的精心统计合并的拟议DTDY-ResNet-34（x0.50）显示EER为0.96%，优于其他最先进的方法。DTDY-CNN是TDY-CNN的成功升级，将模型大小减少了64%，并提高了性能。我们发现，与TDY-CNN相比，DTDY-CNN也提取了更准确的帧级说话人嵌入。使用由用于说话人确认的改进的梯度加权类激活映射（Grad-CAM）产生的说话人激活映射（SAM）来分析DTDY-ResNet-34（x 0. 50）在说话人信息提取上的详细行为。DTDY-ResNet-34（x0.50）不仅有效地从共振峰频率中提取说话人信息，而且还有效地从清音音素的高频信息中提取说话人信息，从而解释了其在与文本无关的说话人确认方面的出色性能。
2022-10-27 cs.SD eess.AS
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong Polytechnic University（香港理工大学）
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率，该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University（新疆大学计算机科学与技术学院）；Tsinghua University（清华大学）
针对ASV在噪声下性能下降问题，提出结合噪声解耦与对抗训练的框架，通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失，构建噪声无关的说话人不变嵌入空间，在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
The HCCL Speaker Verification System for Far-Field Speaker Verification Challenge
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所语音声学与内容理解重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Key Laboratory of Minority Speech and Language Information Processing, Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所少数民族语音与语言信息处理新疆重点实验室）
本文介绍了HCCL团队提交的远场扬声器验证挑战赛的系统。我们之前在AIshell Speaker Verification Challenge 2019中的工作表明，神经网络架构的强大建模能力可以为此类任务提供卓越的性能。因此，在本次挑战中，我们重点关注基于TDNN、Resnet和Res2net块构建深度神经网络架构。大多数已开发的系统由神经网络嵌入组成，并与PLDA后端一起应用。首先，速度扰动方法被用来增加数据，并取得显着的性能改善。然后，我们探索了AMsoftmax损失函数的使用，并提出在使用AMsoftmax损失训练模型时加入CE损失分支。此外，还研究了分数归一化对性能的影响。最后的系统是四个系统的融合，在task1 eval集上实现了minDCF 0.5342，EER 5.05，在task3 eval集上实现了minDCF 0.5193，EER 5.47。
2021-07-03 cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University（首尔大学）
近年来，已经提出了各种基于深度学习的嵌入方法，并在说话人验证中表现出令人印象深刻的性能。然而，与大多数经典嵌入技术一样，已知基于深度学习的方法在处理具有不同条件的语音样本（例如，记录设备、情绪状态）。在本文中，我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明，该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
Learnable Frequency Filters for Speech Feature Extraction in Speaker Verification
Mel尺度谱特征用于语音信号的各种识别和分类任务。没有理由期望这些功能对于所有不同的任务都是最佳的，包括说话人验证（SV）。本文描述了一种可学习的前端特征提取模型。该模型包括一组滤波器来变换傅立叶频谱。定义这些滤波器的模型参数是端到端训练的，并专门针对说话人验证任务进行了优化。与标准的梅尔尺度滤波器组相比，滤波器的带宽和中心频率可调。实验结果表明，应用可学习的声学前端提高说话人确认性能比传统的梅尔尺度频谱特征。对学习的滤波器参数的分析表明，窄带信息有利于SV系统的性能。该模型实现了性能和计算成本之间的良好平衡。在资源受限的计算环境中，该模型的性能明显优于基于CNN的可学习前端。该模型在不同的嵌入提取模型和数据集上的泛化能力也得到了验证。
2022-06-15 eess.AS
Can spoofing countermeasure and speaker verification systems be jointly optimised?
本研究针对SASV任务中CM与ASV子系统独立训练的问题，通过少量新说话人辅助数据开展联合优化，虽降低子系统独立性能但提升互补性，在标准评测下等错误率相对降低27%。
2023-12-20 eess.AS
An Age-Agnostic System for Robust Speaker Verification
针对成人训练的说话人验证系统在儿童场景性能下降、领域自适应方法又会损害成人场景性能的问题，提出年龄无关SV系统，通过领域分类器解耦年龄属性并扩展嵌入空间，在两类数据集上均实现鲁棒性能。
2025-08-03 eess.AS
NPU Speaker Verification System for INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Northwestern Polytechnical University（西北工业大学）
本文介绍了提交给Interspeech 2020远场扬声器验证挑战赛（FFSVC）的NPU系统。我们特别关注远场文本依赖SV从单个（task 1）和多个麦克风阵列（task 3）。在这种情况下的主要挑战是短话语和跨通道和距离不匹配的登记和测试。我们相信更好的说话人嵌入可以减轻短话语的影响，因此我们引入了一种新的说话人嵌入架构- ResNet-BAM，它将瓶颈注意力模块与ResNet集成在一起，作为一种简单有效的方法来进一步提高ResNet的表示能力。这一贡献带来了高达1%的EER降低。我们从三个方面进一步解决不匹配问题。首先，旨在学习领域不变特征的领域对抗训练可以减少0.8%的EER。第二，前端信号处理，包括WPE和波束形成，没有明显的贡献，但与数据选择和域对抗训练一起，可以进一步贡献0.5%的EER降低。最后，数据增强，它与一个专门设计的数据选择策略，可以导致2%的EER减少。加上上述贡献，在中间的挑战结果中，我们的单提交系统（没有多系统融合）分别在任务1和任务3上获得第一名和第二名。
2020-08-08 cs.SD eess.AS
Extrapolating false alarm rates in automatic speaker verification
Huawei Technologies Ltd.（华为技术有限公司）；University of Eastern Finland（东芬兰大学）；NEC Corporation（日本电气股份有限公司）
自动说话人验证（ASV）供应商和语料库提供商都将受益于工具，可以可靠地推断大量说话人的性能指标，而无需收集新的说话人。我们解决了最坏情况下的模型下，对手确定一个给定的目标扬声器从一个大的人口最接近的冒名顶替者虚警率外推。我们的模型是生成的，允许采样新的扬声器。该模型在ASV检测分数空间中制定，以便于分析任意ASV系统。
2020-08-08 cs.LG eess.AS stat.ML
Exploring a Unified Attention-Based Pooling Framework for Speaker Verification
Tsinghua University（清华大学）；Unit, Chinese People's Liberation Army（中国人民解放军62315部队）
池化层是基于神经网络的说话人确认的重要组成部分。目前说话人确认中的大多数网络都使用平均池来获得话语级说话人表示。平均池化将每个帧视为同等重要，这是次优的，因为说话者判别能力在语音段之间是不同的。在本文中，我们提出了一个统一的基于注意力池的框架，并将其与多头注意力。在Fisher和NIST SRE 2010数据集上的实验表明，涉及较低层的输出来计算注意力权重可以优于平均池化，并且比vanilla注意力方法获得更好的结果。多头注意力进一步提高了性能。
2018-08-21 cs.SD eess.AS
The INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Duke Kunshan University（昆山杜克大学）；National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
INTERSPEECH 2020远场说话人验证挑战赛（FFSVC 2020）在明确定义的条件下解决了三个不同的研究问题：来自单个麦克风阵列的远场文本相关的说话人验证，来自单个麦克风阵列的远场文本无关的说话人验证，以及来自分布式麦克风阵列的远场文本相关的说话人验证。所有这三项任务都对参与者提出了跨渠道的挑战。为了模拟现实生活中的场景，注册话语记录从近距离通话的手机，而测试话语记录从远场麦克风阵列。在本文中，我们描述了数据库，挑战和基线系统，该系统基于基于ResNet的深度说话人网络，具有余弦相似性评分。对于一个给定的话语，不同通道的说话人嵌入平均作为最终的嵌入。对于任务1、任务2和任务3，基线系统分别实现了0.62、0.66和0.64的minDCF以及6.27%、6.55%和7.18%的EER。
2020-05-16 cs.SD eess.AS
Robust End-to-End Speaker Verification Using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们证明了说话人确认系统的性能可以通过级联脑电（EEG）信号特征与语音信号特征或仅使用EEG信号特征来提高。我们使用最先进的端到端深度学习模型来执行说话人验证，并展示了我们对嘈杂语音的结果。我们的研究结果表明，脑电信号可以提高说话人确认系统的鲁棒性，特别是在噪声环境中。
2020-06-10 cs.LG cs.SD eess.AS
Cross attentive pooling for speaker verification
Naver Corporation（NAVER公司）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；Yonsei University（延世大学）
本文的目标是文本无关的说话人确认的话语来自“在野外”的视频，可能包含不相关的信号。虽然说话人确认自然是一个成对的问题，但现有的生成说话人嵌入的方法是逐实例的。在本文中，我们提出了交叉注意池（CAP），它利用跨参考查询对的上下文信息来生成话语级嵌入，其中包含最具鉴别力的信息的配对匹配问题。在VoxCeleb数据集上进行了实验，其中我们的方法优于可比的池化策略。
2020-12-03 cs.SD eess.AS
Non-native Speaker Verification for Spoken Language Assessment
University of Cambridge（剑桥大学）
自动口语评估系统正变得越来越流行，以处理日益增长的兴趣在第二语言学习。这些系统面临的一个挑战是检测渎职行为。舞弊可以采取多种形式，本文着重于检测当一个候选人试图模仿另一个在口语测试。这种形式的弊端与说话人确认密切相关，但适用于口语评估这一特定领域。高级说话人验证系统利用深度学习方法提取说话人表示，已成功应用于一系列母语验证任务。本文针对非母语英语口语数据对这些系统进行了探索。用于演讲者注册和验证的数据主要来自BULATS测试，该测试评估商业英语语言技能。系统的性能训练相对有限的BULATS数据，和标准的大型扬声器验证语料库，进行了比较。在具有数百万次试验的大规模测试集上的实验结果表明，通过使导入的模型适应非原生数据，可以实现最佳性能。分析了不同第一语言（L1）和年级的冒名顶替者试验，这表明L1之间的冒名顶替者对说话人确认系统更具挑战性。
2019-09-30 cs.CL cs.SD eess.AS
