NPLDA: A Deep Neural PLDA Model for Speaker Verification
Indian Institute of Science（印度科学学院）
说话人验证的最新方法包括基于神经网络的嵌入提取器以及后端生成模型，如概率线性判别分析（PLDA）。在这项工作中，我们提出了一个神经网络的后端建模方法在说话人识别。生成PLDA模型的似然比得分被提出作为一个判别相似性函数，并使用验证成本优化得分函数的可学习参数。所提出的模型，称为神经PLDA（NPLDA），初始化使用生成PLDA模型参数。NPLDA模型的损失函数是最小检测代价函数（DCF）的近似值。在VOiCES数据集和SITW挑战数据集上进行了基于NPLDA模型的说话人识别实验。在这些实验中，使用所提出的损失函数优化的NPLDA模型显著改善了基于PLDA的说话人确认系统。
2020-05-24 cs.CL cs.LG cs.SD
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd（Pensees私人有限公司）；National University of Singapore（新加坡国立大学）
在本文中，我们研究了一种新的技术，利用说话人特征和语言内容之间的相互作用，以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意（SUDA）的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制，学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实，所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
Non-native Speaker Verification for Spoken Language Assessment
University of Cambridge（剑桥大学）
自动口语评估系统正变得越来越流行，以处理日益增长的兴趣在第二语言学习。这些系统面临的一个挑战是检测渎职行为。舞弊可以采取多种形式，本文着重于检测当一个候选人试图模仿另一个在口语测试。这种形式的弊端与说话人确认密切相关，但适用于口语评估这一特定领域。高级说话人验证系统利用深度学习方法提取说话人表示，已成功应用于一系列母语验证任务。本文针对非母语英语口语数据对这些系统进行了探索。用于演讲者注册和验证的数据主要来自BULATS测试，该测试评估商业英语语言技能。系统的性能训练相对有限的BULATS数据，和标准的大型扬声器验证语料库，进行了比较。在具有数百万次试验的大规模测试集上的实验结果表明，通过使导入的模型适应非原生数据，可以实现最佳性能。分析了不同第一语言（L1）和年级的冒名顶替者试验，这表明L1之间的冒名顶替者对说话人确认系统更具挑战性。
2019-09-30 cs.CL cs.SD eess.AS
Text-Independent Speaker Verification Using Long Short-Term Memory Networks
University of Houston（休斯顿大学）
本文提出了一种基于长短期记忆网络的文本无关语音识别系统结构，其目的是通过对传统语音特征的操作来获取与说话人相关的时间信息。对于说话人确认，首先，必须创建用于说话人表示的背景模型。然后，在注册阶段，说话人模型将被创建基于注册话语。对于这项工作，模型将以端到端的方式进行训练，以结合前两个阶段。端到端训练的主要目标是优化模型以符合说话人验证协议。端到端训练通过创建表示空间来联合学习背景和说话者模型。LSTM架构经过训练，以创建一个识别空间，用于验证说话人验证的匹配和非匹配对。与其他传统方法相比，该体系结构在文本无关性方面表现出了优越性。
2018-09-07 cs.CL cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Short-duration Speaker Verification (SdSV) Challenge 2021: the Challenge Evaluation Plan
本文档描述了2021年短时间扬声器验证（SdSV）挑战赛。该挑战的主要目标是在短时间场景中评估文本相关（TD）和文本无关（TI）说话人验证（SV）的新技术。所提出的挑战评估SdSV与不同程度的语音重叠之间的登记和测试话语（跨语言）。这是第一个挑战，广泛关注系统的基准和分析不同程度的语音变异的短期说话人识别。我们预计现代方法（特别是深度神经网络）将发挥关键作用。
2021-03-24 cs.CL cs.SD eess.AS
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题，提出margin-mixup训练策略，无需修改现有架构即可提升说话人嵌入鲁棒性，在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
End-to-end losses based on speaker basis vectors and all-speaker hard negative mining for speaker verification
University of Seoul（首尔大学）
近年来，说话人验证主要使用深度神经网络进行，这些网络经过训练，可以从输入特征（如频谱图或Mel滤波器组能量）中输出嵌入。设计各种损失函数的研究，包括度量学习已经被广泛探索。在这项研究中，我们提出了两个端到端的损失函数的说话人确认使用的概念，说话人基地，这是可训练的参数。一个损失函数被设计为进一步增加说话人间的变化，另一个被设计为与硬否定挖掘相同的概念。每个说话人基础被设计为在训练深度神经网络的过程中代表相应的说话人。与传统的损失函数只能考虑小批量中包含的有限数量的扬声器相比，所提出的损失函数可以考虑训练集中的所有扬声器，而不管小批量的组成。特别是，建议的损失函数，使硬负挖掘和计算扬声器之间的变化与所有扬声器的考虑。通过在VoxCeleb1和VoxCeleb2数据集上的实验，我们证实了所提出的损失函数可以补充传统的softmax和中心损失函数。
2019-07-17 cs.LG cs.SD eess.AS
Few Shot Text-Independent speaker verification using 3D-CNN
Galgotias University（加尔各答大学）
人脸识别系统是人工智能的主要成功之一，在过去的几年里已经被大量使用。但是，图像并不是唯一的生物特征：音频是另一种可能的生物特征，可以用作现有识别系统的替代品。然而，文本无关的音频数据并不总是可用于像说话人验证这样的任务，并且在过去也没有针对假设非常少的训练数据的文本无关的说话人验证进行工作。因此，在本文中，我们提出了一种新的方法来验证的身份声称发言人使用很少的训练数据。为了实现这一点，我们使用了具有中心损失和扬声器偏置损失的Siamese神经网络。在VoxCeleb 1数据集上进行的实验表明，即使在训练数据很少的情况下，所提出的模型的准确性也接近于文本无关说话人确认的最新模型
2020-08-25 cs.LG cs.SD eess.AS
Deep Speaker Feature Learning for Text-independent Speaker Verification
Tsinghua University（清华大学）
最近，深度神经网络（DNN）已被用于学习说话者特征。然而，学习到的特征的质量不够好，因此必须使用复杂的后端模型，无论是神经模型还是概率模型，来解决应用于说话人验证时的残余不确定性，就像原始特征一样。提出了一种用于说话人特征学习的卷积时延深度神经网络结构（CT-DNN）。我们在Fisher数据库上的实验结果表明，这种CT-DNN可以产生高质量的说话人特征：即使只有一个特征（包括上下文在内的0.3秒），EER也可以低至7.68%。这有效地证实了说话人特征在很大程度上是确定性的短时属性，而不是长时间的分布模式，因此可以从几十帧中提取。
2017-05-10 cs.CL cs.LG cs.SD
Segment Aggregation for short utterances speaker verification using raw waveforms
University of Seoul（首尔市立大学）
说话人确认系统的研究大多集中在长时长的话语，这是由足够的语音信息。然而，已知这些系统的性能在短持续时间的话语被输入时由于与长话语相比缺乏语音信息而降低。在本文中，我们提出了一种方法，弥补短话语的说话人确认的性能下降，称为“段聚合”。该方法采用基于集合的设计，以提高说话人确认系统的稳定性和准确性。该方法将输入语音分割成若干个短语音，然后将从分割后的语音中提取的语音段嵌入进行聚合，构成说话人嵌入。然后，该方法同时训练分段嵌入和聚合说话人嵌入。此外，我们还针对所提出的方法对师生学习法进行了修改。在VoxCeleb1测试集上进行的不同输入时长的实验结果表明，与1秒测试语音条件下的基线系统相比，该方法提高了说话人确认性能约45.37%。
2020-08-04 cs.LG cs.SD eess.AS
Analysis of Speech Temporal Dynamics in the Context of Speaker Verification and Voice Anonymization
Université de Lorraine, CNRS, Inria Loria（卢瓦尔大学、法国国家科学研究中心、Inria Loria）；Université de Lille, CNRS, Inria Centrale Lille, UMR 9189 - CRIStAL Lille（里尔大学、法国国家科学研究中心、Inria Centrale Lille、UMR 9189 - CRIStAL Lille）
本文研究语音时间动态对说话人验证和匿名化的影响，提出基于音素时长的度量方法，证明音素时长泄露说话人身份，强调匿名化需修改语速和音素时长特征。
2024-12-22 cs.CL cs.SD eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah（沙迦大学）
本文致力于引入、执行和评估一个三阶段的说话人确认框架，以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段：性别识别阶段，其次是情感识别阶段，其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估：我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明，基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认，只有情感线索，既没有性别线索，也没有情感线索。所实现的平均说话人确认性能的基础上，建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Adversarial Speaker Verification
Microsoft Corporation（微软公司）
使用深度网络来提取用于说话人识别的嵌入已被成功证明。然而，由于训练、注册和测试条件之间的不匹配，这样的嵌入容易受到性能下降的影响。在这项工作中，我们提出了一个对抗性说话人验证（ASV）计划，通过对抗性多任务训练来学习条件不变的深度嵌入。在ASV中，说话人分类网络和条件识别网络被联合优化，以最小化说话人分类损失，同时最小-最大化条件损失。条件网络的目标标签可以是分类的（环境类型）和连续的（SNR值）。我们进一步提出了多因子ASV，同时抑制构成条件变异性的多个因素。在Microsoft Cortana文本相关说话人验证任务上进行评估，ASV在已知和未知条件下的相等出错率（EER）分别实现了8.8%和14.5%的相对改善。
2019-04-29 cs.CL cs.LG cs.SD
An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文提出了一个端到端的文本无关的说话人确认框架，联合考虑说话人嵌入（SE）网络和自动语音识别（ASR）网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量，而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时，我们同时考虑了ASR网络的三重损失最小化和对抗梯度，以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下，同一说话人的嵌入向量之间的距离最小，而不同说话人的嵌入向量之间的距离最大。此外，利用ASR网络的对抗梯度，可以减少说话人嵌入向量的文本依赖性。在实验中，我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估，评估结果表明，与其他方法相比，我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
Multiobjective Optimization Training of PLDA for Speaker Verification
Tsinghua University（清华大学）
目前大多数与文本无关的说话人确认系统采用概率线性判别分析（PLDA）作为其后端分类器。PLDA的参数估计通常采用最大化目标函数的方法，这种方法侧重于增加对数似然函数的值，而忽略了说话人之间的区别。为了更好地区分说话人，我们提出了一个多目标优化训练PLDA。实验结果表明，该方法在NIST SRE 14 i-vector挑战数据集上的EER和MinDCF性能相对提高了10%以上，在MCE 18数据集上的EER性能相对提高了20%左右.
2018-11-11 cs.LG cs.SD eess.AS
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数（特征）来完成的，这些参数（特征）可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征（MFCC），而另一些系统使用基于隐马尔可夫模型（HMM）的说话人识别、支持向量机（SVM）、GARCH。在本文中，简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时，性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时，观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库，已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
Leveraging speaker attribute information using multi task learning for speaker verification and diarization
University of Edinburgh（爱丁堡大学）
深度说话人嵌入已经成为说话人识别任务中编码说话人身份的主要方法。理想情况下，嵌入空间应该捕获所有可能的扬声器之间的变化，对构成扬声器身份的多个声学方面进行编码，同时对非扬声器声学变化具有鲁棒性。深度说话人嵌入通常是有区别地训练的，在训练数据上预测说话人身份标签。我们假设，另外预测与说话者相关的辅助变量--如年龄和国籍--可能会产生更好地概括看不见的说话者的表示。我们提出了一个框架，利用辅助标签信息，即使它只适用于语音语料库不匹配的目标应用程序。在美国最高法院录音的测试集上，我们表明，通过利用分别来自匹配的训练数据和VoxCeleb语料库的两种额外形式的扬声器属性信息，我们提高了我们的深度扬声器嵌入的性能，用于验证和日志化任务，与仅使用扬声器标签的基线相比，DER和EER分别提高了26.2%和6.7%。尽管辅助标签已经从卷材上刮下并且潜在地有噪声，但是仍然获得了这种改进。
2021-04-23 cs.LG cs.SD eess.AS
Text-Independent Speaker Verification Based on Deep Neural Networks and Segmental Dynamic Time Warping
Microsoft Advanced Technology Lab（微软高级技术实验室）；Microsoft Corporation（微软公司）
在本文中，我们提出了一种新的方法，文本无关的说话人确认，结合分段动态时间规整（SDTW）和d-向量的方法。d向量，从训练以区分说话者的前馈深度神经网络生成，作为特征来执行对齐，从而计算注册和测试话语之间的总体距离。我们提出了NIST 2008数据集上的说话人验证结果，其中所提出的方法优于传统的i向量基线PLDA分数，并优于d-矢量方法与基于余弦和PLDA分数的局部距离。此外，与i-vector/PLDA基线的评分组合导致两种方法的显著增益。
2018-06-26 cs.CL cs.SD eess.AS
Robust End-to-End Speaker Verification Using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们证明了说话人确认系统的性能可以通过级联脑电（EEG）信号特征与语音信号特征或仅使用EEG信号特征来提高。我们使用最先进的端到端深度学习模型来执行说话人验证，并展示了我们对嘈杂语音的结果。我们的研究结果表明，脑电信号可以提高说话人确认系统的鲁棒性，特别是在噪声环境中。
2020-06-10 cs.LG cs.SD eess.AS
Self-Adaptive Soft Voice Activity Detection using Deep Neural Networks for Robust Speaker Verification
KAIST（韩国科学技术院）
语音激活检测（VAD）是包括说话人确认在内的许多语音应用中的一个重要模块，它将语音帧分为语音帧和非语音帧。在本文中，我们提出了一种新的方法，称为自适应软VAD，将基于深度神经网络（DNN）的VAD纳入深度说话人嵌入系统。所提出的方法是以下两种方法的组合。第一种方法是软VAD，其对从说话人特征提取器提取的帧级特征执行软选择。帧级特征通过从基于DNN的VAD估计的其对应的语音后验子加权，然后聚合以生成说话人嵌入。第二种方法是自适应VAD，它对说话人验证数据进行预训练以减少域失配。在这里，我们介绍了两种无监督域自适应（DA）方案，即基于语音后验的DA（SP-DA）和基于联合学习的DA（JL-DA）。在韩语语音库上的实验表明，自适应软VAD算法在真实环境中的验证性能得到了显著提高。
2019-09-26 cs.CL cs.LG cs.SD
Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification
West Virginia University（西弗吉尼亚大学）
本文提出了一种新的跨设备文本无关说话人确认架构。大多数用于说话人验证任务的最先进的深度架构都考虑Mel频率倒谱系数。相比之下，我们提出的Siamese卷积神经网络架构使用Mel频率谱图系数来受益于相邻谱时间特征的依赖性。此外，虽然频谱-时间特征已被证明是非常可靠的说话人确认模型，他们只代表说话人的声音的短期声学水平特性的一些方面。然而，人类的声音包括几个语言层次，如声学，词汇，韵律和语音，可以利用在说话人确认模型。为了弥补频谱-时间特征中的这些固有缺点，我们建议通过部署多层感知器网络来增强所提出的Siamese卷积神经网络架构，以结合韵律，抖动和闪烁特征。所提出的端到端验证架构同时执行特征提取和验证。与传统的信号处理方法和深度算法相比，该架构在跨设备说话人确认方面有了显著的改进。
2018-07-31 cs.CV cs.LG cs.SD
Speaker Verification using Convolutional Neural Networks
NYU Tandon School of Engineering（纽约大学坦登工程学院）
在本文中，一种新的卷积神经网络架构已被开发用于说话人确认，以同时捕获和丢弃说话人和非说话人信息，分别。在训练阶段，训练网络以区分不同的说话人身份，以创建背景模型。其中一个关键部分是创建扬声器模型。大多数先前的方法基于对背景模型提供的说话者表示进行平均来创建说话者模型。我们通过使用Siamese框架进一步微调训练模型来推翻这个问题，以生成一个有区别的特征空间来区分相同和不同的说话者，而不管他们的身份如何。这提供了一种同时捕获说话者相关信息并创建对说话者内变化的鲁棒性的机制。实验结果表明，该方法优于传统的直接从背景模型建立说话人模型的验证方法。
2018-08-10 cs.SD eess.AS
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University（首尔国立大学）
在本文中，我们提出了自我监督的说话人表示学习策略，其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段，我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段，通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入，这不仅提供了说话人表示，而且还提供了数据的不确定性。实验结果表明，所提出的自举均衡训练策略能够有效地帮助学习说话人表征，并且优于传统的基于对比学习的方法。此外，我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
Improving Multi-Scale Aggregation Using Feature Pyramid Module for Robust Speaker Verification of Variable-Duration Utterances
KAIST（韩国科学技术院）
目前，最广泛使用的说话人验证方法是深度说话人嵌入学习。在这种方法中，我们通过池化从说话人特征提取器的最后一层提取的单尺度特征来获得说话人嵌入向量。多尺度聚合（MSA），它利用多尺度的特征提取器的不同层的功能，最近被引入，并显示出优越的性能为可变持续时间的话语。为了提高对任意时长语音的鲁棒性，本文通过引入特征金字塔模块对MSA进行了改进。该模块通过自上而下的路径和横向连接增强了多个层的特征的说话人区分信息。我们提取说话人嵌入使用的增强功能，包含丰富的说话人信息与不同的时间尺度。在VoxCeleb数据集上的实验表明，该模块以较少的参数改进了以往的MSA方法。它还实现了更好的性能比国家的最先进的方法为短和长的话语。
2020-08-06 cs.CL cs.LG cs.SD
Deep Speaker Embedding Learning with Multi-Level Pooling for Text-Independent Speaker Verification
JD AI Research（京东人工智能研究院）
本文旨在改进广泛使用的深度说话人嵌入x向量模型。我们提出了以下改进：（1）使用时间延迟神经网络（TDNN）和长短期记忆神经网络（LSTM）的混合神经网络结构，在不同的层次上产生互补的说话人信息;（2）多层次池化策略，从TDNN和LSTM层收集说话人信息;（3）在说话人嵌入提取层上的正则化方案，以使所提取的嵌入适合于随后的融合步骤。NIST SRE 2016 eval测试（EER降低19%）和SRE 2018 dev测试（EER降低9%）显示了这些改进的协同作用，以及这两个测试集在x向量基线上的DCF分数降低超过10%。
2019-02-21 cs.CL cs.SD eess.AS
Differentiable Supervector Extraction for Encoding Speaker and Phrase Information in Text Dependent Speaker Verification
University of Zaragoza（萨拉戈萨大学）
在本文中，我们提出了一个新的可微神经网络对齐机制，文本相关的说话人确认，使用对齐模型，以产生一个超向量表示的话语。与以前的作品类似的方法，我们不提取嵌入的话语的时间维度的平均减少。我们的系统用短语对齐模型代替均值，以保持每个短语的时间结构，因为语音信息是验证任务中身份的一部分。此外，我们可以应用卷积神经网络作为前端，并且由于对齐过程是可区分的，我们可以训练整个网络来为每个话语产生一个超向量，该超向量将同时区分说话者和短语。正如我们所示，这种选择的优点是，超向量编码的短语和说话人信息提供良好的性能，在文本相关的说话人验证任务。在这项工作中，验证的过程是使用一个基本的相似性度量，由于简单，相比其他更复杂的模型，通常使用。使用对齐来产生超向量的新模型在RSR 2015-Part I数据库上进行了测试，用于文本相关的说话人验证，与使用均值提取嵌入的类似规模的网络相比，提供了具有竞争力的结果。
2018-12-22 cs.LG cs.SD eess.AS
Spatial Pyramid Encoding with Convex Length Normalization for Text-Independent Speaker Verification
KAIST（韩国科学技术院）；LG Electronics（LG电子）
在本文中，我们提出了一种新的池化方法称为空间金字塔编码（SPE）生成说话人嵌入文本无关的说话人确认。我们首先将深度残差网络（ResNet）的输出特征映射划分为越来越细的子区域，并通过可学习的字典编码层从每个子区域提取说话人嵌入。这些嵌入被连接以获得最终的说话者表示。SPE层不仅为可变长度的语音段生成固定维的说话人嵌入，而且还从多层次的时间块中聚合特征分布信息。此外，我们通过用环损失来增加损失函数来应用深度长度归一化。通过应用环损失，网络逐渐学会使用模型权重本身来规范化说话人嵌入，同时保持凸性，从而产生更鲁棒的说话人嵌入。在VoxCeleb1数据集上的实验表明，使用SPE层和基于环丢失的深度长度归一化的系统优于i向量和d向量基线。
2019-06-19 cs.CL cs.LG cs.SD
Cross-lingual Text-independent Speaker Verification using Unsupervised Adversarial Discriminative Domain Adaptation
UT-Dallas（德克萨斯大学达拉斯分校）；JD AI Research（京东人工智能研究院）
当训练数据和测试数据之间存在语言不匹配时，说话人确认系统通常会显着降低。利用未标注数据改进跨语言说话人确认系统，可以大大提高系统的鲁棒性，降低人工标注成本。在这项研究中，我们引入了一种无监督的对抗性判别域自适应（ADDA）方法来有效地学习一个非对称映射，该映射将目标域编码器适应到源域，其中目标域和源域是来自不同语言的语音数据。ADDA与流行的领域对抗训练（DAT）方法一起在跨语言说话人确认任务上进行评估：训练数据来自NIST SRE 04 -08，Mixer 6和Switchboard的英语，测试数据来自AISHELL-I的中文。结果表明，在ADDA自适应下，x向量系统的等误率（EER）从9.331%下降到7.645%，相对于DAT降低了18.07%，降低了6.32%.对ADDA自适应说话人嵌入的进一步数据分析表明，学习的说话人嵌入可以很好地对目标域数据进行说话人分类，并且对语言转换的依赖性较小。
2019-08-05 cs.LG cs.SD eess.AS
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入，图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程，辅助说话者的信息参与确定输入话语之间的关系，从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器，在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明，将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Improving on-device speaker verification using federated learning with privacy
Apple（苹果公司）
关于说话人特征的信息可以作为辅助信息用于提高说话人识别准确度。然而，这些信息往往是私人的。本文研究如何隐私保护学习可以提高说话人确认系统，使使用隐私敏感的说话人数据训练一个辅助分类模型，预测说话人的声音特征。特别是，本文探讨了不同的联邦学习和差分隐私机制相结合的方法所实现的效用。这些方法使得在保护用户隐私的同时训练中心模型成为可能，用户的数据保留在他们的设备上。此外，它们使学习大量说话者成为可能，确保在训练模型时良好地覆盖说话者特征。这里描述的辅助模型使用从触发说话人验证系统的短语中提取的特征。从这些功能，该模型预测扬声器特性标签被认为是有用的边信息。辅助模型的知识被提取到说话人确认系统中，使用多任务学习，由该辅助模型预测的边信息标签是额外的任务。这种方法的结果是在一个6%的相对改善等误差率超过基线系统。
2020-08-06 cs.LG cs.SD eess.AS
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland（三星研发院波兰分院）；AGH University of Krakow（波兰克拉科夫AGH大学）
针对说话人验证中对比学习的难负样本利用问题，提出CHNS聚类式难负样本采样方法，通过聚类相似说话人嵌入并优化批次难易负样本比例，在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%，优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology（东京工业大学）
基于i向量的文本无关说话人确认（SV）系统在短话语下通常具有较差的性能，因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络（GAN）的i向量补偿方法，其中生成器网络被训练为从短话语i向量生成补偿的i向量，而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外，我们还为GAN分配了另外两个学习任务，以稳定其训练，并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明，该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
Large Margin Softmax Loss for Speaker Verification
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）
在基于神经网络的说话人确认中，说话人嵌入需要在说话人之间具有区分性，同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中，我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则，进一步提高了算法的性能。在VoxCeleb上的实验结果表明，我们的最佳系统在EER上比基线方法高出15%，在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
Graph Attention Networks for Speaker Verification
University of Seoul（首尔大学）；Naver Corporation（NAVER公司）
这项工作提出了一种新的后端框架使用图注意力网络的说话人确认。从话语内的多个作物中提取的分段式说话人嵌入被解释为图的节点表示。建议的框架输入段明智的发言人嵌入从注册和测试话语，并直接输出的相似性得分。我们首先使用分段说话人嵌入构建一个图，然后将其输入到图注意力网络。在具有残余连接的几个图形注意层之后，使用仿射变换将每个节点投影到一维空间中，然后进行读出操作，从而产生标量相似性得分。为了使成功的适应说话人验证，我们提出的技术，如分离可训练的权重之间的分段扬声器嵌入从不同的话语的注意力图计算。该框架的有效性进行了验证，使用三个不同的说话人嵌入提取训练与不同的架构和目标函数。实验结果表明，各种基线后端分类器的一致改进，平均相等错误率提高了20%，超过余弦相似性后端没有测试时间增加。
2021-02-08 cs.CL cs.SD eess.AS
Robust Channel Learning for Large-Scale Radio Speaker Verification
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；University of Copenhagen（哥本哈根大学）；National Institute of Information and Communications Technology（日本信息通信研究机构）
本文提出CRSL框架，通过带宽增强、流形空间噪声注入和高效微调，结合大规模无线电语音语料库与基准，提升无线电场景下说话人验证的鲁棒性。
2024-06-16 cs.LG cs.SD eess.AS
VAE-based Domain Adaptation for Speaker Verification
Center for Speech and Language Technologies, Tsinghua University（清华大学语音与语言技术中心）；China University of Mining & Technology, Beijing（中国矿业大学（北京））
深度说话人嵌入在说话人确认中取得了令人满意的性能。通过执行神经模型来区分训练集中的说话者，可以从隐藏层中导出深层说话者嵌入（称为“x向量”）。尽管其良好的性能，本嵌入模型是高度域敏感的，这意味着它通常在其声学条件匹配的训练数据（域内）的域中工作得很好，但在不匹配的域（域外）中降级。本文提出了一种基于变分自动编码器（VAE）的域自适应方法。该模型将x向量转换为正则化的潜在空间;在该潜在空间内，来自目标域的少量数据足以完成自适应。我们的实验表明，通过这种VAE自适应方法，说话人嵌入可以很容易地转换到目标域，导致显着的性能改善。
2019-08-27 cs.LG cs.SD eess.AS
A discriminative condition-aware backend for speaker verification
SRI International（斯坦福国际研究院）；Sandia National Laboratories（桑迪亚国家实验室）
我们提出了一个评分的说话人验证方法，模仿标准的基于PLDA的后端过程中使用的大多数当前的说话人验证系统。然而，与标准后端不同的是，模型的所有参数都是联合训练的，以优化说话人验证任务的二进制交叉熵。我们进一步将校准阶段集成到模型中，使该阶段的参数取决于表示信号条件的元数据向量。我们表明，所提出的后端在我们的大多数测试集上具有出色的开箱即用的校准性能，这使得它成为测试条件未知且开发数据不可用于训练特定于域的校准模型的情况下的理想方法。
2019-11-26 cs.LG cs.SD eess.AS
Adaptive Margin Circle Loss for Speaker Verification
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, China（中国科学院声学研究所语音声学与内容理解重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Guangdong Provincial Public Security Department（广东省公安厅）
基于深度神经网络（DNN）的说话人确认系统使用带边缘惩罚的角度softmax损失来增强说话人嵌入的类内紧凑性，取得了显著的性能。本文提出了一种新的角度损失函数--自适应边缘圆损失函数，用于说话人确认。在训练集上采用基于阶段的间隔和基于块的间隔来改善圆丢失的角度区分。对梯度的分析表明，与之前的角损失算法如Additive Margin Softmax（Am-Softmax）相比，圆损失算法具有灵活的优化方式和明确的收敛状态。在Voxceleb和SITW上进行了实验。采用自适应容限环损后，最佳系统在Voxceleb 1上的EER为1.31%，在SITW芯-芯上的EER为2.13%。
2021-06-15 cs.CL cs.SD eess.AS
Channel adversarial training for speaker verification and diarization
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语言技术研究中心）
以前的工作通过对生成的特征所属的数据集或标记环境进行逆向分类来鼓励深度说话人嵌入中的域不变性。我们提出了一种训练策略，旨在产生在记录或通道的粒度上不变的特征，这是一个比数据集或环境不变性更细粒度的目标。通过训练对手预测是否对相同的扬声器嵌入属于相同的录音在连体的方式，学习的功能是不鼓励利用信道信息，可能是扬声器的区别在训练过程中。在VoxCeleb上进行的验证实验以及在CALLHOME上进行的日志化和验证实验显示，除了优于竞争对手模型之外，在强大的基线上也有很好的改进。VoxCeleb模型尤其表现良好，在Kaldi基线上实现了EER的$4\%$相对改善，同时使用了类似的架构和更少的训练数据。
2019-10-25 cs.LG cs.SD eess.AS
Backdoor Attack against Speaker Verification
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Peng Cheng Laboratory（鹏城实验室）
说话人确认已被广泛和成功地采用在许多关键任务领域的用户识别。说话人确认的训练需要大量的数据，因此用户通常需要采用第三方数据（$e.g.$，来自互联网或第三方数据公司的数据）。这就提出了一个问题，即采用不受信任的第三方数据是否会构成安全威胁。在本文中，我们证明了通过中毒训练数据来注入隐藏后门以感染说话人验证模型是可能的。具体来说，我们设计了一个基于聚类的攻击方案，中毒样本从不同的集群将包含不同的触发器（$i.e.$，预定义的话语），根据我们的理解验证任务。受感染的模型在良性样本上表现正常，而攻击者指定的未注册触发器将成功通过验证，即使攻击者没有关于注册扬声器的信息。我们还表明，现有的后门攻击不能直接采用攻击说话人验证。我们的方法不仅提供了一个新的角度来设计新颖的攻击，但也作为一个强大的基线，提高验证方法的鲁棒性。用于再现主要结果的代码可在\url{https://github.com/zhaitongqing233/Backdoor-attack-against-speaker-verification}上获得。
2021-02-03 cs.CR cs.LG cs.SD
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science；Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中，我们提出了VoiceID损失，一个新的损失函数训练的语音增强模型，以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数（例如L2损失）相比，VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图，以过滤掉用于说话人验证的不必要分量。在实验中，我们观察到增强网络在使用VoiceID丢失进行训练后，能够忽略大量的时频点，例如那些由噪声主导的时频点，以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
CoLMbo-SV: A Grounded Language Model for Explainable Speaker Verification
CoLMbo-SV通过将预训练说话人编码器与语言模型结合，并引入VoxReason数据集和评估框架，在VoxCeleb1-O上实现0.99%等错误率，提供可检查的声学比较报告，显著提升可解释说话人验证的准确性与解释质量。
2026-10-05 cs.CL cs.SD eess.AS
Gaussian-Constrained training for speaker verification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
神经模型，特别是d-向量和x-向量架构，在许多说话人确认任务中产生了最先进的性能。然而，这些神经模型的两个潜在问题值得更多研究。首先，这两个模型都遭受“信息泄漏”，这意味着参与模型训练的一些参数将在推理过程中被丢弃，即用作分类器的层。其次，这些模型不调节导出的说话人向量的分布。这种“无约束分布”可能降低后续评分组件的性能，PLDA。本文提出了一种高斯约束的训练方法，该方法（1）丢弃参数分类器，（2）强制导出的说话人向量的分布为高斯分布。我们在VoxCeleb和SITW数据库上的实验表明，这种新的训练方法产生了更具代表性和规则的说话人嵌入，从而导致了一致的性能改善。
2019-02-17 cs.CL cs.SD eess.AS
Text-dependent Speaker Verification (TdSV) Challenge 2024: Challenge Evaluation Plan
本文档介绍了文本相关说话人验证（TdSV）挑战赛2024，旨在激励参与者开发单一且具竞争力的系统，并探索多任务学习、自监督学习及少样本学习等创新概念以解决文本相关说话人验证问题。
2024-04-20 cs.AI cs.SD eess.AS
Tackling Spoofing-Aware Speaker Verification with Multi-Model Fusion
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
近年来，说话人自动确认技术得到了飞速的发展。然而，以往的研究表明，最先进的ASV模型是严重脆弱的语音欺骗攻击，最近提出的高性能欺骗对策（CM）模型只专注于独立的反欺骗任务，并忽略了后续的说话人验证过程。如何将CM和ASV集成在一起仍然是一个悬而未决的问题。一个欺骗感知说话人验证（SASV）的挑战，最近发生的论点，更好的性能可以提供时，CM和ASV子系统的联合优化。在挑战的场景下，参与者提出的集成系统需要拒绝冒名顶替者扬声器和来自目标扬声器的欺骗攻击，这直观有效地匹配了可靠的，欺骗鲁棒的ASV系统的期望。这项工作的重点是基于融合的SASV解决方案，并提出了一个多模型融合框架，利用多个国家的最先进的ASV和CM模型的力量。所提出的框架大大提高了SASV-EER从8.75%到1.17%，这是86%的相对改善相比，在SASV挑战的最佳基线系统。
2022-06-18 cs.LG cs.SD eess.AS
Dual-label Deep LSTM Dereverberation For Speaker Verification
Binghamton University（宾汉姆顿大学）；Sony Interactive Entertainment Inc（索尼互动娱乐公司）
在本文中，我们提出了一种用于说话人验证的混响消除方法，利用双标签深度神经网络（DNN）。该网络执行混响和干净语音的频谱特征之间的特征映射。训练长短期记忆递归神经网络（LSTM）以将损坏的Mel滤波器组（MFB）特征映射到两组标签：i）干净的MFB特征，以及ii）干净语音的估计音高轨迹或快速傅里叶变换（FFT）谱图。混响消除的性能进行了评估的等错误率（EER）的扬声器确认实验。
2018-09-08 cs.LG cs.SD eess.AS
Three-Stage Speaker Verification Architecture in Emotional Talking Environments
University of Sharjah（沙迦大学）
说话人确认在中性说话环境中的性能通常较高，而在情绪化说话环境中性能急剧下降。情绪环境中的这种性能下降是由于在中性环境中训练与在情绪环境中测试之间的不匹配问题。在这项工作中，一个三阶段的说话人确认架构已被提出，以提高说话人确认性能在情感环境中。该架构由三个级联阶段组成：性别识别阶段，然后是情感识别阶段，然后是说话人验证阶段。所提出的框架已评估两个不同的和独立的情感语音数据集：内部数据集和情感韵律语音和成绩单数据集。实验结果表明，基于性别信息和情感信息的说话人确认优于仅基于性别信息、仅基于情感信息、不基于性别信息和情感信息的说话人确认。所获得的平均说话人确认性能的基础上，建议的框架是非常相似的主观评价人类听众。
2018-09-03 cs.AI cs.SD eess.AS
Parameter-Free Attentive Scoring for Speaker Verification
Google LLC（谷歌有限责任公司）
本文提出了一种新的无参数注意评分的说话人确认研究。无参数评分提供了比较说话人表示的灵活性，而不需要伴随的参数评分模型。受Transformer神经网络中的注意力组件的启发，我们提出了一种缩放点积注意力机制的变体来比较注册和测试段表示。此外，这项工作还探讨了（i）不同类型的规范化、（ii）独立与绑定查询/键估计、（iii）改变键-值对的数量以及（iv）池化多个注册话语统计数据对性能的影响。实验结果表明，一个简单的无参数注意评分机制可以提高平均EER的10%以上的最佳余弦相似性基线。
2023-03-06 cs.CL cs.SD eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最先进的说话人验证模型基于深度学习技术，这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索（NAS）的思想，文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构，我们将NAS概念引入到著名的x向量网络中。此外，本文提出了一种进化算法增强的神经结构搜索方法，称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明，我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
Label-Efficient Self-Supervised Speaker Verification With Information Maximization and Contrastive Learning
Language Recognition Group (ESLR), Laboratoire de Recherche de l'EPITA, France
本研究提出一种结合信息最大化与对比学习的自监督方法，从原始音频学习说话人嵌入，在少量标记数据微调下超越监督基线。
2022-07-12 cs.LG cs.SD eess.AS
Sparse Architectures for Text-Independent Speaker Verification Using Deep Neural Networks
Boise State University（博伊西州立大学）；FANAP Telecom（FANAP电信）
网络修剪是非常重要的，因为它消除了由于网络过度参数化而激活的不重要的权重或特征。稀疏性增强的优点包括防止过拟合和加速。考虑到深度架构中的大量参数，由于需要大量的计算能力，网络压缩变得至关重要。在这项工作中，我们施加结构稀疏的扬声器验证，这是验证的查询扬声器相比，扬声器库。我们将证明，由于网络中可能的初始过拟合，仅仅稀疏性强制可以改善验证结果。
2018-08-09 cs.SD eess.AS
Pairwise Discriminative Neural PLDA for Speaker Verification
Indian Institute of Science（印度科学学院）
说话人验证的最新方法涉及提取判别嵌入，如x向量，然后使用概率线性判别分析（PLDA）生成模型后端。在本文中，我们提出了一个成对的神经判别模型的说话人验证的任务上的一对说话人嵌入，如x-向量/i-向量，并输出一个分数，可以被认为是一个缩放的对数似然比。我们构造了一个可微的代价函数，它近似于说话人确认损失，即最小检测代价。线性判别分析（LDA）、单位长度归一化和类内协方差归一化的预处理步骤都被建模为神经模型的层，并且说话人验证代价函数可以在训练期间通过这些层反向传播。我们还探索了正则化技术来防止过拟合，这是使用判别式后端模型进行验证任务的主要问题。实验在NIST SRE 2018开发和评估数据集上进行。我们观察到，在PLDA基线系统上，CMN 2条件下的平均相对改善为8%，VAST条件下的平均相对改善为30%。
2020-02-07 cs.LG cs.SD eess.AS
