Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Multiobjective Optimization Training of PLDA for Speaker Verification
Tsinghua University（清华大学）
目前大多数与文本无关的说话人确认系统采用概率线性判别分析（PLDA）作为其后端分类器。PLDA的参数估计通常采用最大化目标函数的方法，这种方法侧重于增加对数似然函数的值，而忽略了说话人之间的区别。为了更好地区分说话人，我们提出了一个多目标优化训练PLDA。实验结果表明，该方法在NIST SRE 14 i-vector挑战数据集上的EER和MinDCF性能相对提高了10%以上，在MCE 18数据集上的EER性能相对提高了20%左右.
2018-11-11 cs.LG cs.SD eess.AS
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题，提出margin-mixup训练策略，无需修改现有架构即可提升说话人嵌入鲁棒性，在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
Leveraging speaker attribute information using multi task learning for speaker verification and diarization
University of Edinburgh（爱丁堡大学）
深度说话人嵌入已经成为说话人识别任务中编码说话人身份的主要方法。理想情况下，嵌入空间应该捕获所有可能的扬声器之间的变化，对构成扬声器身份的多个声学方面进行编码，同时对非扬声器声学变化具有鲁棒性。深度说话人嵌入通常是有区别地训练的，在训练数据上预测说话人身份标签。我们假设，另外预测与说话者相关的辅助变量--如年龄和国籍--可能会产生更好地概括看不见的说话者的表示。我们提出了一个框架，利用辅助标签信息，即使它只适用于语音语料库不匹配的目标应用程序。在美国最高法院录音的测试集上，我们表明，通过利用分别来自匹配的训练数据和VoxCeleb语料库的两种额外形式的扬声器属性信息，我们提高了我们的深度扬声器嵌入的性能，用于验证和日志化任务，与仅使用扬声器标签的基线相比，DER和EER分别提高了26.2%和6.7%。尽管辅助标签已经从卷材上刮下并且潜在地有噪声，但是仍然获得了这种改进。
2021-04-23 cs.LG cs.SD eess.AS
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了我们正在进行的对比预测编码（CPC）特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统，我们提出了我们的方法，实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识，传统的语音特征，以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah（沙迦大学）
本文致力于引入、执行和评估一个三阶段的说话人确认框架，以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段：性别识别阶段，其次是情感识别阶段，其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估：我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明，基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认，只有情感线索，既没有性别线索，也没有情感线索。所实现的平均说话人确认性能的基础上，建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数（特征）来完成的，这些参数（特征）可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征（MFCC），而另一些系统使用基于隐马尔可夫模型（HMM）的说话人识别、支持向量机（SVM）、GARCH。在本文中，简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时，性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时，观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库，已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
Cross-lingual Text-independent Speaker Verification using Unsupervised Adversarial Discriminative Domain Adaptation
UT-Dallas（德克萨斯大学达拉斯分校）；JD AI Research（京东人工智能研究院）
当训练数据和测试数据之间存在语言不匹配时，说话人确认系统通常会显着降低。利用未标注数据改进跨语言说话人确认系统，可以大大提高系统的鲁棒性，降低人工标注成本。在这项研究中，我们引入了一种无监督的对抗性判别域自适应（ADDA）方法来有效地学习一个非对称映射，该映射将目标域编码器适应到源域，其中目标域和源域是来自不同语言的语音数据。ADDA与流行的领域对抗训练（DAT）方法一起在跨语言说话人确认任务上进行评估：训练数据来自NIST SRE 04 -08，Mixer 6和Switchboard的英语，测试数据来自AISHELL-I的中文。结果表明，在ADDA自适应下，x向量系统的等误率（EER）从9.331%下降到7.645%，相对于DAT降低了18.07%，降低了6.32%.对ADDA自适应说话人嵌入的进一步数据分析表明，学习的说话人嵌入可以很好地对目标域数据进行说话人分类，并且对语言转换的依赖性较小。
2019-08-05 cs.LG cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文提出了一个端到端的文本无关的说话人确认框架，联合考虑说话人嵌入（SE）网络和自动语音识别（ASR）网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量，而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时，我们同时考虑了ASR网络的三重损失最小化和对抗梯度，以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下，同一说话人的嵌入向量之间的距离最小，而不同说话人的嵌入向量之间的距离最大。此外，利用ASR网络的对抗梯度，可以减少说话人嵌入向量的文本依赖性。在实验中，我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估，评估结果表明，与其他方法相比，我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland（三星研发院波兰分院）；AGH University of Krakow（波兰克拉科夫AGH大学）
针对说话人验证中对比学习的难负样本利用问题，提出CHNS聚类式难负样本采样方法，通过聚类相似说话人嵌入并优化批次难易负样本比例，在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%，优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology（东京工业大学）
基于i向量的文本无关说话人确认（SV）系统在短话语下通常具有较差的性能，因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络（GAN）的i向量补偿方法，其中生成器网络被训练为从短话语i向量生成补偿的i向量，而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外，我们还为GAN分配了另外两个学习任务，以稳定其训练，并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明，该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
Robust Channel Learning for Large-Scale Radio Speaker Verification
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；University of Copenhagen（哥本哈根大学）；National Institute of Information and Communications Technology（日本信息通信研究机构）
本文提出CRSL框架，通过带宽增强、流形空间噪声注入和高效微调，结合大规模无线电语音语料库与基准，提升无线电场景下说话人验证的鲁棒性。
2024-06-16 cs.LG cs.SD eess.AS
VAE-based Domain Adaptation for Speaker Verification
Center for Speech and Language Technologies, Tsinghua University（清华大学语音与语言技术中心）；China University of Mining & Technology, Beijing（中国矿业大学（北京））
深度说话人嵌入在说话人确认中取得了令人满意的性能。通过执行神经模型来区分训练集中的说话者，可以从隐藏层中导出深层说话者嵌入（称为“x向量”）。尽管其良好的性能，本嵌入模型是高度域敏感的，这意味着它通常在其声学条件匹配的训练数据（域内）的域中工作得很好，但在不匹配的域（域外）中降级。本文提出了一种基于变分自动编码器（VAE）的域自适应方法。该模型将x向量转换为正则化的潜在空间;在该潜在空间内，来自目标域的少量数据足以完成自适应。我们的实验表明，通过这种VAE自适应方法，说话人嵌入可以很容易地转换到目标域，导致显着的性能改善。
2019-08-27 cs.LG cs.SD eess.AS
Channel adversarial training for speaker verification and diarization
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语言技术研究中心）
以前的工作通过对生成的特征所属的数据集或标记环境进行逆向分类来鼓励深度说话人嵌入中的域不变性。我们提出了一种训练策略，旨在产生在记录或通道的粒度上不变的特征，这是一个比数据集或环境不变性更细粒度的目标。通过训练对手预测是否对相同的扬声器嵌入属于相同的录音在连体的方式，学习的功能是不鼓励利用信道信息，可能是扬声器的区别在训练过程中。在VoxCeleb上进行的验证实验以及在CALLHOME上进行的日志化和验证实验显示，除了优于竞争对手模型之外，在强大的基线上也有很好的改进。VoxCeleb模型尤其表现良好，在Kaldi基线上实现了EER的$4\%$相对改善，同时使用了类似的架构和更少的训练数据。
2019-10-25 cs.LG cs.SD eess.AS
Speaker Verification using Convolutional Neural Networks
NYU Tandon School of Engineering（纽约大学坦登工程学院）
在本文中，一种新的卷积神经网络架构已被开发用于说话人确认，以同时捕获和丢弃说话人和非说话人信息，分别。在训练阶段，训练网络以区分不同的说话人身份，以创建背景模型。其中一个关键部分是创建扬声器模型。大多数先前的方法基于对背景模型提供的说话者表示进行平均来创建说话者模型。我们通过使用Siamese框架进一步微调训练模型来推翻这个问题，以生成一个有区别的特征空间来区分相同和不同的说话者，而不管他们的身份如何。这提供了一种同时捕获说话者相关信息并创建对说话者内变化的鲁棒性的机制。实验结果表明，该方法优于传统的直接从背景模型建立说话人模型的验证方法。
2018-08-10 cs.SD eess.AS
Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification
West Virginia University（西弗吉尼亚大学）
本文提出了一种新的跨设备文本无关说话人确认架构。大多数用于说话人验证任务的最先进的深度架构都考虑Mel频率倒谱系数。相比之下，我们提出的Siamese卷积神经网络架构使用Mel频率谱图系数来受益于相邻谱时间特征的依赖性。此外，虽然频谱-时间特征已被证明是非常可靠的说话人确认模型，他们只代表说话人的声音的短期声学水平特性的一些方面。然而，人类的声音包括几个语言层次，如声学，词汇，韵律和语音，可以利用在说话人确认模型。为了弥补频谱-时间特征中的这些固有缺点，我们建议通过部署多层感知器网络来增强所提出的Siamese卷积神经网络架构，以结合韵律，抖动和闪烁特征。所提出的端到端验证架构同时执行特征提取和验证。与传统的信号处理方法和深度算法相比，该架构在跨设备说话人确认方面有了显著的改进。
2018-07-31 cs.CV cs.LG cs.SD
Tackling Spoofing-Aware Speaker Verification with Multi-Model Fusion
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
近年来，说话人自动确认技术得到了飞速的发展。然而，以往的研究表明，最先进的ASV模型是严重脆弱的语音欺骗攻击，最近提出的高性能欺骗对策（CM）模型只专注于独立的反欺骗任务，并忽略了后续的说话人验证过程。如何将CM和ASV集成在一起仍然是一个悬而未决的问题。一个欺骗感知说话人验证（SASV）的挑战，最近发生的论点，更好的性能可以提供时，CM和ASV子系统的联合优化。在挑战的场景下，参与者提出的集成系统需要拒绝冒名顶替者扬声器和来自目标扬声器的欺骗攻击，这直观有效地匹配了可靠的，欺骗鲁棒的ASV系统的期望。这项工作的重点是基于融合的SASV解决方案，并提出了一个多模型融合框架，利用多个国家的最先进的ASV和CM模型的力量。所提出的框架大大提高了SASV-EER从8.75%到1.17%，这是86%的相对改善相比，在SASV挑战的最佳基线系统。
2022-06-18 cs.LG cs.SD eess.AS
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University（首尔国立大学）
在本文中，我们提出了自我监督的说话人表示学习策略，其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段，我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段，通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入，这不仅提供了说话人表示，而且还提供了数据的不确定性。实验结果表明，所提出的自举均衡训练策略能够有效地帮助学习说话人表征，并且优于传统的基于对比学习的方法。此外，我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入，图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程，辅助说话者的信息参与确定输入话语之间的关系，从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器，在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明，将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Label-Efficient Self-Supervised Speaker Verification With Information Maximization and Contrastive Learning
Language Recognition Group (ESLR), Laboratoire de Recherche de l'EPITA, France
本研究提出一种结合信息最大化与对比学习的自监督方法，从原始音频学习说话人嵌入，在少量标记数据微调下超越监督基线。
2022-07-12 cs.LG cs.SD eess.AS
Large Margin Softmax Loss for Speaker Verification
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）
在基于神经网络的说话人确认中，说话人嵌入需要在说话人之间具有区分性，同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中，我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则，进一步提高了算法的性能。在VoxCeleb上的实验结果表明，我们的最佳系统在EER上比基线方法高出15%，在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
Differentiable Supervector Extraction for Encoding Speaker and Phrase Information in Text Dependent Speaker Verification
University of Zaragoza（萨拉戈萨大学）
在本文中，我们提出了一个新的可微神经网络对齐机制，文本相关的说话人确认，使用对齐模型，以产生一个超向量表示的话语。与以前的作品类似的方法，我们不提取嵌入的话语的时间维度的平均减少。我们的系统用短语对齐模型代替均值，以保持每个短语的时间结构，因为语音信息是验证任务中身份的一部分。此外，我们可以应用卷积神经网络作为前端，并且由于对齐过程是可区分的，我们可以训练整个网络来为每个话语产生一个超向量，该超向量将同时区分说话者和短语。正如我们所示，这种选择的优点是，超向量编码的短语和说话人信息提供良好的性能，在文本相关的说话人验证任务。在这项工作中，验证的过程是使用一个基本的相似性度量，由于简单，相比其他更复杂的模型，通常使用。使用对齐来产生超向量的新模型在RSR 2015-Part I数据库上进行了测试，用于文本相关的说话人验证，与使用均值提取嵌入的类似规模的网络相比，提供了具有竞争力的结果。
2018-12-22 cs.LG cs.SD eess.AS
Improving on-device speaker verification using federated learning with privacy
Apple（苹果公司）
关于说话人特征的信息可以作为辅助信息用于提高说话人识别准确度。然而，这些信息往往是私人的。本文研究如何隐私保护学习可以提高说话人确认系统，使使用隐私敏感的说话人数据训练一个辅助分类模型，预测说话人的声音特征。特别是，本文探讨了不同的联邦学习和差分隐私机制相结合的方法所实现的效用。这些方法使得在保护用户隐私的同时训练中心模型成为可能，用户的数据保留在他们的设备上。此外，它们使学习大量说话者成为可能，确保在训练模型时良好地覆盖说话者特征。这里描述的辅助模型使用从触发说话人验证系统的短语中提取的特征。从这些功能，该模型预测扬声器特性标签被认为是有用的边信息。辅助模型的知识被提取到说话人确认系统中，使用多任务学习，由该辅助模型预测的边信息标签是额外的任务。这种方法的结果是在一个6%的相对改善等误差率超过基线系统。
2020-08-06 cs.LG cs.SD eess.AS
Robust End-to-End Speaker Verification Using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们证明了说话人确认系统的性能可以通过级联脑电（EEG）信号特征与语音信号特征或仅使用EEG信号特征来提高。我们使用最先进的端到端深度学习模型来执行说话人验证，并展示了我们对嘈杂语音的结果。我们的研究结果表明，脑电信号可以提高说话人确认系统的鲁棒性，特别是在噪声环境中。
2020-06-10 cs.LG cs.SD eess.AS
A discriminative condition-aware backend for speaker verification
SRI International（斯坦福国际研究院）；Sandia National Laboratories（桑迪亚国家实验室）
我们提出了一个评分的说话人验证方法，模仿标准的基于PLDA的后端过程中使用的大多数当前的说话人验证系统。然而，与标准后端不同的是，模型的所有参数都是联合训练的，以优化说话人验证任务的二进制交叉熵。我们进一步将校准阶段集成到模型中，使该阶段的参数取决于表示信号条件的元数据向量。我们表明，所提出的后端在我们的大多数测试集上具有出色的开箱即用的校准性能，这使得它成为测试条件未知且开发数据不可用于训练特定于域的校准模型的情况下的理想方法。
2019-11-26 cs.LG cs.SD eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science；Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中，我们提出了VoiceID损失，一个新的损失函数训练的语音增强模型，以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数（例如L2损失）相比，VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图，以过滤掉用于说话人验证的不必要分量。在实验中，我们观察到增强网络在使用VoiceID丢失进行训练后，能够忽略大量的时频点，例如那些由噪声主导的时频点，以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map
Korea Advanced Institute of Science and Technology（韩国科学技术院）
为了在与文本无关的说话人确认中提取准确的说话人信息，提出了一种基于时间窗自适应核函数的时域动态神经网络（TDY-CNN）。然而TDY-CNN的模型尺寸太大，自适应核的自由度有限。为了解决这些限制，我们提出了分解的时间动态CNN（DTDY-CNN），它通过将静态内核与基于矩阵分解的动态残差相结合来形成时间自适应内核。使用无数据增强的精心统计合并的拟议DTDY-ResNet-34（x0.50）显示EER为0.96%，优于其他最先进的方法。DTDY-CNN是TDY-CNN的成功升级，将模型大小减少了64%，并提高了性能。我们发现，与TDY-CNN相比，DTDY-CNN也提取了更准确的帧级说话人嵌入。使用由用于说话人确认的改进的梯度加权类激活映射（Grad-CAM）产生的说话人激活映射（SAM）来分析DTDY-ResNet-34（x 0. 50）在说话人信息提取上的详细行为。DTDY-ResNet-34（x0.50）不仅有效地从共振峰频率中提取说话人信息，而且还有效地从清音音素的高频信息中提取说话人信息，从而解释了其在与文本无关的说话人确认方面的出色性能。
2022-10-27 cs.SD eess.AS
Backdoor Attack against Speaker Verification
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Peng Cheng Laboratory（鹏城实验室）
说话人确认已被广泛和成功地采用在许多关键任务领域的用户识别。说话人确认的训练需要大量的数据，因此用户通常需要采用第三方数据（$e.g.$，来自互联网或第三方数据公司的数据）。这就提出了一个问题，即采用不受信任的第三方数据是否会构成安全威胁。在本文中，我们证明了通过中毒训练数据来注入隐藏后门以感染说话人验证模型是可能的。具体来说，我们设计了一个基于聚类的攻击方案，中毒样本从不同的集群将包含不同的触发器（$i.e.$，预定义的话语），根据我们的理解验证任务。受感染的模型在良性样本上表现正常，而攻击者指定的未注册触发器将成功通过验证，即使攻击者没有关于注册扬声器的信息。我们还表明，现有的后门攻击不能直接采用攻击说话人验证。我们的方法不仅提供了一个新的角度来设计新颖的攻击，但也作为一个强大的基线，提高验证方法的鲁棒性。用于再现主要结果的代码可在\url{https://github.com/zhaitongqing233/Backdoor-attack-against-speaker-verification}上获得。
2021-02-03 cs.CR cs.LG cs.SD
Neural PLDA Modeling for End-to-End Speaker Verification
Indian Institute of Science（印度科学学院）
虽然深度学习模型在监督分类问题上取得了重大进展，但这些模型在集外验证任务（如说话人识别）中的应用仅限于导出特征嵌入。最先进的基于x向量PLDA的说话人验证系统使用基于概率线性判别分析（PLDA）的生成模型来计算验证分数。最近，我们提出了一种用于说话人验证中后端建模的神经网络方法，称为神经PLDA（NPLDA），其中生成PLDA模型的似然比得分被设定为判别相似性函数，并且使用验证成本优化得分函数的可学习参数。在本文中，我们将这项工作扩展到以端到端（E2E）的方式实现嵌入式神经网络（x向量网络）与NPLDA网络的联合优化。所提出的端到端模型直接从具有验证代价函数的声学特征优化，并且在测试期间，模型直接输出似然比得分。通过使用NIST说话人识别评估（SRE）2018和2019数据集的各种实验，我们表明，所提出的E2E模型比x矢量PLDA基线说话人验证系统有显着改进。
2020-08-11 cs.CL cs.LG cs.SD
Dual-label Deep LSTM Dereverberation For Speaker Verification
Binghamton University（宾汉姆顿大学）；Sony Interactive Entertainment Inc（索尼互动娱乐公司）
在本文中，我们提出了一种用于说话人验证的混响消除方法，利用双标签深度神经网络（DNN）。该网络执行混响和干净语音的频谱特征之间的特征映射。训练长短期记忆递归神经网络（LSTM）以将损坏的Mel滤波器组（MFB）特征映射到两组标签：i）干净的MFB特征，以及ii）干净语音的估计音高轨迹或快速傅里叶变换（FFT）谱图。混响消除的性能进行了评估的等错误率（EER）的扬声器确认实验。
2018-09-08 cs.LG cs.SD eess.AS
Sparse Architectures for Text-Independent Speaker Verification Using Deep Neural Networks
Boise State University（博伊西州立大学）；FANAP Telecom（FANAP电信）
网络修剪是非常重要的，因为它消除了由于网络过度参数化而激活的不重要的权重或特征。稀疏性增强的优点包括防止过拟合和加速。考虑到深度架构中的大量参数，由于需要大量的计算能力，网络压缩变得至关重要。在这项工作中，我们施加结构稀疏的扬声器验证，这是验证的查询扬声器相比，扬声器库。我们将证明，由于网络中可能的初始过拟合，仅仅稀疏性强制可以改善验证结果。
2018-08-09 cs.SD eess.AS
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong Polytechnic University（香港理工大学）
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率，该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University（新疆大学计算机科学与技术学院）；Tsinghua University（清华大学）
针对ASV在噪声下性能下降问题，提出结合噪声解耦与对抗训练的框架，通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失，构建噪声无关的说话人不变嵌入空间，在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
The HCCL Speaker Verification System for Far-Field Speaker Verification Challenge
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所语音声学与内容理解重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Key Laboratory of Minority Speech and Language Information Processing, Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所少数民族语音与语言信息处理新疆重点实验室）
本文介绍了HCCL团队提交的远场扬声器验证挑战赛的系统。我们之前在AIshell Speaker Verification Challenge 2019中的工作表明，神经网络架构的强大建模能力可以为此类任务提供卓越的性能。因此，在本次挑战中，我们重点关注基于TDNN、Resnet和Res2net块构建深度神经网络架构。大多数已开发的系统由神经网络嵌入组成，并与PLDA后端一起应用。首先，速度扰动方法被用来增加数据，并取得显着的性能改善。然后，我们探索了AMsoftmax损失函数的使用，并提出在使用AMsoftmax损失训练模型时加入CE损失分支。此外，还研究了分数归一化对性能的影响。最后的系统是四个系统的融合，在task1 eval集上实现了minDCF 0.5342，EER 5.05，在task3 eval集上实现了minDCF 0.5193，EER 5.47。
2021-07-03 cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University（首尔大学）
近年来，已经提出了各种基于深度学习的嵌入方法，并在说话人验证中表现出令人印象深刻的性能。然而，与大多数经典嵌入技术一样，已知基于深度学习的方法在处理具有不同条件的语音样本（例如，记录设备、情绪状态）。在本文中，我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明，该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
NPU Speaker Verification System for INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Northwestern Polytechnical University（西北工业大学）
本文介绍了提交给Interspeech 2020远场扬声器验证挑战赛（FFSVC）的NPU系统。我们特别关注远场文本依赖SV从单个（task 1）和多个麦克风阵列（task 3）。在这种情况下的主要挑战是短话语和跨通道和距离不匹配的登记和测试。我们相信更好的说话人嵌入可以减轻短话语的影响，因此我们引入了一种新的说话人嵌入架构- ResNet-BAM，它将瓶颈注意力模块与ResNet集成在一起，作为一种简单有效的方法来进一步提高ResNet的表示能力。这一贡献带来了高达1%的EER降低。我们从三个方面进一步解决不匹配问题。首先，旨在学习领域不变特征的领域对抗训练可以减少0.8%的EER。第二，前端信号处理，包括WPE和波束形成，没有明显的贡献，但与数据选择和域对抗训练一起，可以进一步贡献0.5%的EER降低。最后，数据增强，它与一个专门设计的数据选择策略，可以导致2%的EER减少。加上上述贡献，在中间的挑战结果中，我们的单提交系统（没有多系统融合）分别在任务1和任务3上获得第一名和第二名。
2020-08-08 cs.SD eess.AS
Pairwise Discriminative Neural PLDA for Speaker Verification
Indian Institute of Science（印度科学学院）
说话人验证的最新方法涉及提取判别嵌入，如x向量，然后使用概率线性判别分析（PLDA）生成模型后端。在本文中，我们提出了一个成对的神经判别模型的说话人验证的任务上的一对说话人嵌入，如x-向量/i-向量，并输出一个分数，可以被认为是一个缩放的对数似然比。我们构造了一个可微的代价函数，它近似于说话人确认损失，即最小检测代价。线性判别分析（LDA）、单位长度归一化和类内协方差归一化的预处理步骤都被建模为神经模型的层，并且说话人验证代价函数可以在训练期间通过这些层反向传播。我们还探索了正则化技术来防止过拟合，这是使用判别式后端模型进行验证任务的主要问题。实验在NIST SRE 2018开发和评估数据集上进行。我们观察到，在PLDA基线系统上，CMN 2条件下的平均相对改善为8%，VAST条件下的平均相对改善为30%。
2020-02-07 cs.LG cs.SD eess.AS
On Residual CNN in text-dependent speaker verification task
ITMO University（圣彼得堡国立信息技术、机械与光学研究大学）；STC-innovations Ltd.（STC创新有限公司）
深度学习方法在说话人验证领域仍然不是很常见。本文研究了将深度残差卷积神经网络与声谱图作为输入特征用于文本相关说话人确认的可能性。尽管我们无法在质量上超过基线系统，但我们在RSR2015评估部分获得了5.23%的错误率。融合的基线和建议的系统比最好的个别系统的性能相对高出18%。
2017-05-30 cs.LG cs.SD
Exploring a Unified Attention-Based Pooling Framework for Speaker Verification
Tsinghua University（清华大学）；Unit, Chinese People's Liberation Army（中国人民解放军62315部队）
池化层是基于神经网络的说话人确认的重要组成部分。目前说话人确认中的大多数网络都使用平均池来获得话语级说话人表示。平均池化将每个帧视为同等重要，这是次优的，因为说话者判别能力在语音段之间是不同的。在本文中，我们提出了一个统一的基于注意力池的框架，并将其与多头注意力。在Fisher和NIST SRE 2010数据集上的实验表明，涉及较低层的输出来计算注意力权重可以优于平均池化，并且比vanilla注意力方法获得更好的结果。多头注意力进一步提高了性能。
2018-08-21 cs.SD eess.AS
The INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Duke Kunshan University（昆山杜克大学）；National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
INTERSPEECH 2020远场说话人验证挑战赛（FFSVC 2020）在明确定义的条件下解决了三个不同的研究问题：来自单个麦克风阵列的远场文本相关的说话人验证，来自单个麦克风阵列的远场文本无关的说话人验证，以及来自分布式麦克风阵列的远场文本相关的说话人验证。所有这三项任务都对参与者提出了跨渠道的挑战。为了模拟现实生活中的场景，注册话语记录从近距离通话的手机，而测试话语记录从远场麦克风阵列。在本文中，我们描述了数据库，挑战和基线系统，该系统基于基于ResNet的深度说话人网络，具有余弦相似性评分。对于一个给定的话语，不同通道的说话人嵌入平均作为最终的嵌入。对于任务1、任务2和任务3，基线系统分别实现了0.62、0.66和0.64的minDCF以及6.27%、6.55%和7.18%的EER。
2020-05-16 cs.SD eess.AS
Cross attentive pooling for speaker verification
Naver Corporation（NAVER公司）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；Yonsei University（延世大学）
本文的目标是文本无关的说话人确认的话语来自“在野外”的视频，可能包含不相关的信号。虽然说话人确认自然是一个成对的问题，但现有的生成说话人嵌入的方法是逐实例的。在本文中，我们提出了交叉注意池（CAP），它利用跨参考查询对的上下文信息来生成话语级嵌入，其中包含最具鉴别力的信息的配对匹配问题。在VoxCeleb数据集上进行了实验，其中我们的方法优于可比的池化策略。
2020-12-03 cs.SD eess.AS
A Multi-View Approach To Audio-Visual Speaker Verification
Facebook（脸书）
虽然说话人验证传统上是仅音频的任务，但一些实际应用提供音频和视觉输入流两者。在这些情况下，视觉流提供了补充信息，并且通常可以与语音的声学结合使用，以提高验证性能。在这项研究中，我们探索视听方法说话人验证，从标准融合技术学习联合视听（AV）嵌入，然后提出了一种新的方法来处理跨模态验证在测试时。具体来说，我们调查单峰和级联的AV融合，并报告最低的AV相等出错率（EER）的0.7%的VoxCeleb1数据集上使用我们最好的系统。由于这些方法缺乏跨模态验证的能力，我们引入了一个多视图模型，它使用一个共享的分类器来映射音频和视频到同一个空间。这种新方法在跨模态验证的挑战性测试条件下在VoxCeleb1上实现了28%的EER。
2021-02-11 cs.LG cs.SD eess.AS
Text-dependent Speaker Verification (TdSV) Challenge 2024: Challenge Evaluation Plan
本文档介绍了文本相关说话人验证（TdSV）挑战赛2024，旨在激励参与者开发单一且具竞争力的系统，并探索多任务学习、自监督学习及少样本学习等创新概念以解决文本相关说话人验证问题。
2024-04-20 cs.AI cs.SD eess.AS
SpeakerStew: Scaling to Many Languages with a Triaged Multilingual Text-Dependent and Text-Independent Speaker Verification System
Google LLC（谷歌有限责任公司）
在本文中，我们描述了SpeakerStew -一个混杂系统进行46种语言的说话人验证。该系统的两个核心思想是：（1）将不同语言的训练数据汇集在一起，以实现多语言泛化，减少开发周期;（2）在文本相关和文本无关模型之间采用一种新的分流机制，以减少运行时成本和预期延迟。据我们所知，这是第一次在46种语言的规模上研究说话人确认系统。这个问题是从使用智能扬声器设备的角度来构建的，该智能扬声器设备具有由唤醒关键字（文本相关）和语音查询（文本无关）组成的交互。实验证据表明，多种语言的训练可以推广到看不见的品种，同时保持对可见品种的性能。我们还发现，它可以将训练模型的计算需求降低一个数量级。此外，在英语数据的模型推理过程中，我们观察到利用分类框架可以将对计算成本更高的文本独立系统的调用次数减少73%（并将延迟减少59%），同时保持EER不比文本独立设置差。
2021-06-15 cs.LG cs.SD eess.AS
Tackling the Score Shift in Cross-Lingual Speaker Verification by Exploiting Language Information
Ghent University（根特大学）；imec（比利时微电子研究中心）
本文包含对IDLab提交给VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的跨语言说话人验证的挑战后性能分析。我们发现，目前的扬声器嵌入提取器一致低估扬声器内跨语言试验的相似性。因此，典型的训练和评分协议没有足够重视说话人内部语言变异的补偿。我们提出了两种技术来提高跨语言说话人确认的鲁棒性。首先，我们用小批量采样策略增强了我们之前提出的大间距微调（LM-FT）训练阶段，该策略增加了小批量中说话人内跨语言样本的数量。其次，我们在逻辑回归校准阶段加入语言信息。我们集成质量指标的基础上的软，硬决定的VoxLingua 107语言识别模型。在VoxSRC-21测试集上，所提出的技术比基线模型相对提高了11.7%，并在相应的挑战中获得了第三名。
2022-06-19 cs.SD eess.AS
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd（Pensees私人有限公司）；National University of Singapore（新加坡国立大学）
在本文中，我们研究了一种新的技术，利用说话人特征和语言内容之间的相互作用，以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意（SUDA）的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制，学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实，所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
Three-Stage Speaker Verification Architecture in Emotional Talking Environments
University of Sharjah（沙迦大学）
说话人确认在中性说话环境中的性能通常较高，而在情绪化说话环境中性能急剧下降。情绪环境中的这种性能下降是由于在中性环境中训练与在情绪环境中测试之间的不匹配问题。在这项工作中，一个三阶段的说话人确认架构已被提出，以提高说话人确认性能在情感环境中。该架构由三个级联阶段组成：性别识别阶段，然后是情感识别阶段，然后是说话人验证阶段。所提出的框架已评估两个不同的和独立的情感语音数据集：内部数据集和情感韵律语音和成绩单数据集。实验结果表明，基于性别信息和情感信息的说话人确认优于仅基于性别信息、仅基于情感信息、不基于性别信息和情感信息的说话人确认。所获得的平均说话人确认性能的基础上，建议的框架是非常相似的主观评价人类听众。
2018-09-03 cs.AI cs.SD eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最先进的说话人验证模型基于深度学习技术，这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索（NAS）的思想，文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构，我们将NAS概念引入到著名的x向量网络中。此外，本文提出了一种进化算法增强的神经结构搜索方法，称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明，我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
On the influence of language similarity in non-target speaker verification trials
Reuter Jessen Division Hearing, Speech and Audio Technology（听力、语音和音频技术部门）；Fraunhofer Institute for Digital Media Technology（弗劳恩霍夫数字媒体技术研究所）；Bundeskriminalamt（德国联邦刑事侦查局）
本文研究跨语言非目标说话人验证中语言相似性的影响，发现训练语言内比较存在聚类效应，而未训练语言试验中分数与语言相似性相关。
2025-06-03 cs.SD eess.AS
The IDLAB VoxSRC-20 Submission: Large Margin Fine-Tuning and Quality-Aware Score Calibration in DNN Based Speaker Verification
IDLab, Department of Electronics；Information Systems, Ghent University - imec, Belgium
在本文中，我们提出并分析了一个大裕度微调策略和质量感知的分数校准在文本无关的说话人确认。大裕度微调是使用基于裕度的损失函数训练的基于DNN的说话人验证系统的次级训练阶段。它使网络能够通过使用更长的训练话语结合更积极的边缘惩罚来创建更强大的说话人嵌入。分数校准是说话人确认系统中的一种常见做法，将输出分数映射到校准良好的对数似然比，其可以转换为可解释的概率。通过在校准系统中包括质量特征，评估度量的决策阈值变得依赖于质量，并且在不同的试验条件下更加一致。在ECAPA-TDNN架构上应用这两项增强功能，可以在所有公开的VoxCeleb 1测试集上获得最先进的结果，并为我们在VoxCeleb Speaker Recognition Challenge 2020的监督验证轨道中获胜做出了贡献。
2021-04-06 cs.SD eess.AS
End-to-End Text-Dependent Speaker Verification
Google（谷歌）
在本文中，我们提出了一个数据驱动的，集成的方法来说话人验证，它映射一个测试话语和几个参考话语直接到一个单一的分数进行验证，并共同优化系统的组件使用相同的评估协议和度量在测试时。这种方法将导致简单而有效的系统，需要很少的特定领域的知识，并作出很少的模型假设。我们实现的想法，制定一个单一的神经网络架构的问题，包括一个扬声器模型的估计只有几个话语，并评估它对我们的内部“OK谷歌”基准文本相关的说话人验证。所提出的方法对于像我们这样需要高度准确、易于维护且占用空间小的系统的大数据应用程序似乎非常有效。
2015-09-27 cs.LG cs.SD
Analysis of Length Normalization in End-to-End Speaker Verification System
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）
经典的i向量和最新的端到端深度说话人嵌入是自动说话人确认系统中话语级表示的两个代表性类别。传统上，一旦提取了i向量或深度说话人嵌入，我们就依赖于额外的长度归一化步骤，在后端建模之前将表示归一化到单位长度的超空间中。在本文中，我们探索了神经网络如何以端到端的方式学习长度归一化的深度说话人嵌入。为此，我们在通用分类网络的输出层之前添加了一个长度归一化层，然后是一个尺度层。我们对Voxceleb1数据集的验证任务进行了实验。结果表明，将这个简单的步骤集成到端到端训练管道中可以显着提高说话人验证的性能。在我们的L2规范化端到端系统的测试阶段，一个简单的内积可以达到最先进的水平。
2018-06-11 cs.SD eess.AS
SA-SASV: An End-to-End Spoof-Aggregated Spoofing-Aware Speaker Verification System
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
过去几年的研究已经提高了自动说话人验证系统和对抗系统的性能，以在每个系统上提供低的相等出错率（EER）。然而，这两个系统的联合优化的研究仍然有限。提出了欺骗感知扬声器验证（SASV）2022挑战，以鼓励开发具有新指标的集成SASV系统，以评估联合模型性能。本文提出了一种无集成的端到端解决方案，称为欺骗聚合SASV（SA-SASV），以构建一个多任务分类器的SASV系统，该系统通过多次损失进行优化，并对训练集有更灵活的要求。该系统在ASVSpoof 2019 LA数据集上进行了训练，这是一个具有少量真实扬声器的欺骗验证数据集。SASV-EER的结果表明，通过在完整的自动说话人确认和对策数据集上进行训练，可以进一步提高模型的性能。
2022-03-24 cs.SD eess.AS
