Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题，提出margin-mixup训练策略，无需修改现有架构即可提升说话人嵌入鲁棒性，在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
Dual-label Deep LSTM Dereverberation For Speaker Verification
Binghamton University（宾汉姆顿大学）；Sony Interactive Entertainment Inc（索尼互动娱乐公司）
在本文中，我们提出了一种用于说话人验证的混响消除方法，利用双标签深度神经网络（DNN）。该网络执行混响和干净语音的频谱特征之间的特征映射。训练长短期记忆递归神经网络（LSTM）以将损坏的Mel滤波器组（MFB）特征映射到两组标签：i）干净的MFB特征，以及ii）干净语音的估计音高轨迹或快速傅里叶变换（FFT）谱图。混响消除的性能进行了评估的等错误率（EER）的扬声器确认实验。
2018-09-08 cs.LG cs.SD eess.AS
Learnable MFCCs for Speaker Verification
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛里亚实验室）；Université de Lorraine（洛林大学）；School of Computing（计算机学院）；University of Eastern Finland（东芬兰大学）
提出了一种可学习的梅尔频率倒谱系数（MFCC）前端架构，用于基于深度神经网络（DNN）的自动说话人确认。我们的架构保留了基于MFCC的功能的简单性和可解释性，同时允许模型灵活地适应数据。在实践中，我们制定数据驱动版本的四个线性变换的标准MFCC提取器-窗口，离散傅立叶变换（DFT），梅尔滤波器组和离散余弦变换（DCT）。结果报告达到6.7\%（VoxCeleb 1）和9.7\%（SITW）的相对改善方面的平等出错率（EER）从静态MFCC，没有额外的调整工作。
2021-02-20 cs.LG cs.SD eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah（沙迦大学）
本文致力于引入、执行和评估一个三阶段的说话人确认框架，以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段：性别识别阶段，其次是情感识别阶段，其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估：我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明，基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认，只有情感线索，既没有性别线索，也没有情感线索。所实现的平均说话人确认性能的基础上，建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数（特征）来完成的，这些参数（特征）可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征（MFCC），而另一些系统使用基于隐马尔可夫模型（HMM）的说话人识别、支持向量机（SVM）、GARCH。在本文中，简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时，性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时，观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库，已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification
West Virginia University（西弗吉尼亚大学）
本文提出了一种新的跨设备文本无关说话人确认架构。大多数用于说话人验证任务的最先进的深度架构都考虑Mel频率倒谱系数。相比之下，我们提出的Siamese卷积神经网络架构使用Mel频率谱图系数来受益于相邻谱时间特征的依赖性。此外，虽然频谱-时间特征已被证明是非常可靠的说话人确认模型，他们只代表说话人的声音的短期声学水平特性的一些方面。然而，人类的声音包括几个语言层次，如声学，词汇，韵律和语音，可以利用在说话人确认模型。为了弥补频谱-时间特征中的这些固有缺点，我们建议通过部署多层感知器网络来增强所提出的Siamese卷积神经网络架构，以结合韵律，抖动和闪烁特征。所提出的端到端验证架构同时执行特征提取和验证。与传统的信号处理方法和深度算法相比，该架构在跨设备说话人确认方面有了显著的改进。
2018-07-31 cs.CV cs.LG cs.SD
Speaker Verification using Convolutional Neural Networks
NYU Tandon School of Engineering（纽约大学坦登工程学院）
在本文中，一种新的卷积神经网络架构已被开发用于说话人确认，以同时捕获和丢弃说话人和非说话人信息，分别。在训练阶段，训练网络以区分不同的说话人身份，以创建背景模型。其中一个关键部分是创建扬声器模型。大多数先前的方法基于对背景模型提供的说话者表示进行平均来创建说话者模型。我们通过使用Siamese框架进一步微调训练模型来推翻这个问题，以生成一个有区别的特征空间来区分相同和不同的说话者，而不管他们的身份如何。这提供了一种同时捕获说话者相关信息并创建对说话者内变化的鲁棒性的机制。实验结果表明，该方法优于传统的直接从背景模型建立说话人模型的验证方法。
2018-08-10 cs.SD eess.AS
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入，图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程，辅助说话者的信息参与确定输入话语之间的关系，从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器，在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明，将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Large Margin Softmax Loss for Speaker Verification
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）
在基于神经网络的说话人确认中，说话人嵌入需要在说话人之间具有区分性，同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中，我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则，进一步提高了算法的性能。在VoxCeleb上的实验结果表明，我们的最佳系统在EER上比基线方法高出15%，在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science；Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中，我们提出了VoiceID损失，一个新的损失函数训练的语音增强模型，以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数（例如L2损失）相比，VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图，以过滤掉用于说话人验证的不必要分量。在实验中，我们观察到增强网络在使用VoiceID丢失进行训练后，能够忽略大量的时频点，例如那些由噪声主导的时频点，以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Sparse Architectures for Text-Independent Speaker Verification Using Deep Neural Networks
Boise State University（博伊西州立大学）；FANAP Telecom（FANAP电信）
网络修剪是非常重要的，因为它消除了由于网络过度参数化而激活的不重要的权重或特征。稀疏性增强的优点包括防止过拟合和加速。考虑到深度架构中的大量参数，由于需要大量的计算能力，网络压缩变得至关重要。在这项工作中，我们施加结构稀疏的扬声器验证，这是验证的查询扬声器相比，扬声器库。我们将证明，由于网络中可能的初始过拟合，仅仅稀疏性强制可以改善验证结果。
2018-08-09 cs.SD eess.AS
Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map
Korea Advanced Institute of Science and Technology（韩国科学技术院）
为了在与文本无关的说话人确认中提取准确的说话人信息，提出了一种基于时间窗自适应核函数的时域动态神经网络（TDY-CNN）。然而TDY-CNN的模型尺寸太大，自适应核的自由度有限。为了解决这些限制，我们提出了分解的时间动态CNN（DTDY-CNN），它通过将静态内核与基于矩阵分解的动态残差相结合来形成时间自适应内核。使用无数据增强的精心统计合并的拟议DTDY-ResNet-34（x0.50）显示EER为0.96%，优于其他最先进的方法。DTDY-CNN是TDY-CNN的成功升级，将模型大小减少了64%，并提高了性能。我们发现，与TDY-CNN相比，DTDY-CNN也提取了更准确的帧级说话人嵌入。使用由用于说话人确认的改进的梯度加权类激活映射（Grad-CAM）产生的说话人激活映射（SAM）来分析DTDY-ResNet-34（x 0. 50）在说话人信息提取上的详细行为。DTDY-ResNet-34（x0.50）不仅有效地从共振峰频率中提取说话人信息，而且还有效地从清音音素的高频信息中提取说话人信息，从而解释了其在与文本无关的说话人确认方面的出色性能。
2022-10-27 cs.SD eess.AS
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong Polytechnic University（香港理工大学）
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率，该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University（新疆大学计算机科学与技术学院）；Tsinghua University（清华大学）
针对ASV在噪声下性能下降问题，提出结合噪声解耦与对抗训练的框架，通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失，构建噪声无关的说话人不变嵌入空间，在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
The HCCL Speaker Verification System for Far-Field Speaker Verification Challenge
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所语音声学与内容理解重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Key Laboratory of Minority Speech and Language Information Processing, Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所少数民族语音与语言信息处理新疆重点实验室）
本文介绍了HCCL团队提交的远场扬声器验证挑战赛的系统。我们之前在AIshell Speaker Verification Challenge 2019中的工作表明，神经网络架构的强大建模能力可以为此类任务提供卓越的性能。因此，在本次挑战中，我们重点关注基于TDNN、Resnet和Res2net块构建深度神经网络架构。大多数已开发的系统由神经网络嵌入组成，并与PLDA后端一起应用。首先，速度扰动方法被用来增加数据，并取得显着的性能改善。然后，我们探索了AMsoftmax损失函数的使用，并提出在使用AMsoftmax损失训练模型时加入CE损失分支。此外，还研究了分数归一化对性能的影响。最后的系统是四个系统的融合，在task1 eval集上实现了minDCF 0.5342，EER 5.05，在task3 eval集上实现了minDCF 0.5193，EER 5.47。
2021-07-03 cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University（首尔大学）
近年来，已经提出了各种基于深度学习的嵌入方法，并在说话人验证中表现出令人印象深刻的性能。然而，与大多数经典嵌入技术一样，已知基于深度学习的方法在处理具有不同条件的语音样本（例如，记录设备、情绪状态）。在本文中，我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明，该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
NPU Speaker Verification System for INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Northwestern Polytechnical University（西北工业大学）
本文介绍了提交给Interspeech 2020远场扬声器验证挑战赛（FFSVC）的NPU系统。我们特别关注远场文本依赖SV从单个（task 1）和多个麦克风阵列（task 3）。在这种情况下的主要挑战是短话语和跨通道和距离不匹配的登记和测试。我们相信更好的说话人嵌入可以减轻短话语的影响，因此我们引入了一种新的说话人嵌入架构- ResNet-BAM，它将瓶颈注意力模块与ResNet集成在一起，作为一种简单有效的方法来进一步提高ResNet的表示能力。这一贡献带来了高达1%的EER降低。我们从三个方面进一步解决不匹配问题。首先，旨在学习领域不变特征的领域对抗训练可以减少0.8%的EER。第二，前端信号处理，包括WPE和波束形成，没有明显的贡献，但与数据选择和域对抗训练一起，可以进一步贡献0.5%的EER降低。最后，数据增强，它与一个专门设计的数据选择策略，可以导致2%的EER减少。加上上述贡献，在中间的挑战结果中，我们的单提交系统（没有多系统融合）分别在任务1和任务3上获得第一名和第二名。
2020-08-08 cs.SD eess.AS
Exploring a Unified Attention-Based Pooling Framework for Speaker Verification
Tsinghua University（清华大学）；Unit, Chinese People's Liberation Army（中国人民解放军62315部队）
池化层是基于神经网络的说话人确认的重要组成部分。目前说话人确认中的大多数网络都使用平均池来获得话语级说话人表示。平均池化将每个帧视为同等重要，这是次优的，因为说话者判别能力在语音段之间是不同的。在本文中，我们提出了一个统一的基于注意力池的框架，并将其与多头注意力。在Fisher和NIST SRE 2010数据集上的实验表明，涉及较低层的输出来计算注意力权重可以优于平均池化，并且比vanilla注意力方法获得更好的结果。多头注意力进一步提高了性能。
2018-08-21 cs.SD eess.AS
The INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Duke Kunshan University（昆山杜克大学）；National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
INTERSPEECH 2020远场说话人验证挑战赛（FFSVC 2020）在明确定义的条件下解决了三个不同的研究问题：来自单个麦克风阵列的远场文本相关的说话人验证，来自单个麦克风阵列的远场文本无关的说话人验证，以及来自分布式麦克风阵列的远场文本相关的说话人验证。所有这三项任务都对参与者提出了跨渠道的挑战。为了模拟现实生活中的场景，注册话语记录从近距离通话的手机，而测试话语记录从远场麦克风阵列。在本文中，我们描述了数据库，挑战和基线系统，该系统基于基于ResNet的深度说话人网络，具有余弦相似性评分。对于一个给定的话语，不同通道的说话人嵌入平均作为最终的嵌入。对于任务1、任务2和任务3，基线系统分别实现了0.62、0.66和0.64的minDCF以及6.27%、6.55%和7.18%的EER。
2020-05-16 cs.SD eess.AS
Cross attentive pooling for speaker verification
Naver Corporation（NAVER公司）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；Yonsei University（延世大学）
本文的目标是文本无关的说话人确认的话语来自“在野外”的视频，可能包含不相关的信号。虽然说话人确认自然是一个成对的问题，但现有的生成说话人嵌入的方法是逐实例的。在本文中，我们提出了交叉注意池（CAP），它利用跨参考查询对的上下文信息来生成话语级嵌入，其中包含最具鉴别力的信息的配对匹配问题。在VoxCeleb数据集上进行了实验，其中我们的方法优于可比的池化策略。
2020-12-03 cs.SD eess.AS
Tackling the Score Shift in Cross-Lingual Speaker Verification by Exploiting Language Information
Ghent University（根特大学）；imec（比利时微电子研究中心）
本文包含对IDLab提交给VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的跨语言说话人验证的挑战后性能分析。我们发现，目前的扬声器嵌入提取器一致低估扬声器内跨语言试验的相似性。因此，典型的训练和评分协议没有足够重视说话人内部语言变异的补偿。我们提出了两种技术来提高跨语言说话人确认的鲁棒性。首先，我们用小批量采样策略增强了我们之前提出的大间距微调（LM-FT）训练阶段，该策略增加了小批量中说话人内跨语言样本的数量。其次，我们在逻辑回归校准阶段加入语言信息。我们集成质量指标的基础上的软，硬决定的VoxLingua 107语言识别模型。在VoxSRC-21测试集上，所提出的技术比基线模型相对提高了11.7%，并在相应的挑战中获得了第三名。
2022-06-19 cs.SD eess.AS
Parameterized Channel Normalization for Far-field Deep Speaker Verification
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
本文提出了一种基于深度神经网络（DNN）的说话人嵌入提取器的远场说话人确认方法，其中注册和测试数据之间的不匹配通常来自卷积效应（例如房间混响）和噪声。为了减轻这些影响，我们专注于两个参数归一化方法：每通道能量归一化（PCEN）和参数化倒谱均值归一化（PCMN）。这两种方法都包含可微分参数，因此可以方便地集成到DNN中，并使用自动微分方法与DNN联合优化。我们考虑每种方法的固定和可训练（数据驱动）变体。我们评估的性能Hi-MIA，最近的大规模远场语音语料库，不同的麦克风和位置设置。我们的方法优于传统的梅尔滤波器组功能，最大的33.5%和39.5%的相对改善相等的出错率匹配麦克风和不匹配的麦克风条件下，分别。
2021-09-24 cs.AI cs.SD eess.AS
On the influence of language similarity in non-target speaker verification trials
Reuter Jessen Division Hearing, Speech and Audio Technology（听力、语音和音频技术部门）；Fraunhofer Institute for Digital Media Technology（弗劳恩霍夫数字媒体技术研究所）；Bundeskriminalamt（德国联邦刑事侦查局）
本文研究跨语言非目标说话人验证中语言相似性的影响，发现训练语言内比较存在聚类效应，而未训练语言试验中分数与语言相似性相关。
2025-06-03 cs.SD eess.AS
The IDLAB VoxSRC-20 Submission: Large Margin Fine-Tuning and Quality-Aware Score Calibration in DNN Based Speaker Verification
IDLab, Department of Electronics；Information Systems, Ghent University - imec, Belgium
在本文中，我们提出并分析了一个大裕度微调策略和质量感知的分数校准在文本无关的说话人确认。大裕度微调是使用基于裕度的损失函数训练的基于DNN的说话人验证系统的次级训练阶段。它使网络能够通过使用更长的训练话语结合更积极的边缘惩罚来创建更强大的说话人嵌入。分数校准是说话人确认系统中的一种常见做法，将输出分数映射到校准良好的对数似然比，其可以转换为可解释的概率。通过在校准系统中包括质量特征，评估度量的决策阈值变得依赖于质量，并且在不同的试验条件下更加一致。在ECAPA-TDNN架构上应用这两项增强功能，可以在所有公开的VoxCeleb 1测试集上获得最先进的结果，并为我们在VoxCeleb Speaker Recognition Challenge 2020的监督验证轨道中获胜做出了贡献。
2021-04-06 cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University（西北工业大学）
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类，即，核查和识别。验证损失函数与说话人验证的流水线相匹配，但其实现比较困难。因此，大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中，我们提出了一个验证损失函数，命名为最大化的接收机操作特征（ROC）曲线下的部分面积（pAUC），基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法，以提高训练效率，这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild（SITW）和NIST SRE 2016数据集上的实验表明，所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS
Analysis of Length Normalization in End-to-End Speaker Verification System
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）
经典的i向量和最新的端到端深度说话人嵌入是自动说话人确认系统中话语级表示的两个代表性类别。传统上，一旦提取了i向量或深度说话人嵌入，我们就依赖于额外的长度归一化步骤，在后端建模之前将表示归一化到单位长度的超空间中。在本文中，我们探索了神经网络如何以端到端的方式学习长度归一化的深度说话人嵌入。为此，我们在通用分类网络的输出层之前添加了一个长度归一化层，然后是一个尺度层。我们对Voxceleb1数据集的验证任务进行了实验。结果表明，将这个简单的步骤集成到端到端训练管道中可以显着提高说话人验证的性能。在我们的L2规范化端到端系统的测试阶段，一个简单的内积可以达到最先进的水平。
2018-06-11 cs.SD eess.AS
SA-SASV: An End-to-End Spoof-Aggregated Spoofing-Aware Speaker Verification System
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
过去几年的研究已经提高了自动说话人验证系统和对抗系统的性能，以在每个系统上提供低的相等出错率（EER）。然而，这两个系统的联合优化的研究仍然有限。提出了欺骗感知扬声器验证（SASV）2022挑战，以鼓励开发具有新指标的集成SASV系统，以评估联合模型性能。本文提出了一种无集成的端到端解决方案，称为欺骗聚合SASV（SA-SASV），以构建一个多任务分类器的SASV系统，该系统通过多次损失进行优化，并对训练集有更灵活的要求。该系统在ASVSpoof 2019 LA数据集上进行了训练，这是一个具有少量真实扬声器的欺骗验证数据集。SASV-EER的结果表明，通过在完整的自动说话人确认和对策数据集上进行训练，可以进一步提高模型的性能。
2022-03-24 cs.SD eess.AS
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University（西北工业大学）；Beijing ZKJ Technology Co., Ltd.（北京中科金技术有限公司）
在这份报告中，我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中，我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外，我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外，我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统，我们最终的最佳性能（minDCF/EER）的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交，我们来到了第二位的挑战，为两个轨道。
2021-11-18 cs.SD eess.AS
Text-dependent Speaker Verification (TdSV) Challenge 2024: Challenge Evaluation Plan
本文档介绍了文本相关说话人验证（TdSV）挑战赛2024，旨在激励参与者开发单一且具竞争力的系统，并探索多任务学习、自监督学习及少样本学习等创新概念以解决文本相关说话人验证问题。
2024-04-20 cs.AI cs.SD eess.AS
Unsupervised Feature Enhancement for speaker verification
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
使说话人确认系统对不利场景具有鲁棒性的任务仍然是一个具有挑战性和活跃的研究领域。我们开发了一种在对数滤波器组域的无监督特征增强方法，最终目标是提高说话人确认性能。我们实验使用真实的语音记录在恶劣的环境和退化的语音通过模拟得到的训练增强系统。通过对几个真实的、模拟的噪声和混响测试集的测试，证明了该方法的有效性。当说话人确认流水线中不使用数据增强或仅在x向量训练期间使用增强时，该方法在真实和模拟集上都得到了显着的改进。当数据增强用于x向量和PLDA训练时，我们的增强方法略有改进。
2020-02-14 cs.SD eess.AS
Learning Metrics from Mean Teacher: A Supervised Learning Method for Improving the Generalization of Speaker Verification System
University of Seoul（首尔大学）；Naver Corporation（NAVER公司）
大多数说话人确认任务都是考虑真实世界条件的开集评估场景。因此，对未见过说话人的泛化能力对说话人确认系统的性能至关重要。我们建议应用\textit {Mean Teacher}，一种时间平均模型，来提取具有小的类内方差和大的类间方差的说话人嵌入。平均教师网络是指对深度神经网络参数进行时间平均;它可以产生比训练完成后使用权重更准确和稳定的表示。通过学习均值教师网络的可靠中间表示，我们期望该方法能够探索更多的判别嵌入空间，提高说话人确认系统的泛化性能。在VoxCeleb 1测试集上的实验结果表明，与基线系统相比，该方法的性能提高了11.61%.
2021-04-14 cs.SD eess.AS
End-to-end losses based on speaker basis vectors and all-speaker hard negative mining for speaker verification
University of Seoul（首尔大学）
近年来，说话人验证主要使用深度神经网络进行，这些网络经过训练，可以从输入特征（如频谱图或Mel滤波器组能量）中输出嵌入。设计各种损失函数的研究，包括度量学习已经被广泛探索。在这项研究中，我们提出了两个端到端的损失函数的说话人确认使用的概念，说话人基地，这是可训练的参数。一个损失函数被设计为进一步增加说话人间的变化，另一个被设计为与硬否定挖掘相同的概念。每个说话人基础被设计为在训练深度神经网络的过程中代表相应的说话人。与传统的损失函数只能考虑小批量中包含的有限数量的扬声器相比，所提出的损失函数可以考虑训练集中的所有扬声器，而不管小批量的组成。特别是，建议的损失函数，使硬负挖掘和计算扬声器之间的变化与所有扬声器的考虑。通过在VoxCeleb1和VoxCeleb2数据集上的实验，我们证实了所提出的损失函数可以补充传统的softmax和中心损失函数。
2019-07-17 cs.LG cs.SD eess.AS
Three-Stage Speaker Verification Architecture in Emotional Talking Environments
University of Sharjah（沙迦大学）
说话人确认在中性说话环境中的性能通常较高，而在情绪化说话环境中性能急剧下降。情绪环境中的这种性能下降是由于在中性环境中训练与在情绪环境中测试之间的不匹配问题。在这项工作中，一个三阶段的说话人确认架构已被提出，以提高说话人确认性能在情感环境中。该架构由三个级联阶段组成：性别识别阶段，然后是情感识别阶段，然后是说话人验证阶段。所提出的框架已评估两个不同的和独立的情感语音数据集：内部数据集和情感韵律语音和成绩单数据集。实验结果表明，基于性别信息和情感信息的说话人确认优于仅基于性别信息、仅基于情感信息、不基于性别信息和情感信息的说话人确认。所获得的平均说话人确认性能的基础上，建议的框架是非常相似的主观评价人类听众。
2018-09-03 cs.AI cs.SD eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最先进的说话人验证模型基于深度学习技术，这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索（NAS）的思想，文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构，我们将NAS概念引入到著名的x向量网络中。此外，本文提出了一种进化算法增强的神经结构搜索方法，称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明，我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
Study on the temporal pooling used in deep neural networks for speaker verification
LIA - Avignon University（阿维尼翁大学LIA实验室）
x向量架构最近在说话人验证任务上取得了最先进的成果。该架构包括被称为时间池化的中心层，其堆叠声学帧分布的统计参数。这项工作提出了突出的时间池内容的训练动态和任务性能的显着影响。进行了具有不同汇集层的评估，即包括集中趋势的不同统计测量。值得注意的是，还测试了基于三阶和四阶矩的统计量（偏度和峰度），以完成通常的平均值和标准差参数。我们的实验显示了池化层内容在说话人验证性能方面的影响，但也适用于几个分类任务（说话人，通道或文本相关），并允许根据层内容更好地揭示说话人身份的外部信息的存在。
2021-05-10 cs.SD eess.AS
Towards Lightweight Applications: Asymmetric Enroll-Verify Structure for Speaker Verification
AI Lab, Lenovo Research（联想研究院人工智能实验室）；Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
随着深度学习的发展，自动说话人确认在过去几年中取得了长足的进步。然而，在有限的计算资源下设计一个轻量级的、鲁棒的系统仍然是一个具有挑战性的问题。传统上，说话人确认系统是对称的，这表明在推理中，相同的嵌入提取模型被应用于注册和确认。本文提出了一种创新的非对称结构，采用大规模ECAPA-TDNN模型进行注册，采用小规模ECAPA-TDNNLite模型进行验证。作为一个对称的系统，我们提出的ECAPA-TDNNLite模型实现了3.07%的EER的Voxceleb 1原始测试集，只有11.6M的FLOPS。此外，非对称结构进一步将EER降低到2.31%，而不会增加验证过程中的任何计算成本。
2022-01-26 cs.SD eess.AS
Cross-Age Speaker Verification: Learning Age-Invariant Speaker Embeddings
Tencent AI Lab（腾讯人工智能实验室）
近年来，说话人自动确认技术取得了显著的进展。然而，由于相关数据不足，跨年龄说话人确认的研究还很少。本文基于VoxCeleb数据集挖掘跨年龄测试集，提出了一种年龄不变的说话人表示（AISR）学习方法。由于VoxCeleb是从YouTube平台收集的，因此数据集本身就包含了跨年龄数据。然而，元数据不包含说话者年龄标签。因此，我们采用人脸年龄估计的方法来预测说话人的年龄值从相关的视觉数据，然后标记的音频记录与估计的年龄。我们在VoxCeleb（Vox-CA）上构建了多个跨年龄测试集，这些测试集故意选择年龄差距较大的阳性试验。此外，国籍和性别的影响被认为是在选择负对对齐Vox-H的情况下。基线系统性能从Vox-H测试集上的1.939\% EER下降到Vox-CA 20测试集上的10.419\%，这表明跨年龄场景是多么困难。因此，我们提出了一种年龄解耦对抗学习（ADAL）方法，以减轻年龄差距的负面影响，并减少类内方差。在Vox-CA 20测试集上，我们的方法优于基线系统，相关EER降低超过10%。源代码和试用资源可在https://github.com/qinxiaoyi/Cross-Age_Speaker_Verification上获得
2022-07-13 cs.SD eess.AS
Integrated Replay Spoofing-aware Text-independent Speaker Verification
University of Seoul（首尔大学）
许多研究已经成功地开发了说话人确认或呈现攻击检测系统。然而，将这两项任务结合起来的研究仍处于初步阶段。在本文中，我们提出了两种方法来建立一个集成系统的说话人验证和演示攻击检测：一个端到端的单片方法和后端模块化的方法。第一种方法同时训练说话人识别，演示攻击检测，并使用多任务学习使用一个共同的功能的集成系统。然而，通过实验，我们假设，所需的信息进行说话人验证和演示攻击检测可能会有所不同，因为说话人验证系统试图从扬声器嵌入删除设备特定的信息，而演示攻击检测系统利用这些信息。因此，我们提出了一种后端模块化方法，使用单独的深度神经网络（DNN）进行说话人验证和演示攻击检测。这种方法有三个输入组件：两个扬声器嵌入（注册和测试）和预测的演示攻击。实验使用ASVspoof 2017-v2数据集进行，其中包括对说话人验证和演示攻击检测集成的正式试验。所提出的后端方法表现出21.77%的相对改善方面的综合试验相比，传统的说话人确认系统的相等的错误率。
2020-09-27 cs.LG cs.SD eess.AS
Improved Relation Networks for End-to-End Speaker Verification and Identification
LG Ads Solutions（LG广告解决方案公司）
现实世界场景中的说话者识别系统的任务是在一组登记的说话者中识别说话者，对于每个登记的说话者仅给出几个样本。本文展示了元学习和关系网络在此用例中的有效性。我们提出了改进的关系网络的说话人确认和Few-Shot（看不见的）说话人识别。关系网络的使用有助于前端扬声器编码器和后端模型的联合训练。受说话人验证中使用原型网络的启发，为了提高说话人嵌入的可辨别性，我们训练模型，以在训练集中存在的所有说话人中对当前集的样本进行分类。此外，我们提出了一种新的训练机制，通过从给定的元学习事件中提取更多的信息来加快模型收敛，而额外的计算可以忽略不计。我们评估VoxCeleb，SITW和VCTK数据集上的说话人验证和看不见的说话人识别的任务所提出的技术。所提出的方法优于现有的方法一致的任务。
2022-07-21 cs.LG cs.SD eess.AS
Data augmentation enhanced speaker enrollment for text-dependent speaker verification
Indian Institute of Information Technology (IIIT)（印度信息技术学院）；Aalborg University（奥尔堡大学）
数据增强通常用于从可用的训练数据生成附加数据，以实现对复杂模型的参数的鲁棒估计，例如用于说话人验证（SV）的模型，特别是对于资源不足的应用。SV涉及训练说话者无关（SI）模型和说话者相关模型，其中说话者由在注册阶段期间使用特定说话者的训练数据从SI模型导出的模型表示。虽然用于训练SI模型的数据增强得到了很好的研究，但用于说话人登记的数据增强很少被探索。在本文中，我们提出了使用数据增强方法来生成额外的数据，使发言人登记。每种数据扩充方法都会生成一个新的数据集。研究了两种使用数据集的策略：一种是训练独立的系统并在分数水平上融合它们，另一种是进行多条件训练。此外，我们研究了噪声条件下的数据增强的效果。在RedDots challenge 2016数据库上进行实验，结果验证了所提方法的有效性。
2020-07-12 cs.SD eess.AS
Text adaptation for speaker verification with speaker-text factorized embeddings
MoE Key Lab of Artificial Intelligence SpeechLab, Department of Computer Science（人工智能MoE重点实验室、语音实验室、计算机科学与工程系）
本文提出一种文本自适应框架，通过说话人-文本因子化网络分解语音嵌入，利用少量自适应话语将文本无关说话人嵌入转为文本定制嵌入，显著提升文本不匹配下的说话人验证性能。
2025-08-06 cs.SD eess.AS
The UPC Speaker Verification System Submitted to VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20)
UPC（加泰罗尼亚理工大学）
本报告描述了加泰罗尼亚技术大学（UPC）在Interspeech 2020上向VoxCeleb说话人识别挑战赛（VoxSRC-20）提交的材料。最后提交的是三个系统的组合。系统-1是基于自动编码器的方法，其尝试重构相似的i向量，而系统-2和系统-3是基于卷积神经网络（CNN）的连体架构。连体网络分别具有两个和三个分支，其中每个分支是CNN编码器。双分支连体机器人在训练过程中使用交叉熵损失进行二进制分类。然而，我们的三分支连体狗被训练成使用三重丢失来学习说话者嵌入。我们提供我们的系统在VoxCeleb-1测试，VoxSRC-20验证和测试集的结果。
2020-10-27 cs.SD eess.AS
Investigation of Frame Alignments for GMM-based Digit-prompted Speaker Verification
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
在基于GMM的说话人确认中，帧对齐可以通过不同的方法来计算。通过结合语音高斯混合模型（PGMM），我们能够比较使用从深度神经网络（DNN）和传统的隐马尔可夫模型（HMM）在数字提示的说话人验证中提取的对齐的性能。基于这两种对齐的不同特点，我们提出了一种新的内容验证方法，以提高系统的安全性，而不需要太多的计算开销。我们在RSR 2015 Part-3数字提示任务上的实验表明，基于DNN的对齐与HMM对齐表现相当。实验结果也证明了所提出的基于Kullback-Leibler（KL）散度的评分方法在拒绝带有错误密码短语的语音时的有效性。
2018-09-02 cs.SD eess.AS
Speaker Verification in Emotional Talking Environments based on Third-Order Circular Suprasegmental Hidden Markov Model
University of Sharjah（沙迦大学）
说话人确认的准确率在情感说话环境中不高，因为它是在中性的。本文基于三阶循环超音段隐马尔可夫模型（CSPHMM3）作为分类器，研究了在情感环境中说话人的语音识别问题。已被用来评估我们的工作与梅尔频率倒谱系数作为提取的特征的阿拉伯口音（阿拉伯语）的语音数据库。实验结果表明，基于CSPHMM3的说话人确认准确率高于基于高斯混合模型（GMM）、支持向量机（SVM）和矢量量化（VQ）等最新分类器和模型的说话人确认准确率。
2019-10-29 cs.SD eess.AS
Learning Emotion-Invariant Speaker Representations for Speaker Verification
Hithink RoyalFlush AI Research Institute（同花顺人工智能研究院）
针对说话人验证中情感变化导致表征脆弱的问题，提出基于CopyPaste数据增强、余弦相似度损失和情感感知掩蔽的改进方法，显著降低等错误率。
2025-05-24 cs.SD eess.AS
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd（Pensees私人有限公司）；National University of Singapore（新加坡国立大学）
在本文中，我们研究了一种新的技术，利用说话人特征和语言内容之间的相互作用，以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意（SUDA）的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制，学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实，所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore（新加坡国立大学）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发，SpEx，我们提出了一个统一的说话人验证框架，单和多说话人的语音，这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明，所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是，在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上，最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进，而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当，即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
Multi-Task Learning with High-Order Statistics for X-vector based Text-Independent Speaker Verification
University of Science and Technology of China（中国科学技术大学）
基于x向量的深度神经网络（DNN）嵌入系统已经证明了文本无关说话人验证的有效性。本文提出了一种用于训练说话人嵌入DNN的多任务学习架构，其主要任务是对目标说话人进行分类，辅助任务是重建原始输入话语的一阶和高阶统计量。该训练策略将有监督学习和无监督学习集成到一个框架中，使说话人嵌入更具鉴别力和鲁棒性。使用NIST SRE 16评估数据集和VOiCES数据集进行实验。结果表明，我们提出的方法优于原来的x-向量的方法，非常低的额外的复杂性增加。
2019-04-04 cs.SD eess.AS
Multi-task Metric Learning for Text-independent Speaker Verification
在这项工作中，我们引入了度量学习（ML）来增强文本无关说话人验证（SV）的深度嵌入学习。具体地，使用传统的交叉熵损失和基于辅助对的ML损失函数来训练深度说话人嵌入网络。对于辅助ML任务，首先将小批量的训练样本排列成对，然后选择正对和负对，并通过它们自身和相对相似度进行加权，最后通过所选对的相似度计算辅助ML损失。为了评估所提出的方法，我们进行实验的扬声器在野生（SITW）数据集。结果表明了该方法的有效性。
2023-03-23 cs.SD eess.AS
Phonetic Richness for Improved Automatic Speaker Verification
Pindrop（品卓科技）
该研究提出基于语音直方图的语音丰富度度量指标，结合净语音时长校准说话人验证得分，在Voxceleb1基准上实现5.8%的EER相对提升，对短话语效果更优。
2024-07-10 cs.SD eess.AS
Unit selection synthesis based data augmentation for fixed phrase speaker verification
AISpeech Ltd（思必驰科技有限公司）
数据增强通常用于帮助构建鲁棒的说话人确认系统，特别是在资源有限的情况下。然而，传统的数据增强方法通常只关注声环境的多样性，而忽略了词典的变化。对于文本相关的说话人确认任务，众所周知，准备训练数据与目标成绩单是最有效的方法来建立一个性能良好的系统，然而，收集这样的数据是耗时和昂贵的。在这项工作中，我们提出了一个基于单元选择合成的数据增强方法，利用丰富的文本无关的数据资源。在这种方法中，每个说话人的文本无关的语音首先被分解成语音段，每个语音段包含一个音素单元。然后，选择包含目标转录本中的语音的片段，以通过依次连接它们来产生具有目标转录本的语音。在AISHELL Speaker Verification Challenge 2019数据库上进行了实验，实验结果和分析表明，该方法能显著提高系统性能。
2021-02-19 cs.SD eess.AS
Joint Speaker Encoder and Neural Back-end Model for Fully End-to-End Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics（国立信息学研究所）
传统的自动说话人确认系统通常可以被分解成用于提取说话人嵌入的前端模型（诸如时间延迟神经网络（TDNN））和用于相似性评分的后端模型（诸如基于概率线性判别分析（PLDA）或基于神经网络的神经PLDA（NPLDA））。然而，前端和后端模型的顺序优化可能会导致局部最小值，这在理论上阻止了整个系统实现最佳优化。虽然已经提出了一些方法来联合优化这两个模型，如广义端到端（GE2E）模型和NPLDA E2E模型，所有这些方法都是设计用于单个注册话语。在本文中，我们提出了一个新的E2E联合方法的说话人确认特别是针对实际情况下的多个注册话语。为了利用多个注册话语之间的内部关系，我们的模型配备了帧级和话语级的注意机制。我们还利用了几种数据增强技术，包括使用MUSAN和RIR数据集的传统噪声增强以及独特的扬声器嵌入级混合策略，以实现更好的优化。
2022-09-01 cs.SD eess.AS
