VAE-based regularization for deep speaker embedding
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
深度说话人嵌入已经在说话人识别中实现了最先进的性能。这些嵌入向量（称为“x向量”）的潜在问题不是高斯的，导致著名的PLDA后端评分的性能下降。本文提出了一种基于变分自动编码器（VAE）的正则化方法。该模型将x向量转换到潜在空间，其中映射的潜在代码更具高斯性，因此更适合PLDA评分。
2019-04-07 cs.LG cs.SD eess.AS
The Phonexia VoxCeleb Speaker Recognition Challenge 2021 System Description
Phonexia s.r.o（Phonexia有限公司）
我们描述了Phonexia提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）的无监督说话人验证轨道。我们的解决方案与IDLab为VoxSRC-20提交的获奖作品非常相似。嵌入提取器使用动量对比学习自举，输入增强作为唯一的监督来源。随后进行多次聚类迭代，以分配伪说话人标签，然后用于监督嵌入提取器训练。最后，通过对五个不同嵌入提取器的zt归一化余弦分数进行平均来进行分数融合。我们还简要描述了不成功的解决方案，涉及i向量而不是DNN嵌入和PLDA而不是余弦评分。
2021-09-08 cs.LG cs.SD eess.AS
Towards Measuring and Scoring Speaker Diarization Fairness
SAMOVAR, Telecom SudParis, Institut Polytechnique de Paris（SAMOVAR，巴黎电信学院，巴黎综合理工学院）；Newsbridge
说话人日志化，或者说寻找“谁在什么时候说话”的任务，现在几乎被用在每一个语音处理应用中。然而，由于没有一个协议来逐一研究其偏倚，因此尚未对其公平性进行评估。在本文中，我们提出了一个协议和一个评分方法，旨在评估扬声器日记公平性。该协议被应用于一个大的口语数据集，并根据性别，年龄，说话人的口音和口语句子的长度报告说话人日记化的性能。当我们应用最先进的说话人日记化方法时，我们发现了一些由说话人的性别或口音引起的偏见。
2023-02-20 cs.CL cs.SD eess.AS
Improving Speaker Identification for Shared Devices by Adapting Embeddings to Speaker Subsets
Amazon Alexa AI（亚马逊Alexa AI）
说话人识别通常包括三个阶段。首先，训练前端说话人嵌入模型以嵌入话语和说话人简档。其次，在运行时话语和每个说话者简档之间应用评分函数。最后，根据评分指标，使用最近邻进行说话人识别。为了更好地区分扬声器共享同一个家庭内的设备，我们提出了一个家庭适应的非线性映射到一个低维空间，以补充全球评分指标。组合评分函数在标记或伪标记的说话者话语上被优化。与输入辍学，建议的评分模型减少EER的45-71%，在模拟家庭2至7个难以区分的扬声器每户。在真实世界的内部数据上，EER降低了49.2%。从t-SNE可视化，我们还表明，由家庭适应的扬声器嵌入形成的集群更紧凑，分布均匀，相比，由全球嵌入前适应形成的集群。
2021-09-06 cs.CR cs.SD eess.AS
Probabilistic Back-ends for Online Speaker Recognition and Clustering
Nanyang Technological University（南洋理工大学）
针对在线说话人聚类中的多注册说话人识别问题，研究了不同评分后端的性能。首先，我们表明，流行的余弦评分遭受不同数量的注册话语的差的分数校准。其次，我们提出了一个简单的替代余弦评分的基础上，一个非常有限的版本的概率线性判别分析（PLDA）。所提出的模型改进了多注册识别的余弦评分，同时在一对一比较的情况下保持相同的性能。最后，我们考虑一个在线说话人聚类任务，其中每一步自然涉及多注册识别。我们提出了一种在线聚类算法，使我们能够从PLDA模型中获益，例如能够处理不确定性和更好的评分校准。实验证明了该算法的有效性。
2023-02-19 cs.LG cs.SD eess.AS
Phonetic-attention scoring for deep speaker features in speaker verification
Tsinghua University（清华大学）
最近的研究表明，帧级深度说话人特征可以从深度神经网络中导出，训练目标设置为通过短语音片段来区分说话人。通过合并帧级特征，可以导出称为d向量的话语级表示，并将其用于自动说话人确认（ASV）任务。然而，这种简单的平均池化固有地对话语的语音内容敏感。从机器翻译中借用的一个有趣的想法是基于注意力的机制，其中输入单词在特定时间对翻译的贡献由注意力得分加权。这个分数反映了输入单词和当前翻译的相关性。我们可以用同样的思想来排列具有不同语音内容的话语。本文提出了一种基于d-向量系统的语音注意力评分方法。通过这种方法，计算每个帧对的注意力分数。该分数反映了两个帧在语音内容上的相似性，并且用于在基于话语的评分中加权该帧对的贡献。这种新的评分方法强调具有相似语音内容的帧对，这本质上为具有任何语音内容的话语提供了软对齐。实验结果表明，与朴素平均池相比，这种语音注意力评分方法在文本相关和文本无关的ASV任务中都能提供一致的性能改善。
2018-11-08 cs.CL cs.SD eess.AS
Stabilizing Short Duration Speaker Verification through Neural Re-scoring with Hybrid Enrollment
Shanghai University, China（上海大学）；Xi’an Jiaotong-Liverpool University, China（西安交通大学利物浦大学）；Hithink RoyalFlush AI Research Institute, China（Hithink皇家Flush人工智能研究院）
针对短时说话人验证中语音时长不足导致性能下降的问题，提出混合注册神经重打分框架，结合文本相关与文本无关注册，通过并行交叉注意力进行帧级比较，在VoxPhrase语料库上取得一致提升。
2026-06-16 cs.SD eess.AS
Supervised Speaker Embedding De-Mixing in Two-Speaker Environment
University of Sheffield（谢菲尔德大学）
从多扬声器环境中分离不同的扬声器属性是具有挑战性的。与传统的语音声源分离方法不同，本文提出了一种说话人嵌入去混方法。该方法在嵌入空间中从双说话人信号中分离出不同的说话人属性。拟议的办法包括两个步骤。在第一步中，干净的说话人嵌入学习和收集的残余TDNN为基础的网络。在步骤2中，将两个扬声器信号和扬声器之一的嵌入都输入到扬声器嵌入解混网络。训练去混网络，通过重构损失产生另一个说话人的嵌入。利用说话人辨识准确率和纯净嵌入与去混嵌入之间的余弦相似度来评价所得到的嵌入的质量。在人工增强的双说话人数据（TIMIT）和真实世界的双说话人数据（MC-WSJ）上进行了实验。研究了六种不同的说话人嵌入去混结构。实验结果表明，本文提出的一种结构与纯说话人嵌入的性能相近，识别准确率达到96.9%，余弦相似度为0.89。
2021-02-05 cs.CL cs.LG cs.SD
Toroidal Probabilistic Spherical Discriminant Analysis
Brno University of Technology（布尔诺理工大学）；Amazon Alexa（亚马逊Alexa）；Speechly
在说话人识别中，语音片段被映射到单位超球面上的嵌入，通常使用两个评分后端，即余弦评分和PLDA。我们最近提出了PSDA，这是PLDA的一种类似物，它使用Von Mises-Fisher分布而不是高斯分布。在本文中，我们提出了环形PSDA（T-PSDA）。它扩展了PSDA的超球面的环形子流形中的扬声器内和扬声器之间的可变性建模的能力。与PLDA和PSDA一样，该模型允许闭合形式的评分和闭合形式的EM更新用于训练。在VoxCeleb上，我们发现T-PSDA的准确性与余弦评分相当，而PLDA的准确性较差。在NIST SRE'21上，我们发现与余弦评分和PLDA相比，T-PSDA提供了很大的准确性增益。
2022-10-27 cs.SD eess.AS stat.ML
Neural Scoring: A Refreshed End-to-End Approach for Speaker Recognition in Complex Conditions
Center for Speech and Language Technologies (CSLT), BNRist at Tsinghua University（语音与语言技术中心（CSLT），北京理工大学清华大学）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学）
本文提出神经评分端到端框架，直接估计验证后验概率以应对多说话人等复杂条件，并设计大规模试验端到端训练策略，在VoxCeleb上实现EER降低70.36%。
2025-07-03 cs.SD eess.AS
A Unified Uncertainty-Aware Back-End for Speaker Verification: Scoring, Normalization, and Calibration
The Hong Kong Polytechnic University（香港理工大学）
该研究针对说话人验证后端未传递不确定性的问题，提出含UAS-Norm、UQMF的统一不确定性感知后端，在ECAPA-TDNN与ResNet上降低了等错误率并提升了区分度。
2026-09-15 cs.SD
Attention Back-end for Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
概率线性判别分析（PLDA）或余弦相似度已被广泛用于传统的说话人确认系统作为后端技术来衡量成对的相似度。为了更好地利用多个注册话语，我们提出了一种新的注意后端模型，它可以用于文本无关（TI）和文本相关（TD）的说话人验证，并采用缩放点自注意和前馈自注意网络作为架构，学习注册话语的内部关系。为了验证所提出的注意力后端，我们在CNCeleb和VoxCeleb数据集上进行了一系列实验，将其与几种最先进的说话人编码器（包括TDNN和ResNet）相结合。实验结果表明，使用多个注册话语CNCeleb的建议注意力后端模型导致较低的EER和minDCF分数比PLDA和余弦相似度对应的每个扬声器编码器和VoxCeleb上的实验表明，我们的模型甚至可以用于单个注册情况。
2021-10-06 cs.SD eess.AS
The ReturnZero System for VoxCeleb Speaker Recognition Challenge 2022
Return Zero Inc.（Return Zero公司）
在本文中，我们描述了RTZR VoxCeleb说话人识别挑战赛2022（VoxSRC-22）在封闭数据集中的最高得分提交，说话人验证轨道1。性能最好的系统是7个模型的融合，其中包含3种不同类型的模型架构。我们专注于训练模型来学习额外的时间信息。因此，所有模型都是用每个话语的4-6秒帧进行训练的。此外，我们采用了大余量微调策略，该策略在我们的一些融合模型的先前挑战中表现出良好的性能。在评价过程中，我们采用了自适应对称归一化（AS-Norm）和矩阵得分平均（MSA）的评分方法。最后，我们将模型与逻辑回归混合，以融合所有训练过的模型。最终提交在VoxSRC 22测试集上实现了0.165 DCF和2.912% EER。
2022-09-21 cs.AI cs.LG cs.SD
Revisiting and Improving Scoring Fusion for Spoofing-aware Speaker Verification Using Compositional Data Analysis
National Institute of Informatics（信息学研究所）；University of Eastern Finland（东芬兰大学）；The Hong Kong Polytechnic University（香港理工大学）；Avignon Université（阿维尼翁大学）；Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）
本文基于决策理论和成分数据分析重新审视ASV与CM的分数级融合，提出分数校准、改进线性及非线性融合方法，并在SASV挑战数据库上验证了其有效性。
2024-09-24 cs.SD eess.AS
Incorporating Uncertainty from Speaker Embedding Estimation to Speaker Verification
Institute for Infocomm Research (I 2 R), A STAR, Singapore
在不同条件下记录的语音话语在它们的嵌入估计中表现出不同程度的置信度，即，不确定性，即使它们使用相同的神经网络提取。本文旨在将xi向量网络前端产生的不确定性估计与用于说话人验证的概率线性判别分析（PLDA）后端评分相结合。为了实现这一点，我们推导出一个后验协方差矩阵，它测量的不确定性，从逐帧精度的嵌入空间。我们提出了一个对数似然比函数的PLDA评分的不确定性传播。我们还建议用长度缩放技术取代长度归一化预处理技术，以应用于后端的不确定性传播。在VoxCeleb-1、SITW测试集以及一个域不匹配的CNCeleb 1-E测试集上的实验结果表明，所提方法的EER降低了14.5%-41.3%，minDCF降低了4.6%-25.3%。
2023-02-23 cs.SD eess.AS
Learnable MFCCs for Speaker Verification
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛里亚实验室）；Université de Lorraine（洛林大学）；School of Computing（计算机学院）；University of Eastern Finland（东芬兰大学）
提出了一种可学习的梅尔频率倒谱系数（MFCC）前端架构，用于基于深度神经网络（DNN）的自动说话人确认。我们的架构保留了基于MFCC的功能的简单性和可解释性，同时允许模型灵活地适应数据。在实践中，我们制定数据驱动版本的四个线性变换的标准MFCC提取器-窗口，离散傅立叶变换（DFT），梅尔滤波器组和离散余弦变换（DCT）。结果报告达到6.7\%（VoxCeleb 1）和9.7\%（SITW）的相对改善方面的平等出错率（EER）从静态MFCC，没有额外的调整工作。
2021-02-20 cs.LG cs.SD eess.AS
Graph Neural Network Backend for Speaker Recognition
School of Information Science and Engineering, Xinjiang University（新疆大学信息科学与工程学院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
本文提出用于说话人识别的 GNN 后端，将嵌入建模为图节点并基于多种相似度构边，通过消息传递与聚合利用局部结构，在多个基准上显著超越主流方法。
2023-08-17 cs.SD eess.AS
Graph-based Label Propagation for Semi-Supervised Speaker Identification
Amazon Alexa（亚马逊Alexa）
家庭场景中的说话人辨识（例如，对于智能说话者）通常仅基于几个登记话语，但是基于大得多的未标记数据集，这表明半监督学习可以改善说话者简档。我们提出了一种基于图的半监督学习方法的说话人辨识在家庭的情况下，利用未标记的语音样本。与大多数专注于说话人区分嵌入的说话人识别工作相反，这项工作专注于说话人标签推理（评分）。给定一个预先训练的嵌入提取器，基于图的学习允许我们整合有关标记和未标记话语的信息。考虑到每个话语作为一个图形节点，我们表示成对的话语相似性得分作为边权重。每个家庭构建图，并将扬声器身份传播到未标记的节点，以优化全局一致性标准。我们在VoxCeleb数据集上的实验表明，与两种最先进的评分方法及其基于伪标签的半监督变体相比，这种方法有效地利用了未标记的数据，提高了说话人辨识的准确性。
2021-06-15 cs.CL cs.LG cs.SD
Dynamic Clustering for Cross-Segment Permutation Alignment in Long Speech Separation
Tampere University（坦佩雷大学）；Nokia Technologies（诺基亚科技）
本文提出一种兼容现有分离模型的即插即用动态聚类后处理模块，通过说话人嵌入参考池实现跨段置换对齐，在长语音分离的密集、稀疏场景及未知说话人数量场景下性能优于现有方法。
2026-08-11 cs.SD eess.AS
FoolHD: Fooling speaker identification by Highly imperceptible adversarial Disturbances
Alan Turing Institute（阿兰·图灵研究所）
说话人辨识模型容易受到精心设计的输入信号的对抗性扰动的影响，从而导致误分类。在这项工作中，我们提出了一个白盒隐写启发的对抗攻击，对说话人辨识模型产生不可感知的对抗性扰动。我们的方法，FoolHD，使用门控卷积自动编码器，在DCT域中操作，并使用多目标损失函数进行训练，以生成和隐藏原始音频文件中的对抗性扰动。除了阻碍说话人辨识性能之外，这种多目标损失通过从原始音频文件和对抗音频文件中提取的MFCC特征向量之间的逐帧余弦相似性来考虑人类感知。我们使用VoxCeleb训练的250-说话人辨识x向量网络验证了FoolHD在准确性、成功率和不可感知性方面的有效性。我们的研究结果表明，FoolHD生成高度不可感知的对抗性音频文件（平均PESQ分数高于4.30），同时在非目标和目标设置下分别实现了99.6%和99.2%的误导说话人辨识模型的成功率。
2021-02-20 cs.LG cs.SD eess.AS
Toeplitz Inverse Covariance based Robust Speaker Clustering for Naturalistic Audio Streams
University of Texas at Dallas（德克萨斯大学达拉斯分校）
发言人日记确定谁发言和何时发言？在音频流中。在这项研究中，我们提出了一个基于模型的方法，强大的说话人聚类使用i向量。从同一说话人的不同分段中提取的向量是相关的。我们用马尔可夫随机场（MRF）网络对这种相关性进行建模。利用MRF建模的进步，我们使用Toeplitz逆协方差（TIC）矩阵来表示每个扬声器的MRF相关网络。该方法捕获属于音频流中的相同扬声器的i向量（或等效扬声器转向）的顺序结构。采用标准期望最大化（EM）算法的一种变体，使用动态规划（DP）和交替方向乘子法（ADMM）推导出封闭形式的解。我们的日志化系统有四个步骤：（1）地面实况分割;（2）i向量提取;（3）后处理（均值减法，主成分分析和长度归一化）;和（4）提出的扬声器聚类。我们采用余弦K-means和movMF扬声器聚类作为基线方法。我们的评估数据来自：（i）CRSS-PLTL语料库，和（ii）AMI语料库的两个会议子集。与基线相比，使用所提出的改进，CRSS-PLTL语料库的日志化出错率（DER）相对降低了43.22%。对于AMI会议IS 1000 a和IS 1003 b，相对DER降低分别为29.37%和9.21%。
2019-07-12 cs.LG cs.SD eess.AS
Deep Normalization for Speaker Vectors
Tsinghua University（清华大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
深度说话人嵌入在说话人识别任务中表现出了最先进的性能。然而，这种方法的一个潜在问题是，从深度嵌入模型导出的扬声器向量对于每个单独的扬声器往往是非高斯的，并且对于不同扬声器的分布是非均匀的。这些不规则的分布会严重影响说话人识别的性能，特别是对于流行的PLDA评分方法，它假设均匀高斯分布。在本文中，我们认为，深说话人向量需要深度归一化，并提出了一种基于新的判别归一化流（DNF）模型的深度归一化方法。我们使用广泛使用的SITW和CNCeleb语料库的实验证明了所提出的方法的有效性。在这些实验中，基于DNF的规范化提供了大量的性能增益，并且在域外测试中也显示出强大的泛化能力。
2020-11-02 cs.LG cs.SD eess.AS
Deep Speaker Vector Normalization with Maximum Gaussianality Training
Tsinghua University（清华大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
深度说话人嵌入代表了说话人识别的最新技术。这种方法的一个关键问题是，所得到的深层扬声器矢量往往是不规则分布的。在以前的研究中，我们提出了一种基于新的判别归一化流（DNF）模型的深度归一化方法，通过该模型，可以将单个说话人的分布转换为均匀高斯分布。这种归一化被证明是有效的，但是尽管取得了显著的成功，我们根据经验发现，DNF模型产生的潜在代码通常既不是齐次的，也不是高斯的，尽管模型假设是这样的。在本文中，我们认为这个问题在很大程度上归因于DNF模型的最大似然（ML）训练标准，其目的是最大限度地提高观测的似然性，但不一定提高潜在代码的高斯性。因此，我们提出了一种新的最大高斯性（MG）训练方法，直接最大化的潜在代码的高斯性。我们在两个数据集SITW和CNCeleb上的实验表明，我们新的MG训练方法可以提供比以前的ML训练更好的性能，并且表现出更好的领域泛化能力，特别是在余弦评分方面。
2020-10-30 cs.LG cs.SD eess.AS
Max-margin Metric Learning for Speaker Recognition
Tsinghua University（清华大学）
概率线性判别分析（ProbabilityLinearDiscriminantAnalysis，PLDA）是一种常用的i向量模型归一化方法，在说话人识别中具有很好的性能。然而，PLDA模型的一个潜在问题是，它基本上假设扬声器向量上的高斯分布，这在实践中并不总是正确的。另外，目标函数与任务的目标不直接相关，例如，区分真正的演讲者和冒名顶替者。在本文中，我们提出了一个最大间隔度量学习方法来解决这个问题。它学习一个线性变换的标准，目标和冒名顶替者试验之间的差距最大化。在SRE 08核测试上的实验表明，与PLDA相比，新方法可以获得相当甚至更好的性能，尽管评分只是一个简单的余弦计算。
2016-03-31 cs.LG cs.SD
Multi-Frequency Information Enhanced Channel Attention Module for Speaker Representation Learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来，注意机制在基于神经网络的说话人确认系统中得到了成功的应用。将Squeeze-and-Excitation块扩展到卷积神经网络中已经取得了显着的性能。然而，它使用全局平均池（GAP）来简单地沿时间和频率维度对特征进行平均，这无法在特征图中保留足够的说话人信息。在这项研究中，我们表明，GAP是一个特殊的情况下，离散余弦变换（DCT）的时间-频率域数学上只使用最低频率分量的频率分解。为了增强说话人信息提取能力，本文提出利用多频信息，设计了两个新颖有效的注意模块：单频单通道（SFSC）注意模块和多频单通道（MFSC）注意模块。在DCT的基础上，提出的注意力模块可以有效地从多个频率分量中捕获更多的说话人信息。我们在VoxCeleb数据集上进行了全面的实验，并在第一个48-UTD法医语料库上进行了探测评估。实验结果表明，我们提出的SFSC和MFSC注意力模块可以有效地生成更具鉴别力的说话人表示，并优于ResNet 34-SE和ECAPA-TDNN系统，EER分别降低了20.9%和20.2%，而无需添加额外的网络参数。
2022-07-10 cs.LG cs.SD eess.AS
Cross-Lingual Speaker Verification with Domain-Balanced Hard Prototype Mining and Language-Dependent Score Normalization
Ghent University（根特大学）；imec（比利时微电子研究中心）
在本文中，我们描述了2020年短时间说话人验证（SdSV）挑战赛的文本独立任务的得分最高的IDLab提交。挑战的主要困难在于潜在的跨语言试验之间存在很大程度的语音重叠，以及域内DeepMine波斯语训练数据的有限性。我们引入了域平衡硬原型挖掘来微调最先进的ECAPA-TDNN x向量的说话人嵌入提取器。样本挖掘技术有效地利用了流行的AAM-softmax损失函数的扬声器原型之间的扬声器距离，以构建在域级别上平衡的具有挑战性的训练批次。为了提高跨语言试验的评分，我们提出了一种语言相关的s-范数评分标准化。冒名顶替者队列仅包含来自波斯语目标域的数据，其模拟始终为波斯语的入组数据。在高斯后端语言模型检测到测试说话者嵌入包含英语的情况下，从最大预期冒名顶替者平均分数中减去在AAM-softmax说话者原型上确定的跨语言补偿偏移。五个系统的融合与轻微的拓扑调整导致最终的MinDCF和EER分别为0.065和1.45%的SdSVC评价集。
2020-08-10 cs.CL cs.SD eess.AS
Probabilistic embeddings for speaker diarization
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）
从非常短的语音片段中提取的说话人嵌入（x向量）最近被证明在说话人日记化中具有竞争力的性能。我们通过从每个语音段中提取与x向量并行的对角精度矩阵来概括此配方，从而为将有关语音段质量的信息传播到PLDA评分后端提供了一条路径。这些精度量化了如果从高质量语音段中提取嵌入的值可能是什么的不确定性。所提出的概率嵌入（具有精度的x向量）通过将x向量视为隐藏变量并将其边缘化来与PLDA模型接口。我们将所提出的概率嵌入作为凝聚层次聚类（AHC）算法的输入，在DIHARD'19评估集中进行日志化。对于AHC所考虑的每个聚类假设，我们“按书”计算完整的PLDA可能性。我们对PLDA参数和概率x向量提取器进行联合判别训练。我们证明了相对于基线AHC算法的准确性提高，该算法应用于传统的x向量（没有不确定性），并且使用二进制对数似然比的平均值，而不是按书评分。
2020-11-06 cs.LG cs.SD eess.AS
A discriminative condition-aware backend for speaker verification
SRI International（斯坦福国际研究院）；Sandia National Laboratories（桑迪亚国家实验室）
我们提出了一个评分的说话人验证方法，模仿标准的基于PLDA的后端过程中使用的大多数当前的说话人验证系统。然而，与标准后端不同的是，模型的所有参数都是联合训练的，以优化说话人验证任务的二进制交叉熵。我们进一步将校准阶段集成到模型中，使该阶段的参数取决于表示信号条件的元数据向量。我们表明，所提出的后端在我们的大多数测试集上具有出色的开箱即用的校准性能，这使得它成为测试条件未知且开发数据不可用于训练特定于域的校准模型的情况下的理想方法。
2019-11-26 cs.LG cs.SD eess.AS
Learning Emotion-Invariant Speaker Representations for Speaker Verification
Hithink RoyalFlush AI Research Institute（同花顺人工智能研究院）
针对说话人验证中情感变化导致表征脆弱的问题，提出基于CopyPaste数据增强、余弦相似度损失和情感感知掩蔽的改进方法，显著降低等错误率。
2025-05-24 cs.SD eess.AS
Post-Training Embedding Alignment for Decoupling Enrollment and Runtime Speaker Recognition Models
Amazon（亚马逊）
提出轻量级神经网络NESSA实现不对称SID中独立模型的嵌入对齐，仅更新单模型即可获得标准对称方法60%以上的性能提升。
2024-01-23 cs.LG cs.SD eess.AS
Wespeaker: A Research and Production oriented Speaker Embedding Learning Toolkit
Shanghai Jiao Tong University（上海交通大学）；Tencent Corporation（腾讯公司）；Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）；AISpeech Ltd（思必驰有限公司）；NVIDIA（英伟达）
说话人建模对于说话人识别、说话人日志化等相关任务都是必不可少的。主要的建模方法是固定维向量表示，即，扬声器嵌入本文介绍了一个面向研究和生产的说话人嵌入学习工具Wespeaker。Wespeaker包含可扩展的数据管理、最先进的说话人嵌入模型、损失函数和评分后端的实现，通过在几个说话人验证挑战中获胜的系统中采用的结构化配方实现了极具竞争力的结果。在相关的配方中也展示了对其他下游任务的应用，如扬声器日记。此外，还集成了CPU和GPU兼容的部署代码，用于面向生产的开发。该工具包可在https://github.com/wenet-e2e/wespeaker上公开查阅。
2022-11-01 cs.SD eess.AS
Text-Independent Speaker Verification Based on Deep Neural Networks and Segmental Dynamic Time Warping
Microsoft Advanced Technology Lab（微软高级技术实验室）；Microsoft Corporation（微软公司）
在本文中，我们提出了一种新的方法，文本无关的说话人确认，结合分段动态时间规整（SDTW）和d-向量的方法。d向量，从训练以区分说话者的前馈深度神经网络生成，作为特征来执行对齐，从而计算注册和测试话语之间的总体距离。我们提出了NIST 2008数据集上的说话人验证结果，其中所提出的方法优于传统的i向量基线PLDA分数，并优于d-矢量方法与基于余弦和PLDA分数的局部距离。此外，与i-vector/PLDA基线的评分组合导致两种方法的显著增益。
2018-06-26 cs.CL cs.SD eess.AS
Pitch-synchronous DCT features: A pilot study on speaker identification
Indian Institute of Science（印度科学学院）
我们提出了一种新的特征，即音高同步离散余弦变换（PS-DCT），用于说话人识别的任务。这些特征直接从语音信号的有声段获得，而不需要任何预加重或加窗。对特征向量进行矢量量化，在训练过程中为每个说话人创建一个单独的码本。PS-DCT特征的性能被证明是好的，因此它可以用来补充说话人识别任务的其他功能。说话人识别也使用梅尔频率倒谱系数（MFCC）的功能，并结合所提出的功能，以提高其性能。本研究从TIMIT数据库中随机抽取了30名说话人（14名女性和16名男性）进行说话人识别。在此数据上，所提出的特征和MFCC对于码本大小为16和32分别给出了90%和96.7%的识别准确率，并且组合特征实现了100%的性能。除了说话人识别的任务，这项工作也显示了DCT的能力，以最小的预处理从语音信号中捕获的歧视性信息。
2018-12-06 cs.SD eess.AS
Unsupervised Speaker Diarization in Distributed IoT Networks Using Federated Learning
Michigan State University（密歇根州立大学）
本文针对分布式物联网音频设备提出了基于联邦学习的无监督说话人日志记录框架，通过无监督更新机制、说话人变化检测技术和聚类方法，实现了非IID数据下的高效识别，降低了计算开销和检测误差。
2024-11-29 cs.LG cs.SD eess.AS
Remarks on Optimal Scores for Speaker Recognition
Tsinghua University（清华大学）
在本文中，我们首先建立了说话人识别的最佳分数理论。我们的分析表明，最小贝叶斯风险（MBR）决定的说话人辨识和说话人确认任务可以基于一个归一化的似然（NL）。当底层生成模型是线性高斯时，NL得分在数学上等同于PLDA似然比，并且基于余弦距离和欧几里得距离的经验得分可以被视为在某些条件下该线性高斯NL得分的近似值。我们讨论了一些属性的NL分数，并进行了一个简单的模拟实验来证明NL分数的属性。
2020-10-30 cs.AI cs.LG cs.MM
Linear Regression for Speaker Verification
Northwestern Polytechnical University（西北工业大学）；School of Marine Science and Technology（海洋科学与技术学院）；Center for Intelligent Acoustics and Immersive Communications（智能声学与沉浸式通信中心）
本文提出了一种基于线性回归的说话人确认后端。线性回归是一种简单的线性模型，它利用封闭形式的解最小化目标与其估计之间的均方估计误差，其中目标被定义为话语的地面实况指示符向量。我们使用线性回归模型从前端学习说话人模型，并通过余弦相似性评分分类器验证两个说话人模型的相似性。为了评估线性回归模型的有效性，我们构建了三个说话人确认系统，分别使用高斯混合模型和身份向量（GMM/i-vector）前端，深度神经网络和i-vector（DNN/i-vector）前端，和深度向量（d-vector）前端作为其前端。NIST说话人识别评估数据集上的实证比较结果表明，该方法优于类内协方差归一化，线性判别分析和概率线性判别分析，给定的三个前端。
2018-02-12 cs.SD eess.AS
Speaker Identification using MFCC-Domain Support Vector Machine
University of Rajshahi（拉杰沙希大学）；International Islamic University Chittagong（吉大港国际伊斯兰大学）
语音识别和说话人辨识是安全领域中身份认证和身份验证的重要手段，但其实现难度较大。说话人辨识方法可以分为与文本无关的和与文本相关的两类。本文提出了一种基于MFCC域支持向量机的文本相关说话人辨识方法。在这项工作中，梅尔频率倒谱系数（MFCC）和他们的统计分布特性被用作特征，这将是输入到神经网络。本文首先将序列最小优化（SMO）学习技术应用于SVM，该技术比传统的Chunking，Osuna学习技术提高了性能。通过非线性滤波器组分析和离散余弦变换，计算出反映说话人特征的倒谱系数。研究了支持向量机在不同特征组合下的说话人辨识能力和收敛速度。大量的实验结果表明，所提出的方法的有效性。
2010-09-25 cs.LG cs.SD
Multi-Target Backdoor Attacks Against Speaker Recognition
Department of Software and IT Engineering, École de technologie supérieure, Québec, Canada（软件与信息技术工程系，École de technologie supérieure）；Department of Electrical and Computer Engineering, Johns Hopkins University, Maryland, USA（电气与计算机工程系，约翰霍普金斯大学）
提出一种使用点击声作为触发器的多目标后门攻击，可同时攻击多达50个说话人，成功率高达95.04%，并扩展到说话人验证任务，在目标与注册说话人高度相似时成功率可达90%。
2025-10-08 cs.LG cs.SD
Supervised online diarization with sample mean loss for multi-domain data
PerVoice Spa（PerVoice公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
最近，提出了一种完全监督的说话人日记化方法（UIS-RNN），该方法使用参数共享递归神经网络的多个实例对说话人进行建模。在本文中，我们提出了定性的修改模型，显着提高学习效率和整体日记性能。特别是，我们引入了一种新的损失函数，我们称之为样本平均损失，我们提出了一个更好的建模的扬声器转向行为，通过设计一个分析表达式来计算一个新的扬声器加入对话的概率。此外，我们还证明了我们的模型可以在固定长度的语音段上进行训练，从而消除了在推理中对说话人变化信息的需求。使用x向量作为输入特征，我们在DIHARD II挑战中使用的多域数据集上评估了我们提出的方法：我们的在线方法相对于原始UIS-RNN有所改进，并使用PLDA评分实现了与离线凝聚聚类基线相似的性能。
2019-11-13 cs.LG cs.SD eess.AS
The INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Duke Kunshan University（昆山杜克大学）；National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
INTERSPEECH 2020远场说话人验证挑战赛（FFSVC 2020）在明确定义的条件下解决了三个不同的研究问题：来自单个麦克风阵列的远场文本相关的说话人验证，来自单个麦克风阵列的远场文本无关的说话人验证，以及来自分布式麦克风阵列的远场文本相关的说话人验证。所有这三项任务都对参与者提出了跨渠道的挑战。为了模拟现实生活中的场景，注册话语记录从近距离通话的手机，而测试话语记录从远场麦克风阵列。在本文中，我们描述了数据库，挑战和基线系统，该系统基于基于ResNet的深度说话人网络，具有余弦相似性评分。对于一个给定的话语，不同通道的说话人嵌入平均作为最终的嵌入。对于任务1、任务2和任务3，基线系统分别实现了0.62、0.66和0.64的minDCF以及6.27%、6.55%和7.18%的EER。
2020-05-16 cs.SD eess.AS
LSTM based Similarity Measurement with Spectral Clustering for Speaker Diarization
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）；LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Paris-Sud（巴黎第十一大学）
越来越多的神经网络方法在说话人分类系统的子模块上取得了很大的进步，包括说话人变化检测和分段说话人嵌入提取。然而，在聚类阶段，像概率线性判别分析（PLDA）的传统算法被广泛用于评分两个语音段之间的相似性。在本文中，我们提出了一种有监督的方法来测量具有顺序双向长短期记忆网络（Bi-LSTM）的音频记录的所有片段之间的相似性矩阵。谱聚类应用于相似性矩阵的顶部，以进一步提高性能。实验结果表明，我们的系统显着优于国家的最先进的方法，并实现了6.63%的NIST SRE 2000 CALLHOME数据库上的日志错误率。
2019-07-23 cs.LG cs.SD eess.AS
Domain-Dependent Speaker Diarization for the Third DIHARD Challenge
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用研究实验室）
本报告介绍了ABSP实验室团队为第三次DIHARD语音日记化挑战开发的系统。我们在这项工作中的主要贡献是开发一个简单而有效的解决方案，声学域相关的语音日记。我们探讨\emph{acoustic domain identification}（ADI）任务的说话人嵌入。我们的研究表明，在第三个DIHARD挑战数据集中，基于i向量的方法比基于x向量的方法实现了更好的性能。接下来，我们将ADI模块与diarization框架集成。当我们优化凝聚层次聚类的阈值和各个声学域评分过程中的降维参数时，性能大大提高。对于DIHARD III评价集的轨道1，我们分别在核心和完全条件下实现了DER中$9.63\%$和$10.64\%$的相对改善。
2021-01-25 cs.LG cs.SD eess.AS
Generative Adversarial Speaker Embedding Networks for Domain Robust End-to-End Speaker Verification
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
本文提出了一种使用生成对抗网络学习域不变说话人嵌入的新方法。其主要思想是混淆域映射，使其无法分辨嵌入是来自源域还是目标域。我们训练几个GAN变种使用我们提出的框架，并将它们应用到说话人验证任务。在具有挑战性的NIST-SRE 2016数据集上，我们能够匹配强基线x向量系统的性能。与依赖于降维（LDA）和外部分类器（PLDA）的基线系统相比，我们提出的说话人嵌入可以使用简单的余弦距离进行评分。这是通过使用角裕度损失函数端到端优化我们的模型来实现的。此外，我们能够通过在分数水平上平均我们不同的GAN模型来显着提高验证性能，相对于基线提高了7.2%。
2018-11-07 cs.CV cs.SD eess.AS
Tackling the Score Shift in Cross-Lingual Speaker Verification by Exploiting Language Information
Ghent University（根特大学）；imec（比利时微电子研究中心）
本文包含对IDLab提交给VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的跨语言说话人验证的挑战后性能分析。我们发现，目前的扬声器嵌入提取器一致低估扬声器内跨语言试验的相似性。因此，典型的训练和评分协议没有足够重视说话人内部语言变异的补偿。我们提出了两种技术来提高跨语言说话人确认的鲁棒性。首先，我们用小批量采样策略增强了我们之前提出的大间距微调（LM-FT）训练阶段，该策略增加了小批量中说话人内跨语言样本的数量。其次，我们在逻辑回归校准阶段加入语言信息。我们集成质量指标的基础上的软，硬决定的VoxLingua 107语言识别模型。在VoxSRC-21测试集上，所提出的技术比基线模型相对提高了11.7%，并在相应的挑战中获得了第三名。
2022-06-19 cs.SD eess.AS
On deep speaker embeddings for text-independent speaker recognition
ITMO University（ITMO大学）；STC-innovations Ltd.（STC创新有限公司）
我们研究了深度神经网络在与文本无关的说话人识别任务中的性能。我们证明，在分类神经网络的最后一个分类层使用角softmax激活，而不是一个简单的softmax激活允许训练一个更广义的判别扬声器嵌入提取器。余弦相似度是在该嵌入空间中进行说话人确认的有效度量。我们还解决了选择一个架构的提取器的问题。我们发现，具有残留帧级连接的深度网络优于宽但相对较浅的架构。本文还提出了一些改进以前的基于DNN的提取器系统，以提高说话人识别的准确性。我们表明，区别训练的相似性度量学习方法优于标准的LDA-PLDA方法作为嵌入后端。在Speakers in the Wild和NIST SRE 2016评估集上获得的结果证明了所提出的系统在处理接近现实生活条件时的鲁棒性。
2018-04-26 cs.CL cs.SD eess.AS
Deep CNN based feature extractor for text-prompted speaker recognition
ITMO University（ITMO大学）；STC-innovations Ltd.（STC创新有限公司）；STC Ltd.（STC有限公司）
深度学习在说话人确认领域仍然不是一个非常常用的工具。我们研究了深度卷积神经网络在文本提示的说话人验证任务中的性能。提示的密码短语被分割成单词状态-即数字-以单独测试每个数字发音。我们训练一个单一的高级特征提取器的所有状态，并使用余弦相似性度量评分。我们网络的关键特征是Max-Feature-Map激活函数，它充当嵌入式特征选择器。通过使用多任务学习方案来训练高级特征提取器，我们能够在质量方面超越经典基线系统，并在这种新手方法中取得了令人印象深刻的结果，在RSR 2015评估集上获得了2.85%的EER。建议和基线系统的融合改善了这一结果。
2018-03-13 cs.CL cs.LG cs.SD
An Investigation of Universal Background Sparse Coding Based Speaker Verification on TIMIT
Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一个通用的背景模型，命名为通用背景稀疏编码（UBSC），用于说话人确认。该方法通过数据重构训练聚类集合，并通过单近邻优化和二值化从聚类中产生稀疏编码。UBSC的主要优点是它不受局部最小值的影响，并且不对数据分布进行高斯假设。我们在一个干净的语音语料库TIMIT上对UBSC进行了评估。我们使用余弦相似度和内积相似度作为试验的评分方法。实验结果表明，UBSC模型与高斯混合模型具有可比性。
2017-03-13 cs.SD
Investigation of Frame Alignments for GMM-based Digit-prompted Speaker Verification
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
在基于GMM的说话人确认中，帧对齐可以通过不同的方法来计算。通过结合语音高斯混合模型（PGMM），我们能够比较使用从深度神经网络（DNN）和传统的隐马尔可夫模型（HMM）在数字提示的说话人验证中提取的对齐的性能。基于这两种对齐的不同特点，我们提出了一种新的内容验证方法，以提高系统的安全性，而不需要太多的计算开销。我们在RSR 2015 Part-3数字提示任务上的实验表明，基于DNN的对齐与HMM对齐表现相当。实验结果也证明了所提出的基于Kullback-Leibler（KL）散度的评分方法在拒绝带有错误密码短语的语音时的有效性。
2018-09-02 cs.SD eess.AS
Joint Speaker Features Learning for Audio-visual Multichannel Speech Separation and Recognition
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）；The Hong Kong Polytechnic University（香港理工大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对视听多通道语音分离与识别的零样本自适应，本文通过专用融合模块联合训练xVector与ECAPA-TDNN说话人编码器，显著提升分离识别效果并大幅降低WER。
2024-06-14 cs.SD eess.AS
Malacopula: adversarial automatic speaker verification attacks using a neural-based generalised Hammerstein model
EURECOM（欧洲通信学院）；National Institute of Informatics（国立信息学研究所）；Microsoft（微软公司）；The Hong Kong Polytechnic University（香港理工大学）
本研究提出基于神经网络的广义Hammerstein模型Malacopula，通过生成对抗性扰动提升语音欺骗攻击对ASV系统的效果，实验验证了其攻击效力及现有防御的局限，凸显了完善ASV对抗防御的必要性。
2024-08-17 cs.CR cs.LG cs.SD
Binaural Selective Attention Model for Target Speaker Extraction
The University of New South Wales（新南威尔士大学）
针对鸡尾酒会场景下的目标说话人提取问题，受人类双耳选择性听觉启发，提出基于FaSNet、引入多头选择性注意模块的双耳时域模型，对比两种双耳交互方法，在无回声双说话人测试中取得优于现有模型的最优性能。
2024-06-18 cs.SD eess.AS eess.SP
Adapting End-to-End Neural Speaker Verification to New Languages and Recording Conditions with Adversarial Training
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
在这篇文章中，我们提出了一种新的方法来适应扬声器嵌入到新的领域的基础上对抗训练的神经网络。我们将我们的嵌入应用于文本无关的说话人验证任务，这是生物识别安全中一个具有挑战性的现实问题。我们通过结合一种新的一维自关注残差网络，角裕度损失函数和对抗训练策略，进一步开发了端到端的说话人嵌入模型。我们的模型能够学习非常紧凑的64维扬声器嵌入，使用简单的余弦距离评分在许多流行的数据集上提供有竞争力的性能。在NIST-SRE 2016任务中，我们能够击败强大的i向量基线，而在Speakers in the Wild任务中，我们的模型能够超越i向量和x向量基线，显示出比后者绝对提高了2.19%。此外，我们还表明，对抗性训练的整合始终导致了对未适应模型的显着改进。
2018-11-07 cs.CV cs.SD eess.AS
Robust Speaker Clustering using Mixtures of von Mises-Fisher Distributions for Naturalistic Audio Streams
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
发言人日记（即确定谁发言以及何时发言？）对于多发言人自然交互，例如同伴领导的团队学习（PLTL）会话，是一项具有挑战性的任务。在这项研究中，我们提出了强大的说话人聚类的基础上混合的多元冯Mises-Fisher分布。我们的日记流水线有两个阶段：（i）地面实况分割;（ii）提出的扬声器聚类。地面实况语音活动信息用于从每个语音段提取i向量。我们使用主成分分析对i-Vectors进行后处理，以进行降维，然后进行长度归一化。归一化i向量是具有区分性方向特征的高维单位向量。我们使用由多变量von Mises-Fisher分布组成的混合模型对归一化i-向量进行建模。采用余弦距离的K均值聚类作为基线方法。评估数据来自：（i）CRSS-PLTL语料库;和（ii）AMI语料库的三次会议子集。CRSSPLTL数据包含PLTL课程的录音，这是学生主导的STEM教育范式。提出的方法始终优于基线，导致PLTL和AMI语料库的相对改善分别高达44.48%和53.68%。索引术语：扬声器聚类，von Mises-Fisher分布，同行领导的团队学习，i-Vector，自然主义音频。
2018-08-18 cs.SD eess.AS
STC Speaker Recognition Systems for the VOiCES From a Distance Challenge
STC-Innovations Ltd.（STC创新有限公司）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文介绍了语音技术中心（STC）的说话人识别（SR）系统提交给VOiCES From a Distance Challenge 2019。挑战的SR任务集中在嘈杂条件下的单通道远场/远场音频中的说话人识别问题。在这项工作中，我们研究了不同的深度神经网络架构的说话人嵌入提取，以解决这个问题。我们发现，具有残留帧级连接的深度网络优于更浅的架构。本文研究了简单的基于能量的语音活动检测器（SAD）和基于SAD的自动语音识别（ASR）。我们还解决了鲁棒嵌入提取器训练的数据准备问题。使用自动房间脉冲响应发生器进行数据增强的混响。在我们的系统中，我们使用区分训练的余弦相似性度量学习模型作为嵌入后端。对我们使用的每个单独子系统应用评分标准化程序。我们最终提交的系统是基于不同子系统的融合。在VOiCES开发和评估集上获得的结果证明了所提出的系统在噪声条件下处理远场/远场音频时的有效性和鲁棒性。
2019-04-12 cs.CL cs.LG cs.SD
