Weakly Supervised PLDA Training
Tsinghua University(清华大学);Pachira(帕奇拉)
PLDA是一种流行的i向量模型归一化方法,它在说话人确认中具有最先进的性能。然而,PLDA训练需要大量标记的开发数据,这在大多数情况下非常昂贵。我们提出了一种廉价的PLDA训练方法,它假设同一会话中的扬声器可以很容易地分离,并且不同会话中的扬声器只是不同的。这导致“弱标签”,不完全准确但便宜,导致PLDA培训薄弱。我们在现实生活中的大规模电话客户服务上的实验结果表明,当人类标记的数据有限时,弱训练可以提供良好的性能。更有趣的是,弱训练可以作为一种判别式自适应方法,当人类标记的数据不足时,这种方法比普遍的无监督方法更有效。
2017-05-23 cs.AI cs.CL cs.LG
Unifying Cosine and PLDA Back-ends for Speaker Verification
The Chinese University of Hong Kong(香港中文大学);Meituan(美团)
现有的说话人确认(SV)系统使用后端模型来对从神经网络模型提取的说话人嵌入的相似性进行评分。常用的后端模型是余弦评分和概率线性判别分析(PLDA)评分。随着最近开发的神经嵌入,理论上更有吸引力的PLDA方法被发现没有优势,甚至不如简单的余弦评分SV系统的性能。本文对两种评分方法之间的关系进行了调查,旨在解释上述违反直觉的观察结果。结果表明,余弦评分基本上是PLDA评分的一个特殊情况。换句话说,通过适当地设置PLDA的参数,两个后端变得等效。因此,余弦评分不仅继承了PLDA的基本假设,而且还引入了对输入嵌入属性的额外假设。实验表明,在域匹配条件下,余弦评分所要求的维度独立性假设是造成两种方法性能差距的主要原因。当存在严重的域失配并且维度独立性假设不成立时,PLDA对于领域自适应将比余弦执行得更好。
2022-04-22 cs.SD eess.AS
Scoring of Large-Margin Embeddings for Speaker Verification: Cosine or PLDA?
National University of Singapore(新加坡国立大学)
在训练深度说话人嵌入神经网络时出现大幅度softmax交叉熵损失,引发了从参数后端到更简单的余弦相似性度量的逐步转变。流行的参数后端包括概率线性判别分析(PLDA)及其变体。本文研究了基于边缘的交叉熵损失导致这种转变的属性,旨在找到最适合说话人验证的评分后端。此外,我们重新审视了在过去被广泛使用的预处理技术,并评估其对大利润嵌入的有效性。在使用各种大余量softmax交叉熵损失训练的最先进的ECAPA-TDNN网络上的实验显示,扬声器内紧凑性大幅增加,使得传统的PLDA变得多余。在这方面,我们发现,约束内扬声器协方差矩阵可以提高性能的PLDA。通过在VoxCeleb-1和SITW核心-核心测试集上进行的一系列实验证明,该算法具有40.8%的等错误率(EER)降低和35.1%的最小检测成本(minDCF)降低。它也优于余弦评分,EER和minDCF分别降低了10.9%和4.9%。
2022-04-11 cs.SD eess.AS
Domain adaptation based Speaker Recognition on Short Utterances
Queensland University of Technology(昆士兰科技大学);University of Jaffna(贾夫纳大学)
本文探讨了如何在域内和域外的概率线性判别分析(PLDA)说话人确认的行为时,注册和验证长度减少。实验研究发现,当使用全长话语进行评估时,域内PLDA方法的EER和DCF值比域外PLDA方法提高了28%以上,而当使用短话语进行评估时,域内说话人确认的性能增益以增加的速度降低。新的修改的数据集间变异性(IDV)补偿是用来补偿和域内外数据之间的不匹配和IDV补偿的域外PLDA显示分别为26%和14%的改善域外PLDA说话人确认时,SWB和NIST数据分别用于S归一化。当评估话语长度减小时,IDV的性能增益也减小,因为与域内和域外数据之间的数据集失配相比,短话语评估数据i向量由于语音变化而具有更多变化。
2016-10-11 cs.SD
Text-Independent Speaker Verification Based on Deep Neural Networks and Segmental Dynamic Time Warping
Microsoft Advanced Technology Lab(微软高级技术实验室);Microsoft Corporation(微软公司)
在本文中,我们提出了一种新的方法,文本无关的说话人确认,结合分段动态时间规整(SDTW)和d-向量的方法。d向量,从训练以区分说话者的前馈深度神经网络生成,作为特征来执行对齐,从而计算注册和测试话语之间的总体距离。我们提出了NIST 2008数据集上的说话人验证结果,其中所提出的方法优于传统的i向量基线PLDA分数,并优于d-矢量方法与基于余弦和PLDA分数的局部距离。此外,与i-vector/PLDA基线的评分组合导致两种方法的显著增益。
2018-06-26 cs.CL cs.SD eess.AS
A Generalized Framework for Domain Adaptation of PLDA in Speaker Recognition
NEC(日本电气股份有限公司);Biometrics Research Laboratories(生物识别研究实验室)
本文提出了一种广义的概率线性判别分析(PLDA)在说话人识别中的域自适应框架。它不仅包括几个现有的监督和无监督的域自适应方法,但也使得可能更灵活地使用现有的数据在不同的领域。特别是,我们在这里介绍下面描述的两种新技术。(1)基于相关对齐的插值和(2)协方差正则化。所提出的基于相关对齐的插值方法降低minCprimary高达30.5%,从域外PLDA模型自适应前相比,minCprimary也是5.5%,低于传统的线性插值方法与最佳插值权重。此外,建议的正则化技术,确保在插值的鲁棒性w.r.t.改变插值权重,这在实践中是必不可少的。
2020-08-20 cs.SD eess.AS
Covariance Regularization for Probabilistic Linear Discriminant Analysis
The Chinese University of Hong Kong(香港中文大学);Meituan(美团);Tencent PCG(腾讯平台与内容事业群)
概率线性判别分析(PLDA)是说话人确认系统中常用的说话人嵌入相似性评分方法。最近的研究提高了性能的PLDA在域匹配的条件下,对角化其协方差。我们怀疑这种残酷的修剪方法可能会消除其在建模说话人嵌入的维度相关性方面的能力,从而导致领域自适应性能不足。本文探讨了两种替代的协方差正则化方法,即插值PLDA和稀疏PLDA,来解决这个问题。内插的PLDA结合余弦评分的先验知识来内插PLDA的协方差。稀疏PLDA引入稀疏惩罚来更新协方差。实验结果表明,这两种方法明显优于对角正则化与领域自适应。此外,当训练用于领域自适应的稀疏PLDA时,可以显著减少域内数据。
2022-12-06 cs.SD eess.AS
Back-ends Selection for Deep Speaker Embeddings
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
概率线性判别分析(PLDA)是早期说话人识别方法(如i-vector和x-vector)的主要和必要的后端。然而,随着神经网络和基于边缘的损失函数的发展,我们可以获得深度说话人嵌入(DSE),它具有增加类间分离和减小类内距离的优点。在这种情况下,PLDA似乎是不必要的,甚至适得其反的区别性嵌入,余弦相似性评分(Cos)实现更好的性能比PLDA在某些情况下。受此启发,在本文中,我们系统地探讨了如何为深度说话人嵌入选择后端(Cos或PLDA),以在不同情况下实现更好的性能。通过分析PLDA和从具有不同数目的段级层的模型中提取的DSE的性质,我们推测Cos在同域情况下更好,PLDA在跨域情况下更好。我们在VoxCeleb和NIST SRE数据集上进行了四种应用情况下的实验,单/多域训练和同/跨域测试,以验证我们的猜想,并简要解释后端自适应算法的工作原理。
2022-04-25 cs.SD eess.AS
Pairwise Discriminative Neural PLDA for Speaker Verification
Indian Institute of Science(印度科学学院)
说话人验证的最新方法涉及提取判别嵌入,如x向量,然后使用概率线性判别分析(PLDA)生成模型后端。在本文中,我们提出了一个成对的神经判别模型的说话人验证的任务上的一对说话人嵌入,如x-向量/i-向量,并输出一个分数,可以被认为是一个缩放的对数似然比。我们构造了一个可微的代价函数,它近似于说话人确认损失,即最小检测代价。线性判别分析(LDA)、单位长度归一化和类内协方差归一化的预处理步骤都被建模为神经模型的层,并且说话人验证代价函数可以在训练期间通过这些层反向传播。我们还探索了正则化技术来防止过拟合,这是使用判别式后端模型进行验证任务的主要问题。实验在NIST SRE 2018开发和评估数据集上进行。我们观察到,在PLDA基线系统上,CMN 2条件下的平均相对改善为8%,VAST条件下的平均相对改善为30%。
2020-02-07 cs.LG cs.SD eess.AS
A Study on Decoupled Probabilistic Linear Discriminant Analysis
Tsinghua University(清华大学);Northwest Minzu University(西北民族大学)
概率线性判别分析(PLDA)在说话人确认等开集确认任务中有着广泛的应用。PLDA的一个关键问题是模型过于简单(线性高斯),无法处理复杂的数据;然而,简单性本身就是PLDA的主要优势,因为它可以实现理想的泛化。因此,如何在保持简单性的同时提高PLDA的建模能力是一个有趣的研究。本文提出了一种解耦的方法,它涉及到一个简单的和可推广的全局模型,和一个复杂的和表达的局部模型。虽然全局模型对整个数据进行鸟瞰,但局部模型表示单个类的细节。我们朝着这个方向进行了初步的研究,并调查了一个简单的解耦模型,包括全球和本地的模型。新的模型,我们称之为解耦PLDA,进行了测试的扬声器验证任务。实验结果表明,当该模型是基于原始说话人向量时,它的性能始终优于vanilla PLDA。然而,当说话人向量进行长度归一化处理时,解耦PLDA的优势将在很大程度上失去,这表明未来的非线性局部模型的研究。
2021-11-24 cs.SD eess.AS
PLDA-Based Diarization of Telephone Conversations
TUBITAK BILGEM(土耳其科学技术研究理事会信息与信息安全研究中心);Sabanci University(萨班哲大学)
本文研究了概率线性判别分析(PLDA)在电话会话说话人日志化中的应用。我们介绍了使用变分贝叶斯(VB)的推理方法下的PLDA模型建模的分段i-向量在说话人日记。为了避免VB迭代过程中的局部最优解,引入了确定性退火算法。我们比较我们提出的系统与一个著名的系统,适用于k-均值聚类的主成分分析(PCA)系数的分段i-向量。我们使用美国国家标准与技术研究院(NIST)2008年说话人识别评估(SRE)的总通道电话数据作为测试集,以评估所提出的系统的性能。与基线系统相比,我们实现了约20%的相对改善,在拨号错误率(DER)。
2017-09-29 cs.SD eess.AS
Gaussian speaker embedding learning for text-independent speaker verification
National Engineering Laboratory for Speech and Language Information Processing(国家语音语言信息处理工程实验室);University of Science and Technology of China(中国科学技术大学)
x向量使用深度神经网络将任意持续时间的片段映射到固定维度的向量。结合概率线性判别分析(PLDA)后端,x-vector/PLDA已成为文本无关说话人确认的主导框架。然而,如何提取适合PLDA后端的x向量是一个关键问题。本文提出了一种高斯噪声约束网络(GNCN)来提取xvector,该网络采用多任务学习策略,主任务对说话人进行分类,辅助任务只对高斯噪声进行拟合。使用SITW数据库进行实验。实验结果证明了该方法的有效性
2020-01-14 cs.SD eess.AS eess.SP
Max-margin Metric Learning for Speaker Recognition
Tsinghua University(清华大学)
概率线性判别分析(ProbabilityLinearDiscriminantAnalysis,PLDA)是一种常用的i向量模型归一化方法,在说话人识别中具有很好的性能。然而,PLDA模型的一个潜在问题是,它基本上假设扬声器向量上的高斯分布,这在实践中并不总是正确的。另外,目标函数与任务的目标不直接相关,例如,区分真正的演讲者和冒名顶替者。在本文中,我们提出了一个最大间隔度量学习方法来解决这个问题。它学习一个线性变换的标准,目标和冒名顶替者试验之间的差距最大化。在SRE 08核测试上的实验表明,与PLDA相比,新方法可以获得相当甚至更好的性能,尽管评分只是一个简单的余弦计算。
2016-03-31 cs.LG cs.SD
Joint Bayesian Gaussian discriminant analysis for speaker verification
Tsinghua University(清华大学)
现有技术的基于i向量的说话人验证依赖于用于判别分析的概率线性判别分析(PLDA)的变体。我们的动机主要是最近的联合贝叶斯(JB)方法,这是最初提出的判别分析在人脸验证的工作。我们将JB应用于说话人确认,并在原JB的基础上做出了三个贡献。1)与原JB中近似统计量的EM迭代相比,采用了精确统计量的EM迭代,并给出了更好的性能。2)我们提出对类内和类间协方差矩阵进行同时对角化(SD)以实现有效测试,这比原JB中基于SVD的有效测试方法具有更广泛的应用范围。3)我们仔细研究各种高斯PLDA和JB之间的相似性和差异,补充了以前的分析比较JB只与Escherie-Elder PLDA。在NIST SRE 10核心条件5上进行了大量的实验,经验验证了JB的优越性,与最先进的PLDA相比,具有更快的收敛速度和9-13%的EER降低。
2017-01-19 cs.LG cs.SD
The CORAL+ Algorithm for Unsupervised Domain Adaptation of PLDA
NEC Corporation(日本电气股份有限公司)
最先进的说话人识别系统包括x向量(或i向量)说话人嵌入前端,其后是概率线性判别分析(PLDA)后端。这些组件的有效性依赖于大量标记训练数据集合的可用性。在实践中,域(例如,语言、人口统计学)与我们训练系统的不同。为了缩小由于域不匹配造成的差距,我们提出了一种无监督的PLDA自适应算法,从少量未标记的域内数据中学习。所提出的方法的灵感来自以前的工作,基于特征的领域自适应技术称为相关对齐(CORAL)。我们将本文提出的基于模型的自适应技术称为CORAL+。在最近的NIST 2016和2018说话人识别评估(SRE'16,SRE'18)数据集上实验验证了所提出的技术的有效性。
2020-04-21 cs.LG cs.SD eess.AS
VAE-based regularization for deep speaker embedding
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
深度说话人嵌入已经在说话人识别中实现了最先进的性能。这些嵌入向量(称为“x向量”)的潜在问题不是高斯的,导致著名的PLDA后端评分的性能下降。本文提出了一种基于变分自动编码器(VAE)的正则化方法。该模型将x向量转换到潜在空间,其中映射的潜在代码更具高斯性,因此更适合PLDA评分。
2019-04-07 cs.LG cs.SD eess.AS
DNN Speaker Tracking with Embeddings
Universidad Autónoma de Yucatán(尤卡坦自治大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在多扬声器应用中,通常具有来自注册扬声器的预先计算的模型。使用这些模型来识别这些说话者干预录音的情况是说话者跟踪的任务。在本文中,我们提出了一种新的基于嵌入的说话人跟踪方法。具体来说,我们的设计是基于一个卷积神经网络,模仿一个典型的说话人验证PLDA(概率线性判别分析)分类器,并发现在一个在线的方式发出的目标扬声器的区域。该系统从两个不同的角度进行了研究:日记和跟踪;结果都显示了显着的改善,在相同的实验条件下,PLDA基线。两个标准的公共数据集,CALLHOME和DIHARD II单通道,进行了修改,以创建两个扬声器子集的重叠和非重叠区域。我们评估我们的监督方法的鲁棒性与从不同的段长度生成的模型。DIHARD II单通道DER相对提高17%,表现出良好的性能。此外,为了使基线系统类似于说话人跟踪,非目标说话人被添加到录音中。即使在这些不利条件下,我们的方法也足够强大,可以超越PLDA基线。
2020-07-13 cs.LG cs.SD eess.AS
Toroidal Probabilistic Spherical Discriminant Analysis
Brno University of Technology(布尔诺理工大学);Amazon Alexa(亚马逊Alexa);Speechly
在说话人识别中,语音片段被映射到单位超球面上的嵌入,通常使用两个评分后端,即余弦评分和PLDA。我们最近提出了PSDA,这是PLDA的一种类似物,它使用Von Mises-Fisher分布而不是高斯分布。在本文中,我们提出了环形PSDA(T-PSDA)。它扩展了PSDA的超球面的环形子流形中的扬声器内和扬声器之间的可变性建模的能力。与PLDA和PSDA一样,该模型允许闭合形式的评分和闭合形式的EM更新用于训练。在VoxCeleb上,我们发现T-PSDA的准确性与余弦评分相当,而PLDA的准确性较差。在NIST SRE'21上,我们发现与余弦评分和PLDA相比,T-PSDA提供了很大的准确性增益。
2022-10-27 cs.SD eess.AS stat.ML
A Speaker Verification Backend with Robust Performance across Conditions
Omilia Conversational Intelligence(Omilia 对话智能公司);Instituto de Investigación en Ciencias de la Computación (ICC), CONICET-UBA(计算机科学研究所(ICC),CONICET-UBA);Speech Technology and Research Lab (StarLab), SRI International(语音技术与研究实验室(StarLab),SRI International);Phonexia(Phonexia 公司)
在本文中,我们解决的问题,说话人确认在开发过程中看不见或未知的条件。说话人验证的标准方法包括使用深度神经网络提取说话人嵌入,并通过由概率线性判别分析(PLDA)和全局逻辑回归得分校准组成的后端处理它们。已知该方法导致系统在与用于训练校准模型的条件不同的条件下工作不良。我们建议修改标准后端,引入自适应校准器,使用持续时间和其他自动提取的边信息来适应输入条件。后端是有区别地训练的,以优化二进制交叉熵。当在仅相对于说话者标记的多个不同数据集上训练时,与标准PLDA方法相比,所提出的后端一致地并且在某些情况下显著地改进了在多个保留数据集上的校准,其中一些保留数据集与训练数据明显不同。识别性能也不断提高。我们表明,PLDA和自适应校准器的联合培训是必不可少的-冻结PLDA和微调校准器时,不能实现同样的好处。据我们所知,本文的结果是文献中的第一个证据,它是可能的,以开发一个说话人验证系统具有强大的开箱即用的性能在各种条件下。
2021-08-17 cs.LG cs.SD
Probabilistic embeddings for speaker diarization
Brno University of Technology(布尔诺理工大学);Omilia - Conversational Intelligence(Omilia对话智能公司)
从非常短的语音片段中提取的说话人嵌入(x向量)最近被证明在说话人日记化中具有竞争力的性能。我们通过从每个语音段中提取与x向量并行的对角精度矩阵来概括此配方,从而为将有关语音段质量的信息传播到PLDA评分后端提供了一条路径。这些精度量化了如果从高质量语音段中提取嵌入的值可能是什么的不确定性。所提出的概率嵌入(具有精度的x向量)通过将x向量视为隐藏变量并将其边缘化来与PLDA模型接口。我们将所提出的概率嵌入作为凝聚层次聚类(AHC)算法的输入,在DIHARD'19评估集中进行日志化。对于AHC所考虑的每个聚类假设,我们“按书”计算完整的PLDA可能性。我们对PLDA参数和概率x向量提取器进行联合判别训练。我们证明了相对于基线AHC算法的准确性提高,该算法应用于传统的x向量(没有不确定性),并且使用二进制对数似然比的平均值,而不是按书评分。
2020-11-06 cs.LG cs.SD eess.AS
Sub-vector Extraction and Cascade Post-Processing for Speaker Verification Using MLLR Super-vectors
LIMSI-CNRS(法国国家科学研究中心计算机科学与自动化实验室);Université Paris-Sud(巴黎南大学);Vocapia Research(Vocapia研究公司);Université d’Avignon(阿维尼翁大学)
在本文中,我们提出了一个说话人确认系统的基础上最大似然线性回归(MLLR)的超向量,说话人的特征由m-向量。这些矢量是通过使用重叠滑动窗口的扬声器MLLR超矢量的均匀分割而获得的。我们考虑三种方法MLLR转换,基于传统的$1$最佳自动转录,格字转录,或一个简单的全球通用背景模型(UBM)。会话可变性补偿在后处理模块中使用概率线性判别分析(PLDA)或特征因子径向(EFR)来执行。或者,我们为基于MLLR超向量的说话者验证系统提出了级联后处理。在这种情况下,首先将m向量或MLLR超向量投影到通过线性判别分析(LDA)生成的低维向量空间上。接下来,将PLDA会话可变性补偿和评分应用于降维向量。这种方法结合了两种技术的优点,使PLDA参数的估计更容易。在NIST 2008和2010说话人识别评测(SRE)的电话会话上的实验结果表明,所提出的m向量系统的性能明显优于基于全MLLR超向量的传统系统。级联后处理进一步降低了所有情况下的出错率。最后,我们提出了融合的结果与标准的i-向量系统的功能,以及在得分域,证明了m-向量系统是既有竞争力又有互补性。
2016-05-12 cs.SD
Query Expansion System for the VoxCeleb Speaker Recognition Challenge 2020
National Taiwan Normal University(国立台湾师范大学)
在本报告中,我们描述了我们提交给VoxCeleb Speaker Recognition Challenge(VoxSRC)2020的申请。采取了两种办法。一种是将查询扩展应用于说话人确认,与本研究的基线相比,取得了显著的进步。另一种是使用Kaldi提取x向量,并将其概率线性判别分析(PLDA)得分与ResNet得分相结合。
2020-11-04 cs.CL cs.SD eess.AS
Incorporating Uncertainty from Speaker Embedding Estimation to Speaker Verification
Institute for Infocomm Research (I 2 R), A STAR, Singapore
在不同条件下记录的语音话语在它们的嵌入估计中表现出不同程度的置信度,即,不确定性,即使它们使用相同的神经网络提取。本文旨在将xi向量网络前端产生的不确定性估计与用于说话人验证的概率线性判别分析(PLDA)后端评分相结合。为了实现这一点,我们推导出一个后验协方差矩阵,它测量的不确定性,从逐帧精度的嵌入空间。我们提出了一个对数似然比函数的PLDA评分的不确定性传播。我们还建议用长度缩放技术取代长度归一化预处理技术,以应用于后端的不确定性传播。在VoxCeleb-1、SITW测试集以及一个域不匹配的CNCeleb 1-E测试集上的实验结果表明,所提方法的EER降低了14.5%-41.3%,minDCF降低了4.6%-25.3%。
2023-02-23 cs.SD eess.AS
Attention Back-end for Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
概率线性判别分析(PLDA)或余弦相似度已被广泛用于传统的说话人确认系统作为后端技术来衡量成对的相似度。为了更好地利用多个注册话语,我们提出了一种新的注意后端模型,它可以用于文本无关(TI)和文本相关(TD)的说话人验证,并采用缩放点自注意和前馈自注意网络作为架构,学习注册话语的内部关系。为了验证所提出的注意力后端,我们在CNCeleb和VoxCeleb数据集上进行了一系列实验,将其与几种最先进的说话人编码器(包括TDNN和ResNet)相结合。实验结果表明,使用多个注册话语CNCeleb的建议注意力后端模型导致较低的EER和minDCF分数比PLDA和余弦相似度对应的每个扬声器编码器和VoxCeleb上的实验表明,我们的模型甚至可以用于单个注册情况。
2021-10-06 cs.SD eess.AS
Self-Supervised Metric Learning With Graph Clustering For Speaker Diarization
Indian Institute of Science(印度科学学院)
在本文中,我们提出了一种新的算法,说话人日记使用基于图的聚类度量学习。图聚类算法使用由相似性分数组成的邻接矩阵。这些分数是在从给定记录内的音频片段对中提取的扬声器嵌入之间计算的。在本文中,我们提出了一种方法,共同学习的发言人嵌入和相似性度量的原则,自监督学习。度量学习网络实现了概率线性判别分析(PLDA)的神经模型。自我监督是从先前的聚类迭代中获得的伪标签中得到的。表示学习和度量学习的整个模型都是用二进制交叉熵损失来训练的。通过将基于自监督的度量学习与基于图的聚类算法相结合,我们在AMI和DIHARD数据集上分别实现了60%和7%的相对改进。
2021-09-14 cs.SD eess.AS
Probabilistic Back-ends for Online Speaker Recognition and Clustering
Nanyang Technological University(南洋理工大学)
针对在线说话人聚类中的多注册说话人识别问题,研究了不同评分后端的性能。首先,我们表明,流行的余弦评分遭受不同数量的注册话语的差的分数校准。其次,我们提出了一个简单的替代余弦评分的基础上,一个非常有限的版本的概率线性判别分析(PLDA)。所提出的模型改进了多注册识别的余弦评分,同时在一对一比较的情况下保持相同的性能。最后,我们考虑一个在线说话人聚类任务,其中每一步自然涉及多注册识别。我们提出了一种在线聚类算法,使我们能够从PLDA模型中获益,例如能够处理不确定性和更好的评分校准。实验证明了该算法的有效性。
2023-02-19 cs.LG cs.SD eess.AS
Joint Speaker Encoder and Neural Back-end Model for Fully End-to-End Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics(国立信息学研究所)
传统的自动说话人确认系统通常可以被分解成用于提取说话人嵌入的前端模型(诸如时间延迟神经网络(TDNN))和用于相似性评分的后端模型(诸如基于概率线性判别分析(PLDA)或基于神经网络的神经PLDA(NPLDA))。然而,前端和后端模型的顺序优化可能会导致局部最小值,这在理论上阻止了整个系统实现最佳优化。虽然已经提出了一些方法来联合优化这两个模型,如广义端到端(GE2E)模型和NPLDA E2E模型,所有这些方法都是设计用于单个注册话语。在本文中,我们提出了一个新的E2E联合方法的说话人确认特别是针对实际情况下的多个注册话语。为了利用多个注册话语之间的内部关系,我们的模型配备了帧级和话语级的注意机制。我们还利用了几种数据增强技术,包括使用MUSAN和RIR数据集的传统噪声增强以及独特的扬声器嵌入级混合策略,以实现更好的优化。
2022-09-01 cs.SD eess.AS
S-vectors and TESA: Speaker Embeddings and a Speaker Authenticator Based on Transformer Encoder
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最流行的说话人嵌入之一是x向量,它是从一个架构中获得的,该架构逐渐构建了一个更大的时间上下文。在本文中,我们提出了从Transformer的编码器训练的说话人分类来获得说话人嵌入。Transformer的编码器建立在自注意的基础上,它关注整个话语的所有特征,可能更适合于捕捉话语中的说话人特征。我们将从所提出的说话人分类模型中获得的说话人嵌入称为s向量,以强调它们是从严重依赖于自我注意力的架构中获得的。通过实验,我们证明了s-向量比x-向量表现得更好。除了s-向量,我们还提出了一个新的架构的基础上Transformer的编码器的说话人验证作为替代说话人验证的基础上,传统的概率线性判别分析(PLDA)。这种架构的灵感来自于Transformers(BERT)的双向编码器表示的下一个句子预测任务,我们馈送两个话语的s向量来验证它们是否属于同一个说话者。我们将这种架构命名为Transformer编码器扬声器扬声器阵列(TESA)。实验结果表明,TESA的s-向量的性能优于传统的基于PLDA的说话人确认的s-向量。
2021-12-12 cs.SD eess.AS
Squeezing value of cross-domain labels: a decoupled scoring approach for speaker verification
Tsinghua University(清华大学)
在实际应用中,域失配现象经常发生,严重影响说话人确认系统的性能。通常的做法是收集跨领域的数据,然后训练一个多领域的PLDA模型,希望能够学习到一个与领域无关的说话人子空间。在本文中,我们首先提出了一个实证研究表明,简单地添加跨域的数据并没有帮助的条件下,入学考试不匹配的性能。仔细分析,这一惊人的结果是由招生与考试条件之间的统计不一致造成的。基于此分析,我们提出了一种解耦的评分方法,可以最大限度地挤压跨域标签的值,并获得最佳的验证分数时,注册和测试是不匹配的。当统计数据是一致的,新的配方回落到传统的PLDA。跨通道测试的实验结果表明,该方法是高效的,是解决域失配的一种原则。
2020-10-27 cs.LG cs.SD eess.AS
The Intelligent Voice 2016 Speaker Recognition System
Intelligent Voice Limited(智能语音有限公司)
本文介绍了提交给NIST 2016年说话人识别评估(SRE)的智能语音(IV)系统。今年SRE的主要重点是开发说话人识别技术,该技术对于比当前最先进技术中使用的语言更加异构的新语言具有鲁棒性,使用明显更少的训练数据,不包含来自这些语言的元数据。该系统基于在固定训练条件下开发的最先进的i-vector/PLDA,并在挑战开发集上定义的方案上报告结果。
2016-11-02 cs.CL cs.SD stat.ML
An MAP Estimation for Between-Class Variance
Tsinghua University(清华大学);Northwest Minzu University(西北民族大学)
概率线性判别分析(PLDA)已被广泛应用于开集验证任务,如说话人验证。该模型的一个潜在问题是训练集通常包含有限数量的类,这使得类间方差的估计不可靠。这种不可靠的估计往往导致退化的泛化。在本文中,我们提出了一个MAP估计类间方差,通过采用逆Wishart先验。一个关键的问题是,与分层模型,如PLDA,先验是放在类均值的方差,而可能性是基于类成员,这使得后验推理棘手。我们推导出一个简单的MAP估计这样一个模型,并测试它在PLDA评分和长度归一化。在这两种情况下,基于MAP的估计提供了有趣的性能改进。
2021-11-24 cs.SD eess.AS
Gaussian-Constrained training for speaker verification
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
神经模型,特别是d-向量和x-向量架构,在许多说话人确认任务中产生了最先进的性能。然而,这些神经模型的两个潜在问题值得更多研究。首先,这两个模型都遭受“信息泄漏”,这意味着参与模型训练的一些参数将在推理过程中被丢弃,即用作分类器的层。其次,这些模型不调节导出的说话人向量的分布。这种“无约束分布”可能降低后续评分组件的性能,PLDA。本文提出了一种高斯约束的训练方法,该方法(1)丢弃参数分类器,(2)强制导出的说话人向量的分布为高斯分布。我们在VoxCeleb和SITW数据库上的实验表明,这种新的训练方法产生了更具代表性和规则的说话人嵌入,从而导致了一致的性能改善。
2019-02-17 cs.CL cs.SD eess.AS
The SYSU System for the Interspeech 2015 Automatic Speaker Verification Spoofing and Countermeasures Challenge
SYSU(中山大学)
许多现有的说话人验证系统被报道容易受到不同的欺骗攻击,例如说话人自适应语音合成,语音转换,播放等,为了检测这些欺骗语音信号作为对策,我们提出了一个分数级融合方法与几个不同的i-向量子系统。我们表明,声学水平梅尔频率倒谱系数(MFCC)的功能,相位水平修改的群延迟倒谱系数(MGDCC)和语音水平音素后验概率(PPP)串联功能是有效的对策。此外,在i向量建模之前对这些特征进行特征级融合也提高了性能。采用多项式核支持向量机作为监督分类器。为了提高对策的泛化能力,还采用余弦相似度和PLDA评分作为一类分类方法。通过将所提出的i向量子系统与覆盖声学和韵律信息的OpenSMILE基线相结合,进一步提高了最终性能。所提出的融合系统在INTERSPEECH 2015自动说话人验证欺骗和对策挑战提供的数据库的开发和测试集上实现了0.29%和3.26%的EER。
2015-07-29 cs.CL cs.SD
LIA system description for NIST SRE 2016
本文介绍了为说话人识别评估(SRE)活动而开发的LIA说话人识别系统。八个子系统的开发,都是基于一个国家的最先进的方法:i-vector/PLDA,它代表了文本无关的说话人识别的主流技术。这些子系统不同:在声学特征提取前端(MFCC、PLP)、在i向量提取阶段(UBM、DNN或双特征后验)以及最后在数据移位(IDVC、均值移位)。所提交的系统是这八个子系统在评分水平上的融合。
2016-12-15 cs.SD
On deep speaker embeddings for text-independent speaker recognition
ITMO University(ITMO大学);STC-innovations Ltd.(STC创新有限公司)
我们研究了深度神经网络在与文本无关的说话人识别任务中的性能。我们证明,在分类神经网络的最后一个分类层使用角softmax激活,而不是一个简单的softmax激活允许训练一个更广义的判别扬声器嵌入提取器。余弦相似度是在该嵌入空间中进行说话人确认的有效度量。我们还解决了选择一个架构的提取器的问题。我们发现,具有残留帧级连接的深度网络优于宽但相对较浅的架构。本文还提出了一些改进以前的基于DNN的提取器系统,以提高说话人识别的准确性。我们表明,区别训练的相似性度量学习方法优于标准的LDA-PLDA方法作为嵌入后端。在Speakers in the Wild和NIST SRE 2016评估集上获得的结果证明了所提出的系统在处理接近现实生活条件时的鲁棒性。
2018-04-26 cs.CL cs.SD eess.AS
What and When to Learn: CURriculum Ranking Loss for Large-Scale Speaker Verification
Carnegie Mellon University(卡内基梅隆大学)
本文提出CURriculum Ranking损失,通过在线估计样本难度,提升大规模说话人验证的鲁棒性,显著降低EER。
2026-03-25 cs.CL cs.SD
Graph Neural Network Backend for Speaker Recognition
School of Information Science and Engineering, Xinjiang University(新疆大学信息科学与工程学院);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
本文提出用于说话人识别的 GNN 后端,将嵌入建模为图节点并基于多种相似度构边,通过消息传递与聚合利用局部结构,在多个基准上显著超越主流方法。
2023-08-17 cs.SD eess.AS
Remarks on Optimal Scores for Speaker Recognition
Tsinghua University(清华大学)
在本文中,我们首先建立了说话人识别的最佳分数理论。我们的分析表明,最小贝叶斯风险(MBR)决定的说话人辨识和说话人确认任务可以基于一个归一化的似然(NL)。当底层生成模型是线性高斯时,NL得分在数学上等同于PLDA似然比,并且基于余弦距离和欧几里得距离的经验得分可以被视为在某些条件下该线性高斯NL得分的近似值。我们讨论了一些属性的NL分数,并进行了一个简单的模拟实验来证明NL分数的属性。
2020-10-30 cs.AI cs.LG cs.MM
Large-Scale Speaker Diarization of Radio Broadcast Archives
National University of Singapore(新加坡国立大学);Radboud University(拉德堡德大学);Cyberupt BV(Cyberupt BV公司)
本文介绍了我们的初步努力,建立一个大规模的扬声器日记(SD)和识别系统,最近数字化的无线电广播档案来自荷兰,有超过6500个录音带与3000小时的弗里斯兰荷兰语的讲话记录在1950年至2016年之间。所采用的大规模日记化方案包括两个阶段:(1)磁带级扬声器日记化提供伪扬声器身份和(2)扬声器链接到出现在多个磁带中的相关伪扬声器。从以前收集的FAME中获得几个经常出现的扬声器的扬声器模型!语音语料库,我们进一步执行说话人辨识,通过链接这些已知的说话人的伪说话人在第一阶段确定。在这项工作中,我们提出了一个最近创建的纵向和多语言SD语料库设计的大规模SD研究和评估性能的一个新的扬声器连接系统使用x向量PLDA量化跨磁带扬声器相似性在这个语料库。这个扬声器连接系统的性能进行评估的一个小的子集的档案,这是手动注释与扬声器信息。将在该子集(53小时)和整个档案(3000小时)上报告的扬声器链接性能进行比较,以量化语音数据量的按比例增加的影响。
2019-06-28 cs.CL cs.SD eess.AS
The Phonexia VoxCeleb Speaker Recognition Challenge 2021 System Description
Phonexia s.r.o(Phonexia有限公司)
我们描述了Phonexia提交的VoxCeleb Speaker Recognition Challenge 2021(VoxSRC-21)的无监督说话人验证轨道。我们的解决方案与IDLab为VoxSRC-20提交的获奖作品非常相似。嵌入提取器使用动量对比学习自举,输入增强作为唯一的监督来源。随后进行多次聚类迭代,以分配伪说话人标签,然后用于监督嵌入提取器训练。最后,通过对五个不同嵌入提取器的zt归一化余弦分数进行平均来进行分数融合。我们还简要描述了不成功的解决方案,涉及i向量而不是DNN嵌入和PLDA而不是余弦评分。
2021-09-08 cs.LG cs.SD eess.AS
Deep Normalization for Speaker Vectors
Tsinghua University(清华大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
深度说话人嵌入在说话人识别任务中表现出了最先进的性能。然而,这种方法的一个潜在问题是,从深度嵌入模型导出的扬声器向量对于每个单独的扬声器往往是非高斯的,并且对于不同扬声器的分布是非均匀的。这些不规则的分布会严重影响说话人识别的性能,特别是对于流行的PLDA评分方法,它假设均匀高斯分布。在本文中,我们认为,深说话人向量需要深度归一化,并提出了一种基于新的判别归一化流(DNF)模型的深度归一化方法。我们使用广泛使用的SITW和CNCeleb语料库的实验证明了所提出的方法的有效性。在这些实验中,基于DNF的规范化提供了大量的性能增益,并且在域外测试中也显示出强大的泛化能力。
2020-11-02 cs.LG cs.SD eess.AS
A Speaker Verification Backend for Improved Calibration Performance across Varying Conditions
SRI International(SRI国际)
在最近的一项工作中,我们提出了一种用于说话人验证的判别后端,该后端在大多数测试条件下都具有良好的开箱即用校准性能,这些测试条件包含与训练条件不同程度的不匹配。该后端模拟了大多数当前说话人验证系统中使用的标准基于PLD的后端过程,包括校准阶段。后端的所有参数被联合训练以优化用于说话人验证任务的二进制交叉熵。通过使校准阶段的参数成为表示信号条件的向量的函数来实现校准鲁棒性,所述信号条件是使用经训练以预测条件标签的模型来提取的。在这项工作中,我们提出了一个简化版本的后端,用于计算校准参数的向量估计在后端,而不需要一个条件预测模型。我们表明,这种简化的方法提供了类似的性能,以前提出的方法,同时更简单的实现,并具有较少的训练数据的要求。此外,我们提供了不同方面的方法,包括初始化的效果,用于计算校准参数的向量的性质,以及随机种子和训练时期的数量对性能的影响的分析。我们还将所提出的方法与基于试验的校准(TBC)方法进行了比较,据我们所知,该方法是在不同条件下实现良好校准的最先进方法。我们表明,所提出的方法优于TBC,同时也是几个数量级更快的运行,与标准PLDA基线。
2020-02-05 cs.LG cs.SD eess.AS
A discriminative condition-aware backend for speaker verification
SRI International(斯坦福国际研究院);Sandia National Laboratories(桑迪亚国家实验室)
我们提出了一个评分的说话人验证方法,模仿标准的基于PLDA的后端过程中使用的大多数当前的说话人验证系统。然而,与标准后端不同的是,模型的所有参数都是联合训练的,以优化说话人验证任务的二进制交叉熵。我们进一步将校准阶段集成到模型中,使该阶段的参数取决于表示信号条件的元数据向量。我们表明,所提出的后端在我们的大多数测试集上具有出色的开箱即用的校准性能,这使得它成为测试条件未知且开发数据不可用于训练特定于域的校准模型的情况下的理想方法。
2019-11-26 cs.LG cs.SD eess.AS
Unsupervised Feature Enhancement for speaker verification
L’École de Technologie Supérieure(高等技术学院);Johns Hopkins University(约翰斯·霍普金斯大学)
使说话人确认系统对不利场景具有鲁棒性的任务仍然是一个具有挑战性和活跃的研究领域。我们开发了一种在对数滤波器组域的无监督特征增强方法,最终目标是提高说话人确认性能。我们实验使用真实的语音记录在恶劣的环境和退化的语音通过模拟得到的训练增强系统。通过对几个真实的、模拟的噪声和混响测试集的测试,证明了该方法的有效性。当说话人确认流水线中不使用数据增强或仅在x向量训练期间使用增强时,该方法在真实和模拟集上都得到了显着的改进。当数据增强用于x向量和PLDA训练时,我们的增强方法略有改进。
2020-02-14 cs.SD eess.AS
Non-native Speaker Verification for Spoken Language Assessment
University of Cambridge(剑桥大学)
自动口语评估系统正变得越来越流行,以处理日益增长的兴趣在第二语言学习。这些系统面临的一个挑战是检测渎职行为。舞弊可以采取多种形式,本文着重于检测当一个候选人试图模仿另一个在口语测试。这种形式的弊端与说话人确认密切相关,但适用于口语评估这一特定领域。高级说话人验证系统利用深度学习方法提取说话人表示,已成功应用于一系列母语验证任务。本文针对非母语英语口语数据对这些系统进行了探索。用于演讲者注册和验证的数据主要来自BULATS测试,该测试评估商业英语语言技能。系统的性能训练相对有限的BULATS数据,和标准的大型扬声器验证语料库,进行了比较。在具有数百万次试验的大规模测试集上的实验结果表明,通过使导入的模型适应非原生数据,可以实现最佳性能。分析了不同第一语言(L1)和年级的冒名顶替者试验,这表明L1之间的冒名顶替者对说话人确认系统更具挑战性。
2019-09-30 cs.CL cs.SD eess.AS
Text-Independent Speaker Verification Using Long Short-Term Memory Networks
University of Houston(休斯顿大学)
本文提出了一种基于长短期记忆网络的文本无关语音识别系统结构,其目的是通过对传统语音特征的操作来获取与说话人相关的时间信息。对于说话人确认,首先,必须创建用于说话人表示的背景模型。然后,在注册阶段,说话人模型将被创建基于注册话语。对于这项工作,模型将以端到端的方式进行训练,以结合前两个阶段。端到端训练的主要目标是优化模型以符合说话人验证协议。端到端训练通过创建表示空间来联合学习背景和说话者模型。LSTM架构经过训练,以创建一个识别空间,用于验证说话人验证的匹配和非匹配对。与其他传统方法相比,该体系结构在文本无关性方面表现出了优越性。
2018-09-07 cs.CL cs.SD eess.AS
A Principle Solution for Enroll-Test Mismatch in Speaker Recognition
Tsinghua University(清华大学);Huawei(华为);Huawei Technologies Co. Limited(华为技术有限公司)
在说话人识别系统中,注册条件和测试条件的不匹配会导致系统性能的严重下降。本文提出了一种统计分解(SD)的方法来解决这个问题。该方法将PLDA评分分解为三个分量,分别对应于登记、预测和归一化。假设每个组成部分都使用了正确的统计数据,那么得到的分数在理论上是最优的。在三个不同类型失配的数据集上进行了全面的实验研究:(1)物理通道失配,(2)说话行为失配,(3)远近记录失配。实验结果表明,该方法是非常有效的,优于ad-hoc多条件训练方法,这是普遍采用的,但在理论上不是最优的。
2021-11-24 cs.SD eess.AS
Short-duration Speaker Verification (SdSV) Challenge 2021: the Challenge Evaluation Plan
本文档描述了2021年短时间扬声器验证(SdSV)挑战赛。该挑战的主要目标是在短时间场景中评估文本相关(TD)和文本无关(TI)说话人验证(SV)的新技术。所提出的挑战评估SdSV与不同程度的语音重叠之间的登记和测试话语(跨语言)。这是第一个挑战,广泛关注系统的基准和分析不同程度的语音变异的短期说话人识别。我们预计现代方法(特别是深度神经网络)将发挥关键作用。
2021-03-24 cs.CL cs.SD eess.AS
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.(Stel计算机系统有限公司)
提出了一种基于高斯-二元限制玻尔兹曼机(GRBM)的说话人子空间建模方法。该模型基于概率线性判别分析(PLDA)中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子,其中扬声器因子在扬声器的所有向量上共享。然后,最大似然参数估计(MLE)的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Deep Speaker Feature Learning for Text-independent Speaker Verification
Tsinghua University(清华大学)
最近,深度神经网络(DNN)已被用于学习说话者特征。然而,学习到的特征的质量不够好,因此必须使用复杂的后端模型,无论是神经模型还是概率模型,来解决应用于说话人验证时的残余不确定性,就像原始特征一样。提出了一种用于说话人特征学习的卷积时延深度神经网络结构(CT-DNN)。我们在Fisher数据库上的实验结果表明,这种CT-DNN可以产生高质量的说话人特征:即使只有一个特征(包括上下文在内的0.3秒),EER也可以低至7.68%。这有效地证实了说话人特征在很大程度上是确定性的短时属性,而不是长时间的分布模式,因此可以从几十帧中提取。
2017-05-10 cs.CL cs.LG cs.SD
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd(Pensees私人有限公司);National University of Singapore(新加坡国立大学)
在本文中,我们研究了一种新的技术,利用说话人特征和语言内容之间的相互作用,以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意(SUDA)的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制,学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实,所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
Investigation of Using VAE for i-Vector Speaker Verification
STC-Innovations Ltd.(STC创新有限公司);ITMO University(圣彼得堡国立信息技术机械与光学大学)
研究了一种基于变分自编码器(VAE)的i矢量说话人识别系统。VAE是开发复杂数据的精确深度非线性生成模型的一种很有前途的方法。实验表明,VAE提供说话人嵌入,可以有效地在无监督的方式进行训练。建立了VAE的LLR估计。在NIST SRE 2010数据上的实验证明了该方法的正确性。此外,我们表明,基于VAE的系统在i向量空间的性能接近的对角PLDA。在使用$β$ -VAE的实验中也观察到几个有趣的结果。特别地,我们发现对于$β\ll 1$,VAE可以被训练成以有效的方式捕获复杂输入数据分布的特征,这在标准VAE($β=1$)中难以获得。
2017-05-25 cs.LG cs.SD stat.ML
On the use of DNN Autoencoder for Robust Speaker Recognition
Brno University of Technology(布尔诺理工大学);IT4I Center of Excellence(IT4I卓越中心)
在本文中,我们分析了用于语音增强、去混响和去噪的基于DNN的自动编码器。目标应用是一个鲁棒的说话人识别系统。我们首先使用人工噪声和混响数据来增强Fisher数据库,然后训练自动编码器将噪声和混响语音映射到其干净版本。我们使用自动编码器作为一个国家的最先进的文本无关的说话人识别系统的预处理步骤。我们比较了纯自动编码器增强,多条件PLDA训练及其同时使用所取得的结果。我们提出了一个详细的分析与各种条件下的NIST SRE 2010,PRISM和人为损坏的NIST SRE 2010电话条件。我们的结论是,建议的预处理显着优于基线,这种技术可以用来建立一个强大的说话人识别系统的混响和噪声数据。
2018-11-07 cs.SD eess.AS
Analysis of Speech Temporal Dynamics in the Context of Speaker Verification and Voice Anonymization
Université de Lorraine, CNRS, Inria Loria(卢瓦尔大学、法国国家科学研究中心、Inria Loria);Université de Lille, CNRS, Inria Centrale Lille, UMR 9189 - CRIStAL Lille(里尔大学、法国国家科学研究中心、Inria Centrale Lille、UMR 9189 - CRIStAL Lille)
本文研究语音时间动态对说话人验证和匿名化的影响,提出基于音素时长的度量方法,证明音素时长泄露说话人身份,强调匿名化需修改语速和音素时长特征。
2024-12-22 cs.CL cs.SD eess.AS