Short utterance compensation in speaker verification via cosine-based teacher-student learning of speaker embeddings
University of Seoul(首尔大学)
输入语音的短持续时间是降低说话人确认系统性能的最关键威胁之一。本研究的目的是开发一个集成的文本无关的说话人确认系统,输入的话语与短的持续时间为2秒或更少。我们提出了一种方法,使用教师-学生的学习框架,为这个目标,适用于短话语补偿在我们的知识。所提出的系统的核心概念是在整个提取说话人嵌入的网络中进行补偿,主要是在语音级别,而不是在提取说话人嵌入后通过单独的系统进行补偿。在所提出的架构中,使用卷积层提取语音级特征,其中每个特征表示130 ms的片段。门控递归单元层使用语音级特征提取话语级特征。该方法还采用了一个新的目标函数,教师-学生学习,同时考虑输出层的Kullback-Leibler发散和余弦距离的发言人嵌入层。实验使用深度神经网络进行,该网络将原始波形作为输入,并在VoxCeleb 1数据集上输出扬声器嵌入。该模型可以补偿约65%的性能下降,由于缩短的持续时间。
2019-04-10 cs.AI cs.SD eess.AS
Recursive Attentive Pooling for Extracting Speaker Embeddings from Multi-Speaker Recordings
NTT Corporation(NTT公司)
本文提出一种递归注意力池化方法,从多说话人录音中提取各说话人嵌入,并可利用注意力权重估计说话人数量,使同一模型适用于不同人数场景,实验验证其在说话人验证和日志任务中的有效性。
2024-08-30 cs.SD eess.AS
Guided Speaker Embedding
NTT Corporation(NTT公司)
本文提出引导式说话人嵌入提取方法,利用目标与干扰说话人的活动线索从重叠语音中直接提取嵌入,并通过条件注意力机制抑制非目标区间,在说话人验证和日志任务中验证了有效性。
2025-01-01 cs.SD eess.AS
Whisper Speaker Identification: Leveraging Pre-Trained Multilingual Transformers for Robust Speaker Embeddings
Hokkaido Denshikiki Co., Ltd.(北海道电気器株式会社);Barisal Information Technology College (BITC)(巴里萨尔信息技术学院(BITC))
本文提出WSI框架,将多语言预训练Whisper编码器与在线难例三元组挖掘及自监督NT-Xent损失相结合,在多语种语料上显著降低等错误率并提升AUC。
2025-03-13 cs.AI cs.SD eess.AS
Asynchronous Voice Anonymization Using Adversarial Perturbation On Speaker Embedding
本文提出异步语音匿名化方法,通过结合说话人解耦机制的语音生成框架,在说话人嵌入上应用对抗扰动改变属性以对抗机器识别,并控制扰动强度保留人类感知,在LibriSpeech数据集上对60.71%的话语成功实现属性掩盖与感知保留。
2024-11-12 cs.AI cs.SD eess.AS
Speaker Embeddings With Weakly Supervised Voice Activity Detection For Efficient Speaker Diarization
IDLab, Department of Electronics;Information Systems Ghent University - imec, Belgium
针对现有说话人分割依赖外部VAD带来开销的问题,提出利用说话人嵌入提取器的注意力作为弱监督内部VAD,用ECAPA2嵌入同时实现VAD与嵌入提取,在多个基准上取得SOTA性能。
2024-05-15 cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University(首尔大学)
近年来,已经提出了各种基于深度学习的嵌入方法,并在说话人验证中表现出令人印象深刻的性能。然而,与大多数经典嵌入技术一样,已知基于深度学习的方法在处理具有不同条件的语音样本(例如,记录设备、情绪状态)。在本文中,我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明,该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);National University of Singapore(新加坡国立大学)
说话人的情绪状态对言语产生有重要影响,它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务,因为说话者模型通常使用中性语音进行训练。在这项工作中,我们建议克服这个问题,通过创建情感不变的说话人嵌入。我们学习了一个提取器网络,该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变,从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高,在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架,不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
Mitigating Non-Target Speaker Bias in Guided Speaker Embedding
针对引导式说话人嵌入框架在低重叠场景存在性能下降的问题,提出利用目标说话人活动线索改进全局统计量模块的方法,提升了多场景下的说话人验证及多数据集上的说话人分割性能。
2025-06-14 cs.SD eess.AS
A Teacher-Student approach for extracting informative speaker embeddings from speech mixtures
Paderborn University(帕德博恩大学);Toshiba Cambridge Research Laboratories(东芝剑桥研究实验室)
本文提出一种基于师生训练的单声道神经说话人嵌入提取方法,从语音混合信号中直接提取各说话人嵌入,在说话人存在性验证任务上显著优于传统方法,并达到与多通道空间方法相当的性能。
2023-09-19 cs.SD eess.AS
Triplet loss based embeddings for forensic speaker identification in Spanish
Facultad de Estudios Superiores Cuautitlán(库奥蒂特兰高等研究学院);Universidad Nacional Autónoma de México(墨西哥国立自治大学);Universidad Abierta y a Distancia de México(墨西哥开放与远程大学);University of Malta(马耳他大学)
随着数字技术的出现,犯罪或法律纠纷更常见的是涉及某种形式的语音记录,其中说话者的身份受到质疑[1]。面对这种情况,法庭说话人辨识领域一直在寻求通过量化语音记录相对于人口属于特定人的程度来阐明该问题。在这项工作中,我们探索使用三重损失训练CNN获得的语音嵌入的使用。特别是,我们专注于尚未广泛研究的西班牙语。我们建议从语音频谱图样本中提取嵌入,然后探索这种频谱图的几种配置,最后量化嵌入质量。我们还显示了我们的数据设置,主要是由男性扬声器的一些限制。最后,我们提出了两种方法来计算Likewise Radio给出的语音嵌入,我们表明,三重损失是一个很好的替代方案,以创建语音嵌入法医说话人辨识。
2021-09-14 cs.AI cs.SD eess.AS
Unmixing The Crowd: Learning Persistent Speaker Representations from Mixture-Derived Multi-Speaker Embeddings
University of Michigan Ann Arbor, MI, USA;Oregon Health \& Science University Portland, OR, USA
提出教师-学生框架,仅使用短重叠片段和置换不变潜在监督学习混合衍生多说话人嵌入,结合轻量在线记忆机制实现长时说话人重识别。
2026-06-23 cs.SD eess.AS
U-vectors: Generating clusterable speaker embedding from unlabeled data
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学);University of Asia Pacific(亚太大学);University of Aizu(会津大学)
说话人识别是根据说话人的语音来识别说话人。大多数说话人识别系统都是建立在两个阶段上的,第一阶段从语音中提取低维相关嵌入,第二阶段执行分类任务。说话人识别系统的鲁棒性主要取决于语音嵌入的提取过程,语音嵌入主要是在大规模数据集上进行预训练的。由于嵌入系统是预先训练的,说话人识别模型的性能很大程度上取决于领域自适应策略,如果使用不充分的数据进行训练,则可能会降低。本文介绍了一种处理未标记数据的说话人识别策略,该策略从较小的固定大小的语音帧中生成可聚类的嵌入向量。无监督训练策略涉及一个假设,即一个小的语音段应该包括一个单一的扬声器。根据这样的信念,成对的约束构造与噪声增强策略,用于训练AutoEmbedder架构,生成扬声器嵌入。在不依赖于域自适应策略的情况下,该过程无监督地产生可聚类的说话人嵌入,称为无监督向量(u-向量)。评估的结论是在两个流行的说话人识别数据集的英语,TIMIT和LibriSpeech。此外,孟加拉语数据集包括说明域转移的多样性说话人识别系统。最后,我们得出结论,所提出的方法实现了令人满意的性能,使用成对的架构。
2021-10-22 cs.AI cs.LG cs.SD
Spectral Clustering-aware Learning of Embeddings for Speaker Diarisation
Cambridge University(剑桥大学)
在说话人分类中,说话人嵌入提取模型的训练损失函数与说话人聚类方法不匹配。在本文中,我们提出了光谱聚类感知嵌入学习(SCALE)的方法来解决不匹配。具体而言,除了角度原型cal(AP)损失,SCALE使用一种新的亲和矩阵损失,直接最小化从扬声器嵌入和参考估计的亲和矩阵之间的误差。SCALE还包括p百分位阈值和高斯模糊作为训练中谱聚类的两个重要超参数。AMI数据集上的实验表明,与基于AP丢失的说话人嵌入的强基线相比,使用Oracle分割,使用SCALE获得的说话人嵌入实现了超过50%的相对说话人出错率降低,并且使用自动分割,实现了超过30%的相对diarisation出错率降低。
2023-03-14 cs.SD eess.AS
Text adaptation for speaker verification with speaker-text factorized embeddings
MoE Key Lab of Artificial Intelligence SpeechLab, Department of Computer Science(人工智能MoE重点实验室、语音实验室、计算机科学与工程系)
本文提出一种文本自适应框架,通过说话人-文本因子化网络分解语音嵌入,利用少量自适应话语将文本无关说话人嵌入转为文本定制嵌入,显著提升文本不匹配下的说话人验证性能。
2025-08-06 cs.SD eess.AS
Neural Speaker Diarization Using Memory-Aware Multi-Speaker Embedding with Sequence-to-Sequence Architecture
University of Science and Technology of China(中国科学技术大学);iFlytek Research(科大讯飞研究院);Georgia Institute of Technology(佐治亚理工学院)
提出NSD-MS2S神经说话人日志系统,融合记忆感知多说话人嵌入与序列到序列架构,在CHiME-7 EVAL集上DER达15.9%,相对提升49%,并引入深度交互模块增强嵌入判别性。
2023-12-26 cs.AI cs.SD eess.AS
EEND-DEMUX: End-to-End Neural Speaker Diarization via Demultiplexed Speaker Embeddings
Seoul National University(首尔大学);Institute of New Media and Communications(新媒体与通信研究所)
提出 EEND-DEMUX 框架,通过解复用操作直接获得分离的说话人嵌入,并结合多头交叉注意力与三类约束损失,在 LibriMix 的固定及可变说话人数场景中持续提升说话人日志性能。
2023-12-11 cs.SD eess.AS
Interpreting the Dimensions of Speaker Embedding Space
University College London(伦敦大学学院)
本文利用10,000名说话人语料库和三种嵌入系统,分析说话人嵌入与可解释声学参数、年龄及性别的关系,发现9个声学参数可解释超过50%的方差并存在隐式性别信息,但年龄表征不足。
2025-10-18 cs.SD eess.AS
Towards Low-Latency Tracking of Multiple Speakers With Short-Context Speaker Embeddings
Orange Innovation(Orange创新);University de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化技术研究院);Loria(洛林信息与自动化技术研究院)
针对常见说话人嵌入提取器处理短时上下文和重叠语音的不足,提出基于知识蒸馏的短上下文嵌入提取方法,结合逐块身份重新分配,提升低延迟多说话人跟踪性能,蒸馏模型在短上下文和重叠鲁棒性上表现更优。
2025-08-18 cs.AI cs.SD eess.AS
Improving Target Speaker Extraction with Sparse LDA-transformed Speaker Embeddings
Huawei Technologies Co., Ltd.(华为技术有限公司);AI Application Research Center(人工智能应用研究中心)
作为语音分离的一种实用方法,目标说话人提取(TSE)的目的是利用从说话人中提取的附加说话人线索从期望的说话人中提取语音。它的主要挑战在于如何正确地提取和利用说话人线索,以利于提取的语音质量。现有的大多数TSE研究所采用的线索提取方法是直接利用区分性说话人嵌入,这是从预先训练的模型中提取的用于说话人确认。虽然高的说话人区分度是一个最理想的属性的说话人确认任务,我们认为,这可能是太复杂的TSE。在这项研究中,我们建议,一个简化的扬声器提示,明确的类可分性可能是首选TSE。为了验证我们的建议,我们介绍了几种形式的扬声器线索,包括朴素的扬声器嵌入(如,x-向量和xi-向量)和新的扬声器嵌入产生的稀疏LDA变换。将这些说话人线索与SOTA语音分离模型SepFormer相结合,建立了相应的TSE模型。这些TSE模型的性能在基准WSJ 0 - 2 mix数据集上进行了检查。实验结果验证了我们的建议的有效性和通用性,显示高达9.9%的相对改善SI-SDRi。此外,SI-SDRi为19.4 dB,PESQ为3.78,我们最好的TSE系统明显优于当前的SOTA系统,并提供了迄今为止在WSJ 0 - 2 mix上报告的最佳TSE结果。
2023-01-16 cs.AI cs.LG cs.SD
Supervised Speaker Embedding De-Mixing in Two-Speaker Environment
University of Sheffield(谢菲尔德大学)
从多扬声器环境中分离不同的扬声器属性是具有挑战性的。与传统的语音声源分离方法不同,本文提出了一种说话人嵌入去混方法。该方法在嵌入空间中从双说话人信号中分离出不同的说话人属性。拟议的办法包括两个步骤。在第一步中,干净的说话人嵌入学习和收集的残余TDNN为基础的网络。在步骤2中,将两个扬声器信号和扬声器之一的嵌入都输入到扬声器嵌入解混网络。训练去混网络,通过重构损失产生另一个说话人的嵌入。利用说话人辨识准确率和纯净嵌入与去混嵌入之间的余弦相似度来评价所得到的嵌入的质量。在人工增强的双说话人数据(TIMIT)和真实世界的双说话人数据(MC-WSJ)上进行了实验。研究了六种不同的说话人嵌入去混结构。实验结果表明,本文提出的一种结构与纯说话人嵌入的性能相近,识别准确率达到96.9%,余弦相似度为0.89。
2021-02-05 cs.CL cs.LG cs.SD
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)(伍斯特理工学院(WPI))
我们提出了一种新的说话人日志化方法,可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]:像标准的说话人嵌入方法,如x向量[2],合成嵌入模型包含一个函数f,它将语音从不同的说话人中分离出来。此外,它们包括合成函数g以计算嵌入空间中的集合并运算,以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中,所提出的方法优于传统的嵌入方法,传统的嵌入方法只训练分离单个说话人(而不是说话人集)。在AMI Headset Mix语料库上的扬声器日志化实验中,我们实现了最先进的准确率(DER=22.93%),略高于之前的最佳结果(来自[3]的23.82%)。
2021-02-10 cs.CL cs.SD eess.AS
Wespeaker: A Research and Production oriented Speaker Embedding Learning Toolkit
Shanghai Jiao Tong University(上海交通大学);Tencent Corporation(腾讯公司);Northwestern Polytechnical University(西北工业大学);Horizon Robotics(地平线机器人);AISpeech Ltd(思必驰有限公司);NVIDIA(英伟达)
说话人建模对于说话人识别、说话人日志化等相关任务都是必不可少的。主要的建模方法是固定维向量表示,即,扬声器嵌入本文介绍了一个面向研究和生产的说话人嵌入学习工具Wespeaker。Wespeaker包含可扩展的数据管理、最先进的说话人嵌入模型、损失函数和评分后端的实现,通过在几个说话人验证挑战中获胜的系统中采用的结构化配方实现了极具竞争力的结果。在相关的配方中也展示了对其他下游任务的应用,如扬声器日记。此外,还集成了CPU和GPU兼容的部署代码,用于面向生产的开发。该工具包可在https://github.com/wenet-e2e/wespeaker上公开查阅。
2022-11-01 cs.SD eess.AS
Speaker recognition using residual signal of linear and nonlinear prediction models
Escola Universitària Politècnica de Mataró(马塔罗理工学院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文讨论了残差信号在说话人识别中的作用。它示出的LPCC系数定义的一个措施和一个措施定义的剩余信号的能量的组合产生了一个改进的经典方法,只考虑LPCC系数。如果从线性预测分析获得残差信号,则改进为2.63%(出错率从6.31%下降到3.68%),并且如果通过基于非线性预测神经网络的模型计算残差信号,则改进为3.68%。
2022-03-17 cs.SD eess.AS
Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?
NEC Corporation(NEC公司)
本文提出了一种基于注意力机制的深度说话人嵌入的实验研究,该机制已被发现是说话人识别中一种强大的表示学习技术。在这个框架中,一个注意力模型作为一个帧选择器,计算每个帧级特征向量的注意力权重,根据该权重,在说话人嵌入网络的池化层产生一个话语级表示。一般来说,注意力模型与说话人嵌入网络一起在单个目标函数上训练,因此这两个组件彼此紧密结合。在本文中,我们考虑的可能性,注意力模型可能会从它的父网络解耦,并协助其他说话人嵌入网络,甚至传统的i向量提取器。这种可能性是通过一系列的实验证明了NIST的说话人识别评估(SRE)的任务,9.0%的EER减少和3.8%的min_Cprimary减少时,注意力的权重应用到i向量提取。另一个实验表明,基于DNN的柔和语音活动检测(VAD)可以有效地与注意力机制相结合,从而在深度说话人嵌入和i向量系统中分别将minCprimary进一步降低6.6%和1.6%。
2018-09-25 cs.SD eess.AS
End-to-end Online Speaker Diarization with Target Speaker Tracking
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
提出一种在线目标说话人语音活动检测系统,无需聚类先验知识,通过自生成嵌入实现实时说话人日志,在DIHARD III和AliMeeting上优于离线方法,并扩展到多通道数据。
2023-10-12 cs.SD eess.AS
Adapting Speaker Embeddings for Speaker Diarisation
Naver Corporation(NAVER公司)
本文的目标是适应扬声器嵌入解决问题的扬声器diarisation。说话人嵌入的质量对说话人拨号系统的性能至关重要。尽管如此,在该领域中的先前工作已经直接使用了仅被设计为在说话人验证任务上有效的嵌入。在本文中,我们提出了三种技术,可以用来更好地适应diarisation的扬声器嵌入:降维,基于注意力的嵌入聚合,和非语音聚类。在各种具有挑战性的数据集上进行了广泛的实验。结果表明,所有这三种技术都对Diarisation系统的性能做出了积极贡献,在基线上的Diarisation错误率方面平均相对改善了25.07%。
2021-04-07 cs.LG cs.SD eess.AS
Speaker Embedding Extraction with Phonetic Information
Tsinghua University(清华大学);University of Kentucky(肯塔基大学)
说话人嵌入在许多说话人确认任务中取得了令人满意的结果。语音信息作为语音的重要组成部分,在说话人嵌入提取中很少被考虑。本文将语音信息引入到基于x向量结构的说话人嵌入提取中。提出了语音矢量和多任务学习两种方法。在Fisher数据集上,我们的最佳系统在EER中比原始x向量方法高出20%,在minDCF 08和minDCF 10中分别高出15%和15%。在NIST SRE 10上进行的实验进一步验证了所提方法的有效性。
2018-06-14 cs.SD eess.AS
S-vectors and TESA: Speaker Embeddings and a Speaker Authenticator Based on Transformer Encoder
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最流行的说话人嵌入之一是x向量,它是从一个架构中获得的,该架构逐渐构建了一个更大的时间上下文。在本文中,我们提出了从Transformer的编码器训练的说话人分类来获得说话人嵌入。Transformer的编码器建立在自注意的基础上,它关注整个话语的所有特征,可能更适合于捕捉话语中的说话人特征。我们将从所提出的说话人分类模型中获得的说话人嵌入称为s向量,以强调它们是从严重依赖于自我注意力的架构中获得的。通过实验,我们证明了s-向量比x-向量表现得更好。除了s-向量,我们还提出了一个新的架构的基础上Transformer的编码器的说话人验证作为替代说话人验证的基础上,传统的概率线性判别分析(PLDA)。这种架构的灵感来自于Transformers(BERT)的双向编码器表示的下一个句子预测任务,我们馈送两个话语的s向量来验证它们是否属于同一个说话者。我们将这种架构命名为Transformer编码器扬声器扬声器阵列(TESA)。实验结果表明,TESA的s-向量的性能优于传统的基于PLDA的说话人确认的s-向量。
2021-12-12 cs.SD eess.AS
M-Vec: Matryoshka Speaker Embeddings with Flexible Dimensions
Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science, Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)数据科学学院);Fuxi AI Lab, NetEase Inc.(网易伏羲人工智能实验室)
提出Matryoshka说话人嵌入方法,支持动态提取子维度,在VoxCeleb数据集上验证了其能在极低维度(如8维)下保持高说话人验证性能,有效降低存储与计算成本。
2024-09-24 cs.SD eess.AS
Y-Vector: Multiscale Waveform Encoder for Speaker Embedding
University of Rochester(罗切斯特大学);Beijing Institute of Technology(北京理工大学)
现有的文本无关说话人确认系统通常使用倒谱特征或滤波器组能量作为语音特征。最近的研究试图直接从原始波形中提取说话人嵌入,并显示出有竞争力的结果。在本文中,我们提出了一种新的多尺度波形编码器,使用三个卷积分支与不同的时间尺度计算语音特征的波形。然后,这些特征通过挤压和激励块、多级特征聚合器和时间延迟神经网络(TDNN)来处理以计算说话人嵌入。我们表明,建议的嵌入优于现有的原始波形为基础的说话人嵌入说话人确认的大幅度。对学习滤波器的进一步分析表明,多尺度编码器在其不同尺度下关注不同的频段,同时产生比任何单尺度对应物更平坦的总体频率响应。
2021-06-09 cs.SD eess.AS
Contrastive Speaker Embedding With Sequential Disentanglement
The Hong Kong Polytechnic University(香港理工大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出将解耦序列变分自编码器(DSVAE)引入 SimCLR 对比学习框架,以去除语音中的语言内容因素,从而学习内容不变的说话人嵌入,并在 VoxCeleb1-test 上验证其优于 SimCLR。
2023-09-23 cs.SD eess.AS
Speaker diarization with session-level speaker embedding refinement using graph neural networks
Microsoft(微软)
深度说话人嵌入模型通常被用作说话人日记系统的构建块;然而,说话人嵌入模型通常根据在训练数据上定义的全局损失来训练,这对于在特定会议会话中局部区分说话人来说可能是次优的。在这项工作中,我们提出了第一次使用图神经网络(GNNs)的扬声器diarization问题,利用GNN细化扬声器嵌入本地使用每个会话内的语音段之间的结构信息。由预训练模型提取的说话人嵌入被重新映射到一个新的嵌入空间,在这个空间中,单个会话中的不同说话人被更好地分离。通过最小化由细化嵌入构建的亲和矩阵与地面真实邻接矩阵之间的差异,以监督的方式训练模型进行连锁预测。然后在细化嵌入的顶部应用谱聚类。我们表明,改进的说话人嵌入的聚类性能优于原始嵌入显着的模拟和真实的会议数据,我们的系统实现了国家的最先进的结果在NIST SRE 2000 CALLHOME数据库。
2020-05-22 cs.LG cs.SD eess.AS
Attentive Statistics Pooling for Deep Speaker Embedding
NEC Corporation(日本电气股份有限公司);Tokyo Institute of Technology(东京工业大学)
本文提出了文本无关说话人验证中深层说话人嵌入的注意统计池。在传统的说话人嵌入中,帧级特征在单个话语的所有帧上被平均以形成话语级特征。我们的方法利用注意力机制,给不同的权重,不同的帧,不仅产生加权平均值,但也加权标准差。通过这种方式,它可以更有效地捕捉扬声器特性的长期变化。对NIST SRE 2012和VoxCeleb数据集的评估表明,与传统方法相比,它分别将等误差率(EER)降低了7.5%和8.1%。
2019-02-25 cs.SD eess.AS
Improving Speaker Identification for Shared Devices by Adapting Embeddings to Speaker Subsets
Amazon Alexa AI(亚马逊Alexa AI)
说话人识别通常包括三个阶段。首先,训练前端说话人嵌入模型以嵌入话语和说话人简档。其次,在运行时话语和每个说话者简档之间应用评分函数。最后,根据评分指标,使用最近邻进行说话人识别。为了更好地区分扬声器共享同一个家庭内的设备,我们提出了一个家庭适应的非线性映射到一个低维空间,以补充全球评分指标。组合评分函数在标记或伪标记的说话者话语上被优化。与输入辍学,建议的评分模型减少EER的45-71%,在模拟家庭2至7个难以区分的扬声器每户。在真实世界的内部数据上,EER降低了49.2%。从t-SNE可视化,我们还表明,由家庭适应的扬声器嵌入形成的集群更紧凑,分布均匀,相比,由全球嵌入前适应形成的集群。
2021-09-06 cs.CR cs.SD eess.AS
Training Multi-Task Adversarial Network for Extracting Noise-Robust Speaker Embedding
Xiamen University(厦门大学);Huawei Media Technology Institute(华为媒体技术研究院)
在噪声环境下,如何实现说话人识别的鲁棒性仍然是一个具有挑战性的课题。受多任务训练在各种图像处理任务中的良好表现的启发,我们探索了多任务对抗训练学习噪声鲁棒说话人嵌入的潜力。在本文中,我们提出了一种新的框架,它由三个部分组成:一个编码器,提取噪声鲁棒的扬声器嵌入;分类器,分类的扬声器;一个鉴别噪声类型的扬声器嵌入。此外,我们还提出了一种以训练精度为指标的训练策略,以稳定多类对抗优化过程。我们在英语和汉语语料库上进行了实验,实验结果表明,我们提出的多任务对抗训练方法可以大大优于其他方法,在嘈杂的环境中没有对抗训练。实验结果表明,该方法在纯净环境下也能提高说话人确认性能。
2019-05-12 cs.SD eess.AS
Auxiliary Loss of Transformer with Residual Connection for End-to-End Speaker Diarization
Gwangju Institute of Science and Technology(光州科学技术院)
带有自我注意的端到端神经日志化(EEND)直接从输入中预测说话人标签,并实现对重叠语音的处理。虽然EEND优于基于聚类的说话人日记化(SD),但它不能通过简单地增加编码器块的数量来进一步改进,因为与较低的块相比,最后的编码器块被占主导地位地监督。本文提出了一种新的残差辅助EEND(RX-EEND)学习架构的Transformers器,以加强较低的编码器块学习更准确。辅助损失被应用于每个编码器块的输出,包括最后一个编码器块。通过在EEND的编码器块之间添加残差连接,可以进一步增加辅助损失对编码器块学习的影响。性能评估和消融研究表明,与自主EEND(SA-EEND)相比,在模拟和CALLHOME(CH)数据集上,建议的RX-EEND中的辅助损失分别使日志错误率(DER)相对降低了50.3%和21.0%。此外,在RX-EEND中使用的剩余连接进一步相对降低了CH数据集的DER 8.1%。
2022-09-26 cs.SD eess.AS
Rethinking Session Variability: Leveraging Session Embeddings for Session Robustness in Speaker Verification
NAVER Cloud Corporation(NAVER云公司);Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对说话人验证中的会话/信道变异问题,本文在固定说话人嵌入提取器上训练辅助会话嵌入网络,并用会话相似度补偿说话人分数,在不重训提取器的情况下提升鲁棒性。
2023-09-26 cs.SD eess.AS
Learning Speaker Embedding from Text-to-Speech
Johns Hopkins University(约翰斯·霍普金斯大学)
Zero-shot多说话人文本转语音(TTS)在给定输入文本和对应的说话人嵌入的情况下生成目标说话人语音。在这项工作中,我们调查的有效性的TTS重建目标,以提高表示学习的说话人验证。我们以自我监督的方式联合训练端到端Tacotron 2 TTS和说话人嵌入网络。我们假设嵌入将包含最小的语音信息,因为TTS解码器将从文本输入中获得该信息。TTS重建还可以与说话者分类相结合,以进一步增强这些嵌入。一旦训练完成,说话人编码器计算说话人验证任务的表示,而其余的TTS块被丢弃。我们调查培训TTS从手动或ASR生成的成绩单。后者允许我们在数据集上训练嵌入,而无需手动转录。我们比较了ASR成绩单和Kaldi电话对齐TTS输入,显示后者表现更好,由于其更精细的分辨率。对于LibriTTS数据集的i向量,无监督TTS嵌入将EER绝对提高了2.06\%。在LibriTTS和Voxceleb1中,与只使用说话人分类损失的模型相比,使用说话人分类损失的TTS分别使EER提高了0.2 8%和0.73%。
2020-10-21 cs.LG cs.SD eess.AS
Designing Neural Speaker Embeddings with Meta Learning
University of Southern California(南加州大学);University of California, San Francisco(加利福尼亚大学旧金山分校)
使用分类目标训练的神经说话人嵌入在多个应用中表现出最先进的性能。通常,这种嵌入是在单个任务的域外语料库上训练的,例如,说话人分类,尽管有大量的类(说话人)。在这项工作中,我们在元学习范式下重新制定嵌入式训练。我们将训练语料库重新分配为多个相关说话人分类任务的集合,并学习一种更好地概括未见过的说话人的表示。首先,我们开发了一个开源工具包来训练x向量,该x向量在性能上与用于说话人日记化和说话人验证应用的预训练的Kaldi模型相匹配。我们发现,不同的瓶颈层的架构不同地有利于不同的应用程序。接下来,我们使用两种元学习策略,即原型网络和关系网络,来改进x向量嵌入。我们最好的表现模型实现了12.37%和7.11%的相对改善,在DIHARD II开发语料库和AMI会议语料库,分别在扬声器错误。我们分析了DIHARD语料库中不同领域的改进。值得注意的是,在具有挑战性的儿童言语领域,我们研究了儿童年龄和日记化性能之间的关系。此外,我们还发现SITW语料库(7.68%)和VOiCES挑战语料库(8.78%)上说话人验证的等错误率有所降低。我们观察到,元学习特别提供了具有挑战性的声学条件和记录设置在这些语料库中遇到的好处。我们的实验说明了元学习作为训练深度神经说话人嵌入的广义学习范式的适用性。
2020-07-31 cs.SD eess.AS
Deep Speaker Embedding Learning with Multi-Level Pooling for Text-Independent Speaker Verification
JD AI Research(京东人工智能研究院)
本文旨在改进广泛使用的深度说话人嵌入x向量模型。我们提出了以下改进:(1)使用时间延迟神经网络(TDNN)和长短期记忆神经网络(LSTM)的混合神经网络结构,在不同的层次上产生互补的说话人信息;(2)多层次池化策略,从TDNN和LSTM层收集说话人信息;(3)在说话人嵌入提取层上的正则化方案,以使所提取的嵌入适合于随后的融合步骤。NIST SRE 2016 eval测试(EER降低19%)和SRE 2018 dev测试(EER降低9%)显示了这些改进的协同作用,以及这两个测试集在x向量基线上的DCF分数降低超过10%。
2019-02-21 cs.CL cs.SD eess.AS
Content-Aware Speaker Embeddings for Speaker Diarisation
Cambridge University Engineering Dept.(剑桥大学工程系)
最近的说话人diarisation系统通常将可变长度的语音段转换为固定长度的向量表示用于说话人聚类,这被称为说话人嵌入。在本文中,内容感知的说话人嵌入(CASE)的方法,它扩展了说话人分类器的输入,不仅包括声学特征,但也包括其相应的语音内容,通过电话,字符,和词嵌入。与利用类似信息的替代方法(如多任务或对抗训练)相比,CASE将自动语音识别(ASR)从说话人识别中分解出来,专注于对说话人特征和与相应内容单元的相关性进行建模,以获得更具表现力的表示。使用AMI会议转录数据集,使用现实的扬声器diarisation设置评估CASE用于扬声器重新聚类,其中内容信息是通过基于自动分割执行ASR获得的。实验结果表明,与传统方法相比,CASE方法的相对说话人出错率降低了17.8%。
2021-02-12 cs.LG cs.SD eess.AS
Explaining Speaker and Spoof Embeddings via Probing
National Institute of Informatics(情报科学研究所);Institute for Advancing Intelligence(智能推进研究所);University of Eastern Finland(东芬兰大学)
本研究通过训练神经分类器探测音频欺骗检测中的spoof embeddings,发现其保留了性别、语速、F0和时长等说话人特征,以维持检测决策的鲁棒性。
2024-12-24 cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
本文介绍了我们在重叠语音的端到端自动语音识别(ASR)方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统,并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料,并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明,对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University(剑桥大学)
在本文中,我们提出了一种用于训练深度神经网络(DNN)的半监督学习(SSL)技术,以生成说话人区分的声学嵌入(说话人嵌入)。获取大量的说话人识别训练数据对于期望的目标域可能是困难的,特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练(VAT)[1]的一种变体,其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性,如余弦距离所测量的。因此,我们将该技术称为余弦距离虚拟对抗训练(CD-VAT)。与许多现有的SSL技术相比,未标记的数据不必来自与标记数据相同的类(这里是扬声器)。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示,在说话人验证任务中,相对于纯监督基线,它实现了11.1%的等错误率(EER)降低。如果未标记数据的说话人标签可用,这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
USEF-TSE: Universal Speaker Embedding Free Target Speaker Extraction
School of Computer Science, Wuhan University(武汉大学计算机学院);Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University(多模态智能系统苏州市重点实验室、创新数字研究中心、杜克昆山大学)
针对传统目标说话人提取依赖说话人识别模型及嵌入的问题,提出无需说话人嵌入的USEF-TSE框架,以多头交叉注意力提取帧级特征,可适配多种分离模型,在多个标准基准及分布外数据上取得SOTA性能。
2025-05-20 cs.SD eess.AS
Transport-Oriented Feature Aggregation for Speaker Embedding Learning
The Chinese University of Hong Kong(香港中文大学)
需要池化来将帧级特征聚合成用于说话人建模的话语级表示。鉴于基于统计的池化方法的成功,我们假设扬声器特性在预聚合层的输出的统计分布中得到了很好的表示,并建议使用面向运输的特征聚合来获得扬声器嵌入。聚合表示对底层特征分布的几何结构进行编码,预期其包含有价值的特定于说话者的信息,这些信息可能无法由常用的统计度量(如均值和方差)表示。原来的面向交通的功能聚合也扩展到一个加权帧的版本,将注意力机制。Voxceleb数据集的说话人验证实验表明,统计池和它的注意力的变化。
2022-06-26 cs.SD eess.AS
End-to-End Residual CNN with L-GM Loss Speaker Verification System
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
本文提出了一种基于神经网络的端到端说话人确认系统,该系统采用计算复杂性较低的损失函数进行训练。本文提出的端到端说话人确认系统采用ResNet结构从语音中提取特征,生成语音级说话人嵌入,并使用大幅度高斯混合损失函数进行训练。受大间隔和似然正则化的影响,大间隔高斯混合损失函数有利于说话人确认的性能。实验结果表明,具有大余量高斯混合损失的残差CNN在准确率上比基于DNN的i向量基线提高了10%以上。
2018-09-01 cs.SD
NWPU-ASLP System for the VoicePrivacy 2022 Challenge
Northwestern Polytechnical University(西北工业大学)
本文介绍了用于VoicePrivacy 2022挑战赛的NWPU-ASLP说话人匿名系统。我们的提交不涉及额外的自动说话人验证(ASV)模型或x向量池。我们的系统包括四个模块,包括特征提取器,声学模型,匿名化模块,和神经声码器。首先,特征提取器从输入语音信号中提取语音后验图(PPG)和音高。然后,我们从扬声器查找表(LUT)中保留一个伪扬声器ID,该ID随后被馈送到扬声器编码器中以生成不对应于任何真实扬声器的伪扬声器嵌入。为了确保伪说话人是可区分的,我们进一步平均随机选择的说话人嵌入,并将其与伪说话人嵌入加权连接,以生成匿名说话人嵌入。最后,声学模型从匿名说话者嵌入输出匿名化的梅尔频谱图,并且HifiGAN的修改版本将梅尔频谱图转换为匿名化的语音波形。实验结果表明,我们提出的匿名系统的有效性。
2022-09-24 cs.SD eess.AS
Speaker Verification in Multi-Speaker Environments Using Temporal Feature Fusion
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer Institute for Integrated Circuits(弗劳恩霍夫集成电路研究所)
识别说话者的身份在现代人机界面中至关重要,例如,以确保隐私保护或启用生物测定认证。经典的说话人确认(SV)方法从编码说话人的语音特征的语音话语中估计固定维嵌入。如果他/她的语音嵌入与所要求的说话者的嵌入足够相似,则验证说话者。然而,这样的方法假设在输入中仅存在单个说话者。同时发言的人的存在可能会对表演产生不利影响。为了解决多说话人环境中的SV问题,我们提出了一种基于端到端深度学习的SV系统,该系统检测目标说话人是否存在于输入中。首先,从参考话语中估计嵌入以表示目标的特征。第二,帧级特征估计从输入的混合。然后将参考嵌入与混合物的特征逐帧融合,以允许在帧的基础上将目标与其他扬声器区分开。最后,融合后的特征被用来预测目标说话人在语音段中是否是活跃的。实验结果表明,该方法在多说话人情况下的性能优于x向量。
2022-06-28 cs.SD eess.AS
Speaker Verification Across Ages: Investigating Deep Speaker Embedding Sensitivity to Age Mismatch in Enrollment and Test Speech
University of Eastern Finland(东芬兰大学);Institute for Advancing Intelligence, TCG CREST(TCG CREST 智能推进研究所)
该研究针对年龄不匹配对深度说话人嵌入ASV系统的影响,用VoxCeleb和LCFSH数据集在ECAPA-TDNN上测试,建立了衰老与ASV评分的量化关系,发现不同语言下衰老对不同性别说话人影响存在差异。
2023-06-13 cs.SD eess.AS
A study of the robustness of raw waveform based speaker embeddings under mismatched conditions
University of Rochester(罗切斯特大学)
在本文中,我们进行了一个跨数据集的研究参数和非参数的原始波形的说话人嵌入通过说话人确认实验。在一般情况下,我们观察到一个更显着的性能下降,这些原始波形系统相比,基于频谱的系统。然后,我们提出了两种策略,以提高基于原始波形的系统在跨数据集测试的性能。第一种策略是将实值滤波器转换为解析滤波器,以保证平移不变性。第二种策略是将变分丢弃应用于非参数滤波器,以防止它们过度拟合不相关的细微差别特征。
2021-10-11 cs.SD eess.AS
Backend Ensemble for Speaker Verification and Spoofing Countermeasure
Northwestern Polytechnical University(西北工业大学)
本文介绍了NPU系统提交给欺骗感知扬声器验证挑战赛2022。重点从三个方面研究了用于说话人确认和欺骗对抗的\textit{backend ensemble}。首先,除了简单的拼接,我们提出了循环矩阵变换和堆叠的扬声器嵌入和对策嵌入。通过新定义的循环嵌入的叠加操作,我们几乎探索了说话人嵌入和对策嵌入之间所有可能的相互作用。其次,我们尝试不同的卷积神经网络选择性地融合嵌入的显着区域到卷积核通道。最后,我们在一维卷积神经网络中设计了并行注意力,以学习通道维度中的全局相关性以及学习特征维度中的重要部分。同时,我们在二维卷积神经网络中嵌入挤压-激发注意,以学习说话人嵌入和对策嵌入之间的全局依赖性。实验结果表明,上述方法都是有效的.经过上述方法增强的四个训练好的模型融合后,在评价集上获得的最佳SASV EER、SPF EER和SV EER分别为0. 559%、0. 354%和0. 857%。加上上述贡献,我们的提交系统在这项挑战中获得了第五名。
2022-09-23 cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University(西北工业大学)
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类,即,核查和识别。验证损失函数与说话人验证的流水线相匹配,但其实现比较困难。因此,大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中,我们提出了一个验证损失函数,命名为最大化的接收机操作特征(ROC)曲线下的部分面积(pAUC),基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法,以提高训练效率,这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild(SITW)和NIST SRE 2016数据集上的实验表明,所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS