A comprehensive study on self-supervised distillation for speaker representation learning
Shanghai Jiao Tong University(上海交通大学);Microsoft Cognitive Services Research(微软认知服务研究部)
在实际应用场景中,由于说话人隐私问题,获取大量的标记数据用于说话人表示学习往往是一个挑战。无标签的自监督学习是解决这一问题的一种很有前途的方法,与对比学习相比,自提炼学习方法只使用损失函数中的正样本,因而更具吸引力。在本文中,我们提出了一个全面的研究自蒸馏自监督说话人表示学习,特别是关键数据增强。我们提出的音频扰动增强策略将扬声器表示的性能推向了一个新的极限。实验结果表明,我们的模型可以实现一个新的SoTA上Voxceleb 1说话人确认评估基准(即,相等的出错率(EER),对于试验Vox 1-O、Vox 1-E和Vox 1-H分别为2.505%、2.473%和4.791%),在训练阶段丢弃任何说话者标签。
2022-11-25 cs.SD eess.AS
Language-Independent Speaker Anonymization Approach using Self-Supervised Pre-Trained Models
National Institute of Informatics(国立信息学研究所);University of Avignon(阿维尼翁大学)
说话人匿名化的目的是保护说话人的隐私,同时保留语音中的口语信息。目前主流的神经网络说话人匿名系统结构复杂,包括F0提取器、说话人编码器、自动语音识别声学模型(ASR AM)、语音合成声学模型和语音波形生成模型。此外,由于ASR AM依赖于语言,在英语数据上进行训练,因此很难将其适应为另一种语言。在本文中,我们提出了一个更简单的自监督学习(SSL)为语言无关的说话人匿名方法,没有任何显式的语言相关的模型,可以很容易地用于其他语言。在VoicePrivacy Challenge 2020英文数据集和AISHELL-3中文数据集上进行了大量实验,以证明我们提出的基于SSL的语言无关说话人匿名方法的有效性。
2022-04-27 cs.SD eess.AS
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University(剑桥大学)
在本文中,我们提出了一种用于训练深度神经网络(DNN)的半监督学习(SSL)技术,以生成说话人区分的声学嵌入(说话人嵌入)。获取大量的说话人识别训练数据对于期望的目标域可能是困难的,特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练(VAT)[1]的一种变体,其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性,如余弦距离所测量的。因此,我们将该技术称为余弦距离虚拟对抗训练(CD-VAT)。与许多现有的SSL技术相比,未标记的数据不必来自与标记数据相同的类(这里是扬声器)。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示,在说话人验证任务中,相对于纯监督基线,它实现了11.1%的等错误率(EER)降低。如果未标记数据的说话人标签可用,这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
Pushing the limits of self-supervised speaker verification using regularized distillation framework
Speech Lab of DAMO Academy, Alibaba Group(阿里巴巴集团达摩院语音实验室)
本文针对无标签说话人验证任务,应用非对比自监督框架DINO并引入保证多样性与去相关变量的两个正则化项,结合时频域数据增强,在VoxCeleb上实现了单阶段自监督设置下的最优性能。
2023-08-03 cs.SD eess.AS
Speaker Recognition Using Isomorphic Graph Attention Network Based Pooling on Self-Supervised Representation
Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出在自监督表示上使用同构图注意力网络IsoGAT进行说话人识别,通过表示学习、图注意力和聚合三模块联合建模,在VoxCeleb1&2数据集上验证了其优于现有池化方法的识别性能。
2024-02-24 cs.SD eess.AS
Learning Disentangled Phone and Speaker Representations in a Semi-Supervised VQ-VAE Paradigm
University of Edinburgh(爱丁堡大学);Tokyo Institute of Technology(东京工业大学)
我们提出了一种新的方法,通过引入新的组件的VQ-VAE架构的语音合成解开扬声器的声音和电话内容。原始的VQ-VAE不能很好地推广到看不见的扬声器或内容。为了缓解这个问题,我们已经纳入了一个扬声器编码器和扬声器VQ码本,学习全球扬声器特性完全独立于现有的子音素码本。我们还比较了两种训练方法:全局条件下的自监督和说话人标签的半监督。添加扬声器VQ组件改进了语音合成质量的客观测量(估计MOS、扬声器相似性、基于ASR的可懂度),并提供了有意义的学习表示。我们的扬声器VQ码本索引可以用于一个简单的扬声器日记任务,并执行略优于x向量基线。此外,在我们的半监督VQ-VAE中,可以从子音素VQ码本索引中识别音素,比全局条件下的自监督更好。
2021-02-10 cs.LG cs.SD eess.AS
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon AWS AI(亚马逊云科技人工智能)
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性,值得探索。在这项研究中,我们提出了一个有效的自监督学习框架和一个新的正则化策略,以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同,所提出的自监督正则化(SSReg)只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略,所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力,并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明,通过添加有效的自监督正则化,我们提出的自监督方法获得了23.4%的相对改进,并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
Cross-Lingual Speaker Verification with Self-Supervised Pre-Trained Models
Ant Group(蚂蚁集团)
针对跨语言说话人验证的语言不匹配性能下降问题,利用自监督预训练模型提取通用声学特征训练解耦说话人嵌入网络,在TidyVoice2026基准上取得2.21%和2.99%的等错误率。
2026-10-09 cs.SD eess.AS
DINO-VITS: Data-Efficient Zero-Shot TTS with Self-Supervised Speaker Verification Loss for Noise Robustness
Huawei Technologies(华为技术有限公司);ITMO University(ITMO大学);HSE(高等经济大学);SPbU(圣彼得堡大学);Huawei Noah Ark Lab(华为诺亚方舟实验室)
该研究提出DINO-VITS零样本TTS方法,通过带自监督DINO损失的双目标训练提升说话人编码器的噪声鲁棒性,还设计两阶段策略利用带噪无标注数据训练,在干净和噪声场景下的语音相似度、自然度均优于传统方法。
2024-06-18 cs.SD eess.AS
A study of semi-supervised speaker diarization system using gan mixture model
University of Southern California(南加州大学)
我们提出了一个新的发言人日记系统的基础上最近推出的无监督聚类技术,即生成对抗网络混合模型(GANMM)。所提出的系统使用x向量作为前端表示。频谱嵌入用于降维,然后在GANMM预训练期间进行k均值初始化。GANMM通过有效地捕获复杂的数据分布来执行无监督的说话人聚类。在AMI会议语料库上的实验结果表明,本文提出的半监督日志化系统的性能达到或超过了竞争基线。在包含50个具有不同持续时间的会话的评估集上,最佳实现的平均日志化错误率(DER)为17.11%,比信息瓶颈基线相对改善了33%,与xvector基线相当。
2019-10-24 cs.SD eess.AS
Boosting Multi-Speaker Expressive Speech Synthesis with Semi-supervised Contrastive Learning
Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文提出基于半监督对比学习的多说话人TTS方法,通过多层级对比学习提取解耦的风格、情感与说话人表征,并结合半监督策略利用多领域数据,整合至改进VITS模型,实现跨说话人的风格与情感迁移及表现力语音合成。
2024-04-25 cs.SD eess.AS
Supervised attention for speaker recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院);Naver Corporation(Naver公司)
最近提出的自注意池(SAP)在几个说话人识别系统中表现出良好的性能。在SAP系统中,上下文向量与特征提取器一起端到端地训练,其中上下文向量的作用是选择用于说话人识别的最具鉴别力的帧。然而,在某些情况下,SAP与时间平均池(TAP)基线相比表现不佳,这意味着在端到端培训中没有有效地学习注意力。为了解决这个问题,我们引入了以监督方式训练注意力机制的策略,该机制使用分类样本学习上下文向量。通过我们提出的方法,上下文向量可以被提升以选择信息量最大的帧。我们表明,我们的方法在各种实验环境中(包括短话语说话人识别)优于现有方法,并在VoxCeleb数据集上的现有基线上实现了有竞争力的性能。
2020-12-03 cs.SD eess.AS
Self-supervised learning with diffusion-based multichannel speech enhancement for speaker verification under noisy conditions
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林信息学及其应用实验室);MBZUAI University(穆罕默德·本·扎耶德人工智能大学)
本文提出 Diff-Filter 多通道语音增强方法,结合扩散概率模型与两阶段自监督学习,并设计基于等错误率的损失函数,在 MultiSV 数据集上显著提升噪声条件下的说话人验证性能。
2023-07-05 cs.SD eess.AS
Self-Supervised Learning Based Domain Adaptation for Robust Speaker Verification
Shanghai Jiao Tong University(上海交通大学)
说话人确认系统在应用于新领域数据集时,常常会出现较大的性能下降。对于未标记的目标域数据集,无监督的领域自适应(UDA)方法通常利用对抗性训练策略来弥补领域不匹配造成的性能差距。然而,这种对抗性训练策略只利用了目标域数据的分布信息,不能保证在目标域上的性能提升.本文将自监督学习策略引入到无监督领域自适应系统中,提出了一种基于自监督学习的领域自适应方法(SSDA)。与传统的UDA方法相比,新的SSDA训练策略能够充分利用目标域的潜在标签信息,同时适应源域的说话人识别能力。我们在Vox-Celeb(labeled source domain)和CnCeleb(unlabeled target domain)数据集上对该方法进行了测试,最佳的SSDA系统在CnCeleb数据集上获得了10.2%的等误率(Equal ErrorRate,EER),而在CnCeleb数据集上不使用任何说话人标签,也可以达到最先进的结果。
2021-08-31 cs.SD eess.AS
C3-DINO: Joint Contrastive and Non-contrastive Self-Supervised Learning for Speaker Verification
IEEE Publication Technology Group(IEEE出版技术组)
自监督学习(Self-supervised learning,SSL)在语音处理领域引起了越来越多的关注。最近的研究表明,对比学习能够以自我监督的方式学习区分性说话人嵌入。然而,基础对比自监督学习(CSSL)假设锚实例的一个视图和其他实例的任何视图生成的对都是负的,这在构造损失函数时引入了许多假负对。这个问题被称为$class$ - $collision$,它仍然是阻碍基于CSSL的说话人确认(SV)系统实现更好性能的一个主要问题。同时,研究表明,负样本自由SSL框架在学习说话人或图像表征方面表现良好。在这项研究中,我们调查SSL技术,导致改善SV性能。我们首先分析了CSSL系统中假阴性对的影响。在此基础上,提出了一种多阶段的类冲突校正(C3)方法,并以此为基础实现了基于CSSL的说话人嵌入系统。在预训练的CSSL模型的基础上,我们进一步提出采用负样本自由SSL目标(即,DINO)来微调扬声器嵌入网络。在Voxceleb 1测试集上,使用简单的余弦距离评分方法,得到的说话人嵌入系统(C3-DINO)实现了2.5%的EER,比之前的SOTA SSL系统(4.86%)有显著的+45%的相对改进。通过对Voxceleb 2训练集进行说话人聚类和伪标记,应用于C3-DINO说话人嵌入的LDA/CDS后端能够进一步将EER提高到2.2%。Voxceleb基准测试和我们内部数据集的综合实验研究…
2022-08-15 cs.SD eess.AS
Can you Remove the Downstream Model for Speaker Recognition with Self-Supervised Speech Features?
Apple(苹果公司);Carnegie Mellon University(卡内基梅隆大学)
本文发现预训练自监督语音特征已包含说话人验证所需信息,提出大幅简化下游模型,在SUPERB上以参数减少97.51%实现29.93%的平均性能提升,并展现出更高的数据效率。
2024-06-13 cs.SD eess.AS
Analyzing Speaker Information in Self-Supervised Models to Improve Zero-Resource Speech Processing
Stellenbosch University(斯泰伦博斯大学)
对比预测编码(CPC)旨在通过区分未来的观察结果和一组否定的例子来学习语音的表示。以前的工作表明,在CPC特征上训练的线性分类器可以准确地预测说话者和电话标签。然而,目前还不清楚这些特征实际上是如何捕获说话者和语音信息的,以及是否可以将不相关的细节标准化(取决于下游任务)。在本文中,我们首先表明,每话语平均CPC功能捕获说话人的信息在很大程度上。具体来说,我们发现比较方法在说话人确认任务中表现良好。接下来,探测实验表明,标准化的功能有效地消除了说话人的信息。基于这一观察,我们提出了一个扬声器归一化步骤,以提高声学单元发现使用K-means聚类的CPC功能。最后,我们展示了在结果单元上训练的语言模型在ZeroSpeech 2021 ~Challenge中取得了一些最佳结果。
2021-08-02 cs.SD eess.AS
Confidence Score Guided Incremental and Speaker Adaptive Pseudo-Labeling for Semi-Supervised Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China(香港中文大学);Institute of Software, Chinese Academy of Sciences, China(中国科学院软件研究所);National Research Council Canada, Canada(加拿大国家研究理事会)
提出一种置信度评分引导的增量式和说话人自适应伪标注方法,通过渐进式高质量伪标签选择和说话人自适应训练,在老年人语音识别中分别降低词错误率1.45%和字符错误率2.27%。
2026-06-16 cs.SD eess.AS
Self-Supervised Speaker Verification Using Dynamic Loss-Gate and Label Correction
Shanghai Jiao Tong University(上海交通大学)
在自监督说话人确认中,由于大量的不可靠标签,伪标签的质量决定了系统的上界。在这项工作中,我们提出了动态损失门和标签校正(DLG-LC),以减轻不可靠的估计标签所造成的性能下降。在DLG中,我们采用高斯混合模型(GMM)动态建模的损失分布,并使用估计的GMM自动区分可靠和不可靠的标签。此外,为了更好地利用不可靠的数据,而不是直接丢弃它们,我们使用模型预测来纠正不可靠的标签。此外,我们在我们的实验中应用负对自由的DINO框架,以进一步改进。与最著名的自监督学习说话人确认系统相比,我们提出的DLG-LC收敛速度更快,在Voxceleb 1评估数据集的Vox-O,Vox-E和Vox-H试验中分别获得了11.45%,18.35%和15.16%的相对改善。
2022-08-03 cs.SD eess.AS
Extracting speaker and emotion information from self-supervised speech models via channel-wise correlations
Omilia - Conversational Intelligence(Omilia 对话智能公司);Brno University of Technology(布尔诺理工大学);University of Helsinki(赫尔辛基大学)
来自大量未标记数据的语音表示的自监督学习已经在几个语音处理任务中实现了最先进的结果。跨时间聚合这些语音表示通常通过使用描述性统计来接近,并且特别地,使用表示系数的一阶和二阶统计。在本文中,我们研究了另一种方法,从自我监督训练模型中提取说话人和情感信息,基于表示系数之间的相关性-相关池。我们展示了平均池的改进,并通过融合将池化方法结合在一起时进一步获得了收益。该代码可在github.com/Lamomal/s3prl_correlation上获得。
2022-10-15 cs.SD eess.AS
Adapting self-supervised models to multi-talker speech recognition using speaker embeddings
Johns Hopkins University(约翰斯·霍普金斯大学)
自监督学习(SSL)方法在没有显式监督的情况下学习数据的表示,在语音处理任务中,特别是对于单说话者应用程序,已经得到了普及。然而,这些模型在多人通话场景中的性能通常会降低--可能是由于域不匹配--这严重限制了它们在此类应用中的使用。在本文中,我们研究了在两种情况下上游SSL模型对多说话者自动语音识别(ASR)任务的适应性。首先,当分段的话语,我们表明,添加一个目标说话人提取(TSE)模块的基础上注册嵌入是互补的混合感知预训练。其次,对于未分割的混合,我们提出了一种新的联合说话人建模(JSM)的方法,通过他们的嵌入聚合来自混合中的所有扬声器的信息。通过在Libri 2 Mix上的对照实验,我们表明,使用扬声器嵌入分别为分段和未分段的情况提供了9.1%和42.1%的相对WER改进。我们还通过在AMI数据集上的实验证明了我们的模型对真实会话混合的有效性。
2022-11-01 cs.SD eess.AS
Graph Convolutional Network Based Semi-Supervised Learning on Multi-Speaker Meeting Data
Alibaba(阿里巴巴)
说话人的无监督聚类由于其在半监督学习中的潜在用途而变得越来越重要。在现实中,我们经常从多方会议和讨论中获得大量未标记的数据。一个有效的无监督聚类方法将使我们能够显着增加训练数据的数量,而无需额外的注释成本。最近,基于图卷积网络(GCN)的方法在无监督聚类中受到越来越多的关注,因为这些方法利用节点之间的连接模式来提高学习性能。在这项工作中,我们提出了一种基于GCN的半监督学习方法。给定一个预训练的嵌入提取器,一个图卷积网络在标记的数据上训练,并用“伪标签”聚类未标记的数据。我们提出了一种自校正训练机制,该机制迭代地在伪标签上运行聚类训练校正过程。我们表明,该方法有效地使用未标记的数据,提高了说话人识别的准确性。
2022-04-25 cs.SD eess.AS
Speaker attribution with voice profiles by graph-based semi-supervised learning
Microsoft(微软)
在许多实际应用中,如会议转录,需要说话人属性,其中说话人身份根据说话人语音配置文件分配给每个话语。在本文中,我们提出了解决说话人归属问题,使用基于图的半监督学习方法。为每个会话构建语音段的图,在该图上,来自语音简档的段由标记的节点表示,而来自测试话语的段是未标记的节点。节点之间的边的权重通过语音段的预训练的说话人嵌入之间的相似性来评估。说话人属性则成为图上的半监督学习问题,在图上应用两种基于图的方法:标签传播(LP)和图神经网络(GNNs)。所提出的方法能够利用图的结构信息来提高说话人归属性能。在真实会议数据上的实验结果表明,与独立处理每个话语的基线说话人识别方法相比,基于图的方法将说话人归因错误减少了68%。
2021-02-06 cs.LG cs.SD eess.AS
Self-Supervised Metric Learning With Graph Clustering For Speaker Diarization
Indian Institute of Science(印度科学学院)
在本文中,我们提出了一种新的算法,说话人日记使用基于图的聚类度量学习。图聚类算法使用由相似性分数组成的邻接矩阵。这些分数是在从给定记录内的音频片段对中提取的扬声器嵌入之间计算的。在本文中,我们提出了一种方法,共同学习的发言人嵌入和相似性度量的原则,自监督学习。度量学习网络实现了概率线性判别分析(PLDA)的神经模型。自我监督是从先前的聚类迭代中获得的伪标签中得到的。表示学习和度量学习的整个模型都是用二进制交叉熵损失来训练的。通过将基于自监督的度量学习与基于图的聚类算法相结合,我们在AMI和DIHARD数据集上分别实现了60%和7%的相对改进。
2021-09-14 cs.SD eess.AS
Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation
National Taiwan University(台湾大学)
近年来,端到端的多说话人文本转语音(TTS)系统在大量高质量语音及其对应的传输可用的情况下获得了成功。然而,费力的配对数据收集过程阻止了许多机构构建具有良好性能的多扬声器TTS系统。在这项工作中,我们提出了一个半监督学习方法的多说话人TTS。多说话人TTS模型可以通过所提出的具有离散语音表示的编码器-解码器框架从未转录的音频中学习。实验结果表明,该模型仅用一小时的配对语音数据,无论是多个说话人还是单个说话人的配对语音,都能生成不同语音的可理解语音。我们发现该模型可以受益于所提出的半监督学习方法,即使部分未配对的语音数据是嘈杂的。此外,我们的分析表明,不同的说话人特征的配对数据的半监督TTS的有效性有影响。
2020-08-04 cs.CL cs.SD eess.AS
Learning Metrics from Mean Teacher: A Supervised Learning Method for Improving the Generalization of Speaker Verification System
University of Seoul(首尔大学);Naver Corporation(NAVER公司)
大多数说话人确认任务都是考虑真实世界条件的开集评估场景。因此,对未见过说话人的泛化能力对说话人确认系统的性能至关重要。我们建议应用\textit {Mean Teacher},一种时间平均模型,来提取具有小的类内方差和大的类间方差的说话人嵌入。平均教师网络是指对深度神经网络参数进行时间平均;它可以产生比训练完成后使用权重更准确和稳定的表示。通过学习均值教师网络的可靠中间表示,我们期望该方法能够探索更多的判别嵌入空间,提高说话人确认系统的泛化性能。在VoxCeleb 1测试集上的实验结果表明,与基线系统相比,该方法的性能提高了11.61%.
2021-04-14 cs.SD eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Corporation(微软公司)
最近,自监督学习(SSL)在说话人识别中表现出了很强的性能,即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验,研究了自监督学习在说话人相关任务(如说话人确认)中的成功因素。我们在Voxceleb-1数据集上的实证结果表明,SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合,而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University(西北工业大学);Tencent Corporation(腾讯公司)
本文针对音视觉标注数据不足问题,在端到端AVSD系统中引入监督式与自监督式预训练语音模型,并联合训练音频、说话人编码器及音视觉解码器,在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
A Large-Scale Probing Analysis of Speaker-Specific Attributes in Self-Supervised Speech Representations
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong(香港中文大学电子工程系);Independent Researcher(独立研究者);School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学深圳学校数据科学系)
本研究通过大规模分析揭示了自监督语音表示中说话人特定属性的编码机制,发现大模型在深层结构中能恢复说话人身份,且中间表示更擅长捕捉动态语调。
2026-09-09 cs.SD eess.AS
Self-supervised Representation Learning With Path Integral Clustering For Speaker Diarization
Indian Institute of Science(印度科学学院)
自动说话人日记化技术通常涉及两阶段处理方法,其中在第一阶段中将固定持续时间的音频段转换为向量表示。然后在第二阶段对表示进行无监督聚类。在大多数现有方法中,这两个阶段以具有独立优化步骤的隔离方式执行。在本文中,我们提出了一种表示学习和聚类算法,可以迭代执行改进的扬声器日记。表示学习是基于自监督学习的原则,而聚类算法是一种基于路径积分聚类(PIC)的图结构方法。表示学习步骤使用来自PIC的聚类目标,聚类步骤对从自监督深度模型学习的嵌入执行。这种迭代方法被称为自监督聚类(SSC)。在CALLHOME和AMI会议数据集上进行了日志化实验。在这些实验中,我们表明SSC算法在基线系统上有显著改进(在日志化错误率(DER)方面,CALLHOME和AMI数据集分别相对改进了13%和59%)。此外,在这项工作中报告的DER结果改善了其他几个最近的方法发言人日记。
2021-04-19 cs.SD eess.AS
Identifying Speaker Information in Feed-Forward Layers of Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);Centre of Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心)
本文通过识别自监督语音 Transformer 前馈层中与说话人信息相关的神经元,发现其与自监督特征和 i-vector 的 k-means 聚类相关,并在剪枝中保护这些神经元以显著保留说话人任务性能。
2025-06-26 cs.CL cs.SD eess.AS
Classification vs. Regression in Supervised Learning for Single Channel Speaker Count Estimation
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学);Fraunhofer Institute for Integrated Circuits(弗劳恩霍夫集成电路研究所)
从单声道混合信号中估计最大并发说话者数目的任务对于各种基于音频的应用(例如,盲源分离、说话者diarisation、音频监视或听觉场景分类)是重要的。基于强大的机器学习方法,我们开发了一个深度神经网络(DNN)来估计说话者数量。虽然DNN有效地将输入表示映射到输出目标,但仍然不清楚如何最好地处理网络输出以推断整数源计数估计,因为离散计数估计可以作为回归或分类问题来处理。在本文中,我们调查这一重要的设计决策,并解决补充参数的选择,如输入表示。我们评估了一种基于双向长短期记忆网络架构的最先进的DNN音频模型,用于扬声器计数估计。通过实验评估,旨在确定任务的最佳总体策略,并显示最多10个扬声器的混合物中的5秒语音片段的结果。
2018-02-15 cs.SD eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2020 System Description
IDLAB(ID实验室)
在这份技术报告中,我们描述了IDLAB在有监督和无监督说话人验证轨道中为VoxCeleb说话人识别挑战赛2020(VoxSRC-20)提交的最高得分。对于监督验证跟踪,我们训练了6个最先进的ECAPA-TDNN系统和4个基于Resnet 34的系统。在所有模型上,我们应用了一个大间隔微调策略,这使得训练过程能够通过使用更长的训练话语来使用更高的间隔惩罚。此外,我们使用质量感知的分数校准,在校准系统中引入质量指标,以产生更一致的分数在不同水平的话语条件。所有系统的融合以及两种增强功能的应用导致了开放式和封闭式监督核查轨道的第一名。通过对比学习来训练无监督系统。随后通过训练嵌入的迭代聚类生成的伪标签允许使用监督技术。这一过程导致了在无监督的轨道上获胜的提交,其性能正在接近监督训练。
2020-10-23 cs.SD eess.AS
Self-supervised Speaker Diarization
Bar-Ilan University(巴伊兰大学);Technion--Israel Institute of Technology(以色列理工学院)
在过去的几年里,深度学习在说话人验证、识别和日志化方面越来越受欢迎。毫无疑问,这一成功的一个重要部分是由于他们的扬声器表示的有效性。然而,这些都严重依赖于大量的注释数据,并可能是敏感的新领域。这项研究提出了一个完全无监督的深度学习模型,用于说话人日记化。具体来说,该研究的重点是在没有任何注释数据的情况下生成高质量的神经说话人表示,以及在没有注释的情况下估计模型的二级超参数。扬声器嵌入表示的编码器训练在一个自我监督的方式使用对相邻段假设是同一个扬声器。然后,使用经训练的编码器模型自生成伪标签,以随后使用概率线性判别分析(PLDA)训练同一呼叫的不同段之间的相似性分数,并进一步学习聚类停止阈值。我们将我们的模型与CallHome基准测试中最先进的无监督和监督基线进行了比较。根据实证结果,我们的方法优于无监督的方法时,只有两个扬声器存在于通话中,只是略差于最近的监督模型。
2022-04-08 cs.LG cs.SD eess.AS
Leveraging In-the-Wild Data for Effective Self-Supervised Pretraining in Speaker Recognition
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳));Tencent(腾讯);Shanghai Jiao Tong University(上海交通大学)
本文研究说话人识别中自监督预训练受标注数据限制的问题,提出在大规模 WenetSpeech 上进行 DINO 训练并结合置信度过滤,提升 CNCeleb 监督系统性能。
2023-09-27 cs.SD eess.AS
Learning Speaker Representation with Semi-supervised Learning approach for Speaker Profiling
扬声器配置,其目的是估计扬声器的特征,如年龄和身高,有广泛的应用inforensics,推荐系统等。在这项工作中,我们提出了一种半监督学习方法,以减轻问题的低训练数据扬声器配置。这是通过利用外部语料库与说话人信息训练一个更好的表示,这可以帮助改善说话人分析系统。具体来说,除了标准的监督学习路径外,该框架还增加了两条路径:(1)无监督的说话人表征学习路径,帮助捕获说话人信息;(二)一致性训练路径,有助于提高系统的鲁棒性,通过强制它产生类似的预测,为同一说话人的话语。所提出的方法进行评估的TIMIT和NISP数据集,年龄、身高和性别估计,而Librispeech被用作无监督的外部语料库。在单任务和多任务环境下训练,我们的方法能够在TIMIT测试数据集上获得最先进的年龄估计结果,男性和女性说话者的均方根误差(RMSE)分别为6.8和7.4岁,平均绝对误差(MAE)分别为4.8和5.0岁。
2021-10-24 cs.LG cs.SD eess.AS
DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
Department of Artificial Intelligence(人工智能系)
提出DiEmo-TTS,通过自监督蒸馏和聚类匹配学习说话人无关的情感嵌入,实现跨说话人情感迁移,减少说话人泄漏并提升合成质量。
2025-10-17 cs.AI cs.SD eess.AS
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University(首尔国立大学)
在本文中,我们提出了自我监督的说话人表示学习策略,其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段,我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段,通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入,这不仅提供了说话人表示,而且还提供了数据的不确定性。实验结果表明,所提出的自举均衡训练策略能够有效地帮助学习说话人表征,并且优于传统的基于对比学习的方法。此外,我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
Speaker consistency loss and step-wise optimization for semi-supervised joint training of TTS and ASR using unpaired text data
NTT Corporation(日本电报电话公司)
在本文中,我们研究了文本到语音(TTS)和自动语音识别(ASR)的半监督联合训练,其中有少量的成对数据和大量的非成对文本数据。传统的研究形成了一个称为TTS-ASR管道的循环,其中多说话者TTS模型从具有参考语音的文本合成语音,ASR模型从合成语音中重建文本,之后两个模型都经过训练,具有循环一致性损失。然而,合成语音并不反映参考语音的说话人特征,并且合成语音在训练后变得过于容易用于ASR模型识别。这不仅降低了TTS模型的质量,而且限制了ASR模型的改进。为了解决这个问题,我们提出了改进基于循环一致性的训练与扬声器一致性损失和逐步优化。说话人一致性损失使得合成语音的说话人特征更接近参考语音的说话人特征。在逐步优化中,我们首先在训练两个模型之前冻结TTS模型的参数,以避免TTS模型对ASR模型的过度适应。实验结果证明了该方法的有效性。
2022-07-11 cs.SD eess.AS
Towards Supervised Performance on Speaker Verification with Self-Supervised Learning by Leveraging Large-Scale ASR Models
EPITA Research Laboratory (LRE), France(EPITA研究实验室(LRE),法国)
本文提出利用大规模ASR模型和伪标签微调WavLM,在自监督说话人验证中达到0.99% EER,接近监督基线0.94%,刷新SOTA。
2024-09-16 cs.LG cs.SD eess.AS
Target Speech Extraction: Independent Vector Extraction Guided by Supervised Speaker Identification
Technical University of Liberec(利贝雷茨工业大学)
该手稿提出了一种新的鲁棒性的程序,用于从混合音频源中提取感兴趣的扬声器(SOI)。SOI的估计通过独立向量提取(IVE)来执行。由于盲IVE本身无法区分目标源,因此通过基于深度学习的逐帧说话人识别将其引导到SOI。尽管如此,由于引导失败,特别是在处理具有挑战性的数据时,可能会提取不正确的说话者。为了识别这种情况下,我们提出了一个标准,非侵入性地评估估计扬声器。它使用与说话人识别相同的模型,因此不需要额外的训练。当检测到不正确的提取时,我们提出了一个“放气”步骤,其中从混合物中减去不正确的来源,随后,进行另一次提取SOI的尝试。重复该过程直到实现成功提取。所提出的程序进行实验测试,人工和现实世界的数据集包含具有挑战性的现象:源运动,混响,瞬态噪声,或麦克风故障。该方法与最先进的盲算法以及当前基于全监督深度学习的方法进行了比较。
2022-07-08 cs.SD eess.AS
Adaptive blind audio source extraction supervised by dominant speaker identification using x-vectors
Technical University of Liberec(利贝雷茨技术大学)
提出了一种新的自适应盲音频源提取算法。该方法基于独立向量分析,并利用辅助函数优化,以实现高收敛速度。该算法部分地由与感兴趣的源(SOI)相关的导频信号监督,这确保该方法正确地提取期望说话者的话语。导频是基于使用x向量的混合中的主导扬声器的识别。实验分析了在存在串扰的情况下计算的x向量的性质。所提出的方法是在一个场景中与移动SOI,静态干扰扬声器,和环境噪声进行验证。
2019-10-25 cs.SD eess.AS eess.SP
Large-scale Self-Supervised Speech Representation Learning for Automatic Speaker Verification
Microsoft(微软)
从大规模未标记数据中学习到的语音表示比从监督学习中学习到的语音表示具有更好的泛化能力,因此吸引了大量的兴趣被应用于各种下游任务。在本文中,我们探索了通过不同的自监督目标和数据集学习的语音表示的限制,用于自动说话人验证(ASV),特别是使用公认的SOTA ASV模型ECAPA-TDNN [1]作为下游模型。来自预训练模型的所有隐藏层的表示首先用可学习的权重进行平均,然后作为输入特征输入ECAPA-TDNN。在Voxceleb数据集上的实验结果表明,加权平均表示明显优于FBank,ASV的传统手工特征。我们最好的单系统分别在VoxCeleb 1的三次正式试验中达到0.537%、0.569%和1.180%的相等出错率(EER)。相应地,具有三个预训练模型的集成系统可以进一步将EER提高到0.479%、0.536%和1.023%。在三个评估试验中,我们最好的系统在VoxCeleb 1-E试验中的表现优于VoxCeleb Speaker Recognition Challenge 2021(VoxSRC 2021)的获胜者系统。
2022-01-24 cs.SD eess.AS
Eta-WavLM: Efficient Speaker Identity Removal in Self-Supervised Speech Representations Using a Simple Linear Equation
Università degli studi di Torino(托斯纳大学);Cerence Inc(Cerence公司)
本文提出Eta-WavLM,通过线性分解自监督语音表示中的说话人特定与无关成分,实现高效说话人身份去除,在语音转换等任务上优于现有方法。
2025-05-25 cs.AI cs.SD eess.AS
Weak-Supervised Dysarthria-invariant Features for Spoken Language Understanding using an FHVAE and Adversarial Training
KULeuven(鲁汶大学)
构音障碍语音中训练数据的稀缺性和说话人的差异性导致构音障碍语音口语理解系统的准确性和说话人泛化能力较差。通过对语音特征的研究,我们致力于在有限的构音障碍数据下提高模型的泛化能力。无监督训练的因子化分层变分自动编码器(FHVAE)在分离内容和说话人表征方面显示出其优势。早期的工作表明,构音障碍显示在两个特征向量。在这里,我们添加了对抗性训练来弥合控制和构音障碍语音数据域之间的差距。我们使用弱监督提取构音障碍和说话人不变特征。提取的功能进行评估的口语理解任务,并产生更高的准确性看不见的扬声器与更严重的构音障碍相比,从基本的FHVAE模型或平原滤波器组的功能。
2022-10-24 cs.SD eess.AS
Weakly Supervised Training of Speaker Identification Models
Tallinn University of Technology(塔林理工大学)
我们提出了一种弱监督方式训练说话人辨识模型的方法。我们集中在训练数据由一组音频记录组成的设置上,并且仅在记录级别提供说话者注释。该方法使用说话人日志化来找到每个记录中的唯一说话人,并且使用i向量来将每个说话人的语音投影到固定维向量。然后训练神经网络以使用特殊目标函数将i向量映射到扬声器,该特殊目标函数允许使用记录级扬声器标签来优化模型。我们在两个不同的真实世界的数据集上报告实验。在VoxCeleb数据集上,该方法在闭集说话人辨识任务上提供了94.6%的准确率,大大超过了基线性能。在爱沙尼亚广播新闻数据集上,该方法提供了66%的时间加权说话人辨识召回率,93%的准确率。
2018-06-22 cs.CL cs.HC cs.SD
Reprogramming Self-supervised Learning-based Speech Representations for Speaker Anonymization
本文提出基于端到端模型重编程的参数高效说话人匿名化方法,利用SSL模型提取表征并适配到伪域,在VPC 2022数据集上以更少计算资源达到与强基线相当的性能。
2023-11-17 eess.AS
Self-Supervised Training of Speaker Encoder with Multi-Modal Diverse Positive Pairs
National University of Singapore(新加坡国立大学);Fortemedia(富迪媒体);University of Eastern Finland(东芬兰大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学);Kriston AI(Kriston人工智能)
本文研究了一种新的说话人编码器的神经网络结构及其训练策略,用于说话人识别中不使用身份标签。说话人编码器被训练为从各种长度的口语话语中提取固定大小的说话人嵌入。对比学习是一种典型的自监督学习技术。然而,扬声器编码器的质量在很大程度上取决于正负对的采样策略。我们通常从同一话语中抽取一对正的片段。不幸的是,这种穷人的积极对(PPP)缺乏必要的多样性的训练一个强大的编码器。在这项工作中,我们提出了一个多模态对比学习技术与新的采样策略。通过语音和人脸数据之间的交叉引用,我们研究了一种方法,发现不同的积极对(DPP)的对比学习,从而提高扬声器编码器的鲁棒性。在VoxCeleb 2数据集上对说话人编码器进行训练,在VoxCeleb 1的三个测试集上,采用渐进式聚类策略的等误率分别为2.89%、3.17%和6.27%,采用伪标签两阶段学习策略的等误率分别为1.44%、1.77%和3.27%.这种新的解决方案大大优于最先进的自监督学习方法,同时,实现了与监督学习对应的结果。我们还在LRS 2和LRW数据集上评估了我们的自监督学习技术,其中说话人信息是未知的。所有实验表明,所提出的神经结构和采样策略在数据集上是鲁棒的。
2022-10-27 cs.SD eess.AS eess.SP
Augmentation adversarial training for self-supervised speaker recognition
University of Oxford(牛津大学);Naver Corporation(Naver公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文的目标是训练不需要说话人标签的鲁棒说话人识别模型。最近的无监督说话人表示的工作是基于对比学习,其中,他们鼓励内话语嵌入是相似的,跨话语嵌入是不同的。然而,由于话语内片段共享相同的声学特性,因此难以将说话者信息与声道信息分离。为此,我们提出了增强对抗训练策略,该策略训练网络对说话人信息具有辨别力,同时对所应用的增强保持不变。由于增强模拟了声学特性,因此训练网络对增强不变也鼓励网络对信道信息保持不变。在VoxCeleb和VOiCES数据集上进行的大量实验表明,与以前使用自我监督的作品相比,我们的自我监督模型的性能有了显着的改进,并且我们的自我监督模型的性能远远超过了人类。
2020-10-30 cs.LG cs.SD eess.AS
Supervised Hierarchical Clustering using Graph Neural Networks for Speaker Diarization
Indian Institute of Science(印度科学学院)
用于说话人日记化的常规方法涉及将音频文件窗口化为短片段以提取说话人嵌入,随后是嵌入的无监督聚类。这种多步骤方法为每个片段生成扬声器分配。在本文中,我们提出了一种新的监督层次gRaph聚类算法(SHARC)的说话人日记,我们引入了一个层次结构,使用图神经网络(GNN)进行监督聚类。监督允许模型更新表示,并直接提高聚类性能,从而实现一个单步方法的日志。在所提出的工作中,输入段嵌入被视为一个图的节点,与节点之间的相似性得分对应的边的权重。我们还提出了一种方法来联合更新嵌入提取器和GNN模型,以执行端到端的扬声器日记(E2 E-SHARC)。在推理过程中,使用节点密度和边缘存在概率进行分层聚类,以合并段直到收敛。在日志化实验中,我们说明了所提出的E2 E-SHARC方法在AMI和Voxconverse等基准数据集上分别比基线系统实现了53%和44%的相对改进。
2023-02-24 cs.LG cs.SD eess.AS
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland(三星研发院波兰分院);AGH University of Krakow(波兰克拉科夫AGH大学)
针对说话人验证中对比学习的难负样本利用问题,提出CHNS聚类式难负样本采样方法,通过聚类相似说话人嵌入并优化批次难易负样本比例,在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%,优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
Label-Efficient Self-Supervised Speaker Verification With Information Maximization and Contrastive Learning
Language Recognition Group (ESLR), Laboratoire de Recherche de l'EPITA, France
本研究提出一种结合信息最大化与对比学习的自监督方法,从原始音频学习说话人嵌入,在少量标记数据微调下超越监督基线。
2022-07-12 cs.LG cs.SD eess.AS
Self-supervised Reflective Learning through Self-distillation and Online Clustering for Speaker Representation Learning
Duke University(杜克大学);Wuhan University(武汉大学)
本文提出自监督反思学习(SSRL)框架,通过师生架构与在线聚类机制在单轮训练中持续优化伪标签,有效解决了传统两阶段迭代框架计算开销大且受噪声伪标签影响的问题,在VoxCeleb数据集上以单轮训练超越5轮方法性能。
2025-05-31 cs.SD eess.AS
Self-Distillation Prototypes Network: Learning Robust Speaker Representations without Supervision
本文提出自蒸馏原型网络(SDPN),通过将话语增强视图与原始视图分配至相同原型实现自监督知识转移,并引入多样性正则化项解决模型崩溃问题,在VoxCeleb基准上达到最先进性能。
2024-06-25 cs.SD eess.AS