Pushing the limits of self-supervised speaker verification using regularized distillation framework
Speech Lab of DAMO Academy, Alibaba Group（阿里巴巴集团达摩院语音实验室）
本文针对无标签说话人验证任务，应用非对比自监督框架DINO并引入保证多样性与去相关变量的两个正则化项，结合时频域数据增强，在VoxCeleb上实现了单阶段自监督设置下的最优性能。
2023-08-03 cs.SD eess.AS
Speaker Recognition Using Isomorphic Graph Attention Network Based Pooling on Self-Supervised Representation
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出在自监督表示上使用同构图注意力网络IsoGAT进行说话人识别，通过表示学习、图注意力和聚合三模块联合建模，在VoxCeleb1&2数据集上验证了其优于现有池化方法的识别性能。
2024-02-24 cs.SD eess.AS
Simple Attention Module based Speaker Verification with Iterative noisy label detection
Tencent AI Lab（腾讯AI Lab）
近年来，在基于深度学习的说话人确认系统中，挤压激励模块（SE）和卷积块注意力模块（CBAM）等注意力机制取得了巨大的成功。本文介绍了一种替代的有效而简单的方法，即，简单注意力模块（SimAM），用于说话人验证。SimAM模块是一个即插即用的模块，没有额外的模态参数。此外，我们提出了一种噪声标签检测方法，迭代过滤出的数据样本与噪声标签的训练数据，考虑到一个大规模的数据集标记与人类注释或其他自动化过程中可能包含噪声标签。带有噪声标签的数据可能会超过深度神经网络（DNN）的参数，并由于DNN的记忆效应而导致性能下降。实验在VoxCeleb数据集上进行。基于SimAM的说话人确认模型在VoxCeleb1原始测试中达到了0.675%的等出错率（EER）。我们提出的迭代噪声标签检测方法进一步降低EER为0.643%。
2021-10-13 cs.SD eess.AS
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon AWS AI（亚马逊云科技人工智能）
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性，值得探索。在这项研究中，我们提出了一个有效的自监督学习框架和一个新的正则化策略，以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同，所提出的自监督正则化（SSReg）只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略，所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力，并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明，通过添加有效的自监督正则化，我们提出的自监督方法获得了23.4%的相对改进，并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
Cross-Lingual Speaker Verification with Self-Supervised Pre-Trained Models
Ant Group（蚂蚁集团）
针对跨语言说话人验证的语言不匹配性能下降问题，利用自监督预训练模型提取通用声学特征训练解耦说话人嵌入网络，在TidyVoice2026基准上取得2.21%和2.99%的等错误率。
2026-10-09 cs.SD eess.AS
A study of semi-supervised speaker diarization system using gan mixture model
University of Southern California（南加州大学）
我们提出了一个新的发言人日记系统的基础上最近推出的无监督聚类技术，即生成对抗网络混合模型（GANMM）。所提出的系统使用x向量作为前端表示。频谱嵌入用于降维，然后在GANMM预训练期间进行k均值初始化。GANMM通过有效地捕获复杂的数据分布来执行无监督的说话人聚类。在AMI会议语料库上的实验结果表明，本文提出的半监督日志化系统的性能达到或超过了竞争基线。在包含50个具有不同持续时间的会话的评估集上，最佳实现的平均日志化错误率（DER）为17.11%，比信息瓶颈基线相对改善了33%，与xvector基线相当。
2019-10-24 cs.SD eess.AS
DIVE: End-to-end Speech Diarization via Iterative Speaker Embedding
Google Research（谷歌研究院）
我们介绍了DIVE，一个端到端的说话人日志化算法。我们的神经算法将日志化任务呈现为一个迭代过程：它重复地为每个说话者构建一个表示，然后根据提取的表示来预测每个说话者的语音活动。该策略本质上解决了说话人排序模糊，而不需要经典的排列不变训练损失。与以前的工作相比，我们的模型不依赖于预先训练的扬声器表示，并优化了系统的所有参数与多扬声器语音活动损失。重要的是，我们的损失明确排除了不可靠的说话人回合边界的训练，这是适应于标准的基于衣领的日记出错率（DER）的评估。总的来说，这些贡献产生了一个系统，重新定义了标准CALLHOME基准的最新技术水平，DER为6.7%，而最佳替代方案为7.8%。
2021-05-28 cs.LG cs.SD eess.AS
Supervised attention for speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Naver Corporation（Naver公司）
最近提出的自注意池（SAP）在几个说话人识别系统中表现出良好的性能。在SAP系统中，上下文向量与特征提取器一起端到端地训练，其中上下文向量的作用是选择用于说话人识别的最具鉴别力的帧。然而，在某些情况下，SAP与时间平均池（TAP）基线相比表现不佳，这意味着在端到端培训中没有有效地学习注意力。为了解决这个问题，我们引入了以监督方式训练注意力机制的策略，该机制使用分类样本学习上下文向量。通过我们提出的方法，上下文向量可以被提升以选择信息量最大的帧。我们表明，我们的方法在各种实验环境中（包括短话语说话人识别）优于现有方法，并在VoxCeleb数据集上的现有基线上实现了有竞争力的性能。
2020-12-03 cs.SD eess.AS
Self-supervised learning with diffusion-based multichannel speech enhancement for speaker verification under noisy conditions
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林信息学及其应用实验室）；MBZUAI University（穆罕默德·本·扎耶德人工智能大学）
本文提出 Diff-Filter 多通道语音增强方法，结合扩散概率模型与两阶段自监督学习，并设计基于等错误率的损失函数，在 MultiSV 数据集上显著提升噪声条件下的说话人验证性能。
2023-07-05 cs.SD eess.AS
Self-Supervised Learning Based Domain Adaptation for Robust Speaker Verification
Shanghai Jiao Tong University（上海交通大学）
说话人确认系统在应用于新领域数据集时，常常会出现较大的性能下降。对于未标记的目标域数据集，无监督的领域自适应（UDA）方法通常利用对抗性训练策略来弥补领域不匹配造成的性能差距。然而，这种对抗性训练策略只利用了目标域数据的分布信息，不能保证在目标域上的性能提升.本文将自监督学习策略引入到无监督领域自适应系统中，提出了一种基于自监督学习的领域自适应方法（SSDA）。与传统的UDA方法相比，新的SSDA训练策略能够充分利用目标域的潜在标签信息，同时适应源域的说话人识别能力。我们在Vox-Celeb（labeled source domain）和CnCeleb（unlabeled target domain）数据集上对该方法进行了测试，最佳的SSDA系统在CnCeleb数据集上获得了10.2%的等误率（Equal ErrorRate，EER），而在CnCeleb数据集上不使用任何说话人标签，也可以达到最先进的结果。
2021-08-31 cs.SD eess.AS
C3-DINO: Joint Contrastive and Non-contrastive Self-Supervised Learning for Speaker Verification
IEEE Publication Technology Group（IEEE出版技术组）
自监督学习（Self-supervised learning，SSL）在语音处理领域引起了越来越多的关注。最近的研究表明，对比学习能够以自我监督的方式学习区分性说话人嵌入。然而，基础对比自监督学习（CSSL）假设锚实例的一个视图和其他实例的任何视图生成的对都是负的，这在构造损失函数时引入了许多假负对。这个问题被称为$class$ - $collision$，它仍然是阻碍基于CSSL的说话人确认（SV）系统实现更好性能的一个主要问题。同时，研究表明，负样本自由SSL框架在学习说话人或图像表征方面表现良好。在这项研究中，我们调查SSL技术，导致改善SV性能。我们首先分析了CSSL系统中假阴性对的影响。在此基础上，提出了一种多阶段的类冲突校正（C3）方法，并以此为基础实现了基于CSSL的说话人嵌入系统。在预训练的CSSL模型的基础上，我们进一步提出采用负样本自由SSL目标（即，DINO）来微调扬声器嵌入网络。在Voxceleb 1测试集上，使用简单的余弦距离评分方法，得到的说话人嵌入系统（C3-DINO）实现了2.5%的EER，比之前的SOTA SSL系统（4.86%）有显著的+45%的相对改进。通过对Voxceleb 2训练集进行说话人聚类和伪标记，应用于C3-DINO说话人嵌入的LDA/CDS后端能够进一步将EER提高到2.2%。Voxceleb基准测试和我们内部数据集的综合实验研究…
2022-08-15 cs.SD eess.AS
Can you Remove the Downstream Model for Speaker Recognition with Self-Supervised Speech Features?
Apple（苹果公司）；Carnegie Mellon University（卡内基梅隆大学）
本文发现预训练自监督语音特征已包含说话人验证所需信息，提出大幅简化下游模型，在SUPERB上以参数减少97.51%实现29.93%的平均性能提升，并展现出更高的数据效率。
2024-06-13 cs.SD eess.AS
Analyzing Speaker Information in Self-Supervised Models to Improve Zero-Resource Speech Processing
Stellenbosch University（斯泰伦博斯大学）
对比预测编码（CPC）旨在通过区分未来的观察结果和一组否定的例子来学习语音的表示。以前的工作表明，在CPC特征上训练的线性分类器可以准确地预测说话者和电话标签。然而，目前还不清楚这些特征实际上是如何捕获说话者和语音信息的，以及是否可以将不相关的细节标准化（取决于下游任务）。在本文中，我们首先表明，每话语平均CPC功能捕获说话人的信息在很大程度上。具体来说，我们发现比较方法在说话人确认任务中表现良好。接下来，探测实验表明，标准化的功能有效地消除了说话人的信息。基于这一观察，我们提出了一个扬声器归一化步骤，以提高声学单元发现使用K-means聚类的CPC功能。最后，我们展示了在结果单元上训练的语言模型在ZeroSpeech 2021 ~Challenge中取得了一些最佳结果。
2021-08-02 cs.SD eess.AS
Self-Supervised Speaker Verification Using Dynamic Loss-Gate and Label Correction
Shanghai Jiao Tong University（上海交通大学）
在自监督说话人确认中，由于大量的不可靠标签，伪标签的质量决定了系统的上界。在这项工作中，我们提出了动态损失门和标签校正（DLG-LC），以减轻不可靠的估计标签所造成的性能下降。在DLG中，我们采用高斯混合模型（GMM）动态建模的损失分布，并使用估计的GMM自动区分可靠和不可靠的标签。此外，为了更好地利用不可靠的数据，而不是直接丢弃它们，我们使用模型预测来纠正不可靠的标签。此外，我们在我们的实验中应用负对自由的DINO框架，以进一步改进。与最著名的自监督学习说话人确认系统相比，我们提出的DLG-LC收敛速度更快，在Voxceleb 1评估数据集的Vox-O，Vox-E和Vox-H试验中分别获得了11.45%，18.35%和15.16%的相对改善。
2022-08-03 cs.SD eess.AS
Adapting self-supervised models to multi-talker speech recognition using speaker embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）
自监督学习（SSL）方法在没有显式监督的情况下学习数据的表示，在语音处理任务中，特别是对于单说话者应用程序，已经得到了普及。然而，这些模型在多人通话场景中的性能通常会降低--可能是由于域不匹配--这严重限制了它们在此类应用中的使用。在本文中，我们研究了在两种情况下上游SSL模型对多说话者自动语音识别（ASR）任务的适应性。首先，当分段的话语，我们表明，添加一个目标说话人提取（TSE）模块的基础上注册嵌入是互补的混合感知预训练。其次，对于未分割的混合，我们提出了一种新的联合说话人建模（JSM）的方法，通过他们的嵌入聚合来自混合中的所有扬声器的信息。通过在Libri 2 Mix上的对照实验，我们表明，使用扬声器嵌入分别为分段和未分段的情况提供了9.1%和42.1%的相对WER改进。我们还通过在AMI数据集上的实验证明了我们的模型对真实会话混合的有效性。
2022-11-01 cs.SD eess.AS
Graph Convolutional Network Based Semi-Supervised Learning on Multi-Speaker Meeting Data
Alibaba（阿里巴巴）
说话人的无监督聚类由于其在半监督学习中的潜在用途而变得越来越重要。在现实中，我们经常从多方会议和讨论中获得大量未标记的数据。一个有效的无监督聚类方法将使我们能够显着增加训练数据的数量，而无需额外的注释成本。最近，基于图卷积网络（GCN）的方法在无监督聚类中受到越来越多的关注，因为这些方法利用节点之间的连接模式来提高学习性能。在这项工作中，我们提出了一种基于GCN的半监督学习方法。给定一个预训练的嵌入提取器，一个图卷积网络在标记的数据上训练，并用“伪标签”聚类未标记的数据。我们提出了一种自校正训练机制，该机制迭代地在伪标签上运行聚类训练校正过程。我们表明，该方法有效地使用未标记的数据，提高了说话人识别的准确性。
2022-04-25 cs.SD eess.AS
Speaker attribution with voice profiles by graph-based semi-supervised learning
Microsoft（微软）
在许多实际应用中，如会议转录，需要说话人属性，其中说话人身份根据说话人语音配置文件分配给每个话语。在本文中，我们提出了解决说话人归属问题，使用基于图的半监督学习方法。为每个会话构建语音段的图，在该图上，来自语音简档的段由标记的节点表示，而来自测试话语的段是未标记的节点。节点之间的边的权重通过语音段的预训练的说话人嵌入之间的相似性来评估。说话人属性则成为图上的半监督学习问题，在图上应用两种基于图的方法：标签传播（LP）和图神经网络（GNNs）。所提出的方法能够利用图的结构信息来提高说话人归属性能。在真实会议数据上的实验结果表明，与独立处理每个话语的基线说话人识别方法相比，基于图的方法将说话人归因错误减少了68%。
2021-02-06 cs.LG cs.SD eess.AS
Self-Supervised Metric Learning With Graph Clustering For Speaker Diarization
Indian Institute of Science（印度科学学院）
在本文中，我们提出了一种新的算法，说话人日记使用基于图的聚类度量学习。图聚类算法使用由相似性分数组成的邻接矩阵。这些分数是在从给定记录内的音频片段对中提取的扬声器嵌入之间计算的。在本文中，我们提出了一种方法，共同学习的发言人嵌入和相似性度量的原则，自监督学习。度量学习网络实现了概率线性判别分析（PLDA）的神经模型。自我监督是从先前的聚类迭代中获得的伪标签中得到的。表示学习和度量学习的整个模型都是用二进制交叉熵损失来训练的。通过将基于自监督的度量学习与基于图的聚类算法相结合，我们在AMI和DIHARD数据集上分别实现了60%和7%的相对改进。
2021-09-14 cs.SD eess.AS
Learning Metrics from Mean Teacher: A Supervised Learning Method for Improving the Generalization of Speaker Verification System
University of Seoul（首尔大学）；Naver Corporation（NAVER公司）
大多数说话人确认任务都是考虑真实世界条件的开集评估场景。因此，对未见过说话人的泛化能力对说话人确认系统的性能至关重要。我们建议应用\textit {Mean Teacher}，一种时间平均模型，来提取具有小的类内方差和大的类间方差的说话人嵌入。平均教师网络是指对深度神经网络参数进行时间平均;它可以产生比训练完成后使用权重更准确和稳定的表示。通过学习均值教师网络的可靠中间表示，我们期望该方法能够探索更多的判别嵌入空间，提高说话人确认系统的泛化性能。在VoxCeleb 1测试集上的实验结果表明，与基线系统相比，该方法的性能提高了11.61%.
2021-04-14 cs.SD eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）
最近，自监督学习（SSL）在说话人识别中表现出了很强的性能，即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验，研究了自监督学习在说话人相关任务（如说话人确认）中的成功因素。我们在Voxceleb-1数据集上的实证结果表明，SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合，而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
本文针对音视觉标注数据不足问题，在端到端AVSD系统中引入监督式与自监督式预训练语音模型，并联合训练音频、说话人编码器及音视觉解码器，在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
A Large-Scale Probing Analysis of Speaker-Specific Attributes in Self-Supervised Speech Representations
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong（香港中文大学电子工程系）；Independent Researcher（独立研究者）；School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学深圳学校数据科学系）
本研究通过大规模分析揭示了自监督语音表示中说话人特定属性的编码机制，发现大模型在深层结构中能恢复说话人身份，且中间表示更擅长捕捉动态语调。
2026-09-09 cs.SD eess.AS
Self-supervised Representation Learning With Path Integral Clustering For Speaker Diarization
Indian Institute of Science（印度科学学院）
自动说话人日记化技术通常涉及两阶段处理方法，其中在第一阶段中将固定持续时间的音频段转换为向量表示。然后在第二阶段对表示进行无监督聚类。在大多数现有方法中，这两个阶段以具有独立优化步骤的隔离方式执行。在本文中，我们提出了一种表示学习和聚类算法，可以迭代执行改进的扬声器日记。表示学习是基于自监督学习的原则，而聚类算法是一种基于路径积分聚类（PIC）的图结构方法。表示学习步骤使用来自PIC的聚类目标，聚类步骤对从自监督深度模型学习的嵌入执行。这种迭代方法被称为自监督聚类（SSC）。在CALLHOME和AMI会议数据集上进行了日志化实验。在这些实验中，我们表明SSC算法在基线系统上有显著改进（在日志化错误率（DER）方面，CALLHOME和AMI数据集分别相对改进了13%和59%）。此外，在这项工作中报告的DER结果改善了其他几个最近的方法发言人日记。
2021-04-19 cs.SD eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2020 System Description
IDLAB（ID实验室）
在这份技术报告中，我们描述了IDLAB在有监督和无监督说话人验证轨道中为VoxCeleb说话人识别挑战赛2020（VoxSRC-20）提交的最高得分。对于监督验证跟踪，我们训练了6个最先进的ECAPA-TDNN系统和4个基于Resnet 34的系统。在所有模型上，我们应用了一个大间隔微调策略，这使得训练过程能够通过使用更长的训练话语来使用更高的间隔惩罚。此外，我们使用质量感知的分数校准，在校准系统中引入质量指标，以产生更一致的分数在不同水平的话语条件。所有系统的融合以及两种增强功能的应用导致了开放式和封闭式监督核查轨道的第一名。通过对比学习来训练无监督系统。随后通过训练嵌入的迭代聚类生成的伪标签允许使用监督技术。这一过程导致了在无监督的轨道上获胜的提交，其性能正在接近监督训练。
2020-10-23 cs.SD eess.AS
Self-supervised Speaker Diarization
Bar-Ilan University（巴伊兰大学）；Technion--Israel Institute of Technology（以色列理工学院）
在过去的几年里，深度学习在说话人验证、识别和日志化方面越来越受欢迎。毫无疑问，这一成功的一个重要部分是由于他们的扬声器表示的有效性。然而，这些都严重依赖于大量的注释数据，并可能是敏感的新领域。这项研究提出了一个完全无监督的深度学习模型，用于说话人日记化。具体来说，该研究的重点是在没有任何注释数据的情况下生成高质量的神经说话人表示，以及在没有注释的情况下估计模型的二级超参数。扬声器嵌入表示的编码器训练在一个自我监督的方式使用对相邻段假设是同一个扬声器。然后，使用经训练的编码器模型自生成伪标签，以随后使用概率线性判别分析（PLDA）训练同一呼叫的不同段之间的相似性分数，并进一步学习聚类停止阈值。我们将我们的模型与CallHome基准测试中最先进的无监督和监督基线进行了比较。根据实证结果，我们的方法优于无监督的方法时，只有两个扬声器存在于通话中，只是略差于最近的监督模型。
2022-04-08 cs.LG cs.SD eess.AS
Leveraging In-the-Wild Data for Effective Self-Supervised Pretraining in Speaker Recognition
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））；Tencent（腾讯）；Shanghai Jiao Tong University（上海交通大学）
本文研究说话人识别中自监督预训练受标注数据限制的问题，提出在大规模 WenetSpeech 上进行 DINO 训练并结合置信度过滤，提升 CNCeleb 监督系统性能。
2023-09-27 cs.SD eess.AS
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University（首尔国立大学）
在本文中，我们提出了自我监督的说话人表示学习策略，其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段，我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段，通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入，这不仅提供了说话人表示，而且还提供了数据的不确定性。实验结果表明，所提出的自举均衡训练策略能够有效地帮助学习说话人表征，并且优于传统的基于对比学习的方法。此外，我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
Towards Supervised Performance on Speaker Verification with Self-Supervised Learning by Leveraging Large-Scale ASR Models
EPITA Research Laboratory (LRE), France（EPITA研究实验室（LRE），法国）
本文提出利用大规模ASR模型和伪标签微调WavLM，在自监督说话人验证中达到0.99% EER，接近监督基线0.94%，刷新SOTA。
2024-09-16 cs.LG cs.SD eess.AS
Target Speech Extraction: Independent Vector Extraction Guided by Supervised Speaker Identification
Technical University of Liberec（利贝雷茨工业大学）
该手稿提出了一种新的鲁棒性的程序，用于从混合音频源中提取感兴趣的扬声器（SOI）。SOI的估计通过独立向量提取（IVE）来执行。由于盲IVE本身无法区分目标源，因此通过基于深度学习的逐帧说话人识别将其引导到SOI。尽管如此，由于引导失败，特别是在处理具有挑战性的数据时，可能会提取不正确的说话者。为了识别这种情况下，我们提出了一个标准，非侵入性地评估估计扬声器。它使用与说话人识别相同的模型，因此不需要额外的训练。当检测到不正确的提取时，我们提出了一个“放气”步骤，其中从混合物中减去不正确的来源，随后，进行另一次提取SOI的尝试。重复该过程直到实现成功提取。所提出的程序进行实验测试，人工和现实世界的数据集包含具有挑战性的现象：源运动，混响，瞬态噪声，或麦克风故障。该方法与最先进的盲算法以及当前基于全监督深度学习的方法进行了比较。
2022-07-08 cs.SD eess.AS
Adaptive blind audio source extraction supervised by dominant speaker identification using x-vectors
Technical University of Liberec（利贝雷茨技术大学）
提出了一种新的自适应盲音频源提取算法。该方法基于独立向量分析，并利用辅助函数优化，以实现高收敛速度。该算法部分地由与感兴趣的源（SOI）相关的导频信号监督，这确保该方法正确地提取期望说话者的话语。导频是基于使用x向量的混合中的主导扬声器的识别。实验分析了在存在串扰的情况下计算的x向量的性质。所提出的方法是在一个场景中与移动SOI，静态干扰扬声器，和环境噪声进行验证。
2019-10-25 cs.SD eess.AS eess.SP
Large-scale Self-Supervised Speech Representation Learning for Automatic Speaker Verification
Microsoft（微软）
从大规模未标记数据中学习到的语音表示比从监督学习中学习到的语音表示具有更好的泛化能力，因此吸引了大量的兴趣被应用于各种下游任务。在本文中，我们探索了通过不同的自监督目标和数据集学习的语音表示的限制，用于自动说话人验证（ASV），特别是使用公认的SOTA ASV模型ECAPA-TDNN [1]作为下游模型。来自预训练模型的所有隐藏层的表示首先用可学习的权重进行平均，然后作为输入特征输入ECAPA-TDNN。在Voxceleb数据集上的实验结果表明，加权平均表示明显优于FBank，ASV的传统手工特征。我们最好的单系统分别在VoxCeleb 1的三次正式试验中达到0.537%、0.569%和1.180%的相等出错率（EER）。相应地，具有三个预训练模型的集成系统可以进一步将EER提高到0.479%、0.536%和1.023%。在三个评估试验中，我们最好的系统在VoxCeleb 1-E试验中的表现优于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC 2021）的获胜者系统。
2022-01-24 cs.SD eess.AS
Weakly Supervised Training of Speaker Identification Models
Tallinn University of Technology（塔林理工大学）
我们提出了一种弱监督方式训练说话人辨识模型的方法。我们集中在训练数据由一组音频记录组成的设置上，并且仅在记录级别提供说话者注释。该方法使用说话人日志化来找到每个记录中的唯一说话人，并且使用i向量来将每个说话人的语音投影到固定维向量。然后训练神经网络以使用特殊目标函数将i向量映射到扬声器，该特殊目标函数允许使用记录级扬声器标签来优化模型。我们在两个不同的真实世界的数据集上报告实验。在VoxCeleb数据集上，该方法在闭集说话人辨识任务上提供了94.6%的准确率，大大超过了基线性能。在爱沙尼亚广播新闻数据集上，该方法提供了66%的时间加权说话人辨识召回率，93%的准确率。
2018-06-22 cs.CL cs.HC cs.SD
Self-Supervised Training of Speaker Encoder with Multi-Modal Diverse Positive Pairs
National University of Singapore（新加坡国立大学）；Fortemedia（富迪媒体）；University of Eastern Finland（东芬兰大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）；Kriston AI（Kriston人工智能）
本文研究了一种新的说话人编码器的神经网络结构及其训练策略，用于说话人识别中不使用身份标签。说话人编码器被训练为从各种长度的口语话语中提取固定大小的说话人嵌入。对比学习是一种典型的自监督学习技术。然而，扬声器编码器的质量在很大程度上取决于正负对的采样策略。我们通常从同一话语中抽取一对正的片段。不幸的是，这种穷人的积极对（PPP）缺乏必要的多样性的训练一个强大的编码器。在这项工作中，我们提出了一个多模态对比学习技术与新的采样策略。通过语音和人脸数据之间的交叉引用，我们研究了一种方法，发现不同的积极对（DPP）的对比学习，从而提高扬声器编码器的鲁棒性。在VoxCeleb 2数据集上对说话人编码器进行训练，在VoxCeleb 1的三个测试集上，采用渐进式聚类策略的等误率分别为2.89%、3.17%和6.27%，采用伪标签两阶段学习策略的等误率分别为1.44%、1.77%和3.27%.这种新的解决方案大大优于最先进的自监督学习方法，同时，实现了与监督学习对应的结果。我们还在LRS 2和LRW数据集上评估了我们的自监督学习技术，其中说话人信息是未知的。所有实验表明，所提出的神经结构和采样策略在数据集上是鲁棒的。
2022-10-27 cs.SD eess.AS eess.SP
Augmentation adversarial training for self-supervised speaker recognition
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文的目标是训练不需要说话人标签的鲁棒说话人识别模型。最近的无监督说话人表示的工作是基于对比学习，其中，他们鼓励内话语嵌入是相似的，跨话语嵌入是不同的。然而，由于话语内片段共享相同的声学特性，因此难以将说话者信息与声道信息分离。为此，我们提出了增强对抗训练策略，该策略训练网络对说话人信息具有辨别力，同时对所应用的增强保持不变。由于增强模拟了声学特性，因此训练网络对增强不变也鼓励网络对信道信息保持不变。在VoxCeleb和VOiCES数据集上进行的大量实验表明，与以前使用自我监督的作品相比，我们的自我监督模型的性能有了显着的改进，并且我们的自我监督模型的性能远远超过了人类。
2020-10-30 cs.LG cs.SD eess.AS
Supervised Hierarchical Clustering using Graph Neural Networks for Speaker Diarization
Indian Institute of Science（印度科学学院）
用于说话人日记化的常规方法涉及将音频文件窗口化为短片段以提取说话人嵌入，随后是嵌入的无监督聚类。这种多步骤方法为每个片段生成扬声器分配。在本文中，我们提出了一种新的监督层次gRaph聚类算法（SHARC）的说话人日记，我们引入了一个层次结构，使用图神经网络（GNN）进行监督聚类。监督允许模型更新表示，并直接提高聚类性能，从而实现一个单步方法的日志。在所提出的工作中，输入段嵌入被视为一个图的节点，与节点之间的相似性得分对应的边的权重。我们还提出了一种方法来联合更新嵌入提取器和GNN模型，以执行端到端的扬声器日记（E2 E-SHARC）。在推理过程中，使用节点密度和边缘存在概率进行分层聚类，以合并段直到收敛。在日志化实验中，我们说明了所提出的E2 E-SHARC方法在AMI和Voxconverse等基准数据集上分别比基线系统实现了53%和44%的相对改进。
2023-02-24 cs.LG cs.SD eess.AS
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland（三星研发院波兰分院）；AGH University of Krakow（波兰克拉科夫AGH大学）
针对说话人验证中对比学习的难负样本利用问题，提出CHNS聚类式难负样本采样方法，通过聚类相似说话人嵌入并优化批次难易负样本比例，在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%，优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
Label-Efficient Self-Supervised Speaker Verification With Information Maximization and Contrastive Learning
Language Recognition Group (ESLR), Laboratoire de Recherche de l'EPITA, France
本研究提出一种结合信息最大化与对比学习的自监督方法，从原始音频学习说话人嵌入，在少量标记数据微调下超越监督基线。
2022-07-12 cs.LG cs.SD eess.AS
Self-Distillation Prototypes Network: Learning Robust Speaker Representations without Supervision
本文提出自蒸馏原型网络（SDPN），通过将话语增强视图与原始视图分配至相同原型实现自监督知识转移，并引入多样性正则化项解决模型崩溃问题，在VoxCeleb基准上达到最先进性能。
2024-06-25 cs.SD eess.AS
Supervised Speaker Embedding De-Mixing in Two-Speaker Environment
University of Sheffield（谢菲尔德大学）
从多扬声器环境中分离不同的扬声器属性是具有挑战性的。与传统的语音声源分离方法不同，本文提出了一种说话人嵌入去混方法。该方法在嵌入空间中从双说话人信号中分离出不同的说话人属性。拟议的办法包括两个步骤。在第一步中，干净的说话人嵌入学习和收集的残余TDNN为基础的网络。在步骤2中，将两个扬声器信号和扬声器之一的嵌入都输入到扬声器嵌入解混网络。训练去混网络，通过重构损失产生另一个说话人的嵌入。利用说话人辨识准确率和纯净嵌入与去混嵌入之间的余弦相似度来评价所得到的嵌入的质量。在人工增强的双说话人数据（TIMIT）和真实世界的双说话人数据（MC-WSJ）上进行了实验。研究了六种不同的说话人嵌入去混结构。实验结果表明，本文提出的一种结构与纯说话人嵌入的性能相近，识别准确率达到96.9%，余弦相似度为0.89。
2021-02-05 cs.CL cs.LG cs.SD
Supervised Speech Representation Learning for Parkinson's Disease Classification
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
最近提出的自动病理语音分类技术使用无监督的自动编码器，以获得一个高层次的抽象表示的语音。由于这些表示是基于重建输入来学习的，因此不能保证它们对诸如说话者身份信息之类的与病理无关的线索是鲁棒的。此外，这些表示对于病理检测不一定是有区别的。在本文中，我们利用监督自动编码器提取强大的和歧视性的语音表示帕金森氏病分类。为了减少与病理学无关的说话人变量的影响，我们建议通过对抗训练自动编码器和说话人识别任务来获得说话人身份不变的表示。为了获得有区别的表示，我们建议联合训练自动编码器和病理语音分类器。在西班牙语数据库上的实验结果表明，所提出的监督表示学习方法产生更强大的和歧视性的表示自动分类帕金森氏病的语音，优于基线无监督表示学习系统。
2021-07-21 cs.SD eess.AS
Multi-objective Progressive Clustering for Semi-supervised Domain Adaptation in Speaker Verification
Wuhan University（武汉大学）；Duke Kunshan University（昆山杜克大学）；Mashang Consumer Finance Co., Ltd（马上消费金融股份有限公司）
针对说话人验证半监督域自适应的伪标记需求，提出多目标渐进聚类方法MoPC，结合多目标描述符、Infomap聚类及子中心纯化等策略优化伪标签，在VoxSRC 2023赛道3获第一，FFSVC数据集也表现良好。
2023-10-07 cs.SD eess.AS
SSPS: Self-Supervised Positive Sampling for Robust Self-Supervised Speaker Verification
EPITA Research Laboratory (LRE)（EPITA研究实验室）
本文提出自监督正样本采样（SSPS），通过聚类和记忆队列为锚点寻找同说话人不同录音条件的正样本，缓解标准SSL框架主要编码信道信息的问题，在VoxCeleb1-O上显著降低EER并优于现有方法。
2025-06-24 cs.AI cs.LG cs.SD
The DKU-DukeECE System for the Self-Supervision Speaker Verification Task of the 2021 VoxCeleb Speaker Recognition Challenge
Duke Kunshan University（昆山杜克大学）；Duke University（杜克大学）
本报告描述了DKU-DukeECE团队提交的2021 VoxCeleb说话人识别挑战赛（VoxSRC）的自我监督说话人验证任务。我们的方法采用迭代标记框架来学习基于深度神经网络（DNN）的自监督说话人表示。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力，我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类，并使用后续的类分配作为伪标签来训练一个新的DNN。此外，我们迭代地训练扬声器网络与从上一步生成的伪标签，以引导DNN的辨别能力。此外，视觉模态数据被纳入这个自标记框架。视觉伪标签和音频伪标签与聚类集成算法融合，以产生用于表示学习的鲁棒监督信号。我们的提交在挑战开发和测试集上分别实现了5.58%和5.59%的等错误率（EER）。
2021-09-07 cs.SD eess.AS
The Royalflush System for VoxCeleb Speaker Recognition Challenge 2022
Hithink RoyalFlush AI Research Institute（华创同花顺人工智能研究院）
在本技术报告中，我们描述了Royalflush为VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）提交的申请。我们提交的文件包含轨道1，这是监督说话人验证和轨道3，这是半监督说话人验证。对于音轨1，我们开发了一个功能强大的基于U-Net的对称架构的说话人嵌入提取器。在验证集上，所提出的系统的EER和MinDCF分别达到2.06%和0.1293。与现有的ECAPA-TDNN相比，EER和MinDCF分别提高了20.7%和22.70%。对于音轨3，我们采用源域监督和目标域自监督的联合训练，得到一个说话人嵌入提取器。随后的聚类过程可以获得目标域伪说话人标签。我们使用所有源和目标域数据以监督的方式调整说话人嵌入提取器，它可以充分利用这两个域的信息。此外，可以重复聚类和监督领域自适应，直到性能收敛于验证集。我们最终提交的是10个模型的融合，在验证集上实现了7.75%的EER和0.3517 MinDCF。
2022-09-20 cs.AI cs.SD eess.AS
Weakly Supervised Training of Hierarchical Attention Networks for Speaker Identification
University of Sheffield（谢菲尔德大学）
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种层次化的注意力网络来解决弱标记说话人识别问题。使用的分层结构，包括一个帧级编码器和一个段级编码器，旨在学习本地和全球的扬声器相关的信息。语音流被分割成片段。具有注意力的帧级编码器学习特征并局部突出目标相关帧，并输出基于片段的嵌入。片段级编码器与第二关注层一起工作，以强调可能与目标说话者相关的片段。最后，从分段级模块中收集全局信息，通过分类器进行说话人预测。为了评估所提出的方法的有效性，基于Switchboard Cellular part1（SWBC）和Voxceleb1的人工数据集构造在两种情况下，其中说话人的声音重叠和不重叠。通过与两个基线的比较，结果表明该方法可以获得更好的性能。此外，进一步的实验进行评估的影响，话语分割。结果表明，合理的分割可以略微提高识别性能。
2020-08-27 cs.CL cs.SD eess.AS
Probing Self-supervised Learning Models with Target Speech Extraction
Brno University of Technology（布尔诺理工大学）；NTT Corporation（NTT公司）
本文提出将目标语音提取作为评估预训练自监督学习模型的新下游任务，通过基于同一冻结SSL模型的两个轻量级模块同时实现说话人识别与语音分离，并在Libri2mix上验证了该任务对探究SSL模型的独特价值。
2024-02-17 cs.SD eess.AS
Overview of Speaker Modeling and Its Applications: From the Lens of Deep Speaker Representation Learning
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong Polytechnic University（香港理工大学）
本综述从理论与实践双视角梳理深度说话人表示学习的神经方法，涵盖编码器演进、可解释性、鲁棒性方案及开源工具，为说话人建模研究与下游应用提供参考。
2024-11-04 cs.SD eess.AS
Multi-Domain Adaptation by Self-Supervised Learning for Speaker Verification
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Shen Zhen University（深圳大学）
针对说话人验证中的多域不匹配问题，提出融合域内负采样、类MoCo记忆库和类CORAL对齐的自监督适应方法，并在VoxCeleb2到CN-Celeb1上验证其稳定优于单域基线。
2023-09-25 cs.SD eess.AS
Evaluating Speaker Identity Coding in Self-supervised Models and Humans
本文比较多类自监督语音模型与人类的说话人身份编码，发现自监督表征优于传统声学特征，并能在多层表征、感知相似性及脑响应预测上揭示其与人类加工机制的联系。
2024-06-14 cs.AI cs.SD eess.AS
NEST: Self-supervised Fast Conformer as All-purpose Seasoning to Speech Processing Tasks
NVIDIA（英伟达）
提出NEST，一种基于FastConformer的高效自监督语音学习框架，采用固定随机投影和噪声增强，在多项语音任务上达到最先进性能。
2025-01-18 cs.SD eess.AS
One-Step Knowledge Distillation and Fine-Tuning in Using Large Pre-Trained Self-Supervised Learning Models for Speaker Verification
University of Seoul（首尔大学）
针对说话人验证中大型SSL模型计算成本高的问题，提出OS-KDFT，在知识蒸馏中同步面向SV微调学生模型，实现显著压缩、加速与低EER。
2023-06-08 cs.SD eess.AS
Self-Distillation Prototypes Network: Learning Robust Speaker Representations without Supervision
Alibaba Group（阿里巴巴集团）
本文提出自蒸馏原型网络 SDPN，通过将增强视图与原视图对齐到相同可学习原型并引入多样性正则化防止模型坍缩，在无说话人标签条件下于 VoxCeleb1 上取得最先进的说话人验证性能。
2024-12-27 cs.SD eess.AS
Single Channel Far Field Feature Enhancement For Speaker Verification In The Wild
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究了一种增强和域自适应方法，使说话人确认系统对远场语音的扰动具有鲁棒性。在增强方法中，使用成对（并行）混响干净语音，我们训练了一个有监督的生成对抗网络（GAN）以及一个特征映射损失。对于域自适应方法，我们训练了一个循环一致的生成对抗网络（CycleGAN），它将远场域的特征映射到说话人嵌入训练域。这是以无监督的方式在未配对的数据上训练的。这两个网络，分别称为监督增强网络（SEN）和域自适应网络（DAN），在（滤波器组）特征域的多任务目标进行训练。在模拟测试设置中，我们首先注意到在SEN中使用特征映射（FM）损失和对抗性损失的好处。然后，我们在几个真实的噪声数据集上测试了监督和无监督方法。我们观察到的相对改善幅度为2%至31%。使用三种训练方案，我们还建立了新的DAN方法的有效性。
2020-05-17 cs.SD eess.AS
Pushing the Frontiers of Self-Distillation Prototypes Network with Dimension Regularization and Score Normalization
Alibaba GroupChina（阿里巴巴集团）
本研究针对无标签说话人验证中自监督与监督方法的性能差距，通过为自蒸馏原型网络添加维度正则化解决坍缩问题、结合分数归一化技术，在VoxCeleb1基准上大幅刷新自监督说话人验证的最优性能。
2025-05-20 cs.SD eess.AS
