Multi-Label Training for Text-Independent Speaker Identification
University of Nanjing(南京大学)
本研究提出文本无关说话人识别的多标签训练策略,通过为说话人语音子组分设多标签实现识别,兼具集成学习优势且不显著增加负担,在纯净和含噪环境下均优于常规方法,可广泛适配现有模型提升性能。
2024-08-16 cs.SD eess.AS
Speaker Verification Across Ages: Investigating Deep Speaker Embedding Sensitivity to Age Mismatch in Enrollment and Test Speech
University of Eastern Finland(东芬兰大学);Institute for Advancing Intelligence, TCG CREST(TCG CREST 智能推进研究所)
该研究针对年龄不匹配对深度说话人嵌入ASV系统的影响,用VoxCeleb和LCFSH数据集在ECAPA-TDNN上测试,建立了衰老与ASV评分的量化关系,发现不同语言下衰老对不同性别说话人影响存在差异。
2023-06-13 cs.SD eess.AS
Graph-based Label Propagation for Semi-Supervised Speaker Identification
Amazon Alexa(亚马逊Alexa)
家庭场景中的说话人辨识(例如,对于智能说话者)通常仅基于几个登记话语,但是基于大得多的未标记数据集,这表明半监督学习可以改善说话者简档。我们提出了一种基于图的半监督学习方法的说话人辨识在家庭的情况下,利用未标记的语音样本。与大多数专注于说话人区分嵌入的说话人识别工作相反,这项工作专注于说话人标签推理(评分)。给定一个预先训练的嵌入提取器,基于图的学习允许我们整合有关标记和未标记话语的信息。考虑到每个话语作为一个图形节点,我们表示成对的话语相似性得分作为边权重。每个家庭构建图,并将扬声器身份传播到未标记的节点,以优化全局一致性标准。我们在VoxCeleb数据集上的实验表明,与两种最先进的评分方法及其基于伪标签的半监督变体相比,这种方法有效地利用了未标记的数据,提高了说话人辨识的准确性。
2021-06-15 cs.CL cs.LG cs.SD
Simple Attention Module based Speaker Verification with Iterative noisy label detection
Tencent AI Lab(腾讯AI Lab)
近年来,在基于深度学习的说话人确认系统中,挤压激励模块(SE)和卷积块注意力模块(CBAM)等注意力机制取得了巨大的成功。本文介绍了一种替代的有效而简单的方法,即,简单注意力模块(SimAM),用于说话人验证。SimAM模块是一个即插即用的模块,没有额外的模态参数。此外,我们提出了一种噪声标签检测方法,迭代过滤出的数据样本与噪声标签的训练数据,考虑到一个大规模的数据集标记与人类注释或其他自动化过程中可能包含噪声标签。带有噪声标签的数据可能会超过深度神经网络(DNN)的参数,并由于DNN的记忆效应而导致性能下降。实验在VoxCeleb数据集上进行。基于SimAM的说话人确认模型在VoxCeleb1原始测试中达到了0.675%的等出错率(EER)。我们提出的迭代噪声标签检测方法进一步降低EER为0.643%。
2021-10-13 cs.SD eess.AS
Cross-Age Speaker Verification: Learning Age-Invariant Speaker Embeddings
Tencent AI Lab(腾讯人工智能实验室)
近年来,说话人自动确认技术取得了显著的进展。然而,由于相关数据不足,跨年龄说话人确认的研究还很少。本文基于VoxCeleb数据集挖掘跨年龄测试集,提出了一种年龄不变的说话人表示(AISR)学习方法。由于VoxCeleb是从YouTube平台收集的,因此数据集本身就包含了跨年龄数据。然而,元数据不包含说话者年龄标签。因此,我们采用人脸年龄估计的方法来预测说话人的年龄值从相关的视觉数据,然后标记的音频记录与估计的年龄。我们在VoxCeleb(Vox-CA)上构建了多个跨年龄测试集,这些测试集故意选择年龄差距较大的阳性试验。此外,国籍和性别的影响被认为是在选择负对对齐Vox-H的情况下。基线系统性能从Vox-H测试集上的1.939\% EER下降到Vox-CA 20测试集上的10.419\%,这表明跨年龄场景是多么困难。因此,我们提出了一种年龄解耦对抗学习(ADAL)方法,以减轻年龄差距的负面影响,并减少类内方差。在Vox-CA 20测试集上,我们的方法优于基线系统,相关EER降低超过10%。源代码和试用资源可在https://github.com/qinxiaoyi/Cross-Age_Speaker_Verification上获得
2022-07-13 cs.SD eess.AS
Self-Supervised Speaker Verification Using Dynamic Loss-Gate and Label Correction
Shanghai Jiao Tong University(上海交通大学)
在自监督说话人确认中,由于大量的不可靠标签,伪标签的质量决定了系统的上界。在这项工作中,我们提出了动态损失门和标签校正(DLG-LC),以减轻不可靠的估计标签所造成的性能下降。在DLG中,我们采用高斯混合模型(GMM)动态建模的损失分布,并使用估计的GMM自动区分可靠和不可靠的标签。此外,为了更好地利用不可靠的数据,而不是直接丢弃它们,我们使用模型预测来纠正不可靠的标签。此外,我们在我们的实验中应用负对自由的DINO框架,以进一步改进。与最著名的自监督学习说话人确认系统相比,我们提出的DLG-LC收敛速度更快,在Voxceleb 1评估数据集的Vox-O,Vox-E和Vox-H试验中分别获得了11.45%,18.35%和15.16%的相对改善。
2022-08-03 cs.SD eess.AS
Speaker Embedding-aware Neural Diarization: an Efficient Framework for Overlapping Speech Diarization in Meeting Scenarios
Speech Lab, Alibaba Group, China(阿里巴巴集团语音实验室, China(注:此处原机构中的“China”为国家名,按要求中文翻译仅保留机构名本身,不加入国家信息,正确中文翻译应为“阿里巴巴集团语音实验室”))
传统上,重叠语音分类被视为一个多标签分类问题。在本文中,我们将此任务重新表述为单标签预测问题,通过将多个二进制标签编码为具有幂集的单个标签,该幂集代表目标说话者的可能组合。这种提法有两个好处。首先,目标说话人的重叠显式建模。第二,不再需要阈值选择。通过这个公式,我们提出了扬声器嵌入感知神经日记(SEND)框架,其中语音编码器,扬声器编码器,两个相似性评分器和后处理网络联合优化,以预测编码标签根据语音特征和扬声器嵌入之间的相似性。实验结果表明,SEND具有稳定的学习过程,可以在高度重叠的数据上进行训练,而无需额外的初始化。更重要的是,我们的方法实现了国家的最先进的性能,在真实的会议场景与较少的模型参数和较低的计算复杂性。
2022-03-31 cs.LG cs.MM cs.SD
Squeezing value of cross-domain labels: a decoupled scoring approach for speaker verification
Tsinghua University(清华大学)
在实际应用中,域失配现象经常发生,严重影响说话人确认系统的性能。通常的做法是收集跨领域的数据,然后训练一个多领域的PLDA模型,希望能够学习到一个与领域无关的说话人子空间。在本文中,我们首先提出了一个实证研究表明,简单地添加跨域的数据并没有帮助的条件下,入学考试不匹配的性能。仔细分析,这一惊人的结果是由招生与考试条件之间的统计不一致造成的。基于此分析,我们提出了一种解耦的评分方法,可以最大限度地挤压跨域标签的值,并获得最佳的验证分数时,注册和测试是不匹配的。当统计数据是一致的,新的配方回落到传统的PLDA。跨通道测试的实验结果表明,该方法是高效的,是解决域失配的一种原则。
2020-10-27 cs.LG cs.SD eess.AS
Speaker-IPL: Unsupervised Learning of Speaker Characteristics with i-Vector based Pseudo-Labels
Apple(苹果公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出Speaker-IPL,证明简单成熟的i-vector模型即可启动迭代伪标签过程,实现无监督说话人表征学习,并系统研究各组件影响,最终达到与最先进方法媲美的验证性能。
2025-01-17 cs.SD eess.AS
CEC: A Noisy Label Detection Method for Speaker Recognition
China Mobile Research Institute(中国移动研究院)
针对说话人识别中的噪声标签问题,提出基于CIC、TIC指标的CEC检测方法,通过样本分类与渐进式难样本训练防过拟合,在说话人验证和噪声标签检测上均优于对比方案。
2024-06-19 cs.SD eess.AS
Low-Latency Online Speaker Diarization with Graph-Based Label Generation
Duke University(杜克大学);Lenovo Research(联想研究院);Duke Kunshan University(昆山杜克大学)
本文介绍了一个在线的说话人日志系统,可以处理长时间的音频,低延迟。我们使凝聚层次聚类(AHC)的工作在一个在线的方式,通过引入一个标签匹配算法。该算法解决了输出标签和每轮生成的隐藏标签之间的不一致性。为了确保在线设置中的低延迟,我们引入了AHC的变体,即chkpt-AHC,以聚类扬声器。此外,我们提出了一个说话人嵌入图,利用基于图的重新聚类方法,进一步提高性能。在实验中,我们在DIHARD 3和VoxConverse数据集上评估了我们的系统。实验结果表明,我们提出的在线系统有更好的性能比我们的基线在线系统,并有相当的性能,我们的离线系统。我们发现,结合chkpt-AHC方法和标签匹配算法的框架在在线设置中工作得很好。此外,chkpt-AHC方法大大减少了时间开销,而基于图的重新聚类方法有助于提高性能。
2022-06-24 cs.SD eess.AS
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);The Hong Kong Polytechnic University(香港理工大学)
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率,该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
Label-free Knowledge Distillation with Contrastive Loss for Light-weight Speaker Recognition
The Chinese University of Hong Kong(香港中文大学);Meituan(美团)
在最近的研究中,非常深的说话人识别(SR)模型已经证明了显着的性能改善。然而,这是不切实际的部署这些模型的设备上的应用程序与有限的计算资源。另一方面,轻量级模型在实践中是非常需要的,尽管它们的次优性能。本研究旨在通过大规模的无标签知识蒸馏(KD)来改进轻量级的SR模型。现有的KD方法SR通常需要扬声器标签学习特定于任务的知识,由于传统的损失蒸馏效率低下。为了解决效率低下的问题,实现无标签KD,我们建议采用对比损失从自监督学习蒸馏。广泛的实验进行了收集的公共语音数据集从不同的来源。在轻量级SR模型上的实验结果表明,所提出的无标记KD方法与传统的蒸馏方法和自监督学习方法相比,具有显著的优势.
2022-12-06 cs.SD eess.AS
Cluster-Guided Unsupervised Domain Adaptation for Deep Speaker Embedding
Shanghai Acoustics Laboratory, Chinese Academy of Sciences(中国科学院上海声学实验室);University of Chinese Academy of Sciences(中国科学院大学);The Shenzhen Research Institute, The Hong Kong Polytechnic University(香港理工大学深圳研究院);The Hong Kong Polytechnic University(香港理工大学)
本文提出聚类引导的无监督域适应框架,通过聚类打标签并联合训练说话人嵌入网络,在CN-Celeb1上达到8.10%的EER,优于监督基线39.6%。
2023-03-28 cs.LG cs.SD eess.AS
Enhancing and Adversarial: Improve ASR with Speaker Labels
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
本研究提出利用说话人标签结合领域增强与对抗训练改进基于conformer的ASR,并设计自适应梯度反转层以稳定训练,实验验证了最优应用位置及组合策略,在Switchboard Hub5'00上实现7%相对提升。
2023-02-24 cs.CL cs.LG cs.SD
More Speaking or More Speakers?
Apple(苹果公司)
自训练(ST)和自监督学习(SSL)方法在自动语音识别(ASR)中已经证明了强大的改进。尽管取得了这些进展,但据我们所知,没有分析这些方法中使用的标记和未标记数据集的组成如何影响结果。在这项工作中,我们的目标是分析最近的SSL算法(wav2vec 2.0)和最近的ST算法(slimIPL)的训练数据中的扬声器的数量的效果。我们通过改变发言者的数量,同时保持小时数固定,对标记和未标记的数据进行系统分析,反之亦然。我们的研究结果表明,SSL需要大量的未标记的数据,以产生高精度的结果,而ST需要足够数量的扬声器在标记的数据,特别是在低制度设置。以这种方式,这两种方法提高了监督学习在不同制度的数据组成。
2023-03-02 cs.LG cs.SD eess.AS
Robust Training for Speaker Verification against Noisy Labels
School of Information Science and Engineering(信息科学与工程学院);Xinjiang Key Laboratory of Signal Detection and Processing(新疆信号检测与处理重点实验室);Department of Electronic Engineering(电子工程系);School of Electronic Science and Engineering(电子科学与工程学院)
本文提出两阶段学习方法过滤说话人数据集中的噪声标签,通过OR-Gate与top-k机制选择干净标签数据提升验证性能。
2023-05-25 cs.SD eess.AS
End-to-End Neural Diarization: Reformulating Speaker Diarization as Simple Multi-label Classification
Hitachi, Ltd.(日立有限公司);Johns Hopkins University(约翰斯·霍普金斯大学)
最常见的说话人日志化方法是说话人嵌入聚类。然而,基于聚类的方法具有许多问题;即,(i)它没有被优化以直接最小化日志化误差,(i i)它不能正确地处理扬声器重叠,以及(iii)它难以使它们的扬声器嵌入模型适应具有扬声器重叠的真实音频记录。为了解决这些问题,我们提出了端到端神经日记(EEND),其中神经网络直接输出多个扬声器录音的扬声器日记结果。为了实现这样一个端到端的模型,我们制定了一个多标签分类问题的说话人日记化问题,并引入一个置换自由的目标函数,直接最大限度地减少日记错误。除了端到端的简单性,EEND方法可以显式地处理训练和推理过程中的说话人重叠。只需为多个说话者录音提供相应的说话者片段标签,我们的模型就可以很容易地适应真实的对话。我们评估了我们的方法模拟语音混合和真实的会话数据集。结果表明,EEND方法优于最先进的基于x向量聚类的方法,同时它正确地处理了说话人重叠。我们探索了用于EEND方法的神经网络架构,并发现基于自注意力的神经网络是实现优异性能的关键。与使用双向长短期记忆(BLSTM)仅对网络的前一个和下一个隐藏状态进行调节相反,自我注意力直接对所有帧进行调节。通过可视化的注意力权重,我们表明,自我注意捕捉全球扬声器特性,除了本地语音活动动态,使其特别适合于处理扬声器日记化问题。
2020-02-24 cs.CL cs.SD eess.AS
An iterative framework for self-supervised deep speaker representation learning
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
在本文中,我们提出了一个基于深度神经网络(DNN)的自监督说话人表示学习的迭代框架。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力,我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类,并使用后续的类分配作为伪标签来训练一个新的DNN。此外,我们迭代地训练扬声器网络与从上一步生成的伪标签,以引导DNN的辨别能力。在VoxCeleb数据集上进行了说话人确认实验。结果表明,我们提出的迭代自监督学习框架优于以前的作品使用自我监督。经过5次迭代后的说话人网络比使用对比度损失训练的说话人嵌入模型获得了61%的性能增益。
2020-10-25 cs.SD eess.AS
SVLDL: Improved Speaker Age Estimation Using Selective Variance Label Distribution Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
从一个单一的讲话估计年龄是一个经典的和具有挑战性的话题。虽然标签分布学习(LDL)可以很好地表示相邻的不可区分的年龄,但是每个话语的年龄估计的不确定性因人而异,即,年龄分布的方差不同。为了解决这个问题,我们提出了选择性方差标签分布学习(SVLDL)方法,以适应不同年龄分布的方差。此外,该模型使用WavLM作为语音特征提取器,并增加了性别识别的辅助任务,以进一步提高性能。在损失函数上应用了两种技巧来增强年龄估计的鲁棒性和改善拟合的年龄分布的质量。大量的实验表明,该模型在NIST SRE 08 -10和真实世界数据集的各个方面都达到了最先进的性能。
2022-11-16 cs.LG cs.SD eess.AS
Improving Unsupervised Subword Modeling via Disentangled Speech Representation Learning and Transformation
The Chinese University of Hong Kong(香港中文大学)
这项研究解决了无监督的子词建模在零资源的情况下,学习帧级语音表示,语音歧视和说话人不变,只使用目标语言的未转录语音。帧标签获取是解决这一问题的关键步骤。高质量的帧标签应该与黄金透明度保持良好的一致性,并对扬声器变化具有鲁棒性。我们建议通过应用因式分解的分层变分自编码器(FHVAE)来改进我们先前采用的深度神经网络瓶颈特征(DNN-BNF)架构中的帧标签获取。FHVAE学习解开语言内容和说话者身份信息编码的语音。通过丢弃或统一说话人信息,学习说话人不变特征并将其作为DPGMM帧聚类和DNN-BNF训练的输入。在ZeroSpeech 2017上进行的实验表明,与不应用FHVAE的基线DNN-BNF系统相比,我们提出的方法在跨扬声器和扬声器内条件下实现了$2.4\%$和$0.6\%$绝对ABX错误率降低。我们提出的方法显着优于声道长度归一化,提高帧标记和子字建模。
2019-07-03 cs.LG cs.SD eess.AS
Estimation of speaker age and height from speech signal using bi-encoder transformer mixture model
Indian Institute of Technology, Indore(印度理工学院印多尔分校);Nanyang Technological University(南洋理工大学)
说话人的年龄、身高等特征的估计是一项具有挑战性的任务,在语音取证分析中有着广泛的应用。在这项工作中,我们提出了一个双编码器Transformer混合模型的说话人年龄和身高估计。考虑到男性和女性的语音特征,如共振峰和基频的差异,我们提出了使用两个单独的Transformer编码器的男性和女性的特定语音特征的提取,使用wav2vec 2.0作为一个共同的水平特征提取器。这种架构减少了反向传播过程中的干扰影响,提高了模型的泛化能力。我们在TIMIT数据集上进行了实验,并在年龄估计方面显著优于当前最先进的结果。具体而言,我们实现了男性和女性年龄估计的均方根误差(RMSE)分别为5.54年和6.49年。进一步的实验,以评估不同的语音类型的相对重要性,我们的任务表明,元音的声音是最有区别的年龄估计。
2022-03-22 cs.LG cs.SD eess.AS
Learning Speaker Representation with Semi-supervised Learning approach for Speaker Profiling
扬声器配置,其目的是估计扬声器的特征,如年龄和身高,有广泛的应用inforensics,推荐系统等。在这项工作中,我们提出了一种半监督学习方法,以减轻问题的低训练数据扬声器配置。这是通过利用外部语料库与说话人信息训练一个更好的表示,这可以帮助改善说话人分析系统。具体来说,除了标准的监督学习路径外,该框架还增加了两条路径:(1)无监督的说话人表征学习路径,帮助捕获说话人信息;(二)一致性训练路径,有助于提高系统的鲁棒性,通过强制它产生类似的预测,为同一说话人的话语。所提出的方法进行评估的TIMIT和NISP数据集,年龄、身高和性别估计,而Librispeech被用作无监督的外部语料库。在单任务和多任务环境下训练,我们的方法能够在TIMIT测试数据集上获得最先进的年龄估计结果,男性和女性说话者的均方根误差(RMSE)分别为6.8和7.4岁,平均绝对误差(MAE)分别为4.8和5.0岁。
2021-10-24 cs.LG cs.SD eess.AS
Phone Duration Modeling for Speaker Age Estimation in Children
University of Southern California(南加州大学);University of California, San Francisco(加州大学旧金山分校);University of California, Los Angeles(加州大学洛杉矶分校)
针对儿童说话人年龄估计数据少、信号变异性大的难题,提出基于音素时长的儿童专属特征建模方法,通过强制对齐提取音素时长分布统计量训练回归模型,在多年龄段数据集上验证了该特征的有效性及贡献最大的音素。
2021-09-03 cs.SD eess.AS
Neural Diarization with Non-autoregressive Intermediate Attractors
LINE Corporation(LINE公司);Waseda University(早稻田大学)
基于编码器-解码器的吸引子(EDA)的端到端神经日志化(EEND)是一种很有前途的方法,可以用单个神经网络同时处理整个说话人日志化问题。虽然EEND模型可以同时产生所有帧级扬声器标签,但它忽略了输出标签依赖性。在这项工作中,我们提出了一种新的EEND模型,引入了帧之间的标签依赖。所提出的方法产生非自回归中间吸引子,以产生扬声器标签在较低的层和条件的后续层与这些标签。虽然该模型以非自回归方式工作,但通过参考整个中间标签序列来细化说话人标签。在双说话人CALLHOME数据集上的实验表明,具有所提出的非自回归中间吸引子的中间标签提高了日记化性能。与EEND-EDA相比,所提出的具有更深网络的方法更多地受益于中间标签,从而获得更好的性能和训练吞吐量。
2023-03-13 cs.CL cs.SD eess.AS
Getting More for Less: Using Weak Labels and AV-Mixup for Robust Audio-Visual Speaker Verification
LG Electronics(LG电子);Toronto AI Lab(多伦多人工智能实验室)
本文通过引入弱标签辅助任务、扩展GE2E至多模态输入并提出AV-Mixup增强技术,在不增加推理复杂度的条件下有效缓解过拟合,在VoxCeleb1测试集上取得了最先进的视听说话人验证性能。
2024-06-13 cs.CV cs.LG cs.MM
A comprehensive study on self-supervised distillation for speaker representation learning
Shanghai Jiao Tong University(上海交通大学);Microsoft Cognitive Services Research(微软认知服务研究部)
在实际应用场景中,由于说话人隐私问题,获取大量的标记数据用于说话人表示学习往往是一个挑战。无标签的自监督学习是解决这一问题的一种很有前途的方法,与对比学习相比,自提炼学习方法只使用损失函数中的正样本,因而更具吸引力。在本文中,我们提出了一个全面的研究自蒸馏自监督说话人表示学习,特别是关键数据增强。我们提出的音频扰动增强策略将扬声器表示的性能推向了一个新的极限。实验结果表明,我们的模型可以实现一个新的SoTA上Voxceleb 1说话人确认评估基准(即,相等的出错率(EER),对于试验Vox 1-O、Vox 1-E和Vox 1-H分别为2.505%、2.473%和4.791%),在训练阶段丢弃任何说话者标签。
2022-11-25 cs.SD eess.AS
Speaker Diarization with Overlapping Community Detection Using Graph Attention Networks and Label Propagation Algorithm
Xiamen University(厦门大学);Beijing Jiaotong University(北京交通大学);School of Electronic Science and Engineering(电子科学与技术学院);School of Electronic Information(电子信息学院);School of Informatics(信息学院)
本文提出OCDGALP方法,结合图注意力网络与标签传播算法进行重叠社区检测,在DIHARD-III数据集上显著降低说话人分离错误率。
2025-06-03 cs.AI cs.SD eess.AS
Over-Tightening-Aware Pseudo-Labeling for Tight-Boundary Speaker Diarization
NTT, Inc.(日本电报电话公司)
本文针对说话人日志中伪标签过紧化导致漏检的问题,提出三种改进方法,减少漏检并提升日志及下游多说话人ASR性能。
2026-09-10 cs.SD eess.AS
Collar-aware Training for Streaming Speaker Change Detection in Broadcast Speech
Tallinn University of Technology(塔林理工大学)
在本文中,我们提出了一种新的训练方法的说话人变化检测模型。说话人转换检测通常被看作是一个二进制序列标记问题。这种方法的主要挑战是由说话人回合之间的沉默和由于大多数帧不包括说话人变化而导致的不平衡数据引起的注释变化点的复杂性。传统的训练方法通过人为增加训练数据中阳性标签的比例来解决这些问题。相反,所提出的方法使用目标函数,该目标函数鼓励模型预测指定项圈内的单个阳性标记。这是通过边缘化衣领内恰好有一个正标签的所有可能的子序列来完成的。在英语和爱沙尼亚语数据集上的实验表明,与传统的训练方法相比,该方法有很大的改进。此外,模型输出具有集中到单个帧的峰值,消除了对后处理的需要,以找到准确的预测变化点,这对于流应用特别有用。
2022-05-14 cs.CL cs.SD eess.AS
Disentangling Age and Identity with a Mutual Information Minimization Approach for Cross-Age Speaker Verification
Kuaishou Technology(快手科技);Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
针对跨年龄说话人验证因衰老导致性能下降的问题,提出基于互信息最小化的解耦表示学习框架,通过解耦身份与年龄嵌入并引入老化感知损失,生成年龄不变的说话人嵌入,在Vox-CA测试集上表现优于其他方法。
2024-09-24 cs.AI cs.SD eess.AS
Self-supervised Reflective Learning through Self-distillation and Online Clustering for Speaker Representation Learning
Duke University(杜克大学);Wuhan University(武汉大学)
本文提出自监督反思学习(SSRL)框架,通过师生架构与在线聚类机制在单轮训练中持续优化伪标签,有效解决了传统两阶段迭代框架计算开销大且受噪声伪标签影响的问题,在VoxCeleb数据集上以单轮训练超越5轮方法性能。
2025-05-31 cs.SD eess.AS
A Semi-Automatic Approach to Create Large Gender- and Age-Balanced Speaker Corpora: Usefulness of Speaker Diarization & Identification
French National Institute of Audiovisual (INA)(法国国家视听研究院);CNRS(法国国家科学研究中心);LISN(计算机科学与数字技术交叉科学实验室);Universidade Federal do Rio de Janeiro(里约热内卢联邦大学)
本文提出一种半自动流水线方法,结合语音检测、去噪与说话人日志技术,高效构建性别、年龄与时期均衡的大规模说话人语料库,将人工处理量减少十倍并保证高输出质量。
2024-04-26 cs.CL cs.DL cs.LG
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University(剑桥大学)
在本文中,我们提出了一种用于训练深度神经网络(DNN)的半监督学习(SSL)技术,以生成说话人区分的声学嵌入(说话人嵌入)。获取大量的说话人识别训练数据对于期望的目标域可能是困难的,特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练(VAT)[1]的一种变体,其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性,如余弦距离所测量的。因此,我们将该技术称为余弦距离虚拟对抗训练(CD-VAT)。与许多现有的SSL技术相比,未标记的数据不必来自与标记数据相同的类(这里是扬声器)。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示,在说话人验证任务中,相对于纯监督基线,它实现了11.1%的等错误率(EER)降低。如果未标记数据的说话人标签可用,这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
Perceptual Evaluation of the Effectiveness of Voice Disguise by Age Modification
语音伪装,有目的地修改一个人的说话者身份,目的是避免被识别为自己,是一种低努力的方式来欺骗说话者识别,无论是由人类还是自动说话者验证(ASV)系统执行。我们提出了一个评估的有效性的年龄刻板印象作为一种声音伪装策略,作为我们最近的工作,60名芬兰母语的人试图听起来像一个老人,像一个孩子的后续行动。在这项研究中,我们提出的证据表明,ASV和人类观察者都很容易错过目标说话者,但我们没有解决所提出的声音年龄刻板印象的可信度;这项研究有助于填补这一空白。有趣的情况是说话者成功地被ASV系统错过,并且典型的听众无法检测到伪装。我们进行了感知测试,研究伪装语音样本的质量。听力测试在当地和亚马逊的土耳其机器人(MT)人群工作者的帮助下进行。共有91名听众参加了测试,并被要求估计说话者的年龄和预期年龄。结果表明,年龄估计为预期的老人和儿童的声音为女性发言人的目标年龄组,而男性发言人,年龄估计对应的方向的目标声音只有老人的声音。在预期的儿童的声音的情况下,听众估计男性发言者的年龄比他们的实际年龄大,大多数发言者,而不是预期的目标年龄。
2018-05-28 cs.CY cs.SD eess.AS
Multi-Speaker Expressive Speech Synthesis via Multiple Factors Decoupling
Northwestern Polytechnical University(西北工业大学)
本文的目的是通过转换其他说话人记录的参考语音中的风格和情感来合成具有期望的说话风格和情感的目标说话人的语音。我们解决这个具有挑战性的问题,一个两阶段的框架组成的文本到风格和情感(Text2SE)模块和风格和情感到波(SE2Wave)模块,桥接神经瓶颈(BN)功能。为了进一步解决多因素(说话人音色、说话风格和情感)解耦问题,我们采用多标签二进制向量(MBV)和互信息(MI)最小化分别对提取的嵌入进行离散化,并在Text2SE和SE2Wave模块中对这些高度纠缠的因素进行解纠缠。此外,我们引入了一种半监督训练策略来利用来自多个说话者的数据,包括情感标记数据,风格标记数据和未标记数据。为了更好地将细粒度的表达从参考到目标说话人的非并行传输,我们引入了一个参考候选池,并提出了一个基于注意力的参考选择方法。大量的实验证明了我们的模型的良好设计。
2023-03-14 cs.SD eess.AS
Speaker- and Age-Invariant Training for Child Acoustic Modeling Using Adversarial Multi-Task Learning
University of New South Wales(新南威尔士大学)
儿童语音声学建模的主要挑战之一是随着儿童的成长,他们的发音发生快速变化,他们不同的增长速度以及随后在同一年龄组中的高变异性。这些高声学变化以及儿童语音语料库的稀缺阻碍了可靠的儿童语音识别系统的发展。本文提出了一种基于对抗性多任务学习的说话人和年龄不变训练方法。该系统由一个生成器共享网络组成,该网络学习生成与音素、年龄和说话者三个识别网络相连的说话者和年龄不变特征。生成器网络被训练成在对抗性多任务学习方式中最小化音素辨别损失并最大化说话者和年龄辨别损失。发生器网络是一个时间延迟神经网络(TDNN)结构,而三个鉴别器是前馈网络。该系统被应用到OGI语音语料库,并取得了13%的减少WER的ASR。
2022-11-07 cs.CL cs.SD eess.AS
Extended Graph Temporal Classification for Multi-Speaker End-to-End ASR
MERL(三菱电机研究实验室)
基于图的时态分类(GTC)是联结主义时态分类损失的一种推广形式,最近被提出来改进基于图监督的自动语音识别(ASR)系统。例如,GTC首先用于将伪标签序列的N最佳列表编码到图中以用于半监督学习。在本文中,我们提出了一个扩展的GTC模型的标签和标签转换的后验的神经网络,它可以应用到更广泛的任务。作为一个应用实例,我们使用扩展的GTC(GTC-e)的多扬声器语音识别任务。多说话人语音的转换和说话人信息用图表示,其中说话人信息与转换相关联,ASR输出与节点相关联。使用GTC-e,多说话者ASR建模变得与单说话者ASR建模非常相似,因为多个说话者的令牌被识别为按时间顺序的单个合并序列。为了进行评估,我们在来自LibriSpeech的模拟多说话者语音数据集上进行实验,获得了与任务的经典基准接近的性能。
2022-03-01 cs.CL cs.SD eess.AS
AVA-ActiveSpeaker: An Audio-Visual Dataset for Active Speaker Detection
Google AI Perception(谷歌AI感知部门)
主动说话者检测是视频分析算法的重要组成部分,适用于说话者日记化、会议视频重定位、语音增强和人机交互等应用。缺乏一个大的,仔细标记的视听数据集,这项任务的约束算法评估方面的数据多样性,环境和准确性。这使得比较和改进变得困难。在本文中,我们提出了AVA主动扬声器检测数据集(AVA-ActiveSpeaker),该数据集将公开发布,以促进算法开发并进行比较。该数据集包含视频中的时间标记的面部轨迹,其中每个面部实例被标记为说话或不说话,以及语音是否可听见。该数据集包含约365万个人类标记帧或约38.5小时的面部轨迹以及相应的音频。我们还提出了一种新的视听主动说话人检测方法,并分析了其性能,展示了其实力和数据集的贡献。
2019-05-25 cs.CV cs.MM cs.SD
Channel Adaptation for Speaker Verification Using Optimal Transport with Pseudo Label
College of Intelligence and Computing, Tianjin University, Tianjin, China(智能与计算学院,天津大学);University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学);National Institute of Information and Communications Technology, Japan(日本信息与通信技术国家研究所)
针对说话人验证中的信道域不匹配问题,提出融合最优传输与伪标签判别学习的无监督自适应方法 JPOT-PL,并在 VoxCeleb 上显著降低 EER。
2025-06-11 cs.SD eess.AS
Local Training for PLDA in Speaker Verification
Pachira(帕奇拉公司);Tsinghua University(清华大学)
PLDA是一种流行的i向量模型归一化方法,它在说话人确认中具有最先进的性能。然而,PLDA训练需要大量标记的开发数据,这在大多数情况下是非常昂贵的。缓解该问题的一种可能的方法是各种无监督自适应方法,其使用未标记的数据来使PLDA散射矩阵适应于目标域。在本文中,我们提出了一种新的“本地训练”的方法,利用不准确,但便宜得多的本地标签训练的PLDA模型。这些局部标签仅在单个转换内区分说话者,因此与正常的“全局标签”相比更容易获得。我们的实验表明,所提出的方法可以提供显着的性能改善,特别是有限的全球标记的数据。
2016-09-27 cs.CL cs.SD
Revisiting Label-Free Speaker Embedding Enhancement with vMF Profile Likelihood
Seoul National University(首尔大学);Research Institute of Mathematics(数学研究所)
本文提出一种基于vMF轮廓似然的简单闭式目标,用于无标签说话人嵌入增强,在多个基准上保持基线性能并提升失配场景效果,表明无需高度结构化公式。
2026-10-06 cs.LG cs.SD
Baselines and Protocols for Household Speaker Recognition
School of Computing, University of Eastern Finland(东芬兰大学计算机学院);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林信息学及其应用研究实验室)
在诸如智能扬声器之类的家用设备上的说话人识别具有若干挑战:(i)跨大量异构域(家庭)的鲁棒性,(ii)短话语,(iii)可能缺少登记数据的说话人标签(被动登记),以及(iv)未知人员(客人)的存在。虽然有许多商业产品,但发表的研究较少,也没有公开的评估协议或开源基线。我们的工作旨在通过提供一个来自公共资源(VoxCeleb和ASVspoof 2019数据)的可访问的评估基准以及一个初步的开源基线池来弥合这一差距。这包括四种主动注册算法(扬声器标签可用)和一种被动注册算法。
2022-05-05 cs.SD eess.AS
Integrating end-to-end neural and clustering-based diarization: Getting the best of both worlds
NTT Corporation(日本电报电话公司)
最近的日志化技术可以分为两种方法,即,聚类和端到端神经方法,它们有不同的优点和缺点。基于聚类的方法通过聚类说话人嵌入(如x向量)来为语音区域分配说话人标签。虽然它可以被视为当前最先进的方法,以合理的鲁棒性和准确性适用于各种具有挑战性的数据,但它具有一个关键的缺点,即它不能处理自然对话数据中不可避免的重叠语音。相反,端到端神经日志化(EEND),它直接预测日志标签使用神经网络,被设计来处理重叠的语音。虽然可以很容易地结合新兴深度学习技术的EEND已经开始在一些现实数据库中优于x向量聚类方法,但很难使其适用于“长”记录(例如,超过10分钟的记录),例如,巨大的内存消耗。逐块独立处理也是困难的,因为它提出了块间标签置换问题,即,块之间的说话者标签分配的模糊性。在本文中,我们提出了一个简单但有效的混合日记框架,工作重叠的语音和长录音包含任意数量的扬声器。它修改了传统的EEND框架,以同时输出全局说话人嵌入,以便可以跨块执行说话人聚类,以解决排列问题。基于模拟嘈杂的混响2扬声器会议类数据的实验,我们表明,所提出的框架的效果显着优于原来的EEND,特别是当输入数据很长。
2021-02-05 cs.SD eess.AS stat.ML
Modeling speech emotion with label variance and analyzing performance across speakers and unseen acoustic conditions
Apple(苹果公司)
本研究提出使用情感评分的概率密度函数作为目标以解决标签不确定性,并结合基于显著性的基础模型表示选择训练语音情感模型,同时强调跨说话人、性别及多测试集评估的重要性。
2025-03-24 cs.AI cs.LG cs.SD
End-to-end multi-talker audio-visual ASR using an active speaker attention module
Google Inc.(谷歌公司)
本文提出了一种新的端到端视听多说话人语音识别方法。这种方法在这里被称为视觉上下文注意力模型(VCAM),它很重要,因为它使用可用的视频信息将解码后的文本分配给多个可见人脸中的一个。这基本上解决了与大多数多说话者建模方法相关联的标签模糊性问题,这些方法可以解码多个标签串,但不能将标签串分配给正确的说话者。这被实现为基于transformer-transducer的端到端模型,并使用从YouTube视频创建的两个扬声器视听重叠语音数据集进行评估。它示出在该文件中,VCAM模型相对于以前报道的音频和视听多说话者ASR系统提高了性能。
2022-04-01 cs.CL cs.SD eess.AS
Multi-objective Progressive Clustering for Semi-supervised Domain Adaptation in Speaker Verification
Wuhan University(武汉大学);Duke Kunshan University(昆山杜克大学);Mashang Consumer Finance Co., Ltd(马上消费金融股份有限公司)
针对说话人验证半监督域自适应的伪标记需求,提出多目标渐进聚类方法MoPC,结合多目标描述符、Infomap聚类及子中心纯化等策略优化伪标签,在VoxSRC 2023赛道3获第一,FFSVC数据集也表现良好。
2023-10-07 cs.SD eess.AS
End-to-End Neural Speaker Diarization with Permutation-Free Objectives
Center for Language and Speech Processing, Johns Hopkins University(约翰斯·霍普金斯大学语言与语音处理中心)
在本文中,我们提出了一种新的端到端的基于神经网络的说话人日志化方法。与大多数现有的方法,我们提出的方法没有单独的模块提取和聚类的说话人表示。相反,我们的模型只有一个神经网络,直接输出说话者日志化结果。为了实现这样一个模型,我们制定了一个多标签分类问题的说话人日记化问题,并引入了一个置换自由的目标函数,直接最大限度地减少日记错误,而不遭受的说话人标签置换问题。除了端到端的简单性之外,所提出的方法还受益于能够在训练和推理期间显式地处理重叠语音。由于其优点,只需输入相应的多说话者段标签,我们的模型就可以轻松地通过真实记录的多说话者对话进行训练/调整。我们评估了所提出的方法对模拟语音混合。该方法实现了12.28%的日志错误率,而传统的基于聚类的系统产生的日志错误率为28.77%。此外,使用真实记录的语音的域自适应在CALLHOME数据集上提供了25.6%的相对改善。我们的源代码可以在https://github.com/hitachi-speech/EEND上获得。
2019-09-12 cs.CL cs.SD eess.AS
JukeBox: A Multilingual Singer Recognition Dataset
Michigan State University(密歇根州立大学)
文本无关的说话人识别系统依赖于成功地编码语音因素,如音高,强度和音色,以实现良好的性能。大多数这样的系统都是使用口语或日常对话语音数据进行训练和评估的。然而,口语,表现出有限的范围内可能的扬声器动态,从而限制了效用的派生说话人识别模型。另一方面,歌唱声音涵盖了更广泛的声音和环境因素,因此可以用来评估说话人识别系统的鲁棒性。然而,大多数现有的说话人识别数据集只关注口语语音。相比之下,适合于说话人识别研究的带标签歌声数据明显不足。为了解决这个问题,我们组装\textit{JukeBox} -一个说话人识别数据集,多语言歌唱声音音频注释歌手身份,性别和语言标签。我们使用当前最先进的方法来证明使用单独训练口语的模型对唱歌的声音进行说话人识别的困难。我们还评估了性别和语言对说话人识别性能的影响,无论是在口语和唱歌的声音数据。完整的\textit{JukeBox}数据集可访问http://iprobe.cse.msu.edu/datasets/jukebox.html。
2020-08-08 cs.LG cs.SD eess.AS
Tight Boundary Prediction in Speaker Diarization Using Causal-Anticausal Consistency
NTT, Inc., Japan(日本NTT公司)
针对松标注训练导致预测边界松散的问题,提出利用因果与反因果模型生成紧伪标签,并通过协同训练迭代优化,恢复约70%的紧标签训练效果并提升下游性能。
2026-06-11 cs.SD eess.AS
Graph Convolutional Network Based Semi-Supervised Learning on Multi-Speaker Meeting Data
Alibaba(阿里巴巴)
说话人的无监督聚类由于其在半监督学习中的潜在用途而变得越来越重要。在现实中,我们经常从多方会议和讨论中获得大量未标记的数据。一个有效的无监督聚类方法将使我们能够显着增加训练数据的数量,而无需额外的注释成本。最近,基于图卷积网络(GCN)的方法在无监督聚类中受到越来越多的关注,因为这些方法利用节点之间的连接模式来提高学习性能。在这项工作中,我们提出了一种基于GCN的半监督学习方法。给定一个预训练的嵌入提取器,一个图卷积网络在标记的数据上训练,并用“伪标签”聚类未标记的数据。我们提出了一种自校正训练机制,该机制迭代地在伪标签上运行聚类训练校正过程。我们表明,该方法有效地使用未标记的数据,提高了说话人识别的准确性。
2022-04-25 cs.SD eess.AS
Self-Supervised Learning with Cluster-Aware-DINO for High-Performance Robust Speaker Verification
Shanghai Jiao Tong University(上海交通大学)
本文提出基于聚类感知DINO的自监督说话人验证框架,通过动态损失门控与标签校正缓解不可靠伪标签问题,在Voxceleb上以更少迭代和更小模型取得显著EER改进,达到与全监督系统相当的性能。
2023-04-12 cs.SD eess.AS
Speaker Overlap-aware Neural Diarization for Multi-party Meeting Analysis
Alibaba Group(阿里巴巴集团)
最近,聚类和神经日志模型的混合系统已成功地应用于多方会议分析。然而,目前的模型往往把重叠说话人分类问题当作一个多标签分类问题来处理,没有很好地考虑说话人相关性和重叠问题。为了克服这些缺点,我们通过提出的幂集编码(PSE)将重叠说话人日志化任务重新表示为单标签预测问题。通过这个公式,扬声器的依赖性和重叠,可以明确地建模。为了充分利用这一提法,我们进一步提出了扬声器感知神经日记(SOND)模型,它包括一个上下文无关(CI)评分器来模拟全球扬声器的可辨别性,一个上下文相关的评分器(CD)来模拟本地的可辨别性,和一个扬声器组合网络(SCN)来组合和重新分配扬声器活动。实验结果表明,使用所提出的公式可以优于国家的最先进的方法的基础上,目标说话人的语音活动检测,并与SOND的性能可以进一步提高,导致在6.30%的相对日志化错误减少。
2022-11-18 cs.MM cs.SD eess.AS
Multi-Speaker Localization Using Convolutional Neural Network Trained with Noise
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer Institute for Integrated Circuits(弗劳恩霍夫集成电路研究所);International Audio Laboratories(国际音频实验室)
将多说话人定位问题转化为多类多标签分类问题,并采用基于卷积神经网络(CNN)的声源定位方法进行求解。利用不相交的说话人活动的共同假设,我们提出了一种新的方法来训练的CNN使用合成的噪声信号。所提出的定位方法进行评估,为两个扬声器和一个众所周知的转向响应功率法相比。
2017-12-12 cs.SD eess.AS stat.ML