Multi-objective Progressive Clustering for Semi-supervised Domain Adaptation in Speaker Verification
Wuhan University(武汉大学);Duke Kunshan University(昆山杜克大学);Mashang Consumer Finance Co., Ltd(马上消费金融股份有限公司)
针对说话人验证半监督域自适应的伪标记需求,提出多目标渐进聚类方法MoPC,结合多目标描述符、Infomap聚类及子中心纯化等策略优化伪标签,在VoxSRC 2023赛道3获第一,FFSVC数据集也表现良好。
2023-10-07 cs.SD eess.AS
Distance-based Weight Transfer from Near-field to Far-field Speaker Verification
Northwestern Polytechnical University(西北工业大学);Tencent Corporation(腾讯公司)
标记远场语音的稀缺性是训练高性能远场说话人确认系统的一个制约因素。对大规模近场语音预训练的模型进行微调,大大优于从头开始的训练。然而,微调方法受到两个限制-灾难性遗忘和过拟合。在本文中,我们提出了一种权重转移正则化(WTR)损失来约束具有大规模近场语音的预训练模型与通过少量远场语音进行微调的模型之间的权重距离。在WTR损失的情况下,微调过程利用了先前从大规模近场语音获得的辨别能力,而没有灾难性遗忘。同时,我们利用PAC-Bayes推广理论分析了具有WTR损失的微调模型的推广界。分析结果表明,WTR项的引入使得模型的泛化上界更紧。此外,我们探讨了三种范数距离的权重转移,这是L1-范数距离,L2-范数距离和最大范数距离。最后,我们评估了VoxCeleb(预训练数据集)和FFSVC(微调数据集)数据集上WTR损失的有效性。
2023-03-15 cs.SD eess.AS
Adaptive Data Augmentation with NaturalSpeech3 for Far-field Speaker Verification
针对远场说话人语音标注数据稀缺、近远场声学环境不匹配的问题,提出基于NaturalSpeech3的自适应数据增强方法,生成保留说话人身份的伪远场语音,在FFSVC上性能优于传统及同类增强策略。
2025-01-15 cs.SD eess.AS
Whisper-SV: Adapting Whisper for Low-data-resource Speaker Verification
Northwestern Polytechnical University(西北工业大学);Mashang Consumer Finance Co.,Ltd(马上消费金融股份有限公司)
针对低数据资源场景下说话人验证任务数据不足的问题,提出Whisper-SV框架,通过表征选择和多层聚合模块适配Whisper模型,在多个数据集上取得了优异的验证性能。
2024-07-14 cs.SD eess.AS
Text-dependent Speaker Verification (TdSV) Challenge 2024: Challenge Evaluation Plan
本文档介绍了文本相关说话人验证(TdSV)挑战赛2024,旨在激励参与者开发单一且具竞争力的系统,并探索多任务学习、自监督学习及少样本学习等创新概念以解决文本相关说话人验证问题。
2024-04-20 cs.AI cs.SD eess.AS
Short-duration Speaker Verification (SdSV) Challenge 2021: the Challenge Evaluation Plan
本文档描述了2021年短时间扬声器验证(SdSV)挑战赛。该挑战的主要目标是在短时间场景中评估文本相关(TD)和文本无关(TI)说话人验证(SV)的新技术。所提出的挑战评估SdSV与不同程度的语音重叠之间的登记和测试话语(跨语言)。这是第一个挑战,广泛关注系统的基准和分析不同程度的语音变异的短期说话人识别。我们预计现代方法(特别是深度神经网络)将发挥关键作用。
2021-03-24 cs.CL cs.SD eess.AS
SASV Challenge 2022: A Spoofing Aware Speaker Verification Challenge Evaluation Plan
ASV(自动说话者验证)系统本质上需要拒绝非目标(例如,由不同说话者发出的语音)和欺骗(例如,合成的或转换的)输入。然而,很少考虑ASV系统本身应该如何适应时,他们预计会遇到欺骗攻击,也不是当他们与CM(欺骗对策)协同工作,更不用说两个系统应该如何联合优化。第一个SASV(spoofing-aware speaker verification)挑战赛是ISCA INTERSPEECH 2022的一个特别会议,其目标是促进可以同时执行ASV和CM的集成系统的开发。
2022-03-02 cs.CR cs.SD eess.AS
ASVspoof 2021: Automatic Speaker Verification Spoofing and Countermeasures Challenge Evaluation Plan
ASVspoof consortium(ASVspoof联盟)
自动说话人验证欺骗和对策(ASVspoof)挑战系列是一项由社区主导的倡议,旨在促进对欺骗的考虑和对策的制定。ASVspoof 2021是一系列两年一次的竞争性挑战中的第四个,其目标是制定能够区分真实和欺骗或深度伪造语音的对策。本文档提供了ASVspoof 2021挑战赛的技术描述,包括培训、开发和评估数据、指标、基线、评估规则、提交程序和时间表的详细信息。
2021-09-01 cs.CR cs.LG cs.SD
TidyVoice 2026 Challenge Evaluation Plan
Department of Computational Linguistics, University of Zurich(计算语言学系,苏黎世大学);Mobile Dialog Systems, Otto-von-Guericke-University Magdeburg(移动对话系统,奥托·冯·格里克大学马格德堡);Mozilla Foundation(Mozilla基金会);Department of Linguistics, Indiana University(语言学系,印第安纳大学)
TidyVoice 2026挑战旨在通过跨语言说话人验证任务推动更公平和包容的语音识别技术发展。
2026-01-29 cs.SD eess.AS
Third DIHARD Challenge Evaluation Plan
University of Pennsylvania(宾夕法尼亚大学);Baidu Research(百度研究院);University of Science and Technology of China(中国科学技术大学);Indian Institute of Science(印度科学学院)
本文介绍了第三个DIHARD挑战,第三个在一系列的扬声器日志化的挑战,旨在提高日志化系统的鲁棒性,在录音设备,噪声条件和会话域的变化。该挑战包括两个轨道,当从参考语音分段(轨道1)开始时评估日志化性能,并且从原始音频草稿(轨道2)开始日志化。我们描述的任务,指标,数据集和评估协议。
2020-12-02 cs.SD eess.AS
MCE 2018: The 1st Multi-target Speaker Detection and Identification Challenge Evaluation (MCE) Plan, Dataset and Baseline System
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Johns Hopkins University(约翰斯·霍普金斯大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
多目标挑战赛旨在评估当前语音技术在多大程度上能够确定记录的话语是否是由大量“黑名单”发言者之一所说的。它是一种基于真实世界电话对话的多目标说话人检测形式。数据记录是从呼叫中心客户-代理对话中生成的。每个会话由单个i向量表示。给定来自非黑名单和黑名单扬声器的训练和开发数据池,任务是测量人们可以多准确地检测1)测试录音是否由黑名单扬声器说出,以及2)哪个特定的黑名单扬声器正在说话。
2018-07-17 cs.SD eess.AS
LOCATA challenge: speaker localization with a planar array
Centre for Intelligent Sensing(智能传感中心);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Queen Mary University of London(伦敦玛丽女王大学)
本文档介绍了我们提交的2018年本地化和跟踪(LOCATA)挑战(任务1,3,5)。我们估计的3D位置的扬声器使用的全球相干场(GCF)计算从多个麦克风对的DICIT平面阵列。将这种阵列与全向麦克风一起使用时的主要挑战之一是前后模糊性,这在任务5中特别明显。我们通过对GCF的峰值进行后处理并利用阵列框架引入的衰减来解决这一挑战。此外,语音的间歇性和说话者方向的变化使得定位困难。对于任务3和5,我们还采用了粒子滤波器(PF),有利于定位结果的时空连续性。
2019-01-25 cs.SD eess.AS
The VOiCES from a Distance Challenge 2019 Evaluation Plan
SRI International(斯坦福国际研究院);In-Q-Tel Laboratories(因-Q-泰尔实验室)
“VOiCES from a Distance Challenge 2019”旨在促进说话人识别和自动语音识别(ASR)领域的研究,特别关注噪声条件下的单通道远场/远场音频。这一挑战的主要目标是:(i)在说话人识别和自动语音识别(ASR)领域中对最先进的技术进行基准测试,(ii)支持在说话人识别和ASR中的新思想和技术的开发,(iii)支持进入远场/远场语音处理领域的新研究小组,以及(iv)提供新的,公开可用的数据集,展示现实的距离特征的社区。
2019-02-27 cs.SD eess.AS
Speaker dependent acoustic-to-articulatory inversion using real-time MRI of the vocal tract
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
声学到发音反转(AAI)方法从声学语音信号估计发音运动,这在诸如语音识别、合成、说话头和语言辅导的若干任务中是有用的。大多数早期的反演研究是基于点跟踪发音技术(例如EMA或XRMB)。rtMRI的优势在于它提供了上气道完整正中矢状面的动态信息,具有较高的“相对”空间分辨率。在这项工作中,我们估计正中矢状面rtMRI图像的声道扬声器相关的AAI,使用MGC-LSP频谱特征作为输入。我们应用了FC-DNN、CNN和递归神经网络,并证明了LSTM最适合这项任务。作为客观评价,我们测量了归一化的MSE,结构相似性指数(SSIM)及其复小波版本(CW-SSIM)。结果表明,FC-DNN和LSTM的组合可以实现声道的平滑生成的MR图像,其类似于原始MRI记录(平均CW-SSIM:0.94)。
2020-08-04 cs.SD eess.AS
Speaker Placement Agnosticism: Improving the Distance-based Amplitude Panning Algorithm
University of California, San Diego(加利福尼亚大学圣迭戈分校)
洛修斯等al介绍了基于距离的幅度平移算法(DBAP),以实现艺术和科学背景下扬声器放置的灵活性。该算法允许2D平面中的任意扬声器位置,使得虚拟声源可以导航2D空间。每个扬声器的增益计算为源到每个扬声器的距离的函数,从而创建声场。这给听众的印象是一个源移动通过扬声器的领域。本文介绍了一个开发的DBAP强大的变化,纠正错误的假设,在实施Lossius。具体而言,本文开发了一种方法,用于扬声器领域外的声源,其中Lossius版本产生失真的听觉印象和各种扬声器的增益中的空间不连续性引起的剧烈波动的幅度。在平滑虚拟源的空间印象中,我们还能够完全消除凸包的计算,这是原始实现的必要组成部分。这大大简化和减少了二维或三维空间所需的计算。
2021-09-17 cs.SD eess.AS
A Spatial Sampling Approach to Wave Field Synthesis: PBAP and Huygens Arrays
Center for Computer Research in Music and Acoustics (CCRMA)(计算机音乐与声学研究中心(CCRMA));Department of Music(音乐系);Stanford(斯坦福大学)
一个简单的方法来麦克风和扬声器阵列中的麦克风阵列被视为一个采样网格的声场,和相应的扬声器阵列被视为一个“空间数模转换器”,重建声场从其空间样本。这种方法的优点包括易于理解和教学,易于部署,有效的实际部署指南,以及在特殊情况下显著的计算节省。特别地,在远场情况下(声源远离线性扬声器阵列许多波长),可以稍微改变源角度,使得每个扬声器不需要超过纯整数延迟的处理。使用公知的延迟线内插技术(诸如扬声器之间的线性(交叉衰落)和拉格朗日(多项式)内插)来获得平滑移动的源。我们称远场线阵列情况为基于平面波的角度平移(PBAP),参考众所周知的基于矢量的幅度平移(VBAP)技术家族,其中一些在这里作为特殊情况导出:当扬声器对声场欠采样时,结果可以被认为是VBAP的一种形式,并且VBAP也作为截断到多边形周长的多边形PBAP阵列的限制情况而获得。空间样本不需要在线性阵列上,这导致了我们称为惠更斯阵列(HA)的简单空间音频系统。HA对于位于扬声器阵列后面的源是相当通用的,扬声器阵列不再需要是线性的,并且源不再限于远场。讨论了采用VBAP(或立体声)和低音炮的多频带和混合阵列,使用采样理论来通知交叉频率的选择。
2019-11-18 cs.SD eess.AS
WildSpoof Challenge Evaluation Plan
WildSpoof Challenge(WildSpoof挑战)
WildSpoof 挑战通过 TTS 生成与 SASV 检测两个并行赛道,推动在真实场景数据下开展欺骗语音生成与检测研究,并促进两个社区的跨学科协作。
2025-08-23 cs.AI cs.SD