SASV Challenge 2022: A Spoofing Aware Speaker Verification Challenge Evaluation Plan
ASV(自动说话者验证)系统本质上需要拒绝非目标(例如,由不同说话者发出的语音)和欺骗(例如,合成的或转换的)输入。然而,很少考虑ASV系统本身应该如何适应时,他们预计会遇到欺骗攻击,也不是当他们与CM(欺骗对策)协同工作,更不用说两个系统应该如何联合优化。第一个SASV(spoofing-aware speaker verification)挑战赛是ISCA INTERSPEECH 2022的一个特别会议,其目标是促进可以同时执行ASV和CM的集成系统的开发。
2022-03-02 cs.CR cs.SD eess.AS
Two Methods for Spoofing-Aware Speaker Verification: Multi-Layer Perceptron Score Fusion Model and Integrated Embedding Projector
University of Seoul(首尔市立大学)
针对自动说话人验证系统易受欺骗攻击的问题,提出多层感知机分数融合模型与集成嵌入投影器两种后端方案,有效整合验证与对抗系统,在2022年SASV挑战赛官方评估中取得优异的等错误率表现。
2022-06-28 cs.SD eess.AS
Joint Optimization of Speaker and Spoof Detectors for Spoofing-Robust Automatic Speaker Verification
Bursa Technical University(布尔萨理工大学);University of Eastern Finland(芬兰东部大学)
本文通过整合说话人和欺骗检测器的输出,提出了一种模块化设计方法,提升了对抗鲁棒性,实验显示非线性分数融合和任务对齐优化能显著降低a-DCF和SPF-EER。
2026-03-30 eess.AS
A Probabilistic Fusion Framework for Spoofing Aware Speaker Verification
Audio Information Research Lab, University of Rochester, Rochester, NY, USA(音频信息研究实验室,罗切斯特大学,罗切斯特,纽约,美国)
本文提出了一种概率融合框架,通过融合ASV和CM子系统分数,有效提升了SASV系统的性能,将EER从19.31%降至1.53%。
2022-04-24 cs.SD eess.AS
ATMM-SAGA: Alternating Training for Multi-Module with Score-Aware Gated Attention SASV system
本文提出一种基于评分感知门控注意力融合的SASV系统,结合AASIST与ECAPA-TDNN,在ASVspoof2019上实现低错误率,提升欺骗鲁棒性。
2025-05-23 eess.AS
A Comparative Study of Fusion Methods for SASV Challenge 2022
1 Samsung R\&D Institute Russia
自动说话人确认系统是一种生物特征认证系统。它可能受到入侵者的攻击,入侵者伪造数据以访问受保护的信息。对策(CM)是检测这些欺骗攻击的特殊算法。虽然ASVspoof挑战赛系列的重点是针对固定ASV系统开发CM,但新的欺骗感知扬声器验证(SASV)挑战赛组织者认为,如果CM和ASV系统联合优化,可以实现最佳效果。协作优化的方法之一是融合从ASV和CM模型获得的嵌入或得分。SASV Challenge 2022的基线呈现了两种类型的融合:分数总和和具有3层MLP的后端集成。本文介绍了我们对其他融合方法的研究,包括增强嵌入,这还没有被用于反欺骗研究之前。
2022-03-31 cs.SD eess.AS
ELEAT-SAGA: Early & Late Integration with Evading Alternating Training for Spoof-Robust Speaker Verification
Ben Gurion University of the Negev(内盖夫本-古里安大学);Afeka Academic College of Engineering in Tel Aviv(特拉维夫阿菲卡理工学院);Avignon University(阿维尼翁大学)
ELEAT-SAGA通过引入基于分数的门控注意力机制和逃避交替训练策略,提升了对抗鲁棒的说话人验证系统性能。
2026-02-14 eess.AS
On the potential of jointly-optimised solutions to spoofing attack detection and automatic speaker verification
欺骗感知说话人验证(SASV)挑战旨在促进联合优化解决方案的研究,以完成传统上分别优化的欺骗检测和说话人验证任务。联合优化的系统有可能协同工作,作为可靠的说话人验证单一任务的更好的解决方案。然而,向SASV 2022提交的23份申请中没有一份是联合优化的。因此,我们试图确定为什么单独优化的子系统表现最好,或者为什么联合优化不成功。本文报道的实验表明,联合优化是成功的,提高鲁棒性欺骗,但它降低了说话人验证性能。研究结果表明,欺骗检测和说话人验证子系统应联合优化的方式,反映了每个子系统提供的信息是如何互补的,由其他的差异。能否取得进展还可能取决于能否从更多的发言者那里收集数据。
2022-10-07 eess.AS
Spoofing-Robust Speaker Verification Using Parallel Embedding Fusion: BTU Speech Group's Approach for ASVspoof5 Challenge
BTU Speech Group(BTU语音组)
BTU语音组针对ASVspoof5挑战赛提出基于并行嵌入融合的抗欺骗说话人验证系统,通过并行双DNN处理多模型融合的嵌入与分数,结合a-DCF和BCE损失优化,性能优于传统单DNN方法,提升了系统抗欺骗的鲁棒性与安全性。
2024-08-28 cs.SD eess.AS
Representation Selective Self-distillation and wav2vec 2.0 Feature Exploration for Spoof-aware Speaker Verification
文本到语音和语音转换的研究正在不断改进,以至于它们可以产生几乎与真正的人类语音无法区分的合成语音。在这方面,对抗合成语音攻击的自动说话人确认(ASV)系统的对策(CM)的重要性出现。尽管如此,大多数端到端欺骗检测网络都是黑箱系统,并且对于什么是查找工件的有效表示的答案仍然是模糊的。在本文中,我们研究的特征空间可以有效地表示合成文物使用wav2vec 2.0,并研究哪种架构可以有效地利用空间。我们的研究使我们能够分析哪些属性的语音信号是有利的CM系统。拟议的CM系统在ASVspoof 2019 LA评估集上实现了0.31%的等错误率(EER),用于欺骗检测任务。我们进一步提出了一个简单而有效的欺骗感知说话人验证(SASV)方法,它利用了我们的对策系统的解纠缠表示。使用SASV Challenge 2022数据库进行的评价显示SASV EER为1.08%。定量分析表明,使用wav2vec 2.0的探索特征空间的欺骗CM和SASV的优点。
2022-07-02 eess.AS
Tackling Spoofing-Aware Speaker Verification with Multi-Model Fusion
National Taiwan University(国立台湾大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
近年来,说话人自动确认技术得到了飞速的发展。然而,以往的研究表明,最先进的ASV模型是严重脆弱的语音欺骗攻击,最近提出的高性能欺骗对策(CM)模型只专注于独立的反欺骗任务,并忽略了后续的说话人验证过程。如何将CM和ASV集成在一起仍然是一个悬而未决的问题。一个欺骗感知说话人验证(SASV)的挑战,最近发生的论点,更好的性能可以提供时,CM和ASV子系统的联合优化。在挑战的场景下,参与者提出的集成系统需要拒绝冒名顶替者扬声器和来自目标扬声器的欺骗攻击,这直观有效地匹配了可靠的,欺骗鲁棒的ASV系统的期望。这项工作的重点是基于融合的SASV解决方案,并提出了一个多模型融合框架,利用多个国家的最先进的ASV和CM模型的力量。所提出的框架大大提高了SASV-EER从8.75%到1.17%,这是86%的相对改善相比,在SASV挑战的最佳基线系统。
2022-06-18 cs.LG cs.SD eess.AS
The DKU-OPPO System for the 2022 Spoofing-Aware Speaker Verification Challenge
Wuhan University(武汉大学);Duke Kunshan University(昆山杜克大学);Guangdong OPPO Mobile Telecommunications Corp., Ltd.(广东OPPO移动通信有限公司)
本文介绍了我们的DKU-OPPO系统,用于2022年欺骗感知扬声器验证(SASV)挑战赛。首先,我们将联合任务分为说话人确认(SV)和欺骗对策(CM),这两个任务是单独优化。对于ASV系统,采用四种最先进的方法。对于CM系统,我们在挑战基线的基础上提出了两种方法来进一步提高性能,即嵌入随机采样增强(ERSA)和一类混淆损失(OCCL)。其次,我们还探讨了SV嵌入是否有助于提高CM系统的性能。我们观察到现有CM系统在域不匹配的Voxceleb 2数据集上的性能急剧下降。第三,我们比较了不同的融合策略,包括并行分数融合和顺序级联系统。与1. 71% SASV-EER基线相比,我们提交的级联系统在挑战官方评估集上获得了0. 21% SASV-EER。
2022-07-15 cs.SD eess.AS
Tandem spoofing-robust automatic speaker verification based on time-domain embeddings
针对逻辑访问攻击,提出基于时域波形幅度PMF提取真实与欺骗语音时域嵌入并结合性别识别的SASV对策系统,实验表明该方法提升了系统泛化能力及串联检测性能。
2024-12-22 eess.AS
Spoofing-Aware Speaker Verification by Multi-Level Fusion
National Taiwan University(台湾大学);The Chinese University of Hong Kong(香港中文大学)
近年来,许多新的技术被用来对付欺骗攻击,并取得了很好的对抗效果。然而,这些作品只考虑到独立的CM模型。如今,一个欺骗感知说话人验证(SASV)的挑战,旨在促进综合CM和ASV模型的研究,认为联合优化CM和ASV模型将导致更好的性能,正在发生。在本文中,我们提出了一种新的多模型和多层次的融合策略来解决SASV任务。与单纯的评分融合和嵌入融合方法相比,该框架首先利用CM模型的嵌入,将CM嵌入传播到CM块中以获得CM评分。在第二级融合中,直接来自ASV系统的CM分数和ASV分数将被连接到用于最终决策的预测块中。结果,最好的单融合系统在评估集上达到了0.97%的SASV-EER。然后将前5个融合系统进行融合,最终SASV-EER达到0.89%。
2022-03-29 cs.LG cs.SD eess.AS
BUT Systems for WildSpoof Challenge: SASV in the Wild
BUT团队提出了一种抗欺骗自动说话验证框架,通过整合多种自监督学习模型和特征域增强策略,提升在未知环境下的说话验证性能。
2025-12-14 eess.AS
Joint Optimization of ASV and CM tasks: BTUEF Team's Submission for WildSpoof Challenge
Bursa Technical University(布尔萨科技大学);University of Eastern Finland(芬兰东部大学)
本文提出模块化SASV框架,通过非线性融合和可训练损失优化,结合ReDimNet和微调SSL-AASIST实现最佳ASV与CM性能。
2026-02-02 eess.AS
Towards single integrated spoofing-aware speaker verification embeddings
Seoul National University(首尔国立大学);University of Eastern Finland(东芬兰大学);EURECOM(欧洲通信研究院);National Institute of Informatics(国立信息学研究所);Inria(法国国家信息与自动化研究所);TCG CREST(TCG CREST研究中心);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Carnegie Mellon University(卡内基梅隆大学);Naver Corporation(Naver公司)
本文提出融合多阶段训练、组合损失与复制合成增强的单一 SASV 嵌入框架,在 SASV2022 协议上将 SASV-EER 降至 1.06%。
2023-06-01 cs.AI cs.SD eess.AS
Spoofing-Aware Speaker Verification via Wavelet Prompt Tuning and Multi-Model Ensembles
本文提出了一种结合小波提示调优和多模型集成的防伪语音验证方法,通过在VoxCeleb2和SpoofCeleb上训练,实现了低误检率和高泛化能力。
2026-01-24 cs.SD eess.AS
Integrated Spoofing-Robust Automatic Speaker Verification via a Three-Class Formulation and LLR
Tianjin University(天津大学)
本文提出一种三类公式框架,通过log-likelihood ratio (LLR)推理提升自动说话验证的可解释性,实验显示在ASVSpoof5和SpoofCeleb上性能优异。
2026-10-28 cs.SD eess.AS
Optimizing a-DCF for Spoofing-Robust Speaker Verification
本文提出一种直接优化a-DCF的抗欺骗ASV系统,结合BCE与阈值优化及分数融合技术,在ASVspoof2019数据集上显著降低了最小a-DCF,提升了系统鲁棒性。
2025-03-03 eess.AS
Bayesian Learning for Domain-Invariant Speaker Verification and Anti-Spoofing
针对ASV与反欺骗中的域失配问题,提出用变分推断建模频率权重后验的贝叶斯加权RFN,并在多项跨域任务中验证其显著优于WRFN和RFN。
2025-06-09 eess.AS
SpoofCeleb: Speech Deepfake Detection and SASV In The Wild
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);National Institute of Informatics(信息学研究所);Korea Advanced Institute of Science and Technology(韩国科学技术院);Meta;University of Tokyo(东京大学);EURECOM(欧洲通信学院);Shanghai Jiao Tong University(上海交通大学);Yonsei University(延世大学);Keio University(庆应义塾大学)
本文提出SpoofCeleb数据集,基于真实场景数据构建,含250万条 utterances与23个TTS生成的欺骗样本,解决现有数据集质量单一、说话人多样性不足问题,支持SDD和SASV任务并提供基线,已公开。
2025-04-15 cs.AI cs.SD eess.AS
Spoofing Speaker Verification Systems with Deep Multi-speaker Text-to-speech Synthesis
Tsinghua University(清华大学);University of Rochester(罗切斯特大学)
提出了一种用于欺骗说话人确认系统的深度多说话人文本转语音(TTS)模型。该模型采用一个网络从文本输入合成时间下采样的梅尔频谱图,另一个网络将其转换为线性频谱图,然后使用Griffin-Lim算法将其进一步转换为时域。这两个网络分别在生成对抗网络(GAN)框架下进行训练。在两个最先进的SV系统(i-vectors和Google的GE 2 E)上的欺骗实验表明,所提出的系统可以成功地欺骗这些系统,成功率很高。反欺骗系统上的欺骗实验(即,用于区分真实语音和合成语音的二进制分类器)也显示出当这种反欺骗系统的结构暴露于所提出的TTS系统时的高欺骗成功率。
2019-10-29 cs.SD eess.AS
BUT Systems and Analyses for the ASVspoof 5 Challenge
BUT(布尔诺理工大学)
本文介绍BUT团队参与ASVspoof 5挑战赛的系统,针对深度伪造检测采用不同模型并分析标签组合,针对SASV引入先验并提出逻辑回归联合训练方法以优化性能。
2024-08-20 cs.SD eess.AS
Subband modeling for spoofing detection in automatic speaker verification
频谱图-音频信号的时间-频率表示-已在基于神经网络的欺骗检测中得到广泛使用。虽然深度模型是在信号的全频带频谱上训练的,但我们认为并非所有频段都对这些任务有用。在本文中,我们系统地研究了不同子带的影响及其在两个基准数据集上对重放欺骗检测的重要性:ASVspoof 2017 v2.0和ASVspoof 2019 PA。我们提出了一个联合子带建模框架,采用n个不同的子网络来学习子带特定的功能。然后将这些组合并传递给分类器,并在训练期间更新整个网络权重。我们对ASVspoof 2017数据集的研究结果表明,最具鉴别力的信息似乎位于第一个和最后一个1 kHz频段,在这两个子带上训练的联合模型显示出最佳性能,远远优于基线。然而,这些发现并不能概括ASVspoof 2019 PA数据集。这表明可用于训练这些模型的数据集并不反映真实世界的重放条件,这表明需要仔细设计用于训练重放欺骗对策的数据集。
2020-04-04 eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而,语音转换系统可以操纵一个人的语音信号,使其听起来像另一个说话者的声音,并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中,我们研究的问题,源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别,我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明,当使用来自相同语音转换模型的转换语音进行训练和测试时,源说话人识别是可行的。此外,我们的研究结果表明,有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
LG Uplus System with Multi-Speaker IDs and Discriminator-based Sub-Judges for the WildSpoof Challenge
本文提出了一种结合多说话人ID和基于判别器的子裁判系统的LG Uplus系统,用于提高在高保真TTS攻击下的说话人验证性能。
2025-12-09 eess.AS
Multi-task Learning Based Spoofing-Robust Automatic Speaker Verification System
The University of Western Australia(西澳大学)
通过生成人工语音而构成的欺骗攻击会严重降低说话人确认系统的性能。最近,许多反欺骗对策已被提出用于检测从合成语音到重放演示的各种类型的攻击。虽然有许多关于独立反欺骗解决方案的有效防御报告,但扬声器验证和欺骗检测系统的集成具有明显的优势。在本文中,我们提出了一个欺骗鲁棒的自动说话人确认(SR-ASV)系统的多种攻击的基础上的多任务学习架构。这个基于深度学习的模型与来自话语的时频表示联合训练,以同时为两个任务提供识别决策。与ASVspoof 2017和2019语料库上的其他最先进的系统相比,可以在不同的欺骗条件下获得组合系统的实质性改进。
2020-12-06 cs.CR cs.SD eess.AS
ASASVIcomtech: The Vicomtech-UGR Speech Deepfake Detection and SASV Systems for the ASVspoof5 Challenge
Vicomtech-UGR(维科姆特赫-格拉纳达大学联合机构)
本文介绍 ASASVIcomtech 团队在 ASVspoof5 挑战赛中,通过数据分析和集成自监督模型等开放条件系统,在语音深度伪造检测和欺骗感知说话人验证两个赛道上取得极具竞争力的结果。
2024-08-19 cs.SD eess.AS
Thech. Report: Genuinization of Speech waveform PMF for speaker detection spoofing and countermeasures
Afeka Tel-Aviv Academic College of Engineering(阿菲卡特拉维夫学术工程学院);Avignon University(阿维尼翁大学)
针对说话人识别欺骗攻击场景,提出语音波形PMF真实化算法,在ASVspoof 2019数据集上验证其可大幅削弱欺骗检测性能,集成到反制系统后则能显著提升检测效果,凸显波形分布的重要性。
2023-10-09 cs.SD eess.AS
a-DCF: an architecture agnostic metric with application to spoofing-robust speaker verification
Carnegie Mellon University(卡内基梅隆大学);University of Eastern Finland(东芬兰大学);EURECOM(欧洲通信大学);Inria(法国国家信息与自动化研究所);Avignon University(阿维尼翁大学);Afeka Tel-Aviv Academic College of Engineering(阿菲克特拉维夫工程学术学院)
针对现有抗欺骗说话人验证评估度量存在缺陷或限制架构的问题,提出与架构无关的检测代价函数a-DCF(原始DCF的泛化),通过基准评估证明其价值。
2025-04-15 cs.LG eess.AS
Adversarial Attacks on Spoofing Countermeasures of automatic speaker verification
The Chinese University of Hong Kong(香港中文大学);National Taiwan University(国立台湾大学)
ASVspoof 2019挑战赛中提出了用于自动说话人验证(ASV)的高性能欺骗对抗系统。然而,这种系统在对抗性攻击下的鲁棒性尚未得到研究。在本文中,我们研究了在白盒和黑盒对抗性攻击下ASV欺骗对策的脆弱性与快速梯度符号方法(FGSM)和投影梯度下降(PGD)方法。我们在ASVspoof 2019挑战赛中实施了高性能的对策模型,并对其进行对抗性攻击。我们比较了不同网络架构和不同数量的模型参数的欺骗对策模型的黑盒攻击的性能。实验结果表明,在白盒攻击场景下,所有实现的对策模型都容易受到FGSM和PGD攻击。实验结果也证明了更危险的黑盒攻击是有效的。
2019-10-19 cs.CL eess.AS
Speaker-Aware Anti-Spoofing
University of Eastern Finland(东芬兰大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);TCG CREST(TCG 尖端研究与科学卓越中心)
本文提出说话人条件化的语音反欺骗方法,通过帧级和话语级策略将注册说话人信息融入 AASIST,在 ASVspoof 2019 上显著降低 EER 与 t-DCF。
2023-06-08 cs.CR cs.SD eess.AS
Backend Ensemble for Speaker Verification and Spoofing Countermeasure
Northwestern Polytechnical University(西北工业大学)
本文介绍了NPU系统提交给欺骗感知扬声器验证挑战赛2022。重点从三个方面研究了用于说话人确认和欺骗对抗的\textit{backend ensemble}。首先,除了简单的拼接,我们提出了循环矩阵变换和堆叠的扬声器嵌入和对策嵌入。通过新定义的循环嵌入的叠加操作,我们几乎探索了说话人嵌入和对策嵌入之间所有可能的相互作用。其次,我们尝试不同的卷积神经网络选择性地融合嵌入的显着区域到卷积核通道。最后,我们在一维卷积神经网络中设计了并行注意力,以学习通道维度中的全局相关性以及学习特征维度中的重要部分。同时,我们在二维卷积神经网络中嵌入挤压-激发注意,以学习说话人嵌入和对策嵌入之间的全局依赖性。实验结果表明,上述方法都是有效的.经过上述方法增强的四个训练好的模型融合后,在评价集上获得的最佳SASV EER、SPF EER和SV EER分别为0. 559%、0. 354%和0. 857%。加上上述贡献,我们的提交系统在这项挑战中获得了第五名。
2022-09-23 cs.SD eess.AS
Spoofing-Aware Speaker Verification Robust Against Domain and Channel Mismatches
SOKENDAI(高级研究大学院大学);Singapore Institute of Technology(新加坡理工学院)
针对欺骗攻击、信道与域失配并存的问题,提出融合成对学习、欺骗模拟和元学习的非对称双路径多任务框架,并通过CNComplex验证其显著优于传统ASV系统。
2024-09-10 cs.SD eess.AS
SAMO: Speaker Attractor Multi-Center One-Class Learning for Voice Anti-Spoofing
Columbia University(哥伦比亚大学);University of Rochester(罗切斯特大学)
语音反欺骗系统是自动说话人确认系统的重要辅助设备。一个主要的挑战是由先进的语音合成技术所带来的看不见的攻击造成的。我们以前对单类学习的研究通过压缩嵌入空间中的真实语音来提高对不可见攻击的泛化能力。然而,这种紧凑性缺乏对发言者多样性的考虑。在这项工作中,我们提出了扬声器吸引子多中心一类学习(SAMO),它将真实的语音聚集在一些扬声器吸引子周围,并在高维嵌入空间中将欺骗攻击从所有吸引子中推开。对于训练,我们提出了一个算法的共同优化的善意的语音聚类和善意/欺骗分类。对于推理,我们提出了策略,使反欺骗扬声器没有登记。我们提出的系统优于现有的最先进的单一系统,在ASVspoof 2019 LA评估集上的等错误率(EER)相对提高了38%。
2022-11-04 cs.LG cs.SD eess.AS
An explainability study of the constant Q cepstral coefficient spoofing countermeasure for automatic speaker verification
EURECOM(欧洲通信研究与教育中心)
自动说话人验证的反欺骗现在是一个成熟的研究领域,在过去的6年里举行了三次竞争性挑战。在这段时间里,大量的研究工作已经投入到针对欺骗检测任务的前端表示的开发中。一种被称为恒定Q倒谱系数(CQCC)的这样的方法已经被证明在检测利用基于单元选择的语音合成算法实现的攻击中特别有效。尽管他们取得了成功,但他们在检测其他形式的欺骗攻击时基本上失败了,在这些攻击中,更传统的前端表示会提供更好的结果。在最近的2019年版ASVspoof挑战系列中也观察到了类似的差异。本文报告了我们试图帮助解释这些观察结果。的解释是在于由每个前端支付的频谱的不同子带分量的关注程度。到目前为止,令人惊讶的是,很少有人知道什么样的文物被检测到的欺骗对策。因此,我们的工作旨在阐明信号或频谱级的文物,用于区分不同形式的欺骗攻击,从真正的,真正的语音。通过更好地了解这些人工制品,我们将更好地设计更可靠的对策。
2020-04-19 cs.SD eess.AS
Hybrid Pruning: In-Situ Compression of Self-Supervised Speech Models for Speaker Verification and Anti-Spoofing
本文提出将结构化剪枝与下游微调统一在单阶段的混合剪枝框架,在保持性能的同时实现最高70%参数压缩,并在低资源场景下取得更优泛化。
2025-11-08 eess.AS
Baseline Systems for the First Spoofing-Aware Speaker Verification Challenge: Score and Embedding Fusion
University of Seoul(首尔大学);EURECOM(欧洲通信学院);University of Eastern Finland(东芬兰大学);Naver Corporation(Naver公司);KAIST(韩国科学技术院);Nuance Communications(纽昂斯通信公司);Inria(法国国家信息与自动化研究所)
深度学习在自动说话人验证(ASV)和欺骗对策(CM)的研究方面都取得了令人印象深刻的进展。虽然解决方案是相互依赖的,但它们通常作为独立的子系统发展,因此CM解决方案通常是为固定的ASV系统设计的。本文中报告的工作旨在衡量其更紧密的集成可以获得的可靠性的改善。使用流行的ASVspoof2019数据集得出的结果表明,当评估协议扩展到欺骗试验时,最先进的ASV系统的相等出错率(EER)从1.63%下降到23.83%。遭受欺骗攻击。然而,即使ASV和CM系统以分数总和和基于深度神经网络的融合策略的形式直接集成,EER也分别降低到1.71%和6.37%。新的欺骗感知扬声器验证(SASV)挑战已经形成,以鼓励更多地关注ASV和CM系统的集成,以及提供一种基准测试不同解决方案的方法。
2022-04-21 cs.SD eess.AS
ASVspoof 2021: Automatic Speaker Verification Spoofing and Countermeasures Challenge Evaluation Plan
ASVspoof consortium(ASVspoof联盟)
自动说话人验证欺骗和对策(ASVspoof)挑战系列是一项由社区主导的倡议,旨在促进对欺骗的考虑和对策的制定。ASVspoof 2021是一系列两年一次的竞争性挑战中的第四个,其目标是制定能够区分真实和欺骗或深度伪造语音的对策。本文档提供了ASVspoof 2021挑战赛的技术描述,包括培训、开发和评估数据、指标、基线、评估规则、提交程序和时间表的详细信息。
2021-09-01 cs.CR cs.LG cs.SD
Detection and Evaluation of human and machine generated speech in spoofing attacks on automatic speaker verification systems
Carnegie Mellon University(卡内基梅隆大学)
自动说话人确认系统利用人类语音中的生物特征信息来确认说话人的身份。用于执行说话人验证的技术通常容易受到恶意攻击,这些攻击试图诱使ASV系统返回错误的结果,从而允许冒名顶替者绕过系统并获得访问权限。攻击者为此使用了多种欺骗技术,例如语音转换、音频重放、语音合成等。近年来,生成深度伪造音频的容易获得的工具增加了对ASV系统的潜在威胁。在本文中,我们比较了潜在的人类模仿(语音伪装)基于攻击的基础上,机器生成的语音,黑盒和白盒ASV系统。我们还研究对策,通过使用功能,捕捉人类语音生产的独特方面,假设机器不能模仿许多精细的人类语音生产机制的复杂性。我们表明,基频序列相关熵,频谱包络和非周期性参数是有前途的候选人的鲁棒检测未知方法产生的deepfaked语音。
2020-11-25 cs.SD eess.AS
Automatic speaker verification spoofing and deepfake detection using wav2vec 2.0 and data augmentation
EURECOM(欧洲电信学院);National Institute of Informatics(国立信息学研究所);Naver Corporation(Naver公司)
电子欺骗对抗系统的性能从根本上取决于充分代表性的训练数据的使用。由于这通常是有限的,当前的解决方案通常缺乏对在野外遇到的攻击的概括。因此,需要在面对不受控制、不可预测的攻击时提高可靠性的策略。我们在本文中报告了我们以wav2vec 2.0前端的形式使用自监督学习的努力。尽管仅使用真实数据而不使用伪造数据来学习初始基础表示,但我们获得了ASVspoof 2021 Logical Access和Deepfake数据库文献中报告的最低等错误率。当与数据增强相结合时,这些结果对应于相对于我们的基线系统的近90%的改进。
2022-02-28 cs.SD eess.AS
Ensemble Models for Spoofing Detection in Automatic Speaker Verification
Queen Mary University of London(伦敦玛丽女王大学);KTH Royal Institute of Engineering(KTH皇家理工学院)
检测自动说话人验证(ASV)系统的欺骗尝试是具有挑战性的,特别是当只使用一种建模方法时。为了鲁棒性,我们使用深度神经网络和传统机器学习模型,并通过逻辑回归将它们组合为集成模型。他们经过培训,可以检测作为ASV欺骗和对策挑战2019的一部分发布的数据集上的逻辑访问(LA)和物理访问(PA)攻击。我们提出了数据集分区,以确保在训练和验证过程中存在不同的攻击类型,以提高系统的鲁棒性。我们的集成模型优于我们所有的单一模型和两种攻击类型的挑战基线。我们研究了为什么PA数据集上的一些模型的表现远远优于其他模型,并发现数据集中的欺骗录音往往比真正的录音在最后有更长的沉默。通过删除它们,PA任务变得更具挑战性,我们最好的单个模型的串联检测代价函数(t-DCF)从0.1672上升到0.5018,开发集的等错误率(EER)从5.98%上升到19.8%。
2019-07-04 cs.SD eess.AS
Replay spoofing detection system for automatic speaker verification using multi-task learning of noise classes
University of Seoul(首尔市立大学)
在本文中,我们提出了一个重放攻击欺骗检测系统的自动说话人验证使用多任务学习的噪声类。我们将重放攻击引起的噪声定义为重放噪声。我们探索了同时训练深度神经网络用于重放攻击欺骗检测和重放噪声分类的有效性。多任务学习包括对回放设备、记录环境和记录设备的噪声进行分类以及欺骗检测。三种类型的噪声类别中的每一种也包括真正的类别。在ASVspoof2017数据集上的实验结果表明,我们提出的系统在评估集上的性能相对提高了30%。
2018-10-25 cs.LG cs.SD eess.AS
Revisiting and Improving Scoring Fusion for Spoofing-aware Speaker Verification Using Compositional Data Analysis
National Institute of Informatics(信息学研究所);University of Eastern Finland(东芬兰大学);The Hong Kong Polytechnic University(香港理工大学);Avignon Université(阿维尼翁大学);Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室)
本文基于决策理论和成分数据分析重新审视ASV与CM的分数级融合,提出分数校准、改进线性及非线性融合方法,并在SASV挑战数据库上验证了其有效性。
2024-09-24 cs.SD eess.AS
Voice Spoofing Detection Corpus for Single and Multi-order Audio Replays
Oakland University(奥克兰大学);University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
近年来,现代语音控制设备(VCD)的发展彻底改变了物联网,并通过语音命令增加了灵巧家庭、个性化和家庭自动化的实现。在物联网中引入VCD预计将出现物联网的新子领域,称为多媒体物联网(MoT)。这些VCD可以在物联网驱动的环境中被利用来生成各种欺骗攻击,包括重放。重放攻击是通过重放合法人类说话者的录音来产生的,其意图是欺骗具有说话者验证系统的VCD。在物联网驱动的环境中,可以很容易地利用VCD之间的连接来生成一系列重放攻击(多阶重放攻击)。现有的欺骗检测数据集,如ASVspoof和ReMASC,仅包含针对真实音频样本的一阶重放记录。这些数据集无法提供能够检测多阶重放攻击的反欺骗算法的评估。此外,这些数据集没有捕获麦克风阵列的特征,这是现代VCD的重要特征。我们需要一个多样化的重放欺骗检测语料库,由多阶重放录音对真正的语音样本。本文提出了一种新的语音欺骗检测语料库(VSDC),以评估多阶重放反欺骗方法的性能。建议的VSDC由一阶和二阶重放样本对真正的音频记录。此外,所提出的VSDC也可以用来评估说话人确认系统的性能,因为我们的语料库包括15个不同说话人的音频样本。据我们所知,这是第一个公开可用的重放欺骗检测语料库,包括一阶和二阶重放样本。
2019-09-03 cs.SD eess.AS
LJ-Spoof: A Generatively Varied Corpus for Audio Anti-Spoofing and Synthesis Source Tracing
Electrical and Computer Engineering(电气与计算机工程学院);University of Michigan(密歇根大学);Computer Engineering University of Michigan 4901 Evergreen Rd, Dearborn, MI 48128, USA(计算机工程密歇根大学4901 Evergreen Rd, Dearborn, MI 48128, USA)
LJ-Spoof 是一个生成多样化的语料库,用于提升音频反伪装和合成源追踪的鲁棒性和精度。
2026-01-12 cs.AI cs.SD eess.AS
Spoofing-Aware Speaker Verification with Unsupervised Domain Adaptation
University of Eastern Finland(东芬兰大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学与应用数学实验室)
在本文中,我们开始关注提高欺骗鲁棒性的自动说话人确认(ASV)系统,没有一个单独的对策模块的主要存在。我们从ASVspoof 2019基线的标准ASV框架开始,并基于概率线性判别分析从后端分类器解决问题。我们采用三种无监督领域自适应技术,使用ASVspoof 2019数据集的训练分区中的音频数据来优化后端。我们在逻辑和物理访问场景上都表现出显着的改进,特别是在后者系统受到重放音频攻击的情况下,善意和欺骗情况下的最大相对改进分别为36.1%和5.3%。我们进行额外的研究,如每攻击故障分析,数据组合,并与对策系统集成在分数级与高斯后端。
2022-04-26 cs.AI cs.SD eess.AS
Optimizing Tandem Speaker Verification and Anti-Spoofing Systems
University of Eastern Finland(东芬兰大学);National University of Singapore(新加坡国立大学);National Institute of Informatics(国立信息学研究所)
由于自动说话人验证(ASV)系统易受欺骗攻击,因此它们通常与欺骗对抗(CM)系统结合使用以提高安全性。例如,CM可以首先确定输入是否是人类语音,然后ASV可以确定该语音是否匹配说话者的身份。这种级联系统的性能可以用级联检测成本函数(t-DCF)来测量。然而,ASV和CM系统通常使用不同的指标和数据单独训练,这并不能优化它们的组合性能。在这项工作中,我们建议直接优化串联系统,通过创建一个微分版本的t-DCF和采用技术从强化学习。结果表明,这些方法提供了比微调更好的结果,我们的方法在约束设置中ASVSpoof 19数据集中的t-DCF相对提高了20%。
2022-01-24 cs.CR cs.LG cs.SD
Integrated Replay Spoofing-aware Text-independent Speaker Verification
University of Seoul(首尔大学)
许多研究已经成功地开发了说话人确认或呈现攻击检测系统。然而,将这两项任务结合起来的研究仍处于初步阶段。在本文中,我们提出了两种方法来建立一个集成系统的说话人验证和演示攻击检测:一个端到端的单片方法和后端模块化的方法。第一种方法同时训练说话人识别,演示攻击检测,并使用多任务学习使用一个共同的功能的集成系统。然而,通过实验,我们假设,所需的信息进行说话人验证和演示攻击检测可能会有所不同,因为说话人验证系统试图从扬声器嵌入删除设备特定的信息,而演示攻击检测系统利用这些信息。因此,我们提出了一种后端模块化方法,使用单独的深度神经网络(DNN)进行说话人验证和演示攻击检测。这种方法有三个输入组件:两个扬声器嵌入(注册和测试)和预测的演示攻击。实验使用ASVspoof 2017-v2数据集进行,其中包括对说话人验证和演示攻击检测集成的正式试验。所提出的后端方法表现出21.77%的相对改善方面的综合试验相比,传统的说话人确认系统的相等的错误率。
2020-09-27 cs.LG cs.SD eess.AS
Tandem Assessment of Spoofing Countermeasures and Automatic Speaker Verification: Fundamentals
University of Eastern Finland(东芬兰大学);Nuance Communications Inc.(纽安斯通信公司);EURECOM(欧洲通信学院);NEC Corporation(日本电气公司);National Institute of Informatics(国立信息学研究所);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学与应用研究实验室);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
近年来,人们越来越多地致力于开发欺骗对策(CM),以保护自动说话人验证(ASV)系统免受操纵或人工输入的欺骗。欺骗CM的可靠性通常使用等错误率(EER)度量来衡量。原始的EER不能反映应用程序的要求和影响的欺骗和CM后,ASV和它的使用作为一个主要的指标,在传统的ASV的研究已被放弃,有利于基于风险的方法来评估。本文提出了几个新的扩展串联检测代价函数(t-DCF),最近的风险为基础的方法来评估的可靠性欺骗CM部署在串联ASV系统。扩展包括具有较少参数的简化版本的t-DCF,对固定ASV系统的特殊情况的分析,对其解释提供原始见解的模拟以及使用ASVspoof 2019数据库的新分析。希望在CM评估中采用t-DCF将有助于促进反欺骗和ASV研究社区之间更密切的合作。
2020-08-25 cs.LG cs.SD eess.AS
End-to-End Spectro-Temporal Graph Attention Networks for Speaker Verification Anti-Spoofing and Speech Deepfake Detection
EURECOM(欧洲通信研究院);Naver Corporation(Naver公司)
已知用于区分真实语音与欺骗或深度伪造语音的伪像驻留在特定子带和时间段中。可以使用各种方法来捕获和建模这样的伪像,然而,没有一种方法在各种欺骗攻击的范围内工作得很好。可靠的检测通常依赖于多个检测系统的融合,每个检测系统都被调整以检测不同形式的攻击。在本文中,我们表明,可以实现更好的性能时,在模型本身内进行融合时,表示是从原始波形输入自动学习。主要贡献是一个频谱-时间图注意网络(GAT),它学习跨越不同子带和时间间隔的线索之间的关系。使用光谱(S)和时间(T)子图的模型级图融合和图池策略来提高区分度,所提出的RawGAT-ST模型对于ASVspoof 2019逻辑访问数据库实现了1.06%的等错误率。这是迄今为止报告的最佳结果之一,并且可以使用开源实现进行复制。
2021-08-23 cs.SD eess.AS
A Preliminary Case Study on Long-Form In-the-Wild Audio Spoofing Detection
National Institute of Informatics(情报通信研究机构)
本研究探索真实场景下长时长、多说话人及复杂声学条件的音频欺骗检测,测试了AASIST模型并揭示当前方法的不足,提出初步改进建议,推动欺骗检测在现实应用中的适用性。
2024-08-26 cs.CR cs.SD eess.AS
ASVspoof 5: Design, Collection and Validation of Resources for Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech
ASVspoof 5 挑战赛推出众包语音数据库,涵盖约2000名说话人、32种攻击算法及首次引入的对抗攻击,并验证了基线检测器性能,资源现已公开。
2025-04-24 eess.AS