ASSERT: Anti-Spoofing with Squeeze-Excitation and Residual neTworks
Johns Hopkins University(约翰斯·霍普金斯大学)
我们将JHU的系统提交给ASVspoof 2019挑战赛:使用挤压激励和剩余网络的反欺骗(ASSERT)。自ASVspoof Challenges成立以来,反欺骗受到越来越多的关注,ASVspoof 2019致力于解决所有三种主要类型的攻击:文本到语音,语音转换和重放。ASSERT建立在深度神经网络(DNN)的研究工作基础上,是基于DNN的反欺骗方法的管道。ASSERT有四个组成部分:特征工程、DNN模型、网络优化和系统组合,其中DNN模型是挤压激励和残差网络的变体。我们在ASVspoof 2019语料库上对每个组件的有效性进行了消融研究,实验结果表明,ASSERT在ASVspoof 2019的两个子挑战中获得了超过93%和17%的相对改进,将ASSERT列为表现最好的系统之一。代码和预训练模型将公开提供。
2019-04-01 cs.CL cs.LG cs.SD
STC Anti-spoofing Systems for the ASVspoof 2015 Challenge
ITMO University(ITMO大学);Speech Technology Center Ltd.(语音技术有限公司)
本文介绍了语音技术中心(STC)系统提交给自动说话人验证欺骗和对策(ASVspoof)挑战2015。在这项工作中,我们调查不同的声学特征空间,以确定可靠和强大的对策,对欺骗攻击。除了常用的前端MFCC功能,我们探讨了来自相位谱和功能的基础上应用多分辨率小波变换的功能。与最先进的ASV系统类似,我们使用标准TV-JFA方法进行欺骗检测系统的概率建模。在挑战赛的开发和评估数据集上进行的实验表明,使用相位相关和基于小波的特征为所得到的STC系统的效率提供了大量的输入。在我们的研究中,我们还集中在线性(SVM)和非线性(DBN)分类器的比较。
2015-07-29 cs.LG cs.SD stat.ML
Synthetic speech detection using meta-learning with prototypical loss
TCS Research(塔塔咨询服务公司研究院)
目前的语音欺骗对抗研究还缺乏对不可见欺骗攻击的泛化能力。这是ASVspoof挑战的关键问题之一,特别是随着多样化和高质量欺骗算法的快速发展。在这项工作中,我们通过提出元学习范式下的原型损失来模拟训练过程中看不见的测试场景,从而解决欺骗检测的普遍性。具有度量学习目标的原型损失可以直接学习嵌入空间,并成为主流分类损失函数的强有力的替代方案。提出了一种基于挤压激励残差网络(SE-ResNet)的原型丢失反欺骗系统。我们证明,在没有任何数据增强的情况下,所提出的单个系统可以在ASVspoof 2019逻辑访问(LA)任务上实现与最近最好的反欺骗系统竞争的性能。此外,具有数据增强功能的拟议系统在LA任务的进度和评估阶段都优于ASVspoof 2021挑战最佳基线。在ASVspoof 2019和2021评估集LA场景中,与挑战最佳基线相比,我们分别实现了min-tDCF的相对68.4%和3.6%的改善。
2022-01-24 cs.CR cs.SD eess.AS
RawTFNet: A Lightweight CNN Architecture for Speech Anti-spoofing
The University of Melbourne, Australia(墨尔本大学);Fortemedia Singapore, Singapore(新加坡Fortemedia)
针对基于transformer的反欺骗模型计算成本高的问题,提出轻量级CNN架构RawTFNet,通过沿时频维度分离特征处理捕捉合成语音细节,在ASVspoof 2021数据集上以更少资源达到与SOTA模型相当的性能。
2025-07-11 cs.SD eess.AS
A Study On Convolutional Neural Network Based End-To-End Replay Anti-Spoofing
Queen Mary University of London(伦敦玛丽女王大学)
第二届自动扬声器验证欺骗和对策挑战赛(ASVspoof 2017)专注于“重放攻击”检测。在ASVspoof 2017中竞争的最佳深度学习系统使用卷积神经网络(CNN)作为特征提取器。在本文中,我们研究了它们在端到端环境中的性能。我们发现这些架构在评估数据集中表现出较差的泛化能力,但在开发数据上发现了一个紧凑的架构,表现出良好的泛化能力。我们证明,对于这个数据集,它是不容易获得一个类似的发展和评估数据的泛化水平。这导致了各种悬而未决的问题,比如数据中的差异是什么;为什么这些差异在端到端环境中更明显;以及如何通过增加训练数据来克服这些问题。
2018-05-22 cs.SD eess.AS
Toward Improving Synthetic Audio Spoofing Detection Robustness via Meta-Learning and Disentangled Training With Adversarial Examples
University of Texas at Dallas(德克萨斯大学达拉斯分校);Center for Robust Speech Systems (CRSS)(鲁棒语音系统中心)
针对未见合成欺骗攻击导致ASV系统性能下降的问题,提出加权加性角度间隔损失、元学习损失、对抗样本数据增强及辅助BN和注意力模块,在ASVspoof 2019 LA上实现0.87% EER,有效提升检测鲁棒性。
2024-08-23 cs.AI cs.SD eess.AS
RW-Resnet: A Novel Speech Anti-Spoofing Model Using Raw Waveform
Shanghai University(上海大学);Shanghai Institute for Advanced Communication and Data Science (SICS)(上海先进通信与数据科学研究院(SICS))
近年来,由先进的文语转换(TTS)和语音转换(VC)系统产生的合成语音对说话人自动确认(ASV)系统造成了极大的危害,迫切需要设计一种合成语音检测系统来保护ASV系统。在本文中,我们提出了一种新的语音反欺骗模型命名为ResWavegram-Resnet(RW-Resnet)。该模型包含两个部分,Conv 1D Resblocks和主干Resnet 34。Conv 1D Resblock是基于Conv 1D块的,带有一个残余连接。对于第一部分,我们使用原始波形作为输入,并将其馈送到堆叠的Conv 1D Resblocks以获得ResWavegram。与传统方法相比,ResWavegram保留了音频信号的所有信息,具有更强的特征提取能力。对于第二部分,提取的特征被馈送到主干Resnet 34,用于欺骗或善意的决定。ASVspoof 2019逻辑访问(LA)语料库用于评估我们提出的RW-Resnet。实验结果表明,RW-Resnet取得了更好的性能比其他国家的最先进的反欺骗模型,这说明它在检测合成语音攻击的有效性。
2021-08-13 cs.LG cs.SD eess.AS
ConvNeXt Based Neural Network for Audio Anti-Spoofing
South China University of Technology(华南理工大学)
随着语音转换和语音合成算法的迅速发展,说话人自动确认系统面临着欺骗攻击。近年来,研究人员提出了许多基于手工特征的反欺骗方法。然而,使用手工制作的特征而不是原始波形将丢失用于反欺骗的隐式信息。受ConvNeXt在图像分类任务中的良好性能的启发,我们修改了ConvNeXt网络架构,并提出了一个轻量级的端到端反欺骗模型。该模型通过引入通道注意块和焦点损失函数,能够集中于语音表征中信息量最大的子带和难以分类的样本。实验表明,对于ASVSpoof 2019 LA评估数据集,我们提出的系统可以实现0.64%的相等出错率和0.0187的min-tDCF,这优于最先进的系统。
2022-12-22 cs.CL cs.SD eess.AS
HM-Conformer: A Conformer-based audio deepfake detection system with hierarchical pooling and multi-level classification token aggregation methods
University of Seoul(首尔大学)
针对Conformer直接用于音频深度伪造检测的局限,提出HM-Conformer,通过分层池化和多级分类令牌聚合方法处理不同序列长度并聚合信息,在ASVspoof 2021上取得15.71% EER的竞争性能。
2023-09-15 cs.CR cs.LG cs.SD
MLAAD: The Multi-Language Audio Anti-Spoofing Dataset
Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Resemble AI;Wrocław University of Science and Technology(沃拉夫大学);Thorsten-Voice
本文提出多语言音频防伪数据集(MLAAD)版本10,包含175个文本到语音(TTS)模型,总计1002.9小时的合成语音,涵盖54种语言,用于训练和评估音频深度伪造检测模型,并展示了其在多个数据集上的优越性能。
2026-08-28 cs.SD eess.AS
RAT: Reference-Augmented Training for ASV Anti-Spoofing
Brno University of Technology(布尔诺理工大学)
提出一种基于说话人参考录音的欺骗对抗架构,发现训练时引入参考通道可提升深度伪造检测性能,即使推理时参考缺失或失配。基于此提出参考增强训练(RAT)策略,在ASVspoof 5基准上以单个检测器达到2.57% EER和0.074 minDCF,超越大型集成系统。
2026-06-09 cs.AI cs.CR cs.LG
Anti-spoofing Methods for Automatic SpeakerVerification System
Speech Technology Center Limited(语音技术中心有限公司);ITMO University(ITMO大学)
自动说话人确认(ASV)系统引起了人们越来越大的兴趣,这使得对ASV系统的欺骗攻击的质量得到了显著的提高。许多研究工作证实,尽管ASV系统的等误率(EER)很低,但它仍然容易受到欺骗攻击。在这项工作中,我们概述了不同的声学特征空间和分类器,以确定可靠和强大的对策,对欺骗攻击。在2015年ASVspoof挑战赛(AutomaticSpeakerVerification Spoofing and Countermeasures Challenge 2015)的开发和评估数据集上,比较了目前提出的几种欺骗检测系统。此外,基于小波的功能显示令人印象深刻的结果,在平等的出错率。在我们的概述中,我们比较了基于不同分类器的系统的欺骗性能。比较结果表明,线性SVM分类器优于传统的GMM方法。然而,许多研究人员受到深度神经网络(DNN)方法在自动语音识别中取得的巨大成功的启发,将DNN应用于欺骗检测任务,并针对已知和未知类型的欺骗攻击获得了相当低的EER。
2017-05-24 cs.LG cs.SD stat.ML
Anti-Spoofing Using Transfer Learning with Variational Information Bottleneck
KAIST(韩国科学技术院)
由文语转换(TTS)或语音转换(VC)系统生成的复杂合成语音的最新进展对现有的自动说话人确认(ASV)系统造成了威胁。由于这种合成语音是由不同的算法产生的,因此使用有限的训练数据的泛化能力对于鲁棒的反欺骗系统是必不可少的。在这项工作中,我们提出了一个迁移学习计划的基础上wav2vec 2.0预训练模型与变分信息瓶颈(VIB)的语音反欺骗任务。对ASVspoof 2019逻辑访问(LA)数据库的评估表明,我们的方法提高了区分看不见的欺骗和真实语音的性能,优于当前最先进的反欺骗系统。此外,我们还表明,该系统在反欺骗任务的低资源和跨数据集设置中显着提高了性能,表明我们的系统在数据大小和数据分布方面也是鲁棒的。
2022-12-14 cs.CR cs.LG cs.SD
A Training-Efficient Transformer-Based Anti-Spoofing Network for Logical Access in ASVspoof 5
Nanyang Technological University(南洋理工大学)
针对ASVspoof 5 Track 1封闭条件,提出TFPARN网络,结合焦点分类损失和成对排序损失,通过Transformer编码器和注意力池化实现高效反欺骗,在minDCF和EER上优于AASIST和RawNet2,且推理内存更低、训练更快。
2026-06-27 cs.CY cs.SD
XMUspeech Systems for the ASVspoof 5 Challenge
School of Electronic Science and Engineering(电子科学与工程学院);Institute of Artificial Intelligence(人工智能研究院);School of Informatics(信息学院)
本文提出 XMUspeech 系统参加 ASVspoof 5 语音深度伪造检测挑战,通过调整输入音频长度、训练自监督特征提取器并结合自适应多尺度特征融合方法,在开放条件下将 EER 降至 9.36%。
2025-09-05 cs.SD eess.AS
Frame-to-Utterance Convergence: A Spectra-Temporal Approach for Unified Spoofing Detection
Oakland University(奥克兰大学);IMEC(比利时微电子研究中心)
本文提出一种帧级与话语级融合的频谱-时间方法,通过局部频谱偏差系数、双向LSTM序列时间系数及自编码器生成偏差系数,统一检测合成、重放和部分深度伪造等多种语音欺骗攻击,并在多个数据集上验证了鲁棒性。
2023-09-18 cs.CY cs.SD eess.AS
SAMO: Speaker Attractor Multi-Center One-Class Learning for Voice Anti-Spoofing
Columbia University(哥伦比亚大学);University of Rochester(罗切斯特大学)
语音反欺骗系统是自动说话人确认系统的重要辅助设备。一个主要的挑战是由先进的语音合成技术所带来的看不见的攻击造成的。我们以前对单类学习的研究通过压缩嵌入空间中的真实语音来提高对不可见攻击的泛化能力。然而,这种紧凑性缺乏对发言者多样性的考虑。在这项工作中,我们提出了扬声器吸引子多中心一类学习(SAMO),它将真实的语音聚集在一些扬声器吸引子周围,并在高维嵌入空间中将欺骗攻击从所有吸引子中推开。对于训练,我们提出了一个算法的共同优化的善意的语音聚类和善意/欺骗分类。对于推理,我们提出了策略,使反欺骗扬声器没有登记。我们提出的系统优于现有的最先进的单一系统,在ASVspoof 2019 LA评估集上的等错误率(EER)相对提高了38%。
2022-11-04 cs.LG cs.SD eess.AS
Investigating self-supervised front ends for speech spoofing countermeasures
National Institute of Informatics(国立信息学研究所)
自监督语音模型是一个快速发展的研究课题,许多预训练模型已经发布并用于各种下游任务。对于语音反欺骗,大多数对抗(CM)使用信号处理算法来提取声学特征用于分类。在这项研究中,我们使用预训练的自监督语音模型作为欺骗CM的前端。我们研究了与自监督前端相结合的不同后端架构,微调前端的有效性以及使用不同预训练自监督模型的性能。我们的研究结果表明,当一个良好的预训练前端在ASVspoof 2019逻辑访问(LA)训练集上使用基于浅层或深层神经网络的后端进行微调时,所产生的CM不仅在2019 LA测试集上获得了较低的EER分数,而且在ASVspoof 2015,2021 LA和2021 deepfake测试集上的表现明显优于基线。子带分析进一步表明,CM主要使用特定频段中的信息来区分测试集中的真实和欺骗性试验。
2022-02-04 cs.SD eess.AS
A study on the role of subsidiary information in replay attack spoofing detection
University of Seoul(首尔大学)
在这项研究中,我们分析了各种类别的辅助信息在进行重放攻击欺骗检测中的作用:“房间大小”,“混响”,“扬声器到ASV的距离,“攻击者到扬声器的距离”,和“重放设备质量”。作为分析辅助信息的一种方法,我们使用两种框架来从深度神经网络提取的代码中减去或包含一类辅助信息。对于减法,我们利用了一个对抗性的过程框架,使代码正交于辅助信息的基向量。此外,我们利用多任务学习框架,包括辅助信息的代码。所有实验都使用ASVspoof 2019物理访问场景和提供的元数据进行。通过对这两种方法的结果进行分析,我们得出结论,当深度神经网络被训练用于二进制分类时,各种类别的辅助信息在代码中没有足够的驻留。通过多任务学习框架明确包含各类辅助信息有助于提高闭集条件下的学习成绩。
2020-01-31 cs.LG cs.SD eess.AS
Securing Voice Biometrics: One-Shot Learning Approach for Audio Deepfake Detection
Oakland University(奥克兰大学);University of Michigan-Flint(密歇根大学弗林特分校)
针对自动说话人验证系统易受音频深度伪造攻击、现有检测模型泛化性差的问题,提出基于单样本学习与度量学习的Quick-SpoofNet方法,可检测已知与未知合成攻击,在多个数据集上验证了有效性与泛化能力。
2023-10-05 cs.SD eess.AS
Towards A Unified Conformer Structure: from ASR to ASV Task
Xiamen University(厦门大学);Xiamen Talentedsoft Co., Ltd.(厦门泰尔软件有限公司)
Transformer凭借其强大的自注意机制在自然语言处理和计算机视觉任务中取得了非凡的性能,其变体Conformer已成为自动语音识别(ASR)领域最先进的架构。然而,自动说话人确认(ASV)的主流架构是卷积神经网络,并且基于Conformer的ASV还有很大的研究空间。在本文中,首先,我们修改的Conformer架构从ASR到ASV非常微小的变化。为了提高模型的泛化能力,采用了长度尺度注意力(LSA)方法和锐度感知最小化(SAM)方法。在VoxCeleb和CN-Celeb上进行的实验表明,与流行的ECAPA-TDNN相比,我们基于Conformer的ASV具有竞争力的性能。其次,受迁移学习策略的启发,ASV Conformer很自然地从预训练的ASR模型初始化。通过参数转移,自注意机制能够更好地关注序列特征之间的关系,在VoxCeleb和CN-Celeb测试集上的EER相对提高了11%,这表明Conformer具有统一ASV和ASR任务的潜力。最后,我们在ASV-Subtools中提供了一个运行时,以评估其在生产场景中的推理速度。我们的代码发布在https://github.com/Snowdar/asv-subtools/tree/master/doc/papers/conformer.md。
2023-01-16 cs.SD eess.AS
Spoofing detection under noisy conditions: a preliminary investigation and an initial database
Nanyang Technological University(南洋理工大学);University of Edinburgh(爱丁堡大学);Institute for Infocomm Research(信息通信研究院)
自动说话人确认(ASV)中的欺骗检测是区分真实语音和攻击语音的重要手段,近年来受到了广泛的关注。然而,所有以前的研究都是在没有显著加性噪声的干净数据上进行的。为了模拟现实生活中的场景,我们进行了初步的调查欺骗检测加性噪声条件下,还描述了一个初始的数据库,这项任务。噪声数据库基于ASVspoof挑战2015数据库,并通过人工添加不同信噪比(SNR)的背景噪声生成。包括五种不同的加性噪声。我们的初步结果表明,使用从干净的数据训练的模型,系统的性能显着降低噪声条件下。基于相位的特征比基于幅度的特征具有更好的抗噪性。并且在不同的噪声环境下,系统的性能有很大的差异。
2016-02-09 cs.LG cs.SD
Spoofing Detection Goes Noisy: An Analysis of Synthetic Speech Detection in the Presence of Additive Noise
University of Eastern Finland(东芬兰大学);Bursa Technical University(布尔萨技术大学)
自动说话人验证(ASV)技术最近正在为最终用户应用程序找到方法,以安全访问个人数据,智能服务或物理设施。与其他生物识别技术类似,说话人验证容易受到欺骗攻击,攻击者通过模仿,重放,文本到语音(TTS)或语音转换(VC)技术伪装成特定的目标说话人,以获得对系统的非法访问。我们专注于TTS和VC,它们代表了最灵活的高端欺骗攻击。大多数关于合成或转换语音检测的先前研究使用高质量的干净录音报告他们的发现。同时,欺骗检测器在存在加性噪声的情况下的性能,实际ASV实现中的重要考虑因素,在很大程度上仍然未知。为此,我们分析了最先进的合成语音检测器在加性噪声下的适用性,特别关注前端特征。我们的比较包括八个声学特征集,五个相关的频谱幅度和三个频谱相位信息。我们对ASVSpoof 2015语料库的广泛实验揭示了几个重要的发现。首先,所有对策即使在相对高的信噪比(SNR)下也失效,并且不能推广到噪声条件。其次,语音增强没有帮助。第三,GMM后端通常优于更复杂的i-vector后端。第四,就所比较的特征而言,Mel频率倒谱系数(MFCC)和子带谱质心幅度系数(SCMCs)的平均性能最好,尽管优胜者方法取决于SNR和噪声类型。最后,两个分数融合策略的研究表明,结合不同的特征为基础的系统,提高了识别精度的已知和未知的攻击在干净和嘈杂的条件。
2016-09-14 cs.SD
Low Pass Filtering and Bandwidth Extension for Robust Anti-spoofing Countermeasure Against Codec Variabilities
University of Yamanashi(山梨大学);Duke Kunshan University(昆山杜克大学);Wuhan University(武汉大学)
可靠的语音反欺骗对抗系统需要在各种欺骗场景中鲁棒地保护自动说话人确认(ASV)系统。然而,对抗系统的性能可能会受到信道效应和编解码器的影响。在本文中,我们表明,使用信号的低频子带作为输入可以减轻编解码器对对抗系统的负面影响。为了验证这一点,两种类型的低通滤波器具有不同的截止频率应用于对抗系统,和相等的出错率(EER)降低了高达25%的相对。此外,我们提出了一种基于深度学习的带宽扩展方法,以进一步提高检测精度。最近的研究表明,当语音活动检测(VAD)去除静音部分时,对抗系统的出错率会急剧增加,我们的实验结果表明,在应用语音活动检测(VAD)的编解码条件下,滤波和带宽扩展方法也是有效的。
2022-11-12 cs.SD eess.AS
UR Channel-Robust Synthetic Speech Detection System for ASVspoof 2021
Audio Information Research Lab, University of Rochester, Rochester, NY, USA(罗切斯特大学音频信息研究实验室)
本文提出了一种抗通道干扰的合成语音检测系统,通过增强数据集和ECAPA-TDNN模型,在ASVspoof 2021挑战中实现了优异的检测性能。
2021-08-23 cs.SD eess.AS
End-to-End Spectro-Temporal Graph Attention Networks for Speaker Verification Anti-Spoofing and Speech Deepfake Detection
EURECOM(欧洲通信研究院);Naver Corporation(Naver公司)
已知用于区分真实语音与欺骗或深度伪造语音的伪像驻留在特定子带和时间段中。可以使用各种方法来捕获和建模这样的伪像,然而,没有一种方法在各种欺骗攻击的范围内工作得很好。可靠的检测通常依赖于多个检测系统的融合,每个检测系统都被调整以检测不同形式的攻击。在本文中,我们表明,可以实现更好的性能时,在模型本身内进行融合时,表示是从原始波形输入自动学习。主要贡献是一个频谱-时间图注意网络(GAT),它学习跨越不同子带和时间间隔的线索之间的关系。使用光谱(S)和时间(T)子图的模型级图融合和图池策略来提高区分度,所提出的RawGAT-ST模型对于ASVspoof 2019逻辑访问数据库实现了1.06%的等错误率。这是迄今为止报告的最佳结果之一,并且可以使用开源实现进行复制。
2021-08-23 cs.SD eess.AS
Replay Spoofing Countermeasure Using Autoencoder and Siamese Network on ASVspoof 2019 Challenge
Sharif University of Technology(谢里夫理工大学)
自动说话人验证(ASV)是基于呈现给系统的语音来识别人的过程。不同的合成方法允许欺骗来欺骗ASV系统(ASV),无论是使用技术来模仿声音还是重构特征。攻击者试图使用四种常用技术来击败ASV:模仿、语音合成、语音转换和重放。最后一种技术被认为是一种常见的和高潜力的欺骗工具,因为重放攻击更容易获得,不需要对手的技术知识。在这项研究中,我们介绍了一种新的重放欺骗对策ASV。因此,我们使用恒定Q倒谱系数(CQCC)的功能馈入一个自动编码器,以获得更多的信息功能,并考虑噪声信息的欺骗话语的歧视目的。最后,不同配置的暹罗网络首次在这方面的分类。使用等错误率(EER)和串联检测代价函数(t-DCF)作为评估指标在ASVspoof挑战2019数据集上进行的实验表明,所提出的系统在EER和t-DCF方面分别将结果提高了10.73%和0.2344。
2019-10-29 cs.SD eess.AS
Voice Spoofing Detection Corpus for Single and Multi-order Audio Replays
Oakland University(奥克兰大学);University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
近年来,现代语音控制设备(VCD)的发展彻底改变了物联网,并通过语音命令增加了灵巧家庭、个性化和家庭自动化的实现。在物联网中引入VCD预计将出现物联网的新子领域,称为多媒体物联网(MoT)。这些VCD可以在物联网驱动的环境中被利用来生成各种欺骗攻击,包括重放。重放攻击是通过重放合法人类说话者的录音来产生的,其意图是欺骗具有说话者验证系统的VCD。在物联网驱动的环境中,可以很容易地利用VCD之间的连接来生成一系列重放攻击(多阶重放攻击)。现有的欺骗检测数据集,如ASVspoof和ReMASC,仅包含针对真实音频样本的一阶重放记录。这些数据集无法提供能够检测多阶重放攻击的反欺骗算法的评估。此外,这些数据集没有捕获麦克风阵列的特征,这是现代VCD的重要特征。我们需要一个多样化的重放欺骗检测语料库,由多阶重放录音对真正的语音样本。本文提出了一种新的语音欺骗检测语料库(VSDC),以评估多阶重放反欺骗方法的性能。建议的VSDC由一阶和二阶重放样本对真正的音频记录。此外,所提出的VSDC也可以用来评估说话人确认系统的性能,因为我们的语料库包括15个不同说话人的音频样本。据我们所知,这是第一个公开可用的重放欺骗检测语料库,包括一阶和二阶重放样本。
2019-09-03 cs.SD eess.AS
A Multi-Resolution Front-End for End-to-End Speech Anti-Spoofing
Lab of Intelligent Information Processing, PLAAEU(陆军工程大学智能信息处理实验室);KU Leuven(鲁汶大学);Center for Speech and Language Technologies, BNRist, Tsinghua University(清华大学语音与语言技术中心)
在涉及语音信号分类的任务中,最佳时间-频率分辨率的选择通常是困难但重要的步骤,语音反欺骗不同的时频分辨率的选择的性能的变化可以与具有不同的模型架构的那些一样大,这使得很难判断当一个新的网络架构被发明并引入作为分类器时,实际上是从哪里来的改进。在本文中,我们提出了一个多分辨率前端的特征提取在一个端到端的分类框架。给定分类任务的目标,将自动学习多个时频分辨率的最佳加权组合。以不同的时间-频率分辨率提取的特征被加权并连接作为连续网络的输入,其中权重由受挤压和激励网络(SENet)中的加权块启发的可学习神经网络预测。此外,所选择的时间频率分辨率的细化研究修剪的重要性相对较低,这降低了模型的复杂性和规模。该方法在ASVSpoof 2019中的语音反欺骗任务上进行了评估,并通过与类似基线的比较证明了其优越性。
2021-10-11 cs.SD eess.AS
Towards Scalable AASIST: Refining Graph Attention for Speech Deepfake Detection
Speechka.ai Information Technologies, Mechanics and Optics University(Speechka.ai 信息科技,力学与光学大学);St. Petersburg State University(圣彼得堡州立大学);Moscow Technical University of Communications and Informatics(莫斯科通信与信息学技术大学)
本文通过引入冻结的Wav2Vec 2.0编码器、异构查询多头注意力模块和可训练上下文感知集成层改进AASIST架构,在ASVspoof 5上实现7.6%的EER,提升了语音深度伪造检测性能。
2025-07-15 cs.SD eess.AS
End-to-end spoofing detection with raw waveform CLDNNs
Shanghai Jiao Tong University(上海交通大学)
尽管说话人验证的最新进展产生了强大的模型,但通常无法应对假冒语音形式的恶意攻击。ASVSpoof 2015和BTAS 2016挑战赛的最新结果表明,欺骗感知功能是解决这一问题的可能方案。在这两个挑战中,大多数成功的方法都集中在欺骗感知功能上,而不是集中在强大的分类器上。在本文中,我们提出了一种新的基于原始波形的欺骗检测深度模型,它联合作为一个特征提取器和分类器,从而允许它直接分类语音信号。这种方法可以被认为是一种端到端的分类器,它消除了对数据进行任何预处理或后处理的需要,使训练和评估成为一个简化的过程,比其他基于神经网络的方法花费更少的时间。在BTAS 2016数据集上的实验表明,所提出的原始波形卷积长短期神经网络(CLDNN)显著提高了系统性能,从之前公布的最佳半总错误率(HTER)的1.26%提高到目前的0.82%.此外,它表明,所提出的系统也表现出良好的未知条件下(RE-PH 2-PH 3,RE-LPH 2-PH 3)。
2020-07-26 cs.SD eess.AS
Source Tracing of Audio Deepfake Systems
Pindrop(品卓普)
本研究提出一种音频深度伪造溯源系统,通过分类文本到语音和语音转换等生成流程中各模块的欺骗属性,在 ASVspoof 2019 和 MLAAD 数据集上验证了其识别不同伪造技术的鲁棒性。
2024-07-10 cs.SD eess.AS
Speaker-Aware Anti-Spoofing
University of Eastern Finland(东芬兰大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);TCG CREST(TCG 尖端研究与科学卓越中心)
本文提出说话人条件化的语音反欺骗方法,通过帧级和话语级策略将注册说话人信息融入 AASIST,在 ASVspoof 2019 上显著降低 EER 与 t-DCF。
2023-06-08 cs.CR cs.SD eess.AS
Graph Attention Networks for Anti-Spoofing
EURECOM(欧洲通信研究院);Naver Corporation(Naver公司)
针对自动说话人确认检测欺骗攻击所需的线索通常位于特定的频谱子带或时间段中。以前的工作表明,有可能学习这些使用频谱或时间的自我注意机制,但不是相邻的子带或段之间的关系。本文报告了我们使用的图形注意力网络(GATs)来模拟这些关系,并提高欺骗检测性能。GAT利用图结构数据上的自注意机制来对数据流形和节点之间的关系进行建模。我们的图是由ResNet产生的表示构造的。图中的节点表示特定子带或时间段中的信息。在ASVspoof 2019逻辑访问数据库上进行的实验表明,我们基于GAT的时间注意力模型的性能优于我们所有的基线单系统。此外,以《关贸总协定》为基础的制度是对一套现有制度的补充。与性能最佳的单一GAT系统相比,基于GAT的模型与更传统的对抗措施的融合提供了47%的性能相对改善。
2021-04-08 cs.CR cs.SD eess.AS
Experimental Study: Enhancing Voice Spoofing Detection Models with wav2vec 2.0
Chung-Ang University(中央大学);Korea University(高丽大学)
本研究通过调整 wav2vec 2.0 预训练 Transformer 层的选择与微调策略,结合多种后端模型(重点为 AASIST),在 ASVspoof 2019 LA 数据集上实现了语音欺骗检测的最优性能。
2024-02-27 cs.SD eess.AS
Defense against adversarial attacks on spoofing countermeasures of ASV
National Taiwan University(台湾大学);The Chinese University of Hong Kong(香港中文大学)
在ASVspoof 2019挑战赛中提出了各种最前沿的自动说话人验证(ASV)对抗方法,这些方法在反欺骗方面具有相当高的性能。然而,以前的工作表明,对策模型容易受到与自然数据无法区分的对抗性示例的影响。一个好的对策模型不仅应该对欺骗音频(包括合成、转换和重放音频)具有鲁棒性,而且还应该抵消恶意对手故意生成的示例。在这项工作中,我们引入了一种被动防御方法,空间平滑,和一种主动防御方法,对抗性训练,以减轻ASV欺骗对策模型对对抗性示例的脆弱性。本文是第一个使用防御方法来提高ASV欺骗对抗模型在对抗性攻击下的鲁棒性。实验结果表明,这两种防御方法对欺骗对抗模型对抗实例有积极的帮助。
2020-03-06 cs.LG cs.SD eess.AS
An Explainable Probabilistic Attribute Embedding Approach for Spoofed Speech Characterization
University of Eastern Finland(东芬兰大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出可解释概率属性嵌入方法用于欺骗语音表征,以可解释子组件属性替代高维难解释的原始CM嵌入,结合决策树分类器,在ASVspoof2019数据集上实现与原始嵌入相当的欺骗检测性能及更优的攻击归因性能,并通过Shapley值分析了各属性贡献。
2024-09-17 cs.SD eess.AS
Attentive Merging of Hidden Embeddings from Pre-trained Speech Model for Anti-spoofing Detection
1 Institute for Infocomm Research (I 2 R), Agency for Science, Technology;Research (A STAR), Singapore
本文研究 WavLM 分层隐藏嵌入在语音反欺骗中的作用,提出注意力合并方法,并通过微调在三个 ASVspoof 评估集上取得低 EER,且发现早期层尤为关键。
2024-06-12 cs.CL cs.SD eess.AS
Two Methods for Spoofing-Aware Speaker Verification: Multi-Layer Perceptron Score Fusion Model and Integrated Embedding Projector
University of Seoul(首尔市立大学)
针对自动说话人验证系统易受欺骗攻击的问题,提出多层感知机分数融合模型与集成嵌入投影器两种后端方案,有效整合验证与对抗系统,在2022年SASV挑战赛官方评估中取得优异的等错误率表现。
2022-06-28 cs.SD eess.AS
Robust Audio Anti-Spoofing with Fusion-Reconstruction Learning on Multi-Order Spectrograms
The University of Sydney(悉尼大学);City University of Macau(澳门城市大学)
本文提出S2pecNet,通过多阶频谱融合重建学习提取鲁棒音频防欺骗特征,在ASVspoof2019 LA Challenge上取得EER 0.77%的最优性能。
2023-08-18 cs.AI cs.MM cs.SD
Nes2Net: A Lightweight Nested Architecture for Foundation Model Driven Speech Anti-spoofing
Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电子与计算机工程系);LIGHTSPEED, Singapore(新加坡LIGHTSPEED公司);Nanyang Technological University, Singapore(南洋理工大学);Fortemedia Singapore, Singapore(新加坡Fortemedia公司);Department of Electrical and Electronic Engineering and the Research Centre for Data Science & Artificial Intelligence, The Hong Kong Polytechnic University(香港理工大学电子与电气工程系及数据科学与人工智能研究中心);Shenzhen Research Institute of Big Data, School of Artificial Intelligence, School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)大数据研究院、人工智能学院、数据科学学院)
提出轻量级嵌套架构Nes2Net,无需降维层直接处理高维特征,在歌声伪造检测中性能提升22%、计算成本降低87%,并在多个数据集上展现强鲁棒性。
2025-10-26 cs.AI cs.SD eess.AS
Physiological-Physical Feature Fusion for Automatic Voice Spoofing Detection
Zhengzhou University(郑州大学);Westlake University(西湖大学)
近年来,说话人验证系统已经被用于许多生产场景中。不幸的是,他们仍然是非常容易受到各种欺骗攻击,如语音转换和语音合成等。在本文中,我们提出了一种新的方法,基于生理-物理特征融合来处理语音欺骗攻击。该方法包括特征提取、具有挤压和激励块的密集连接卷积神经网络(SE-DenseNet)、具有挤压和激励块的多尺度残差神经网络(SE-Res 2Net)和特征融合策略。我们首先使用视频中说话者的声音和面部作为监控信号来预训练卷积神经网络。它可以从语音中提取生理特征。然后,我们使用SE-DenseNet和SE-Res 2Net提取物理特征。这种密集连接的图案具有高的参数效率,并且挤压和激励块可以增强特征的传输。最后,我们将这两个功能集成到SE-Densenet识别欺骗攻击。在ASVspoof 2019数据集上的实验结果表明,该模型对语音欺骗检测是有效的。在逻辑访问的情况下,我们的模型提高了串联决策代价函数(t-DCF)和等错误率(EER)的分数分别为4%和7%,与其他方法相比。在物理访问场景中,我们的模型分别将t-DCF和EER分数提高了8%和10%。
2021-09-01 cs.SD eess.AS eess.IV
Interpreting Multi-Branch Anti-Spoofing Architectures: Correlating Internal Strategy with Empirical Performance
Faculty of AI technologies, ITMO University(人工智能技术学院,ITMO大学);Faculty of IT, Moscow Technical University of Communication and Informatics(信息与通信技术学院,莫斯科电信与信息学大学)
本文提出一种解读AASIST3架构的方法,通过分析13种攻击,揭示了四种操作范式,包括有效专业化和无效共识,并发现一种缺陷专业化模式,导致性能下降。
2026-04-21 cs.SD eess.AS
A Study On Data Augmentation In Voice Anti-Spoofing
Ben Gurion University(本-古里安大学)
在本文中,我们进行了深入的研究如何数据增强技术提高合成或欺骗音频检测。具体来说,我们提出了处理信道可变性、不同的音频压缩、不同的带宽和看不见的欺骗攻击的方法,这些方法都已被证明会显著降低基于音频的系统和反欺骗系统的性能。我们的结果是基于ASVspoof 2021挑战,在逻辑访问(LA)和深度伪造(DF)类别。我们的研究是以数据为中心的,这意味着模型是固定的,我们通过对数据进行更改来显着改善结果。我们介绍了两种形式的数据增强-DF部分的压缩增强,LA部分的压缩和通道增强。此外,一种新的类型的在线数据增强,SpecAverage,介绍了其中的音频特征与他们的平均值掩蔽,以提高泛化。此外,我们引入了对数谱图特征设计,改善了结果。我们最好的单系统和融合方案都达到了最先进的性能在DF类别中,EER分别为15.46%和14.46%。我们用于LA任务的最佳系统将最佳基线EER降低了50%,最小t-DCF降低了16%。我们处理来自各种分布的欺骗数据的技术可以复制,并可以帮助反欺骗和基于语音的系统增强其结果。
2021-10-20 cs.CR cs.SD eess.AS
Generalized Spoofing Detection Inspired from Audio Generation Artifacts
AI Foundation(人工智能基金会)
用于音频生成的现有技术的方法遭受指纹伪像和跨时间域和频谱域的重复不一致。这种伪影可以通过频谱图上的频域分析很好地捕获。因此,我们提出了一种新的使用长距离谱-时间调制特征-在对数梅尔谱图上的2D DCT用于音频deepfake检测。我们表明,这个功能比对数梅尔频谱图,CQCC,MFCC,作为一个合适的候选人来捕捉这样的文物。我们采用频谱增强和特征归一化来减少过拟合,并在引入这种新特征的同时弥合训练数据集和测试数据集之间的差距。我们开发了一个基于CNN的基线,达到了0.0849 t-DCF,并且超过了ASVspoof 2019挑战赛中报告的之前最好的单个系统。最后,通过将我们的基线与我们提出的2D DCT谱时特征相结合,我们将t-DCF得分降低了14%,降至0.0737,使其成为最先进的欺骗检测系统。此外,我们使用两个外部数据集来评估我们的模型,显示了所提出的特征的泛化能力。我们还为我们提出的功能和结果提供了分析和消融研究。
2021-06-26 cs.CR cs.SD eess.AS
Interpretable Temporal Class Activation Representation for Audio Spoofing Detection
Toronto Metropolitan University, Canada(多伦多 Metropolitan 大学,加拿大);Shenzhen Key Laboratory of Ubiquitous Data Enabling, Tsinghua Shenzhen International Graduate School, Tsinghua University, China(深圳 ubiquitous 数据赋能关键实验室,清华大学深圳国际研究生院,清华大学,中国)
提出融合 wav2vec 2.0 与注意力话语级特征的可解释时间类激活表示,并采用欺骗类型多标签训练,在 ASVspoof2019-LA 上达到最先进性能。
2024-06-16 cs.CR cs.SD eess.AS
Baseline Systems for the First Spoofing-Aware Speaker Verification Challenge: Score and Embedding Fusion
University of Seoul(首尔大学);EURECOM(欧洲通信学院);University of Eastern Finland(东芬兰大学);Naver Corporation(Naver公司);KAIST(韩国科学技术院);Nuance Communications(纽昂斯通信公司);Inria(法国国家信息与自动化研究所)
深度学习在自动说话人验证(ASV)和欺骗对策(CM)的研究方面都取得了令人印象深刻的进展。虽然解决方案是相互依赖的,但它们通常作为独立的子系统发展,因此CM解决方案通常是为固定的ASV系统设计的。本文中报告的工作旨在衡量其更紧密的集成可以获得的可靠性的改善。使用流行的ASVspoof2019数据集得出的结果表明,当评估协议扩展到欺骗试验时,最先进的ASV系统的相等出错率(EER)从1.63%下降到23.83%。遭受欺骗攻击。然而,即使ASV和CM系统以分数总和和基于深度神经网络的融合策略的形式直接集成,EER也分别降低到1.71%和6.37%。新的欺骗感知扬声器验证(SASV)挑战已经形成,以鼓励更多地关注ASV和CM系统的集成,以及提供一种基准测试不同解决方案的方法。
2022-04-21 cs.SD eess.AS
Spoofing-Aware Speaker Verification Robust Against Domain and Channel Mismatches
SOKENDAI(高级研究大学院大学);Singapore Institute of Technology(新加坡理工学院)
针对欺骗攻击、信道与域失配并存的问题,提出融合成对学习、欺骗模拟和元学习的非对称双路径多任务框架,并通过CNComplex验证其显著优于传统ASV系统。
2024-09-10 cs.SD eess.AS
ASVspoof 2021: Automatic Speaker Verification Spoofing and Countermeasures Challenge Evaluation Plan
ASVspoof consortium(ASVspoof联盟)
自动说话人验证欺骗和对策(ASVspoof)挑战系列是一项由社区主导的倡议,旨在促进对欺骗的考虑和对策的制定。ASVspoof 2021是一系列两年一次的竞争性挑战中的第四个,其目标是制定能够区分真实和欺骗或深度伪造语音的对策。本文档提供了ASVspoof 2021挑战赛的技术描述,包括培训、开发和评估数据、指标、基线、评估规则、提交程序和时间表的详细信息。
2021-09-01 cs.CR cs.LG cs.SD
A Comparison of SSL-Based Feature Extractors and Back-End Classifiers for Spoofing Detection: A Multi-Corpus Training and Cross-Linguistic Analysis
Avignon Universite(阿维尼翁大学);EURECOM
本研究通过多语料库训练和跨语言分析,比较了四种自监督学习特征提取器与四种后端分类器在欺骗检测中的性能,揭示了ASVspoof 5数据集中的领域偏差,并发现仅用8小时目标语言数据微调即可提升检测鲁棒性。
2026-06-07 cs.LG cs.SD
Tackling Spoofing-Aware Speaker Verification with Multi-Model Fusion
National Taiwan University(国立台湾大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
近年来,说话人自动确认技术得到了飞速的发展。然而,以往的研究表明,最先进的ASV模型是严重脆弱的语音欺骗攻击,最近提出的高性能欺骗对策(CM)模型只专注于独立的反欺骗任务,并忽略了后续的说话人验证过程。如何将CM和ASV集成在一起仍然是一个悬而未决的问题。一个欺骗感知说话人验证(SASV)的挑战,最近发生的论点,更好的性能可以提供时,CM和ASV子系统的联合优化。在挑战的场景下,参与者提出的集成系统需要拒绝冒名顶替者扬声器和来自目标扬声器的欺骗攻击,这直观有效地匹配了可靠的,欺骗鲁棒的ASV系统的期望。这项工作的重点是基于融合的SASV解决方案,并提出了一个多模型融合框架,利用多个国家的最先进的ASV和CM模型的力量。所提出的框架大大提高了SASV-EER从8.75%到1.17%,这是86%的相对改善相比,在SASV挑战的最佳基线系统。
2022-06-18 cs.LG cs.SD eess.AS
DNN Filter Bank Cepstral Coefficients for Spoofing Detection
Beijing University of Posts and Telecommunications(北京邮电大学);Aalborg University(奥尔堡大学)
随着语音合成技术的发展,自动说话人确认系统面临着欺骗攻击的严峻挑战。为了提高说话人确认系统的可靠性,提出了一种基于倒谱特征的滤波器组--深度神经网络滤波器组倒谱系数(DNN-FBCC),用于区分自然语音和虚假语音。深度神经网络滤波器组通过使用自然语音和合成语音训练滤波器组神经网络(FBNN)来自动生成。通过对训练规则的限制,FBNN的学习权矩阵是带限的,并按频率排序,类似于正常的滤波器组。与人工设计的滤波器组不同,学习的滤波器组在不同的通道中具有不同的滤波器形状,可以更有效地捕捉自然语音和合成语音之间的差异。在ASVspoof {2015}数据库上的实验结果表明,基于新特征训练的高斯混合模型最大似然(GMM-ML)分类器在检测未知攻击方面优于基于线性倒谱系数(LFCC)的分类器。
2017-02-13 cs.CR cs.LG cs.SD
A Comparative Study of Fusion Methods for SASV Challenge 2022
1 Samsung R\&D Institute Russia
自动说话人确认系统是一种生物特征认证系统。它可能受到入侵者的攻击,入侵者伪造数据以访问受保护的信息。对策(CM)是检测这些欺骗攻击的特殊算法。虽然ASVspoof挑战赛系列的重点是针对固定ASV系统开发CM,但新的欺骗感知扬声器验证(SASV)挑战赛组织者认为,如果CM和ASV系统联合优化,可以实现最佳效果。协作优化的方法之一是融合从ASV和CM模型获得的嵌入或得分。SASV Challenge 2022的基线呈现了两种类型的融合:分数总和和具有3层MLP的后端集成。本文介绍了我们对其他融合方法的研究,包括增强嵌入,这还没有被用于反欺骗研究之前。
2022-03-31 cs.SD eess.AS
SpAArSIST: Sparsified AASIST for Efficient and Reliable Anti-Spoofing
Brno University of Technology(布尔诺理工大学)
提出SpAArSIST,通过稀疏化图池化后端,在保持竞争力的同时降低计算量20.7%、模型大小4.1%,并提升域外鲁棒性。
2026-06-11 cs.LG cs.SD