Spoofed training data for speech spoofing countermeasure can be efficiently created using neural vocoders
National Institute of Informatics(国立信息学研究所)
用于语音欺骗对策的良好训练集需要不同的TTS和VC欺骗攻击,但是为目标说话者生成TTS和VC欺骗试验可能在技术上要求很高。这项研究没有使用成熟的TTS和VC系统,而是使用基于神经网络的声码器对真实的话语进行复制合成。输出数据可用作欺骗数据。为了更好地利用成对的真实数据和欺骗数据,本研究引入了一种可以插入标准训练标准的对比特征损失。在ASVspoof 2019逻辑访问训练集的真实试验的基础上,本研究根据经验比较了使用一些神经非自回归声码器以所提出的方式创建的一些训练集。多个测试集的结果表明了良好的实践,例如使用来自目标域的真实数据微调神经声码器。实验结果也证明了对比特征丢失的有效性。结合最佳实践,经过培训的CM实现了整体竞争力。其在ASVspoof 2021隐藏子集上的EER也超过了前1名的挑战提交。
2023-02-22 cs.SD eess.AS
Voice Spoofing Countermeasures: Taxonomy, State-of-the-art, experimental analysis of generalizability, open challenges, and the way forward
Oakland University(奥克兰大学)
恶意行为者可能会试图使用不同的语音欺骗攻击来欺骗ASV系统,甚至利用它们来传播错误信息。已经提出了各种对策来检测这些欺骗攻击。由于在过去的6-7年里,在自动说话人确认(ASV)系统中的欺骗检测方面做了大量的工作,有必要对研究进行分类,并对最先进的对策进行定性和定量的比较。此外,没有现有的调查报告审查了语音欺骗评估和说话人验证的集成解决方案,对抗/反取证攻击欺骗对策,以及ASV本身,或使用单一模型检测多种攻击的统一解决方案。此外,还没有做任何工作来提供一个苹果到苹果的比较公布的对策,以评估其普遍性,通过评估他们跨语料库。在这项工作中,我们对使用手工制作的功能,深度学习,端到端和通用欺骗对策解决方案来检测语音合成(SS),语音转换(VC)和重放攻击的欺骗检测文献进行了回顾。此外,我们还审查了语音欺骗评估和说话人验证,对抗性和反取证攻击的语音对策,以及ASV的综合解决方案。现有的电子欺骗对抗的局限性和挑战。我们报告了这些对策在几个数据集上的性能,并在语料库中对其进行了评估。在实验中,我们使用ASVspoof 2019和VSDC数据集以及GMM、SVM、CNN和CNN-GRU分类器。(For测试结果的复制,测试床的代码可以在我们的GitHub仓库中找到。
2022-11-21 cs.CY cs.SD eess.AS
A Spoofing Benchmark for the 2018 Voice Conversion Challenge: Leveraging from Spoofing Countermeasures for Speech Artifact Assessment
University of Eastern Finland(东芬兰大学);National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学);Nagoya University(名古屋大学);University of Tokyo(东京大学);ObEN(ObEN公司);University of Science and Technology of China(中国科学技术大学)
语音转换的目的是在不改变说话人语音内容的前提下,实现说话人特征的转换。由于训练数据的限制和建模的不完善,很难在不引入处理伪像的情况下实现可信的说话人模仿;因此,VC的性能评估通常涉及说话人相似性和人类小组的质量评估。作为一个耗时、昂贵且不可复制的过程,它阻碍了新VC技术的快速原型制作。我们使用另一种客观的方法来解决伪影评估问题,该方法利用了自动说话人验证的欺骗对策(CM)的先前工作。其中,CM用于拒绝“假”输入,如重放,合成或转换的语音,但其自动语音伪影评估的潜力仍然未知。本研究旨在填补这一空白。作为对2018年语音转换挑战赛(VCC'18)数据主观结果的补充,我们配置了一个标准的恒定Q倒谱系数CM来量化处理伪影的程度。等错误率(EER)的CM,VC样本与真正的人类语音的混淆性指数,作为我们的人工测量。识别了VCC'18条目的两个集群:具有可检测伪影的低质量条目(低EER)和具有较少伪影的较高质量条目。然而,VCC'18系统中没有一个是完美的:所有EER都<30%(“理想”值为50%)。我们的初步研究结果表明,CM在其原始应用程序之外的潜力,作为一种补充优化和基准测试工具,以提高VC技术。
2018-09-04 cs.CL cs.SD eess.AS
Can large-scale vocoded spoofed data improve speech spoofing countermeasure with a self-supervised front end?
National Institute of Informatics(国立情报学研究所)
本研究利用多个神经声码器生成超9000小时声码数据,持续训练自监督前端并蒸馏融合,显著提升语音伪造检测在多个未见测试集上的性能。
2023-12-28 cs.SD eess.AS
HoliAntiSpoof: Audio LLM for Holistic Speech Anti-Spoofing
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Nanjing University(南京大学)
HoliAntiSpoof通过音频大语言模型实现整体语音反伪装分析,通过统一文本生成任务提升检测性能并实现可解释的语义分析。
2026-02-04 cs.SD
Thech. Report: Genuinization of Speech waveform PMF for speaker detection spoofing and countermeasures
Afeka Tel-Aviv Academic College of Engineering(阿菲卡特拉维夫学术工程学院);Avignon University(阿维尼翁大学)
针对说话人识别欺骗攻击场景,提出语音波形PMF真实化算法,在ASVspoof 2019数据集上验证其可大幅削弱欺骗检测性能,集成到反制系统后则能显著提升检测效果,凸显波形分布的重要性。
2023-10-09 cs.SD eess.AS
Using Deep Learning for Detecting Spoofing Attacks on Speech Signals
CPqD Foundation(CPqD基金会);University of Campinas(坎皮纳斯州立大学)
众所周知,说话人确认系统容易受到欺骗攻击。自动说话人验证欺骗和对策挑战-ASVSpoof 2015-提供了一个标准的欺骗数据库,包含基于合成语音的攻击,以及用于实验的协议。本文介绍了CPqD提交给ASVSpoof 2015挑战赛的系统,该系统基于深度神经网络,既可作为GMM和SVM分类器的分类器,也可作为特征提取模块。实验结果表明了该方法的有效性,对已知攻击的EER小于0.5%.
2016-01-19 cs.CL cs.CR cs.LG
Spoofing attack augmentation: can differently-trained attack models improve generalisation?
EURECOM;National Institute of Informatics(国立情报学研究所)
本文研究了基于深度学习的欺骗攻击效力随训练条件变化的问题,发现RawNet2模型易受攻击算法微调影响,而图注意力网络和自监督学习方法更鲁棒,并提出算法层面的欺骗攻击增强可提升泛化能力。
2024-01-08 cs.CR cs.SD eess.AS
Anti-Spoofing Using Transfer Learning with Variational Information Bottleneck
KAIST(韩国科学技术院)
由文语转换(TTS)或语音转换(VC)系统生成的复杂合成语音的最新进展对现有的自动说话人确认(ASV)系统造成了威胁。由于这种合成语音是由不同的算法产生的,因此使用有限的训练数据的泛化能力对于鲁棒的反欺骗系统是必不可少的。在这项工作中,我们提出了一个迁移学习计划的基础上wav2vec 2.0预训练模型与变分信息瓶颈(VIB)的语音反欺骗任务。对ASVspoof 2019逻辑访问(LA)数据库的评估表明,我们的方法提高了区分看不见的欺骗和真实语音的性能,优于当前最先进的反欺骗系统。此外,我们还表明,该系统在反欺骗任务的低资源和跨数据集设置中显着提高了性能,表明我们的系统在数据大小和数据分布方面也是鲁棒的。
2022-12-14 cs.CR cs.LG cs.SD
PC-Mix: Partial-Component Audio Spoofing Detection under Mixed Speech and Environmental Sound Conditions
研究针对部分音频欺骗检测,提出PC-Mix数据集,解决现有基准差距。构建含真实与部分欺骗环境声音组件并与语音信号混合的音频,建立评估协议与联合学习框架,实验表明匹配条件下训练检测欺骗更有效。
2026-07-14 cs.CL cs.SD
One-Class Knowledge Distillation for Spoofing Speech Detection
University of Chinese Academy of Sciences(中国科学院大学)
针对未见算法生成的欺骗语音检测泛化能力不足的问题,本文引入师生框架指导单类模型训练,提出单类知识蒸馏方法,在ASVspoof 21DF和InTheWild数据集上优于现有方法,展现出卓越的泛化能力。
2023-09-15 cs.SD eess.AS
Neural MOS Prediction for Synthesized Speech Using Multi-Task Learning With Spoofing Detection and Spoofing Type Classification
KAIST(韩国科学技术院)
一些研究提出了基于深度学习的模型来预测合成语音的平均意见得分(MOS),显示了取代人类评分员的可能性。然而,评分者间和评分者内的变异性使得很难确保模型的高性能。在本文中,我们提出了一种多任务学习(MTL)方法,使用以下两个辅助任务来提高MOS预测模型的性能:欺骗检测(SD)和欺骗类型分类(STC)。此外,我们使用焦点损失来最大化SD和STC之间的协同作用,用于MOS预测。使用2018年语音转换挑战赛的MOS评估结果进行的实验表明,提出的具有两个辅助任务的MTL提高了MOS预测。我们提出的模型实现了高达11.6%的相对改善性能的基线模型。
2020-12-02 cs.LG cs.SD eess.AS
Synthetic speech detection using meta-learning with prototypical loss
TCS Research(塔塔咨询服务公司研究院)
目前的语音欺骗对抗研究还缺乏对不可见欺骗攻击的泛化能力。这是ASVspoof挑战的关键问题之一,特别是随着多样化和高质量欺骗算法的快速发展。在这项工作中,我们通过提出元学习范式下的原型损失来模拟训练过程中看不见的测试场景,从而解决欺骗检测的普遍性。具有度量学习目标的原型损失可以直接学习嵌入空间,并成为主流分类损失函数的强有力的替代方案。提出了一种基于挤压激励残差网络(SE-ResNet)的原型丢失反欺骗系统。我们证明,在没有任何数据增强的情况下,所提出的单个系统可以在ASVspoof 2019逻辑访问(LA)任务上实现与最近最好的反欺骗系统竞争的性能。此外,具有数据增强功能的拟议系统在LA任务的进度和评估阶段都优于ASVspoof 2021挑战最佳基线。在ASVspoof 2019和2021评估集LA场景中,与挑战最佳基线相比,我们分别实现了min-tDCF的相对68.4%和3.6%的改善。
2022-01-24 cs.CR cs.SD eess.AS
MultiAPI Spoof: A Multi-API Dataset and Local-Attention Network for Speech Anti-spoofing Detection
Duke Kunshan University(杜克大学昆山分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));OfSpectrum, Inc.(OfSpectrum公司);Digital Innovation Research Center(数字创新研究中心);School of Artificial Intelligence(人工智能学院)
针对现有反欺骗基准与真实场景差距大的问题,构建包含30种API生成约230小时合成语音的多API数据集,并提出局部注意力增强网络Nes2Net-LA,实现最先进性能与强鲁棒性。
2026-06-09 cs.SD
Estimating the confidence of speech spoofing countermeasure
National Institute of Informatics(国立信息学研究所)
传统的语音欺骗对策(CM)被设计为对输入试验进行二元判定。然而,在闭集数据库上训练的CM理论上不能保证在未知的欺骗攻击上表现良好。在某些情况下,一种替代策略是让CM在不自信时推迟决策。问题是如何估计CM对输入试验的信心。我们研究了几个置信估计,可以很容易地插入到CM。在ASVspoof2019逻辑访问数据库上,结果表明,基于能量的估计器和基于神经网络的估计器在识别测试集中的未知攻击方面取得了可接受的性能。在具有额外未知攻击和来自其他数据库的真实试验的测试集上,置信度估计器表现得相当好,并且CM更好地区分具有高置信度分数的真实和欺骗试验。额外的结果还揭示了通过向训练集添加未知攻击来增强置信度估计的困难。
2022-02-01 cs.CR cs.SD eess.AS
From Self-Supervised Speech Models to Mixture-of-Experts for Robust Anti-Spoofing
Université d'Avignon(阿维尼翁大学);Airbus Defence & Space(空中客车防务与航天公司)
将自监督语音模型转换为混合专家架构,通过层间门控机制增强泛化能力,在14个欺骗数据集上将宏EER从5.46%降至4.81%。
2026-06-15 cs.AI cs.SD
Multi-task Learning Based Spoofing-Robust Automatic Speaker Verification System
The University of Western Australia(西澳大学)
通过生成人工语音而构成的欺骗攻击会严重降低说话人确认系统的性能。最近,许多反欺骗对策已被提出用于检测从合成语音到重放演示的各种类型的攻击。虽然有许多关于独立反欺骗解决方案的有效防御报告,但扬声器验证和欺骗检测系统的集成具有明显的优势。在本文中,我们提出了一个欺骗鲁棒的自动说话人确认(SR-ASV)系统的多种攻击的基础上的多任务学习架构。这个基于深度学习的模型与来自话语的时频表示联合训练,以同时为两个任务提供识别决策。与ASVspoof 2017和2019语料库上的其他最先进的系统相比,可以在不同的欺骗条件下获得组合系统的实质性改进。
2020-12-06 cs.CR cs.SD eess.AS
One-class Learning Towards Synthetic Voice Spoofing Detection
University of Rochester(罗切斯特大学);Beijing Institute of Technology(北京理工大学)
人的声音可以用来验证说话人的身份,但自动说话人验证(ASV)系统容易受到语音欺骗攻击,如模仿,重放,文本到语音,和语音转换。最近,研究人员开发了反欺骗技术,以提高ASV系统对欺骗攻击的可靠性。然而,大多数方法在实际应用中遇到的困难,检测未知的攻击,往往有不同的统计分布从已知的攻击。特别是,合成语音欺骗算法的快速发展正在产生越来越强大的攻击,使ASV系统面临不可见的攻击风险。在这项工作中,我们提出了一个反欺骗系统来检测未知的合成语音欺骗攻击(即,文本到语音或语音转换)。其核心思想是压缩真实的语音表示,并在嵌入空间中注入一个角度余量来分离欺骗攻击。在不诉诸任何数据增强方法的情况下,我们提出的系统在ASVspoof 2019挑战逻辑访问场景的评估集上实现了2.19%的等错误率(EER),优于所有现有的单一系统(即,没有模型的集合)。
2021-02-09 cs.SD eess.AS
Assessing the Impact of Speaker Identity in Speech Spoofing Detection
本文提出SInMT框架,通过多任务学习结合梯度反转层,降低语音欺骗检测的等错误率,提升检测性能。
2026-11-17 cs.LG cs.SD
The Impact of Silence on Speech Anti-Spoofing
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文系统分析静音对语音反欺骗的影响,揭示静音时长占比与内容对TTS和VC检测的不同作用,并提出掩蔽静音提升鲁棒性及低通滤波缓解攻击。
2023-09-21 cs.SD eess.AS
RawTFNet: A Lightweight CNN Architecture for Speech Anti-spoofing
The University of Melbourne, Australia(墨尔本大学);Fortemedia Singapore, Singapore(新加坡Fortemedia)
针对基于transformer的反欺骗模型计算成本高的问题,提出轻量级CNN架构RawTFNet,通过沿时频维度分离特征处理捕捉合成语音细节,在ASVspoof 2021数据集上以更少资源达到与SOTA模型相当的性能。
2025-07-11 cs.SD eess.AS
Spoofing Attack Detection using the Non-linear Fusion of Sub-band Classifiers
EURECOM(欧洲通信与无线电通信研究院)
欺骗的威胁可能会对自动说话人验证的可靠性造成风险。两年一次的ASVspoof评估结果表明,有效的对策需要专门为检测欺骗伪品而设计的前端。鉴于欺骗攻击的多样性,集成方法特别有效。本文中的工作表明,一组非常简单的分类器,每个分类器都有一个前端,用于检测不同的欺骗攻击,并通过非线性融合在分数水平上进行组合,可以提供比依赖于复杂神经网络架构的更复杂的集成解决方案更优越的性能。我们相对简单的方法优于提交给最近ASVspoof 2019挑战的逻辑访问条件的48个系统中的所有系统,但只有2个。
2020-05-20 cs.SD eess.AS
DNN Filter Bank Cepstral Coefficients for Spoofing Detection
Beijing University of Posts and Telecommunications(北京邮电大学);Aalborg University(奥尔堡大学)
随着语音合成技术的发展,自动说话人确认系统面临着欺骗攻击的严峻挑战。为了提高说话人确认系统的可靠性,提出了一种基于倒谱特征的滤波器组--深度神经网络滤波器组倒谱系数(DNN-FBCC),用于区分自然语音和虚假语音。深度神经网络滤波器组通过使用自然语音和合成语音训练滤波器组神经网络(FBNN)来自动生成。通过对训练规则的限制,FBNN的学习权矩阵是带限的,并按频率排序,类似于正常的滤波器组。与人工设计的滤波器组不同,学习的滤波器组在不同的通道中具有不同的滤波器形状,可以更有效地捕捉自然语音和合成语音之间的差异。在ASVspoof {2015}数据库上的实验结果表明,基于新特征训练的高斯混合模型最大似然(GMM-ML)分类器在检测未知攻击方面优于基于线性倒谱系数(LFCC)的分类器。
2017-02-13 cs.CR cs.LG cs.SD
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent(腾讯)
深度学习技术的发展极大地促进了自动语音识别(ASR)技术的性能提升,在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而,已有研究表明,DNN很容易受到轻微干扰的干扰而做出错误识别,这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
RW-Resnet: A Novel Speech Anti-Spoofing Model Using Raw Waveform
Shanghai University(上海大学);Shanghai Institute for Advanced Communication and Data Science (SICS)(上海先进通信与数据科学研究院(SICS))
近年来,由先进的文语转换(TTS)和语音转换(VC)系统产生的合成语音对说话人自动确认(ASV)系统造成了极大的危害,迫切需要设计一种合成语音检测系统来保护ASV系统。在本文中,我们提出了一种新的语音反欺骗模型命名为ResWavegram-Resnet(RW-Resnet)。该模型包含两个部分,Conv 1D Resblocks和主干Resnet 34。Conv 1D Resblock是基于Conv 1D块的,带有一个残余连接。对于第一部分,我们使用原始波形作为输入,并将其馈送到堆叠的Conv 1D Resblocks以获得ResWavegram。与传统方法相比,ResWavegram保留了音频信号的所有信息,具有更强的特征提取能力。对于第二部分,提取的特征被馈送到主干Resnet 34,用于欺骗或善意的决定。ASVspoof 2019逻辑访问(LA)语料库用于评估我们提出的RW-Resnet。实验结果表明,RW-Resnet取得了更好的性能比其他国家的最先进的反欺骗模型,这说明它在检测合成语音攻击的有效性。
2021-08-13 cs.LG cs.SD eess.AS
Explainable deepfake and spoofing detection: an attack analysis using SHapley Additive exPlanations
EURECOM(欧洲电信学院)
尽管在自动说话人验证的deepfake和欺骗检测方面进行了多年的研究,但人们对分类器用于区分真实和欺骗话语的人工制品知之甚少。理解这些对于设计可靠、可解释的解决方案至关重要。在本文中,我们报告了我们以前的工作,以更好地了解分类器的行为,使用SHapley加法解释(SHAP)攻击分析的扩展。我们的目标是识别由不同攻击算法产生的伪影。使用一对分类器,操作原始波形或幅度频谱图,我们表明,SHAP结果的可视化可用于识别攻击特定的文物和合成语音和转换语音欺骗攻击之间的差异和混淆。
2022-05-04 cs.SD eess.AS
Spoofing Detection Goes Noisy: An Analysis of Synthetic Speech Detection in the Presence of Additive Noise
University of Eastern Finland(东芬兰大学);Bursa Technical University(布尔萨技术大学)
自动说话人验证(ASV)技术最近正在为最终用户应用程序找到方法,以安全访问个人数据,智能服务或物理设施。与其他生物识别技术类似,说话人验证容易受到欺骗攻击,攻击者通过模仿,重放,文本到语音(TTS)或语音转换(VC)技术伪装成特定的目标说话人,以获得对系统的非法访问。我们专注于TTS和VC,它们代表了最灵活的高端欺骗攻击。大多数关于合成或转换语音检测的先前研究使用高质量的干净录音报告他们的发现。同时,欺骗检测器在存在加性噪声的情况下的性能,实际ASV实现中的重要考虑因素,在很大程度上仍然未知。为此,我们分析了最先进的合成语音检测器在加性噪声下的适用性,特别关注前端特征。我们的比较包括八个声学特征集,五个相关的频谱幅度和三个频谱相位信息。我们对ASVSpoof 2015语料库的广泛实验揭示了几个重要的发现。首先,所有对策即使在相对高的信噪比(SNR)下也失效,并且不能推广到噪声条件。其次,语音增强没有帮助。第三,GMM后端通常优于更复杂的i-vector后端。第四,就所比较的特征而言,Mel频率倒谱系数(MFCC)和子带谱质心幅度系数(SCMCs)的平均性能最好,尽管优胜者方法取决于SNR和噪声类型。最后,两个分数融合策略的研究表明,结合不同的特征为基础的系统,提高了识别精度的已知和未知的攻击在干净和嘈杂的条件。
2016-09-14 cs.SD
Detection and Evaluation of human and machine generated speech in spoofing attacks on automatic speaker verification systems
Carnegie Mellon University(卡内基梅隆大学)
自动说话人确认系统利用人类语音中的生物特征信息来确认说话人的身份。用于执行说话人验证的技术通常容易受到恶意攻击,这些攻击试图诱使ASV系统返回错误的结果,从而允许冒名顶替者绕过系统并获得访问权限。攻击者为此使用了多种欺骗技术,例如语音转换、音频重放、语音合成等。近年来,生成深度伪造音频的容易获得的工具增加了对ASV系统的潜在威胁。在本文中,我们比较了潜在的人类模仿(语音伪装)基于攻击的基础上,机器生成的语音,黑盒和白盒ASV系统。我们还研究对策,通过使用功能,捕捉人类语音生产的独特方面,假设机器不能模仿许多精细的人类语音生产机制的复杂性。我们表明,基频序列相关熵,频谱包络和非周期性参数是有前途的候选人的鲁棒检测未知方法产生的deepfaked语音。
2020-11-25 cs.SD eess.AS
Transforming acoustic characteristics to deceive playback spoofing countermeasures of speaker verification systems
National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学);Inria(法国国家信息与自动化研究所);University of Eastern Finland(东芬兰大学)
自动说话人确认(ASV)系统使用回放检测器来过滤回放攻击并确保确认的可靠性。由于当前的回放检测模型几乎总是使用真实的和回放的语音来训练的,因此可以通过将回放的语音的声学特性变换为接近真实语音的声学特性来降低它们的性能。这样做的一种方法是在回放之前增强从目标说话者“窃取”的语音。我们使用语音增强生成对抗网络转换声学特征,测试了使用该方法的回放攻击的有效性。实验结果表明,使用这种“增强的被盗语音”方法显著增加了ASVspoof 2017挑战赛中使用的基线和基于轻型卷积神经网络的方法的相等出错率。结果还表明,它的使用降低了基于高斯混合模型-通用背景模型的ASV系统的性能。因此,这种类型的攻击是一个迫切需要解决的问题。
2018-09-13 cs.CR cs.SD eess.AS
Spoofing-Robust Speaker Verification Using Parallel Embedding Fusion: BTU Speech Group's Approach for ASVspoof5 Challenge
BTU Speech Group(BTU语音组)
BTU语音组针对ASVspoof5挑战赛提出基于并行嵌入融合的抗欺骗说话人验证系统,通过并行双DNN处理多模型融合的嵌入与分数,结合a-DCF和BCE损失优化,性能优于传统单DNN方法,提升了系统抗欺骗的鲁棒性与安全性。
2024-08-28 cs.SD eess.AS
Exploring the Scale and Diversity of Speech Anti-spoofing Datasets: Experiments and Analysis
School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院)
本研究通过解耦训练数据规模与多样性,发现数据多样性比规模更重要,过大规模可能导致过拟合,而多样化的较小数据集在跨域评估中表现更优。
2026-06-06 cs.SD
Attentive Merging of Hidden Embeddings from Pre-trained Speech Model for Anti-spoofing Detection
1 Institute for Infocomm Research (I 2 R), Agency for Science, Technology;Research (A STAR), Singapore
本文研究 WavLM 分层隐藏嵌入在语音反欺骗中的作用,提出注意力合并方法,并通过微调在三个 ASVspoof 评估集上取得低 EER,且发现早期层尤为关键。
2024-06-12 cs.CL cs.SD eess.AS
Defense against adversarial attacks on spoofing countermeasures of ASV
National Taiwan University(台湾大学);The Chinese University of Hong Kong(香港中文大学)
在ASVspoof 2019挑战赛中提出了各种最前沿的自动说话人验证(ASV)对抗方法,这些方法在反欺骗方面具有相当高的性能。然而,以前的工作表明,对策模型容易受到与自然数据无法区分的对抗性示例的影响。一个好的对策模型不仅应该对欺骗音频(包括合成、转换和重放音频)具有鲁棒性,而且还应该抵消恶意对手故意生成的示例。在这项工作中,我们引入了一种被动防御方法,空间平滑,和一种主动防御方法,对抗性训练,以减轻ASV欺骗对策模型对对抗性示例的脆弱性。本文是第一个使用防御方法来提高ASV欺骗对抗模型在对抗性攻击下的鲁棒性。实验结果表明,这两种防御方法对欺骗对抗模型对抗实例有积极的帮助。
2020-03-06 cs.LG cs.SD eess.AS
Can Emotion Fool Anti-spoofing?
Center for Language and Speech Processing, Johns Hopkins UniversityUSA(约翰霍普金斯大学语言与语音处理中心);Carnegie Mellon UniversityUSA(卡内基梅隆大学);Data Science and AI Institute (DSAI), Johns Hopkins UniversityUSA(约翰霍普金斯大学数据科学与人工智能研究院)
针对传统防欺骗系统难以应对情感合成语音的问题,提出情感专用模型门控集成方法GEM,有效提升了多情感状态下的欺骗攻击防御能力,并发布了EmoSpoof-TTS数据集。
2025-05-29 cs.LG cs.SD eess.AS
Synthetic Voice Spoofing Detection Based On Online Hard Example Mining
自动说话人验证欺骗(ASVspoof)挑战系列对于提高欺骗考虑和对策增长至关重要。尽管最近的ASVspoof 2019验证结果表明,该模型具有识别大多数攻击的显著能力,但对某些攻击的识别效果仍然很差。提出了一种检测未知语音欺骗攻击的在线硬样本挖掘算法。OHEM用于克服数据集中简单样本和硬样本之间的不平衡。所呈现的系统在ASVspoof 2019 Challenge逻辑访问场景的评估集上提供了0.77%的相等出错率(EER)。
2022-09-26 cs.SD eess.AS
Collapse, Not Invariance: Diagnosing Auxiliary Objectives in Speech Anti-Spoofing
Lab260;BitmanagerAI;MTUCI(莫斯科通信与信息技术大学)
本研究通过113次实验和嵌入空间分析,发现语音防欺骗中的辅助目标并未带来实质增益,其看似有效源于空间收缩而非不变性,且无法超越交叉熵。
2026-10-02 cs.SD
Amplifying Artifacts with Speech Enhancement in Voice Anti-spoofing
Department of Computer Engineering, Faculty of Engineering(计算机工程系,工程学院);University of Southern California(南加州大学)
本研究针对语音反欺骗中伪造痕迹隐蔽的问题,提出含加噪、提取、放大三步的模型无关流程,利用语音增强放大伪造痕迹,兼容多种模型,在ASVspoof2019和2021基准上显著提升检测性能。
2025-06-13 cs.SD eess.AS
A Multi-Resolution Front-End for End-to-End Speech Anti-Spoofing
Lab of Intelligent Information Processing, PLAAEU(陆军工程大学智能信息处理实验室);KU Leuven(鲁汶大学);Center for Speech and Language Technologies, BNRist, Tsinghua University(清华大学语音与语言技术中心)
在涉及语音信号分类的任务中,最佳时间-频率分辨率的选择通常是困难但重要的步骤,语音反欺骗不同的时频分辨率的选择的性能的变化可以与具有不同的模型架构的那些一样大,这使得很难判断当一个新的网络架构被发明并引入作为分类器时,实际上是从哪里来的改进。在本文中,我们提出了一个多分辨率前端的特征提取在一个端到端的分类框架。给定分类任务的目标,将自动学习多个时频分辨率的最佳加权组合。以不同的时间-频率分辨率提取的特征被加权并连接作为连续网络的输入,其中权重由受挤压和激励网络(SENet)中的加权块启发的可学习神经网络预测。此外,所选择的时间频率分辨率的细化研究修剪的重要性相对较低,这降低了模型的复杂性和规模。该方法在ASVSpoof 2019中的语音反欺骗任务上进行了评估,并通过与类似基线的比较证明了其优越性。
2021-10-11 cs.SD eess.AS
Towards Quantifying and Reducing Language Mismatch Effects in Cross-Lingual Speech Anti-Spoofing
KLASS Engineering and Solutions(KLASS工程与解决方案公司);The Hong Kong Polytechnic University(香港理工大学)
本文针对跨语言语音反欺骗中的语言不匹配问题,提出基于口音的数据扩展方法ACCENT,在12种语言、超300万样本上验证其可将不匹配效应降低超过15%。
2024-09-12 cs.AI cs.CL cs.SD
Phase perturbation improves channel robustness for speech spoofing countermeasures
University of Rochester(罗切斯特大学)
针对语音防伪对策系统的信道鲁棒性问题,提出训练时扰动相位信息的方法,经实验验证该方法可显著提升未知信道下的系统性能。
2023-10-07 cs.SD eess.AS
SAMO: Speaker Attractor Multi-Center One-Class Learning for Voice Anti-Spoofing
Columbia University(哥伦比亚大学);University of Rochester(罗切斯特大学)
语音反欺骗系统是自动说话人确认系统的重要辅助设备。一个主要的挑战是由先进的语音合成技术所带来的看不见的攻击造成的。我们以前对单类学习的研究通过压缩嵌入空间中的真实语音来提高对不可见攻击的泛化能力。然而,这种紧凑性缺乏对发言者多样性的考虑。在这项工作中,我们提出了扬声器吸引子多中心一类学习(SAMO),它将真实的语音聚集在一些扬声器吸引子周围,并在高维嵌入空间中将欺骗攻击从所有吸引子中推开。对于训练,我们提出了一个算法的共同优化的善意的语音聚类和善意/欺骗分类。对于推理,我们提出了策略,使反欺骗扬声器没有登记。我们提出的系统优于现有的最先进的单一系统,在ASVspoof 2019 LA评估集上的等错误率(EER)相对提高了38%。
2022-11-04 cs.LG cs.SD eess.AS
A Study on Replay Attack and Anti-Spoofing for Automatic Speaker Verification
Tsinghua University(清华大学)
在实际的自动说话人确认系统中,重放攻击是一个真正的风险。通过重放真实说话者的预先记录的语音信号,ASV系统往往容易被愚弄。因此,非常需要一种有效的重放检测方法。在这项研究中,我们研究了重放检测中的一个主要困难:由语音信号中的可变因素引起的过拟合问题。提出了一种F比探测工具,并使用该工具研究了三个可变性因素:说话人身份,语音内容和回放和记录设备。分析表明,设备是最有影响力的因素,贡献了最高的过拟合风险。研究了一种频率弯曲方法来缓解过拟合问题,并在ASV-spoof 2017数据库上进行了验证。
2017-06-07 cs.SD
ConvNeXt Based Neural Network for Audio Anti-Spoofing
South China University of Technology(华南理工大学)
随着语音转换和语音合成算法的迅速发展,说话人自动确认系统面临着欺骗攻击。近年来,研究人员提出了许多基于手工特征的反欺骗方法。然而,使用手工制作的特征而不是原始波形将丢失用于反欺骗的隐式信息。受ConvNeXt在图像分类任务中的良好性能的启发,我们修改了ConvNeXt网络架构,并提出了一个轻量级的端到端反欺骗模型。该模型通过引入通道注意块和焦点损失函数,能够集中于语音表征中信息量最大的子带和难以分类的样本。实验表明,对于ASVSpoof 2019 LA评估数据集,我们提出的系统可以实现0.64%的相等出错率和0.0187的min-tDCF,这优于最先进的系统。
2022-12-22 cs.CL cs.SD eess.AS
Investigating self-supervised front ends for speech spoofing countermeasures
National Institute of Informatics(国立信息学研究所)
自监督语音模型是一个快速发展的研究课题,许多预训练模型已经发布并用于各种下游任务。对于语音反欺骗,大多数对抗(CM)使用信号处理算法来提取声学特征用于分类。在这项研究中,我们使用预训练的自监督语音模型作为欺骗CM的前端。我们研究了与自监督前端相结合的不同后端架构,微调前端的有效性以及使用不同预训练自监督模型的性能。我们的研究结果表明,当一个良好的预训练前端在ASVspoof 2019逻辑访问(LA)训练集上使用基于浅层或深层神经网络的后端进行微调时,所产生的CM不仅在2019 LA测试集上获得了较低的EER分数,而且在ASVspoof 2015,2021 LA和2021 deepfake测试集上的表现明显优于基线。子带分析进一步表明,CM主要使用特定频段中的信息来区分测试集中的真实和欺骗性试验。
2022-02-04 cs.SD eess.AS
End-to-End Spectro-Temporal Graph Attention Networks for Speaker Verification Anti-Spoofing and Speech Deepfake Detection
EURECOM(欧洲通信研究院);Naver Corporation(Naver公司)
已知用于区分真实语音与欺骗或深度伪造语音的伪像驻留在特定子带和时间段中。可以使用各种方法来捕获和建模这样的伪像,然而,没有一种方法在各种欺骗攻击的范围内工作得很好。可靠的检测通常依赖于多个检测系统的融合,每个检测系统都被调整以检测不同形式的攻击。在本文中,我们表明,可以实现更好的性能时,在模型本身内进行融合时,表示是从原始波形输入自动学习。主要贡献是一个频谱-时间图注意网络(GAT),它学习跨越不同子带和时间间隔的线索之间的关系。使用光谱(S)和时间(T)子图的模型级图融合和图池策略来提高区分度,所提出的RawGAT-ST模型对于ASVspoof 2019逻辑访问数据库实现了1.06%的等错误率。这是迄今为止报告的最佳结果之一,并且可以使用开源实现进行复制。
2021-08-23 cs.SD eess.AS
Probabilistic Verification of Voice Anti-Spoofing Models
本文提出PV-VASM,一种用于验证语音反伪装模型鲁棒性的概率框架,通过估计不同生成技术下的误分类概率,提供理论上限和实验验证,提升模型的安全性。
2026-03-12 cs.AI cs.SD
ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech
Microsoft(微软);EURECOM;University of Eastern Finland(东芬兰大学);Pindrop;The Hong Kong Polytechnic University(香港理工大学);KLASS Engineering and Solutions(KLASS工程与解决方案公司);TCG CREST
本文评估了ASVspoof 5挑战中53支队伍的提交结果,发现许多解决方案在对抗攻击和神经编码压缩方案下性能下降,并探讨了校准和其他主要挑战。
2026-04-11 cs.SD eess.SP
Bridging the Spoof Gap: A Unified Parallel Aggregation Network for Voice Presentation Attacks
Oakland University(奥克兰大学)
针对ASV系统中逻辑与物理欺骗攻击检测割裂且EER差异大的问题,提出并行堆叠聚合网络,通过拆分-变换-聚合处理原始音频,在ASVspoof-2019和VSDC上实现统一检测并优于现有方法。
2023-09-19 cs.SD eess.AS
Improving Short Utterance Anti-Spoofing with AASIST2
University of Chinese Academy of Sciences(中国科学院大学)
针对语音反欺骗系统在短语音评估中性能下降的问题,提出AASIST2,通过引入Res2Net块提取多尺度特征,并结合动态块大小和自适应大边界微调策略,有效提升了短语音评估性能且保持常规评估水平。
2024-01-04 cs.SD eess.AS
HuLA: Prosody-Aware Anti-Spoofing with Multi-Task Learning for Expressive and Emotional Synthetic Speech
Department of Electrical and Computer Engineering, Johns Hopkins University(电气与计算机工程系,约翰霍普金斯大学)
本文提出HuLA,一种两阶段韵律感知多任务学习框架,通过SSL骨干网络和韵律辅助任务提升防欺骗系统对表现力与情感合成语音的检测鲁棒性,实验证明其在跨域攻击上优于强基线。
2025-09-25 cs.LG cs.SD eess.AS
Frame-to-Utterance Convergence: A Spectra-Temporal Approach for Unified Spoofing Detection
Oakland University(奥克兰大学);IMEC(比利时微电子研究中心)
本文提出一种帧级与话语级融合的频谱-时间方法,通过局部频谱偏差系数、双向LSTM序列时间系数及自编码器生成偏差系数,统一检测合成、重放和部分深度伪造等多种语音欺骗攻击,并在多个数据集上验证了鲁棒性。
2023-09-18 cs.CY cs.SD eess.AS
Voice Spoofing Detection Corpus for Single and Multi-order Audio Replays
Oakland University(奥克兰大学);University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
近年来,现代语音控制设备(VCD)的发展彻底改变了物联网,并通过语音命令增加了灵巧家庭、个性化和家庭自动化的实现。在物联网中引入VCD预计将出现物联网的新子领域,称为多媒体物联网(MoT)。这些VCD可以在物联网驱动的环境中被利用来生成各种欺骗攻击,包括重放。重放攻击是通过重放合法人类说话者的录音来产生的,其意图是欺骗具有说话者验证系统的VCD。在物联网驱动的环境中,可以很容易地利用VCD之间的连接来生成一系列重放攻击(多阶重放攻击)。现有的欺骗检测数据集,如ASVspoof和ReMASC,仅包含针对真实音频样本的一阶重放记录。这些数据集无法提供能够检测多阶重放攻击的反欺骗算法的评估。此外,这些数据集没有捕获麦克风阵列的特征,这是现代VCD的重要特征。我们需要一个多样化的重放欺骗检测语料库,由多阶重放录音对真正的语音样本。本文提出了一种新的语音欺骗检测语料库(VSDC),以评估多阶重放反欺骗方法的性能。建议的VSDC由一阶和二阶重放样本对真正的音频记录。此外,所提出的VSDC也可以用来评估说话人确认系统的性能,因为我们的语料库包括15个不同说话人的音频样本。据我们所知,这是第一个公开可用的重放欺骗检测语料库,包括一阶和二阶重放样本。
2019-09-03 cs.SD eess.AS
Anti-spoofing Methods for Automatic SpeakerVerification System
Speech Technology Center Limited(语音技术中心有限公司);ITMO University(ITMO大学)
自动说话人确认(ASV)系统引起了人们越来越大的兴趣,这使得对ASV系统的欺骗攻击的质量得到了显著的提高。许多研究工作证实,尽管ASV系统的等误率(EER)很低,但它仍然容易受到欺骗攻击。在这项工作中,我们概述了不同的声学特征空间和分类器,以确定可靠和强大的对策,对欺骗攻击。在2015年ASVspoof挑战赛(AutomaticSpeakerVerification Spoofing and Countermeasures Challenge 2015)的开发和评估数据集上,比较了目前提出的几种欺骗检测系统。此外,基于小波的功能显示令人印象深刻的结果,在平等的出错率。在我们的概述中,我们比较了基于不同分类器的系统的欺骗性能。比较结果表明,线性SVM分类器优于传统的GMM方法。然而,许多研究人员受到深度神经网络(DNN)方法在自动语音识别中取得的巨大成功的启发,将DNN应用于欺骗检测任务,并针对已知和未知类型的欺骗攻击获得了相当低的EER。
2017-05-24 cs.LG cs.SD stat.ML
XLSR-Mamba: A Dual-Column Bidirectional State Space Model for Spoofing Attack Detection
Fortemedia(富迪科技)
本文提出XLSR-Mamba,结合双列Mamba架构与wav2vec 2.0自监督学习,有效解决有限标签数据下的欺骗攻击检测问题,在多个数据集上实现高精度与快速推理。
2025-03-01 cs.SD eess.AS