Tandem Assessment of Spoofing Countermeasures and Automatic Speaker Verification: Fundamentals
University of Eastern Finland（东芬兰大学）；Nuance Communications Inc.（纽安斯通信公司）；EURECOM（欧洲通信学院）；NEC Corporation（日本电气公司）；National Institute of Informatics（国立信息学研究所）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用研究实验室）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
近年来，人们越来越多地致力于开发欺骗对策（CM），以保护自动说话人验证（ASV）系统免受操纵或人工输入的欺骗。欺骗CM的可靠性通常使用等错误率（EER）度量来衡量。原始的EER不能反映应用程序的要求和影响的欺骗和CM后，ASV和它的使用作为一个主要的指标，在传统的ASV的研究已被放弃，有利于基于风险的方法来评估。本文提出了几个新的扩展串联检测代价函数（t-DCF），最近的风险为基础的方法来评估的可靠性欺骗CM部署在串联ASV系统。扩展包括具有较少参数的简化版本的t-DCF，对固定ASV系统的特殊情况的分析，对其解释提供原始见解的模拟以及使用ASVspoof 2019数据库的新分析。希望在CM评估中采用t-DCF将有助于促进反欺骗和ASV研究社区之间更密切的合作。
2020-08-25 cs.LG cs.SD eess.AS
t-DCF: a Detection Cost Function for the Tandem Assessment of Spoofing Countermeasures and Automatic Speaker Verification
University of Eastern Finland（东芬兰大学）；NEC Corporation（日本电气股份有限公司）；EURECOM（欧洲通信学院）；Inria（法国国家信息与自动化研究所）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；MIT（麻省理工学院）
ASVspoof挑战赛系列的诞生是为了引领自动说话人验证（ASV）的反欺骗研究。2015年和2017年的两个挑战版本涉及使用等错误率（EER）指标评估与ASV隔离的欺骗对策（CM）。虽然在当时是一种战略性的评估方法，但它有某些缺点。首先，当ASV和CM组合时，CM EER不一定是性能的可靠预测器。其次，EER操作点不适合用户认证应用，例如电话银行，其特征在于高目标用户先验但低欺骗攻击先验。我们的目标是迁移到一个新的串联检测代价函数（t-DCF）度量的帮助下，从CM-ASV为中心的评估。它将ASV研究中使用的传统DCF扩展到涉及欺骗攻击的场景。t-DCF度量有6个参数：（i）两个系统的虚警和未命中成本，以及（ii）目标和欺骗试验的先验概率（具有隐含的第三个非目标先验）。这项研究旨在作为一个独立的，辅导式的介绍。我们使用t-DCF分析了2015年和2017年版本ASVspoof的精选表现最佳的CM提交，重点关注之前的欺骗攻击。而有很少的选择之间的对策系统较低的先验，系统排名与EER和t-DCF显示较高的先验差异。我们观察到一些排名变化。调查结果支持采用DCF为基础的指标到未来ASVspoof挑战的路线图，并可能为其他生物识别反欺骗评估。
2019-04-11 cs.CR cs.SD eess.AS
SA-SASV: An End-to-End Spoof-Aggregated Spoofing-Aware Speaker Verification System
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
过去几年的研究已经提高了自动说话人验证系统和对抗系统的性能，以在每个系统上提供低的相等出错率（EER）。然而，这两个系统的联合优化的研究仍然有限。提出了欺骗感知扬声器验证（SASV）2022挑战，以鼓励开发具有新指标的集成SASV系统，以评估联合模型性能。本文提出了一种无集成的端到端解决方案，称为欺骗聚合SASV（SA-SASV），以构建一个多任务分类器的SASV系统，该系统通过多次损失进行优化，并对训练集有更灵活的要求。该系统在ASVSpoof 2019 LA数据集上进行了训练，这是一个具有少量真实扬声器的欺骗验证数据集。SASV-EER的结果表明，通过在完整的自动说话人确认和对策数据集上进行训练，可以进一步提高模型的性能。
2022-03-24 cs.SD eess.AS
Transforming acoustic characteristics to deceive playback spoofing countermeasures of speaker verification systems
National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；Inria（法国国家信息与自动化研究所）；University of Eastern Finland（东芬兰大学）
自动说话人确认（ASV）系统使用回放检测器来过滤回放攻击并确保确认的可靠性。由于当前的回放检测模型几乎总是使用真实的和回放的语音来训练的，因此可以通过将回放的语音的声学特性变换为接近真实语音的声学特性来降低它们的性能。这样做的一种方法是在回放之前增强从目标说话者“窃取”的语音。我们使用语音增强生成对抗网络转换声学特征，测试了使用该方法的回放攻击的有效性。实验结果表明，使用这种“增强的被盗语音”方法显著增加了ASVspoof 2017挑战赛中使用的基线和基于轻型卷积神经网络的方法的相等出错率。结果还表明，它的使用降低了基于高斯混合模型-通用背景模型的ASV系统的性能。因此，这种类型的攻击是一个迫切需要解决的问题。
2018-09-13 cs.CR cs.SD eess.AS
Spoofing Attack Detection using the Non-linear Fusion of Sub-band Classifiers
EURECOM（欧洲通信与无线电通信研究院）
欺骗的威胁可能会对自动说话人验证的可靠性造成风险。两年一次的ASVspoof评估结果表明，有效的对策需要专门为检测欺骗伪品而设计的前端。鉴于欺骗攻击的多样性，集成方法特别有效。本文中的工作表明，一组非常简单的分类器，每个分类器都有一个前端，用于检测不同的欺骗攻击，并通过非线性融合在分数水平上进行组合，可以提供比依赖于复杂神经网络架构的更复杂的集成解决方案更优越的性能。我们相对简单的方法优于提交给最近ASVspoof 2019挑战的逻辑访问条件的48个系统中的所有系统，但只有2个。
2020-05-20 cs.SD eess.AS
Spoofing-Aware Speaker Verification with Unsupervised Domain Adaptation
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用数学实验室）
在本文中，我们开始关注提高欺骗鲁棒性的自动说话人确认（ASV）系统，没有一个单独的对策模块的主要存在。我们从ASVspoof 2019基线的标准ASV框架开始，并基于概率线性判别分析从后端分类器解决问题。我们采用三种无监督领域自适应技术，使用ASVspoof 2019数据集的训练分区中的音频数据来优化后端。我们在逻辑和物理访问场景上都表现出显着的改进，特别是在后者系统受到重放音频攻击的情况下，善意和欺骗情况下的最大相对改进分别为36.1%和5.3%。我们进行额外的研究，如每攻击故障分析，数据组合，并与对策系统集成在分数级与高斯后端。
2022-04-26 cs.AI cs.SD eess.AS
Practical Attacks on Voice Spoofing Countermeasures
University of Waterloo（滑铁卢大学）
语音身份验证已成为银行交易和呼叫中心对话等安全关键型操作中不可或缺的一部分。自动说话人确认系统（ASV）的脆弱性，以欺骗攻击煽动对策（CM）的发展，其任务是区分善意和欺骗的语音。ASV和CM共同构成了今天的语音认证平台，被宣传为可扩展的访问控制机制。我们开发了对CM的第一个实际攻击，并展示了恶意行为者如何有效地制作音频样本，以最严格的形式绕过语音认证。以前的作品主要集中在非主动攻击或对抗策略，对ASV不产生语音在受害者的声音。我们攻击的后果要严重得多，因为我们生成的样本听起来像受害者，消除了任何似是而非的否认的机会。此外，针对CM的少数现有对抗攻击错误地优化了特征空间中的欺骗语音，并且没有考虑ASV的存在，导致在现实设置中失败的劣质合成音频。我们通过我们的关键技术贡献消除了这些障碍：一种新颖的联合损失函数，可以直接在时域中对ASV/CM组合部署进行高级对抗攻击。我们的对手在最先进的身份验证平台上实现了关于黑箱的成功率（高达93.57%）。最后，我们对CM进行了第一次有针对性的电话网络攻击，绕过了几个挑战，并启用了各种潜在的威胁，因为呼叫中心越来越多地使用语音生物识别技术。我们的研究结果对现代语音认证系统的安全性提出了质疑，因为攻击者绕过这些措施来访问用户最有价值的资源的真正威胁。
2021-07-30 cs.CR cs.LG cs.SD
Audio-replay attack detection countermeasures
ITMO University（圣彼得堡国立信息技术、机械学与光学研究型大学）；STC-innovations Ltd.（STC创新有限公司）
本文介绍了语音技术中心（STC）为2017年自动说话人验证欺骗和对策挑战赛提出的重播攻击检测系统。在这项研究中，我们专注于比较不同的欺骗检测方法。这些是基于GMM的方法，使用简单分类器和深度学习框架的高级特征提取。在挑战数据集的开发和评估部分上进行的实验证明了深度学习方法在声学条件变化的情况下的稳定效率。同时，根据融合系统的结果，具有高级别特征的SVM分类器为所得到的STC系统的效率提供了实质性的输入。
2017-05-24 cs.LG cs.SD stat.ML
The DKU-OPPO System for the 2022 Spoofing-Aware Speaker Verification Challenge
Wuhan University（武汉大学）；Duke Kunshan University（昆山杜克大学）；Guangdong OPPO Mobile Telecommunications Corp., Ltd.（广东OPPO移动通信有限公司）
本文介绍了我们的DKU-OPPO系统，用于2022年欺骗感知扬声器验证（SASV）挑战赛。首先，我们将联合任务分为说话人确认（SV）和欺骗对策（CM），这两个任务是单独优化。对于ASV系统，采用四种最先进的方法。对于CM系统，我们在挑战基线的基础上提出了两种方法来进一步提高性能，即嵌入随机采样增强（ERSA）和一类混淆损失（OCCL）。其次，我们还探讨了SV嵌入是否有助于提高CM系统的性能。我们观察到现有CM系统在域不匹配的Voxceleb 2数据集上的性能急剧下降。第三，我们比较了不同的融合策略，包括并行分数融合和顺序级联系统。与1. 71% SASV-EER基线相比，我们提交的级联系统在挑战官方评估集上获得了0. 21% SASV-EER。
2022-07-15 cs.SD eess.AS
Automatic speaker verification spoofing and deepfake detection using wav2vec 2.0 and data augmentation
EURECOM（欧洲电信学院）；National Institute of Informatics（国立信息学研究所）；Naver Corporation（Naver公司）
电子欺骗对抗系统的性能从根本上取决于充分代表性的训练数据的使用。由于这通常是有限的，当前的解决方案通常缺乏对在野外遇到的攻击的概括。因此，需要在面对不受控制、不可预测的攻击时提高可靠性的策略。我们在本文中报告了我们以wav2vec 2.0前端的形式使用自监督学习的努力。尽管仅使用真实数据而不使用伪造数据来学习初始基础表示，但我们获得了ASVspoof 2021 Logical Access和Deepfake数据库文献中报告的最低等错误率。当与数据增强相结合时，这些结果对应于相对于我们的基线系统的近90%的改进。
2022-02-28 cs.SD eess.AS
Multi-task Learning Based Spoofing-Robust Automatic Speaker Verification System
The University of Western Australia（西澳大学）
通过生成人工语音而构成的欺骗攻击会严重降低说话人确认系统的性能。最近，许多反欺骗对策已被提出用于检测从合成语音到重放演示的各种类型的攻击。虽然有许多关于独立反欺骗解决方案的有效防御报告，但扬声器验证和欺骗检测系统的集成具有明显的优势。在本文中，我们提出了一个欺骗鲁棒的自动说话人确认（SR-ASV）系统的多种攻击的基础上的多任务学习架构。这个基于深度学习的模型与来自话语的时频表示联合训练，以同时为两个任务提供识别决策。与ASVspoof 2017和2019语料库上的其他最先进的系统相比，可以在不同的欺骗条件下获得组合系统的实质性改进。
2020-12-06 cs.CR cs.SD eess.AS
Spoofing-Aware Speaker Verification via Wavelet Prompt Tuning and Multi-Model Ensembles
本文提出了一种结合小波提示调优和多模型集成的防伪语音验证方法，通过在VoxCeleb2和SpoofCeleb上训练，实现了低误检率和高泛化能力。
2026-01-24 cs.SD eess.AS
SASV Challenge 2022: A Spoofing Aware Speaker Verification Challenge Evaluation Plan
ASV（自动说话者验证）系统本质上需要拒绝非目标（例如，由不同说话者发出的语音）和欺骗（例如，合成的或转换的）输入。然而，很少考虑ASV系统本身应该如何适应时，他们预计会遇到欺骗攻击，也不是当他们与CM（欺骗对策）协同工作，更不用说两个系统应该如何联合优化。第一个SASV（spoofing-aware speaker verification）挑战赛是ISCA INTERSPEECH 2022的一个特别会议，其目标是促进可以同时执行ASV和CM的集成系统的开发。
2022-03-02 cs.CR cs.SD eess.AS
A Probabilistic Fusion Framework for Spoofing Aware Speaker Verification
Audio Information Research Lab, University of Rochester, Rochester, NY, USA（音频信息研究实验室，罗切斯特大学，罗切斯特，纽约，美国）
本文提出了一种概率融合框架，通过融合ASV和CM子系统分数，有效提升了SASV系统的性能，将EER从19.31%降至1.53%。
2022-04-24 cs.SD eess.AS
Two Methods for Spoofing-Aware Speaker Verification: Multi-Layer Perceptron Score Fusion Model and Integrated Embedding Projector
University of Seoul（首尔市立大学）
针对自动说话人验证系统易受欺骗攻击的问题，提出多层感知机分数融合模型与集成嵌入投影器两种后端方案，有效整合验证与对抗系统，在2022年SASV挑战赛官方评估中取得优异的等错误率表现。
2022-06-28 cs.SD eess.AS
Ensemble Models for Spoofing Detection in Automatic Speaker Verification
Queen Mary University of London（伦敦玛丽女王大学）；KTH Royal Institute of Engineering（KTH皇家理工学院）
检测自动说话人验证（ASV）系统的欺骗尝试是具有挑战性的，特别是当只使用一种建模方法时。为了鲁棒性，我们使用深度神经网络和传统机器学习模型，并通过逻辑回归将它们组合为集成模型。他们经过培训，可以检测作为ASV欺骗和对策挑战2019的一部分发布的数据集上的逻辑访问（LA）和物理访问（PA）攻击。我们提出了数据集分区，以确保在训练和验证过程中存在不同的攻击类型，以提高系统的鲁棒性。我们的集成模型优于我们所有的单一模型和两种攻击类型的挑战基线。我们研究了为什么PA数据集上的一些模型的表现远远优于其他模型，并发现数据集中的欺骗录音往往比真正的录音在最后有更长的沉默。通过删除它们，PA任务变得更具挑战性，我们最好的单个模型的串联检测代价函数（t-DCF）从0.1672上升到0.5018，开发集的等错误率（EER）从5.98%上升到19.8%。
2019-07-04 cs.SD eess.AS
Baseline Systems for the First Spoofing-Aware Speaker Verification Challenge: Score and Embedding Fusion
University of Seoul（首尔大学）；EURECOM（欧洲通信学院）；University of Eastern Finland（东芬兰大学）；Naver Corporation（Naver公司）；KAIST（韩国科学技术院）；Nuance Communications（纽昂斯通信公司）；Inria（法国国家信息与自动化研究所）
深度学习在自动说话人验证（ASV）和欺骗对策（CM）的研究方面都取得了令人印象深刻的进展。虽然解决方案是相互依赖的，但它们通常作为独立的子系统发展，因此CM解决方案通常是为固定的ASV系统设计的。本文中报告的工作旨在衡量其更紧密的集成可以获得的可靠性的改善。使用流行的ASVspoof2019数据集得出的结果表明，当评估协议扩展到欺骗试验时，最先进的ASV系统的相等出错率（EER）从1.63%下降到23.83%。遭受欺骗攻击。然而，即使ASV和CM系统以分数总和和基于深度神经网络的融合策略的形式直接集成，EER也分别降低到1.71%和6.37%。新的欺骗感知扬声器验证（SASV）挑战已经形成，以鼓励更多地关注ASV和CM系统的集成，以及提供一种基准测试不同解决方案的方法。
2022-04-21 cs.SD eess.AS
Detection and Evaluation of human and machine generated speech in spoofing attacks on automatic speaker verification systems
Carnegie Mellon University（卡内基梅隆大学）
自动说话人确认系统利用人类语音中的生物特征信息来确认说话人的身份。用于执行说话人验证的技术通常容易受到恶意攻击，这些攻击试图诱使ASV系统返回错误的结果，从而允许冒名顶替者绕过系统并获得访问权限。攻击者为此使用了多种欺骗技术，例如语音转换、音频重放、语音合成等。近年来，生成深度伪造音频的容易获得的工具增加了对ASV系统的潜在威胁。在本文中，我们比较了潜在的人类模仿（语音伪装）基于攻击的基础上，机器生成的语音，黑盒和白盒ASV系统。我们还研究对策，通过使用功能，捕捉人类语音生产的独特方面，假设机器不能模仿许多精细的人类语音生产机制的复杂性。我们表明，基频序列相关熵，频谱包络和非周期性参数是有前途的候选人的鲁棒检测未知方法产生的deepfaked语音。
2020-11-25 cs.SD eess.AS
Revisiting and Improving Scoring Fusion for Spoofing-aware Speaker Verification Using Compositional Data Analysis
National Institute of Informatics（信息学研究所）；University of Eastern Finland（东芬兰大学）；The Hong Kong Polytechnic University（香港理工大学）；Avignon Université（阿维尼翁大学）；Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）
本文基于决策理论和成分数据分析重新审视ASV与CM的分数级融合，提出分数校准、改进线性及非线性融合方法，并在SASV挑战数据库上验证了其有效性。
2024-09-24 cs.SD eess.AS
Integrated Spoofing-Robust Automatic Speaker Verification via a Three-Class Formulation and LLR
Tianjin University（天津大学）
本文提出一种三类公式框架，通过log-likelihood ratio (LLR)推理提升自动说话验证的可解释性，实验显示在ASVSpoof5和SpoofCeleb上性能优异。
2026-10-28 cs.SD eess.AS
Tackling Spoofing-Aware Speaker Verification with Multi-Model Fusion
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
近年来，说话人自动确认技术得到了飞速的发展。然而，以往的研究表明，最先进的ASV模型是严重脆弱的语音欺骗攻击，最近提出的高性能欺骗对策（CM）模型只专注于独立的反欺骗任务，并忽略了后续的说话人验证过程。如何将CM和ASV集成在一起仍然是一个悬而未决的问题。一个欺骗感知说话人验证（SASV）的挑战，最近发生的论点，更好的性能可以提供时，CM和ASV子系统的联合优化。在挑战的场景下，参与者提出的集成系统需要拒绝冒名顶替者扬声器和来自目标扬声器的欺骗攻击，这直观有效地匹配了可靠的，欺骗鲁棒的ASV系统的期望。这项工作的重点是基于融合的SASV解决方案，并提出了一个多模型融合框架，利用多个国家的最先进的ASV和CM模型的力量。所提出的框架大大提高了SASV-EER从8.75%到1.17%，这是86%的相对改善相比，在SASV挑战的最佳基线系统。
2022-06-18 cs.LG cs.SD eess.AS
Using Deep Learning for Detecting Spoofing Attacks on Speech Signals
CPqD Foundation（CPqD基金会）；University of Campinas（坎皮纳斯州立大学）
众所周知，说话人确认系统容易受到欺骗攻击。自动说话人验证欺骗和对策挑战-ASVSpoof 2015-提供了一个标准的欺骗数据库，包含基于合成语音的攻击，以及用于实验的协议。本文介绍了CPqD提交给ASVSpoof 2015挑战赛的系统，该系统基于深度神经网络，既可作为GMM和SVM分类器的分类器，也可作为特征提取模块。实验结果表明了该方法的有效性，对已知攻击的EER小于0.5%.
2016-01-19 cs.CL cs.CR cs.LG
A Comparative Study of Fusion Methods for SASV Challenge 2022
1 Samsung R\&D Institute Russia
自动说话人确认系统是一种生物特征认证系统。它可能受到入侵者的攻击，入侵者伪造数据以访问受保护的信息。对策（CM）是检测这些欺骗攻击的特殊算法。虽然ASVspoof挑战赛系列的重点是针对固定ASV系统开发CM，但新的欺骗感知扬声器验证（SASV）挑战赛组织者认为，如果CM和ASV系统联合优化，可以实现最佳效果。协作优化的方法之一是融合从ASV和CM模型获得的嵌入或得分。SASV Challenge 2022的基线呈现了两种类型的融合：分数总和和具有3层MLP的后端集成。本文介绍了我们对其他融合方法的研究，包括增强嵌入，这还没有被用于反欺骗研究之前。
2022-03-31 cs.SD eess.AS
Low Pass Filtering and Bandwidth Extension for Robust Anti-spoofing Countermeasure Against Codec Variabilities
University of Yamanashi（山梨大学）；Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）
可靠的语音反欺骗对抗系统需要在各种欺骗场景中鲁棒地保护自动说话人确认（ASV）系统。然而，对抗系统的性能可能会受到信道效应和编解码器的影响。在本文中，我们表明，使用信号的低频子带作为输入可以减轻编解码器对对抗系统的负面影响。为了验证这一点，两种类型的低通滤波器具有不同的截止频率应用于对抗系统，和相等的出错率（EER）降低了高达25%的相对。此外，我们提出了一种基于深度学习的带宽扩展方法，以进一步提高检测精度。最近的研究表明，当语音活动检测（VAD）去除静音部分时，对抗系统的出错率会急剧增加，我们的实验结果表明，在应用语音活动检测（VAD）的编解码条件下，滤波和带宽扩展方法也是有效的。
2022-11-12 cs.SD eess.AS
Spoofing-Aware Speaker Verification by Multi-Level Fusion
National Taiwan University（台湾大学）；The Chinese University of Hong Kong（香港中文大学）
近年来，许多新的技术被用来对付欺骗攻击，并取得了很好的对抗效果。然而，这些作品只考虑到独立的CM模型。如今，一个欺骗感知说话人验证（SASV）的挑战，旨在促进综合CM和ASV模型的研究，认为联合优化CM和ASV模型将导致更好的性能，正在发生。在本文中，我们提出了一种新的多模型和多层次的融合策略来解决SASV任务。与单纯的评分融合和嵌入融合方法相比，该框架首先利用CM模型的嵌入，将CM嵌入传播到CM块中以获得CM评分。在第二级融合中，直接来自ASV系统的CM分数和ASV分数将被连接到用于最终决策的预测块中。结果，最好的单融合系统在评估集上达到了0.97%的SASV-EER。然后将前5个融合系统进行融合，最终SASV-EER达到0.89%。
2022-03-29 cs.LG cs.SD eess.AS
Voice Spoofing Countermeasures: Taxonomy, State-of-the-art, experimental analysis of generalizability, open challenges, and the way forward
Oakland University（奥克兰大学）
恶意行为者可能会试图使用不同的语音欺骗攻击来欺骗ASV系统，甚至利用它们来传播错误信息。已经提出了各种对策来检测这些欺骗攻击。由于在过去的6-7年里，在自动说话人确认（ASV）系统中的欺骗检测方面做了大量的工作，有必要对研究进行分类，并对最先进的对策进行定性和定量的比较。此外，没有现有的调查报告审查了语音欺骗评估和说话人验证的集成解决方案，对抗/反取证攻击欺骗对策，以及ASV本身，或使用单一模型检测多种攻击的统一解决方案。此外，还没有做任何工作来提供一个苹果到苹果的比较公布的对策，以评估其普遍性，通过评估他们跨语料库。在这项工作中，我们对使用手工制作的功能，深度学习，端到端和通用欺骗对策解决方案来检测语音合成（SS），语音转换（VC）和重放攻击的欺骗检测文献进行了回顾。此外，我们还审查了语音欺骗评估和说话人验证，对抗性和反取证攻击的语音对策，以及ASV的综合解决方案。现有的电子欺骗对抗的局限性和挑战。我们报告了这些对策在几个数据集上的性能，并在语料库中对其进行了评估。在实验中，我们使用ASVspoof 2019和VSDC数据集以及GMM、SVM、CNN和CNN-GRU分类器。(For测试结果的复制，测试床的代码可以在我们的GitHub仓库中找到。
2022-11-21 cs.CY cs.SD eess.AS
Optimizing Tandem Speaker Verification and Anti-Spoofing Systems
University of Eastern Finland（东芬兰大学）；National University of Singapore（新加坡国立大学）；National Institute of Informatics（国立信息学研究所）
由于自动说话人验证（ASV）系统易受欺骗攻击，因此它们通常与欺骗对抗（CM）系统结合使用以提高安全性。例如，CM可以首先确定输入是否是人类语音，然后ASV可以确定该语音是否匹配说话者的身份。这种级联系统的性能可以用级联检测成本函数（t-DCF）来测量。然而，ASV和CM系统通常使用不同的指标和数据单独训练，这并不能优化它们的组合性能。在这项工作中，我们建议直接优化串联系统，通过创建一个微分版本的t-DCF和采用技术从强化学习。结果表明，这些方法提供了比微调更好的结果，我们的方法在约束设置中ASVSpoof 19数据集中的t-DCF相对提高了20%。
2022-01-24 cs.CR cs.LG cs.SD
Attentive activation function for improving end-to-end spoofing countermeasure systems
Computer Research Institute of Montreal (CRIM)（蒙特利尔计算机研究所（CRIM））
电子欺骗对抗系统的主要目的是检测输入语音中由语音合成或语音转换过程引起的伪像。为了实现这一点，我们建议采用注意激活功能，更具体地说，注意整流线性单元（AReLU）的端到端欺骗对策系统。由于AReLU采用注意力机制来提高相关输入特征的贡献，同时抑制不相关的特征，因此引入AReLU可以帮助对策系统关注与工件相关的特征。该框架在ASVSpoof2019数据集的逻辑访问（LA）任务上进行了实验，并优于使用标准非可学习激活函数的系统。
2022-05-03 cs.CR cs.SD eess.AS
Pretraining Conformer with ASR or ASV for Anti-Spoofing Countermeasure
University of Yamanashi（山梨大学）；Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）
本文提出基于迁移学习的MFA-Conformer反欺骗对策，通过ASR或ASV预训练增强鲁棒性，在FAD干净集上EER达0.04%，显著优于基线并与Wav2Vec 2.0方法相当。
2023-10-30 cs.SD eess.AS
BUT Systems and Analyses for the ASVspoof 5 Challenge
BUT（布尔诺理工大学）
本文介绍BUT团队参与ASVspoof 5挑战赛的系统，针对深度伪造检测采用不同模型并分析标签组合，针对SASV引入先验并提出逻辑回归联合训练方法以优化性能。
2024-08-20 cs.SD eess.AS
Replay Spoofing Countermeasure Using Autoencoder and Siamese Network on ASVspoof 2019 Challenge
Sharif University of Technology（谢里夫理工大学）
自动说话人验证（ASV）是基于呈现给系统的语音来识别人的过程。不同的合成方法允许欺骗来欺骗ASV系统（ASV），无论是使用技术来模仿声音还是重构特征。攻击者试图使用四种常用技术来击败ASV：模仿、语音合成、语音转换和重放。最后一种技术被认为是一种常见的和高潜力的欺骗工具，因为重放攻击更容易获得，不需要对手的技术知识。在这项研究中，我们介绍了一种新的重放欺骗对策ASV。因此，我们使用恒定Q倒谱系数（CQCC）的功能馈入一个自动编码器，以获得更多的信息功能，并考虑噪声信息的欺骗话语的歧视目的。最后，不同配置的暹罗网络首次在这方面的分类。使用等错误率（EER）和串联检测代价函数（t-DCF）作为评估指标在ASVspoof挑战2019数据集上进行的实验表明，所提出的系统在EER和t-DCF方面分别将结果提高了10.73%和0.2344。
2019-10-29 cs.SD eess.AS
Phase-Aware Spoof Speech Detection Based on Res2Net with Phase Network
SK Telecom（SK电讯）
欺骗语音检测是自动说话人确认系统的基本对策。虽然在频域中具有幅度特征的SSD已经显示出有希望的结果，但是相位信息对于捕获某些类型的欺骗攻击的伪影也是重要的。因此，必须同时考虑幅度和相位特征，以确保对不同类型欺骗攻击的泛化能力。本文通过熵分析研究了以往特征级融合失败的原因，发现幅值特征和相位特征之间的随机性差异较大，这可能会中断后端神经网络的特征级融合，因此提出了一种相位网络来减小这种差异。我们的SSD系统：配备相位网络的Res2Net实现了显著的性能改进，特别是在相位信息被认为是重要的欺骗攻击中。此外，我们还在已知和未知类型的SSD场景中展示了我们的SSD系统以供实际应用。
2022-03-21 cs.AI cs.SD eess.AS
CompSpoof: A Dataset and Joint Learning Framework for Component-Level Audio Anti-spoofing Countermeasures
Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems（多模态智能系统苏州市重点实验室）；Digital Innovation Research Center（数字创新研究中心）；Duke Kunshan University（杜克昆山大学）；OfSpectrum, Inc.（OfSpectrum公司）
CompSpoof提出了一种用于组件级音频反欺骗的数据库和联合学习框架，通过分离音频组件并分别检测欺骗来提升反欺骗性能。
2026-01-30 cs.SD eess.AS
Can large-scale vocoded spoofed data improve speech spoofing countermeasure with a self-supervised front end?
National Institute of Informatics（国立情报学研究所）
本研究利用多个神经声码器生成超9000小时声码数据，持续训练自监督前端并蒸馏融合，显著提升语音伪造检测在多个未见测试集上的性能。
2023-12-28 cs.SD eess.AS
Spoofed training data for speech spoofing countermeasure can be efficiently created using neural vocoders
National Institute of Informatics（国立信息学研究所）
用于语音欺骗对策的良好训练集需要不同的TTS和VC欺骗攻击，但是为目标说话者生成TTS和VC欺骗试验可能在技术上要求很高。这项研究没有使用成熟的TTS和VC系统，而是使用基于神经网络的声码器对真实的话语进行复制合成。输出数据可用作欺骗数据。为了更好地利用成对的真实数据和欺骗数据，本研究引入了一种可以插入标准训练标准的对比特征损失。在ASVspoof 2019逻辑访问训练集的真实试验的基础上，本研究根据经验比较了使用一些神经非自回归声码器以所提出的方式创建的一些训练集。多个测试集的结果表明了良好的实践，例如使用来自目标域的真实数据微调神经声码器。实验结果也证明了对比特征丢失的有效性。结合最佳实践，经过培训的CM实现了整体竞争力。其在ASVspoof 2021隐藏子集上的EER也超过了前1名的挑战提交。
2023-02-22 cs.SD eess.AS
An initial investigation on optimizing tandem speaker verification and countermeasure systems using reinforcement learning
National Institute of Informatics (NII)（日本国立信息学研究所）
自动说话人确认（ASV）中的欺骗对抗（CM）系统通常不是彼此孤立地使用的。例如，这些系统可以组合成级联系统，其中CM首先产生输入是合成语音还是真实语音的判定。如果CM决定它是真实的样本，那么ASV系统将考虑它用于说话者验证。系统的最终用户对各个子模块的性能不感兴趣，而是对组合系统的性能感兴趣。这种组合可以用串联检测代价函数（t-DCF）测量来评估，而各个组件使用它们自己的性能度量彼此分开地训练。在这项工作中，我们研究通过使用强化学习来训练ASV和CM组件，以获得更好的t-DCF度量。我们证明，这种训练过程确实能够提高组合系统的性能，并且比我们比较的标准监督学习技术具有更可靠的结果。
2020-04-08 cs.LG cs.SD eess.AS
Phase perturbation improves channel robustness for speech spoofing countermeasures
University of Rochester（罗切斯特大学）
针对语音防伪对策系统的信道鲁棒性问题，提出训练时扰动相位信息的方法，经实验验证该方法可显著提升未知信道下的系统性能。
2023-10-07 cs.SD eess.AS
Adversarial Attacks on Spoofing Countermeasures of automatic speaker verification
The Chinese University of Hong Kong（香港中文大学）；National Taiwan University（国立台湾大学）
ASVspoof 2019挑战赛中提出了用于自动说话人验证（ASV）的高性能欺骗对抗系统。然而，这种系统在对抗性攻击下的鲁棒性尚未得到研究。在本文中，我们研究了在白盒和黑盒对抗性攻击下ASV欺骗对策的脆弱性与快速梯度符号方法（FGSM）和投影梯度下降（PGD）方法。我们在ASVspoof 2019挑战赛中实施了高性能的对策模型，并对其进行对抗性攻击。我们比较了不同网络架构和不同数量的模型参数的欺骗对策模型的黑盒攻击的性能。实验结果表明，在白盒攻击场景下，所有实现的对策模型都容易受到FGSM和PGD攻击。实验结果也证明了更危险的黑盒攻击是有效的。
2019-10-19 cs.CL eess.AS
Towards single integrated spoofing-aware speaker verification embeddings
Seoul National University（首尔国立大学）；University of Eastern Finland（东芬兰大学）；EURECOM（欧洲通信研究院）；National Institute of Informatics（国立信息学研究所）；Inria（法国国家信息与自动化研究所）；TCG CREST（TCG CREST研究中心）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Carnegie Mellon University（卡内基梅隆大学）；Naver Corporation（Naver公司）
本文提出融合多阶段训练、组合损失与复制合成增强的单一 SASV 嵌入框架，在 SASV2022 协议上将 SASV-EER 降至 1.06%。
2023-06-01 cs.AI cs.SD eess.AS
The DKU Replay Detection System for the ASVspoof 2019 Challenge: On Data Augmentation, Feature Representation, Classification, and Fusion
Huawei Digital Technologies Co., Ltd（华为数字技术有限公司）
本文介绍了我们的DKU重播检测系统的ASVspoof 2019挑战。目的是在物理访问场景中开发用于自动说话人识别的欺骗对策。我们从四个方面利用对策系统管道，包括数据增强，特征表示，分类和融合。首先，我们介绍一个用于反欺骗的话语级深度学习框架。它接收可变长度的特征序列，并直接输出话语级分数。基于该框架，我们尝试了从幅度谱或相位谱中提取的各种输入特征表示。此外，我们也执行的数据增强策略，通过施加速度扰动的原始波形。我们的最佳单系统采用了一个由速度扰动群时延图训练的残差神经网络，在开发集上的EER为1.04%，在评估集上的EER为1.08%。最后，使用几个单一系统的简单平均分数可以进一步提高性能。我们的主系统在开发集和评估集上获得了0.24%的EER和0.66%的EER。
2019-07-05 cs.CR cs.LG cs.MM
Dataset artefacts in anti-spoofing systems: a case study on the ASVspoof 2017 benchmark
Queen Mary University of London（伦敦玛丽女王大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
自动说话人验证欺骗和对策的挑战激励研究在保护语音生物识别系统免受各种不同的访问攻击。2017年版的重点是重放欺骗攻击，参与者在提供的数据集上构建和训练系统（ASVspoof 2017）。到目前为止，已经发表了60多篇关于该数据集的研究论文，但没有一篇试图回答为什么对策在检测欺骗攻击方面取得了成功。本文展示了数据集固有的人工制品如何有助于已发布系统的明显成功。我们首先检查ASVspoof 2017数据集，并总结数据集中存在的各种伪影。其次，我们展示了如何对策模型可以利用这些文物出现在这个数据集的成功。第三，为了在这个数据集上进行可靠和鲁棒的性能估计，我们建议在训练和推理过程中丢弃非语音段和语音发声前后的沉默。我们在数据集中创建语音开始和端点注释，并演示如何使用它们帮助对策模型变得不那么容易受到使用数据集中发现的伪影进行操纵。最后，我们为帧级和话语级模型提供了几个新的基准测试结果，这些结果可以作为该数据集的新基线。
2020-10-15 cs.SD eess.AS
Investigating self-supervised front ends for speech spoofing countermeasures
National Institute of Informatics（国立信息学研究所）
自监督语音模型是一个快速发展的研究课题，许多预训练模型已经发布并用于各种下游任务。对于语音反欺骗，大多数对抗（CM）使用信号处理算法来提取声学特征用于分类。在这项研究中，我们使用预训练的自监督语音模型作为欺骗CM的前端。我们研究了与自监督前端相结合的不同后端架构，微调前端的有效性以及使用不同预训练自监督模型的性能。我们的研究结果表明，当一个良好的预训练前端在ASVspoof 2019逻辑访问（LA）训练集上使用基于浅层或深层神经网络的后端进行微调时，所产生的CM不仅在2019 LA测试集上获得了较低的EER分数，而且在ASVspoof 2015，2021 LA和2021 deepfake测试集上的表现明显优于基线。子带分析进一步表明，CM主要使用特定频段中的信息来区分测试集中的真实和欺骗性试验。
2022-02-04 cs.SD eess.AS
Estimating the confidence of speech spoofing countermeasure
National Institute of Informatics（国立信息学研究所）
传统的语音欺骗对策（CM）被设计为对输入试验进行二元判定。然而，在闭集数据库上训练的CM理论上不能保证在未知的欺骗攻击上表现良好。在某些情况下，一种替代策略是让CM在不自信时推迟决策。问题是如何估计CM对输入试验的信心。我们研究了几个置信估计，可以很容易地插入到CM。在ASVspoof2019逻辑访问数据库上，结果表明，基于能量的估计器和基于神经网络的估计器在识别测试集中的未知攻击方面取得了可接受的性能。在具有额外未知攻击和来自其他数据库的真实试验的测试集上，置信度估计器表现得相当好，并且CM更好地区分具有高置信度分数的真实和欺骗试验。额外的结果还揭示了通过向训练集添加未知攻击来增强置信度估计的困难。
2022-02-01 cs.CR cs.SD eess.AS
Can spoofing countermeasure and speaker verification systems be jointly optimised?
本研究针对SASV任务中CM与ASV子系统独立训练的问题，通过少量新说话人辅助数据开展联合优化，虽降低子系统独立性能但提升互补性，在标准评测下等错误率相对降低27%。
2023-12-20 eess.AS
Device Feature based on Graph Fourier Transformation with Logarithmic Processing For Detection of Replay Speech Attacks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；Fortemedia Singapore（富地媒体新加坡公司）
针对重放语音攻击检测，提出基于图频域和设备相关线性变换的图频率设备倒谱系数等新特征，在多个ASVspoof数据集上结合GMM和轻量级CNN分类器，表现优于已知前端。
2024-04-26 cs.SD eess.AS
Generalization of Spoofing Countermeasures: a Case Study with ASVspoof 2015 and BTAS 2016 Corpora
基于语音的生物识别系统非常容易受到欺骗攻击。近来，已经开发了各种对策来检测不同种类的攻击，诸如重放、语音合成（SS）和语音转换（VC）。大多数现有研究都是使用评价方案定义的特定训练集进行的。然而，对于实际场景，选择适当的训练数据对于系统管理员来说是一个公开的挑战。出于这种实际的关注，这项工作研究的泛化能力的欺骗对策在有限的训练条件下，从广泛的攻击类型的语音被排除在训练数据库。我们证明，不同的欺骗类型有相当不同的泛化能力。在这项研究中，我们分析了性能使用两种功能，梅尔频率倒谱系数（MFCC）被认为是基线和最近提出的常数Q倒谱系数（CQCCs）。实验使用标准高斯混合模型-最大似然（GMM-ML）分类器在两个最近发布的欺骗语料库上进行：ASVspoof 2015和BTAS 2016，包括跨语料库性能分析。分析表明，静态和动态系数的频谱特征，都是重要的检测欺骗攻击在现实生活中的条件。
2019-01-23 cs.MM eess.AS
Audio compression-assisted feature extraction for voice replay attack detection
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Huawei Technology（华为技术有限公司）；Huawei International（华为国际）
针对语音重放攻击检测，提出利用音频压缩丢失信息提取信道噪声特征的方法，在ASVspoof 2021 PA集上取得22.71%的最低EER。
2023-10-10 cs.SD eess.AS
How Do Neural Spoofing Countermeasures Detect Partially Spoofed Audio?
National University of Singapore（新加坡国立大学）；National Institute of Informatics（日本国立信息学研究所）；Fortemedia Singapore（新加坡福迪美公司）
本研究利用Grad-CAM和定量分析指标解释部分欺骗音频检测中对策模型的决策过程，发现其优先关注拼接产生的过渡区域伪影，为模型设计和数据集创建提供了可解释性基础。
2024-06-04 cs.AI cs.SD eess.AS
A Comparative Study on Recent Neural Spoofing Countermeasures for Synthetic Speech Detection
大量的语音欺骗对策最近的研究工作已投入到后端神经网络和训练标准。在这项研究中，我们以比较的视角为这一努力做出贡献。我们对ASVspoof 2019逻辑访问任务的对策模型的比较考虑了最近提出的基于边缘的训练标准，广泛使用的前端以及处理不同长度输入试验的常见策略。我们还通过随机初始化的多轮训练评估来测量模型内差异。我们的统计分析表明，同一模型的性能可能会显着不同时，只是改变随机初始种子。因此，我们建议对数据库进行类似的分析或多轮培训-评估，以便进一步研究。尽管模型内部存在差异，但我们观察到了一些有前途的技术，例如处理不同长度输入的平均池和新的超无参数损失函数。这两种技术导致了我们实验中最好的单一模型，它实现了1.92%的相等错误率，并且在统计意义上与大多数其他实验模型有显著差异。
2021-06-13 eess.AS
ASVspoof 5: Crowdsourced Speech Data, Deepfakes, and Adversarial Attacks at Scale
ASVspoof 5语音欺骗检测挑战赛基于众包大规模语音与攻击数据，首次纳入对抗攻击，新增抗欺骗说话人验证等评估指标，结果显示攻击显著削弱基线，参赛方案带来大幅性能提升。
2024-08-16 cs.AI cs.SD eess.AS
End-to-end anti-spoofing with RawNet2
欺骗对抗措施旨在保护说话人自动确认系统免受利用欺骗语音信号操纵其可靠性的企图。虽然最近的ASVspoof 2019评估结果显示，检测大多数形式的攻击具有很大的潜力，但仍有一些攻击继续逃避检测。本文报道了RawNet2在反欺骗中的首次应用。RawNet2摄取原始音频，并有可能学习使用更传统的对策解决方案无法检测到的线索。我们描述了对原始RawNet2架构的修改，以便它可以应用于反欺骗。对于A17攻击，我们的RawNet2系统结果是第二好的报告，而RawNet2和基线对策的融合给出了完整ASVspoof 2019逻辑访问条件的第二好结果。我们的结果是可重复的开源软件。
2021-12-16 eess.AS
Enhancing Anti-spoofing Countermeasures Robustness through Joint Optimization and Transfer Learning
Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences, University of Yamanashi（山梨大学医学、工学和农学综合研究生院）；Duke Kunshan University（昆山杜克大学）；School of Computer Science, Wuhan University（武汉大学计算机学院）
针对反欺骗对策系统在噪声和混响场景下鲁棒性不足的问题，提出基于迁移学习的语音增强前端联合优化方法，显著提升了系统在复杂环境下的识别准确率与鲁棒性。
2024-07-29 cs.SD eess.AS eess.SP
Investigating Active-learning-based Training Data Selection for Speech Spoofing Countermeasure
训练一种可以概括各种不可见数据的欺骗对策（CM）是人们所期望的，但具有挑战性。虽然数据增强和自监督学习等方法是适用的，但不同测试集上的CM性能不完美仍然需要额外的策略。这项研究采取了主动，并调查了使用主动学习（AL）的CM训练，这是一个框架，它从一个大的池集合中迭代地选择有用的数据并微调CM。本研究比较了几种方法来衡量数据的有用性和使用不同来源收集的不同池集的影响。结果表明，基于AL的CM实现了更好的泛化比我们强大的基线在多个测试测试。此外，与简单地使用整个数据池集进行训练的顶线CM相比，基于AL的CM使用更少的训练数据实现了类似的性能。虽然没有发现针对AL的单一最佳配置，但经验法则是在池集中包括各种欺骗和真实数据，并避免选择CM感到自信的数据的任何AL数据选择方法。
2022-10-07 eess.AS
Attentive Filtering Networks for Audio Replay Attack Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Edinburgh（爱丁堡大学）；University of Lisbon（里斯本大学）；INESC-ID（葡萄牙系统与计算机工程研究所 - 里斯本分院）；National Institute of Informatics（国立信息学研究所）
攻击者可以使用各种技术来欺骗自动说话者验证系统，使其接受他们为真正的用户。同时，反欺骗方法旨在使系统对此类攻击具有鲁棒性。ASVspoof 2017挑战赛特别关注重放攻击，旨在衡量重放攻击检测的极限，并制定应对措施。在这项工作中，我们提出了我们的重放攻击检测系统- Attentive Filtering Network，它由一个基于注意力的过滤机制和一个基于ResNet的分类器组成，该机制增强了频域和时域的特征表示。我们表明，该网络使我们能够可视化的自动获取的特征表示，这有助于欺骗检测。Attentive Filtering Network在ASVspoof 2017版本2.0数据集上获得了8.99 $\%$的评估EER。通过系统融合，我们的最佳系统比ASVspoof 2017增强型基线系统进一步获得了30 $\%$的相对改进。
2018-10-31 cs.CL cs.SD eess.AS
