Training Meta-Surrogate Model for Transferable Adversarial Attack
JD Technology(京东科技);University of California, Los Angeles(加州大学洛杉矶分校)
我们认为对抗攻击的黑盒模型时,不允许查询。在这种情况下,许多方法直接攻击代理模型,并将获得的对抗性示例转移到欺骗目标模型。大量的工作研究了对代理模型的攻击可以产生更多可转移的对抗样本,但由于代理模型和目标模型之间的不匹配,其性能仍然受到限制。在本文中,我们从一个新的角度来解决这个问题-而不是使用原来的代理模型,我们是否可以获得一个Meta-代理模型(MSM),使攻击这个模型可以更容易地转移到其他模型?我们证明了这个目标可以在数学上表述为一个适定性(类似于双层)的优化问题,并设计了一个可微攻击器来使训练可行。给定一个或一组代理模型,我们的方法可以得到一个MSM,使得在MSM上生成的对抗示例具有良好的可移植性。Cifar-10和ImageNet上的综合实验表明,通过攻击MSM,我们可以获得更强的可转移对抗性示例,以欺骗黑盒模型,包括对抗性训练的模型,成功率比现有方法高得多。所提出的方法揭示了深度模型的重大安全挑战,并有望成为评估黑盒环境下深度模型鲁棒性的最新基准。
2021-09-07 cs.AI cs.CR cs.LG
STAA-Net: A Sparse and Transferable Adversarial Attack for Speech Emotion Recognition
Imperial College London(帝国理工学院);University of Bremen(不来梅大学);Hunan University(湖南大学);Beijing Institute of Technology(北京理工学院)
针对语音情感识别模型,提出基于生成器的STAA-Net方法,高效生成稀疏且可迁移的对抗样本,并在DEMoS和IEMOCAP数据集上验证其有效性。
2024-02-02 cs.AI cs.HC cs.SD
Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries
Advanced Micro Devices, Inc.(超威半导体公司)
深度神经网络在计算机视觉应用中的广泛采用引起了人们对对抗鲁棒性的极大兴趣。现有的研究表明,专门为给定模型定制的恶意扰动输入(即,对抗性示例)可以成功地转移到另一个独立训练的模型以引起预测误差。此外,对抗性示例的这一特性被归因于从数据分布中的预测模式导出的特征。因此,我们有动力研究以下问题:对抗性防御,像对抗性示例一样,是否可以成功地转移到其他独立训练的模型中?为此,我们提出了一种基于深度学习的预处理机制,我们称之为鲁棒可转移特征提取器(RTFE)。在研究了理论动机和影响之后,我们通过实验证明了我们的方法可以为多个独立的预训练分类器提供对抗鲁棒性,否则这些分类器对自适应白盒对手无效。此外,我们还证明了RTFE甚至可以为在不同数据集上独立训练的模型提供一次性对抗鲁棒性。
2022-09-14 cs.AI cs.CR cs.LG
Model Mimic Attack: Knowledge Distillation for Provably Transferable Adversarial Examples
Research Center for Trusted Artificial Intelligence(可信人工智能研究中心);Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Moscow Institute of Physics and Technology (National Research University)(莫斯科物理技术学院(国立研究型大学));AIRI(AIRI(人工智能研究所))
本文提出模型模仿攻击,通过知识蒸馏迭代训练学生模型实现可迁移黑盒对抗攻击,并首次证明在有限迭代内可保证找到针对教师模型的对抗样本。
2024-10-21 cs.AI cs.LG
CAAD 2018: Generating Transferable Adversarial Examples
Proximus(普罗克西姆斯公司)
深度神经网络(DNN)很容易受到对抗性示例的影响,这些示例是精心设计的扰动,以欺骗目标DNN,无论是在非目标情况下还是在目标情况下。在非目标情况下,攻击者的目的只是诱导错误分类。在有针对性的情况下,攻击者的目的是诱导分类到指定的目标类。此外,已经观察到,强对抗性示例可以转移到未知模型,从而产生严重的安全问题。NIPS 2017竞赛旨在加速对抗攻击和防御的研究,在提交的对抗攻击试图转移到提交的防御的现实环境中进行。CAAD 2018比赛的规则与NIPS 2017比赛的规则几乎相同。鉴于NIPS 2017提交的要求是开源的,CAAD 2018竞赛的参与者能够直接建立在以前的解决方案上,从而改进了这种环境中的最先进技术。我们的团队参加了CAAD 2018比赛,并在非目标和目标对抗攻击两个攻击子赛道中获得第一名,并在防守中获得第三名。我们在本文中概述了我们的解决方案和开发成果。我们希望我们的研究结果可以为研究人员提供生成和防御对抗性示例的信息。
2018-11-21 cs.AI cs.CR cs.LG
Towards Transferable Adversarial Attacks on Vision Transformers
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University(复旦大学计算机科学技术学院上海市智能信息处理重点实验室);Shanghai Collaborative Innovation Center on Intelligent Visual Computing(上海智能视觉计算协同创新中心);Department of Computer Science, University of Maryland(马里兰大学计算机科学系)
视觉Transformer(ViTs)在一系列计算机视觉任务中表现出令人印象深刻的性能,但它们仍然受到对抗性示例的影响。%以与CNN类似的方式制作。在本文中,我们认为,对抗攻击Transformers应专门为他们的架构,共同考虑补丁和自我注意,以实现高的可转移性。更具体地说,我们引入了一个双重攻击框架,其中包含一个不注意(PNA)攻击和一个PatchOut攻击,以提高对抗样本在不同ViT之间的可转移性。我们表明,在反向传播过程中跳过注意力梯度可以生成具有高可移植性的对抗性示例。此外,通过在每次迭代中优化补丁的随机采样子集生成的对抗性扰动比使用所有补丁的攻击获得更高的攻击成功率。我们评估了对最先进的ViTs,CNN和经过鲁棒训练的CNN的攻击的可转移性。这些实验的结果表明,所提出的双重攻击可以大大提高ViTs之间以及从ViTs到CNN的可转移性。此外,该方法可以很容易地与现有的传输方法相结合,以提高性能。代码可在https://github.com/zhipeng-wei/PNA-PatchOut上获得。
2022-01-02 cs.AI cs.CV
MORE: Multi-Objective Adversarial Attacks on Speech Recognition
Agency for Science, Technology and Research(科技研究局);University of California, Riverside(加州大学河滨分校);National University of Singapore(新加坡国立大学)
MORE通过多目标对抗攻击方法,同时降低语音识别模型的识别准确率和推理效率,有效揭示了ASR模型的脆弱性。
2026-01-14 cs.AI cs.LG eess.AS
Mitigating Closed-model Adversarial Examples with Bayesian Neural Modeling for Enhanced End-to-End Speech Recognition
Amazon Alexa AI(亚马逊Alexa人工智能部门)
在这项工作中,我们的目标是提高系统的鲁棒性的端到端的自动语音识别(ASR)对不利的噪声语音的例子。我们专注于严格和经验的“封闭模型对抗鲁棒性”设置(例如,设备上或云应用)。对抗性噪声仅由闭模型优化(例如,进化和零阶估计),而不直接访问目标ASR模型的梯度信息。我们提出了一种先进的贝叶斯神经网络(BNN)为基础的对抗检测器,它可以模拟潜在的分布对自适应对抗扰动与分歧的测量。我们进一步模拟了RNN Transducer,Conformer和基于wav 2 vec-2.0的ASR系统的部署场景。利用所提出的基于BNN的检测系统,与当前针对对抗性语音示例的模型增强方法相比,我们将LibriSpeech数据集的检测率提高了+2.77%至+5.42%(相对+3.03%至+6.26%),并将单词错误率降低了5.02%至7.47%。
2022-02-17 cs.AI cs.LG cs.NE
Attribution for Enhanced Explanation with Transferable Adversarial eXploration
University of Technology Sydney(悉尼科技大学);School of Computer Science(计算机学院)
AttEXplore++ 通过引入 MIG 和 GRA 等可迁移对抗攻击方法增强归因,在多个 CNN 和视觉 Transformer 上显著提升了模型解释的准确性与鲁棒性。
2024-12-27 cs.AI cs.CV
ALIF: Low-Cost Adversarial Audio Attacks on Black-Box Speech Platforms using Linguistic Features
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(ZJU-杭州全球科技创新中心);University of Guelph(圭尔夫大学)
针对黑盒 ASR 攻击查询成本高且易受模型更新影响的问题,本文提出 ALIF,在语言嵌入空间沿决策边界生成扰动,并以 OTL/OTA 方案实现高效、鲁棒的数字与物理攻击。
2024-08-03 cs.AI cs.CR cs.SD
Doppelganger Method: Breaking Role Consistency in LLM Agent via Prompt-based Transferable Adversarial Attack
Research Institute for Future Medicine, Samsung Medical Center(未来医学研究所,三星医疗中心);Department of Digital Health, SAIHST, Sungkyunkwan University(数字健康系,SAIHST,成均馆大学);Department of Medical Device Management and Research, SAIHST, Sungkyunkwan University(医疗设备管理与研究系,SAIHST,成均馆大学);Department of Emergency Medicine, Samsung Medical Center(急诊医学系,三星医疗中心)
本文提出Doppelganger方法通过基于提示词的可迁移对抗攻击劫持LLM智能体并暴露其内部信息,同时定义PACAT级别评估脆弱性,并提出CAT提示词实现有效防御。
2025-06-26 cs.AI cs.CR
Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Wuhan University(武汉大学)
提出一种基于自监督学习表示和声码器的黑盒对抗攻击方法,通过扰动声学-语音特征而非波形,提高了攻击的可迁移性和对防御的绕过能力。
2026-06-04 cs.AI cs.CR cs.SD
DP-TRAE: A Dual-Phase Merging Transferable Reversible Adversarial Example for Image Privacy Protection
School of Computer and Information Engineering, Xiamen University of Technology(厦门理工大学计算机与信息工程学院);School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University(四川大学计算机科学学院,机器学习与产业智能工程研究中心);Department of Computer and Information Science, Faculty of Science and Technology, University of Macau(澳门大学科学与技术学院计算机与信息科学系);Department of Electrical and Electronic Engineering, University of Hong Kong(香港大学电子与电气工程系);Institute of Space Internet, Fudan University(复旦大学空间互联网研究所);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
针对可逆对抗样本黑盒可迁移性不足、查询成本高的问题,提出DP-TRAE双阶段合并方法,结合白盒初始扰动与记忆增强黑盒策略,实现高攻击成功率、完全恢复及商业模型验证。
2025-05-11 cs.AI cs.CR cs.LG
Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models
The University of Alabama(阿拉巴马大学)
本文通过评估四个医学图像数据集,分析七种模型和七种攻击方法,发现感知和失真指标与ASR无明显相关性,表明单一指标不足以衡量对抗鲁棒性。
2026-04-16 cs.AI cs.CV
X-Transfer Attacks: Towards Super Transferable Adversarial Attacks on CLIP
Singapore Management University(新加坡管理大学);Fudan University(复旦大学)
本文提出X-Transfer攻击方法,通过动态选择代理的代理缩放策略生成通用对抗扰动,在CLIP模型及下游VLM上同时实现跨数据、领域、模型和任务的超可迁移性,显著超越现有UAP方法并建立新基准。
2025-05-29 cs.AI cs.CL cs.CV
Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning
Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant'Anna(机器人与人工智能卓越部门,TeCIP,圣安娜高等学院);Department of Electrical and Electronic Engineering, University of Cagliari(电气与电子工程系,卡利亚里大学)
本研究针对分布式机器学习中模型拆分部署的安全漏洞,提出利用拦截的中间特征构建替代模型以生成高可迁移对抗样本的方法,实验证明该方法显著提升攻击迁移性,凸显了中间特征泄漏的紧迫性。
2025-07-09 cs.AI cs.LG
Foe for Fraud: Transferable Adversarial Attacks in Credit Card Fraud Detection
The University of Sydney, Australia(悉尼大学)
针对信用卡欺诈检测(CCFD)模型在表格数据上的对抗攻击漏洞未被充分探索的问题,本文提出整合梯度攻击方法的全面框架,验证表格数据易受扰动且攻击可迁移,强调需提升模型安全性并开发鲁棒防御。
2025-08-20 cs.AI cs.CR
Brain Tumor Classifiers Under Attack: Robustness of ResNet Variants Against Transferable FGSM and PGD Attacks
Department of Computer Science(计算机科学系);Computer Science and Software Engineering(计算机科学与软件工程)
本文研究了ResNet变体在FGSM和PGD攻击下的鲁棒性,发现BrainNeXt在对抗攻击中表现最稳健,但生成的可迁移对抗样本较弱,而BrainNet和DilationNet在特定攻击条件下更易受攻击。
2026-02-12 cs.AI cs.CV
Sequential Randomized Smoothing for Adversarially Robust Speech Recognition
Carnegie Mellon University(卡内基梅隆大学)
虽然自动语音识别已被证明容易受到对抗攻击的攻击,但对这些攻击的防御仍然滞后。现有的,天真的防御可以部分打破自适应攻击。在分类任务中,随机平滑范式已被证明是有效的防御模型。然而,由于ASR任务的复杂性和输出的连续性,很难将这种范式应用于ASR任务。我们的论文克服了其中一些挑战,利用语音特定的工具,如增强和罗孚投票设计一个ASR模型,是强大的扰动。我们将最先进攻击的自适应版本(如不可感知的ASR攻击)应用于我们的模型,并表明我们最强的防御对所有使用不可闻噪声的攻击都是鲁棒的,并且只能在非常高的失真下被打破。
2022-01-10 cs.AI cs.CL
Medusa: Cross-Modal Transferable Adversarial Attacks on Multimodal Medical Retrieval-Augmented Generation
Westlake University(西湖大学);Heilongjiang University(黑龙江大学);City University of Hong Kong(香港城市大学);Tencent(腾讯)
Medusa提出了一种针对多模态医疗检索增强生成系统的跨模态可转移对抗攻击方法,通过优化扰动和双循环策略实现高攻击成功率并抵御主流防御措施。
2025-11-24 cs.AI cs.CR cs.LG
TransAudio: Towards the Transferable Adversarial Audio Attack via Learning Contextualized Perturbations
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
在针对自动语音识别(ASR)系统的基于传输的攻击中,攻击无法访问目标模型的结构和参数。现有的攻击方法主要是在具有受限语音命令的语音助理场景中进行研究,从而禁止其适用于更一般的ASR相关应用。为了应对这一挑战,我们提出了一种新的上下文攻击删除,插入和替换对抗行为,即TransAudio,它实现了任意字级攻击的基础上提出的两阶段框架。为了增强攻击的可移植性,我们进一步引入了一种音频分数匹配优化策略来规范训练过程,从而减轻对抗性示例对代理模型的过度拟合。大量的实验和分析证明了TransAudio对开源ASR模型和商业API的有效性。
2023-03-28 cs.SD eess.AS
Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers
Toshiba Research Europe Limited(东芝欧洲研究有限公司)
虽然深度神经网络的较低层学习跨数据集可转移的特征,但这些层在同一数据集内不可转移。也就是说,一般来说,在同一数据集上冻结训练的特征提取器(下层)和重新训练分类器(上层)会导致更差的性能。在本文中,我们首次证明了冻结分类器在同一数据集内是可转移的。我们开发了一种新的自上而下的训练方法,它可以被看作是一种搜索高质量分类器的算法。我们测试了这种方法的自动语音识别(ASR)的任务和语言建模任务。该方法持续改进了《华尔街日报》上的递归神经网络ASR模型、Switchboard上的自注意力ASR模型和WikiText-2上的AWD-LSTM语言模型。
2021-02-09 cs.AI cs.SD eess.AS
Perceptual-based deep-learning denoiser as a defense against adversarial attacks on ASR systems
Signal Analysis and Interpretation Laboratory (SAIL)(信号分析与解释实验室);University of Southern California(南加州大学)
在本文中,我们研究语音去噪作为对抗攻击的防御自动语音识别(ASR)系统。对抗性攻击试图通过向原始语音信号添加小的扰动来强制错误分类。我们建议通过采用基于神经网络的去噪器作为ASR管道中的预处理器来抵消这一点。去噪器独立于下游ASR模型,因此可以快速部署在现有系统中。我们发现,使用感知动机损失函数训练降噪器可以提高对抗鲁棒性,而不会影响良性样本的ASR性能。我们的防御评估(作为DARPA GARD计划的一部分)在一系列攻击强度和语音样本的“凯南斯维尔”攻击策略。在20 dB信噪比(SNR)攻击强度下,观察到的平均改善约7.7%的字错误率(WER)在不设防的模型。
2021-07-12 cs.LG eess.AS eess.SP
Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
使用生成对抗网络(GAN)的端到端(E2 E)ASR系统的对抗训练最近已被探索用于低资源ASR语料库。GANs通过两个玩家的最小-最大游戏帮助学习真实的数据表示。然而,使用具有GAN框架的大型ASR语料库训练E2 E ASR模型从未被探索过,因为由于高方差梯度更新和人脸收敛问题,它可能需要过长的时间。在本文中,我们介绍了一种新的框架,用于使用GAN目标微调预训练的ASR模型,其中ASR模型充当生成器,并且尝试将ASR输出与真实数据区分开来。由于ASR模型是预先训练的,我们假设ASR模型输出(软分布向量)有助于从SVM获得更高的分数,并使SVM的任务在我们的GAN框架内变得更难,这反过来又提高了ASR模型在微调阶段的性能。在这里,预先训练的ASR模型使用额外的对抗性损失针对PSNR进行对抗性微调。在完整LibriSpeech数据集上的实验表明,我们提出的方法优于基线和传统的基于GAN的对抗模型。
2021-03-10 cs.CL cs.SD eess.AS
Adversarial Example Devastation and Detection on Speech Recognition System by Adding Random Noise
College of Information Science and Engineering, Ningbo University(宁波大学信息科学与工程学院)
基于深度神经网络的自动语音识别(ASR)系统容易受到对抗性示例的攻击,特别是如果命令依赖的ASR失败。提出了一种对抗性样本的防御方法,以提高ASR系统的鲁棒性和安全性。我们提出了一个算法的破坏和检测对抗的例子,可以攻击当前先进的ASR系统。我们选择了一个先进的文本和命令相关的ASR系统作为我们的目标,生成对抗的例子,基于优化的攻击文本相关的ASR和基于GA的算法命令相关的ASR。该方法是基于输入变换的对抗性的例子。不同的随机强度和噪声种类被添加到对抗性示例中,以恢复先前添加到正常示例中的扰动。实验结果表明,该方法具有良好的性能。对于样本的破坏性,加入噪声后的原始语音相似度可以达到99.68%,对抗性样本的相似度可以达到零,对抗性样本的检测率可以达到94%。
2021-10-17 cs.CR cs.MM cs.SD
Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich(慕尼黑技术大学);Faculty of Computer Science, Ruhr University Bochum(博德姆鲁尔大学计算机科学系)
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性,发现噪声增强训练在提升含噪语音性能的同时,也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
Enhancing and Adversarial: Improve ASR with Speaker Labels
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
本研究提出利用说话人标签结合领域增强与对抗训练改进基于conformer的ASR,并设计自适应梯度反转层以稳定训练,实验验证了最优应用位置及组合策略,在Switchboard Hub5'00上实现7%相对提升。
2023-02-24 cs.CL cs.LG cs.SD
Defense against Adversarial Attacks on Hybrid Speech Recognition using Joint Adversarial Fine-tuning with Denoiser
Center for Language and Speech Processing, Johns Hopkins University(约翰霍普金斯大学语言与语音处理中心)
对抗性攻击是对自动语音识别(ASR)系统的威胁,提出防御措施来保护它们变得势在必行。在本文中,我们进行了实验,以表明K2构象混合ASR受到白盒对抗攻击的强烈影响。我们提出了三种防御方法--去噪预处理器、逆向微调ASR模型和逆向微调ASR与去噪器的联合模型。我们的评估显示,去噪预处理器(在离线对抗性示例上训练)无法抵御自适应白盒攻击。然而,使用去噪器和ASR的串联模型对去噪器进行逆向微调提供了更强的鲁棒性。我们评估了这种防御的两个变体-一个更新两个模型的参数,第二个保持ASR冻结。联合模型提供了一个平均绝对下降19.3%的地面真值(GT)WER参考基线对快速梯度符号法(FGSM)攻击与不同的$L_\infty$规范。采用冻结ASR参数的联合模型在7次迭代中对投影梯度下降(PGD)给出了最好的防御,相对于基线,GTWER平均绝对增加了22.3%;在500次迭代中对PGD给出了最好的防御,GTWER平均绝对减少了45.08%,对抗性目标WER增加了68.05%。
2022-04-08 cs.CR cs.SD eess.AS
Precision-Varying Prediction (PVP): Robustifying ASR systems against adversarial attacks
Faculty of Computer Science, Ruhr University Bochum, Germany(计算机科学系,博尔塔伦鲁尔大学)
本文提出PVP方法,通过在推理过程中随机采样精度来提高ASR系统对对抗攻击的鲁棒性,并利用不同精度的输出进行对抗示例检测。
2026-07-21 cs.CR cs.LG eess.AS
Audio Adversarial Examples for Robust Hybrid CTC/Attention Speech Recognition
Technical University of Munich(慕尼黑工业大学)
自动语音识别(ASR)的最新进展展示了端到端系统如何能够实现最先进的性能。有一种趋势是更深入的神经网络,但是这些ASR模型也更复杂,更容易受到精心设计的噪声数据的影响。这些音频对抗示例(AAE)之前在使用连接主义时间分类(CTC)以及基于注意力的编码器-解码器架构的ASR系统上进行了演示。根据混合CTC/注意力ASR系统的思想,本文提出了生成AAE的算法,将这两种方法结合到一个联合CTC-注意力梯度方法中。使用混合CTC/注意力端到端ASR模型对两个参考句子进行评估作为案例研究,以及TEDSTV 2语音识别任务。然后,我们展示了该算法在对抗训练中的应用,以获得更强大的ASR模型。
2020-07-21 cs.SD eess.AS
Adversarial Joint Training with Self-Attention Mechanism for Robust End-to-End Speech Recognition
近年来,自注意机制成为自动语音识别(ASR)领域的一个新的里程碑。然而,它的性能容易受到环境入侵的影响,因为系统根据完整的输入序列和先前的预测来预测下一个输出符号。受生成对抗网络(GANs)在语音增强和ASR任务中广泛应用的启发,提出了一种带有自注意机制的对抗联合训练框架,以提高ASR系统的噪声鲁棒性。通常,它由自注意语音增强GAN和自注意端到端ASR模型组成。在这一拟议框架中,有两个重点值得注意。一是得益于自注意机制和GANs的进步;二是GAN的泛化能力在对抗性联合训练阶段扮演全局判别网络的角色,引导增强前端为后续的ASR模块捕获更多兼容的结构,从而弥补了单独训练和手工制作损失函数的局限性。通过对抗性联合优化,该框架有望学习更适合ASR任务的鲁棒表示。在AISHELL-1语料库上进行了系统的实验,实验结果表明,在人工噪声测试集上,该框架与单纯使用干净数据训练的ASR模型相比,相对性能提高了66%,与不使用联合训练的语音增强和ASR方案相比,相对性能提高了35.1%,与多条件训练相比,相对性能提高了5.3%。
2021-04-03 eess.AS
Transferable Adversarial Attacks on Audio Deepfake Detection
College of Innovation & Technology, University of Michigan-Flint(密歇根大学弗林特分校创新与技术学院)
本文提出基于GAN的可迁移对抗攻击框架,利用替代模型集成和判别器,并引入自监督音频模型保证质量,揭示SOTA音频深度伪造检测系统在白盒、灰盒和黑盒场景下的显著脆弱性,准确率大幅下降。
2025-01-21 cs.SD eess.AS
REDAT: Accent-Invariant Representation for End-to-End ASR by Domain Adversarial Training with Relabeling
Amazon(亚马逊)
口音不匹配是端到端ASR的关键问题。本文旨在通过构建一个具有领域对抗训练(DAT)的口音鲁棒RNN-T系统来解决这个问题。我们揭示了DAT背后的魔力,并首次提供了DAT学习重音不变表示的理论保证。我们还证明了在DAT中执行梯度反转等价于最小化域输出分布之间的Jensen-Shannon散度。出于等价性证明的动机,我们引入了reDAT,这是一种基于DAT的新技术,它使用无监督聚类或软标签重新标记数据。在23 K小时的多口音数据上的实验表明,DAT在本地和非本地英语口音的口音特定基线上取得了有竞争力的结果,但在看不见的口音上相对WER减少了13%;我们的reDAT在美国和英国英语的非本地口音上比DAT进一步提高了3%和8%。
2021-02-12 cs.AI cs.SD eess.AS
Language Dependencies in Adversarial Attacks on Speech Recognition Systems
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Technical University Munich(慕尼黑工业大学);Technische Universität Darmstadt(达姆施塔特工业大学)
自动语音识别(ASR)系统普遍存在于我们的日常设备中。它们容易受到对抗攻击的攻击,其中操纵的输入样本欺骗了ASR系统的识别。虽然已经分析了各种英语ASR系统的对抗性示例,但还没有跨语言比较脆弱性分析。我们以Deepspeech为例,比较了德语和英语ASR系统的可攻击性。我们调查,如果一个语言模型是更容易受到操纵比其他。我们的实验结果表明,在成功生成对抗性示例所需的计算工作量方面,英语和德语之间存在统计上的显著差异。这一结果鼓励进一步研究的语言依赖特性的鲁棒性分析的ASR。
2022-02-02 cs.CL cs.CR cs.SD
Catch Me If You Can: Blackbox Adversarial Attacks on Automatic Speech Recognition using Frequency Masking
University of Edinburgh(爱丁堡大学)
自动语音识别(ASR)模型是普遍的,特别是在用于家用电器的语音导航和话音控制的应用中。ASR的计算核心是深度神经网络(DNN),已被证明易受对抗性扰动的影响;很容易被攻击者滥用以生成恶意输出。为了帮助测试ASRS的安全性和鲁棒性,我们提出了生成黑盒(与DNN无关)的技术,这些技术可以跨ASR进行无针对性的对抗攻击。这与专注于白盒目标攻击的现有工作形成对比,这些攻击耗时且缺乏可移植性。我们的技术生成对抗攻击,通过使用心理声学模型操纵音频信号,保持音频扰动低于人类感知的阈值,没有人类可听的差异。我们使用三种流行的ASR和两个输入音频数据集,使用的指标-字出错率(WER)的输出转录,原始音频的相似性,攻击成功率不同的ASR和检测分数的防御系统,我们的技术评估的可移植性和有效性。我们发现我们的对抗攻击可以跨ASR进行移植,不容易被最先进的防御系统检测到,并且在输出传输上有显著差异,同时听起来与原始音频相似。
2022-04-12 cs.CL cs.SD cs.SE
Attack-Dependent Robustness of Neural Audio Codecs for Adversarial ASR
Signal Analysis and Interpretation Laboratory, University of Southern California, USA(南加州大学信号分析与解释实验室)
本文研究了神经音频编解码器中容量与鲁棒性之间的权衡,发现中间深度量化能平衡对抗扰动与语音内容质量,从而最小化转录错误。
2026-09-24 cs.SD eess.AS
Detecting Audio Adversarial Examples with Logit Noising
POSTECH(浦项工科大学)
自动语音识别(ASR)系统容易受到音频对抗性示例的攻击,这些音频对抗性示例试图通过向良性语音信号添加扰动来欺骗ASR系统。虽然一个敌对的例子和原始的良性波是无法区分的人类,前者被转录为一个恶意的目标句子的ASR系统。已经提出了几种方法来生成音频对抗性示例并将其直接馈送到ASR系统(在线)。此外,许多研究人员已经证明了强大的物理音频对抗示例(空中)的可行性。为了抵御这些攻击,已经提出了几项研究。然而,在现实世界中部署它们是困难的,因为精度下降或时间开销。在本文中,我们提出了一种新的方法来检测音频对抗性的例子,在将它们馈送到ASR的解码器之前,向logits添加噪声。我们表明,精心选择的噪声可以显着影响音频对抗性示例的转录结果,而它对良性音频波的转录结果的影响最小。基于这一特点,我们检测音频对抗的例子,通过比较的转录改变的logit噪声与其原始的转录。所提出的方法可以很容易地应用到ASR系统,无需任何结构变化或额外的培训。实验结果表明,与现有的检测方法相比,该方法对离线音频对抗和空中音频对抗具有较好的鲁棒性。
2021-12-13 cs.CR cs.SD eess.AS
Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition
Sun Yat-sen University(中山大学);Dark Matter AI Research(暗物质人工智能研究院);SalesForce
低资源的自动语音识别(ASR)是具有挑战性的,因为低资源的目标语言数据不能很好地训练ASR模型。为了解决这个问题,元学习将每个源语言的ASR公式化为许多小的ASR任务,并对来自不同源语言的所有任务进行元学习,以快速适应看不见的目标语言。然而,不同源语言由于数据规模和语音系统的差异,其任务量和难度差异很大,导致任务量和任务难度不平衡,从而导致多语言元学习ASR(MML-ASR)的失败。在这项工作中,我们通过开发一种新的对抗性Meta采样(AMS)方法来改善MML-ASR来解决这个问题。当在MML-ASR中对任务进行抽样时,AMS自适应地确定每个源语言的任务抽样概率。具体而言,对于每种源语言,如果查询损失较大,则意味着其任务在数量和难度方面没有很好地采样以训练ASR模型,因此应该更频繁地采样以进行额外的学习。受此启发,我们将所有源语言域的历史任务查询损失馈送到网络中,以学习一种任务采样策略,从而对抗性地增加MML-ASR的当前查询损失。因此,学习任务抽样策略可以掌握每种语言的学习情况,从而预测每种语言的良好任务抽样概率,以实现更有效的学习。最后,在两个多语言数据集上的实验结果表明,AMS在MML-ASR上的应用效果显著,并证明了AMS对其他低资源语音任务和迁移学习ASR方法的适用性。
2021-04-12 cs.CL cs.SD eess.AS
Exploring Targeted Universal Adversarial Perturbations to End-to-end ASR Models
Google Inc.(谷歌公司)
虽然端到端自动语音识别(e2 e ASR)模型在许多应用中被广泛部署,但是很少有研究来理解模型对对抗性扰动的鲁棒性。在本文中,我们探讨是否存在一个有针对性的通用扰动向量e2 e ASR模型。我们的目标是找到可能误导模型的扰动,以预测给定的目标转录,如“谢谢”或任何输入话语上的空字符串。我们研究了两种不同的攻击,即加性和前置扰动,以及它们在最先进的LAS,CTC和RNN-T模型上的性能。我们发现,LAS是最容易受到扰动的三个模型。RNN-T对加性扰动更鲁棒,特别是在长话语上。CTC对加性扰动和前置扰动都是鲁棒的。为了攻击RNN-T,我们发现前置扰动比附加扰动更有效,并且可以误导模型预测任意长度的话语上的相同短目标。
2021-04-06 cs.LG cs.SD eess.AS
WaveGuard: Understanding and Mitigating Audio Adversarial Examples
University of California San Diego(加利福尼亚大学圣迭戈分校)
最近,针对基于深度学习的自动语音识别(ASR)系统的对抗攻击激增。这些攻击对深度学习安全性提出了新的挑战,并在安全关键型应用程序中部署ASR系统时引起了重大关注。在这项工作中,我们介绍了WaveGuard:一个用于检测攻击ASR系统的对抗性输入的框架。我们的框架结合了音频转换功能,并分析了原始和转换后的音频的ASR transmittance,以检测对抗性输入。我们证明了我们的防御框架能够可靠地检测由四个最近的音频对抗攻击构建的对抗示例,具有各种音频变换函数。仔细考虑在防御评估的最佳做法,我们分析我们提出的防御和它的实力,以抵御自适应和强大的攻击,在音频域。我们的经验表明,音频转换,恢复音频从感知通知表示可以导致强大的防御,是强大的自适应对手,即使在一个完整的白盒设置。此外,WaveGuard可以开箱即用,并直接与任何ASR模型集成,以有效地检测音频对抗性示例,而无需进行模型再训练。
2021-03-04 cs.CR cs.LG cs.SD
Impact of Phonetics on Speaker Identity in Adversarial Voice Attack
Department of Computer Science and Engineering, Michigan State University, USA(计算机科学与工程系,密歇根州立大学)
本文研究对抗性语音攻击中语音学特征对说话人身份的影响,通过分析对抗性音频揭示其对转录和说话人验证的破坏作用,并提出语音学意识的防御措施。
2026-01-29 cs.AI cs.CR cs.SD
Hear No Evil: Towards Adversarial Robustness of Automatic Speech Recognition via Multi-Task Learning
Georgia Institute of Technology, USA(佐治亚理工学院,美国)
随着自动语音识别(ASR)系统现在被广泛部署在野外,对抗性攻击的威胁日益增加,对使用此类系统的安全性和可靠性提出了严重的问题。另一方面,多任务学习(MTL)在计算机视觉领域的训练模型中表现出了成功,可以抵抗对抗性攻击。在这项工作中,我们研究了执行这种多任务学习对语音域中ASR模型的对抗鲁棒性的影响。我们通过结合语义多样的任务(如口音分类和ASR)进行广泛的MTL实验,并评估各种对抗性设置。我们彻底的分析表明,执行MTL与语义不同的任务一致,使对抗性攻击更难成功。我们还详细讨论了严重的陷阱和相关的补救措施,有显着影响MTL模型的鲁棒性。我们提出的MTL方法显示出相当大的绝对改善,在对抗性有针对性的WER范围从17.25至59.90相比,单任务学习基线(注意力解码器和CTC分别)。我们的研究是第一个深入的研究,揭示了ASR多任务学习的对抗鲁棒性增益。
2022-04-05 cs.LG eess.AS
Zero-Query Adversarial Attack on Black-box Automatic Speech Recognition Systems
Wuhan University(武汉大学);Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学)
本文提出ZQ-Attack,一种零查询黑盒ASR系统的迁移对抗攻击,通过选择多样替代ASR、缩放目标命令初始化扰动及序列集成优化算法提升迁移性,在在线服务、开源ASR和商用设备上均实现100%攻击成功率。
2024-06-27 cs.CR cs.SD eess.AS
Towards the Transferable Audio Adversarial Attack via Ensemble Methods
Shandong University(山东大学);Quancheng Laboratory(泉城实验室)
本文研究语音识别中对抗样本的可迁移性,提出随机梯度集成和动态梯度加权集成方法,实验证明其生成的对抗样本可有效攻击黑盒API。
2023-04-18 cs.CR cs.LG cs.SD
Enhancing Pre-trained ASR System Fine-tuning for Dysarthric Speech Recognition using Adversarial Data Augmentation
The Chinese University of Hong Kong(香港中文大学)
本文针对构音障碍语音识别数据少、微调泛化差的问题,比较了多种数据增强方法,提出基于GAN的对抗数据增强,在UASpeech上显著降低WER并取得已发表最低错误率16.53%。
2024-01-01 cs.SD eess.AS
Learned Transferable Architectures Can Surpass Hand-Designed Architectures for Large Scale Speech Recognition
Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们探讨了神经结构搜索(NAS)的自动语音识别(ASR)系统。参考以前的作品在计算机视觉领域,可移植性的搜索架构是我们工作的主要重点。在小代理数据集上进行结构搜索,然后在大数据集上对用搜索到的结构构造的评估网络进行评估。特别是,我们提出了一个修正的搜索空间的语音识别任务,从理论上有利于搜索算法,以探索低复杂度的架构。大量的实验表明:(i)在小代理数据集上搜索的体系结构可以被转移到大数据集以用于语音识别任务。(ii)在修正的搜索空间中学习的体系结构可以大大减少计算开销和GPU存储器使用,并且性能略有下降。(iii)在AISHELL-2数据集和大型(10 k小时)数据集上,与我们手工设计的DFSMN-SAN体系结构相比,所搜索的体系结构可以分别实现超过20%和15%(四个测试集的平均值)的相对改进。据我们所知,这是第一份大规模数据集(高达10 K小时)NAS结果的报告,表明NAS在工业ASR系统中的应用前景广阔。
2021-05-08 cs.SD eess.AS
D-CAPTCHA++: A Study of Resilience of Deepfake CAPTCHA under Transferable Imperceptible Adversarial Attack
School of Computer Science(计算机学院);University College Dublin(都柏林大学学院);School of Computer Science and Statistics(计算机与统计学院);Trinity College Dublin(都柏林圣三一学院);University of Science(科学大学)
本研究针对基于挑战-应答协议的D-CAPTCHA深度伪造验证系统,揭示其在可迁移不可感知对抗攻击下的漏洞,并通过对抗训练优化检测器与分类器,提出更鲁棒的D-CAPTCHA++系统以抵御伪造电话攻击。
2024-09-11 cs.CR cs.LG cs.SD
Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
最近的研究强调了对抗性示例是对基于深度神经网络(DNN)的语音识别系统的普遍威胁。在这项工作中,我们提出了一个基于U-Net的注意力模型,U-Net $_{At}$,以增强对抗性语音信号。具体来说,我们通过可解释的语音识别指标来评估模型性能,并通过增强的对抗训练来讨论模型性能。我们的实验表明,在对抗性语音示例的语音增强任务中,我们提出的U-Net $_{At}$将语音质量感知评价(PESQ)从1.13提高到2.78,语音传输指数(STI)从0.65提高到0.75,短期客观可懂度(STOI)从0.83提高到0.96。我们进行实验的自动语音识别(ASR)的任务与敌对的音频攻击。我们发现(i)注意力网络学习的时间特征能够增强基于DNN的ASR模型的鲁棒性;(ii)基于DNN的ASR模型的泛化能力可以通过应用对抗性训练和添加性对抗性数据增强来增强。单词错误率(WER)的ASR度量显示,在基于梯度的扰动下,$\%$的绝对值下降了2.22 $\%$,在进化优化的扰动下,$\%$的绝对值下降了2.03 $\%$,这表明我们的对抗训练增强模型可以进一步确保弹性ASR系统。
2022-01-01 cs.CL cs.CR cs.LG
Leveraging Domain Features for Detecting Adversarial Attacks Against Deep Speech Recognition in Noise
Aalborg University(奥尔堡大学)
近年来,基于深度模型的自动语音识别(ASR)取得了重大进展,导致其在现实世界中的广泛部署。同时,针对深度ASR系统的对抗性攻击非常成功。已经提出了各种方法来保护ASR系统免受这些攻击。然而,现有的基于分类的方法专注于深度学习模型的设计,而缺乏对领域特定特征的探索。这项工作利用基于滤波器组的特征来更好地捕获攻击的特征,以改进检测。此外,本文分析了分别使用语音和非语音部分检测对抗性攻击的潜力。最后,考虑到ASR系统可能部署的不利环境,我们研究了各种类型的声学噪声和信噪比的影响。大量的实验表明,逆滤波器组的功能通常在清洁和噪声环境中表现得更好,检测是有效的,无论是使用语音或非语音部分,和声学噪声可以大大降低检测性能。
2022-11-03 cs.CR cs.LG cs.SD
Universal Adversarial Perturbations for Speech Recognition Systems
UC San Diego(加州大学圣地亚哥分校)
在这项工作中,我们证明了普遍存在的对抗性音频扰动,导致错误的转录音频信号的自动语音识别(ASR)系统。我们提出了一种算法,找到一个单一的准不可感知的扰动,当添加到任何任意的语音信号,将最有可能欺骗受害者语音识别模型。我们的实验通过为最先进的ASR系统- Mozilla DeepSpeech制作音频不可知的通用扰动来展示我们所提出的技术的应用。此外,我们还通过对基于WaveNet的ASR系统进行可转移性测试,证明了这种扰动在训练过程中不可用的模型中具有很大的普遍性。
2019-08-15 cs.LG cs.SD eess.AS
SAN: a robust end-to-end ASR model architecture
Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
针对模糊音频识别的困难,提出了一种新的用于自动语音识别的连体对抗网络(SAN)结构。具体地说,SAN构造两个子网络来区分音频特征输入,然后引入一个损失来统一这些子网络的输出分布。对抗性学习使网络能够捕获更多基本的声学特征,并帮助模型在遇到模糊音频输入时实现更好的性能。我们进行了数值实验与SAN模型在几个数据集上的自动语音识别任务。实验结果表明,该方法显著降低了字符出错率.具体来说,我们在AISHELL-1数据集上实现了一个新的最新技术水平4.37 CER,而没有语言模型,这导致CER相对减少约5%。为了揭示暹罗对抗网络的通用性,我们还进行了音素识别任务的实验,这也显示了暹罗对抗网络的优越性。
2022-10-27 cs.CL cs.SD eess.AS
Detecting and Defending Against Adversarial Attacks on Automatic Speech Recognition via Diffusion Models
针对自动语音识别系统易受定向白盒对抗攻击的问题,研究扩散模型在句子级任务中的防御效果及前向步数影响,提出无需训练的预训练扩散模型检测方法,实验验证两步扩散可完全防御且检测精度高。
2024-09-12 eess.AS
An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
本文提出了一个端到端的文本无关的说话人确认框架,联合考虑说话人嵌入(SE)网络和自动语音识别(ASR)网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量,而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时,我们同时考虑了ASR网络的三重损失最小化和对抗梯度,以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下,同一说话人的嵌入向量之间的距离最小,而不同说话人的嵌入向量之间的距离最大。此外,利用ASR网络的对抗梯度,可以减少说话人嵌入向量的文本依赖性。在实验中,我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估,评估结果表明,与其他方法相比,我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
Detecting Adversarial Examples for Speech Recognition via Uncertainty Quantification
Ruhr University Bochum(波鸿鲁尔大学)
机器学习系统,特别是自动语音识别(ASR)系统容易受到对抗性攻击,其中攻击者恶意地改变输入。在ASR系统的情况下,最有趣的情况是有针对性的攻击,其中攻击者的目的是迫使系统识别任意音频样本中的给定目标传输。越来越多的复杂的,准不可察觉的攻击提出了对策的问题。在本文中,我们专注于混合ASR系统,并比较了四种声学模型在攻击下指示不确定性的能力:前馈神经网络和三个专门为不确定性量化设计的神经网络,即贝叶斯神经网络,蒙特卡洛辍学和深度合奏。我们采用声学模型的不确定性度量来构建一个简单的一类分类模型,用于评估输入是良性的还是敌对的。基于这种方法,我们能够检测到接收算子曲线得分超过0.99的对抗性示例。用于不确定性量化的神经网络同时减少了对攻击的脆弱性,这反映在与标准混合ASR系统相比恶意目标文本的识别准确性较低。
2020-08-02 cs.CR cs.LG cs.SD