Exploring Audio Editing Features as User-Centric Privacy Defenses Against Large Language Model(LLM) Based Emotion Inference Attacks
Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）；School of Computing（计算机学院）
针对语音使能技术中音频情感隐私泄露问题，提出以用户为中心的隐私防御方法，利用音高和节奏调整的音频编辑技术保护情感隐私，经实验验证有效且探索了轻量级设备端实现原则。
2025-02-10 cs.AI cs.CR cs.LG
Mel Frequency Spectral Domain Defenses against Adversarial Attacks on Speech Recognition Systems
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电子与计算机工程系）
最近的各种工作已经研究了深度神经网络对对抗性攻击的防御，特别是在图像处理领域。诸如自动语音识别（ASR）等语音处理应用越来越依赖于深度学习模型，因此也容易受到对抗性攻击。然而，许多针对ASR探索的防御只是适应图像域防御，这可能无法提供最佳的鲁棒性。本文探讨了使用梅尔频谱域的语音特定的防御，并介绍了一种新的防御方法称为梅尔域噪声淹没（MDNF）。MDNF在重新合成音频信号之前将加性噪声应用于语音话语的梅尔频谱图。我们测试了对强白盒对抗攻击（如投影梯度下降（PGD）和Carlini-Wagner（CW）攻击）的防御，并在强威胁模型中显示出比随机平滑基线更好的鲁棒性。
2022-03-29 cs.LG eess.AS
Towards Understanding and Mitigating Audio Adversarial Examples for Speaker Recognition
说话人识别系统（SRS）最近被证明是脆弱的对抗攻击，提出了重大的安全问题。在这项工作中，我们系统地研究了基于转换和对抗训练的防御措施，以保护SRS。根据SRS的特点，我们提出了22种不同的转换，并使用最近的7个有前途的对抗攻击（4个白盒和3个黑盒）对说话人识别进行全面评估。在防御评估中，我们仔细考虑了最佳实践，分析了转换的强度，以抵御自适应攻击。我们还评估和理解了它们在与对抗性训练相结合时对抗自适应攻击的有效性。我们的研究提供了许多有用的见解和发现，其中许多是新的或与图像和语音识别领域的结论不一致，例如，可变比特率和恒定比特率语音压缩具有不同的性能，并且某些不可微的变换对于当前有希望的规避技术仍然有效，该规避技术通常在图像域中工作得很好。我们证明，与完全白盒设置中的单独对抗训练相比，所提出的新颖特征级变换与对抗训练相结合是相当有效的，例如，准确率提高了13.62%，攻击代价提高了两个数量级，而其他改造并不一定能提高整体防御能力。这项工作进一步阐明了该领域的研究方向。我们还发布了我们的评估平台SPEAKERGUARD，以促进进一步的研究。
2022-06-07 cs.AI cs.CR cs.LG
Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）
视听主动说话人检测（AVASD）是一种非常成熟的检测技术，目前已成为多模态应用中不可缺少的前端。然而，据我们所知，AVASD模型的对抗性鲁棒性尚未得到研究，更不用说对此类攻击的有效防御了。在本文中，我们首次通过大量实验揭示了AVASD模型在纯音频、纯视觉和视听对抗攻击下的脆弱性。更重要的是，我们还提出了一种新的视听交互损失（AVIL），使攻击者难以找到可行的对抗性的例子下分配的攻击预算。损失的目的是推动类间嵌入分散，即非语音和语音集群，充分解开，并拉类内嵌入尽可能接近，以保持它们紧凑。实验结果表明，在多模式攻击下，AVIL比对抗训练提高了33.14 mAP（%）。
2022-10-03 cs.LG cs.MM cs.SD
Canonical Cortical Graph Neural Networks and its Application for Speech Enhancement in Audio-Visual Hearing Aids
University of Wolverhampton（伍尔弗汉普顿大学）；São Paulo State University（圣保罗州立大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
尽管机器学习算法最近取得了成功，但在考虑需要不同来源之间交互的更复杂任务时，大多数模型都面临着缺点，例如多模态输入数据和逻辑时间序列。另一方面，生物大脑在这个意义上高度敏锐，能够自动管理和整合这些信息流。在这种情况下，这项工作的灵感来自大脑皮层电路的最新发现，提出了一个生物学上更合理的自我监督机器学习方法。这将使用层内调制的多模态信息与典型相关分析以及用于跟踪时间数据的记忆机制相结合，整体方法称为典型皮层图神经网络。这被证明优于最近的国家的最先进的模型在干净的音频重建和能源效率的基准视听语音数据集。通过减少和窒息神经元放电率分布证明了增强的性能。这表明所提出的模型适用于未来视听助听器设备中的语音增强。
2023-01-31 cs.CV cs.SD eess.AS
ALMGuard: Safety Shortcuts and Where to Find Them as Guardrails for Audio-Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；National University of Singapore（新加坡国立大学）；CSIRO’s Data61（CSIRO数据61）；Responsible AI Research (RAIR) Centre, The University of Adelaide（负责任人工智能研究（RAIR）中心，阿德莱德大学）；Tsinghua University（清华大学）
音频-语言模型（ALM）的最新进展显着提高了多模态理解能力。然而，音频模态的引入也带来了新的和独特的脆弱性向量。以前的研究已经提出了专门针对ALM的越狱攻击，揭示了直接从传统音频对抗攻击或基于文本的大语言模型（LLM）越狱转移的防御在很大程度上对这些ALM特定的威胁无效。为了解决这个问题，我们提出了ALMGuard，第一个防御框架量身定制的ALM。基于安全对齐的快捷方式自然存在于ALM中的假设，我们设计了一种方法来识别通用的触发器激活扰动（SAP），该触发器激活安全快捷方式以在推理时保护ALM。为了更好地筛选出有效的触发器，同时保留模型在良性任务上的实用性，我们进一步提出了Mel梯度稀疏掩码（M-GSM），它将扰动限制在对越狱敏感但对语音理解不敏感的Mel频率区间。理论分析和实验结果表明，我们的方法对可见和不可见的攻击的鲁棒性。总的来说，\MethodName在四个模型中将高级特定于ALM的越狱攻击的平均成功率降低到4.6%，同时保持了良性基准测试的可比实用性，将其确立为最新的技术水平。我们的代码和数据可以在https://github.com/WeifeiJin/ALMGuard上获得。
2025-10-30 cs.CR cs.LG cs.SD
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中，首先，我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形，并攻击DeepSpeech，这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率（DeepSpeech分类成功率为零）。其次，我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度，并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类，这表明PCA不是音频域中的良好防御机制。最后，我们没有使用PCA作为防御机制，这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下，我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击，并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件，需要在攻击过程中的分类结果。在所有情况下，对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
SHIELD: A Secure and Highly Enhanced Integrated Learning for Robust Deepfake Detection against Adversarial Attacks
College of Innovation & Technology, University of Michigan-Flint（创新与技术学院，密歇根大学弗林特分校）
本文提出SHIELD协作学习框架，通过集成防御生成模型和三元组模型捕获真实与反取证攻击音频间的相关性，以抵御生成式反取证攻击，并在多个数据集上实现高鲁棒检测准确率。
2025-07-17 cs.AI cs.CR cs.LG
Characterizing Audio Adversarial Examples Using Temporal Dependency
Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC, Berkeley（加州大学伯克利分校）
最近的研究强调对抗性示例是对不同神经网络模型和许多下游应用的普遍威胁。尽管如此，由于独特的数据属性激发了独特而强大的学习原则，本文旨在探索它们在减轻对抗性输入方面的潜力。特别是，我们的研究结果揭示了使用音频数据中的时间依赖性来获得对抗性示例的区分能力的重要性。在自动语音识别（ASR）任务和最近的三种音频对抗攻击上进行测试，我们发现（i）从图像对抗防御开发的输入变换提供了有限的鲁棒性改进，并且对高级攻击很微妙;（ii）可以利用时间依赖性来获得对音频对抗示例的区分能力，并且抵抗我们实验中考虑的自适应攻击。我们的研究结果不仅显示了提高ASR系统鲁棒性的有希望的方法，而且还提供了利用特定领域数据属性来减轻对抗性示例的负面影响的新见解。
2019-06-05 cs.AI cs.CR cs.LG
SoundBreak: A Systematic Study of Audio-Only Adversarial Attacks on Trimodal Models
Department of Computer Science, Virginia Tech, USA（计算机科学系，弗吉尼亚理工大学）
SoundBreak研究了对三模态模型的仅音频对抗攻击，发现音频扰动可导致严重多模态失败，攻击成功率高达96%，并揭示了多模态系统中被忽视的单模态攻击面。
2026-01-20 cs.AI cs.CL cs.LG
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
对抗攻击是一种利用过程，其中对自然输入进行微小的改变，导致输入被神经模型错误分类。在语音识别领域，这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的，但它们已经渗透到语音识别领域。2017年，基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器，如语音命令模型，用于各种应用程序，特别是电话;因此，这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效，检测音频对抗性示例的准确率为93.5%，召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
An Audio-Visual Speech Separation Model Inspired by Cortico-Thalamo-Cortical Circuits
Tsinghua University（清华大学）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究所）
受皮层-丘脑-皮层回路启发，提出新型CTCNet模型用于视听语音分离，通过自下而上学习与自上而下融合机制模拟大脑解剖连接组，在三个基准数据集上以更少参数显著优于现有方法。
2024-03-22 cs.CV cs.SD
What You Read Isn't What You Hear: Linguistic Sensitivity in Deepfake Speech Detection
Independent Researcher（独立研究者）；Indiana University（印第安纳大学）；Deep Media AI（深媒体人工智能）
本研究通过转录级对抗性攻击揭示深度伪造语音检测器对语言扰动的敏感性，攻击成功率超60%，商业检测器准确率从100%降至32%，强调需在反欺骗系统中考虑语言变化。
2025-05-23 cs.CL cs.LG cs.SD
Gradient Norm-based Fine-Tuning for Backdoor Defense in Automatic Speech Recognition
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；South China University of Technology（华南理工大学）
针对音频领域后门防御空白及视觉方法适配效果有限的问题，提出基于梯度范数的微调（GN-FT）方法，利用后门神经元梯度值较高的特性引入正则化削弱后门神经元，是首个有效的音频领域后门防御策略。
2025-02-03 cs.LG cs.SD eess.AS
LMD: A Learnable Mask Network to Detect Adversarial Examples for Speaker Verification
School of Marine Science and Technology, Northwestern Polytechnical University（海洋科学与技术学院，西北工业大学）；Research & Development Institute of Northwestern Polytechnical University（西北工业大学研发院）；Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；Ocean Institute of Northwestern Polytechnical University（西北工业大学海洋学院）
本文提出可学习掩码检测器LMD，利用ASV分数变化检测对抗样本，仅需真实样本训练且具备可解释性，在12种攻击和两个ASV系统上优于五个基线方法。
2023-06-14 cs.LG cs.SD eess.AS
Towards the Universal Defense for Query-Based Audio Adversarial Attacks
Shandong University（山东大学）；Quancheng Laboratory（泉城实验室）
针对基于查询的音频对抗攻击，本文利用连续相似查询特征提出基于音频指纹和记忆机制的过程级防御，可在四类攻击上以逾90%准确率识别攻击意图，并抵御两种自适应攻击。
2023-04-20 cs.CR cs.SD eess.AS
Adversarial Attacks on Audio Deepfake Detection: A Benchmark and Comparative Study
College of Innovation & Technology University of Michigan-Flint（创新与技术学院 美国密歇根大学弗林特分校）
本文基准比较了最先进的音频深度伪造检测方法，评估其在多种反取证攻击下的脆弱性，为设计更鲁棒的检测器提供指导。
2025-09-08 cs.AI cs.CV cs.LG
Detecting Audio Attacks on ASR Systems with Dropout Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近开发了各种对抗性音频攻击来欺骗自动语音识别（ASR）系统。我们在这里提出了一个防御这种攻击的基础上引入的不确定性神经网络中的辍学。我们表明，我们的防御能够检测到通过最先进的端到端ASR系统上的优化扰动和频率掩蔽创建的攻击。此外，可以使防御对不受噪声降低影响的攻击是鲁棒的。我们在Mozilla的CommonVoice数据集，UrbanSound数据集和LibriSpeech数据集的摘录上测试了我们的防御，表明它在广泛的场景中实现了高检测精度。
2020-09-15 cs.CR cs.LG cs.SD
Audio Jailbreaks in Large Audio-Language Models: Taxonomy, Attack-Defense Analysis, and Cost-Aware Evaluation
National Taiwan University（台湾大学）
本文提出了大型音频语言模型中音频越狱攻击与防御的统一分类法和受控实证评估，揭示了声学最佳N攻击暴露了最坏情况下的音频空间漏洞，叙事框架是一种有效的低延迟语义威胁，而现有防御在鲁棒性与良性可用性之间存在权衡。
2026-05-28 cs.AI cs.CL cs.SD
Attacks as Defenses: Designing Robust Audio CAPTCHAs Using Attacks on Automatic Speech Recognition Systems
University of Florida（佛罗里达大学）
音频CAPTCHA应该为在线资源提供强大的防御;然而，语音到文本机制的进步使这些防御无效。音频CAPTCHA不能简单地被放弃，因为它们被W3C特别命名为可访问性的重要推动者。因此，更健壮的音频CAPTCHA对未来安全和可访问的Web非常重要。我们期待最近的文献对语音到文本系统的攻击的灵感，为建设强大的，原则驱动的音频防御。我们首先比较了20篇最近的攻击论文，对它们进行了分类和测量，以作为新的“对转录具有鲁棒性”但“易于人类理解”的CAPTCHA的基础。在证明这些攻击都不足以解决问题后，我们提出了一种新的机制，它既相对容易理解（通过用户研究进行评估），又难以自动转录（即，$P({\rm transcription}) = 4 \times 10^{-5}$）。最后，我们证明了我们的音频样本有很高的概率被检测为验证码时，语音到文本系统（$P({\rm evasion}) = 1.77 \times 10^{-4}$）。通过这样做，我们不仅展示了一个难以破解的CAPTCHA大约四个数量级，而且可以根据从攻击论文中获得的见解来设计这样的系统，使用人类和计算机处理音频的方式之间的差异。
2022-03-10 cs.AI cs.CR cs.SD
Robustifying automatic speech recognition by extracting slowly varying features
本文提出一种防御方法，通过慢特征分析或低通滤波去除音频快速变化特征，增强ASR系统对定向对抗攻击的鲁棒性，在保持干净数据性能的同时，鲁棒性提升四倍以上。
2024-11-06 cs.LG cs.SD eess.AS
Detecting Adversarial Examples
Department of Electrical Engineering University of South Florida（电气工程系 美国佛罗里达州立大学）
针对现有DNN对抗样本防御方法易随攻击技术进步失效的问题，提出一种通过分析DNN层输出、用轻量回归模型预测误差检测对抗样本的通用轻量方法，经理论和实验验证有效且跨领域适用。
2025-06-16 cs.CR cs.LG
Let the Noise Speak: Harnessing Noise for a Unified Defense Against Adversarial and Backdoor Attacks
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；University of South Florida（南佛罗里达大学）
针对机器学习面临的对抗性与后门攻击，现有防御存在攻击特异性和强假设限制，本研究提出NoiSec，通过利用重构噪声识别恶意操纵，实现统一防御，在多数据集和攻击场景中表现优异且优于基线。
2025-04-14 cs.CR cs.CV cs.LG
SoK: A Modularized Approach to Study the Security of Automatic Speech Recognition Systems
Shandong University（山东大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Boston University（波士顿大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
随着自动语音识别（ASR）在人机交互、同声传译、音频转录等应用中的广泛使用，其安全保护变得越来越重要。虽然最近的研究已经揭示了流行的ASR系统的弱点，这些系统能够进行带外信号攻击、对抗攻击等，并进一步提出了各种补救措施（信号平滑，对抗训练等），对ASR安全性（攻击和防御）的系统性理解仍然缺失，特别是关于此类威胁的现实程度以及现有保护的一般性。在本文中，我们提出了我们的系统化知识的ASR安全，并提供了一个全面的分类现有的工作的基础上，模块化的工作流程。更重要的是，我们将这一领域的研究与图像识别系统（IRS）中的安全性研究相结合，后者已被广泛研究，使用后者的领域知识来帮助理解我们在前者中的位置。一般来说，IRS和ASR都是感知系统。它们的相似性使我们能够系统地研究现有的文献在ASR安全的基础上提出的攻击和防御解决方案的IRS的频谱，并查明更先进的攻击和方向可能导致更有效的保护在ASR的方向。相比之下，它们之间的差异，特别是ASR与IRS相比的复杂性，有助于我们了解ASR安全方面的独特挑战和机遇。特别是，我们的实验研究表明，即使在缺乏关于模型（甚至它们的类型）和训练数据的知识的情况下，跨ASR模型的迁移学习也是可行的。
2021-07-30 cs.CR cs.LG cs.SD
Can audio-visual integration strengthen robustness under multimodal attacks?
University of Rochester（罗切斯特大学）
在本文中，我们提出了一个系统的研究机器多感官感知攻击。我们使用视听事件识别任务对抗多模态对抗攻击作为代理来研究视听学习的鲁棒性。我们攻击音频，视觉，以及这两种形式，以探索视听整合是否仍然加强感知，以及不同的融合机制如何影响视听模型的鲁棒性。为了解释攻击下的多模态交互，我们学习了一个弱监督声源视觉定位模型来定位视频中的发声区域。为了抵御多模态攻击，我们提出了一种基于视听相异性约束和外部特征存储体的视听防御方法。大量的实验表明，视听模型易受多模态对抗攻击的影响;视听融合不仅不能增强模型的鲁棒性，反而会降低模型的鲁棒性;即使是弱监督的声源视觉定位模型也能被成功欺骗;我们的防御方法可以在不显著牺牲模型性能的情况下提高视听网络的抗毁性。
2021-04-05 cs.CR cs.CV cs.SD
Defending against Adversarial Audio via Diffusion Model
Arizona State University（亚利桑那州立大学）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
近年来，深度学习模型已广泛用于商业声学系统中。然而，对抗性音频示例可能会导致这些声学系统的异常行为，同时人类很难感知。已经提出了各种方法，例如基于变换的防御和对抗训练，以保护声学系统免受对抗攻击，但是它们对自适应攻击的效果较差。此外，由于音频数据的独特属性，直接从图像域应用方法可能导致次优结果。在本文中，我们提出了一个基于对抗净化的防御管道，AudioPure，通过现成的扩散模型声学系统。利用扩散模型强大的生成能力，AudioPure首先在对抗音频中添加少量噪声，然后运行反向采样步骤来净化噪声音频并恢复干净的音频。AudioPure是一种即插即用的方法，可以直接应用于任何预训练的分类器，而无需任何微调或重新训练。我们在语音命令识别任务上进行了广泛的实验，以评估AudioPure的鲁棒性。我们的方法是有效的对抗不同的对抗攻击（例如$\mathcal{L}_2$或$\mathcal{L}_\infty$ -norm）。该方法在强自适应白盒和黑盒攻击下的性能优于现有的方法，这些攻击由$\mathcal{L}_2$或$\mathcal{L}_\infty$ -范数约束（鲁棒准确率高达+20\%）。此外，我们还评估了证明的鲁棒性的扰动有界的$\mathcal{L}_2$ -范数通过随机平滑。我们的管道实现了比基线更高的认证精度。
2023-03-02 cs.CR cs.LG cs.SD
Trustworthy Sensor Fusion against Inaudible Command Attacks in Advanced Driver-Assistance System
Macquarie University（麦考瑞大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Deakin University（迪肯大学）；University of Technology Sydney（悉尼科技大学）；Shangdong Computer Science Center, Qilu University of Technology（齐鲁工业大学山东省计算中心）
针对自动驾驶系统中不可听语音指令攻击的防御难题，本文提出基于VGG网络的多模态融合框架MFF，达92.25%检测准确率，还通过不确定性度量提升模型鲁棒性与可解释性，可应用于高级驾驶辅助系统。
2023-05-30 cs.AI cs.CR cs.LG
VocalCrypt: Novel Active Defense Against Deepfake Voice Based on Masking Effect
School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
本文提出VocalCrypt主动防御方法，通过SFS向音频嵌入不可察觉的伪音色干扰以阻止AI语音克隆，在保持音质与ASV表现的同时将生成速度提升500%。
2025-02-14 cs.CR cs.MM cs.SD
Adversarial Attacks to Multi-Modal Models
Duke University（杜克大学）；The University of Tokyo（东京大学）；Rochester Institute of Technology（罗切斯特理工学院）；University of North Texas（北得克萨斯大学）；University of Louisville（路易斯维尔大学）
本文提出CrossFire方法，通过将目标输入转换为匹配模态并最小化嵌入角度偏差来优化扰动，有效攻击多模态模型并操纵下游任务，且现有防御策略难以抵御。
2024-09-24 cs.CR cs.IR cs.LG
"I am bad": Interpreting Stealthy, Universal and Robust Audio Jailbreaks in Audio-Language Models
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
本文针对音频语言模型提出首个通用音频越狱攻击，通过构造跨提示、任务和样本的对抗扰动绕过对齐机制，并揭示其编码第一人称有毒语音，为多模态安全防御提供见解。
2025-07-10 cs.LG cs.SD eess.AS
Detection-Guided Adaptive Purification with Diffusion Models for Robust Audio Deepfake Detection
Michigan State University（密歇根州立大学）
该研究针对音频深度伪造检测的对抗性扰动问题，提出检测引导自适应净化（DGAP）方法，可按输入调整净化强度，在三类检测器上防御性能最优且对良性输入影响小，在防御感知自适应攻击下仍有效。
2026-10-09 cs.CR cs.SD
A Training-Free Proactive Defense Against Partial Speech Manipulation via Self-Embedding Steganography
National Institute of Informatics（情报信息研究所）
针对部分深度伪造语音检测难题，本文提出一种无需训练的主动防御方法，通过将自嵌入策略与现有音频隐写术结合，借助编解码器修复实现检测，可与被动防御互补且数据效率高。
2026-09-21 cs.AI cs.SD
SyntheticPop: Attacking Speaker Verification Systems With Synthetic VoicePops
College of Science, San Jose State University（圣何塞州立大学理学院）
针对VA+VoicePop防御机制，提出SyntheticPop攻击方法，通过嵌入合成“pop”噪声污染训练数据，在污染20%数据集时攻击成功率超95%，显著降低VA+VoicePop系统准确率至14%，暴露其安全漏洞。
2025-02-13 cs.CR cs.LG
Learning to Evade: Adaptive Attacks on Audio Watermarking
University of Missouri-Kansas City（密苏里大学堪萨斯城分校）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）；University of South Florida（南佛罗里达大学）；Michigan State University（密歇根州立大学）；University of Miami（迈阿密大学）
提出自适应音频水印攻击方法AWM，通过两阶段优化和分布参数估计，在保持高成功率的同时绕过检测器，检测率低于10%。
2026-06-23 cs.CR cs.SD
AEGIS: Audio Endogenous Guarding via Internal Signals Against Large Audio-Language Model Jailbreaks
National Taiwan University（国立台湾大学）
针对大型音频语言模型的越狱攻击，提出AEGIS防御方法，通过中层风险门控激活安全适配器，将平均不安全率从17.9%降至0.4%，实现鲁棒拒绝。
2026-09-25 cs.CR cs.SD
SpeechGuard: Online Defense against Backdoor Attacks on Speech Recognition Models
研究针对语音识别模型运行时的后门攻击，提出SpeechGuard在线防御管道，改进STRIP方法为S-STRIP检测过滤中毒样本，利用时频掩蔽等净化样本，经实验验证其能有效减轻后门威胁并维持预测准确率。
2026-07-20 cs.CR cs.LG cs.SD
Defense Against Synthetic Speech: Real-Time Detection of RVC Voice Conversion Attacks
Northeastern University（东北大学）；University of Toronto（多伦多大学）；MIT Art, Design and Technology（MIT艺术设计与技术大学）
本研究提出了一种实时检测RVC语音转换攻击的方法，通过流分类任务和短窗口声学特征提取，实现了低延迟的语音检测与分析。
2025-12-31 cs.AI cs.SD eess.AS
RoVo: Robust Voice Protection Against Unauthorized Speech Synthesis with Embedding-Level Perturbations
Soongsil University（顺斯大学）
针对现有音频级扰动防御易被语音增强抵消的问题，提出嵌入级扰动防御方法RoVo，在多个合成模型和商用API上实现高防御成功率，且抗语音增强能力强，同时保留语音自然度与可用性。
2025-05-19 cs.LG cs.SD eess.AS
Interpretable MEG Decoding of Perceived Speech: Cortical Sources and the Stimulus Features That Drive Retrieval
HSE University（高等经济大学）；ITMO University（ITMO大学）
本研究重新设计MEG到音频检索架构，在MEG-MASC数据集上实现39.75±0.34%的Top-1准确率，通过源映射与输入干预明确了驱动语音检索的关键刺激特征。
2026-08-04 cs.LG cs.SD q-bio.NC
A Survey On Universal Adversarial Attack
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Electronic Science and Technology of China（电子科技大学）；Sichuan University（四川大学）
对抗性示例的有趣现象在机器学习中引起了极大的关注，而更令人惊讶的是普遍对抗性扰动（universal adversarial perturbations，UAP）的存在，即对于大多数图像，一个扰动就可以欺骗目标DNN。本文以针对深度分类器的UAP为研究重点，综述了通用对抗攻击的最新进展，讨论了攻击和防御双方面临的挑战，以及UAP存在的原因。我们的目标是将这项工作扩展为动态调查，定期更新其内容，以跟踪有关UAP或广泛领域（如图像，音频，视频，文本等）的通用攻击的新作品。https://bit.ly/2SbQlLG我们欢迎该领域未来作品的作者与我们联系，以纳入您的新发现。
2022-01-04 cs.CV cs.LG
EveGuard: Defeating Vibration-based Side-Channel Eavesdropping with Audio Adversarial Perturbations
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Michigan（密歇根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出软件防御框架EveGuard，通过生成对抗性音频干扰振动侧信道窃听，在保持人耳感知质量的同时实现超过97%的语音隐私保护率。
2025-04-09 cs.CR cs.MM cs.SD
Attack Agnostic Statistical Method for Adversarial Detection
Harman International India Pvt. Ltd.（哈曼国际印度私人有限公司）
基于深度学习的人工智能系统在视觉、音频、自主系统（车辆、无人机）等各个领域都表现出了巨大的潜力。最近对神经网络的研究表明，深度网络对对抗攻击的敏感性--一种向输入添加小扰动的技术，可以欺骗深度网络对它们进行错误分类。开发针对这种对抗攻击的防御是一个活跃的研究领域，一些方法提出了对这种对手免疫的鲁棒模型，而其他技术则试图检测这种对抗性输入。在本文中，我们提出了一种新的统计方法用于对抗检测图像分类。我们的方法是基于构建一个每类的特征分布和检测对手的基础上比较的测试图像的特征与其类的特征分布。为此，我们利用各种统计距离，如ED（能量距离），MMD（最大平均离散）的对抗检测，并分析每个度量的性能。我们的实验表明，我们的方法在MNIST和CIFAR-10数据集上实现了良好的对抗检测性能，无论攻击方法，样本大小和对抗干扰的程度如何。
2019-11-22 cs.LG stat.ML
Noise Flooding for Detecting Audio Adversarial Examples Against Automatic Speech Recognition
The College University of Chicago（芝加哥大学学院）；University of Colorado Colorado Springs（科罗拉多斯普林斯分校科罗拉多大学）
神经模型在各种任务中得到广泛使用，并已成为许多工业系统的关键组成部分。尽管它们有效且广受欢迎，但它们并非没有可利用的缺陷。最初应用于计算机视觉系统，对抗性示例的生成是对图像进行看似不可感知的扰动的过程，目的是诱导基于深度学习的分类器对图像进行错误分类。由于语音处理的最新趋势，这已经成为语音识别模型中的一个值得注意的问题。在2017年底，一种攻击被证明对语音命令分类模型非常有效。词汇量有限的语音分类器，如语音命令模型，在各种应用程序中使用得非常频繁，特别是在电话环境中管理自动话务员。因此，这种攻击产生的对抗性例子可能会产生现实世界的后果。虽然以前在防御这些对抗性示例方面的工作已经研究了使用音频预处理来减少或扭曲对抗性噪声，但这项工作探索了用随机噪声淹没音频信号的特定频带以检测对抗性示例的想法。这种不需要重新训练或修改模型的泛洪技术受到计算机视觉工作的启发，并建立在语音分类器对自然噪声相对鲁棒的想法之上。一种结合了5个不同频带的组合防御方法，用于用噪声淹没信号，其性能优于音频空间中其他现有的防御方法，检测对抗性示例的准确率为91.8%，召回率为93.5%。
2018-12-25 cs.CL cs.CR cs.LG
Catch Me If You Can: Blackbox Adversarial Attacks on Automatic Speech Recognition using Frequency Masking
University of Edinburgh（爱丁堡大学）
自动语音识别（ASR）模型是普遍的，特别是在用于家用电器的语音导航和话音控制的应用中。ASR的计算核心是深度神经网络（DNN），已被证明易受对抗性扰动的影响;很容易被攻击者滥用以生成恶意输出。为了帮助测试ASRS的安全性和鲁棒性，我们提出了生成黑盒（与DNN无关）的技术，这些技术可以跨ASR进行无针对性的对抗攻击。这与专注于白盒目标攻击的现有工作形成对比，这些攻击耗时且缺乏可移植性。我们的技术生成对抗攻击，通过使用心理声学模型操纵音频信号，保持音频扰动低于人类感知的阈值，没有人类可听的差异。我们使用三种流行的ASR和两个输入音频数据集，使用的指标-字出错率（WER）的输出转录，原始音频的相似性，攻击成功率不同的ASR和检测分数的防御系统，我们的技术评估的可移植性和有效性。我们发现我们的对抗攻击可以跨ASR进行移植，不容易被最先进的防御系统检测到，并且在输出传输上有显著差异，同时听起来与原始音频相似。
2022-04-12 cs.CL cs.SD cs.SE
JALMBench: Benchmarking Jailbreak Vulnerabilities in Audio Language Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；State Key Laboratory of Internet Architecture, Tsinghua University（清华大学互联网架构国家重点实验室）；University of North Texas（北卡罗来纳州立大学）；University of Science and Technology of China（中国科学技术大学）；Fujian Normal University（福建师范大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
JALMBench通过评估11,316个文本样本和245,355个音频样本，分析LALMs对越权攻击的安全性，揭示模态和架构对安全性的影响，强调需专门设计的防御方法。
2026-02-28 cs.AI cs.CR cs.SD
SmoothGuard: Defending Multimodal Large Language Models with Noise Perturbation and Clustering Aggregation
Independent Researcher（独立研究者）
本文提出SmoothGuard防御框架，通过随机高斯噪声注入和基于嵌入的聚类聚合，有效提升多模态大语言模型对对抗性攻击的鲁棒性，同时保持模型实用性。
2025-10-29 cs.CR cs.LG
VoiceCloak: A Multi-Dimensional Defense Framework against Unauthorized Diffusion-based Voice Cloning
VoiceCloak通过多维防御机制有效对抗未经授权的基于扩散的语音克隆，通过扰动参考音频和破坏条件引导过程来混淆说话者身份并降低语音质量。
2025-12-09 cs.AI cs.CV cs.MM
Codec-Robust Attacks on Audio LLMs
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Qualcomm（高通）
提出CodecAttack，通过在神经音频编解码器的连续潜在空间中优化扰动，实现对抗Opus、MP3和AAC-LC等有损压缩的鲁棒攻击，平均目标子串攻击成功率85.5%。
2026-05-21 cs.AI cs.SD
DRL-CLBA: A Clean Label Backdoor Attack for Speech Classification via DDPG Reinforcement Learning
Xiangtan University（湘潭大学）；Peking University（北京大学）
提出DRL-CLBA，一种利用深度确定性策略梯度（DDPG）强化学习和深度音频隐写术的干净标签后门攻击方法，无需标签迁移即可污染目标样本，在多个数据集和模型上实现高攻击成功率并绕过多种防御。
2026-07-03 cs.AI cs.SD
Yours or Mine? Overwriting Attacks Against Neural Audio Watermarking
本文提出针对神经音频水印的覆盖攻击，揭示现有系统安全漏洞，强调未来需加强安全设计。
2025-12-04 cs.CR cs.SD eess.AS
Advancing Continual Learning for Robust Deepfake Audio Classification
University of New South Wales（新南威尔士大学）
针对音频深度伪造检测中未知攻击识别难、传统重训练存储成本高的问题，提出持续学习方法CADE，通过固定内存存样、双层蒸馏损失实现旧知识保留与性能提升，在ASVspoof2019上优于基线。
2024-07-14 cs.SD eess.AS
Using Inaudible Audio and Voice Assistants to Transmit Sensitive Data over Telephony
Georgia Institute of Technology（佐治亚理工学院）
由于语音助理（VA）部署在家庭和企业网中的日益普及，出现了新的安全和隐私问题。许多过去的研究结果已经证明了恶意行为者如何使用隐藏的命令来让VA执行某些操作，即使有人可能在他们附近。然而，这些工作还没有探索接近VA的受损计算机如何利用电话渠道在VA的帮助下泄露数据。在描述了通过命令VA拨打电话号码而建立的通信信道后，我们演示了恶意软件如何将数据编码为音频并通过电话信道发送。这种攻击可以远程、大规模和低成本地进行，可以用来绕过可能针对敏感数据泄漏而部署的网络防御。我们使用双音多频音调将任意二进制数据编码为音频，这些音频可以通过计算机扬声器播放，并通过VA介导的电话信道发送到远程系统。我们表明，少量的数据可以传输具有高精度与持续几分钟的短电话。这可以在使音频对于大多数人来说几乎听不见的同时通过使用具有接近人类听觉范围的高端的频率的载波对其进行调制来完成。有几个因素影响数据传送率，包括计算机和VA之间的距离、可能存在的环境噪声和调制载波的频率。在我们建立的原型的帮助下，我们实验评估这些因素对数据传送率和传输精度的影响。我们的研究结果表明，计算机附近的语音助手可能会对存储在这些计算机上的数据构成新的威胁。传统的主机和网络防御无法解决这些威胁。我们简要讨论可能的缓解方法。
2020-09-21 cs.CR cs.SD eess.AS
Attacker Attribution of Audio Deepfakes
Fraunhofer AISEC（弗劳恩霍夫应用安全研究中心）；Technical University of Munich（慕尼黑工业大学）；University of Southampton（南安普顿大学）
Deepfake是合成生成的媒体，通常带有恶意意图。他们已经变得越来越有说服力的大型训练数据集先进的神经网络。这些假货很容易被滥用于诽谤、误传和欺诈。为此，对发展对策的深入研究也在扩大。然而，最近的工作几乎完全局限于deepfake检测-预测音频是真的还是假的。这是一个虚构的故事，是谁创造的？是更大的防御战略的重要组成部分，正如在网络安全领域长期以来所实践的那样。本文考虑了音频领域中的Deepfake攻击者归属问题。我们提出了几种使用低级声学描述符和机器学习嵌入来创建攻击者签名的方法。我们表明，语音信号特征是不足以表征攻击者签名。然而，我们还证明了来自递归神经网络的嵌入可以成功地表征来自已知和未知攻击者的攻击。我们的攻击签名嵌入会导致不同的集群，无论是可见的还是不可见的音频deepfake。我们表明，这些嵌入可以用于下游任务，以高效，得分97.10%的准确率在攻击者ID分类。
2022-03-28 cs.CR cs.LG cs.SD
Vulnerabilities of Audio-Based Biometric Authentication Systems Against Deepfake Speech Synthesis
Hong Kong Polytechnic University（香港理工大学）；AI Group, WeBank Co., Ltd（WeBank公司人工智能部）
本文揭示了基于深度伪造语音合成的音频生物认证系统存在两大安全漏洞，需通过架构创新和多因素认证提升安全性。
2026-01-06 cs.CR cs.SD
