Robust Audio Adversarial Example for a Physical Attack
University of Tsukuba（筑波大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
我们提出了一种方法来生成音频对抗的例子，可以攻击一个国家的最先进的语音识别模型在物理世界。以前的工作假设生成的对抗性示例直接馈送到识别模型，并且由于来自回放环境的混响和噪声而无法执行这种物理攻击。相比之下，我们的方法通过模拟物理世界中回放或记录引起的变换并将变换纳入生成过程来获得强大的对抗性示例。评估和听力实验表明，我们的对抗性示例能够在不被人类注意的情况下进行攻击。这一结果表明，该方法生成的音频对抗示例可能会成为真正的威胁。
2019-08-19 cs.CR cs.LG cs.SD
Detecting Audio Adversarial Examples with Logit Noising
POSTECH（浦项工科大学）
自动语音识别（ASR）系统容易受到音频对抗性示例的攻击，这些音频对抗性示例试图通过向良性语音信号添加扰动来欺骗ASR系统。虽然一个敌对的例子和原始的良性波是无法区分的人类，前者被转录为一个恶意的目标句子的ASR系统。已经提出了几种方法来生成音频对抗性示例并将其直接馈送到ASR系统（在线）。此外，许多研究人员已经证明了强大的物理音频对抗示例（空中）的可行性。为了抵御这些攻击，已经提出了几项研究。然而，在现实世界中部署它们是困难的，因为精度下降或时间开销。在本文中，我们提出了一种新的方法来检测音频对抗性的例子，在将它们馈送到ASR的解码器之前，向logits添加噪声。我们表明，精心选择的噪声可以显着影响音频对抗性示例的转录结果，而它对良性音频波的转录结果的影响最小。基于这一特点，我们检测音频对抗的例子，通过比较的转录改变的logit噪声与其原始的转录。所提出的方法可以很容易地应用到ASR系统，无需任何结构变化或额外的培训。实验结果表明，与现有的检测方法相比，该方法对离线音频对抗和空中音频对抗具有较好的鲁棒性。
2021-12-13 cs.CR cs.SD eess.AS
ADAGIO: Interactive Experimentation with Adversarial Attack and Defense for Audio
Georgia Institute of Technology（佐治亚理工学院）；Intel Corporation（英特尔公司）
对抗机器学习研究最近已经证明了通过向音频样本引入声学上不可感知的扰动来混淆自动语音识别（ASR）模型的可行性。为了帮助研究人员和从业人员更好地了解此类攻击的影响，并为他们提供工具，帮助他们更轻松地评估和为其模型制作强大的防御，我们介绍了ADAGIO，这是第一个旨在实时的ASR模型上的对抗攻击和防御的交互式实验工具，包括视觉和听觉。ADAGIO采用AMR和MP3音频压缩技术作为防御手段，用户可以交互式地将其应用于受攻击的音频样本。我们表明，这些技术，这是基于心理声学原理，有效地消除有针对性的攻击，攻击成功率从92.5%降低到0%。我们将演示ADAGIO，并邀请观众在Mozilla Common Voice数据集上试用。
2018-05-30 cs.CR cs.LG cs.SD
Targeted Adversarial Examples for Black Box Audio Systems
UC Berkeley（加州大学伯克利分校）
深度递归网络在音频转录中的应用已经在自动语音识别（ASR）系统中取得了令人印象深刻的进展。许多人已经证明，小的对抗性扰动可以欺骗深度神经网络，使其以高置信度错误地预测特定目标。目前关于愚弄ASR系统的工作主要集中在白盒攻击上，其中模型架构和参数是已知的。在本文中，我们采用了一个黑箱的方法来对抗生成，结合遗传算法和梯度估计的方法来解决这个问题。我们在3000代后实现了89.25%的目标攻击相似性，同时保持了94.6%的音频文件相似性。
2019-08-20 cs.CR cs.LG cs.SD
Characterizing Audio Adversarial Examples Using Temporal Dependency
Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC, Berkeley（加州大学伯克利分校）
最近的研究强调对抗性示例是对不同神经网络模型和许多下游应用的普遍威胁。尽管如此，由于独特的数据属性激发了独特而强大的学习原则，本文旨在探索它们在减轻对抗性输入方面的潜力。特别是，我们的研究结果揭示了使用音频数据中的时间依赖性来获得对抗性示例的区分能力的重要性。在自动语音识别（ASR）任务和最近的三种音频对抗攻击上进行测试，我们发现（i）从图像对抗防御开发的输入变换提供了有限的鲁棒性改进，并且对高级攻击很微妙;（ii）可以利用时间依赖性来获得对音频对抗示例的区分能力，并且抵抗我们实验中考虑的自适应攻击。我们的研究结果不仅显示了提高ASR系统鲁棒性的有希望的方法，而且还提供了利用特定领域数据属性来减轻对抗性示例的负面影响的新见解。
2019-06-05 cs.AI cs.CR cs.LG
Boosting the Transferability of Audio Adversarial Examples with Acoustic Representation Optimization
National Engineering Research Center of Disaster Backup and Recovery（国家防灾备份与恢复工程研究中心）；School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）
提出声学表示优化技术，通过对齐低层声学特征提升音频对抗样本跨模型可迁移性，且不损害音频质量，可即插即用。实验验证了其有效性。
2025-03-25 cs.CR cs.LG cs.SD
aaeCAPTCHA: The Design and Implementation of Audio Adversarial CAPTCHA
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
CAPTCHA旨在防止恶意机器人程序滥用网站。大多数在线服务提供商为视障用户部署音频CAPTCHA作为文本和图像CAPTCHA的替代方案。然而，先前调查音频CAPTCHA安全性的研究发现，它们非常容易受到使用自动语音识别（ASR）系统的自动攻击。为了提高音频验证码对自动滥用的鲁棒性，本文提出了一个音频对抗性验证码系统（aaeCAPTCHA）的设计与实现。aaeCAPTCHA系统利用音频对抗示例作为CAPTCHA，以防止ASR系统自动解决它们。此外，我们针对五个最先进的基于DNN的ASR系统和三个商业语音转文本（STT）服务对我们的新音频CAPTCHA设计进行了严格的安全评估。我们的实验评估表明，aaeCAPTCHA对这些语音识别技术是高度安全的，即使攻击者完全了解当前对音频对抗性示例的攻击。我们还对aaeCAPTCHA方案的概念验证实现进行了可用性评估。我们的研究结果表明，它实现了较高的鲁棒性在一个温和的可用性成本相比，正常的音频CAPTCHA。最后，我们的广泛分析强调，aaeCAPTCHA可以显着提高传统音频CAPTCHA系统的安全性和鲁棒性，同时保持类似的可用性。
2022-03-05 cs.CR cs.SD eess.AS
TransAudio: Towards the Transferable Adversarial Audio Attack via Learning Contextualized Perturbations
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
在针对自动语音识别（ASR）系统的基于传输的攻击中，攻击无法访问目标模型的结构和参数。现有的攻击方法主要是在具有受限语音命令的语音助理场景中进行研究，从而禁止其适用于更一般的ASR相关应用。为了应对这一挑战，我们提出了一种新的上下文攻击删除，插入和替换对抗行为，即TransAudio，它实现了任意字级攻击的基础上提出的两阶段框架。为了增强攻击的可移植性，我们进一步引入了一种音频分数匹配优化策略来规范训练过程，从而减轻对抗性示例对代理模型的过度拟合。大量的实验和分析证明了TransAudio对开源ASR模型和商业API的有效性。
2023-03-28 cs.SD eess.AS
Universal Adversarial Perturbations for Speech Recognition Systems
UC San Diego（加州大学圣地亚哥分校）
在这项工作中，我们证明了普遍存在的对抗性音频扰动，导致错误的转录音频信号的自动语音识别（ASR）系统。我们提出了一种算法，找到一个单一的准不可感知的扰动，当添加到任何任意的语音信号，将最有可能欺骗受害者语音识别模型。我们的实验通过为最先进的ASR系统- Mozilla DeepSpeech制作音频不可知的通用扰动来展示我们所提出的技术的应用。此外，我们还通过对基于WaveNet的ASR系统进行可转移性测试，证明了这种扰动在训练过程中不可用的模型中具有很大的普遍性。
2019-08-15 cs.LG cs.SD eess.AS
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
对抗攻击是一种利用过程，其中对自然输入进行微小的改变，导致输入被神经模型错误分类。在语音识别领域，这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的，但它们已经渗透到语音识别领域。2017年，基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器，如语音命令模型，用于各种应用程序，特别是电话;因此，这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效，检测音频对抗性示例的准确率为93.5%，召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
Audio Adversarial Examples for Robust Hybrid CTC/Attention Speech Recognition
Technical University of Munich（慕尼黑工业大学）
自动语音识别（ASR）的最新进展展示了端到端系统如何能够实现最先进的性能。有一种趋势是更深入的神经网络，但是这些ASR模型也更复杂，更容易受到精心设计的噪声数据的影响。这些音频对抗示例（AAE）之前在使用连接主义时间分类（CTC）以及基于注意力的编码器-解码器架构的ASR系统上进行了演示。根据混合CTC/注意力ASR系统的思想，本文提出了生成AAE的算法，将这两种方法结合到一个联合CTC-注意力梯度方法中。使用混合CTC/注意力端到端ASR模型对两个参考句子进行评估作为案例研究，以及TEDSTV 2语音识别任务。然后，我们展示了该算法在对抗训练中的应用，以获得更强大的ASR模型。
2020-07-21 cs.SD eess.AS
SoundBreak: A Systematic Study of Audio-Only Adversarial Attacks on Trimodal Models
Department of Computer Science, Virginia Tech, USA（计算机科学系，弗吉尼亚理工大学）
SoundBreak研究了对三模态模型的仅音频对抗攻击，发现音频扰动可导致严重多模态失败，攻击成功率高达96%，并揭示了多模态系统中被忽视的单模态攻击面。
2026-01-20 cs.AI cs.CL cs.LG
Adversarial Audio: A New Information Hiding Method and Backdoor for DNN-based Speech Recognition Models
Hunan University（湖南大学）
音频是人们日常生活中的重要媒介，隐藏信息可以嵌入到音频中进行隐蔽通信。目前的音频信息隐藏技术可以大致分为基于时域的技术和基于变换域的技术。基于时域的隐藏技术具有较大的隐藏容量，但不可感知性较低。基于变换域的技术具有较好的不可感知性，但隐藏容量较差。本文提出了一种新的音频信息隐藏技术，该技术具有高隐藏容量和良好的不可感知性。提出的音频信息隐藏方法以原始音频信号为输入，通过训练我们的私人自动语音识别（ASR）模型，得到嵌入隐藏信息的音频信号（称为隐写音频）。在不知道私有模型的内部参数和结构的情况下，私有模型可以提取隐藏信息，而公共模型不能提取隐藏信息。我们使用其他四个ASR模型来提取隐藏音频的隐藏信息，以评估私有模型的安全性。实验结果表明，该音频信息隐藏技术具有48 cps的隐藏容量，同时具有良好的不可感知性和较高的安全性。此外，我们提出的对抗性音频可用于激活基于DNN的ASR模型的内在后门，这给智能扬声器带来了严重威胁。
2019-04-08 cs.CR cs.SD eess.AS
Noise Flooding for Detecting Audio Adversarial Examples Against Automatic Speech Recognition
The College University of Chicago（芝加哥大学学院）；University of Colorado Colorado Springs（科罗拉多斯普林斯分校科罗拉多大学）
神经模型在各种任务中得到广泛使用，并已成为许多工业系统的关键组成部分。尽管它们有效且广受欢迎，但它们并非没有可利用的缺陷。最初应用于计算机视觉系统，对抗性示例的生成是对图像进行看似不可感知的扰动的过程，目的是诱导基于深度学习的分类器对图像进行错误分类。由于语音处理的最新趋势，这已经成为语音识别模型中的一个值得注意的问题。在2017年底，一种攻击被证明对语音命令分类模型非常有效。词汇量有限的语音分类器，如语音命令模型，在各种应用程序中使用得非常频繁，特别是在电话环境中管理自动话务员。因此，这种攻击产生的对抗性例子可能会产生现实世界的后果。虽然以前在防御这些对抗性示例方面的工作已经研究了使用音频预处理来减少或扭曲对抗性噪声，但这项工作探索了用随机噪声淹没音频信号的特定频带以检测对抗性示例的想法。这种不需要重新训练或修改模型的泛洪技术受到计算机视觉工作的启发，并建立在语音分类器对自然噪声相对鲁棒的想法之上。一种结合了5个不同频带的组合防御方法，用于用噪声淹没信号，其性能优于音频空间中其他现有的防御方法，检测对抗性示例的准确率为91.8%，召回率为93.5%。
2018-12-25 cs.CL cs.CR cs.LG
FoolHD: Fooling speaker identification by Highly imperceptible adversarial Disturbances
Alan Turing Institute（阿兰·图灵研究所）
说话人辨识模型容易受到精心设计的输入信号的对抗性扰动的影响，从而导致误分类。在这项工作中，我们提出了一个白盒隐写启发的对抗攻击，对说话人辨识模型产生不可感知的对抗性扰动。我们的方法，FoolHD，使用门控卷积自动编码器，在DCT域中操作，并使用多目标损失函数进行训练，以生成和隐藏原始音频文件中的对抗性扰动。除了阻碍说话人辨识性能之外，这种多目标损失通过从原始音频文件和对抗音频文件中提取的MFCC特征向量之间的逐帧余弦相似性来考虑人类感知。我们使用VoxCeleb训练的250-说话人辨识x向量网络验证了FoolHD在准确性、成功率和不可感知性方面的有效性。我们的研究结果表明，FoolHD生成高度不可感知的对抗性音频文件（平均PESQ分数高于4.30），同时在非目标和目标设置下分别实现了99.6%和99.2%的误导说话人辨识模型的成功率。
2021-02-20 cs.LG cs.SD eess.AS
A Multiversion Programming Inspired Approach to Detecting Audio Adversarial Examples
University of South Carolina（南卡罗来纳大学）；Temple University（天普大学）
对抗性示例（AE）是通过向输入中添加人类无法感知的扰动来制作的，这样基于机器学习的分类器就会错误地标记它们。它们已经成为机器学习可信度的严重威胁。虽然图像域中的AE已得到很好的研究，但音频AE的研究较少。最近，提出了多种技术来产生音频AE，这使得针对它们的对策成为一项紧迫的任务。我们的实验表明，给定一个AE，不同的自动语音识别（ASR）系统的转录结果有显着差异，因为它们使用不同的架构，参数和训练数据集。受多版本编程的启发，我们提出了一种新的音频AE检测方法，该方法利用多个现成的ASR系统来确定音频输入是否是AE。实验结果表明，该方法的检测准确率达到98.6%以上。
2019-12-03 cs.CR cs.SD eess.AS
Towards the Universal Defense for Query-Based Audio Adversarial Attacks
Shandong University（山东大学）；Quancheng Laboratory（泉城实验室）
针对基于查询的音频对抗攻击，本文利用连续相似查询特征提出基于音频指纹和记忆机制的过程级防御，可在四类攻击上以逾90%准确率识别攻击意图，并抵御两种自适应攻击。
2023-04-20 cs.CR cs.SD eess.AS
HiddenSpeaker: Generate Imperceptible Unlearnable Audios for Speaker Verification System
School of Cyberspace Security Beijing University of Posts
针对深度学习说话人验证系统训练样本易遭未授权利用的隐私风险，提出HiddenSpeaker框架，通过SLEM方法和混合目标函数生成不可感知不可学习音频，经多SOTA模型验证兼具欺骗效果与强迁移性。
2024-05-27 cs.LG cs.SD eess.AS
Selective Masking Adversarial Attack on Automatic Speech Recognition Systems
Wuhan University（武汉大学）
本文提出选择性掩蔽对抗攻击（SMA），针对双说话人同时发声的 ASR 场景，通过选择性掩蔽优化算法生成对抗样本，在 Conformer-CTC 上实现 100% 攻击成功率和 37.15dB 信噪比，优于现有基线。
2025-04-06 cs.CR cs.SD
Multi-bit Audio Watermarking
ETH Zurich（苏黎世联邦理工学院）
该研究提出无需训练嵌入检测对的事后音频水印模型Timbru，通过预训练音频VAE潜在空间的逐音频梯度优化加扰、CLAP提取水印，在多攻击下实现更优的鲁棒性与感知质量平衡。
2025-10-02 cs.LG cs.SD eess.AS
Hijacking Large Audio-Language Models via Context-Agnostic and Imperceptible Auditory Prompt Injection
The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文提出AudioHijack框架，通过生成不可察觉的对抗性音频劫持LALMs，实验显示在6种恶意行为中平均成功率达79%-96%。
2026-04-16 cs.AI cs.CR cs.SD
D-CAPTCHA++: A Study of Resilience of Deepfake CAPTCHA under Transferable Imperceptible Adversarial Attack
School of Computer Science（计算机学院）；University College Dublin（都柏林大学学院）；School of Computer Science and Statistics（计算机与统计学院）；Trinity College Dublin（都柏林圣三一学院）；University of Science（科学大学）
本研究针对基于挑战-应答协议的D-CAPTCHA深度伪造验证系统，揭示其在可迁移不可感知对抗攻击下的漏洞，并通过对抗训练优化检测器与分类器，提出更鲁棒的D-CAPTCHA++系统以抵御伪造电话攻击。
2024-09-11 cs.CR cs.LG cs.SD
SilentCipher: Deep Audio Watermarking
Sony AI（索尼人工智能）
针对音频水印难以兼顾不可感知性、容量与鲁棒性且现有深度学习方法存在可听伪影的问题，提出SilentCipher模型，通过心理声学阈值、伪可微压缩层与无感知损失方法，在44.1kHz音频中实现鲁棒性与不可感知性均达SOTA的水印编码。
2024-09-21 cs.CR cs.SD eess.AS
Enabling Fast and Universal Audio Adversarial Attack Using Generative Model
Rutgers University（罗格斯大学）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
近年来，基于DNN的音频系统对抗性攻击的脆弱性得到了越来越多的关注。然而，现有的音频对抗性攻击允许对手拥有整个用户的音频输入，并给予足够的时间预算来生成对抗性扰动。然而，这些理想化的假设使得现有的音频对抗性攻击在实践中几乎不可能及时发起（例如，与用户的流输入一起播放不明显的对抗性扰动）。为了克服这些限制，在本文中，我们提出了快速音频对抗扰动生成器（FAPG），它使用生成模型在单个前向传递中为音频输入生成对抗扰动，从而大大提高扰动生成速度。在FAPG的基础上，我们进一步提出了通用音频对抗扰动生成器（UAPG），这是一种制作通用对抗扰动的方案，可以对任意良性音频输入施加扰动以引起错误分类。大量的实验表明，我们提出的FAPG可以实现高达167倍的加速比最先进的音频对抗攻击方法。此外，我们提出的UAPG可以产生通用的对抗扰动，实现更好的攻击性能比最先进的解决方案。
2021-02-07 cs.LG cs.SD eess.AS
Source Mixing and Separation Robust Audio Steganography
Sony Group Corporation（索尼集团公司）
音频隐写是指通过对音频载体进行不可感知的修改，将秘密信息隐藏在音频载体中。尽管先前的工作解决了隐藏消息恢复对传输期间引入的失真的鲁棒性，但是它们没有解决对诸如其他音频源的混合和声源分离的攻击性编辑的鲁棒性。在这项工作中，我们首次提出了一种隐写方法，可以将信息嵌入到单个声源的混合物，如音乐中的乐器曲目。为此，我们提出了一个领域模型和课程学习必不可少的学习解码隐藏的消息从分离的来源。实验结果表明，该方法能够在不可感知的扰动下成功地隐藏信息，并且即使在其他信源混合和声源分离算法分离后，仍能正确地恢复信息。此外，我们表明，所提出的方法可以同时适用于多个源，而不会干扰其他源的解码器，即使在源混合和分离。
2022-02-18 cs.CR cs.SD eess.AS
Cortical Features for Defense Against Adversarial Audio Attacks
University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们建议使用听觉皮层的计算模型作为对音频的对抗攻击的防御。我们将几种基于白盒迭代优化的对抗攻击应用于Amazon Alexa硬件网络的实现，以及具有集成皮质表示的该网络的修改版本，并表明皮质特征有助于防御通用对抗示例。在相同的失真水平下，针对皮层网络发现的对抗性噪声对于通用音频攻击总是不太有效。我们在https://github.com/ilyakava/py3fst上公开发布我们的代码。
2021-11-17 cs.LG cs.SD eess.AS
Adversarial attacks on audio source separation
Sony Corporation（索尼公司）；University of Tsukuba（筑波大学）
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景，但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中，我们重新制定了各种对抗攻击方法的音频声源分离问题，并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法，以获得不可感知的对抗性噪声，同时以低计算复杂性最大化对分离质量的影响。实验结果表明，当为目标模型制作噪声时，添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
"I am bad": Interpreting Stealthy, Universal and Robust Audio Jailbreaks in Audio-Language Models
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
本文针对音频语言模型提出首个通用音频越狱攻击，通过构造跨提示、任务和样本的对抗扰动绕过对齐机制，并揭示其编码第一人称有毒语音，为多模态安全防御提供见解。
2025-07-10 cs.LG cs.SD eess.AS
Defending against Adversarial Audio via Diffusion Model
Arizona State University（亚利桑那州立大学）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
近年来，深度学习模型已广泛用于商业声学系统中。然而，对抗性音频示例可能会导致这些声学系统的异常行为，同时人类很难感知。已经提出了各种方法，例如基于变换的防御和对抗训练，以保护声学系统免受对抗攻击，但是它们对自适应攻击的效果较差。此外，由于音频数据的独特属性，直接从图像域应用方法可能导致次优结果。在本文中，我们提出了一个基于对抗净化的防御管道，AudioPure，通过现成的扩散模型声学系统。利用扩散模型强大的生成能力，AudioPure首先在对抗音频中添加少量噪声，然后运行反向采样步骤来净化噪声音频并恢复干净的音频。AudioPure是一种即插即用的方法，可以直接应用于任何预训练的分类器，而无需任何微调或重新训练。我们在语音命令识别任务上进行了广泛的实验，以评估AudioPure的鲁棒性。我们的方法是有效的对抗不同的对抗攻击（例如$\mathcal{L}_2$或$\mathcal{L}_\infty$ -norm）。该方法在强自适应白盒和黑盒攻击下的性能优于现有的方法，这些攻击由$\mathcal{L}_2$或$\mathcal{L}_\infty$ -范数约束（鲁棒准确率高达+20\%）。此外，我们还评估了证明的鲁棒性的扰动有界的$\mathcal{L}_2$ -范数通过随机平滑。我们的管道实现了比基线更高的认证精度。
2023-03-02 cs.CR cs.LG cs.SD
Identifying Audio Adversarial Examples via Anomalous Pattern Detection
IBM Research Africa（IBM 非洲研究院）
基于深度神经网络的音频处理模型容易受到对抗攻击的影响，即使对抗音频波形与良性样本的相似度达到99.9%。鉴于基于DNN的音频识别系统的广泛应用，检测敌对示例的存在具有高度的实际意义。通过在这些模型的激活空间中应用异常模式检测技术，我们表明，最近和当前最先进的对抗攻击中的2种对音频处理系统的攻击系统地导致某些节点子集的激活高于预期，我们可以检测到这些节点的AUC高达0.98，而对良性样本的性能没有下降。
2020-07-25 cs.CR cs.LG cs.SD
Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）
视听主动说话人检测（AVASD）是一种非常成熟的检测技术，目前已成为多模态应用中不可缺少的前端。然而，据我们所知，AVASD模型的对抗性鲁棒性尚未得到研究，更不用说对此类攻击的有效防御了。在本文中，我们首次通过大量实验揭示了AVASD模型在纯音频、纯视觉和视听对抗攻击下的脆弱性。更重要的是，我们还提出了一种新的视听交互损失（AVIL），使攻击者难以找到可行的对抗性的例子下分配的攻击预算。损失的目的是推动类间嵌入分散，即非语音和语音集群，充分解开，并拉类内嵌入尽可能接近，以保持它们紧凑。实验结果表明，在多模式攻击下，AVIL比对抗训练提高了33.14 mAP（%）。
2022-10-03 cs.LG cs.MM cs.SD
AWARE: Audio Watermarking with Adversarial Resistance to Edits
AWARE通过对抗优化在时频域内实现音频水印嵌入，采用不依赖攻击模拟堆栈和手工设计的可微分畸变的检测方法，提升水印解码可靠性。
2026-03-16 cs.LG cs.MM cs.SD
Audio Similarity is Unreliable as a Proxy for Audio Quality
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多音频处理任务需要感知评估。然而，获得"黄金标准“人类判断的时间和费用限制了此类数据的可用性。大多数应用程序都包含完全引用或其他基于相似性的度量（例如PESQ），这些度量取决于干净的引用。研究人员依靠这些指标来评估和比较各种建议的方法，通常得出结论，微小的测量差异意味着一种方法比另一种方法更有效。本文演示了几种实际场景，其中相似性度量无法与人类感知一致，因为它们：（1）随着干净的引用而变化;（2）依赖于人类在考虑质量时考虑的属性，以及（3）对不可感知的信号电平差异敏感。在这些情况下，我们表明，无参考指标不遭受这样的缺点，更好地与人类的感知。因此，我们得出结论，相似性作为一个不可靠的代理音频质量。
2022-06-27 cs.SD eess.AS
GANSynth: Adversarial Neural Audio Synthesis
Google AI（谷歌AI）
高效的音频合成是一项固有的困难的机器学习任务，因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型，如WaveNet，以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模，而生成对抗网络（GANs）具有全局潜在条件和高效的并行采样，但难以生成局部相干的音频波形。在本文中，我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究，我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线，并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Adversarial Audio Synthesis
UC San Diego（加利福尼亚大学圣地亚哥分校）
音频信号以高时间分辨率进行采样，学习合成音频需要在一系列时间尺度上捕获结构。生成对抗网络（GANs）在生成局部和全局一致的图像方面取得了广泛的成功，但它们几乎没有应用于音频生成。在本文中，我们介绍了WaveGAN，这是首次尝试将GANs应用于原始波形音频的无监督合成。WaveGAN能够合成具有全局相干性的音频波形的一秒切片，适用于音效生成。我们的实验表明，在没有标签的情况下，WaveGAN在小词汇量语音数据集上训练时可以学习产生可理解的单词，并且还可以合成来自其他领域的音频，如鼓，鸟叫声和钢琴。我们将WaveGAN与一种方法进行了比较，该方法将为图像生成而设计的GANs应用于类似图像的音频特征表示，发现这两种方法都很有前途。
2019-02-09 cs.LG cs.SD
Adversarial Generation of Time-Frequency Features with application in audio synthesis
Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）；Swiss Data Science Center, ETH Zürich（苏黎世联邦理工学院瑞士数据科学中心）
时频（TF）表示为时间序列（如音频）的分析提供了强大而直观的功能。但是，TF域中音频的生成建模仍然是一个微妙的问题。因此，神经音频合成广泛地依赖于直接对波形进行建模，并且先前从神经生成的可逆TF特征无条件地合成音频的尝试仍然难以以令人满意的质量产生音频。在这篇文章中，我们将重点关注短时傅里叶变换，讨论基于生成的可逆TF特征的音频合成中出现的挑战以及如何克服这些挑战。我们通过在短时傅立叶特征上训练生成对抗网络（GAN）来展示故意生成TF建模的潜力。我们表明，通过应用我们的指导方针，我们基于TF的网络能够超越直接生成波形的最先进的GAN，尽管这两个网络的架构相似。
2019-05-16 cs.LG cs.SD eess.AS
AudioMarkBench: Benchmarking Robustness of Audio Watermarking
Duke University（杜克大学）；Google（谷歌公司）
针对音频水印鲁棒性研究不足的问题，提出首个系统基准AudioMarkBench，涵盖多语言数据集、3种水印方法及15种扰动，在无盒、黑盒和白盒设置下评估其抗水印移除与伪造能力，揭示了现有技术的漏洞。
2024-11-13 cs.CR cs.LG cs.SD
VQCPC-GAN: Variable-Length Adversarial Audio Synthesis Using Vector-Quantized Contrastive Predictive Coding
Sony Computer Science Laboratory（索尼计算机科学实验室）；LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎综合理工学院）
受计算机视觉领域的影响，生成对抗网络（GANs）通常用于音频域，使用固定大小的二维频谱图表示作为“图像数据”。然而，在（音乐）音频域中，通常期望生成可变持续时间的输出。本文提出了VQCPC-GAN，一个对抗性的框架，通过利用矢量量化对比预测编码（VQCPC）合成可变长度的音频。从真实音频数据中提取的VQCPC令牌序列用作GAN架构的条件输入，提供所生成内容的逐步时间相关特征。输入噪声z（对抗架构中的特征）随时间保持固定，确保全局特征的时间一致性。我们通过比较不同的指标集对各种强基线来评估所提出的模型。结果表明，即使基线得分最好，VQCPC-GAN即使在生成可变长度音频时也能实现相当的性能。在附带的网站中提供了许多合理的示例，我们发布了可重复性的代码。
2021-07-30 cs.AI cs.LG cs.SD
Cross-Representation Transferability of Adversarial Attacks: From Spectrograms to Audio Waveforms
McGill University（麦吉尔大学）；École de Technologie Superiéure, Université du Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
本文展示了基于频谱图的音频分类器对对抗攻击的敏感性以及这种攻击对音频波形的可转移性。一些常用的对图像的对抗攻击已经应用于Mel频率和短时傅立叶变换频谱图，并且这种扰动频谱图能够欺骗2D卷积神经网络（CNN）。这样的攻击会产生人类视觉上无法察觉的干扰频谱图。此外，从扰动的频谱图重建的音频波形也能够欺骗在原始音频上训练的1D CNN。在西方音乐数据集上的实验结果表明，2D CNN在合法样本上的平均准确率高达81.87%，而在对抗样本上的平均准确率下降到12.09%。同样，1D CNN在原始音频样本上实现了高达78.29%的平均准确度，并且在从扰动的频谱图重建的对抗音频波形上，这种性能下降到27.91%。
2020-07-29 cs.LG cs.MM cs.SD
Diverse Audio Captioning via Adversarial Training
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））
音频字幕的目的是自动生成自然语言描述的音频片段。近年来，现有的音频字幕模型已经显示出有希望的改进。然而，这些模型大多通过最大似然估计（MLE）进行训练，这往往使字幕通用，简单和确定性。由于不同的人可以从不同的方面使用不同的单词和语法来描述音频片段，我们认为，音频字幕系统应该有能力为固定的音频片段和跨类似的音频片段生成不同的字幕。为了解决这个问题，我们提出了一个基于条件生成对抗网络（C-GAN）的音频字幕对抗训练框架，旨在提高生成字幕的自然性和多样性。与经典GAN中处理连续值的数据不同，句子由离散标记组成，并且离散采样过程是不可微的。为了解决这个问题，策略梯度，一种强化学习技术，用于将奖励反向传播到生成器。结果表明，我们提出的模型可以生成更多样化的字幕，相比国家的最先进的方法。
2022-03-29 cs.SD eess.AS
FAAG: Fast Adversarial Audio Generation through Interactive Attack Optimisation
Swinburne University of Technology（斯威本科技大学）；James Cook University（詹姆斯·库克大学）；Deakin University（迪肯大学）
自动语音识别服务（ASR）继承了深度神经网络的漏洞，如精心制作的对抗性示例。现有的方法通常效率低下，因为目标相位被添加到整个音频样本中，导致对计算资源的高需求。本文提出了一种名为FAAG的新方案，作为一种基于迭代优化的方法来快速生成有针对性的对抗性示例。通过在音频的开始部分注入噪声，FAAG以高的成功率及时生成高质量的对抗性音频。具体来说，我们使用音频的logits输出将转录中的每个字符映射到音频帧的近似位置。因此，FAAG仅使用CPU就可以在大约两分钟内生成一个对抗性示例，使用一个GPU大约需要十秒，同时保持平均成功率超过85%。具体来说，在对抗性示例生成过程中，FAAG方法与基线方法相比可以加快60%左右。此外，我们发现，附加良性音频到任何可疑的例子可以有效地抵御有针对性的对抗攻击。我们希望这项工作为发明新的针对具有计算约束的语音识别的对抗攻击铺平道路。
2022-02-11 cs.CR cs.SD eess.AS
Enhancing Unsupervised Audio Representation Learning via Adversarial Sample Generation
Alibaba Group（阿里巴巴集团）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
现有的音频分析方法通常首先将音频流转换为频谱图，然后将其馈送到CNN中进行进一步分析。标准的CNN识别特征图上的特定视觉模式，然后汇集高级表示，这忽略了识别模式的位置信息。然而，与自然图像不同，音频频谱图的语义对位置变化敏感，因为其垂直和水平轴指示音频的频率和时间信息，而不是朴素的直角坐标。因此，CNN对位置变化的不敏感性对音频频谱图编码起负面作用。为了解决这个问题，本文提出了一种新的自监督学习机制，该机制通过首先生成对抗样本（\textit{i.e.}，负样本），然后驱动CNN来区分潜在空间中负对的嵌入来增强音频表示。大量实验表明，该方法在9个下游数据集上取得了较好的效果，验证了其在音频表示学习中的有效性。
2023-03-15 cs.SD eess.AS
On the human evaluation of audio adversarial examples
Faculty of Informatics（信息学院）；University of the Basque Country (UPV/EHU)（巴斯克大学）
人机交互越来越依赖于语音通信。机器学习模型通常用于解释人类语音命令。然而，这些模型可能会被对抗性的例子所愚弄，这些例子是故意扰动的输入，以产生错误的预测而不被注意到。虽然许多研究都集中在开发新技术来产生对抗性扰动，但较少关注确定人类是否以及如何注意到扰动的方面。这个问题是相关的，因为提出的对抗扰动策略的高欺骗率只有在扰动不可检测的情况下才有价值。在本文中，我们调查在何种程度上的失真度量在文献中提出的音频对抗性的例子，这是通常应用于评估的有效性的方法来生成这些攻击，是一个可靠的措施，人类感知的扰动。使用一个分析框架，和一个实验中，18名受试者评估音频对抗的例子，我们证明，公约所采用的指标是不是一个可靠的措施的感知相似性的对抗的例子在音频域。
2021-02-12 cs.HC cs.LG cs.SD
A Robust Approach for Securing Audio Classification Against Adversarial Attacks
École de Technologie Supérieure (ÉTS), University of Quebec（魁北克大学高等技术学院）
对抗性音频攻击可以被认为是一种人耳无法感知的小扰动，它被故意添加到音频信号中，并导致机器学习模型出错。这对机器学习模型的安全性提出了安全问题，因为对抗攻击可以欺骗这些模型进行错误的预测。在本文中，我们首先回顾了一些可能影响音频信号及其2D表示的强对抗攻击，并评估了最常见的机器学习模型的弹性，即深度学习模型和在2D音频表示上训练的支持向量机（SVM），如短时傅立叶变换（STFT），离散小波变换（DWT）和交叉递归图（CRP）对几个国家的最先进的对抗攻击。接下来，我们提出了一种新的方法，基于预处理的DWT表示的音频信号和SVM，以确保音频系统免受对抗攻击。所提出的架构有几个预处理模块，用于生成和增强频谱图，包括降维和平滑。我们使用加速鲁棒特征（SURF）算法从频谱图的小块中提取特征，该算法进一步用于使用K-Means++算法生成码本。最后，码字被用来训练的SURF生成的矢量的码本上的SVM。所有这些步骤产生了一种新的音频分类方法，该方法在准确性和弹性之间提供了良好的权衡。在三个环境声音数据集上的实验结果表明，与深度神经网络相比，所提出的方法在准确性和对强对抗攻击的鲁棒性方面都具有竞争力。
2019-11-25 cs.CR cs.LG cs.SD
Adversarially Training for Audio Classifiers
École de Technologie Supérieure (ÉTS)（高等技术学院）
在本文中，我们研究了对抗性训练对六种高级深度神经网络抵御各种针对性和非针对性对抗性攻击的鲁棒性的潜在影响。我们首先表明，在附加tonnetz色谱图的离散小波变换的2D表示上训练的ResNet-56模型在识别精度方面优于其他模型。然后，我们展示了对抗性训练对该模型以及其他深度架构对六种类型的攻击算法（白盒和黑盒）的积极影响，其代价是识别准确性降低和对抗性扰动有限。我们在两个基准环境声音数据集上进行了实验，结果表明，在对对手的预算分配没有任何限制的情况下，对抗训练模型的欺骗率可以超过90%。换句话说，对抗性攻击存在于任何规模中，但与非对抗性训练的模型相比，它们可能需要更高的对抗性扰动。
2020-10-25 cs.LG cs.SD eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架，融合SSL声学表示与CLAP语义嵌入，并引入对抗一致性训练，在多个指标上超越现有基线，树立新基准。
2025-06-20 cs.SD eess.AS
Fast Text-to-Audio Generation with Adversarial Post-Training
UC – San Diego（加州大学圣迭戈分校）；Stability AI；Arm
针对文本到音频系统推理延迟高的问题，提出不依赖蒸馏的ARC对抗后训练方法，结合对比判别器提升提示遵循度，适配Stable Audio Open后实现当前最快的文本到音频生成速度。
2025-05-20 cs.AI cs.LG cs.MM
Audio inpainting with generative adversarial network
ETH Zurich（苏黎世联邦理工学院）
我们研究了Wasserstein生成对抗网络（WGAN）生成缺失音频内容的能力，这些内容在上下文中与声音和相邻边界（统计相似）。我们使用WGAN模型处理音频修复长距离间隙（500 ms）的挑战。我们使用新提出的WGAN架构来提高修复部分的质量，与经典的WGAN模型相比，该架构使用短距离和长距离相邻边界。该表演与两种不同的音频乐器（钢琴和吉他）进行了比较，并与弦乐团一起进行了钢琴演奏。客观差异分级（ODG）被用来评估这两种架构的性能。该模型优于经典的WGAN模型，并改善了高频内容的重建。此外，对于频谱主要在较低范围内的仪器，我们得到了更好的结果，在较低范围内，小噪声对人耳不那么烦人，并且修复部分更易感知。最后，我们可以证明，如果我们只在一个特定的乐器上训练网络，而忽略其他乐器，那么在这个特定乐器被其他乐器识别的情况下，音频数据集的测试结果会更好。
2020-03-13 cs.LG cs.SD eess.AS
Guided Generative Adversarial Neural Network for Representation Learning and High Fidelity Audio Generation using Fewer Labelled Audio Data
University of Southern Queensland（南昆士兰大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
生成对抗神经网络（GANs）的最新改进已经显示出它们能够生成更高质量的样本，并学习用于迁移学习的良好表示。大多数基于GANs的表示学习方法学习表示，忽略了它们的使用后场景，这可能导致泛化能力的提高。但是，如果模型是用于特定任务的，它可能会变得多余。例如，假设我们有一个巨大的未标记的音频数据集，我们想从这个数据集中学习一个表示，这样它就可以用来提高一个小的标记音频数据集的情感识别性能。在表征学习训练过程中，如果模型不知道后情绪识别任务，它可以完全忽略学习表征中的情绪相关特征。这是任何无监督表示学习模型的根本挑战。在本文中，我们的目标是通过提出一种新的GAN框架来解决这一挑战：引导生成神经网络（GGAN），它引导GAN专注于学习所需的表示，并利用更少的标记样本为音频数据生成高质量的样本。实验结果表明，使用非常少量的标记数据作为指导，GGAN学习更好的表示。
2020-06-01 cs.LG cs.SD eess.AS
Comparing Representations for Audio Synthesis Using Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；Télecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
在本文中，我们比较了不同的音频信号表示，包括原始音频波形和各种时频表示，用于生成对抗网络（GANs）的音频合成任务。我们在NSynth数据集的一个子集上进行实验。该架构遵循基准Progressive Growing Wasserstein GAN。我们以完全无条件的方式进行实验，并在音高信息上调节网络。我们利用标准指标对生成的材料进行定量评估，以评估生成模型，并比较训练和采样时间。我们表明，复值以及幅度和瞬时频率的短时傅里叶变换达到最佳效果，并产生快速生成和反转时间。用于特征提取、训练和评估模型的代码可在线获得。
2020-06-17 cs.SD eess.AS
Phonemic Adversarial Attack against Audio Recognition in Real World
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）
近年来，针对音频识别的对抗攻击引起了广泛关注。然而，现有的研究大多依赖于实例级的粗粒度音频特征来生成对抗性噪声，导致生成时间开销大，通用攻击能力弱。基于所有音频语音都由基本音素组成的观点，提出了一种音素对抗性攻击（PAT）范式，该范式攻击音频实例之间共享的音素级细粒度音频特征，生成音素对抗性噪声，具有更一般的攻击能力和更快的生成速度.具体而言，为了加快生成速度，引入音素密度均衡采样策略，通过估计音素密度来采样数量较少但音素特征丰富的音频实例作为训练数据，从而大大减轻了对大训练数据集的严重依赖。此外，为了提高通用攻击能力，采用滑动窗口异步优化音素噪声，增强音素多样性，从而更好地捕捉关键的基本音素模式。通过进行广泛的实验，我们全面研究了所提出的PAT框架，并证明它的性能大大优于SOTA基线（即，至少11倍的速度和78%的攻击能力提高）。
2022-11-19 cs.CR cs.SD eess.AS
Representation Learning for Audio Privacy Preservation using Source Separation and Robust Adversarial Learning
Tampere University（坦佩雷大学）；University of Helsinki（赫尔辛基大学）；Nokia Tech（诺基亚技术公司）
本研究提出整合源分离与对抗表示学习来学习音频潜在表示，防止区分语音与非语音，从而在保持声学监测性能的同时显著提升语音隐私保护效果。
2023-08-09 cs.CR cs.LG cs.SD
Bandwidth Extension on Raw Audio via Generative Adversarial Networks
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）
基于神经网络的方法最近已经展示了关于图像合成和超分辨率任务的最先进的结果，特别是通过使用具有监督特征损失的生成对抗网络（GANs）的变体。然而，以前的特征丢失公式依赖于大型辅助分类器网络的可用性，以及使这些分类器能够被训练的标记数据集。此外，探索基于GAN的方法对图像和视频以外的领域的适用性的工作相对较少。在这项工作中，我们探索了一种基于GAN的音频处理方法，并开发了一种卷积神经网络架构来执行音频超分辨率。除了用于音频处理的几个新的架构构建块之外，我们方法的一个关键组成部分是使用基于自动编码器的损失，该损失能够在GAN框架中进行训练，其中特征损失来自未标记的数据。我们探讨了我们的建筑选择的影响，并展示了显着的改善，在客观和感知质量方面比以前的作品。
2019-03-21 cs.SD eess.AS
Exploiting Pre-trained Feature Networks for Generative Adversarial Networks in Audio-domain Loop Generation
Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
虽然生成对抗网络（GANs）已广泛用于音频生成的研究，但已知GAN模型的训练不稳定，耗时且数据效率低下。在改善GANs训练过程的尝试中，投影GAN的想法作为基于GAN的图像生成的有效解决方案出现，在不同的图像应用中建立了最先进的技术。其核心思想是使用一个预先训练好的分类器来约束神经网络的特征空间，以稳定和改进GAN训练。本文研究了投影GAN是否可以通过评估基于StyleGAN 2的音频域循环生成模型的性能来类似地改善音频生成，其中使用和不使用预训练的特征空间。此外，我们比较了使用一般与特定领域的分类器作为预训练的音频分类器的性能。通过对鼓循环和合成器循环生成的实验，我们证明了通用音频分类器的效果更好，并且使用投影GAN，我们的循环生成模型可以在不降低性能的情况下收敛约5倍。
2022-09-05 cs.SD eess.AS
