Adversarial Generation of Time-Frequency Features with application in audio synthesis
Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）；Swiss Data Science Center, ETH Zürich（苏黎世联邦理工学院瑞士数据科学中心）
时频（TF）表示为时间序列（如音频）的分析提供了强大而直观的功能。但是，TF域中音频的生成建模仍然是一个微妙的问题。因此，神经音频合成广泛地依赖于直接对波形进行建模，并且先前从神经生成的可逆TF特征无条件地合成音频的尝试仍然难以以令人满意的质量产生音频。在这篇文章中，我们将重点关注短时傅里叶变换，讨论基于生成的可逆TF特征的音频合成中出现的挑战以及如何克服这些挑战。我们通过在短时傅立叶特征上训练生成对抗网络（GAN）来展示故意生成TF建模的潜力。我们表明，通过应用我们的指导方针，我们基于TF的网络能够超越直接生成波形的最先进的GAN，尽管这两个网络的架构相似。
2019-05-16 cs.LG cs.SD eess.AS
WaveGuard: Understanding and Mitigating Audio Adversarial Examples
University of California San Diego（加利福尼亚大学圣迭戈分校）
最近，针对基于深度学习的自动语音识别（ASR）系统的对抗攻击激增。这些攻击对深度学习安全性提出了新的挑战，并在安全关键型应用程序中部署ASR系统时引起了重大关注。在这项工作中，我们介绍了WaveGuard：一个用于检测攻击ASR系统的对抗性输入的框架。我们的框架结合了音频转换功能，并分析了原始和转换后的音频的ASR transmittance，以检测对抗性输入。我们证明了我们的防御框架能够可靠地检测由四个最近的音频对抗攻击构建的对抗示例，具有各种音频变换函数。仔细考虑在防御评估的最佳做法，我们分析我们提出的防御和它的实力，以抵御自适应和强大的攻击，在音频域。我们的经验表明，音频转换，恢复音频从感知通知表示可以导致强大的防御，是强大的自适应对手，即使在一个完整的白盒设置。此外，WaveGuard可以开箱即用，并直接与任何ASR模型集成，以有效地检测音频对抗性示例，而无需进行模型再训练。
2021-03-04 cs.CR cs.LG cs.SD
Targeted Adversarial Examples for Black Box Audio Systems
UC Berkeley（加州大学伯克利分校）
深度递归网络在音频转录中的应用已经在自动语音识别（ASR）系统中取得了令人印象深刻的进展。许多人已经证明，小的对抗性扰动可以欺骗深度神经网络，使其以高置信度错误地预测特定目标。目前关于愚弄ASR系统的工作主要集中在白盒攻击上，其中模型架构和参数是已知的。在本文中，我们采用了一个黑箱的方法来对抗生成，结合遗传算法和梯度估计的方法来解决这个问题。我们在3000代后实现了89.25%的目标攻击相似性，同时保持了94.6%的音频文件相似性。
2019-08-20 cs.CR cs.LG cs.SD
Characterizing Audio Adversarial Examples Using Temporal Dependency
Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC, Berkeley（加州大学伯克利分校）
最近的研究强调对抗性示例是对不同神经网络模型和许多下游应用的普遍威胁。尽管如此，由于独特的数据属性激发了独特而强大的学习原则，本文旨在探索它们在减轻对抗性输入方面的潜力。特别是，我们的研究结果揭示了使用音频数据中的时间依赖性来获得对抗性示例的区分能力的重要性。在自动语音识别（ASR）任务和最近的三种音频对抗攻击上进行测试，我们发现（i）从图像对抗防御开发的输入变换提供了有限的鲁棒性改进，并且对高级攻击很微妙;（ii）可以利用时间依赖性来获得对音频对抗示例的区分能力，并且抵抗我们实验中考虑的自适应攻击。我们的研究结果不仅显示了提高ASR系统鲁棒性的有希望的方法，而且还提供了利用特定领域数据属性来减轻对抗性示例的负面影响的新见解。
2019-06-05 cs.AI cs.CR cs.LG
Audio Adversarial Examples: Attacks Using Vocal Masks
我们在自动语音到文本系统上构建音频对抗示例。给定任何音频波形，我们通过覆盖从原始音频生成的音频声掩模来产生另一个。我们将我们的音频对抗攻击应用于五个SOTA STT系统：DeepSpeech，Julius，Kaldi，wav2letter@anywhere和CMUSphinx。此外，我们还聘请了人类注释者来转录对抗性音频。我们的实验表明，这些对抗性的例子欺骗了最先进的语音到文本系统，但人类能够始终如一地挑选出语音。这种攻击的可行性为研究机器和人类对语音的感知引入了一个新的领域。
2021-02-06 cs.AI cs.SD eess.AS
A Robust Approach for Securing Audio Classification Against Adversarial Attacks
École de Technologie Supérieure (ÉTS), University of Quebec（魁北克大学高等技术学院）
对抗性音频攻击可以被认为是一种人耳无法感知的小扰动，它被故意添加到音频信号中，并导致机器学习模型出错。这对机器学习模型的安全性提出了安全问题，因为对抗攻击可以欺骗这些模型进行错误的预测。在本文中，我们首先回顾了一些可能影响音频信号及其2D表示的强对抗攻击，并评估了最常见的机器学习模型的弹性，即深度学习模型和在2D音频表示上训练的支持向量机（SVM），如短时傅立叶变换（STFT），离散小波变换（DWT）和交叉递归图（CRP）对几个国家的最先进的对抗攻击。接下来，我们提出了一种新的方法，基于预处理的DWT表示的音频信号和SVM，以确保音频系统免受对抗攻击。所提出的架构有几个预处理模块，用于生成和增强频谱图，包括降维和平滑。我们使用加速鲁棒特征（SURF）算法从频谱图的小块中提取特征，该算法进一步用于使用K-Means++算法生成码本。最后，码字被用来训练的SURF生成的矢量的码本上的SVM。所有这些步骤产生了一种新的音频分类方法，该方法在准确性和弹性之间提供了良好的权衡。在三个环境声音数据集上的实验结果表明，与深度神经网络相比，所提出的方法在准确性和对强对抗攻击的鲁棒性方面都具有竞争力。
2019-11-25 cs.CR cs.LG cs.SD
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London（帝国理工学院）
对抗攻击对深度学习模型构成了威胁。然而，针对对抗性检测方法的研究，尤其是在多模态领域的研究非常有限。在这项工作中，我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是，由于增加了对抗性噪声，对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理，并基于它，我们可以检测对抗攻击。据我们所知，这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Adversarially Training for Audio Classifiers
École de Technologie Supérieure (ÉTS)（高等技术学院）
在本文中，我们研究了对抗性训练对六种高级深度神经网络抵御各种针对性和非针对性对抗性攻击的鲁棒性的潜在影响。我们首先表明，在附加tonnetz色谱图的离散小波变换的2D表示上训练的ResNet-56模型在识别精度方面优于其他模型。然后，我们展示了对抗性训练对该模型以及其他深度架构对六种类型的攻击算法（白盒和黑盒）的积极影响，其代价是识别准确性降低和对抗性扰动有限。我们在两个基准环境声音数据集上进行了实验，结果表明，在对对手的预算分配没有任何限制的情况下，对抗训练模型的欺骗率可以超过90%。换句话说，对抗性攻击存在于任何规模中，但与非对抗性训练的模型相比，它们可能需要更高的对抗性扰动。
2020-10-25 cs.LG cs.SD eess.AS
Defending against Adversarial Audio via Diffusion Model
Arizona State University（亚利桑那州立大学）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
近年来，深度学习模型已广泛用于商业声学系统中。然而，对抗性音频示例可能会导致这些声学系统的异常行为，同时人类很难感知。已经提出了各种方法，例如基于变换的防御和对抗训练，以保护声学系统免受对抗攻击，但是它们对自适应攻击的效果较差。此外，由于音频数据的独特属性，直接从图像域应用方法可能导致次优结果。在本文中，我们提出了一个基于对抗净化的防御管道，AudioPure，通过现成的扩散模型声学系统。利用扩散模型强大的生成能力，AudioPure首先在对抗音频中添加少量噪声，然后运行反向采样步骤来净化噪声音频并恢复干净的音频。AudioPure是一种即插即用的方法，可以直接应用于任何预训练的分类器，而无需任何微调或重新训练。我们在语音命令识别任务上进行了广泛的实验，以评估AudioPure的鲁棒性。我们的方法是有效的对抗不同的对抗攻击（例如$\mathcal{L}_2$或$\mathcal{L}_\infty$ -norm）。该方法在强自适应白盒和黑盒攻击下的性能优于现有的方法，这些攻击由$\mathcal{L}_2$或$\mathcal{L}_\infty$ -范数约束（鲁棒准确率高达+20\%）。此外，我们还评估了证明的鲁棒性的扰动有界的$\mathcal{L}_2$ -范数通过随机平滑。我们的管道实现了比基线更高的认证精度。
2023-03-02 cs.CR cs.LG cs.SD
Audio inpainting with generative adversarial network
ETH Zurich（苏黎世联邦理工学院）
我们研究了Wasserstein生成对抗网络（WGAN）生成缺失音频内容的能力，这些内容在上下文中与声音和相邻边界（统计相似）。我们使用WGAN模型处理音频修复长距离间隙（500 ms）的挑战。我们使用新提出的WGAN架构来提高修复部分的质量，与经典的WGAN模型相比，该架构使用短距离和长距离相邻边界。该表演与两种不同的音频乐器（钢琴和吉他）进行了比较，并与弦乐团一起进行了钢琴演奏。客观差异分级（ODG）被用来评估这两种架构的性能。该模型优于经典的WGAN模型，并改善了高频内容的重建。此外，对于频谱主要在较低范围内的仪器，我们得到了更好的结果，在较低范围内，小噪声对人耳不那么烦人，并且修复部分更易感知。最后，我们可以证明，如果我们只在一个特定的乐器上训练网络，而忽略其他乐器，那么在这个特定乐器被其他乐器识别的情况下，音频数据集的测试结果会更好。
2020-03-13 cs.LG cs.SD eess.AS
Guided Generative Adversarial Neural Network for Representation Learning and High Fidelity Audio Generation using Fewer Labelled Audio Data
University of Southern Queensland（南昆士兰大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
生成对抗神经网络（GANs）的最新改进已经显示出它们能够生成更高质量的样本，并学习用于迁移学习的良好表示。大多数基于GANs的表示学习方法学习表示，忽略了它们的使用后场景，这可能导致泛化能力的提高。但是，如果模型是用于特定任务的，它可能会变得多余。例如，假设我们有一个巨大的未标记的音频数据集，我们想从这个数据集中学习一个表示，这样它就可以用来提高一个小的标记音频数据集的情感识别性能。在表征学习训练过程中，如果模型不知道后情绪识别任务，它可以完全忽略学习表征中的情绪相关特征。这是任何无监督表示学习模型的根本挑战。在本文中，我们的目标是通过提出一种新的GAN框架来解决这一挑战：引导生成神经网络（GGAN），它引导GAN专注于学习所需的表示，并利用更少的标记样本为音频数据生成高质量的样本。实验结果表明，使用非常少量的标记数据作为指导，GGAN学习更好的表示。
2020-06-01 cs.LG cs.SD eess.AS
Detecting Audio Adversarial Examples with Logit Noising
POSTECH（浦项工科大学）
自动语音识别（ASR）系统容易受到音频对抗性示例的攻击，这些音频对抗性示例试图通过向良性语音信号添加扰动来欺骗ASR系统。虽然一个敌对的例子和原始的良性波是无法区分的人类，前者被转录为一个恶意的目标句子的ASR系统。已经提出了几种方法来生成音频对抗性示例并将其直接馈送到ASR系统（在线）。此外，许多研究人员已经证明了强大的物理音频对抗示例（空中）的可行性。为了抵御这些攻击，已经提出了几项研究。然而，在现实世界中部署它们是困难的，因为精度下降或时间开销。在本文中，我们提出了一种新的方法来检测音频对抗性的例子，在将它们馈送到ASR的解码器之前，向logits添加噪声。我们表明，精心选择的噪声可以显着影响音频对抗性示例的转录结果，而它对良性音频波的转录结果的影响最小。基于这一特点，我们检测音频对抗的例子，通过比较的转录改变的logit噪声与其原始的转录。所提出的方法可以很容易地应用到ASR系统，无需任何结构变化或额外的培训。实验结果表明，与现有的检测方法相比，该方法对离线音频对抗和空中音频对抗具有较好的鲁棒性。
2021-12-13 cs.CR cs.SD eess.AS
Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）
视听主动说话人检测（AVASD）是一种非常成熟的检测技术，目前已成为多模态应用中不可缺少的前端。然而，据我们所知，AVASD模型的对抗性鲁棒性尚未得到研究，更不用说对此类攻击的有效防御了。在本文中，我们首次通过大量实验揭示了AVASD模型在纯音频、纯视觉和视听对抗攻击下的脆弱性。更重要的是，我们还提出了一种新的视听交互损失（AVIL），使攻击者难以找到可行的对抗性的例子下分配的攻击预算。损失的目的是推动类间嵌入分散，即非语音和语音集群，充分解开，并拉类内嵌入尽可能接近，以保持它们紧凑。实验结果表明，在多模式攻击下，AVIL比对抗训练提高了33.14 mAP（%）。
2022-10-03 cs.LG cs.MM cs.SD
Weighted-Sampling Audio Adversarial Example Attack
University of Electronic Science and Technology of China（电子科技大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对现有音频对抗样本生成方法效率与鲁棒性不足的问题，提出加权采样音频对抗样本攻击方法，通过调整失真数量与权重增强攻击，并结合损失函数去噪提升隐蔽性，实现低耗时下生成低噪声高鲁棒性的音频对抗样本。
2020-02-22 cs.SD eess.AS
FAAG: Fast Adversarial Audio Generation through Interactive Attack Optimisation
Swinburne University of Technology（斯威本科技大学）；James Cook University（詹姆斯·库克大学）；Deakin University（迪肯大学）
自动语音识别服务（ASR）继承了深度神经网络的漏洞，如精心制作的对抗性示例。现有的方法通常效率低下，因为目标相位被添加到整个音频样本中，导致对计算资源的高需求。本文提出了一种名为FAAG的新方案，作为一种基于迭代优化的方法来快速生成有针对性的对抗性示例。通过在音频的开始部分注入噪声，FAAG以高的成功率及时生成高质量的对抗性音频。具体来说，我们使用音频的logits输出将转录中的每个字符映射到音频帧的近似位置。因此，FAAG仅使用CPU就可以在大约两分钟内生成一个对抗性示例，使用一个GPU大约需要十秒，同时保持平均成功率超过85%。具体来说，在对抗性示例生成过程中，FAAG方法与基线方法相比可以加快60%左右。此外，我们发现，附加良性音频到任何可疑的例子可以有效地抵御有针对性的对抗攻击。我们希望这项工作为发明新的针对具有计算约束的语音识别的对抗攻击铺平道路。
2022-02-11 cs.CR cs.SD eess.AS
AWARE: Audio Watermarking with Adversarial Resistance to Edits
AWARE通过对抗优化在时频域内实现音频水印嵌入，采用不依赖攻击模拟堆栈和手工设计的可微分畸变的检测方法，提升水印解码可靠性。
2026-03-16 cs.LG cs.MM cs.SD
Adversarial attacks on audio source separation
Sony Corporation（索尼公司）；University of Tsukuba（筑波大学）
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景，但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中，我们重新制定了各种对抗攻击方法的音频声源分离问题，并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法，以获得不可感知的对抗性噪声，同时以低计算复杂性最大化对分离质量的影响。实验结果表明，当为目标模型制作噪声时，添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
High-Fidelity Audio Generation and Representation Learning with Guided Adversarial Autoencoder
University of Southern Queensland（南昆士兰大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
从无标签音频数据中进行无监督的解纠缠表示学习和高保真音频生成已经成为机器学习研究领域的两个关键。然而，从无监督设置中学习的表示并不能保证其对于手头的任何下游任务的可用性，如果训练是针对该特定的后续工作进行的，则这可能是资源的浪费。此外，在表示学习过程中，如果模型高度偏向下游任务，它就会失去直接有利于下游任务的泛化能力，但也失去了将其扩展到其他相关任务的能力。因此，为了填补这一空白，我们提出了一种新的基于自动编码器的模型，名为“Guided Adversarial Autoencoder（GAAE）”，它可以学习任务后特定的表示和一般表示，利用一小部分标记样本捕获训练数据中的变化因素;因此，使其适合未来的相关任务。此外，我们提出的模型可以生成具有优异质量的音频，这是从真实的音频样本难以区分。因此，通过大量的实验结果，我们已经证明，通过利用高保真音频生成的能力，所提出的GAAE模型可以从未标记的数据集中学习强大的表示，利用较少百分比的标记数据作为监督/指导。
2020-10-17 cs.LG cs.SD eess.AS
Mic2Mic: Using Cycle-Consistent Generative Adversarial Networks to Overcome Microphone Variability in Speech Systems
Nokia Bell Labs（诺基亚贝尔实验室）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
移动和嵌入式设备越来越多地使用麦克风和基于音频的计算模型来推断用户上下文。构建将音频模型与商用麦克风相结合的系统的主要挑战是确保其在现实世界中的准确性和鲁棒性。除了许多环境动态之外，影响音频模型鲁棒性的主要因素是麦克风可变性。在这项工作中，我们提出了Mic 2 Mic-一个机器学习的系统组件-它驻留在音频模型的推理管道中，并实时减少了由麦克风特定因素引起的音频数据的可变性。Mic 2 Mic设计的两个关键考虑因素是：a）将麦克风可变性问题与音频任务解耦，b）将最终用户提供训练数据的负担降至最低。考虑到这些，我们应用周期一致性生成对抗网络（CycleGANs）的原理，使用从不同麦克风收集的未标记和未配对数据来学习Mic 2 Mic。我们的实验表明，Mic 2 Mic可以恢复66%至89%的准确性损失，由于麦克风的变化，两个常见的音频任务。
2020-03-27 cs.LG cs.SD eess.AS
VQCPC-GAN: Variable-Length Adversarial Audio Synthesis Using Vector-Quantized Contrastive Predictive Coding
Sony Computer Science Laboratory（索尼计算机科学实验室）；LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎综合理工学院）
受计算机视觉领域的影响，生成对抗网络（GANs）通常用于音频域，使用固定大小的二维频谱图表示作为“图像数据”。然而，在（音乐）音频域中，通常期望生成可变持续时间的输出。本文提出了VQCPC-GAN，一个对抗性的框架，通过利用矢量量化对比预测编码（VQCPC）合成可变长度的音频。从真实音频数据中提取的VQCPC令牌序列用作GAN架构的条件输入，提供所生成内容的逐步时间相关特征。输入噪声z（对抗架构中的特征）随时间保持固定，确保全局特征的时间一致性。我们通过比较不同的指标集对各种强基线来评估所提出的模型。结果表明，即使基线得分最好，VQCPC-GAN即使在生成可变长度音频时也能实现相当的性能。在附带的网站中提供了许多合理的示例，我们发布了可重复性的代码。
2021-07-30 cs.AI cs.LG cs.SD
Universal Adversarial Audio Perturbations
École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）
我们证明了普遍对抗扰动的存在，它可以欺骗一系列音频分类架构，无论是有针对性的还是无针对性的攻击场景。我们提出了两种方法来找到这样的扰动。第一种方法基于计算机视觉中众所周知的迭代贪婪方法：它将小扰动聚合到输入，以便将其推到决策边界。第二种方法是这项工作的主要贡献，是一种新的惩罚公式，它发现了有针对性和无针对性的普遍对抗性扰动。与贪婪方法不同，惩罚方法在一批样本上最小化一个合适的目标函数。因此，当训练样本数量有限时，它会产生更成功的攻击。此外，我们提供了一个证明，所提出的惩罚方法理论上收敛到一个解决方案，对应于普遍对抗扰动。我们还证明，它是可能的，以提供成功的攻击时，只有一个样本从目标数据集的攻击者使用的惩罚方法。攻击各种1D CNN架构的实验结果表明，攻击成功率高于85.0%和83.1%的目标和非目标的攻击，分别使用所提出的惩罚方法。
2020-11-17 cs.LG cs.SD eess.AS
Fast Text-to-Audio Generation with Adversarial Post-Training
UC – San Diego（加州大学圣迭戈分校）；Stability AI；Arm
针对文本到音频系统推理延迟高的问题，提出不依赖蒸馏的ARC对抗后训练方法，结合对比判别器提升提示遵循度，适配Stable Audio Open后实现当前最快的文本到音频生成速度。
2025-05-20 cs.AI cs.LG cs.MM
Diverse Audio Captioning via Adversarial Training
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））
音频字幕的目的是自动生成自然语言描述的音频片段。近年来，现有的音频字幕模型已经显示出有希望的改进。然而，这些模型大多通过最大似然估计（MLE）进行训练，这往往使字幕通用，简单和确定性。由于不同的人可以从不同的方面使用不同的单词和语法来描述音频片段，我们认为，音频字幕系统应该有能力为固定的音频片段和跨类似的音频片段生成不同的字幕。为了解决这个问题，我们提出了一个基于条件生成对抗网络（C-GAN）的音频字幕对抗训练框架，旨在提高生成字幕的自然性和多样性。与经典GAN中处理连续值的数据不同，句子由离散标记组成，并且离散采样过程是不可微的。为了解决这个问题，策略梯度，一种强化学习技术，用于将奖励反向传播到生成器。结果表明，我们提出的模型可以生成更多样化的字幕，相比国家的最先进的方法。
2022-03-29 cs.SD eess.AS
ADAGIO: Interactive Experimentation with Adversarial Attack and Defense for Audio
Georgia Institute of Technology（佐治亚理工学院）；Intel Corporation（英特尔公司）
对抗机器学习研究最近已经证明了通过向音频样本引入声学上不可感知的扰动来混淆自动语音识别（ASR）模型的可行性。为了帮助研究人员和从业人员更好地了解此类攻击的影响，并为他们提供工具，帮助他们更轻松地评估和为其模型制作强大的防御，我们介绍了ADAGIO，这是第一个旨在实时的ASR模型上的对抗攻击和防御的交互式实验工具，包括视觉和听觉。ADAGIO采用AMR和MP3音频压缩技术作为防御手段，用户可以交互式地将其应用于受攻击的音频样本。我们表明，这些技术，这是基于心理声学原理，有效地消除有针对性的攻击，攻击成功率从92.5%降低到0%。我们将演示ADAGIO，并邀请观众在Mozilla Common Voice数据集上试用。
2018-05-30 cs.CR cs.LG cs.SD
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
对抗攻击是一种利用过程，其中对自然输入进行微小的改变，导致输入被神经模型错误分类。在语音识别领域，这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的，但它们已经渗透到语音识别领域。2017年，基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器，如语音命令模型，用于各种应用程序，特别是电话;因此，这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效，检测音频对抗性示例的准确率为93.5%，召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
Phonemic Adversarial Attack against Audio Recognition in Real World
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）
近年来，针对音频识别的对抗攻击引起了广泛关注。然而，现有的研究大多依赖于实例级的粗粒度音频特征来生成对抗性噪声，导致生成时间开销大，通用攻击能力弱。基于所有音频语音都由基本音素组成的观点，提出了一种音素对抗性攻击（PAT）范式，该范式攻击音频实例之间共享的音素级细粒度音频特征，生成音素对抗性噪声，具有更一般的攻击能力和更快的生成速度.具体而言，为了加快生成速度，引入音素密度均衡采样策略，通过估计音素密度来采样数量较少但音素特征丰富的音频实例作为训练数据，从而大大减轻了对大训练数据集的严重依赖。此外，为了提高通用攻击能力，采用滑动窗口异步优化音素噪声，增强音素多样性，从而更好地捕捉关键的基本音素模式。通过进行广泛的实验，我们全面研究了所提出的PAT框架，并证明它的性能大大优于SOTA基线（即，至少11倍的速度和78%的攻击能力提高）。
2022-11-19 cs.CR cs.SD eess.AS
aaeCAPTCHA: The Design and Implementation of Audio Adversarial CAPTCHA
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
CAPTCHA旨在防止恶意机器人程序滥用网站。大多数在线服务提供商为视障用户部署音频CAPTCHA作为文本和图像CAPTCHA的替代方案。然而，先前调查音频CAPTCHA安全性的研究发现，它们非常容易受到使用自动语音识别（ASR）系统的自动攻击。为了提高音频验证码对自动滥用的鲁棒性，本文提出了一个音频对抗性验证码系统（aaeCAPTCHA）的设计与实现。aaeCAPTCHA系统利用音频对抗示例作为CAPTCHA，以防止ASR系统自动解决它们。此外，我们针对五个最先进的基于DNN的ASR系统和三个商业语音转文本（STT）服务对我们的新音频CAPTCHA设计进行了严格的安全评估。我们的实验评估表明，aaeCAPTCHA对这些语音识别技术是高度安全的，即使攻击者完全了解当前对音频对抗性示例的攻击。我们还对aaeCAPTCHA方案的概念验证实现进行了可用性评估。我们的研究结果表明，它实现了较高的鲁棒性在一个温和的可用性成本相比，正常的音频CAPTCHA。最后，我们的广泛分析强调，aaeCAPTCHA可以显着提高传统音频CAPTCHA系统的安全性和鲁棒性，同时保持类似的可用性。
2022-03-05 cs.CR cs.SD eess.AS
Perceptual Based Adversarial Audio Attacks
Bosch Center for Artificial Intelligence（博世人工智能中心）；Carnegie-Mellon University（卡内基梅隆大学）
最近的研究表明，自动语音识别（ASR）系统可能会受到对抗性攻击。然而，在这一领域的绝大多数工作中，攻击只在数字空间中执行，或者涉及简短的短语和静态的房间设置。在本文中，我们演示了一个物理上可实现的音频对抗攻击。我们的方法特别基于心理声学特性的损失函数，并自动生成房间脉冲响应，以创建在多个环境中通过扬声器播放时鲁棒的对抗性攻击。我们表明，这种攻击是可能的，即使是几乎察觉不到的听众。
2019-06-14 cs.SD eess.AS
Enhancing Unsupervised Audio Representation Learning via Adversarial Sample Generation
Alibaba Group（阿里巴巴集团）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
现有的音频分析方法通常首先将音频流转换为频谱图，然后将其馈送到CNN中进行进一步分析。标准的CNN识别特征图上的特定视觉模式，然后汇集高级表示，这忽略了识别模式的位置信息。然而，与自然图像不同，音频频谱图的语义对位置变化敏感，因为其垂直和水平轴指示音频的频率和时间信息，而不是朴素的直角坐标。因此，CNN对位置变化的不敏感性对音频频谱图编码起负面作用。为了解决这个问题，本文提出了一种新的自监督学习机制，该机制通过首先生成对抗样本（\textit{i.e.}，负样本），然后驱动CNN来区分潜在空间中负对的嵌入来增强音频表示。大量实验表明，该方法在9个下游数据集上取得了较好的效果，验证了其在音频表示学习中的有效性。
2023-03-15 cs.SD eess.AS
Universal Adversarial Perturbations for Speech Recognition Systems
UC San Diego（加州大学圣地亚哥分校）
在这项工作中，我们证明了普遍存在的对抗性音频扰动，导致错误的转录音频信号的自动语音识别（ASR）系统。我们提出了一种算法，找到一个单一的准不可感知的扰动，当添加到任何任意的语音信号，将最有可能欺骗受害者语音识别模型。我们的实验通过为最先进的ASR系统- Mozilla DeepSpeech制作音频不可知的通用扰动来展示我们所提出的技术的应用。此外，我们还通过对基于WaveNet的ASR系统进行可转移性测试，证明了这种扰动在训练过程中不可用的模型中具有很大的普遍性。
2019-08-15 cs.LG cs.SD eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架，融合SSL声学表示与CLAP语义嵌入，并引入对抗一致性训练，在多个指标上超越现有基线，树立新基准。
2025-06-20 cs.SD eess.AS
Unsupervised Generative Adversarial Alignment Representation for Sheet music, Audio and Lyrics
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
乐谱、音频和歌词是创作歌曲的三种主要形式。在本文中，我们提出了一种无监督的生成对抗对齐表示（UGAAR）模型来学习三种主要音乐形式共享的深度判别表示：乐谱，歌词和音频，其中基于三个分支的深度神经网络架构被联合训练。特别是，该模型可以通过学习潜在共享子空间中的相关性，将音频和乐谱之间的强关系转移到音频-歌词和乐谱-歌词对。我们应用音频和乐谱的CCA组件来建立新的地面实况。生成（G）模型学习两对转移对的相关性，以针对固定歌词生成新的音频片对来挑战判别（D）模型。判别模型的目的是区分来自生成模型的输入还是来自基础事实的输入。这两个模型同时以对抗的方式进行训练，以增强深度对齐表示学习的能力。我们的实验结果表明，我们提出的UGAAR对齐表示学习之间的乐谱，音频和歌词的可行性。
2020-07-29 cs.IR cs.MM cs.SD
Enhancing Gappy Speech Audio Signals with Generative Adversarial Networks
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（洞察数据分析中心）
本文利用生成对抗网络，通过将音频转化为梅尔频谱图进行图像修复，再经Parallel-WaveGAN声码器还原，实现长达320毫秒语音间隙的近乎实时高质量再生，在240毫秒间隙上达到3.737的MOS评分。
2023-05-09 cs.LG cs.SD eess.AS
FGAS: Fixed Decoder Network-Based Audio Steganography with Adversarial Perturbation Generation
School of Communication & Electronic Engineering, East China Normal University（东华大学通信与电子工程学院）；Shanghai Innovation Institute（上海创新研究院）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
本文提出FGAS，一种基于固定解码器网络的音频隐写术，通过生成对抗扰动提升音频质量与抗隐写分析性能，实验显示其在PSNR和抗攻击方面优于现有方法。
2026-04-23 cs.MM cs.SD eess.AS
"I am bad": Interpreting Stealthy, Universal and Robust Audio Jailbreaks in Audio-Language Models
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
本文针对音频语言模型提出首个通用音频越狱攻击，通过构造跨提示、任务和样本的对抗扰动绕过对齐机制，并揭示其编码第一人称有毒语音，为多模态安全防御提供见解。
2025-07-10 cs.LG cs.SD eess.AS
Fre-GAN: Adversarial Frequency-consistent Audio Synthesis
Korea University（高丽大学）；Netmarble Corporation（网石公司）
虽然最近的神经声码器的工作已经提高了合成音频的质量，但在频率空间中生成的音频和地面真实音频之间仍然存在差距。这种差异会导致频谱伪像，如嘶嘶声噪声或混响，从而降低样本质量。在本文中，我们提出了Fre-GAN，它实现了频率一致的音频合成，并大大提高了生成质量。具体来说，我们首先提出了分辨率连接的生成器和分辨率鉴别器，这有助于学习多个频段上的各种尺度的频谱分布。此外，为了准确地再现高频分量，我们在鉴别器中利用离散小波变换。从我们的实验中，Fre-GAN实现了高保真波形生成，与地面实况音频相比，差距仅为0.03 MOS，同时在质量上优于标准模型。
2021-06-14 cs.LG eess.AS
Boosting the Transferability of Audio Adversarial Examples with Acoustic Representation Optimization
National Engineering Research Center of Disaster Backup and Recovery（国家防灾备份与恢复工程研究中心）；School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）
提出声学表示优化技术，通过对齐低层声学特征提升音频对抗样本跨模型可迁移性，且不损害音频质量，可即插即用。实验验证了其有效性。
2025-03-25 cs.CR cs.LG cs.SD
Adversarial Audio: A New Information Hiding Method and Backdoor for DNN-based Speech Recognition Models
Hunan University（湖南大学）
音频是人们日常生活中的重要媒介，隐藏信息可以嵌入到音频中进行隐蔽通信。目前的音频信息隐藏技术可以大致分为基于时域的技术和基于变换域的技术。基于时域的隐藏技术具有较大的隐藏容量，但不可感知性较低。基于变换域的技术具有较好的不可感知性，但隐藏容量较差。本文提出了一种新的音频信息隐藏技术，该技术具有高隐藏容量和良好的不可感知性。提出的音频信息隐藏方法以原始音频信号为输入，通过训练我们的私人自动语音识别（ASR）模型，得到嵌入隐藏信息的音频信号（称为隐写音频）。在不知道私有模型的内部参数和结构的情况下，私有模型可以提取隐藏信息，而公共模型不能提取隐藏信息。我们使用其他四个ASR模型来提取隐藏音频的隐藏信息，以评估私有模型的安全性。实验结果表明，该音频信息隐藏技术具有48 cps的隐藏容量，同时具有良好的不可感知性和较高的安全性。此外，我们提出的对抗性音频可用于激活基于DNN的ASR模型的内在后门，这给智能扬声器带来了严重威胁。
2019-04-08 cs.CR cs.SD eess.AS
SoundBreak: A Systematic Study of Audio-Only Adversarial Attacks on Trimodal Models
Department of Computer Science, Virginia Tech, USA（计算机科学系，弗吉尼亚理工大学）
SoundBreak研究了对三模态模型的仅音频对抗攻击，发现音频扰动可导致严重多模态失败，攻击成功率高达96%，并揭示了多模态系统中被忽视的单模态攻击面。
2026-01-20 cs.AI cs.CL cs.LG
Comparing Representations for Audio Synthesis Using Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；Télecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
在本文中，我们比较了不同的音频信号表示，包括原始音频波形和各种时频表示，用于生成对抗网络（GANs）的音频合成任务。我们在NSynth数据集的一个子集上进行实验。该架构遵循基准Progressive Growing Wasserstein GAN。我们以完全无条件的方式进行实验，并在音高信息上调节网络。我们利用标准指标对生成的材料进行定量评估，以评估生成模型，并比较训练和采样时间。我们表明，复值以及幅度和瞬时频率的短时傅里叶变换达到最佳效果，并产生快速生成和反转时间。用于特征提取、训练和评估模型的代码可在线获得。
2020-06-17 cs.SD eess.AS
An Integrated Algorithm for Robust and Imperceptible Audio Adversarial Examples
Fraunhofer Institute for Applied and Integrated Security (AISEC)（弗劳恩霍夫应用与集成安全研究所（AISEC））；Technical University Munich（慕尼黑工业大学）
本研究提出一种集成算法，在音频对抗样本生成阶段就结合心理声学模型与神经网络动态生成的房间冲激响应，提升了样本的不可感知性与空中攻击鲁棒性，同时伴随词错误率上升。
2023-10-05 cs.LG cs.SD eess.AS
GACELA -- A generative adversarial context encoder for long audio inpainting
Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）；Swiss Data Science Center, ETH Zürich（苏黎世联邦理工学院瑞士数据科学中心）
我们介绍GACELA，一种生成对抗网络（GAN），旨在恢复持续时间在数百毫秒到几秒之间的丢失的音乐音频数据，即，来执行长间隙音频修复。虽然以前的工作要么解决了较短的间隙，要么依赖于样本，从其他信号部分复制可用的信息，GACELA解决了两个方面的长间隙的修复。首先，它认为不同的时间尺度的音频信息依赖于五个平行的鉴别器，增加分辨率的感受野。第二，它不仅取决于围绕差距的可用信息，即，上下文，但也对条件GAN的潜在变量。这解决了在这样长的间隙处音频修复的固有多模态，并且提供了用户定义的修复的选项。GACELA在不同复杂度和间隙持续时间范围从375毫秒到1500毫秒的音乐信号的听力测试中进行了测试。虽然我们的受试者通常能够检测到修复，但伪影的严重程度从不可接受下降到轻度干扰。GACELA代表了一个能够集成未来改进的框架，例如处理更多与音乐相关的功能或更明确的音乐功能。
2020-05-11 cs.SD eess.AS stat.ML
TransAudio: Towards the Transferable Adversarial Audio Attack via Learning Contextualized Perturbations
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
在针对自动语音识别（ASR）系统的基于传输的攻击中，攻击无法访问目标模型的结构和参数。现有的攻击方法主要是在具有受限语音命令的语音助理场景中进行研究，从而禁止其适用于更一般的ASR相关应用。为了应对这一挑战，我们提出了一种新的上下文攻击删除，插入和替换对抗行为，即TransAudio，它实现了任意字级攻击的基础上提出的两阶段框架。为了增强攻击的可移植性，我们进一步引入了一种音频分数匹配优化策略来规范训练过程，从而减轻对抗性示例对代理模型的过度拟合。大量的实验和分析证明了TransAudio对开源ASR模型和商业API的有效性。
2023-03-28 cs.SD eess.AS
Audio Attacks and Defenses against AED Systems -- A Practical Study
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在本文中，我们评估了基于对抗性示例的支持深度学习的AED系统对规避攻击的抵抗能力。我们测试了多个安全关键AED任务的鲁棒性，这些任务被实现为CNN分类器，以及由Google制造的现有第三方Nest设备，这些设备运行自己的黑盒深度学习模型。我们的对抗性示例使用由白噪声和背景噪声组成的音频扰动。这种干扰很容易创建、执行和复制，并且可以被大量的潜在攻击者访问，甚至是不懂技术的攻击者。我们表明，对手可以专注于音频对抗输入，导致AED系统错误分类，实现高成功率，即使我们使用小级别的给定类型的噪声干扰。例如，在枪声类的情况下，当采用低至0.05的白噪声水平时，我们实现了接近100%的成功率。类似于之前关注来自图像域以及语音识别域的对抗性示例的作品所做的。然后，我们寻求通过对策来提高分类器的鲁棒性。我们采用对抗训练和音频去噪。我们表明，这些对策，当应用于音频输入，可以是成功的，无论是在隔离或组合，产生相关的增加近百分之五十的性能的分类器时，这些受到攻击。
2021-11-10 cs.LG cs.SD eess.AS
Representation Learning for Audio Privacy Preservation using Source Separation and Robust Adversarial Learning
Tampere University（坦佩雷大学）；University of Helsinki（赫尔辛基大学）；Nokia Tech（诺基亚技术公司）
本研究提出整合源分离与对抗表示学习来学习音频潜在表示，防止区分语音与非语音，从而在保持声学监测性能的同时显著提升语音隐私保护效果。
2023-08-09 cs.CR cs.LG cs.SD
Defense Against Adversarial Attacks on Audio DeepFake Detection
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本文研究音频深度伪造检测的对抗攻击防御问题，评估3种检测架构在两类攻击场景下的鲁棒性，提出新型自适应对抗训练方法提升性能，并首次将RawNet3适配用于深度伪造检测。
2023-06-10 cs.CR cs.LG cs.SD
Audio Codec Enhancement with Generative Adversarial Networks
音频编解码器通常是基于变换域的，并且有效地对静止音频信号进行编码，但是它们难以处理语音和包含密集瞬态事件（例如掌声）的信号。具体来说，以这两类信号为例，我们展示了一种基于生成对抗网络（GAN）从编码噪声中恢复音频的技术。所提出的基于GAN的编码音频增强器的主要优点是，该方法直接对解码音频样本进行端到端操作，无需设计任何手动制作的前端。此外，本文所描述的增强方法可以改善低比特率编码的音频的声音质量，而无需对现有的标准兼容的编码器进行任何修改。主观测试表明，该增强器显著提高了语音质量和难以编码的掌声摘录。
2020-01-27 eess.AS eess.SP
Unconditional Audio Generation with Generative Adversarial Networks and Cycle Regularization
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
在最近的一篇论文中，我们提出了一种基于生成对抗网络（GAN）的模型，用于无条件生成歌声的梅尔谱图。由于该模型的生成器被设计为以可变长度的噪声向量序列作为输入，因此它可以生成可变长度的梅尔谱图。然而，我们之前的听力测试表明，生成的音频质量还有改进的空间。本论文在以下几个方面对前人的工作进行了扩展。首先，我们在生成器中采用了一个层次结构来诱导时间维度中的一些结构。其次，我们引入了一个周期正则化机制的发生器，以避免模式崩溃。第三，我们评估的新模型的性能，不仅为产生歌声，但也为产生语音。评价结果表明，新模型在客观和主观方面均优于原模型。我们还采用该模型来无条件地生成钢琴和小提琴音乐序列，并发现结果很有希望。音频示例以及实现我们模型的代码将在纸质出版物上在线公开。
2020-05-18 cs.LG cs.SD eess.AS
Bandwidth Extension on Raw Audio via Generative Adversarial Networks
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）
基于神经网络的方法最近已经展示了关于图像合成和超分辨率任务的最先进的结果，特别是通过使用具有监督特征损失的生成对抗网络（GANs）的变体。然而，以前的特征丢失公式依赖于大型辅助分类器网络的可用性，以及使这些分类器能够被训练的标记数据集。此外，探索基于GAN的方法对图像和视频以外的领域的适用性的工作相对较少。在这项工作中，我们探索了一种基于GAN的音频处理方法，并开发了一种卷积神经网络架构来执行音频超分辨率。除了用于音频处理的几个新的架构构建块之外，我们方法的一个关键组成部分是使用基于自动编码器的损失，该损失能够在GAN框架中进行训练，其中特征损失来自未标记的数据。我们探讨了我们的建筑选择的影响，并展示了显着的改善，在客观和感知质量方面比以前的作品。
2019-03-21 cs.SD eess.AS
Adversarial Audio Synthesis with Complex-valued Polynomial Networks
KTH Royal Institute of Technology（KTH皇家理工学院）；EPFL（洛桑联邦理工学院）
音频合成中的时频（TF）表示越来越多地使用实值网络建模。然而，忽略TF表示的复值性质可能导致次优性能并且需要额外的模块（例如，用于对相位进行建模）。为此，我们引入复值多项式网络，称为APOLLO，以自然的方式集成这种复值表示。具体地说，APOLLO使用高阶张量作为尺度参数来捕获输入元素的高阶相关性。通过利用标准的张量分解，我们得到不同的架构，并使建模更丰富的相关性。我们概述了这样的架构，并展示了他们的性能在音频生成四个基准。作为一个亮点，APOLLO导致$17.5\%$优于对抗方法，$8.2\%$优于SC09数据集上最先进的音频生成扩散模型。我们的模型可以鼓励系统设计的其他高效的架构在复杂的领域。
2022-06-21 cs.LG eess.AS
Exploiting Pre-trained Feature Networks for Generative Adversarial Networks in Audio-domain Loop Generation
Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
虽然生成对抗网络（GANs）已广泛用于音频生成的研究，但已知GAN模型的训练不稳定，耗时且数据效率低下。在改善GANs训练过程的尝试中，投影GAN的想法作为基于GAN的图像生成的有效解决方案出现，在不同的图像应用中建立了最先进的技术。其核心思想是使用一个预先训练好的分类器来约束神经网络的特征空间，以稳定和改进GAN训练。本文研究了投影GAN是否可以通过评估基于StyleGAN 2的音频域循环生成模型的性能来类似地改善音频生成，其中使用和不使用预训练的特征空间。此外，我们比较了使用一般与特定领域的分类器作为预训练的音频分类器的性能。通过对鼓循环和合成器循环生成的实验，我们证明了通用音频分类器的效果更好，并且使用投影GAN，我们的循环生成模型可以在不降低性能的情况下收敛约5倍。
2022-09-05 cs.SD eess.AS
On the Use of Audio Fingerprinting Features for Speech Enhancement with Generative Adversarial Network
McGill University（麦吉尔大学）；Concordia University（康考迪亚大学）
语音增强中基于学习的方法的出现已经恢复了对鲁棒且可靠的训练特征的需要，所述训练特征能够在保留语音信号的重要信息的同时对语音信号进行压缩表示。时间-频率域特征，例如短期傅里叶变换（STFT）和梅尔频率倒谱系数（MFCC），在许多方法中是优选的。虽然MFCC提供了紧凑的表示，但它们忽略了每个梅尔尺度子带中的能量的动态和分布。在这项工作中，语音增强系统的生成对抗网络（GAN）的基础上实现和测试的音频指纹（AFP）的功能从MFCC和归一化频谱子带质心（NSSC）的组合。NSSC捕获语音共振峰的位置，并以关键的方式补充MFCC。在不同说话人和噪声类型的实验中，基于GAN的语音增强与所提出的AFP特征组合实现了最佳的客观性能，同时减少了内存需求和训练时间。
2020-07-27 cs.LG cs.SD eess.AS
A Multiversion Programming Inspired Approach to Detecting Audio Adversarial Examples
University of South Carolina（南卡罗来纳大学）；Temple University（天普大学）
对抗性示例（AE）是通过向输入中添加人类无法感知的扰动来制作的，这样基于机器学习的分类器就会错误地标记它们。它们已经成为机器学习可信度的严重威胁。虽然图像域中的AE已得到很好的研究，但音频AE的研究较少。最近，提出了多种技术来产生音频AE，这使得针对它们的对策成为一项紧迫的任务。我们的实验表明，给定一个AE，不同的自动语音识别（ASR）系统的转录结果有显着差异，因为它们使用不同的架构，参数和训练数据集。受多版本编程的启发，我们提出了一种新的音频AE检测方法，该方法利用多个现成的ASR系统来确定音频输入是否是AE。实验结果表明，该方法的检测准确率达到98.6%以上。
2019-12-03 cs.CR cs.SD eess.AS
Towards Resistant Audio Adversarial Examples
Fraunhofer AISEC（弗劳恩霍夫应用安全研究中心）
对抗性示例极大地威胁了基于机器学习的系统的可用性和完整性。虽然这种攻击的可行性首先在图像处理领域被观察到，但最近的研究表明，语音识别也容易受到对抗攻击的影响。然而，可靠地桥接气隙（即，使对抗性的例子在通过麦克风记录时起作用）迄今为止一直困扰着研究人员。我们发现，由于生成过程中的缺陷，最先进的对抗性示例生成方法由于目标语音识别系统中的分箱操作而导致过拟合（例如，Mozilla Deepspeech）。我们设计了一种方法来减轻这个缺陷，并发现我们的方法提高了具有不同偏移量的对抗性示例的生成。我们证实了显着的改善与我们的方法，在一个现实的空中设置的编辑距离的经验比较。我们的做法表明向空中攻击迈出了重要一步。我们发布代码和我们方法的适用实现。
2020-10-14 cs.CR cs.LG cs.SD
