Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California（南加州大学）；National Institute of Informatics（国立信息学研究所）
由于音乐与符号输入的语音合成的相似性以及文语转换（TTS）技术的快速发展，借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中，我们分析了基于TTS的MIDI到音频系统的不足之处，并改进它的特征计算，模型选择和训练策略，旨在合成高度自然的声音。此外，我们进行了广泛的模型评估，通过听力测试，音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成，而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego（加州大学圣迭戈分校）；New York University（纽约大学）
提出 network modulation synthesis 框架及新生成算法，帮助用户在自编码器潜在空间中构造时变参数，扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London（帝国理工学院）
对抗攻击对深度学习模型构成了威胁。然而，针对对抗性检测方法的研究，尤其是在多模态领域的研究非常有限。在这项工作中，我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是，由于增加了对抗性噪声，对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理，并基于它，我们可以检测对抗攻击。据我们所知，这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Perceptual Based Adversarial Audio Attacks
Bosch Center for Artificial Intelligence（博世人工智能中心）；Carnegie-Mellon University（卡内基梅隆大学）
最近的研究表明，自动语音识别（ASR）系统可能会受到对抗性攻击。然而，在这一领域的绝大多数工作中，攻击只在数字空间中执行，或者涉及简短的短语和静态的房间设置。在本文中，我们演示了一个物理上可实现的音频对抗攻击。我们的方法特别基于心理声学特性的损失函数，并自动生成房间脉冲响应，以创建在多个环境中通过扬声器播放时鲁棒的对抗性攻击。我们表明，这种攻击是可能的，即使是几乎察觉不到的听众。
2019-06-14 cs.SD eess.AS
Enhancing Unsupervised Audio Representation Learning via Adversarial Sample Generation
Alibaba Group（阿里巴巴集团）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
现有的音频分析方法通常首先将音频流转换为频谱图，然后将其馈送到CNN中进行进一步分析。标准的CNN识别特征图上的特定视觉模式，然后汇集高级表示，这忽略了识别模式的位置信息。然而，与自然图像不同，音频频谱图的语义对位置变化敏感，因为其垂直和水平轴指示音频的频率和时间信息，而不是朴素的直角坐标。因此，CNN对位置变化的不敏感性对音频频谱图编码起负面作用。为了解决这个问题，本文提出了一种新的自监督学习机制，该机制通过首先生成对抗样本（\textit{i.e.}，负样本），然后驱动CNN来区分潜在空间中负对的嵌入来增强音频表示。大量实验表明，该方法在9个下游数据集上取得了较好的效果，验证了其在音频表示学习中的有效性。
2023-03-15 cs.SD eess.AS
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University（纽约大学）
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成，提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架，融合SSL声学表示与CLAP语义嵌入，并引入对抗一致性训练，在多个指标上超越现有基线，树立新基准。
2025-06-20 cs.SD eess.AS
An Audio Synthesis Framework Derived from Industrial Process Control
University of Mumbai（孟买大学）
自其概念以来，数字合成对音乐的发展产生了重大影响，导致了新的流派和制作风格。通过现有的合成技术，人们可以重新创建自然发生的声音，以及产生创新的人造音色。然而，音频技术的研究继续追求合成声音的新方法，保持音乐的变化不变。本研究试图重新定义用于反馈过程控制的比例-积分-微分（PID）算法，以制定一个新的综合技术的框架。然后将该框架实现为Python应用程序，以研究可用的控制参数及其对合成输出的影响。此外，应用这种技术作为音频信号和LFO发生器，包括其潜在的替代FM和Wavetable合成技术，进行了详细研究。研究最后强调了目前框架中的一些不完善之处，以及为解决这些问题而可能考虑的研究方向。
2021-09-21 cs.SD eess.AS
Detecting Audio Adversarial Examples with Logit Noising
POSTECH（浦项工科大学）
自动语音识别（ASR）系统容易受到音频对抗性示例的攻击，这些音频对抗性示例试图通过向良性语音信号添加扰动来欺骗ASR系统。虽然一个敌对的例子和原始的良性波是无法区分的人类，前者被转录为一个恶意的目标句子的ASR系统。已经提出了几种方法来生成音频对抗性示例并将其直接馈送到ASR系统（在线）。此外，许多研究人员已经证明了强大的物理音频对抗示例（空中）的可行性。为了抵御这些攻击，已经提出了几项研究。然而，在现实世界中部署它们是困难的，因为精度下降或时间开销。在本文中，我们提出了一种新的方法来检测音频对抗性的例子，在将它们馈送到ASR的解码器之前，向logits添加噪声。我们表明，精心选择的噪声可以显着影响音频对抗性示例的转录结果，而它对良性音频波的转录结果的影响最小。基于这一特点，我们检测音频对抗的例子，通过比较的转录改变的logit噪声与其原始的转录。所提出的方法可以很容易地应用到ASR系统，无需任何结构变化或额外的培训。实验结果表明，与现有的检测方法相比，该方法对离线音频对抗和空中音频对抗具有较好的鲁棒性。
2021-12-13 cs.CR cs.SD eess.AS
DarkGAN: Exploiting Knowledge Distillation for Comprehensible Audio Synthesis with GANs
Telecom Paris（巴黎电信学院）；IP Paris（巴黎综合理工学院）；Sony Computer Science Laboratories（索尼计算机科学研究所）
生成对抗网络（GANs）在过去几年中实现了出色的音频合成质量。然而，使它们与语义上有意义的控件一起操作仍然是一个开放的挑战。一种明显的方法是通过将GAN调节到音频数据集中包含的元数据来控制它。不幸的是，音频数据集往往缺乏所需的注释，特别是在音乐领域。避免这种注释缺乏的一种方法是生成注释，例如，使用自动音频标记系统。这种系统的输出概率（所谓的“软标签”）携带关于相应音频的特征的丰富信息，并且可以用于将知识从教师模型提取到学生模型中。在这项工作中，我们执行知识蒸馏从一个大型的音频标记系统到一个对抗性的音频合成器，我们称之为DarkGAN。结果表明，DarkGAN可以合成具有可接受质量的音乐音频，并且即使在分布外输入条件下也表现出适度的属性控制。我们在附带的网站上发布代码并提供音频示例。
2021-08-03 cs.SD eess.AS
FAAG: Fast Adversarial Audio Generation through Interactive Attack Optimisation
Swinburne University of Technology（斯威本科技大学）；James Cook University（詹姆斯·库克大学）；Deakin University（迪肯大学）
自动语音识别服务（ASR）继承了深度神经网络的漏洞，如精心制作的对抗性示例。现有的方法通常效率低下，因为目标相位被添加到整个音频样本中，导致对计算资源的高需求。本文提出了一种名为FAAG的新方案，作为一种基于迭代优化的方法来快速生成有针对性的对抗性示例。通过在音频的开始部分注入噪声，FAAG以高的成功率及时生成高质量的对抗性音频。具体来说，我们使用音频的logits输出将转录中的每个字符映射到音频帧的近似位置。因此，FAAG仅使用CPU就可以在大约两分钟内生成一个对抗性示例，使用一个GPU大约需要十秒，同时保持平均成功率超过85%。具体来说，在对抗性示例生成过程中，FAAG方法与基线方法相比可以加快60%左右。此外，我们发现，附加良性音频到任何可疑的例子可以有效地抵御有针对性的对抗攻击。我们希望这项工作为发明新的针对具有计算约束的语音识别的对抗攻击铺平道路。
2022-02-11 cs.CR cs.SD eess.AS
TransAudio: Towards the Transferable Adversarial Audio Attack via Learning Contextualized Perturbations
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
在针对自动语音识别（ASR）系统的基于传输的攻击中，攻击无法访问目标模型的结构和参数。现有的攻击方法主要是在具有受限语音命令的语音助理场景中进行研究，从而禁止其适用于更一般的ASR相关应用。为了应对这一挑战，我们提出了一种新的上下文攻击删除，插入和替换对抗行为，即TransAudio，它实现了任意字级攻击的基础上提出的两阶段框架。为了增强攻击的可移植性，我们进一步引入了一种音频分数匹配优化策略来规范训练过程，从而减轻对抗性示例对代理模型的过度拟合。大量的实验和分析证明了TransAudio对开源ASR模型和商业API的有效性。
2023-03-28 cs.SD eess.AS
Cortical Features for Defense Against Adversarial Audio Attacks
University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们建议使用听觉皮层的计算模型作为对音频的对抗攻击的防御。我们将几种基于白盒迭代优化的对抗攻击应用于Amazon Alexa硬件网络的实现，以及具有集成皮质表示的该网络的修改版本，并表明皮质特征有助于防御通用对抗示例。在相同的失真水平下，针对皮层网络发现的对抗性噪声对于通用音频攻击总是不太有效。我们在https://github.com/ilyakava/py3fst上公开发布我们的代码。
2021-11-17 cs.LG cs.SD eess.AS
Generative Audio Synthesis with a Parametric Model
IIT Bombay（印度理工学院孟买分校）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
使用音频的参数化表示来训练生成模型，以获得对所生成的声音的更灵活的控制。
2019-11-15 cs.LG cs.SD eess.AS
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
Bandwidth Extension on Raw Audio via Generative Adversarial Networks
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）
基于神经网络的方法最近已经展示了关于图像合成和超分辨率任务的最先进的结果，特别是通过使用具有监督特征损失的生成对抗网络（GANs）的变体。然而，以前的特征丢失公式依赖于大型辅助分类器网络的可用性，以及使这些分类器能够被训练的标记数据集。此外，探索基于GAN的方法对图像和视频以外的领域的适用性的工作相对较少。在这项工作中，我们探索了一种基于GAN的音频处理方法，并开发了一种卷积神经网络架构来执行音频超分辨率。除了用于音频处理的几个新的架构构建块之外，我们方法的一个关键组成部分是使用基于自动编码器的损失，该损失能够在GAN框架中进行训练，其中特征损失来自未标记的数据。我们探讨了我们的建筑选择的影响，并展示了显着的改善，在客观和感知质量方面比以前的作品。
2019-03-21 cs.SD eess.AS
Exploiting Pre-trained Feature Networks for Generative Adversarial Networks in Audio-domain Loop Generation
Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
虽然生成对抗网络（GANs）已广泛用于音频生成的研究，但已知GAN模型的训练不稳定，耗时且数据效率低下。在改善GANs训练过程的尝试中，投影GAN的想法作为基于GAN的图像生成的有效解决方案出现，在不同的图像应用中建立了最先进的技术。其核心思想是使用一个预先训练好的分类器来约束神经网络的特征空间，以稳定和改进GAN训练。本文研究了投影GAN是否可以通过评估基于StyleGAN 2的音频域循环生成模型的性能来类似地改善音频生成，其中使用和不使用预训练的特征空间。此外，我们比较了使用一般与特定领域的分类器作为预训练的音频分类器的性能。通过对鼓循环和合成器循环生成的实验，我们证明了通用音频分类器的效果更好，并且使用投影GAN，我们的循环生成模型可以在不降低性能的情况下收敛约5倍。
2022-09-05 cs.SD eess.AS
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney（悉尼大学）
针对神经音频合成依赖离散标签、难以细微控制声音的问题，本文提出基于GAN的隐式条件化方法ICGAN，构建连续条件空间实现无显式标签的可解释音色操控，并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
Differentiable Wavetable Synthesis
ByteDance（字节跳动）
可微分波形表合成（DWTS）是一种用于神经音频合成的技术，其通过端到端训练来学习单周期波形（即波形表）的字典。我们实现了高保真音频合成，只需10到20个波表，并演示了数据驱动的波形字典如何在短音频片段上开辟前所未有的一次性学习范例。值得注意的是，我们展示了音频操作，例如高质量的音高转换，仅使用几秒钟的输入音频。最后，我们研究了使用学习的波形表进行实时和交互式音频合成的性能增益。
2022-02-13 cs.LG cs.SD eess.AS
Stochastic Restoration of Heavily Compressed Musical Audio using Generative Adversarial Networks
Sony Computer Science Laboratories (CSL)（索尼计算机科学实验室（CSL））
有损音频编解码器通过去除人类感知中往往听不见的信息来压缩（和消除）数字音频流。在高压缩率下，这样的编解码器可能在音频信号中引入各种损害。许多工作已经使用深度学习技术解决了音频增强和压缩伪影去除的问题。然而，只有少数作品解决了在音乐领域的严重压缩的音频信号的恢复。在这种情况下，没有用于恢复原始信号的唯一解决方案。因此，在这项研究中，我们测试了生成对抗网络（GAN）架构的随机生成器。这种随机发生器，以高度压缩的音乐音频信号为条件，有一天可以产生与高质量版本难以区分的输出。因此，本研究可能会产生更有效的音乐数据存储和传输的见解。我们训练随机和确定性发生器的MP3压缩音频信号与16，32，和64 kbit/s。我们利用客观指标和听力测试进行了广泛的评估不同的实验。我们发现，该模型可以提高音频信号的质量超过MP3版本为16和32 kbit/s，随机生成器能够生成比确定性生成器更接近原始信号的输出。
2022-07-04 cs.SD eess.AS
Transferable Adversarial Attacks on Audio Deepfake Detection
College of Innovation & Technology, University of Michigan-Flint（密歇根大学弗林特分校创新与技术学院）
本文提出基于GAN的可迁移对抗攻击框架，利用替代模型集成和判别器，并引入自监督音频模型保证质量，揭示SOTA音频深度伪造检测系统在白盒、灰盒和黑盒场景下的显著脆弱性，准确率大幅下降。
2025-01-21 cs.SD eess.AS
An investigation of pre-upsampling generative modelling and Generative Adversarial Networks in audio super resolution
University of Cambridge（剑桥大学）
已经有几个成功的深度学习模型可以执行音频超分辨率。这些方法中的许多涉及使用预处理的特征提取，其需要大量特定于域的信号处理知识来实现。卷积神经网络（CNN）通过自动学习过滤器改进了这个框架。卷积方法的一个例子是AudioUNet，它从上采样图像的新方法中获得灵感。我们的论文将预上采样AudioUNet与一种新的生成模型进行了比较，该模型在使用深度学习将信号转换为更可信的信号之前对信号进行上采样。基于图像超分辨率的EDSR网络，新提出的模型优于UNet，对数光谱距离增加了20%，平均意见得分为4.06，而两倍上采样的情况下为3.82。AudioEDSR的参数也比AudioUNet少87%。还探讨了将AudioUNet并入Wasserstein GAN（具有梯度惩罚）（WGAN-GP）结构如何影响训练。最后分析了伪影对当前技术水平的影响，并提出了解决问题的方法。本文中使用的方法有广泛的应用电话，音频识别和音频生成任务。
2021-09-30 cs.SD eess.AS
Audio Adversarial Examples for Robust Hybrid CTC/Attention Speech Recognition
Technical University of Munich（慕尼黑工业大学）
自动语音识别（ASR）的最新进展展示了端到端系统如何能够实现最先进的性能。有一种趋势是更深入的神经网络，但是这些ASR模型也更复杂，更容易受到精心设计的噪声数据的影响。这些音频对抗示例（AAE）之前在使用连接主义时间分类（CTC）以及基于注意力的编码器-解码器架构的ASR系统上进行了演示。根据混合CTC/注意力ASR系统的思想，本文提出了生成AAE的算法，将这两种方法结合到一个联合CTC-注意力梯度方法中。使用混合CTC/注意力端到端ASR模型对两个参考句子进行评估作为案例研究，以及TEDSTV 2语音识别任务。然后，我们展示了该算法在对抗训练中的应用，以获得更强大的ASR模型。
2020-07-21 cs.SD eess.AS
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London（伦敦玛丽女王大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对文本到音频合成中迭代慢、计算重的问题，提出轻量级离散模型SpecMaskGIT，基于频谱图掩码生成建模，以少于16次迭代合成10秒音频，性能优于更大模型，并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本研究提出Rhythmic Foley视频转音频合成框架，通过语义对齐与时间同步双适配器及对比音视频预训练编码器，解决音视频不同步和语义丢失问题，提升生成音频质量与可控性，实验验证了其音视频无缝对齐的有效性。
2024-09-13 cs.MM cs.SD eess.AS
WaveGuard: Understanding and Mitigating Audio Adversarial Examples
University of California San Diego（加利福尼亚大学圣迭戈分校）
最近，针对基于深度学习的自动语音识别（ASR）系统的对抗攻击激增。这些攻击对深度学习安全性提出了新的挑战，并在安全关键型应用程序中部署ASR系统时引起了重大关注。在这项工作中，我们介绍了WaveGuard：一个用于检测攻击ASR系统的对抗性输入的框架。我们的框架结合了音频转换功能，并分析了原始和转换后的音频的ASR transmittance，以检测对抗性输入。我们证明了我们的防御框架能够可靠地检测由四个最近的音频对抗攻击构建的对抗示例，具有各种音频变换函数。仔细考虑在防御评估的最佳做法，我们分析我们提出的防御和它的实力，以抵御自适应和强大的攻击，在音频域。我们的经验表明，音频转换，恢复音频从感知通知表示可以导致强大的防御，是强大的自适应对手，即使在一个完整的白盒设置。此外，WaveGuard可以开箱即用，并直接与任何ASR模型集成，以有效地检测音频对抗性示例，而无需进行模型再训练。
2021-03-04 cs.CR cs.LG cs.SD
Phonemic Adversarial Attack against Audio Recognition in Real World
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）
近年来，针对音频识别的对抗攻击引起了广泛关注。然而，现有的研究大多依赖于实例级的粗粒度音频特征来生成对抗性噪声，导致生成时间开销大，通用攻击能力弱。基于所有音频语音都由基本音素组成的观点，提出了一种音素对抗性攻击（PAT）范式，该范式攻击音频实例之间共享的音素级细粒度音频特征，生成音素对抗性噪声，具有更一般的攻击能力和更快的生成速度.具体而言，为了加快生成速度，引入音素密度均衡采样策略，通过估计音素密度来采样数量较少但音素特征丰富的音频实例作为训练数据，从而大大减轻了对大训练数据集的严重依赖。此外，为了提高通用攻击能力，采用滑动窗口异步优化音素噪声，增强音素多样性，从而更好地捕捉关键的基本音素模式。通过进行广泛的实验，我们全面研究了所提出的PAT框架，并证明它的性能大大优于SOTA基线（即，至少11倍的速度和78%的攻击能力提高）。
2022-11-19 cs.CR cs.SD eess.AS
aaeCAPTCHA: The Design and Implementation of Audio Adversarial CAPTCHA
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
CAPTCHA旨在防止恶意机器人程序滥用网站。大多数在线服务提供商为视障用户部署音频CAPTCHA作为文本和图像CAPTCHA的替代方案。然而，先前调查音频CAPTCHA安全性的研究发现，它们非常容易受到使用自动语音识别（ASR）系统的自动攻击。为了提高音频验证码对自动滥用的鲁棒性，本文提出了一个音频对抗性验证码系统（aaeCAPTCHA）的设计与实现。aaeCAPTCHA系统利用音频对抗示例作为CAPTCHA，以防止ASR系统自动解决它们。此外，我们针对五个最先进的基于DNN的ASR系统和三个商业语音转文本（STT）服务对我们的新音频CAPTCHA设计进行了严格的安全评估。我们的实验评估表明，aaeCAPTCHA对这些语音识别技术是高度安全的，即使攻击者完全了解当前对音频对抗性示例的攻击。我们还对aaeCAPTCHA方案的概念验证实现进行了可用性评估。我们的研究结果表明，它实现了较高的鲁棒性在一个温和的可用性成本相比，正常的音频CAPTCHA。最后，我们的广泛分析强调，aaeCAPTCHA可以显着提高传统音频CAPTCHA系统的安全性和鲁棒性，同时保持类似的可用性。
2022-03-05 cs.CR cs.SD eess.AS
Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement
Sony Computer Science Laboratories, Tokyo, Japan（索尼计算机科学实验室，东京，日本）
本文提出无需 MIDI-音频配对数据的 CoSaRef，结合拼接合成与扩散生成式精修，实现多样化、可细粒度控制的逼真 MIDI 到音频合成，并在主客观评价中超过现有监督方法。
2025-06-11 cs.LG cs.SD eess.AS
Differentiable Modelling of Percussive Audio with Transient and Spectral Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Ableton AG（Ableton公司）；Imperial College London（帝国理工学院）
针对DDSP缺乏暂态建模的问题，提出结合正弦建模与调制时序卷积网络的打击乐合成框架，有效提升了膜鸣打击乐器的起音信号重构效果。
2023-09-13 cs.SD eess.AS
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University（台湾大学）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通讯工程研究所）
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频，本文构建首个 CodecFake 数据集，并证明常用反欺骗模型失效，而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
Identifying Audio Adversarial Examples via Anomalous Pattern Detection
IBM Research Africa（IBM 非洲研究院）
基于深度神经网络的音频处理模型容易受到对抗攻击的影响，即使对抗音频波形与良性样本的相似度达到99.9%。鉴于基于DNN的音频识别系统的广泛应用，检测敌对示例的存在具有高度的实际意义。通过在这些模型的激活空间中应用异常模式检测技术，我们表明，最近和当前最先进的对抗攻击中的2种对音频处理系统的攻击系统地导致某些节点子集的激活高于预期，我们可以检测到这些节点的AUC高达0.98，而对良性样本的性能没有下降。
2020-07-25 cs.CR cs.LG cs.SD
Applying Visual Domain Style Transfer and Texture Synthesis Techniques to Audio - Insights and Challenges
National University of Singapore（新加坡国立大学）
风格转移是一种基于深度学习神经网络架构中的激活和特征统计来组合两个图像的技术。本文研究了音频领域的类似任务，并对采用原始的基于视觉的框架来处理声谱图表示时出现的问题进行了批判性的研究。我们的结论是，具有基于2D表示和卷积的特征的CNN架构更适合于视觉图像，而不是音频的时频表示。尽管不合适，但实验表明，确定音频“风格”的Gram矩阵与没有时间结构的音色签名更接近，而确定音频“内容”的网络层活动似乎捕获更多的音高和节奏结构。我们通过说明性的例子深入了解了域差异的几个原因。我们鼓励使用几种类型的一维CNN，这些CNN生成的结果比基于为图像构建的现有架构的结果更好地与音频纹理的直观概念保持一致。这些想法也促使探索音频纹理合成与建筑的变体扩展到无限的纹理，多纹理，参数控制的感受野和恒定Q变换作为一种替代的频谱图的频率缩放。
2019-01-29 cs.SD eess.AS
Defending against Adversarial Audio via Diffusion Model
Arizona State University（亚利桑那州立大学）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
近年来，深度学习模型已广泛用于商业声学系统中。然而，对抗性音频示例可能会导致这些声学系统的异常行为，同时人类很难感知。已经提出了各种方法，例如基于变换的防御和对抗训练，以保护声学系统免受对抗攻击，但是它们对自适应攻击的效果较差。此外，由于音频数据的独特属性，直接从图像域应用方法可能导致次优结果。在本文中，我们提出了一个基于对抗净化的防御管道，AudioPure，通过现成的扩散模型声学系统。利用扩散模型强大的生成能力，AudioPure首先在对抗音频中添加少量噪声，然后运行反向采样步骤来净化噪声音频并恢复干净的音频。AudioPure是一种即插即用的方法，可以直接应用于任何预训练的分类器，而无需任何微调或重新训练。我们在语音命令识别任务上进行了广泛的实验，以评估AudioPure的鲁棒性。我们的方法是有效的对抗不同的对抗攻击（例如$\mathcal{L}_2$或$\mathcal{L}_\infty$ -norm）。该方法在强自适应白盒和黑盒攻击下的性能优于现有的方法，这些攻击由$\mathcal{L}_2$或$\mathcal{L}_\infty$ -范数约束（鲁棒准确率高达+20\%）。此外，我们还评估了证明的鲁棒性的扰动有界的$\mathcal{L}_2$ -范数通过随机平滑。我们的管道实现了比基线更高的认证精度。
2023-03-02 cs.CR cs.LG cs.SD
FGAS: Fixed Decoder Network-Based Audio Steganography with Adversarial Perturbation Generation
School of Communication & Electronic Engineering, East China Normal University（东华大学通信与电子工程学院）；Shanghai Innovation Institute（上海创新研究院）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
本文提出FGAS，一种基于固定解码器网络的音频隐写术，通过生成对抗扰动提升音频质量与抗隐写分析性能，实验显示其在PSNR和抗攻击方面优于现有方法。
2026-04-23 cs.MM cs.SD eess.AS
Adversarial Audio: A New Information Hiding Method and Backdoor for DNN-based Speech Recognition Models
Hunan University（湖南大学）
音频是人们日常生活中的重要媒介，隐藏信息可以嵌入到音频中进行隐蔽通信。目前的音频信息隐藏技术可以大致分为基于时域的技术和基于变换域的技术。基于时域的隐藏技术具有较大的隐藏容量，但不可感知性较低。基于变换域的技术具有较好的不可感知性，但隐藏容量较差。本文提出了一种新的音频信息隐藏技术，该技术具有高隐藏容量和良好的不可感知性。提出的音频信息隐藏方法以原始音频信号为输入，通过训练我们的私人自动语音识别（ASR）模型，得到嵌入隐藏信息的音频信号（称为隐写音频）。在不知道私有模型的内部参数和结构的情况下，私有模型可以提取隐藏信息，而公共模型不能提取隐藏信息。我们使用其他四个ASR模型来提取隐藏音频的隐藏信息，以评估私有模型的安全性。实验结果表明，该音频信息隐藏技术具有48 cps的隐藏容量，同时具有良好的不可感知性和较高的安全性。此外，我们提出的对抗性音频可用于激活基于DNN的ASR模型的内在后门，这给智能扬声器带来了严重威胁。
2019-04-08 cs.CR cs.SD eess.AS
LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis
National University of Singapore（新加坡国立大学）
针对潜在扩散模型长音频合成推理效率低的问题，提出LiteFocus方法，采用同频聚焦+跨频补偿的双稀疏注意力机制，实现80秒音频推理提速1.99倍且音质提升。
2024-07-15 cs.AI cs.SD eess.AS
Adversarial attacks on audio source separation
Sony Corporation（索尼公司）；University of Tsukuba（筑波大学）
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景，但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中，我们重新制定了各种对抗攻击方法的音频声源分离问题，并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法，以获得不可感知的对抗性噪声，同时以低计算复杂性最大化对分离质量的影响。实验结果表明，当为目标模型制作噪声时，添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）
视听主动说话人检测（AVASD）是一种非常成熟的检测技术，目前已成为多模态应用中不可缺少的前端。然而，据我们所知，AVASD模型的对抗性鲁棒性尚未得到研究，更不用说对此类攻击的有效防御了。在本文中，我们首次通过大量实验揭示了AVASD模型在纯音频、纯视觉和视听对抗攻击下的脆弱性。更重要的是，我们还提出了一种新的视听交互损失（AVIL），使攻击者难以找到可行的对抗性的例子下分配的攻击预算。损失的目的是推动类间嵌入分散，即非语音和语音集群，充分解开，并拉类内嵌入尽可能接近，以保持它们紧凑。实验结果表明，在多模式攻击下，AVIL比对抗训练提高了33.14 mAP（%）。
2022-10-03 cs.LG cs.MM cs.SD
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Full-band General Audio Synthesis with Score-based Diffusion
Dolby Laboratories（杜比实验室）
最近的工作表明，深度生成模型能够从单个标签处理一般音频合成，产生各种脉冲，音调和环境声音。这样的模型对带限信号进行操作，并且作为自回归方法的结果，它们通常由预训练的潜在编码器和/或若干级联模块来符合。在这项工作中，我们提出了一个基于扩散的生成模型的一般音频合成，命名为DAG，它处理全频带信号端到端的波形域。结果表明，DAG优于现有的标签条件发电机的质量和多样性。更具体地，当与现有技术相比时，DAG的带限和全带版本分别实现了高达40%和65%的相对改进。我们相信，DAG是足够灵活，以适应不同的条件图式，同时提供高质量的合成。
2022-10-26 cs.LG cs.SD eess.AS
Robust Audio Adversarial Example for a Physical Attack
University of Tsukuba（筑波大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
我们提出了一种方法来生成音频对抗的例子，可以攻击一个国家的最先进的语音识别模型在物理世界。以前的工作假设生成的对抗性示例直接馈送到识别模型，并且由于来自回放环境的混响和噪声而无法执行这种物理攻击。相比之下，我们的方法通过模拟物理世界中回放或记录引起的变换并将变换纳入生成过程来获得强大的对抗性示例。评估和听力实验表明，我们的对抗性示例能够在不被人类注意的情况下进行攻击。这一结果表明，该方法生成的音频对抗示例可能会成为真正的威胁。
2019-08-19 cs.CR cs.LG cs.SD
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin（都柏林理工大学）
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而，最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富，以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外，它并不代表声音的方式，它被认为是。因此，在许多情况下，原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外，有条件的形式选择，额外的条件表示，不同的模型架构，和众多的指标，用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外，它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法，这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis
IRCAM - Sorbonne Université（IRCAM - 索邦大学）；CNRS UMR 9912（法国国家科学研究中心 UMR 9912）
应用于音频的深度生成模型在许多语音和音乐相关任务中大大提高了最先进的水平。然而，由于原始波形建模仍然是固有地困难的任务，因此音频生成模型是计算密集型的，依赖于低采样率，控制或限制可能信号的性质是复杂的。在这些模型中，变分自编码器（VAE）通过暴露潜在变量来控制生成，尽管它们通常遭受低合成质量。在本文中，我们介绍了一种实时音频变分自编码器（RAVE），允许快速和高质量的音频波形合成。我们引入了一种新的两阶段训练过程，即表示学习和对抗性微调。我们表明，使用潜在空间的训练后分析允许重建保真度和表示紧凑性之间的直接控制。通过利用原始波形的多频带分解，我们证明了我们的模型是第一个能够生成48kHz音频信号的模型，同时在标准笔记本电脑CPU上运行的速度比实时快20倍。我们使用定量和定性主观实验来评估合成质量，并显示出我们的方法与现有模型相比的优越性。最后，我们提出了我们的模型的音色转移和信号压缩的应用。我们所有的源代码和音频示例都是公开的。
2021-12-15 cs.LG cs.SD eess.AS
Upsampling artifacts in neural audio synthesis
Dolby Laboratories（杜比实验室）
神经音频合成的许多最新进展依赖于上采样层，这可能会引入不期望的伪影。在计算机视觉中，上采样伪影已经被研究并且被称为棋盘伪影（由于其特征视觉图案）。然而，在音频处理中，它们的作用一直被忽视。在这里，我们通过从音频信号处理的角度研究这个问题来解决这个差距。我们首先表明上采样伪影的主要来源是：（i）有问题的上采样算子引入的色调和滤波伪影，以及（ii）上采样时出现的光谱副本。然后，我们比较了不同的上采样层，表明最近邻上采样器可以替代有问题的（但最先进的）转置和子像素卷积，这些卷积容易引入色调伪影。
2021-02-09 cs.LG cs.SD eess.AS
A Multiversion Programming Inspired Approach to Detecting Audio Adversarial Examples
University of South Carolina（南卡罗来纳大学）；Temple University（天普大学）
对抗性示例（AE）是通过向输入中添加人类无法感知的扰动来制作的，这样基于机器学习的分类器就会错误地标记它们。它们已经成为机器学习可信度的严重威胁。虽然图像域中的AE已得到很好的研究，但音频AE的研究较少。最近，提出了多种技术来产生音频AE，这使得针对它们的对策成为一项紧迫的任务。我们的实验表明，给定一个AE，不同的自动语音识别（ASR）系统的转录结果有显着差异，因为它们使用不同的架构，参数和训练数据集。受多版本编程的启发，我们提出了一种新的音频AE检测方法，该方法利用多个现成的ASR系统来确定音频输入是否是AE。实验结果表明，该方法的检测准确率达到98.6%以上。
2019-12-03 cs.CR cs.SD eess.AS
Learning Disentangled Audio Representations through Controlled Synthesis
Institute of Cognitive Science（认知科学研究所）；Universität Osnabrück（奥斯纳布吕克大学）
本文针对解耦听觉表示学习中基准数据稀缺的问题，提出具有明确真值解释因子的合成数据集SynTone，通过基准测试评估最先进方法，揭示了音频解耦的优势与局限，为未来研究提供动力。
2024-02-16 cs.LG cs.SD eess.AS
A Mapping Strategy for Interacting with Latent Audio Synthesis Using Artistic Materials
Centre for Digital Music, Queen Mary University of London（伦敦大学玛丽皇后学院数字音乐中心）；Creative Computing Institute, University of the Arts London（伦敦艺术大学创意计算学院）
本文提出一种映射策略，通过无监督特征学习将人类控制空间映射到生成式AI音频模型的潜在空间，并用视觉草图控制音频合成，以促进艺术语境中的可解释AI。
2024-07-05 cs.HC cs.SD eess.AS
Cross-Representation Transferability of Adversarial Attacks: From Spectrograms to Audio Waveforms
McGill University（麦吉尔大学）；École de Technologie Superiéure, Université du Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
本文展示了基于频谱图的音频分类器对对抗攻击的敏感性以及这种攻击对音频波形的可转移性。一些常用的对图像的对抗攻击已经应用于Mel频率和短时傅立叶变换频谱图，并且这种扰动频谱图能够欺骗2D卷积神经网络（CNN）。这样的攻击会产生人类视觉上无法察觉的干扰频谱图。此外，从扰动的频谱图重建的音频波形也能够欺骗在原始音频上训练的1D CNN。在西方音乐数据集上的实验结果表明，2D CNN在合法样本上的平均准确率高达81.87%，而在对抗样本上的平均准确率下降到12.09%。同样，1D CNN在原始音频样本上实现了高达78.29%的平均准确度，并且在从扰动的频谱图重建的对抗音频波形上，这种性能下降到27.91%。
2020-07-29 cs.LG cs.MM cs.SD
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University（庆北国立大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
用于音频合成的深度生成模型最近得到了显着改进。然而，对原始波形进行建模的任务仍然是一个困难的问题，特别是对于音频波形和音乐信号。最近，开发了用于高质量音频波形合成的实时音频变分自编码器（RAVE）方法。RAVE方法基于变分自编码器，并采用两阶段训练策略。不幸的是，RAVE模型在再现宽音高复调音乐声音方面受到限制。因此，为了提高重建性能，我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息，我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构，我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚（MUSHRA）与MAESTRO。结果表明，该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能，他们建立在一个战略，以处理预定义的条件，限制其应用在复杂的听觉场景。针对鸡尾酒会问题，提出了一种新的视听语音分离模型。在我们的模型中，我们使用人脸检测器来检测场景中说话者的数量，并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力，未知的扬声器，我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法，并使用此功能来协助语音分离。此外，采用时域方法，避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能，我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验，我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
AWARE: Audio Watermarking with Adversarial Resistance to Edits
AWARE通过对抗优化在时频域内实现音频水印嵌入，采用不依赖攻击模拟堆栈和手工设计的可微分畸变的检测方法，提升水印解码可靠性。
2026-03-16 cs.LG cs.MM cs.SD
MTCRNN: A multi-scale RNN for directed audio texture synthesis
National University of Singapore（新加坡国立大学）
音频纹理是环境声音的子集，通常被定义为在足够大的时间窗口内具有稳定的统计特性，但可能是局部非结构化的。它们包括常见的日常声音，如雨，风和发动机。鉴于这些复杂的声音包含多个时间尺度上的模式，它们是用传统方法建模的挑战。我们引入了一种新的纹理建模方法，将在不同抽象层次上训练的递归神经网络与允许用户指导合成的条件反射策略相结合。我们展示了模型在各种数据集上的性能，检查了它在各种指标上的性能，并讨论了一些潜在的应用。
2020-11-25 cs.SD eess.AS stat.ML
