Speech Denoising with Auditory Models
Department of Brain and Cognitive Sciences, MIT, USA（脑科学与认知科学系，麻省理工学院）；McGovern Institute for Brain Research, MIT, USA（脑研究麦戈文研究所，麻省理工学院）；Center for Brains, Minds and Machines, MIT, USA（脑、心智与机器中心，麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research, USA（麻省理工-IBM沃森人工智能实验室，IBM研究院）
本文探究将听觉模型的深度特征作为感知损失用于语音去噪的效果，发现其去噪表现优于基线与过往深度特征损失方法，但并未优于无需学习特征的简单替代方案。
2021-08-13 cs.SD eess.AS
Speech Denoising by Accumulating Per-Frequency Modeling Fluctuations
Tel Aviv University（特拉维夫大学）
我们提出了一种音频去噪的方法，该方法结合了在时域和时频域中进行的处理。给定有噪声的音频片段，该方法训练深度神经网络来拟合该信号。由于拟合仅部分成功，并且能够比噪声更好地捕获潜在的干净信号，因此网络的输出有助于将干净音频与其余信号分离。这是通过累积每个时间-频率仓的拟合分数并基于所获得的分数应用时间-频率域滤波来完成的。该方法是完全无监督的，并且仅在正在被去噪的特定音频片段上训练。我们的实验表明，与文献方法相比，良好的性能。我们的代码和示例可在www.example.com上获得，并作为补充。索引术语：音频去噪;无监督学习
2020-06-08 cs.LG cs.SD eess.AS
Listening to Sounds of Silence for Speech Denoising
Columbia University（哥伦比亚大学）；SoftBank Group Corp.（软银集团）
我们引入了一个用于语音去噪的深度学习模型，这是音频分析中的一个长期挑战，在许多应用中出现。我们的方法基于对人类语言的一个关键观察：每个句子或单词之间通常有一个短暂的停顿。在记录的语音信号中，这些停顿引入了一系列时间周期，在这些时间周期期间仅存在噪声。我们利用这些偶然的无声间隔来学习仅给定单通道音频的自动语音去噪模型。随着时间的推移检测到的无声间隔不仅暴露纯噪声，而且暴露其时变特征，从而允许模型学习噪声动态并从语音信号中抑制噪声。在多个数据集上的实验证实了无声间隔检测在语音去噪中的关键作用，我们的方法优于几种最先进的去噪方法，包括那些只接受音频输入的方法（如我们的方法）和那些基于视听输入的方法（因此需要更多信息）。我们还表明，我们的方法具有出色的泛化性能，例如对训练过程中看不到的口语进行去噪。
2020-10-22 cs.LG cs.SD eess.AS
Speech Denoising Without Clean Training Data: A Noise2Noise Approach
PES University（PES大学）
本文解决了基于深度学习的音频去噪方法所需的干净语音数据的严重依赖性问题，通过展示仅使用带噪语音样本训练深度语音去噪网络是可能的。传统观点认为，为了实现良好的语音去噪性能，需要大量的噪声语音样本和完全干净的语音样本，从而需要昂贵的音频记录设备和极其受控的隔音录音室。这些要求给数据汇集带来了重大挑战，特别是在经济落后地区和资源匮乏的语言。这项工作表明，语音去噪深度神经网络可以仅利用嘈杂的训练音频成功训练。此外，它揭示了这样的训练制度实现了优越的降噪性能比传统的训练制度，利用干净的训练音频目标，在涉及复杂的噪声分布和低信噪比（高噪声环境）的情况下。通过使用20层深度复杂U-Net架构研究我们所提出的方法对真实世界噪声和合成噪声的有效性的实验证明了这一点。
2021-09-19 cs.LG cs.SD eess.AS
A Two-Stage U-Net for High-Fidelity Denoising of Historical Recordings
Aalto University（阿尔托大学）
提高历史音乐录音的音质是一个长期存在的问题。本文提出了一种基于全卷积深度神经网络的新型去噪方法。设计了一个两阶段的U-Net模型架构，以高保真度建模和抑制退化。该方法处理音频的时间-频率表示，并使用真实的噪声数据进行训练，以联合去除旧模拟光盘中的嘶嘶声、咔嗒声、重击声和其他常见的附加干扰。该模型在客观和主观指标上都优于以前的方法。一个正式的盲听测试的结果表明，真正的录音去噪与这种方法有显着更好的质量比基线方法。这项研究显示了真实训练数据的重要性和深度学习在音频恢复中的作用。
2022-02-19 cs.SD eess.AS
A modeling and algorithmic framework for (non)social (co)sparse audio restoration
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国计算机科学与随机系统研究所）；Technicolor R&D（特艺集团研发部）
我们提出了一个统一的建模和算法框架的音频恢复问题。它包括分析稀疏先验以及更经典的合成稀疏先验，和常规稀疏性以及由收缩算子（如社会收缩）体现的各种形式的结构化稀疏性。该框架的多功能性说明了两个恢复方案：去噪，和declipping。在这些场景下的大量实验结果突出了稀疏先验分析提供的20%甚至更高的加速比，以及社交和普通风味都可以实现的实质性declipping质量。虽然这两种口味总体上表现出相似的性能，但它们的详细比较显示出不同的趋势，这取决于是否考虑去唇或去噪。
2017-11-30 cs.SD eess.AS
Audio Denoising for Robust Audio Fingerprinting
Ecole normale supérieure Paris-Saclay（巴黎高等师范学校萨克雷校区）；Deezer Research（Deezer 研究部）
音乐发现服务可以让用户从简短的移动录音中识别歌曲。这些解决方案通常基于音频指纹，并且更具体地依赖于频谱峰值的提取，以便对许多失真具有鲁棒性。很少有人研究这些算法对真实环境中捕获的背景噪声的鲁棒性。特别地，当信噪比低时，即当背景噪声强时，AFP系统仍然挣扎。在这个项目中，我们用深度学习来解决这个问题。我们测试了一种新的混合策略，该策略包括在基于峰值的AFP算法前面插入去噪DL模型。我们模拟嘈杂的音乐录音使用现实的数据增强管道，并训练DL模型去噪。去噪模型限制了背景噪声对AFP系统提取的峰值的影响，提高了其对噪声的鲁棒性。我们进一步提出了一种新的损失函数，以适应DL模型所考虑的AFP系统，提高其精度方面的检索谱峰。据我们所知，这种混合策略以前没有经过测试。
2022-12-21 cs.IR cs.LG cs.SD
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.（小米公司）
本研究提出一种高效可扩展的语音增强方法，利用预训练生成式音频编码器提取含噪语音嵌入，经紧凑去噪编码器处理后由声码器合成干净语音，在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
Multi-Domain Processing via Hybrid Denoising Networks for Speech Enhancement
Clova AI Research, NAVER Corp.（NAVER Corp. Clova AI Research）；Department of Mathematical Science, Seoul National University（首尔国立大学数学科学系）
我们提出了一个混合框架，利用音频表示的时间和频率精度之间的权衡，以提高性能的语音增强任务。我们首先表明，传统的方法使用特定的表示，如原始音频和频谱图是有效的针对不同类型的噪声。通过整合这两种方法，我们的模型可以学习多尺度和多域特征，以互补的方式有效地去除存在于时频空间上不同区域的噪声。实验结果表明，所提出的混合模型比单独使用每个模型产生更好的性能和鲁棒性。
2018-12-21 cs.SD eess.AS
Vision Transformer Segmentation for Visual Bird Sound Denoising
Yeshiva University（叶史瓦大学）；Cornell University（康奈尔大学）
针对鸟鸣声中残余人工及低频噪声难去除的问题，提出融合分割技术的 ViTVS，以 ViT 构建多尺度长程表示，并在实验中超越现有先进方法。
2024-06-13 cs.SD eess.AS
Speech Denoising with Deep Feature Losses
Stanford University（斯坦福大学）；Intel Labs（英特尔研究院）
我们提出了一种端到端的深度学习方法，通过直接处理原始波形来对语音信号进行去噪。给定包含被加性背景信号破坏的语音的输入音频，该系统旨在产生仅包含语音内容的经处理的信号。最近的方法使用各种深度网络架构显示出有希望的结果。在本文中，我们提出使用深度特征丢失来训练全卷积上下文聚合网络。这种损失是基于比较不同网络中的内部特征激活，这些网络被训练用于声学环境检测和国内音频标记。我们的方法优于国家的最先进的客观语音质量指标，并在大规模的感知实验与人类听众。它也优于使用传统回归损失训练的相同网络。新方法的优势对于具有最侵入性背景噪声的最硬数据尤其明显，对于这些数据，去噪是最需要和最具挑战性的。
2018-09-14 cs.SD eess.AS
Stochastic Restoration of Heavily Compressed Musical Audio using Generative Adversarial Networks
Sony Computer Science Laboratories (CSL)（索尼计算机科学实验室（CSL））
有损音频编解码器通过去除人类感知中往往听不见的信息来压缩（和消除）数字音频流。在高压缩率下，这样的编解码器可能在音频信号中引入各种损害。许多工作已经使用深度学习技术解决了音频增强和压缩伪影去除的问题。然而，只有少数作品解决了在音乐领域的严重压缩的音频信号的恢复。在这种情况下，没有用于恢复原始信号的唯一解决方案。因此，在这项研究中，我们测试了生成对抗网络（GAN）架构的随机生成器。这种随机发生器，以高度压缩的音乐音频信号为条件，有一天可以产生与高质量版本难以区分的输出。因此，本研究可能会产生更有效的音乐数据存储和传输的见解。我们训练随机和确定性发生器的MP3压缩音频信号与16，32，和64 kbit/s。我们利用客观指标和听力测试进行了广泛的评估不同的实验。我们发现，该模型可以提高音频信号的质量超过MP3版本为16和32 kbit/s，随机生成器能够生成比确定性生成器更接近原始信号的输出。
2022-07-04 cs.SD eess.AS
Diffusion Gaussian Mixture Audio Denoise
University of Science and Technology Liaoning（辽宁科技大学）；Cornell University（康奈尔大学）；Yeshiva University（叶史瓦大学）
本文提出 DiffGMM 模型，结合扩散模型与高斯混合模型，通过 1D-U-Net 估计真实噪声分布并逐步去噪，在音频去噪任务中达到最先进性能。
2024-06-13 cs.CL cs.SD eess.AS
Improving Deep Speech Denoising by Noisy2Noisy Signal Mapping
现有的基于深度学习的语音去噪方法需要干净的语音信号可用于训练。本文提出了一种基于深度学习的方法，通过不需要以自我监督的方式提供干净的语音信号来改善真实世界音频环境中的语音去噪。通过使用相同语音信号的两个噪声实现来训练全卷积神经网络，一个用作网络的输入，另一个用作网络的输出。进行了大量的实验，以显示所开发的深度语音去噪方法的优越性，传统的监督深度语音去噪方法的基础上，四个常用的性能指标，并根据实际的现场测试结果。
2020-02-21 cs.SD eess.AS eess.SP
AeGAN: Time-Frequency Speech Denoising via Generative Adversarial Networks
University of Stuttgart（斯图加特大学）
自动语音识别（ASR）系统在诸如语音到文本处理和语言翻译的常见任务中是至关重要的。这就需要一个能够在现实拥挤环境中运行的ASR系统。因此，语音增强是ASR系统和诸如助听器、智能电话和电话会议系统的其他应用中的有价值的构建块。在本文中，生成对抗网络（GAN）为基础的框架进行了研究的语音增强的任务，更具体地说，语音去噪的音轨。基于CasNet生成器的新架构和额外的基于特征的损失被合并以获得逼真的去噪语音。最后，所提出的框架被证明优于其他学习和传统的基于模型的语音增强方法。
2020-06-06 cs.LG cs.NE cs.SD
The Vulnerability of Neural Audio Watermarks under Speech Enhancement
Waseda University（早稻田大学）；University of Houston（休斯顿大学）
本文提出将高斯噪声与语音增强模型级联作为黑盒攻击，发现生成式语音增强能有效去除六种神经音频水印，揭示其脆弱性并呼吁鲁棒性评估。
2026-09-25 cs.CR cs.SD
Implementing simple spectral denoising for environmental audio recordings
University of São Paulo（圣保罗大学）；University College Cork（科克大学）
本技术报告详细介绍了应用于噪声滤波器的变更，以促进其应用并改善其结果。该滤波器被应用于降噪的自然声音记录在野外，并产生一个用于声景分析的声学指数。
2022-01-06 cs.MM cs.SD eess.AS
Masked Modeling Duo for Speech: Specializing General-Purpose Audio Representation to Speech using Denoising Distillation
NTT Corporation（日本电报电话公司）
本文提出去噪蒸馏任务与M2D-S模型，联合学习细粒度聚类特征与掩码预测，将通用音频表示M2D特化至语音领域，在SUPERB基准上达到或超越SOTA语音模型性能。
2023-08-03 cs.SD eess.AS
Single Channel Audio Source Separation using Convolutional Denoising Autoencoders
University of Surrey（萨里大学）
深度学习技术最近已被用于解决音频声源分离问题。在这项工作中，我们建议使用深度全卷积去噪自动编码器（CDAE）进行单声道音频声源分离。我们使用与要从混合信号中分离的源的数量一样多的CDAE。每个CDAE都被训练来分离一个源，并将其他源视为背景噪声。其主要思想是允许每个CDAE学习合适的频谱-时间滤波器和特征到其对应的源。我们的实验结果表明，CDAE执行声源分离略优于深度前馈神经网络（FNN），即使参数比FNN少。
2017-10-13 cs.SD
An investigation of pre-upsampling generative modelling and Generative Adversarial Networks in audio super resolution
University of Cambridge（剑桥大学）
已经有几个成功的深度学习模型可以执行音频超分辨率。这些方法中的许多涉及使用预处理的特征提取，其需要大量特定于域的信号处理知识来实现。卷积神经网络（CNN）通过自动学习过滤器改进了这个框架。卷积方法的一个例子是AudioUNet，它从上采样图像的新方法中获得灵感。我们的论文将预上采样AudioUNet与一种新的生成模型进行了比较，该模型在使用深度学习将信号转换为更可信的信号之前对信号进行上采样。基于图像超分辨率的EDSR网络，新提出的模型优于UNet，对数光谱距离增加了20%，平均意见得分为4.06，而两倍上采样的情况下为3.82。AudioEDSR的参数也比AudioUNet少87%。还探讨了将AudioUNet并入Wasserstein GAN（具有梯度惩罚）（WGAN-GP）结构如何影响训练。最后分析了伪影对当前技术水平的影响，并提出了解决问题的方法。本文中使用的方法有广泛的应用电话，音频识别和音频生成任务。
2021-09-30 cs.SD eess.AS
Music Augmentation and Denoising For Peak-Based Audio Fingerprinting
Deezer（迪泽公司）
本文针对噪声环境下音频指纹识别失效问题，提出并发布逼真音乐噪声增强流程及频谱图去噪深度学习模型，实验证明该模型能提升常用峰值指纹系统在噪声条件下的识别性能。
2023-10-29 cs.IR cs.LG cs.SD
WSRGlow: A Glow-based Waveform Generative Model for Audio Super-Resolution
Zhejiang University（浙江大学）；State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）
音频超分辨率是通过添加丢失的频带从低分辨率（LR）音频构建高分辨率（HR）音频的任务。以往基于卷积神经网络和均方误差训练目标的方法性能相对较低，而对抗生成模型难以训练和调整。近年来，规范化流以其高性能、简单训练和快速推理等优点引起了人们的广泛关注。在本文中，我们提出了WSRGlow，一个基于辉光的波形生成模型来执行音频超分辨率。具体来说，1）我们集成WaveNet和Glow以直接最大化以LR信息为条件的目标HR音频的确切似然;以及2）为了利用来自低分辨率音频的音频信息，我们提出LR音频编码器和STFT编码器，其分别从时域和频域编码LR信息。实验结果表明，该模型更容易训练，并优于以往的作品在客观和感知质量。WSRGlow也是第一个从12 kHz LR音频产生48 kHz波形的模型。
2021-06-16 cs.SD eess.AS
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
A Generative-First Neural Audio Autoencoder
Adobe Research（Adobe研究院）
本文提出了一种生成优先的神经音频自编码器，通过提高时间下采样率并支持多种音频表示，实现了更快的编码速度、更低的潜在率和更高效的生成建模。
2026-02-19 cs.SD eess.AS
FloWaveNet : A Generative Flow for Raw Audio
Seoul National University（首尔大学）；Kakao Corporation（Kakao公司）
大多数现代文本到语音架构使用WaveNet声码器来合成高保真波形音频，但由于其原始采样方案，在其实际应用中存在限制，例如高推理时间。最近提出的并行WaveNet和ClariNet通过将逆自回归流用于并行采样来实现实时音频合成能力。然而，这些方法需要一个两阶段的训练管道和一个训练有素的教师网络，并且只能通过使用概率蒸馏和辅助损失项来产生自然的声音。我们提出了FloWaveNet，一个基于流的原始音频合成生成模型。FloWaveNet只需要一个单阶段的训练过程和一个最大似然损失，没有任何额外的辅助项，并且由于生成流的特性，它本质上是并行的。该模型可以实时有效地对原始音频进行采样，其清晰度可与以前的两级并行模型相媲美。所有模型的代码和示例，包括我们的FloWaveNet，都是公开的。
2019-05-20 cs.SD eess.AS
Comparing Representations for Audio Synthesis Using Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；Télecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
在本文中，我们比较了不同的音频信号表示，包括原始音频波形和各种时频表示，用于生成对抗网络（GANs）的音频合成任务。我们在NSynth数据集的一个子集上进行实验。该架构遵循基准Progressive Growing Wasserstein GAN。我们以完全无条件的方式进行实验，并在音高信息上调节网络。我们利用标准指标对生成的材料进行定量评估，以评估生成模型，并比较训练和采样时间。我们表明，复值以及幅度和瞬时频率的短时傅里叶变换达到最佳效果，并产生快速生成和反转时间。用于特征提取、训练和评估模型的代码可在线获得。
2020-06-17 cs.SD eess.AS
Generative Audio Synthesis with a Parametric Model
IIT Bombay（印度理工学院孟买分校）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
使用音频的参数化表示来训练生成模型，以获得对所生成的声音的更灵活的控制。
2019-11-15 cs.LG cs.SD eess.AS
UNITE-AUDIO: Joint Learning of Continuous Tokenization and Latent Flow Matching for Text-to-Audio Generation
Institute of Science Tokyo（东京科学研究所）；Tsinghua University（清华大学）；Wuhan University（武汉大学）；The University of Tokyo（东京大学）；Ant Group（蚂蚁集团）
Unite-Audio首次联合学习连续音频表示与潜在流匹配，通过生成目标塑造潜在空间并采用Flow-GRPO后训练，实现紧凑模型下的竞争性文本到音频生成性能。
2026-09-25 cs.SD eess.AS
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London（伦敦玛丽女王大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对文本到音频合成中迭代慢、计算重的问题，提出轻量级离散模型SpecMaskGIT，基于频谱图掩码生成建模，以少于16次迭代合成10秒音频，性能优于更大模型，并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
Zero-Shot Audio-Visual Editing via Cross-Modal Delta Denoising
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft（微软公司）
提出零样本音视频编辑任务及AvED-Bench基准，并设计跨模态增量去噪框架AvED，实现无需训练的同步连贯编辑，在多个数据集上验证优越性。
2025-03-26 cs.CV cs.LG cs.MM
Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
USC（南加州大学）；Amazon（亚马逊公司）
本文研究生成式基础模型产生的合成音频能否辅助音频识别与语音建模，通过将其用作训练数据和数据增强资源进行实验，验证了合成音频在两类任务中的潜力。
2024-08-29 cs.LG cs.SD eess.AS
High-Fidelity Generative Audio Compression at 0.275kbps
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）
本研究提出生成音频压缩（GAC）方法，在0.275kbps比特率下实现高保真音频压缩，显著优于现有神经编码器。
2026-01-31 cs.SD eess.AS
Sensitivity Analysis of Generative Spatial Audio Metrics: A Study on Responsiveness, Smoothness, and Symmetry
New York University（纽约大学）；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
提出一个框架分析生成式空间音频指标对空间参数变化的敏感性，定义响应性、平滑性和对称性三个期望属性，评估标准指标后发现FAD和声学地图表现最佳。
2026-06-11 cs.SD eess.AS
Audio Generation Through Score-Based Generative Modeling: Design Principles and Implementation
University of Rochester（罗切斯特大学）
本文通过基于分数的生成模型设计原则和实现，探讨了音频生成、语音增强和文本到语音合成的应用，并提供了一个开源代码库以促进研究和开发。
2026-01-14 cs.SD eess.AS
Bandwidth Extension on Raw Audio via Generative Adversarial Networks
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）
基于神经网络的方法最近已经展示了关于图像合成和超分辨率任务的最先进的结果，特别是通过使用具有监督特征损失的生成对抗网络（GANs）的变体。然而，以前的特征丢失公式依赖于大型辅助分类器网络的可用性，以及使这些分类器能够被训练的标记数据集。此外，探索基于GAN的方法对图像和视频以外的领域的适用性的工作相对较少。在这项工作中，我们探索了一种基于GAN的音频处理方法，并开发了一种卷积神经网络架构来执行音频超分辨率。除了用于音频处理的几个新的架构构建块之外，我们方法的一个关键组成部分是使用基于自动编码器的损失，该损失能够在GAN框架中进行训练，其中特征损失来自未标记的数据。我们探讨了我们的建筑选择的影响，并展示了显着的改善，在客观和感知质量方面比以前的作品。
2019-03-21 cs.SD eess.AS
Exploiting Pre-trained Feature Networks for Generative Adversarial Networks in Audio-domain Loop Generation
Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
虽然生成对抗网络（GANs）已广泛用于音频生成的研究，但已知GAN模型的训练不稳定，耗时且数据效率低下。在改善GANs训练过程的尝试中，投影GAN的想法作为基于GAN的图像生成的有效解决方案出现，在不同的图像应用中建立了最先进的技术。其核心思想是使用一个预先训练好的分类器来约束神经网络的特征空间，以稳定和改进GAN训练。本文研究了投影GAN是否可以通过评估基于StyleGAN 2的音频域循环生成模型的性能来类似地改善音频生成，其中使用和不使用预训练的特征空间。此外，我们比较了使用一般与特定领域的分类器作为预训练的音频分类器的性能。通过对鼓循环和合成器循环生成的实验，我们证明了通用音频分类器的效果更好，并且使用投影GAN，我们的循环生成模型可以在不降低性能的情况下收敛约5倍。
2022-09-05 cs.SD eess.AS
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；University of Amsterdam（阿姆斯特丹大学）
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能，随后可用于贝叶斯推理。然而，我们发现，通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到，学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
Latent Watermarking of Audio Generative Models
Meta, FAIR（Meta FAIR）；Inria（法国国家信息与自动化研究所）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出通过对训练数据添加水印来为音频潜在生成模型嵌入水印，使生成内容可被高置信度检测，无需后置水印步骤，并能识别未经许可的微调或衍生使用。
2024-09-04 cs.SD eess.AS
Conditional GAN for Enhancing Diffusion Models in Efficient and Authentic Global Gesture Generation from Audios
针对音频驱动手势生成中VAE方法不稳定、扩散模型效率低的问题，提出用条件GAN捕获音频信号并匹配多峰去噪分布，打破DDPM单峰小噪声假设，实现更少步数的高速高保真手势生成。
2024-11-01 cs.AI cs.CV cs.GR
Improving Noise Robustness of LLM-based Zero-shot TTS via Discrete Acoustic Token Denoising
University of Science and Technology of China（中国科学技术大学）；National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）
本文提出一种基于神经编解码器的语音去噪器，集成于LLM-based TTS模型LauraTTS，通过令牌去噪与嵌入精炼提升零样本TTS的噪声鲁棒性，实验优于现有SE方法。
2025-05-22 cs.SD eess.AS
SnakeSynth: New Interactions for Generative Audio Synthesis
University of British Columbia（不列颠哥伦比亚大学）
本文提出基于 Web 和 TensorFlow.js 的轻量合成器 SnakeSynth，利用二维触摸/拖拽手势实时控制深度生成音频的长度、强度与音色插值。
2023-07-11 cs.HC cs.SD eess.AS
Evaluating generative audio systems and their metrics
Georgia Institute of Technology（佐治亚理工学院）
近年来，使用深度生成模型的音频合成取得了相当大的进展。然而，最新技术水平很难量化;不同的研究在报告结果时往往使用不同的评估方法和不同的指标，这使得与其他系统进行直接比较变得困难，甚至是不可能的。此外，在大多数情况下，所报告的度量的感知相关性和意义是未知的，从而禁止关于实际可用性和音频质量的任何结论性见解。本文提出了一项研究，调查国家的最先进的方法并排与（i）一组先前提出的音频重建的客观指标，并与（ii）听的研究。结果表明，目前使用的客观指标不足以描述当前系统的感知质量。
2022-08-31 cs.LG cs.SD eess.AS
Audio Explanation Synthesis with Generative Foundation Models
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）
本文提出一种利用音频基础模型生成能力的新颖音频解释方法，通过整合特征归因技术识别嵌入空间中的重要特征并生成可听音频解释，在关键词检测和语音情感识别数据集上验证了其有效性。
2024-10-10 cs.AI cs.SD eess.AS
Auditing generative audio calls for known-task audio-llm evaluation
National Research Council Canada（加拿大国家研究委员会）
本研究将生成式音频调用评估设为受控决策问题，通过VocalSound数据集实验发现，带生成式调用的选择器准确率达0.925，优于无调用对照，明确了生成式调用在音频-LLM已知任务评估中的边际价值。
2026-10-08 cs.CL cs.SD eess.AS
Speech Driven Video Editing via an Audio-Conditioned Diffusion Model
University of Galway（高威大学）；University of Wrocław（弗罗茨瓦夫大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Tooploox（Tooploox公司）；Trinity College Dublin（都柏林圣三一学院）
本文提出一种基于音频条件扩散模型的端到端语音驱动视频编辑方法，无需中间结构表示即可同步唇部与下颌运动，并在CREMA-D数据集上验证了可行性。
2023-05-11 cs.CV cs.LG cs.SD
AudioSlots: A slot-centric generative model for audio separation
University College London（伦敦大学学院）；Google Research（谷歌研究院）
提出AudioSlots，一种基于槽的生成模型，利用置换等变编码器和解码器实现音频盲源分离，在Libri2Mix上验证了其有效性。
2023-05-09 cs.CV cs.SD eess.AS
AudioGAR: Bridging Reconstruction and Generation in Latent Audio Generative Models
University of Toronto（多伦多大学）
AudioGAR通过扰动编码器潜在表示并利用冻结的潜在扩散模型构建中间潜在表示，仅微调解码器，以1.5%的训练数据和0.26%的成本显著提升潜在音频生成模型的端到端生成性能。
2026-10-06 cs.SD
Enabling Fast and Universal Audio Adversarial Attack Using Generative Model
Rutgers University（罗格斯大学）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
近年来，基于DNN的音频系统对抗性攻击的脆弱性得到了越来越多的关注。然而，现有的音频对抗性攻击允许对手拥有整个用户的音频输入，并给予足够的时间预算来生成对抗性扰动。然而，这些理想化的假设使得现有的音频对抗性攻击在实践中几乎不可能及时发起（例如，与用户的流输入一起播放不明显的对抗性扰动）。为了克服这些限制，在本文中，我们提出了快速音频对抗扰动生成器（FAPG），它使用生成模型在单个前向传递中为音频输入生成对抗扰动，从而大大提高扰动生成速度。在FAPG的基础上，我们进一步提出了通用音频对抗扰动生成器（UAPG），这是一种制作通用对抗扰动的方案，可以对任意良性音频输入施加扰动以引起错误分类。大量的实验表明，我们提出的FAPG可以实现高达167倍的加速比最先进的音频对抗攻击方法。此外，我们提出的UAPG可以产生通用的对抗扰动，实现更好的攻击性能比最先进的解决方案。
2021-02-07 cs.LG cs.SD eess.AS
A Framework for Generative and Contrastive Learning of Audio Representations
Stanford University（斯坦福大学）
在本文中，我们提出了一个框架，对比学习音频表示，在一个自我监督的框架工作，没有访问任何地面真理标签。自监督对比学习的核心思想是映射音频信号及其各种增强版本（代表音频的突出方面，如音高，音色等）。到一个空间，在那里它们靠近在一起，并与其他不同的信号分开。此外，我们还探索了基于最先进的Transformer架构的生成模型，用于学习音频信号的潜在空间，而无需访问任何标签。在这里，我们将较小规模的音频信号映射到离散字典元素，并训练Transformers来预测下一个字典元素。我们只使用数据作为监督的方法，而不需要标签作为训练深度神经网络的监督。然后，我们使用一个线性分类器头，以评估我们的模型的性能，为自我监督的对比和生成Transformer为基础的表示，学习。我们的系统实现了相当大的性能，相比一个完全监督的方法，与地面实况标签的访问训练的神经网络模型。这些表示方法具有大规模音频数据的可用性，在音频理解任务的各种任务中显示出希望
2021-03-16 cs.LG cs.SD eess.AS
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
基于变分自编码器（VAE）的深层潜变量生成模型在视听语音增强（AVSE）中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据，然后将其与统计噪声模型，以恢复一个语音信号从嘈杂的音频记录和视频（嘴唇图像）的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质，这阻止了它们完全结合视觉数据的力量。在本文中，我们提出了一个视听深度卡尔曼滤波器（AV-DKF）生成模型，假设一阶马尔可夫链模型的潜在变量，并有效地融合视听数据。此外，我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验，比较不同的语音增强生成模型的变体。结果表明，AV-DKF模型的优越性相比，它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
Unsupervised Generative Adversarial Alignment Representation for Sheet music, Audio and Lyrics
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
乐谱、音频和歌词是创作歌曲的三种主要形式。在本文中，我们提出了一种无监督的生成对抗对齐表示（UGAAR）模型来学习三种主要音乐形式共享的深度判别表示：乐谱，歌词和音频，其中基于三个分支的深度神经网络架构被联合训练。特别是，该模型可以通过学习潜在共享子空间中的相关性，将音频和乐谱之间的强关系转移到音频-歌词和乐谱-歌词对。我们应用音频和乐谱的CCA组件来建立新的地面实况。生成（G）模型学习两对转移对的相关性，以针对固定歌词生成新的音频片对来挑战判别（D）模型。判别模型的目的是区分来自生成模型的输入还是来自基础事实的输入。这两个模型同时以对抗的方式进行训练，以增强深度对齐表示学习的能力。我们的实验结果表明，我们提出的UGAAR对齐表示学习之间的乐谱，音频和歌词的可行性。
2020-07-29 cs.IR cs.MM cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Diffused Responsibility: Analyzing the Energy Consumption of Generative Text-to-Audio Diffusion Models
Université de Lorraine, CNRS, Inria, Loria（洛林大学、法国国家科学研究中心、法国国家信息与自动化技术研究院、Loria）
本文分析了7个最先进的基于扩散的文本到音频生成模型的能耗，评估生成参数对推理能耗的影响，并通过Pareto最优解寻求音频质量与能耗的最佳平衡，为开发更高效的模型提供见解。
2025-07-16 cs.AI cs.LG cs.SD
Exploring Musical Roots: Applying Audio Embeddings to Empower Influence Attribution for a Generative Music Model
Northwestern University（西北大学）
针对生成式音乐模型黑箱导致的训练数据归因不明问题，研究提出基于音频嵌入的可复现相似度识别方法，对比CLMR与CLAP在VampNet训练集上的效果并验证修改音频的影响，为自动化影响力归因奠基。
2024-01-25 cs.AI cs.SD eess.AS
