MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
本文提出MGMD-GAN框架,通过多生成器与多判别器结合不相交训练数据分区学习混合分布,缩小泛化差距,从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
AudioSR: Versatile Audio Super-resolution at Scale
University of Surrey(萨里大学);University of California San Diego(加州大学圣迭戈分校);ByteDance(字节跳动)
本文提出基于扩散的生成模型AudioSR,能将2kHz至16kHz带宽的任意音频上采样至24kHz,在多基准上表现优异,并可作为即插即用模块提升多种音频生成模型的质量。
2023-09-13 cs.AI cs.MM cs.SD
Reducing audio membership inference attack accuracy to chance: 4 defenses
Lab41, In-Q-Tel(Lab41,In-Q-Tel)
了解机器学习模型的隐私和鲁棒性漏洞是至关重要的,因为它们的实现范围在扩大。在成员推断攻击中,攻击者可以确定特定的数据集是否用于训练,从而将数据的隐私置于危险之中。现有的工作主要集中在图像相关的任务,我们概括了这种类型的攻击音频样本上的说话人辨识。实验结果表明,对LibriSpeech的攻击准确率为85.9%,召回率为90.8%,对VOiCES(Voices Obscured in Complex Environmental Settings)的攻击准确率为78.3%,召回率为90.7%.我们发现,实施防御,如预测混淆,防御蒸馏或对抗性训练,可以降低攻击的准确性。
2019-10-31 cs.CR cs.LG eess.AS
Performing Co-Membership Attacks Against Deep Generative Models
Stony Brook University(石溪大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的成员攻击方法,称为针对深度生成模型的共同成员攻击,包括变分自编码器(VAE)和生成对抗网络(GANs)。具体而言,成员攻击旨在检查给定实例x是否在训练数据中使用。共同成员攻击检查给定的n个实例的捆绑包是否在训练中,先验知识是捆绑包要么完全在训练中使用,要么根本没有。当生成模型被发布时,成功的成员攻击可以危及训练数据的隐私。我们的主要思想是将目标数据x的隶属度推理转换为另一个神经网络(称为攻击者网络)的优化,以搜索潜在的编码来重现x。最终的重建误差直接用于推断x是否在训练数据中。我们对各种数据集和生成模型进行了广泛的实验,结果表明:我们的攻击者网络优于先前的成员攻击;联合成员攻击可能比单一攻击更强大;与GANs相比,VAE更容易受到成员攻击。
2019-09-20 cs.LG stat.ML
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt(达姆施塔特工业大学);SAP SE(思爱普公司)
我们提出了两个信息泄漏攻击,优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断,而无需对生成模型的类型进行假设。与以前的生成模型评估指标(如核密度估计)相反,它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器,以实现较高的隶属推理精度。此外,以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者,以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估,生成对抗网络(GANs)和变分自编码器(VAE),在标准图像数据集上训练。我们的研究结果表明,这两种攻击产生的成功率优于以前的工作在大多数数据集,而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合,特别有用。例如,在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中,我们的工作激励了GANs的使用,因为它们在产生详细样本的同时,被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
Auditing Training Data in Generative Music Models via Black-Box Membership Inference
University of Georgia(佐治亚大学);Independent Researcher(独立研究者);University of Tennessee(田纳西大学)
本文提出一种黑盒成员推断方法,通过比较候选音频与模型基于其描述生成输出的语义对齐程度,并训练音乐审计器分类成员身份,实现对生成音乐模型训练数据的高精度审计。
2026-05-28 cs.LG
Generative Models with Information-Theoretic Protection Against Membership Inference Attacks
J.P. Morgan AI Research(摩根大通人工智能研究院);Index Exchange(Index Exchange(索引交易所))
深度生成模型,如生成对抗网络(GANs),通过估计高维数据的底层分布来合成各种高保真数据样本。尽管GANs取得了成功,但它们可能会从训练数据中泄露私人信息,从而容易受到对抗攻击,例如成员推断攻击,其中对手的目标是确定记录是否是训练集的一部分。我们提出了一个信息理论动机的正则化项,防止生成模型过拟合训练数据,并鼓励推广。我们表明,这种惩罚最大限度地减少了具有不同成员资格的数据上训练的生成器组件之间的JensenShannon分歧,并且可以使用额外的分类器以低成本实现。我们在图像数据集上的实验表明,通过提出的正则化(仅增加很小的计算成本),GANs能够保护隐私并生成高质量的样本,从而实现比非私有和差异私有更好的下游分类性能生成模型。
2022-05-31 cs.CR cs.LG
MACE: A Flexible Framework for Membership Privacy Estimation in Generative Models
Microsoft(微软);Insitro;University of Washington(华盛顿大学);Microsoft Research(微软研究院)
生成式机器学习模型越来越被视为机构之间共享敏感数据的一种方式。虽然已经有开发差异私有生成建模方法的工作,但这些方法通常导致低于标准的样本质量,限制了它们在现实世界应用中的使用。另一项工作集中在开发生成模型,这些模型可以产生更高质量的样本,但目前缺乏任何正式的隐私保证。在这项工作中,我们提出了第一个正式的框架成员隐私估计生成模型。我们制定的成员隐私风险作为训练样本和保持样本之间的统计分歧,并提出基于样本的方法来估计这种分歧。与以往的工作相比,我们的框架,使更现实和灵活的假设。首先,我们提供了一个可推广的度量作为替代的准确性度量,特别是不平衡的数据集。其次,我们放松了从以前的研究中可以完全访问底层分布的假设,并提出了基于样本的估计与理论保证。第三,在基于最优成员优势的群体级成员隐私风险估计的基础上,提出了基于个体隐私风险的个体级成员隐私风险估计。第四,我们的框架允许对手通过自定义查询访问训练模型,而之前的工作需要特定的属性。
2022-10-12 cs.CR cs.LG
LOGAN: Membership Inference Attacks Against Generative Models
University College London(伦敦大学学院)
生成模型估计数据集的潜在分布,以根据该分布生成真实的样本。在本文中,我们提出了第一个成员推理攻击生成模型:给定一个数据点,对手确定它是否被用来训练模型。我们的攻击利用了生成对抗网络(GANs),它结合了判别和生成模型,利用GANs学习分布统计差异的能力来检测过拟合并识别训练数据集的输入。我们提出了基于白盒和黑盒访问目标模型的攻击,针对几个最先进的生成模型,在复杂的面部表示(LFW),对象(CIFAR-10)和医学图像(糖尿病视网膜病变)的数据集上。我们还讨论了攻击对不同训练参数的敏感性,以及它们对缓解策略的鲁棒性,发现防御要么无效,要么导致生成模型在训练稳定性和/或样本质量方面的性能显着下降。
2018-08-21 cs.CR cs.LG
Set-Membership Inference Attacks using Data Watermarking
Ruhr University(鲁尔大学)
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法,通过条件采样揭示训练数据中的水印,有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
Assessing the Effectiveness of Membership Inference on Generative Music
本文研究了成员推断攻击对生成音乐的有效性,发现音乐数据对现有攻击具有较强的抵抗力。
2025-12-25 cs.CR cs.LG
The Hidden Cost of Modeling P(X): Vulnerability to Membership Inference Attacks in Generative Text Classifiers
IIT Kharagpur(印度理工学院Kharagpur分校);Amazon.com Inc.(亚马逊公司)
本文通过理论分析与九数据集实证比较,证明显式建模 $P(X,Y)$ 的生成式文本分类器比判别式和伪生成式分类器更易受 MIA 攻击,且规范推理会加剧泄露。
2025-10-17 cs.CL cs.CR cs.LG
Ensembling Membership Inference Attacks Against Tabular Generative Models
University of California Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学)
针对表格生成模型的成员推断攻击,提出集成方法以在不确定性下实现更稳健、遗憾最小化的隐私审计策略。
2025-09-02 cs.CR cs.LG
One Framework for All: Cross-Modal Membership Inference for Generative Models
研究生成模型的跨模态成员推理问题,基于生成模型输出分布可近似训练数据分布的特性,在共享嵌入空间建模,通过似然比测试推理,贡献统一框架,性能优于现有方法。
2026-07-07 cs.AI cs.CR cs.LG
An Efficient Membership Inference Attack for the Diffusion Model by Proximal Initialization
University of Electronic Science and Technology of China(电子科技大学);Drexel University(德雷塞尔大学)
该研究提出基于近端初始化的高效成员推理攻击方法PIA,仅需2次查询即可在扩散模型上取得有竞争力的攻击效果,还首次探索了文本转语音任务中扩散模型的成员推理攻击鲁棒性。
2023-10-09 cs.AI cs.LG cs.SD
GAN-Leaks: A Taxonomy of Membership Inference Attacks against Generative Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Maryland, College Park(马里兰大学帕克分校);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
深度学习已经取得了压倒性的成功,从判别模型到生成模型。特别是,深度生成模型在无数领域促进了新的性能水平,从媒体操作到净化数据集生成。尽管生成模型取得了巨大的成功,但其潜在的隐私泄露风险尚未得到系统的分析。在本文中,我们专注于针对深度生成模型的成员推断攻击,该攻击揭示了有关用于受害者模型的训练数据的信息。具体来说,我们提出了第一个分类的成员推断攻击,不仅包括现有的攻击,但也是我们的新的。此外,我们提出了第一个通用攻击模型,可以在大范围的设置中实例化,并适用于各种深度生成模型。此外,我们还提供了一种理论上的攻击校准技术,该技术可以在所有情况下,在不同的攻击设置,数据模式和训练配置中始终提高攻击性能。我们补充了全面的实验研究,调查各种攻击w.r.t.的有效性的攻击性能的系统分析。模型类型和训练配置,在三种不同的应用场景(即,图像、医疗数据和位置数据)。
2020-11-23 cs.CR cs.CV cs.LG
A new membership inference attack that spots memorization in generative and predictive models: Loss-Based with Reference Model algorithm (LBRM)
EDF;Samovar;Institut Polytechnique de Paris(巴黎高等理工学院)
本文提出 LBRM 算法,利用参考模型增强成员推理攻击,以识别时间序列插补模型对训练数据的记忆,在不微调和微调情况下分别将 AUROC 提高约 40% 和 60%。
2025-05-06 cs.AI cs.LG
Generative Audio Synthesis with a Parametric Model
IIT Bombay(印度理工学院孟买分校);ENS Paris-Saclay(巴黎萨克雷高等师范学校)
使用音频的参数化表示来训练生成模型,以获得对所生成的声音的更灵活的控制。
2019-11-15 cs.LG cs.SD eess.AS
Generated Distributions Are All You Need for Membership Inference Attacks Against Generative Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Salesforce Research(Salesforce研究院)
本文提出首个无需影子模型和白盒访问的通用成员推理攻击,仅利用生成分布即可对GAN、VAE、扩散模型等多种生成模型实施黑盒攻击,实验证明其攻击AUC普遍超过0.90甚至0.99,揭示了生成模型的隐私泄露风险。
2023-10-30 cs.CR cs.CV cs.LG
Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
USC(南加州大学);Amazon(亚马逊公司)
本文研究生成式基础模型产生的合成音频能否辅助音频识别与语音建模,通过将其用作训练数据和数据增强资源进行实验,验证了合成音频在两类任务中的潜力。
2024-08-29 cs.LG cs.SD eess.AS
Audio-Visual Speech Enhancement with Score-Based Generative Models
Universität Hamburg(汉堡大学)
提出一种以视觉信息为条件、融合自监督视听嵌入与扩散模型的语音增强系统,实验证明其可提升语音质量、减少伪影并显著降低低信噪比下的ASR词错误率。
2023-06-02 cs.LG eess.AS
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学)
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能,随后可用于贝叶斯推理。然而,我们发现,通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到,学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
GenAI Confessions: Black-box Membership Inference for Generative Image Models
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
本文提出一种黑盒成员推理方法,可在不知模型架构和权重的情况下,高效判断生成式图像模型是否在特定图像上训练过,以解决版权争议并辅助模型审计。
2025-08-13 cs.AI cs.CR cs.CV
A Generative Product-of-Filters Model of Audio
Columbia University(哥伦比亚大学);Adobe Research(奥多比研究院)
我们提出的产品的过滤器(PoF)模型,生成模型,分解音频频谱稀疏的线性组合的“过滤器”在对数频谱域。PoF做出了与用于信号处理的经典同态滤波方法中所使用的假设类似的假设,但是用基于统计推断的学习分解代替了由基本信号处理操作构建的手工设计的分解。本文建立了PoF模型,推导了后验推断的平均场方法和估计模型自由参数的变分期望最大化算法。我们证明了PoF的潜力,音频处理的带宽扩展任务,并表明,PoF可以作为一个有效的无监督特征提取器的说话人识别任务。
2014-11-25 cs.LG stat.ML
Drive-to-Music: Context-Aware Generative Audio for In-Vehicle Experiences
Mercedes-Benz Research & Development North America(梅赛德斯-奔驰北美研发中心)
本研究提出Drive-to-Music系统,利用行车记录仪图像与车辆遥测数据,结合感知与生成组件实现低延迟实时上下文感知车载音乐生成,为个性化自适应车载音频体验奠定基础。
2026-08-14 cs.LG cs.SD
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用研究所)
基于变分自编码器(VAE)的深层潜变量生成模型在视听语音增强(AVSE)中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据,然后将其与统计噪声模型,以恢复一个语音信号从嘈杂的音频记录和视频(嘴唇图像)的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质,这阻止了它们完全结合视觉数据的力量。在本文中,我们提出了一个视听深度卡尔曼滤波器(AV-DKF)生成模型,假设一阶马尔可夫链模型的潜在变量,并有效地融合视听数据。此外,我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验,比较不同的语音增强生成模型的变体。结果表明,AV-DKF模型的优越性相比,它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
Differentially Private Data Generative Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学);Macquarie University(麦考瑞大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织Data61研究所)
深度神经网络(DNN)最近在各种应用中被广泛采用,并且这样的成功很大程度上是由于算法突破、计算资源改进和对大量数据的访问的组合。然而,深度学习所需的大规模数据汇集通常包含敏感信息,因此引发了许多隐私问题。先前的研究已经显示了在推断敏感训练数据信息方面的几种成功攻击,例如模型反演、成员推断和基于生成对抗网络(GAN)的针对协作深度学习的泄漏攻击。在本文中,使学习效率,以及生成数据的隐私保证和高实用性,我们提出了一个差分私有自动编码器为基础的生成模型(DP-AuGM)和差分私有变分自编码器为基础的生成模型(DP-VaeGM)。我们评估了两个模型的鲁棒性。我们表明,DP-AuGM可以有效地抵御模型反演,成员推理和基于GAN的攻击。我们还表明,DP-VaeGM是强大的对成员推断攻击。我们推测防御模型反演和基于GAN的攻击的关键不是由于差分隐私,而是训练数据的扰动。最后,我们证明了DP-AuGM和DP-VaeGM都可以很容易地与现实世界的机器学习应用程序集成,例如机器学习即服务和联邦学习,否则它们将分别受到成员推断攻击和基于GAN的攻击的威胁。
2018-12-06 cs.CR cs.LG
Audio Input Generates Continuous Frames to Synthesize Facial Video Using Generative Adiversarial Networks
School of Information Technology and Electrical Engineering(信息技术与电气工程学院);The University of Queensland(昆士兰大学)
本文提出了一种基于音频的语音视频生成的简单方法:给定一段音频,我们可以生成一个视频的目标人脸说这个音频。本文提出了一种生成对抗网络(GAN),它以剪切语音音频输入为条件,在生成器和搜索器中使用卷积门递归单元(GRU)。我们的模型通过利用短音频和此持续时间内的帧来训练。为了训练,我们剪切音频并在相应的帧中提取人脸。我们设计了一个简单的编码器,并比较了使用GAN和不使用GRU生成的帧。我们使用GRU的时间相干帧和结果表明,短音频可以产生相对真实的输出结果。
2022-07-18 cs.CV cs.GR cs.LG
Evaluating generative audio systems and their metrics
Georgia Institute of Technology(佐治亚理工学院)
近年来,使用深度生成模型的音频合成取得了相当大的进展。然而,最新技术水平很难量化;不同的研究在报告结果时往往使用不同的评估方法和不同的指标,这使得与其他系统进行直接比较变得困难,甚至是不可能的。此外,在大多数情况下,所报告的度量的感知相关性和意义是未知的,从而禁止关于实际可用性和音频质量的任何结论性见解。本文提出了一项研究,调查国家的最先进的方法并排与(i)一组先前提出的音频重建的客观指标,并与(ii)听的研究。结果表明,目前使用的客观指标不足以描述当前系统的感知质量。
2022-08-31 cs.LG cs.SD eess.AS
Diffused Responsibility: Analyzing the Energy Consumption of Generative Text-to-Audio Diffusion Models
Université de Lorraine, CNRS, Inria, Loria(洛林大学、法国国家科学研究中心、法国国家信息与自动化技术研究院、Loria)
本文分析了7个最先进的基于扩散的文本到音频生成模型的能耗,评估生成参数对推理能耗的影响,并通过Pareto最优解寻求音频质量与能耗的最佳平衡,为开发更高效的模型提供见解。
2025-07-16 cs.AI cs.LG cs.SD
AudioGenX: Explainability on Text-to-Audio Generative Models
针对文本到音频生成模型缺乏透明度的问题,提出可解释AI方法AudioGenX,通过事实与反事实目标优化解释器,在音频标记级提供忠实解释,增强模型可信度。
2025-02-04 cs.AI cs.LG cs.SD
Enabling Fast and Universal Audio Adversarial Attack Using Generative Model
Rutgers University(罗格斯大学);The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
近年来,基于DNN的音频系统对抗性攻击的脆弱性得到了越来越多的关注。然而,现有的音频对抗性攻击允许对手拥有整个用户的音频输入,并给予足够的时间预算来生成对抗性扰动。然而,这些理想化的假设使得现有的音频对抗性攻击在实践中几乎不可能及时发起(例如,与用户的流输入一起播放不明显的对抗性扰动)。为了克服这些限制,在本文中,我们提出了快速音频对抗扰动生成器(FAPG),它使用生成模型在单个前向传递中为音频输入生成对抗扰动,从而大大提高扰动生成速度。在FAPG的基础上,我们进一步提出了通用音频对抗扰动生成器(UAPG),这是一种制作通用对抗扰动的方案,可以对任意良性音频输入施加扰动以引起错误分类。大量的实验表明,我们提出的FAPG可以实现高达167倍的加速比最先进的音频对抗攻击方法。此外,我们提出的UAPG可以产生通用的对抗扰动,实现更好的攻击性能比最先进的解决方案。
2021-02-07 cs.LG cs.SD eess.AS
A Framework for Generative and Contrastive Learning of Audio Representations
Stanford University(斯坦福大学)
在本文中,我们提出了一个框架,对比学习音频表示,在一个自我监督的框架工作,没有访问任何地面真理标签。自监督对比学习的核心思想是映射音频信号及其各种增强版本(代表音频的突出方面,如音高,音色等)。到一个空间,在那里它们靠近在一起,并与其他不同的信号分开。此外,我们还探索了基于最先进的Transformer架构的生成模型,用于学习音频信号的潜在空间,而无需访问任何标签。在这里,我们将较小规模的音频信号映射到离散字典元素,并训练Transformers来预测下一个字典元素。我们只使用数据作为监督的方法,而不需要标签作为训练深度神经网络的监督。然后,我们使用一个线性分类器头,以评估我们的模型的性能,为自我监督的对比和生成Transformer为基础的表示,学习。我们的系统实现了相当大的性能,相比一个完全监督的方法,与地面实况标签的访问训练的神经网络模型。这些表示方法具有大规模音频数据的可用性,在音频理解任务的各种任务中显示出希望
2021-03-16 cs.LG cs.SD eess.AS
A Probabilistic Fluctuation based Membership Inference Attack for Diffusion Models
School of Cyber Science and Engineering, Huazhong University of Science and Technology(华中科技大学网络空间科学与工程学院);Tsinghua University(清华大学);Dalian University of Technology(大连理工大学)
本文针对扩散模型成员推理攻击中过拟合依赖导致的性能不足问题,提出基于概率波动检测的黑盒攻击方法PFAMI,利用生成模型固有的记忆现象提升攻击成功率,实验表明其ASR较最佳基线提高约27.9%。
2024-12-26 cs.AI cs.CR cs.CV
WaveNet: A Generative Model for Raw Audio
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文介绍了WaveNet,一种用于生成原始音频波形的深度神经网络。该模型是完全概率和自回归的,每个音频样本的预测分布以所有先前的样本为条件;尽管如此,我们证明它可以在每秒数万个音频样本的数据上进行有效训练。当应用于文本到语音转换时,它产生了最先进的性能,人类听众认为它比英语和普通话的最佳参数和拼接系统更自然。单个WaveNet可以以相同的保真度捕获许多不同扬声器的特征,并可以通过扬声器身份在它们之间切换。当我们被训练来模拟音乐时,我们发现它会产生新颖的,通常是高度逼真的音乐片段。我们还表明,它可以作为一个判别模型,返回有前途的结果音素识别。
2016-09-19 cs.LG cs.SD
Mitigating data replication in text-to-audio generative diffusion models through anti-memorization guidance
本文提出反记忆指导技术,用于减轻文本到音频生成扩散模型中的数据复制问题,通过三种指导策略提升生成质量并保持音频保真度。
2026-01-29 cs.LG cs.SD eess.AS
Generative AI for Music and Audio
University of California San Diego(加州大学圣地亚哥分校)
本论文围绕面向音乐与音频的生成式人工智能,研究多轨音乐生成、辅助创作工具和多模态学习,旨在降低音乐创作门槛并推动音频内容创作大众化。
2024-11-21 cs.AI cs.LG cs.MM
Membership Inference Attacks against Synthetic Data through Overfitting Detection
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
数据是大多数科学的基础。不幸的是,共享数据可能会受到侵犯数据隐私的风险的阻碍,从而阻碍医疗保健等领域的研究。合成数据是一种潜在的解决方案。它旨在生成与原始数据具有相同分布的数据,但不会泄露有关个人的信息。成员推断攻击(Membership Inference Attack,MIA)是一种常见的隐私攻击,攻击者试图确定特定的真实样本是否用于模型的训练。以前提出MIA反对生成模型的作品要么表现出低性能-给人一种数据高度私密的错觉-或者需要假设访问内部生成模型参数-这是一种风险相对较低的情况,因为数据发布者通常只发布合成数据,而不是模型。在这项工作中,我们认为一个现实的MIA设置,假设攻击者有一些知识的底层数据分布。我们提出了DOMIAS,一个基于密度的MIA模型,旨在通过生成模型的局部过拟合来推断成员资格。实验表明,DOMIAS是显着更成功的MIA比以前的工作,特别是在攻击不常见的样品。后者令人不安,因为这些样本可能对应于代表性不足的群体。我们还演示了DOMIAS的MIA性能评分如何为隐私提供可解释的度量,为数据发布者提供了一种新的工具,用于在其合成数据中实现所需的隐私-效用权衡。
2023-02-24 cs.CR cs.LG
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan(日本索尼集团公司);Sony AI, USA(美国索尼人工智能)
MMAudioSep基于预训练视频到音频模型,通过利用视频/文本与音频的关系实现更高效的声学分离,优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD
The Ethical Implications of Generative Audio Models: A Systematic Literature Review
Northwestern University(西北大学)
本文系统综述884篇生成式音频模型论文,发现65%提及积极影响而不足10%讨论负面影响,并揭示欺诈、深度伪造与版权侵权等伦理风险。
2023-07-07 cs.CY cs.LG cs.SD
Defending Diffusion Models Against Membership Inference Attacks via Higher-Order Langevin Dynamics
Department of Applied Math & Statistics(应用数学与统计学系);Stony Brook University(石溪大学);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出利用高阶 Langevin 动力学防御扩散模型的成员推断攻击,通过引入辅助变量和联合扩散过程提升模型安全性,通过AUROC和FID指标验证有效性。
2026-05-06 cs.LG stat.ML
SchrödingeRNN: Generative Modeling of Raw Audio as a Continuously Observed Quantum State
University of Cambridge(剑桥大学)
我们介绍了SchrödingeRNN,这是一种受量子启发的原始音频生成模型。音频数据是波形的,并且是从连续信号中采样的。虽然原始音频的生成建模最近取得了很大的进步,但与这两个特征相关的关系归纳偏见在迄今为止探索的模型中大多不存在。量子力学是波行为的概率模型的自然来源。我们的模型采用描述量子系统连续时间测量的随机薛定谔方程的形式,并且等价于一维多体系统中波函数的连续矩阵乘积态(cMPS)表示。这构成了一个深度自回归架构,其中系统状态是过去观测的潜在表示。我们测试我们的模型的平稳和非平稳信号的合成数据集。这是cMPS首次用于机器学习。
2019-11-26 cond-mat.stat-mech cs.LG cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL(索尼计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院)
在本文中,我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展,这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择,并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率,我们的方法被称为CRASH(可控的原始音频合成与高分辨率)允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验,我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法(无条件生成,确定性生成,修复,插值,变化,类条件采样),并提出了类混合采样,一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距,同时提供了更灵活的生成功能,具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
MelNet: A Generative Model for Audio in the Frequency Domain
Facebook AI Research(脸书人工智能研究院)
捕获音频波形中的高级结构具有挑战性,因为一秒钟的音频跨越数万个时间步。虽然长程依赖性很难直接在时域中建模,但我们表明,它们可以在二维时频表示(如频谱图)中更易跟踪地建模。通过利用这种代表性的优势,结合一个高度表达的概率模型和多尺度生成过程,我们设计了一个模型,能够生成高保真度的音频样本,捕获结构的时间尺度,时域模型尚未实现。我们将我们的模型应用于各种音频生成任务,包括无条件语音生成,音乐生成和文本到语音合成-在密度估计和人类判断方面都比以前的方法有所改进。
2019-06-04 cs.LG cs.SD eess.AS
Deep Variational Generative Models for Audio-visual Speech Separation
Inria Nancy Grand-Est(法国国家信息与自动化研究所南锡-大东部分所)
在本文中,我们感兴趣的视听语音分离给定的单通道音频记录以及与每个扬声器相关的视觉信息(嘴唇运动)。我们提出了一个无监督的技术的基础上视听生成模型的干净的语音。更具体地,在训练期间,使用变分自动编码器(VAE)从干净的语音频谱图学习潜变量生成模型。为了更好地利用视觉信息,潜变量的后验是从混合语音(而不是干净的语音)以及视觉数据中推断出来的。视觉模态也通过视觉网络作为潜在变量的先验。在测试时,学习的生成模型(用于说话者无关和说话者相关场景)与用于背景噪声的无监督非负矩阵分解(NMF)方差模型相结合。所有的潜变量和噪声参数,然后估计的蒙特卡罗期望最大化算法。我们的实验表明,所提出的基于无监督VAE的方法比基于NMF的方法以及基于监督深度学习的技术具有更好的分离性能。
2021-08-31 cs.LG cs.SD eess.AS
ImmerseDiffusion: A Generative Spatial Audio Latent Diffusion Model
University of Rochester(罗切斯特大学);Apple(苹果公司)
本文提出 ImmerseDiffusion,一种基于潜扩散模型的端到端空间音频生成系统,可根据文本提示或空间、时间与环境参数生成一阶 Ambisonics 音频,并通过实验验证其生成质量和空间一致性。
2025-02-07 cs.ET cs.LG cs.SD
Guided Generative Adversarial Neural Network for Representation Learning and High Fidelity Audio Generation using Fewer Labelled Audio Data
University of Southern Queensland(南昆士兰大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
生成对抗神经网络(GANs)的最新改进已经显示出它们能够生成更高质量的样本,并学习用于迁移学习的良好表示。大多数基于GANs的表示学习方法学习表示,忽略了它们的使用后场景,这可能导致泛化能力的提高。但是,如果模型是用于特定任务的,它可能会变得多余。例如,假设我们有一个巨大的未标记的音频数据集,我们想从这个数据集中学习一个表示,这样它就可以用来提高一个小的标记音频数据集的情感识别性能。在表征学习训练过程中,如果模型不知道后情绪识别任务,它可以完全忽略学习表征中的情绪相关特征。这是任何无监督表示学习模型的根本挑战。在本文中,我们的目标是通过提出一种新的GAN框架来解决这一挑战:引导生成神经网络(GGAN),它引导GAN专注于学习所需的表示,并利用更少的标记样本为音频数据生成高质量的样本。实验结果表明,使用非常少量的标记数据作为指导,GGAN学习更好的表示。
2020-06-01 cs.LG cs.SD eess.AS
Gull: A Generative Multifunctional Audio Codec
本文提出Gull,一种生成式多功能神经音频编解码器,通过子带建模、增益-形状表示、改进残差向量量化和弹性解码器设计,在多种采样率与比特率下实现与现有方法相当或更优的压缩性能,并内置不增加比特率的音频超分辨率能力。
2024-06-07 cs.AI cs.LG cs.SD
A Generative Model for Raw Audio Using Transformer Architectures
Stanford University(斯坦福大学)
提出了一种利用Transformer结构在波形级进行音频合成的新方法。我们提出了一个用于生成波形的深度神经网络,类似于waveNet。这是完全概率的、自回归的和因果的,即生成的每个样本仅取决于先前观察到的样本。我们的方法在预测下一步的类似数据集上比广泛使用的wavenet架构高出9%。使用注意力机制,我们使架构能够学习哪些音频样本对于未来样本的预测是重要的。我们展示了因果Transformer生成模型如何用于原始波形合成。我们还表明,通过在更广泛的背景下调节样本,这种性能可以再提高2%。当前模型从潜在表示合成音频的灵活性表明了大量的潜在应用。然而,使用生成式Transformer架构进行原始音频合成的新颖方法仍然远离生成任何有意义的音乐,而不使用潜在代码/元数据来辅助生成过程。
2021-07-08 cs.AI cs.LG cs.MM
Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance
Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing, A*STAR(新加坡A*STAR高性能计算研究院)
我们提出了一种基于高斯混合变分自编码器(GM-VAE)的可控神经音频合成器,它可以在音频域中生成逼真的钢琴演奏,该钢琴演奏紧密遵循钢琴演奏的两个基本风格特征的时间条件:清晰度和动态。我们演示了该模型是如何能够在合成音频的过程中应用细粒度的风格变形。这是基于条件,这些条件是可以从先验数据中采样或从其他数据中推断出的潜在变量。设想的用例之一是激发对现有钢琴音乐作品的创造性和全新的诠释。
2020-07-13 cs.LG cs.MM cs.SD
Membership Inference Attacks against Diffusion Models
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
近年来,扩散模型作为创新的生成模型引起了人们的关注。在本文中,我们调查是否扩散模型是抵抗成员推断攻击,评估隐私泄漏的机器学习模型。我们主要从与作为常规模型的生成对抗网络(GAN)和扩散模型所特有的超参数(即,时间步长、采样步长和采样方差。我们进行了广泛的实验DDIM作为一个扩散模型和DCGAN作为GAN的CelebA和CIFAR-10数据集在白盒和黑盒设置,然后确认是否扩散模型是抵抗成员推断攻击的GAN。接下来,我们证明了时间步骤的影响是显着的,并且噪音时间表中的中间步骤最容易受到攻击。通过进一步分析,我们还发现了两个关键的见解。首先,我们确定DDIM是容易受到攻击的小样本量,而不是实现较低的FID。其次,超参数中的采样步骤对于抵抗攻击非常重要,而采样方差的影响非常有限。
2023-03-22 cs.CR cs.LG
SAGE: Semantic Audio Generative Encoder
SAGE是一种轻量级音频自编码器,通过蒸馏预训练音频-文本模型嵌入来塑造潜在空间,在重建质量、语义结构和推理速度间达到最佳平衡,并以更小规模超越更大模型。
2026-10-22 cs.LG cs.SD eess.AS
Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement
Sony Computer Science Laboratories, Tokyo, Japan(索尼计算机科学实验室,东京,日本)
本文提出无需 MIDI-音频配对数据的 CoSaRef,结合拼接合成与扩散生成式精修,实现多样化、可细粒度控制的逼真 MIDI 到音频合成,并在主客观评价中超过现有监督方法。
2025-06-11 cs.LG cs.SD eess.AS
Energy Consumption of Deep Generative Audio Models
IRCAM(声学与音乐研究协调研究所);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);UNIRIO(里约热内卢州立大学)
在大多数科学领域,深度学习社区主要关注深度生成模型的质量,从而产生高度准确和成功的解决方案。然而,这种对质量的竞争是以巨大的计算成本为代价的,这会导致巨大的能源消耗和温室气体排放。这个问题的核心是我们作为一个科学界用来评估我们工作的措施。在本文中,我们建议依赖于基于帕累托最优的多目标措施,它既考虑到模型的质量,又考虑到其能源消耗。通过将我们的测量应用于当前最先进的生成音频模型,我们表明它可以彻底改变结果的重要性。我们相信,社区可以广泛使用这种类型的指标来评估他们的工作,同时将计算成本-以及精细的能源消耗-置于深度学习研究的聚光灯下。
2021-10-13 cs.LG cs.SD eess.AS