Set-Membership Inference Attacks using Data Watermarking
Ruhr University(鲁尔大学)
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法,通过条件采样揭示训练数据中的水印,有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
Assessing the Effectiveness of Membership Inference on Generative Music
本文研究了成员推断攻击对生成音乐的有效性,发现音乐数据对现有攻击具有较强的抵抗力。
2025-12-25 cs.CR cs.LG
The Hidden Cost of Modeling P(X): Vulnerability to Membership Inference Attacks in Generative Text Classifiers
IIT Kharagpur(印度理工学院Kharagpur分校);Amazon.com Inc.(亚马逊公司)
本文通过理论分析与九数据集实证比较,证明显式建模 $P(X,Y)$ 的生成式文本分类器比判别式和伪生成式分类器更易受 MIA 攻击,且规范推理会加剧泄露。
2025-10-17 cs.CL cs.CR cs.LG
Ensembling Membership Inference Attacks Against Tabular Generative Models
University of California Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学)
针对表格生成模型的成员推断攻击,提出集成方法以在不确定性下实现更稳健、遗憾最小化的隐私审计策略。
2025-09-02 cs.CR cs.LG
GAN-Leaks: A Taxonomy of Membership Inference Attacks against Generative Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Maryland, College Park(马里兰大学帕克分校);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
深度学习已经取得了压倒性的成功,从判别模型到生成模型。特别是,深度生成模型在无数领域促进了新的性能水平,从媒体操作到净化数据集生成。尽管生成模型取得了巨大的成功,但其潜在的隐私泄露风险尚未得到系统的分析。在本文中,我们专注于针对深度生成模型的成员推断攻击,该攻击揭示了有关用于受害者模型的训练数据的信息。具体来说,我们提出了第一个分类的成员推断攻击,不仅包括现有的攻击,但也是我们的新的。此外,我们提出了第一个通用攻击模型,可以在大范围的设置中实例化,并适用于各种深度生成模型。此外,我们还提供了一种理论上的攻击校准技术,该技术可以在所有情况下,在不同的攻击设置,数据模式和训练配置中始终提高攻击性能。我们补充了全面的实验研究,调查各种攻击w.r.t.的有效性的攻击性能的系统分析。模型类型和训练配置,在三种不同的应用场景(即,图像、医疗数据和位置数据)。
2020-11-23 cs.CR cs.CV cs.LG
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
本文提出MGMD-GAN框架,通过多生成器与多判别器结合不相交训练数据分区学习混合分布,缩小泛化差距,从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
A new membership inference attack that spots memorization in generative and predictive models: Loss-Based with Reference Model algorithm (LBRM)
EDF;Samovar;Institut Polytechnique de Paris(巴黎高等理工学院)
本文提出 LBRM 算法,利用参考模型增强成员推理攻击,以识别时间序列插补模型对训练数据的记忆,在不微调和微调情况下分别将 AUROC 提高约 40% 和 60%。
2025-05-06 cs.AI cs.LG
GenAI Confessions: Black-box Membership Inference for Generative Image Models
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
本文提出一种黑盒成员推理方法,可在不知模型架构和权重的情况下,高效判断生成式图像模型是否在特定图像上训练过,以解决版权争议并辅助模型审计。
2025-08-13 cs.AI cs.CR cs.CV
Generated Distributions Are All You Need for Membership Inference Attacks Against Generative Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Salesforce Research(Salesforce研究院)
本文提出首个无需影子模型和白盒访问的通用成员推理攻击,仅利用生成分布即可对GAN、VAE、扩散模型等多种生成模型实施黑盒攻击,实验证明其攻击AUC普遍超过0.90甚至0.99,揭示了生成模型的隐私泄露风险。
2023-10-30 cs.CR cs.CV cs.LG
A Probabilistic Fluctuation based Membership Inference Attack for Diffusion Models
School of Cyber Science and Engineering, Huazhong University of Science and Technology(华中科技大学网络空间科学与工程学院);Tsinghua University(清华大学);Dalian University of Technology(大连理工大学)
本文针对扩散模型成员推理攻击中过拟合依赖导致的性能不足问题,提出基于概率波动检测的黑盒攻击方法PFAMI,利用生成模型固有的记忆现象提升攻击成功率,实验表明其ASR较最佳基线提高约27.9%。
2024-12-26 cs.AI cs.CR cs.CV
Membership and Dataset Inference Attacks on Large Audio Generative Models
Warsaw University of Technology(华沙技术大学);Sapienza University of Rome(罗马萨皮恩扎大学);IDEAS Research Institute(IDEAS研究所);NASK National Research Institute(NASK国家研究所)
本研究通过数据集推断攻击探讨了大型音频生成模型中验证艺术家作品是否被训练所用的可行性,发现DI在音频领域具有实际应用价值。
2026-02-13 cs.LG
Membership Inference on Word Embedding and Beyond
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
在文本处理上下文中,大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的,这些数据集可能包含敏感数据。在某些情况下,这种训练是独立完成的,在其他情况下,它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下,考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是,有些令人惊讶的是,对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理(NLP)任务中的影响仍然相对未被探索。在这项工作中,我们表明在现实的假设下,词嵌入很容易受到黑盒成员推断攻击。此外,我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在:分类和文本生成,即使嵌入层没有暴露给攻击者。我们表明,我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上,我们的攻击是对文本生成模型的更便宜的成员推断攻击,它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
FiMMIA: scaling semantic perturbation-based membership inference across modalities
SberAI
本文提出FiMMIA框架,用于多模态大语言模型中的成员推断攻击,通过识别数据分布偏移和改进基线流程,提升对抗检测性能。
2025-12-02 cs.LG
Differentially Private Data Generative Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学);Macquarie University(麦考瑞大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织Data61研究所)
深度神经网络(DNN)最近在各种应用中被广泛采用,并且这样的成功很大程度上是由于算法突破、计算资源改进和对大量数据的访问的组合。然而,深度学习所需的大规模数据汇集通常包含敏感信息,因此引发了许多隐私问题。先前的研究已经显示了在推断敏感训练数据信息方面的几种成功攻击,例如模型反演、成员推断和基于生成对抗网络(GAN)的针对协作深度学习的泄漏攻击。在本文中,使学习效率,以及生成数据的隐私保证和高实用性,我们提出了一个差分私有自动编码器为基础的生成模型(DP-AuGM)和差分私有变分自编码器为基础的生成模型(DP-VaeGM)。我们评估了两个模型的鲁棒性。我们表明,DP-AuGM可以有效地抵御模型反演,成员推理和基于GAN的攻击。我们还表明,DP-VaeGM是强大的对成员推断攻击。我们推测防御模型反演和基于GAN的攻击的关键不是由于差分隐私,而是训练数据的扰动。最后,我们证明了DP-AuGM和DP-VaeGM都可以很容易地与现实世界的机器学习应用程序集成,例如机器学习即服务和联邦学习,否则它们将分别受到成员推断攻击和基于GAN的攻击的威胁。
2018-12-06 cs.CR cs.LG
Membership Inference Attacks against Synthetic Data through Overfitting Detection
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
数据是大多数科学的基础。不幸的是,共享数据可能会受到侵犯数据隐私的风险的阻碍,从而阻碍医疗保健等领域的研究。合成数据是一种潜在的解决方案。它旨在生成与原始数据具有相同分布的数据,但不会泄露有关个人的信息。成员推断攻击(Membership Inference Attack,MIA)是一种常见的隐私攻击,攻击者试图确定特定的真实样本是否用于模型的训练。以前提出MIA反对生成模型的作品要么表现出低性能-给人一种数据高度私密的错觉-或者需要假设访问内部生成模型参数-这是一种风险相对较低的情况,因为数据发布者通常只发布合成数据,而不是模型。在这项工作中,我们认为一个现实的MIA设置,假设攻击者有一些知识的底层数据分布。我们提出了DOMIAS,一个基于密度的MIA模型,旨在通过生成模型的局部过拟合来推断成员资格。实验表明,DOMIAS是显着更成功的MIA比以前的工作,特别是在攻击不常见的样品。后者令人不安,因为这些样本可能对应于代表性不足的群体。我们还演示了DOMIAS的MIA性能评分如何为隐私提供可解释的度量,为数据发布者提供了一种新的工具,用于在其合成数据中实现所需的隐私-效用权衡。
2023-02-24 cs.CR cs.LG
Auditing Training Data in Generative Music Models via Black-Box Membership Inference
University of Georgia(佐治亚大学);Independent Researcher(独立研究者);University of Tennessee(田纳西大学)
本文提出一种黑盒成员推断方法,通过比较候选音频与模型基于其描述生成输出的语义对齐程度,并训练音乐审计器分类成员身份,实现对生成音乐模型训练数据的高精度审计。
2026-05-28 cs.LG
Membership Inference Attacks against Diffusion Models
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
近年来,扩散模型作为创新的生成模型引起了人们的关注。在本文中,我们调查是否扩散模型是抵抗成员推断攻击,评估隐私泄漏的机器学习模型。我们主要从与作为常规模型的生成对抗网络(GAN)和扩散模型所特有的超参数(即,时间步长、采样步长和采样方差。我们进行了广泛的实验DDIM作为一个扩散模型和DCGAN作为GAN的CelebA和CIFAR-10数据集在白盒和黑盒设置,然后确认是否扩散模型是抵抗成员推断攻击的GAN。接下来,我们证明了时间步骤的影响是显着的,并且噪音时间表中的中间步骤最容易受到攻击。通过进一步分析,我们还发现了两个关键的见解。首先,我们确定DDIM是容易受到攻击的小样本量,而不是实现较低的FID。其次,超参数中的采样步骤对于抵抗攻击非常重要,而采样方差的影响非常有限。
2023-03-22 cs.CR cs.LG
Practical Membership Inference Attacks Against Large-Scale Multi-Modal Models: A Pilot Study
Virginia Tech(弗吉尼亚理工大学);Washington University in St. Louis(华盛顿大学圣路易斯分校)
本研究针对大规模多模态模型开展成员推断攻击初步探索,提出基于余弦相似度阈值的基线方法及弱监督增强攻击,验证了CLIP模型存在隐私漏洞,为多模态基础模型隐私保护提供参考。
2023-09-29 cs.CV cs.LG
Towards More Realistic Membership Inference Attacks on Large Diffusion Models
Warsaw University of Technology(华沙理工大学);IDEAS NCBR;Tooploox;Polish Academy of Sciences(波兰科学院)
本文针对大型扩散模型提出更现实的成员推理攻击评估框架,应用于Stable Diffusion,揭示现有评估设置的不足,并指出成员推理攻击仍是黑盒扩散模型面临的重大隐私与版权挑战。
2023-11-16 cs.CR cs.CV cs.LG
Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks
Politecnico di Milano(米兰理工大学)
本文提出Knowledge Recycling(KR)流水线及Generative Knowledge Distillation(GKD)技术,通过合成数据集再生与软标签机制优化合成数据训练,不仅缩小了与真实数据的性能差距,还使模型对成员推理攻击具备几乎完全的免疫力。
2024-07-30 cs.AI cs.CR cs.CV
An Efficient Subpopulation-based Membership Inference Attack
University of California(加利福尼亚大学)
成员推断攻击允许恶意实体预测在受害者模型的训练期间是否使用样本。最先进的成员推断攻击已经证明可以达到很好的准确性,这对隐私造成了很大的威胁。然而,大多数SOTA攻击需要训练数十到数百个影子模型来准确地推断成员。这种巨大的计算成本引发了人们对这些深度模型攻击的实用性的质疑。在本文中,我们介绍了一个根本不同的MI攻击方法,避免了需要训练数百个影子模型。简单地说,我们将目标样本上的受害者模型输出与来自相同子群体的样本进行比较(即,语义相似的样本),而不是将其与数百个阴影模型的输出进行比较。直觉是,如果目标样本不是训练样本,则目标样本与其子群体之间的模型响应不应存在显著差异。在攻击者无法获得子群体样本的情况下,我们证明了只训练一个生成模型就可以满足要求。因此,我们实现了最先进的成员推理精度,同时显着降低了训练计算成本。
2022-03-04 cs.AI cs.CR cs.CV
When Privacy Isn't Synthetic: Hidden Data Leakage in Generative AI Models
Department of Mathematical Sciences University of Texas at El Paso(数学科学系德克萨斯理工大学埃尔帕索分校);Department of Computer Science University of Texas at El Paso(计算机科学系德克萨斯理工大学埃尔帕索分校);Department of Radiology St. Jude Children’s Research Hospital(放射医学系圣犹太儿童研究医院)
本文提出了一种针对生成AI模型的黑盒成员推断攻击,通过数据流形中的结构重叠泄露隐私信息,揭示了合成数据生成中未被充分探索的隐私风险。
2025-12-05 cs.AI cs.LG
Membership Inference Attacks and Privacy in Topic Modeling
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Harvard University(哈佛大学)
本文提出针对主题模型的成员推理攻击,证明 Latent Dirichlet Allocation 存在隐私漏洞,并提出结合差分隐私词汇选择的框架以在有限影响效用下提升隐私保护。
2024-09-23 cs.CL cs.CR cs.LG
Generative Modeling of Class Probability for Multi-Modal Representation Learning
Department of AI(人工智能系);School of CSE(计算机科学与工程学院);Chung-Ang University(Chung-Ang 大学)
本文提出了一种基于类别概率分布的多模态表示学习方法CALM,通过生成和对齐类别概率分布提升多模态对齐效果,并引入跨模态概率变分自编码器以增强模态间关系的建模能力。
2025-04-14 cs.AI cs.LG
Context-Aware Membership Inference Attacks against Pre-trained Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德·本·扎耶德人工智能大学);Brave Software(Brave软件公司);Imperial College London(帝国理工学院);National University of Singapore(新加坡国立大学)
本文提出一种针对预训练LLMs的新型成员推理攻击方法,通过将统计测试适应于数据点内子序列的困惑度动态,有效解决了以往方法忽略LLMs生成特性的问题,显著提升了攻击性能并揭示了模型依赖上下文的记忆模式。
2025-09-16 cs.AI cs.CL cs.CR
Defending Diffusion Models Against Membership Inference Attacks via Higher-Order Langevin Dynamics
Department of Applied Math & Statistics(应用数学与统计学系);Stony Brook University(石溪大学);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出利用高阶 Langevin 动力学防御扩散模型的成员推断攻击,通过引入辅助变量和联合扩散过程提升模型安全性,通过AUROC和FID指标验证有效性。
2026-05-06 cs.LG stat.ML
Where Flow Matching Leaks: Characterising Membership Signals Along the Interpolation Path
University of Amsterdam(阿姆斯特丹大学)
本文分析整流流(Rectified Flows)在插值路径上的训练数据成员信号,发现训练与测试数据的重建差异呈钟形曲线,并在高斯假设下推导出峰值位置,验证了该结构的普适性,并利用其进行成员推断攻击。
2026-08-12 cs.AI cs.LG cs.SD
Scaling Laws for Generative Mixed-Modal Language Models
FAIR(基础人工智能研究);University of Washington(华盛顿大学);YerevaNN(埃里温神经网络)
生成语言模型定义了在基本上可以表示数据模态(例如,来自VQ-VAE的图像令牌、来自HuBERT的语音令牌、用于语言或代码的BPE令牌等的任何排列)。为了更好地理解这种混合模态模型的缩放特性,我们使用七种不同的模态和模型大小进行了250多个实验,从800万到300亿不等,在50亿到1000亿的token上训练。我们报告新的混合模式的缩放定律,统一的个人模式和它们之间的相互作用的贡献。具体来说,我们明确地建模的最佳协同作用和竞争,由于数据和模型的大小作为一个附加项,以前的单峰缩放定律。我们还发现了在训练过程中观察到的四种经验现象,例如在模态之间自然交替的紧急坐标上升式训练,选择关键超参数的指南,以及混合模态竞争与训练稳定性之间的联系。最后,我们通过训练一个30 B的语音-文本模型来测试我们的缩放定律,该模型的性能明显优于相应的单峰模型。总的来说,我们的研究为混合模态生成模型的设计和训练提供了有价值的见解,混合模态生成模型是一类重要的新的具有独特分布特性的统一模型。
2023-01-10 cs.AI cs.CL cs.LG
Knowledge Cross-Distillation for Membership Privacy
National University of Singapore(新加坡国立大学);NEC Corporation(NEC公司)
成员推断攻击(MIA)对机器学习模型的训练数据造成隐私风险。使用MIA,攻击者猜测目标数据是否是训练数据集的成员。针对MIA的最先进的防御措施,即成员隐私(Membership Privacy)的蒸馏,不仅需要保护私人数据,还需要大量未标记的公共数据。然而,在某些隐私敏感的领域,如医疗和金融,公共数据的可用性得不到保证。此外,通过使用生成对抗网络生成公共数据的简单方法显着降低了模型的准确性,正如《自然》的作者所报道的那样。为了克服这个问题,我们提出了一种新的防御MIA,使用知识蒸馏,而不需要公共数据。我们的实验表明,我们的防御的隐私保护和准确性与MIA研究中使用的基准表格数据集,Purchase100和Texas100,我们的防御有一个更好的隐私效用权衡比现有的防御,也不使用公共数据的图像数据集CIFAR10。
2022-02-04 cs.CR cs.LG
Variational Mixture-of-Experts Autoencoders for Multi-Modal Deep Generative Models
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
学习跨越多种数据模态(如视觉和语言)的生成模型通常是出于学习更有用、更可概括的表示的愿望,这些表示忠实地捕捉模态之间的共同基础因素。在这项工作中,我们将成功学习这些模型视为满足四个标准:i)隐式潜在分解为共享和私有子空间,ii)所有模态的连贯联合生成,iii)跨单个模态的连贯交叉生成,以及iv)通过多模态集成改进单个模态的模型学习。在这里,我们提出了一个专家混合的多模态变分自动编码器(MMVAE)来学习不同模态集上的生成模型,包括具有挑战性的图像语言数据集,并证明其能够在定性和定量上满足所有四个标准。
2019-11-08 cs.LG stat.ML
Are Diffusion Models Vulnerable to Membership Inference Attacks?
Drexel University(德雷塞尔大学);University of Electronic Science and Technology of China(电子科技大学);AWS AI Lab(亚马逊云科技人工智能实验室)
本文研究扩散模型对成员推理攻击的脆弱性,发现现有MIA方法失效,并提出SecMI方法通过比较各时间步前向过程后验估计误差来推断成员身份,在标准与文本到图像扩散模型上均取得高精度结果。
2023-05-30 cs.AI cs.CR cs.CV
MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning
INESC-ID(INESC-ID(葡萄牙系统与计算机工程研究所))
人类能够创造丰富的表征他们的外部现实。它们的内部表征允许跨模态推理,其中可用的感知可以诱导缺失输入模态的感知体验。在本文中,我们贡献的多模态分层变分自动编码器(MHVAE),一个分层的多模态生成模型的表示学习。受人类认知模型的启发,MHVAE能够学习任意数量的模态的特定模态分布,以及负责跨模态推理的联合模态分布。我们正式推导出模型的证据下限,并提出了一种新的方法来近似联合模态后验的基础上模态特定的表示辍学。我们在标准多模态数据集上评估MHVAE。我们的模型表现与其他国家的最先进的生成模型关于联合模态重建从任意输入模态和跨模态推理。
2020-06-04 cs.LG stat.ML
RelaxLoss: Defending Membership Inference Attacks without Losing Utility
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心(CISPA));Salesforce Research(赛富时研究院);University of Maryland(马里兰大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
成员推断攻击(Membership Inference Attack,MIA)是机器学习模型中普遍存在的一种对训练数据隐私性的长期威胁。现有的工作证据之间的可扩展性的训练和测试损失分布和模型的脆弱性MIA的强连接。受现有结果的启发,我们提出了一种新的训练框架,该框架基于放松损失,具有更可实现的学习目标,从而缩小了泛化差距,减少了隐私泄露。RelaxLoss适用于任何分类模型,具有易于实现和可忽略的开销的额外好处。通过对五个具有不同模式(图像,医疗数据,交易记录)的数据集进行广泛的评估,我们的方法在对MIA的弹性以及模型效用方面始终优于最先进的防御机制。我们的防御是第一个可以承受大范围攻击,同时保持(甚至提高)目标模型的效用。源代码可在https://github.com/DingfanChen/RelaxLoss上获得
2022-07-12 cs.CR cs.LG
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
众所周知,不同模态(如图像和文本)的不一致分布和表示导致异质性差距,这使得将此类异质数据关联起来具有挑战性。生成对抗网络(GANs)具有很强的数据分布建模能力和区分性表示学习能力,现有的基于GANs的工作主要集中在生成问题上,以生成新的数据。我们有不同的目标,旨在通过利用GANs建模跨模态联合分布的能力来关联异构数据。因此,我们提出了跨模态GANs来学习区别性的共同表示,以弥合异质性差距。本文的主要贡献包括:(1)提出了跨模态GANs结构,用于建模不同模态数据的联合分布。生成模型和判别模型可以同时研究通道间和通道内的相关性。两种方法相互作用,促进了跨模态相关学习。(2)提出了一种带权值共享约束的交叉模态卷积自编码器,用于生成模型。它们不仅可以利用跨模态相关性来学习共同的表示,而且还可以保留重构信息以捕获每个模态内的语义一致性。(3)提出了跨通道对抗机制,该机制利用两种识别模型同时进行通道内和通道间的识别。它们可以相互促进,通过对抗训练过程使共同表示更具区分力。据我们所知,我们提出的CM-GANs方法是第一个利用GANs来执行跨模态公共表示学习的方法。在跨模态检索范例上进行了实验,并在3个跨模态数据集上与10种方法进行了比较。
2018-04-26 cs.CV cs.LG cs.MM
Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Nanjing University(南京大学);Tsinghua University(清华大学)
生成对抗模仿学习(GAIL)利用生成对抗网的优势,在机器人学习领域取得了可喜的成果。然而,孤立的单模态演示的要求限制了该方法在现实世界场景中的可扩展性,例如自动驾驶汽车对正确理解人类驾驶员行为的需求。在本文中,我们提出了一种新的多模态GAIL框架,命名为Triple-GAIL,这是能够学习技能选择和模仿共同从专家演示和不断产生的经验与数据增强的目的,通过引入一个辅助技能选择器。我们分别为生成器和选择器提供了收敛到最优解的理论保证。在真实驾驶员轨迹和实时策略游戏数据集上的实验表明,Triple-GAIL可以更好地拟合接近演示者的多模态行为,并优于最先进的方法。
2020-05-22 cs.AI cs.LG cs.RO
Generative Multi-modal Models are Good Class-Incremental Learners
Nankai University(南开大学);NKIARI(深圳市人工智能与机器人研究院)
针对类增量学习中的灾难性遗忘问题,提出生成式多模态模型(GMM)框架,利用生成式模型替代判别式模型生成图像标签并结合特征匹配进行分类,在长序列和Few-shot CIL任务中显著提升准确率并减少遗忘。
2024-03-27 cs.AI cs.CV cs.LG
Generative Models for Simulating Mobility Trajectories
UNIL-HEC Lausanne(洛桑大学高等商学院);Columbia University(哥伦比亚大学)
移动数据集是评估地理信息系统算法和促进实验再现性的基础。但隐私问题限制了这些数据集的共享,因为即使是聚合的位置数据也容易受到成员推断攻击。当前的合成移动性数据集生成器试图表面上匹配先验建模的移动性特征,其不准确地反映真实世界的特征。因此,对人类移动性进行建模以生成合成的但在语义和统计上真实的轨迹对于发布具有令人满意的效用水平的轨迹数据集同时保护用户隐私是至关重要的。具体来说,人类移动性固有的长期依赖性很难用判别模型和生成模型来捕捉。在本文中,我们对递归神经架构(RNN),生成对抗网络(GANs)和非参数copula的性能进行了基准测试,以生成合成的移动性轨迹。我们评估生成的轨迹,其地理和语义相似性,昼夜节律,远程依赖性,训练和生成时间。我们还包括两个样本测试,以评估所观察到的和模拟的分布之间的统计相似性,我们分析的隐私权衡成员推断和位置序列攻击。
2018-11-30 cs.LG stat.ML
Breaking the Illusion: Consensus-Based Generative Mitigation of Adversarial Illusions in Multi-Modal Embeddings
Lund University(隆德大学);Google DeepMind(谷歌DeepMind)
本文提出一种任务无关的缓解机制,利用生成模型恢复多模态嵌入的自然对齐,通过生成采样策略和共识聚合方案提升防御效果,实验显示其显著降低对抗性幻觉攻击成功率。
2026-04-21 cs.LG
Uncovering Memorization in Timeseries Imputation models: LBRM Membership Inference and its link to attribute Leakage
EDF SAMOVAR;Télécom SudParis;Institut Polytechnique de Paris;EDF
本文提出一种两阶段攻击框架,揭示时间序列补全模型在黑盒环境下的脆弱性,通过改进的成员推断攻击和首次属性推断攻击,展示模型对隐私泄露的敏感性。
2026-03-25 cs.AI cs.LG
Adaptive Diffusion Freezing: Privacy-preserving Diffusion Models Against Membership Inference Attacks
Beihang University(北京航空航天大学)
针对扩散模型成员推断攻击的隐私泄露问题,提出自适应扩散冻结(ADF)框架,通过跨时间步掩码控制数据参与并基于风险感知策略抑制高风险子集,实现隐私、效用与效率的最优权衡。
2026-09-11 cs.CR cs.LG
Multi-modal perception for soft robotic interactions using generative models
The BioRobotics Institute, Sant’Anna School of Advanced Studies(圣安娜高级研究院生物机器人研究所);Sant’Anna School of Advanced Studies(圣安娜高级研究院);University College London(伦敦大学学院)
本文提出一种基于生成模型的软体机器人多模态感知方法,融合触觉、视觉与本体感觉构建整体状态表示,并首次研究从视觉和本体感觉预测触觉的跨模态生成问题。
2024-04-05 cs.AI cs.LG cs.RO
Towards Multi-Task Multi-Modal Models: A Video Generative Perspective
Google(谷歌);UC Merced(加州大学默塞德分校)
本文从视频生成视角构建多任务多模态模型,提出高保真潜在表示与掩码多任务Transformer,实现语言模型超越扩散模型及视频分词器优于标准编解码器,并支持多模态生成。
2024-05-26 cs.AI cs.CV cs.LG
H2G2-Net: A Hierarchical Heterogeneous Graph Generative Network Framework for Discovery of Multi-Modal Physiological Responses
Northeastern University(东北大学);Air Force Institute of Technology(空军理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
针对多模态生理数据无预定义图结构且具分层异质性的问题,提出H2G2-Net框架,可端到端自动学习图结构与表征,在CogPilot数据集上预测准确率较最优GNN提升5%-20%。
2024-11-03 cs.AI cs.LG eess.SP
Shape-consistent Generative Adversarial Networks for multi-modal Medical segmentation maps
Tel Aviv University(特拉维夫大学)
跨域图像翻译的不成对数据集最近获得了很大的改进和兴趣。在医学成像中,有多种成像模式,具有非常不同的特征。我们的目标是在CT和MRI全心脏扫描之间使用跨模态适应进行语义分割。我们提出了一个分割网络,使用合成的心脏体积非常有限的数据集。我们的解决方案基于3D跨模态生成对抗网络,以在模态之间共享信息,并使用未配对的数据集生成合成数据。我们的网络利用语义分割来提高生成器形状的一致性,从而在重新训练分割网络时创建更真实的合成体积。我们表明,当使用空间增强来改进生成对抗网络时,可以在小数据集上实现改进的分割。这些增强改进了发生器的能力,从而提高了分段器的性能。仅使用16个CT和16个MRI心血管体积,在使用建议的架构时,显示出优于其他分割方法的改进结果。
2022-02-04 cs.CV cs.LG eess.IV
Multi-Modality Image Inpainting using Generative Adversarial Networks
Ontario Tech University(安大略理工大学)
在过去的几年里,深度学习技术,特别是生成对抗网络(GANs),显著改善了图像修复和图像到图像的翻译任务。据我们所知,将图像修复任务与多模态图像到图像翻译相结合的问题仍然完好无损。在本文中,我们提出了一个模型来解决这个问题。该模型将结合夜间到日常的图像翻译和修复进行评估,以及有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Membership Inference Attacks against Large Vision-Language Models
EPFL(洛桑联邦理工学院);UCLA(加利福尼亚大学洛杉矶分校)
本研究针对大型视觉-语言模型,首次提出成员推断攻击基准和专用流水线,并引入基于置信度的MaxRényi-K%指标,以检测训练数据中的敏感信息。
2024-11-05 cs.AI cs.CL cs.CR
Discriminative Multimodal Learning via Conditional Priors in Generative Models
BI Norwegian Business School(BI挪威商学院);UiT The Arctic University of Norway(挪威北极大学);Norwegian Computing Center(挪威计算中心)
带有潜变量的深度生成模型最近被用于从多模态数据中学习联合表示和生成过程。然而,这两种学习机制可能相互冲突,并且表示可能无法在数据模态上嵌入信息。本研究研究的现实场景中,所有的模态和类标签可用于模型训练,但下游任务所需的一些模态和标签丢失。我们表明,在这种情况下,变分的下限限制联合表示和丢失的方式之间的互信息。为了解决这些问题,我们引入了一种新的条件多模态判别模型,该模型使用信息丰富的先验分布,并优化了一个无似然的目标函数,使联合表示和缺失模态之间的互信息最大化。大量的实验证明了我们提出的模型的好处,实证结果表明,我们的模型实现了最先进的结果,在代表性的问题,如下游分类,声学反演,图像和注释生成。
2023-01-21 cs.LG stat.ML
Multi-Modality Image Super-Resolution using Generative Adversarial Networks
Ontario Tech University(安大略理工大学)
在过去的几年里,基于深度学习的技术,如生成对抗网络(GANs),已经显着改善了图像超分辨率和图像到图像转换问题的解决方案。在本文中,我们提出了一个解决方案的联合问题的图像超分辨率和多模态图像到图像的翻译。这个问题可以说是一个高分辨率的图像在一个模态的恢复,给定的低分辨率观察同一图像在一个替代的模态。我们的论文提供了两个模型来解决这个问题,并将评估高分辨率的白天图像的恢复给定的低分辨率的夜间图像相同的场景。将为每个模型提供有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives
Nanyang Technological University(南洋理工大学);School of Social Sciences(社会科学学院);School of Mechanical and Aerospace Engineering(机械与宇航工程学院);School of Physical and Mathematical Sciences(物理与数学科学学院)
提出一种紧密逼近对数似然的变分目标,并利用置换不变神经网络构建灵活的多模态聚合方案,避免PoE或MoE的归纳偏置,在可识别模型中更好地逼近真实联合分布。
2024-09-24 cs.LG stat.ML
GMAIL: Generative Modality Alignment for generated Image Learning
Department of Machine Learning, CMU, USA(卡内基梅隆大学机器学习系);Department of Machine Learning, MBZUAI, UAE(马斯克大学人工智能研究所);Department of Artificial Intelligence, Hanyang University ERICA, South Korea(翰阳大学ERICA人工智能系)
GMAIL通过多模态学习方法对齐生成图像与真实图像,提升视觉-语言任务中的生成图像学习效果。
2026-02-17 cs.AI cs.CV cs.LG
A biologically-inspired multi-modal evaluation of molecular generative machine learning
Nazarbayev University(纳扎尔巴耶夫大学);ITMO University(圣彼得堡国立信息技术机械与光学大学)
虽然生成模型最近在许多科学领域变得无处不在,但很少关注它们的评估。对于分子生成模型,最先进的方法是孤立地或相对于其输入来检查其输出。然而,它们的生物学和功能特性,如配体-靶相互作用尚未得到解决。在这项研究中,提出了一种新的生物启发的分子生成模型的评估基准。具体而言,三个不同的参考数据集的设计和一组指标的介绍,这是直接相关的药物发现过程。特别是,我们提出了一个娱乐度量,应用药物靶点的亲和力预测和分子对接作为补充技术的生成输出的评估。虽然所有三个指标在测试的生成模型中显示出一致的结果,但对药物-靶标亲和力结合和分子对接评分的更详细比较显示,单峰预测因子可能导致关于分子水平上的靶标结合的错误结论,因此优选多模式方法。该框架的主要优点是,它通过明确关注配体-靶标相互作用将先前的物理化学领域知识纳入基准测试过程,从而创建了一种高效的工具,不仅用于评估分子生成输出,而且还用于丰富药物发现过程。
2022-10-27 cs.AI cs.LG q-bio.BM
On the application of generative adversarial networks for nonlinear modal analysis
University of Sheffield(谢菲尔德大学)
线性模态分析是结构设计和分析的有效工具。然而,非线性模态分析的综合基础仍有待开发。在目前的工作中,提出了一种机器学习方案,以期进行非线性模态分析。该计划的重点是定义一个一对一的映射,从潜在的“模态”空间的自然坐标空间,同时也施加正交的模式形状。映射是通过使用最近开发的周期一致的生成对抗网络(cycle-GAN)和组装的神经网络的目标是保持所需的正交性。该方法进行了测试的模拟数据与立方非线性和不同数量的自由度的结构,也从一个实验三度的自由设置与列缓冲器非线性的数据。结果表明,该方法的有效性分离的“模式”。该方法还提供了一个非线性叠加函数,在大多数情况下具有很好的精度。
2022-03-02 cs.CE cs.LG
Semi-supervised Bayesian Deep Multi-modal Emotion Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Shanghai Jiao Tong University(上海交通大学)
在情感识别中,仅使用单一的模态很难识别人的情感状态。此外,生理情感数据的注释特别昂贵。这两个方面使得建立有效的情感识别模型具有挑战性。本文首先建立了一个多视图深度生成模型,模拟多模态情感数据的生成过程。通过对潜在变量的后验近似施加高斯假设的混合,我们的模型可以从多个模态中学习共享的深度表示。为了解决标记数据稀缺的问题,我们进一步扩展我们的多视图模型的半监督学习的情况下,铸造的半监督分类问题作为一个专门的缺失数据填补任务。我们的半监督多视图深度生成框架可以利用来自多个模态的标记和未标记数据,其中可以自动学习每个模态的权重因子。与以往的情感识别方法相比,该方法具有更强的鲁棒性和灵活性。在两个真实的多模态情感数据集上进行的实验表明,我们的框架优于一些竞争对手。
2017-04-25 cs.AI cs.LG stat.ML
MRIComp4Flow: Compression of 3D Brain MRI for Training Multi-Modal Generative Models
Technical University of Munich (TUM)(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Imperial College London(帝国理工学院);Florida State University(佛罗里达州立大学);Institute for Advanced Study, TUM (TUM-IAS)(慕尼黑工业大学高等研究院);TUM University Hospital(慕尼黑工业大学医院)
该研究针对大规模多模态MRI的存储与I/O问题,采用JPEG2000或JPEG-LS压缩三维脑肿瘤MRI,在20:1压缩率下训练Wavelet Flow Matching模型,证实其合成质量与未压缩数据训练的模型相当,为可扩展三维MRI生成建模提供了实用方案。
2026-08-12 cs.AI cs.CV cs.LG