An Empirical Study on the Membership Inference Attack against Tabular Data Synthesis Models
Northwestern University(西北大学);Yonsei University(延世大学);George Mason University(乔治梅森大学)
表格数据通常包含私人和重要的信息;因此,在与他人共享之前必须采取预防措施。虽然有几种方法(例如,差分隐私和k-匿名)来防止信息泄露,近年来,表格数据合成模型由于能够很好地权衡数据效用和隐私性而受到青睐。然而,最近的研究表明,图像数据的生成模型容易受到成员推断攻击,这可以确定是否使用给定的记录来训练受害者合成模型。在本文中,我们研究的成员推断攻击的背景下,表格数据合成。我们在两种攻击场景(即,一个黑盒攻击和一个白盒攻击),并发现成员推断攻击可以严重危害这些模型。接下来,我们进行实验,以评估两种流行的差分私有深度学习训练算法DP-SGD和DP-GAN如何保护模型免受攻击。我们的主要发现是,这两种算法可以在很大程度上减轻这种威胁,牺牲生成质量。
2022-08-25 cs.AI cs.CR
An Efficient Subpopulation-based Membership Inference Attack
University of California(加利福尼亚大学)
成员推断攻击允许恶意实体预测在受害者模型的训练期间是否使用样本。最先进的成员推断攻击已经证明可以达到很好的准确性,这对隐私造成了很大的威胁。然而,大多数SOTA攻击需要训练数十到数百个影子模型来准确地推断成员。这种巨大的计算成本引发了人们对这些深度模型攻击的实用性的质疑。在本文中,我们介绍了一个根本不同的MI攻击方法,避免了需要训练数百个影子模型。简单地说,我们将目标样本上的受害者模型输出与来自相同子群体的样本进行比较(即,语义相似的样本),而不是将其与数百个阴影模型的输出进行比较。直觉是,如果目标样本不是训练样本,则目标样本与其子群体之间的模型响应不应存在显著差异。在攻击者无法获得子群体样本的情况下,我们证明了只训练一个生成模型就可以满足要求。因此,我们实现了最先进的成员推理精度,同时显着降低了训练计算成本。
2022-03-04 cs.AI cs.CR cs.CV
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University(浙江大学);University of California(加利福尼亚大学)
成员推断(MI)确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断,这限制了它们在许多现实世界中的应用。例如,在人员重新识别任务中,攻击者(或调查者)感兴趣的是确定用户的图像是否在训练期间被使用。但是,攻击者可能无法访问确切的训练图像。在本文中,我们开发了一个用户级的MI攻击,其目标是找到是否有任何样本从目标用户已被使用在训练过程中,即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习,因为它在个人重新识别中占据主导地位,其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估,并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
Context-Aware Membership Inference Attacks against Pre-trained Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德·本·扎耶德人工智能大学);Brave Software(Brave软件公司);Imperial College London(帝国理工学院);National University of Singapore(新加坡国立大学)
本文提出一种针对预训练LLMs的新型成员推理攻击方法,通过将统计测试适应于数据点内子序列的困惑度动态,有效解决了以往方法忽略LLMs生成特性的问题,显著提升了攻击性能并揭示了模型依赖上下文的记忆模式。
2025-09-16 cs.AI cs.CL cs.CR
AdaMixup: A Dynamic Defense Framework for Membership Inference Attack Mitigation
University of Connecticut(康涅狄格大学);Courant Institute, New York University(纽约大学柯朗数学科学研究所);Robert H. Smith School of Business, University of Maryland(马里兰大学罗伯特·H·史密斯商学院);School of Information, University of California(加州大学信息学院)
针对深度学习中的成员推理攻击,本文提出 AdaMixup 动态防御框架,通过训练时自适应调整 mixup 策略,在保持模型准确率的同时显著降低隐私泄露风险。
2025-01-04 cs.AI cs.LG
Membership Inference Attacks on Tokenizers of Large Language Models
University of Science and Technology of China(中国科学技术大学);Purdue University(普渡大学)
针对预训练大型语言模型成员推理攻击的挑战,提出以分词器作为新攻击向量,探索五种攻击方法,并设计自适应防御。
2026-05-25 cs.AI cs.CR
l-Leaks: Membership Inference Attacks with Logits
机器学习(ML)在过去几十年中取得了前所未有的进展。然而,由于训练数据的可记忆性,ML容易受到各种攻击,特别是成员推断攻击(MIA),其目标是推断模型的训练数据。到目前为止,大多数针对ML分类器的成员推断攻击都利用了与目标模型具有相同结构的影子模型。然而,实验结果表明,如果影子模型不清楚目标模型的网络结构,这些攻击可以很容易地减轻。在本文中,我们提出了基于黑盒访问的目标模型的攻击。我们将我们的攻击命名为\textbf{l-Leaks}。l-Leaks遵循的直觉是,如果建立的影子模型与目标模型足够相似,那么对手可以利用影子模型的信息来预测目标样本的成员资格。训练的目标模型的logit包含有价值的样本知识。我们通过学习目标模型的logits来构建阴影模型,并使阴影模型与目标模型更加相似。然后阴影模型将有足够的信心,在成员样本的目标模型。本文还讨论了影子模型的不同网络结构对攻击结果的影响。在不同网络和数据集上的实验表明,我们的攻击都取得了很好的性能。
2022-05-13 cs.AI cs.CR cs.LG
Generalization and Membership Inference Attack a Practical Perspective
Department of Computer Engineering Sharif University of Technology Tehran, Iran(计算机工程系 巴尔赫大学 波斯湾伊朗)
本文通过实证方法探讨MIA成功率与模型泛化之间的关系,发现先进泛化技术可显著降低攻击性能,同时提升模型泛化并减少攻击效果。
2026-04-21 cs.AI cs.LG
LeakBoost: Perceptual-Loss-Based Membership Inference Attack
Ben-Gurion University(本· Gurion大学)
LeakBoost通过感知损失主动探测模型内部表示,提升成员推断攻击的准确性和效率,显著提高AUC和TPR,适用于多种神经网络架构。
2026-02-05 cs.AI
Privacy-preserving Generative Framework Against Membership Inference Attacks
Xidian University(西安电子科技大学)
人工智能和机器学习已经融入我们生活的方方面面,个人数据的隐私也越来越受到关注。由于模型的生成需要提取训练数据的有效信息,因此模型存在泄露训练数据隐私的风险。成员推断攻击可以在一定程度上度量源数据的模型泄漏。本文设计了一个抗成员推断攻击的隐私保护生成框架,通过生成模型变分自编码器(VAE)的信息抽取和数据生成能力,生成满足差分隐私需求的合成数据。我们不向模型输出添加噪声或篡改目标模型的训练过程,而是直接处理原始数据。首先通过VAE模型将源数据映射到隐空间得到隐码,然后对隐码进行满足度量隐私的噪声处理,最后利用VAE模型重构出合成数据。我们的实验评估表明,使用新生成的合成数据训练的机器学习模型可以有效地抵抗成员推断攻击,并且仍然保持较高的实用性。
2022-02-11 cs.AI cs.CR
Biologically-Informed Hybrid Membership Inference Attacks on Generative Genomic Models
Asia Belfiore(第1机构);Dmitrii Usynin(第2机构)
本文提出了一种结合生物信息学指标的混合成员推理攻击方法,用于评估生成式基因组模型的隐私保护效果。
2025-12-18 cs.AI cs.CR
OpenLVLM-MIA: A Controlled Benchmark Revealing the Limits of Membership Inference Attacks on Large Vision-Language Models
Waseda University(早稻田大学);Hitotsubashi University(立命馆大学)
OpenLVLM-MIA通过受控基准揭示大型视觉-语言模型上成员推断攻击的局限性,表明现有方法性能接近随机水平,为隐私保护技术发展提供基础。
2025-12-02 cs.AI cs.CV
On the Discredibility of Membership Inference Attacks
University of California(加利福尼亚大学)
该研究指出成员推理攻击存在高假阳性率问题,会误将成员样本的邻近非成员判为成员,质疑其在司法审计等实际场景的可信度,说明其仅能识别被记忆的子群体,无法定位具体训练样本。
2023-04-28 cs.AI cs.CR
DAMIA: Leveraging Domain Adaptation as a Defense against Membership Inference Attacks
Jinan University(暨南大学)
深度学习(DL)技术允许人们从数据集中训练模型来解决任务。由于其出色的性能和潜在的市场价值,DL吸引了很多人的兴趣,而安全问题是最大的问题之一。然而,DL模型可能易于受到成员推断攻击,其中攻击者确定给定样本是否来自训练数据集。已经做出了努力来阻止攻击,但不幸的是,它们可能会导致重大开销或可用性受损。在本文中,我们提出并实现DAMIA,利用领域自适应(DA)作为防御aginist成员推断攻击。我们的观察是,在训练过程中,DA使用另一个相关数据集混淆要保护的数据集,并推导出一个模型,该模型从两个数据集中潜在地提取特征。看到模型被混淆,成员推理失败,而提取的特征提供了可用性的支持。已经进行了大量的实验来验证我们的直觉。DAMIA训练的模型对可用性的影响可以忽略不计。我们的实验还排除了可能阻碍DAMIA性能的因素,为供应商和研究人员及时从我们的解决方案中受益提供了潜在的指导方针。
2020-05-16 cs.AI cs.CR
One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy
City University of Macau(澳门城市大学)
机器学习模型易受数据推断攻击,例如隶属推断和模型反演攻击。在这些类型的漏洞中,攻击者试图推断数据记录在数据集中的成员资格,甚至使用目标模型预测的置信度得分向量来重建该数据记录。然而,大多数现有的防御方法只能防止成员推断攻击。可以对抗这两种类型攻击的方法需要训练新的模型,这可能不是时间效率。在本文中,我们提出了一种差异化的私人防御方法,处理这两种类型的攻击,在一个时间效率的方式调整只有一个参数,隐私预算。其核心思想是修改和规范化的置信度向量的差分隐私机制,保护隐私和模糊的成员和重建的数据。此外,该方法可以保证向量中得分的顺序,以避免分类精度的任何损失。实验结果表明,该方法是一个有效的和及时的防御隶属度推断和模型反演攻击的准确性没有降低。
2022-03-13 cs.AI cs.CR
CLMIA: Membership Inference Attacks via Unsupervised Contrastive Learning
Anhui University(安徽大学)
本文提出名为CLMIA的成员推理攻击方法,利用无监督对比学习训练攻击模型,仅需少量已知成员状态数据微调,在标记身份信息较少的真实场景下表现优于现有方法。
2024-11-17 cs.AI cs.CR cs.LG
Uncovering Memorization in Timeseries Imputation models: LBRM Membership Inference and its link to attribute Leakage
EDF SAMOVAR;Télécom SudParis;Institut Polytechnique de Paris;EDF
本文提出一种两阶段攻击框架,揭示时间序列补全模型在黑盒环境下的脆弱性,通过改进的成员推断攻击和首次属性推断攻击,展示模型对隐私泄露的敏感性。
2026-03-25 cs.AI cs.LG
How does Bayesian Sampling help Membership Inference Attacks?
Department of Statistics and Data Science, Southern University of Science and Technology(统计与数据科学系,南方科技大学);Shanghai Innovation Institute(上海创新研究院);School of Computer Science, Nanjing University(南京大学计算机科学系);Center for Applied Statistics and School of Statistics, Renmin University of China(应用统计中心和统计学系,中国人民大学)
提出贝叶斯成员推断攻击(BMIA),通过拉普拉斯近似对单个参考模型进行贝叶斯采样以估计条件分数分布,理论证明降低模型内方差从而提升攻击性能,并在多模态数据集上实现最先进的效果与效率。
2026-05-29 cs.AI cs.LG
Improved Membership Inference Attacks Against Language Classification Models
IBM(国际商业机器公司(IBM))
提出一种基于集成方法的成员推断攻击新框架,通过为数据子集生成多个专门攻击模型,在经典和语言分类任务上均优于单一模型或按类别建模的方法,有效提升攻击准确率。
2024-07-18 cs.AI cs.CR cs.LG
Scalable Membership Inference Attacks via Quantile Regression
Amazon AWS AI/ML(亚马逊AWS人工智能与机器学习);University of Pennsylvania(宾夕法尼亚大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于分位数回归的成员推理攻击方法,仅需训练一个模型即可达到与影子模型攻击相当的效果,同时无需知道被攻击模型架构,显著降低了计算成本并实现真正的黑盒攻击。
2023-07-07 cs.AI cs.CR cs.LG
Membership Inference Attacks and Generalization: A Causal Perspective
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Research(微软研究院)
隶属度推断(MI)攻击突出了现有神经网络随机训练方法的隐私弱点。然而,人们并不很清楚它们为什么会出现。它们仅仅是不完美的概括的自然结果吗?在培训期间,我们应该解决哪些根本原因,以减轻这些攻击?为了回答这些问题,我们提出了第一种方法来解释MI攻击及其与基于原则因果推理的泛化的联系。我们提供因果关系图,定量解释所观察到的MI攻击性能达到$6$攻击变种。我们驳斥了几个先前的非定量假设,这些假设过度简化或高估了潜在原因的影响,从而未能捕捉到几个因素之间复杂的相互作用。我们的因果模型还显示了泛化和MI攻击之间的新联系,通过其共享的因果因素。我们的因果模型具有高预测能力($0.90$),即,他们的分析预测往往与看不见的实验中的观察相吻合,这使得通过他们进行分析成为一种实用的选择。
2022-10-30 cs.AI cs.CR cs.LG
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis(加州大学戴维斯分校)
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡,分析其根因,并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
Graph-Level Label-Only Membership Inference Attack against Graph Neural Networks
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院)
提出图级标签仅成员推断攻击GLO-MIA,利用预测稳定性差异,通过扰动图计算鲁棒性得分,在仅标签条件下达到0.825攻击准确率,优于基线8.5%。
2025-03-26 cs.AI cs.LG
On the Vulnerability of Data Points under Multiple Membership Inference Attacks and Target Models
University of Padua(帕多瓦大学);TU Delft(代尔夫特理工大学);University of Washington(华盛顿大学);Radboud University(拉德堡德大学)
成员推断攻击(MIA)推断数据点是否在机器学习模型的训练数据中。在训练数据是一个数据点的私人信息时是一个威胁。MIA正确地推断某些数据点是训练数据的成员或非成员。直觉上,MIA准确检测到的数据点是脆弱的。考虑到这些数据点可能存在于易受多个MIA影响的不同目标模型中,多个MIA和目标模型下的数据点的脆弱性值得探索。本文定义了新的度量指标,能够反映数据点的实际脆弱性情况,捕捉多个MIA和目标模型下的脆弱数据点。分析表明,尽管整体推理性能较低,但MIA对某些数据点具有推理倾向。此外,我们实现了54个MIA,其平均攻击精度范围从0.5到0.9,以支持我们的分析与我们的可扩展和灵活的平台,成员推断攻击平台(VMIAP)。此外,以前的方法不适合在多个MIA和不同目标模型下发现脆弱数据点。最后,我们观察到漏洞不是数据点的特征,而是与MIA和目标模型相关。
2022-10-28 cs.AI cs.CR
Black-box Membership Inference Attacks on the Pre-training Data of Image-generation Models
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
提出一种基于跨模态数据扰动的黑盒成员推断攻击框架SD-MIA,通过分析扩散模型对目标图像和扰动文本指令的去噪过程,有效检测预训练数据中的成员关系。
2026-05-26 cs.AI cs.CV
Automatic Calibration for Membership Inference Attack on Large Language Models
Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系);Department of Computer Science, Oakland University(奥克兰大学计算机科学系)
本文提出自动校准成员推断攻击框架ACMIA,通过可调温度校准输出概率并扩大成员与非成员概率差距,在多种模型访问级别下提升成员推断的可靠性,并在多个基准上超越现有方法。
2025-05-06 cs.AI cs.LG
ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
机器学习(ML)已成为许多现实世界应用的核心组件,而训练数据是推动当前进展的关键因素。这一巨大的成功促使互联网公司部署机器学习即服务(MLaaS)。最近,第一次成员推断攻击已经表明,在这种MLaaS设置中提取训练集上的信息是可能的,这具有严重的安全和隐私影响。然而,这种攻击的可行性的早期演示对对手有许多假设,例如使用多个所谓的阴影模型,目标模型结构的知识,以及具有来自与目标模型的训练数据相同分布的数据集。我们放松了所有这些关键假设,从而表明这种攻击在低成本下具有非常广泛的适用性,从而构成了比以前认为的更严重的风险。我们使用八个不同的数据集对这一新兴和发展中的威胁进行了迄今为止最全面的研究,这些数据集显示了跨域攻击的可行性。此外,我们提出了第一个有效的防御机制,对这种更广泛的成员推断攻击,保持高水平的ML模型的实用性。
2018-12-14 cs.AI cs.CR cs.LG
Winning the MIDST Challenge: New Membership Inference Attacks on Diffusion Models for Tabular Data Synthesis
Carnegie Mellon University(卡内基梅隆大学)
针对扩散表格数据合成的隐私评估不足,本文提出利用跨噪声与时间步损失特征的轻量级 MLP 成员推理攻击,并在 MIDST Challenge 全部赛道夺冠。
2025-03-15 cs.AI cs.CR cs.LG
Membership Inference Attacks Against Fine-tuned Diffusion Language Models
Department of Computer Science, Purdue University(计算机科学系,普渡大学);Cisco Research(思科研究)
本文提出SAMA方法,通过稳健聚合解决稀疏信号挑战,显著提升对微调扩散语言模型的成员推断攻击效果。
2026-02-06 cs.AI cs.LG
MIA-BAD: An Approach for Enhancing Membership Inference Attack and its Mitigation with Federated Learning
Old Dominion University(奥尔多明尼恩大学);Virginia Modeling, Analysis and Simulation Center(弗吉尼亚建模、分析与仿真中心);Deloitte & Touche LLP(德勤有限责任合伙事务所)
本文提出MIA-BAD方法,通过逐批次生成攻击数据集来增强成员推理攻击的准确性和效率,并研究利用联邦学习缓解该攻击威胁,实验验证了其效果。
2023-11-28 cs.AI cs.CR cs.LG
A Method to Facilitate Membership Inference Attacks in Deep Learning Models
University of British Columbia(不列颠哥伦比亚大学)
针对恶意ML提供者仅能黑盒查询模型的威胁,提出通过投毒训练代码放大成员泄漏的新型成员推理攻击,实现高去标识化率且几乎不损失准确率,并暴露现有隐私审计缺陷。
2024-07-02 cs.AI cs.CR cs.CV
Lost in Modality: Evaluating the Effectiveness of Text-Based Membership Inference Attacks on Large Multimodal Models
Japan Advanced Institute of Science and Technology - Information Science(日本科学技术先进研究院-信息科学)
本文评估了基于文本的成员推断攻击(MIAs)在多模态模型中的有效性,发现其在分布内设置中表现相似,而在分布外设置中视觉输入起到正则化作用,有效掩盖了成员信号。
2026-05-21 cs.AI cs.CR
Leveraging Membership Inference Attacks for Privacy Measurement in Federated Learning for Remote Sensing Images
本文提出利用成员推断攻击作为联邦学习中遥感图像隐私测量的量化框架,评估不同FL算法和通信策略下的隐私泄露情况,发现通信高效策略能降低攻击成功率并保持性能。
2026-01-08 cs.AI cs.CR cs.CV
A new membership inference attack that spots memorization in generative and predictive models: Loss-Based with Reference Model algorithm (LBRM)
EDF;Samovar;Institut Polytechnique de Paris(巴黎高等理工学院)
本文提出 LBRM 算法,利用参考模型增强成员推理攻击,以识别时间序列插补模型对训练数据的记忆,在不微调和微调情况下分别将 AUROC 提高约 40% 和 60%。
2025-05-06 cs.AI cs.LG
Fundamental Limits of Membership Inference Attacks on Machine Learning Models
Université Paris-Saclay, CNRS, Laboratoire de mathématiques d’Orsay(巴黎萨克雷大学,CNRS,奥赛数学实验室)
本文从理论上刻画了机器学习模型成员推断攻击的基本统计极限,证明过拟合非线性回归中攻击可高概率成功,并发现数据离散化可增强安全性,其界限由数据分布多样性常数决定。
2025-10-07 cs.AI cs.LG stat.ML
Bayesian Inference of Training Dataset Membership
本文提出一种基于贝叶斯推断的高效可解释成员推断方法,利用预测误差、置信度、扰动幅度和数据集统计等事后指标计算成员后验概率,无需访问模型内部或训练影子模型,并能检测分布偏移。
2025-05-31 cs.AI cs.LG
TIER: Trajectory-Invariant Explanation Regularization for Membership Privacy
ST Engineering(ST工程)
研究利用模型自身梯度作为防御信号抵御基于解释的成员推理攻击,提出TIER防御,通过惩罚梯度引导扰动模拟的置信度下降波动及最小化分布偏移来保护隐私,兼顾模型效用和解释保真度。
2026-07-07 cs.AI cs.CR
Active Membership Inference Attack under Local Differential Privacy in Federated Learning
University of Florida(佛罗里达大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出联邦学习中由不诚实服务器发起的主动成员推理攻击,利用非线性决策边界在本地差分隐私下实现高成功率,并揭示防御噪声会显著损害模型效用。
2023-07-24 cs.AI cs.CR cs.LG
Membership Inference Attacks Against Time-Series Models
IBM Research(IBM研究院)
本文研究了时间序列预测模型的成员推理攻击(MIA),通过引入基于多变量傅里叶变换的季节性特征和低阶多项式趋势分量,提升了攻击在识别成员身份上的有效性,从而更好地评估医疗数据的隐私风险。
2024-09-22 cs.AI cs.LG
NeuGuard: Lightweight Neuron-Guided Defense against Membership Inference Attacks
Lehigh University(理海大学);Illinois Institute of Technology(伊利诺伊理工学院)
针对机器学习模型的成员推断攻击(MIA)会导致模型训练中使用的训练数据集面临严重的隐私风险。针对成员推断攻击(MIA),提出了一种新颖有效的神经元引导防御方法NeuGuard。我们确定了一个关键的弱点,在现有的防御机制对MIA,其中他们不能同时防御两个常用的神经网络为基础的MIA,这两种攻击应单独评估,以确保防御效果。我们提出了NeuGuard,一种新的防御方法,联合控制输出和内部神经元的激活与目标,以引导训练集和测试集的模型输出具有接近的分布。NeuGuard算法由类方差最小化控制和层均衡输出控制两部分组成,类方差最小化控制的目标是约束最终输出神经元,层均衡输出控制的目标是约束每层的内层神经元。我们评估NeuGuard和比较它与国家的最先进的防御两个神经网络为基础的MIA,五个最强的度量为基础的MIA,包括新提出的标签只MIA三个基准数据集。结果表明,NeuGuard优于国家的最先进的防御提供了更好的实用性,隐私权衡,通用性和开销。
2022-12-12 cs.AI cs.CR cs.LG
White-box Membership Attack Against Machine Learning Based Retinopathy Classification
Université de Bretagne Occidentale - UBO(西布列塔尼大学);Inserm(法国国家健康与医学研究院)
机器学习(ML)的进步极大地改善了医学成像中基于AI的诊断辅助系统。然而,基于收集特定于个人的医疗数据会引发一些安全问题,特别是在隐私方面。即使像医院这样的图像所有者在其信息系统层面制定了严格的隐私保护规定,在其图像上训练的模型仍然具有披露潜力。攻击者可以通过以下方式访问经训练的模型:1)白盒:访问模型架构和参数; 2)黑盒:其中他只能通过适当的接口用他自己的输入来查询模型。现有的攻击方法包括:特征估计攻击(FEA)、成员推断攻击(MIA)、模型记忆攻击(MMA)和识别攻击(IA)。在这项工作中,我们专注于MIA对一个模型,已被训练为从视网膜图像检测糖尿病视网膜病变。糖尿病视网膜病变是一种可导致糖尿病患者视力丧失和失明的疾病。MIA是确定数据样本是否来自经训练的ML模型的训练数据集的过程。从隐私的角度来看,在我们的用例中,糖尿病视网膜病变分类模型被提供给拥有图像和患者标识符的合作伙伴,推断数据样本的成员状态可以帮助说明患者是否对模型的训练做出了贡献。
2022-05-30 cs.AI cs.CR cs.CV
Do Parameters Reveal More than Loss for Membership Inference?
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文指出随机梯度下降下最优成员推理需白盒访问,提出利用模型参数和逆Hessian向量乘积的白盒攻击方法IHA,证明参数访问对审计员和攻击者均有益。
2024-12-19 cs.AI cs.CR cs.LG
A Probabilistic Fluctuation based Membership Inference Attack for Diffusion Models
School of Cyber Science and Engineering, Huazhong University of Science and Technology(华中科技大学网络空间科学与工程学院);Tsinghua University(清华大学);Dalian University of Technology(大连理工大学)
本文针对扩散模型成员推理攻击中过拟合依赖导致的性能不足问题,提出基于概率波动检测的黑盒攻击方法PFAMI,利用生成模型固有的记忆现象提升攻击成功率,实验表明其ASR较最佳基线提高约27.9%。
2024-12-26 cs.AI cs.CR cs.CV
Res-MIA: A Training-Free Resolution-Based Membership Inference Attack on Federated Learning Models
Department of Computer Engineering and Information Technology(计算机工程与信息技术系)
Res-MIA是一种无训练、黑盒的联邦学习成员推断攻击,通过降解输入分辨率来揭示模型对高频细节的敏感性,实现高精度的隐私泄露检测。
2026-01-24 cs.AI cs.CR cs.LG
Privacy Auditing of Multi-domain Graph Pre-trained Model under Membership Inference Attacks
针对多领域图预训练模型在成员推断攻击中的隐私风险,提出MGP-MIA框架,通过信号放大、影子模型构建和相似性推断机制提升攻击效果。
2025-11-22 cs.AI cs.CR cs.LG
Center-Based Relaxed Learning Against Membership Inference Attacks
North Carolina State University(北卡罗来纳州立大学)
针对成员推理攻击,提出与架构无关的基于中心的松弛学习(CRL)训练范式,通过平衡数据记忆与泛化能力,在维持成员与非成员数据一致性的同时实现隐私保护,且无需额外模型容量或数据成本。
2024-05-29 cs.AI cs.CR cs.LG
Membership Inference Attacks via Adversarial Examples
Laboratoire d’Informatique de l’École polytechnique(巴黎综合理工学院计算机实验室);Inria(法国国家信息与自动化研究所);LTCI, Télécom Paris(巴黎电信学院通信与信息技术实验室);Institut Polytechnique de Paris(巴黎理工学院);CMAP, Ecole Polytechique(巴黎综合理工学院应用数学中心);Lagrange Research Center(拉格朗日研究中心)
机器学习和深度学习的兴起导致了几个领域的重大改进。这种变化得到了计算能力和大型数据集收集的巨大增长的支持。这样的大规模数据集通常包括可能对隐私构成威胁的个人数据。成员推断攻击是一个新的研究方向,其目的是恢复学习算法使用的训练数据。在本文中,我们开发了一种方法来衡量泄漏的训练数据利用一个数量出现作为一个代理的总变化的训练模型附近的训练样本。我们通过提供一种新的防御机制来扩展我们的工作。我们的贡献是支持的经验证据,通过令人信服的数值实验。
2022-11-23 cs.AI cs.CR cs.LG
Membership Inference over Diffusion-models-based Synthetic Tabular Data
University of Alberta(阿尔伯塔大学)
该研究针对基于扩散模型的合成表格数据生成方法,提出基于逐步误差比较的查询式 MIA,评估 TabDDPM 与 TabSyn 的隐私风险,发现前者更易受攻击、后者更具韧性。
2025-10-16 cs.AI cs.CR cs.LG