Performing Co-Membership Attacks Against Deep Generative Models
Stony Brook University(石溪大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的成员攻击方法,称为针对深度生成模型的共同成员攻击,包括变分自编码器(VAE)和生成对抗网络(GANs)。具体而言,成员攻击旨在检查给定实例x是否在训练数据中使用。共同成员攻击检查给定的n个实例的捆绑包是否在训练中,先验知识是捆绑包要么完全在训练中使用,要么根本没有。当生成模型被发布时,成功的成员攻击可以危及训练数据的隐私。我们的主要思想是将目标数据x的隶属度推理转换为另一个神经网络(称为攻击者网络)的优化,以搜索潜在的编码来重现x。最终的重建误差直接用于推断x是否在训练数据中。我们对各种数据集和生成模型进行了广泛的实验,结果表明:我们的攻击者网络优于先前的成员攻击;联合成员攻击可能比单一攻击更强大;与GANs相比,VAE更容易受到成员攻击。
2019-09-20 cs.LG stat.ML
Graph-Level Label-Only Membership Inference Attack against Graph Neural Networks
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院)
提出图级标签仅成员推断攻击GLO-MIA,利用预测稳定性差异,通过扰动图计算鲁棒性得分,在仅标签条件下达到0.825攻击准确率,优于基线8.5%。
2025-03-26 cs.AI cs.LG
Automatic Calibration for Membership Inference Attack on Large Language Models
Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系);Department of Computer Science, Oakland University(奥克兰大学计算机科学系)
本文提出自动校准成员推断攻击框架ACMIA,通过可调温度校准输出概率并扩大成员与非成员概率差距,在多种模型访问级别下提升成员推断的可靠性,并在多个基准上超越现有方法。
2025-05-06 cs.AI cs.LG
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University(浙江大学);University of California(加利福尼亚大学)
成员推断(MI)确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断,这限制了它们在许多现实世界中的应用。例如,在人员重新识别任务中,攻击者(或调查者)感兴趣的是确定用户的图像是否在训练期间被使用。但是,攻击者可能无法访问确切的训练图像。在本文中,我们开发了一个用户级的MI攻击,其目标是找到是否有任何样本从目标用户已被使用在训练过程中,即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习,因为它在个人重新识别中占据主导地位,其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估,并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
Membership Inference Attacks Against Fine-tuned Diffusion Language Models
Department of Computer Science, Purdue University(计算机科学系,普渡大学);Cisco Research(思科研究)
本文提出SAMA方法,通过稳健聚合解决稀疏信号挑战,显著提升对微调扩散语言模型的成员推断攻击效果。
2026-02-06 cs.AI cs.LG
A new membership inference attack that spots memorization in generative and predictive models: Loss-Based with Reference Model algorithm (LBRM)
EDF;Samovar;Institut Polytechnique de Paris(巴黎高等理工学院)
本文提出 LBRM 算法,利用参考模型增强成员推理攻击,以识别时间序列插补模型对训练数据的记忆,在不微调和微调情况下分别将 AUROC 提高约 40% 和 60%。
2025-05-06 cs.AI cs.LG
Membership Inference Attacks Against Time-Series Models
IBM Research(IBM研究院)
本文研究了时间序列预测模型的成员推理攻击(MIA),通过引入基于多变量傅里叶变换的季节性特征和低阶多项式趋势分量,提升了攻击在识别成员身份上的有效性,从而更好地评估医疗数据的隐私风险。
2024-09-22 cs.AI cs.LG
l-Leaks: Membership Inference Attacks with Logits
机器学习(ML)在过去几十年中取得了前所未有的进展。然而,由于训练数据的可记忆性,ML容易受到各种攻击,特别是成员推断攻击(MIA),其目标是推断模型的训练数据。到目前为止,大多数针对ML分类器的成员推断攻击都利用了与目标模型具有相同结构的影子模型。然而,实验结果表明,如果影子模型不清楚目标模型的网络结构,这些攻击可以很容易地减轻。在本文中,我们提出了基于黑盒访问的目标模型的攻击。我们将我们的攻击命名为\textbf{l-Leaks}。l-Leaks遵循的直觉是,如果建立的影子模型与目标模型足够相似,那么对手可以利用影子模型的信息来预测目标样本的成员资格。训练的目标模型的logit包含有价值的样本知识。我们通过学习目标模型的logits来构建阴影模型,并使阴影模型与目标模型更加相似。然后阴影模型将有足够的信心,在成员样本的目标模型。本文还讨论了影子模型的不同网络结构对攻击结果的影响。在不同网络和数据集上的实验表明,我们的攻击都取得了很好的性能。
2022-05-13 cs.AI cs.CR cs.LG
Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Intel Labs(英特尔实验室)
机器学习模型倾向于记忆敏感数据,使得它们容易受到成员推断攻击,其中对手旨在推断输入样本是否用于训练模型。在过去的几年里,研究人员已经产生了许多成员推断攻击和防御。然而,这些攻击和防御采用各种策略,并在不同的模型和数据集中进行。然而,缺乏全面的基准测试意味着我们不了解现有攻击和防御的优势和劣势。我们填补了这一空白,提出了一个大规模的测量不同的成员推断攻击和防御。我们通过对九种攻击和六种防御的研究,将隶属度推理系统化,并在整体评估中衡量不同攻击和防御的性能。然后,我们量化了威胁模型对这些攻击结果的影响。我们发现威胁模型的一些假设,如相同的架构和相同的分布之间的影子和目标模型,是不必要的。我们也是第一个对从互联网收集的真实世界数据而不是实验室数据集进行攻击的公司。我们进一步研究了是什么决定了成员推断攻击的性能,并揭示了通常认为的过拟合水平是不足以成功的攻击。相反,成员和非成员样本之间的熵/交叉熵的Jensen-Shannon距离与攻击性能的相关性要好得多。这为我们提供了一种新的方法来准确预测成员推理风险,而无需运行攻击。最后,我们发现,数据增强降低了现有的攻击在更大程度上的性能,我们提出了一个自适应攻击使用增强训练阴影和攻击模型,提高攻击性能。
2022-08-22 cs.CR cs.LG
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh(爱丁堡大学);Meta AI
近年来,机器学习模型对成员推断攻击的脆弱性备受关注。然而,现有的攻击大多仍然是不切实际的,由于具有高误报率,其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠,特别是因为大多数样本在现实世界应用中是非成员。在这项工作中,我们认为,成员推断攻击可以大大受益于\emph{difficulty calibration},其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明,难度校准可以显着降低各种现有攻击的误报率,而不会损失准确性。
2022-04-11 cs.CR cs.LG
An Efficient Subpopulation-based Membership Inference Attack
University of California(加利福尼亚大学)
成员推断攻击允许恶意实体预测在受害者模型的训练期间是否使用样本。最先进的成员推断攻击已经证明可以达到很好的准确性,这对隐私造成了很大的威胁。然而,大多数SOTA攻击需要训练数十到数百个影子模型来准确地推断成员。这种巨大的计算成本引发了人们对这些深度模型攻击的实用性的质疑。在本文中,我们介绍了一个根本不同的MI攻击方法,避免了需要训练数百个影子模型。简单地说,我们将目标样本上的受害者模型输出与来自相同子群体的样本进行比较(即,语义相似的样本),而不是将其与数百个阴影模型的输出进行比较。直觉是,如果目标样本不是训练样本,则目标样本与其子群体之间的模型响应不应存在显著差异。在攻击者无法获得子群体样本的情况下,我们证明了只训练一个生成模型就可以满足要求。因此,我们实现了最先进的成员推理精度,同时显着降低了训练计算成本。
2022-03-04 cs.AI cs.CR cs.CV
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt(达姆施塔特工业大学);SAP SE(思爱普公司)
我们提出了两个信息泄漏攻击,优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断,而无需对生成模型的类型进行假设。与以前的生成模型评估指标(如核密度估计)相反,它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器,以实现较高的隶属推理精度。此外,以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者,以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估,生成对抗网络(GANs)和变分自编码器(VAE),在标准图像数据集上训练。我们的研究结果表明,这两种攻击产生的成功率优于以前的工作在大多数数据集,而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合,特别有用。例如,在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中,我们的工作激励了GANs的使用,因为它们在产生详细样本的同时,被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
CLMIA: Membership Inference Attacks via Unsupervised Contrastive Learning
Anhui University(安徽大学)
本文提出名为CLMIA的成员推理攻击方法,利用无监督对比学习训练攻击模型,仅需少量已知成员状态数据微调,在标记身份信息较少的真实场景下表现优于现有方法。
2024-11-17 cs.AI cs.CR cs.LG
Improved Membership Inference Attacks Against Language Classification Models
IBM(国际商业机器公司(IBM))
提出一种基于集成方法的成员推断攻击新框架,通过为数据子集生成多个专门攻击模型,在经典和语言分类任务上均优于单一模型或按类别建模的方法,有效提升攻击准确率。
2024-07-18 cs.AI cs.CR cs.LG
Scalable Membership Inference Attacks via Quantile Regression
Amazon AWS AI/ML(亚马逊AWS人工智能与机器学习);University of Pennsylvania(宾夕法尼亚大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于分位数回归的成员推理攻击方法,仅需训练一个模型即可达到与影子模型攻击相当的效果,同时无需知道被攻击模型架构,显著降低了计算成本并实现真正的黑盒攻击。
2023-07-07 cs.AI cs.CR cs.LG
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries
Max Planck Institute for Computer Science(马克斯·普朗克计算机科学研究所)
机器学习模型已被证明会泄露违反其训练集隐私的信息。我们专注于对机器学习模型的成员推断攻击,其目的是确定数据点是否用于训练受害者模型。我们的工作包括两个方面:我们介绍了抽样攻击,一种新的成员推理技术,不同于其他标准的成员资格的对手是能够工作在严格的限制下,没有访问受害者模型的分数。我们发现,一个受害者模型,只发布标签仍然容易受到抽样攻击和对手可以恢复到100%的性能相比,当后验向量提供。我们的工作的其他方面包括两个最近的成员推断攻击模型的实验结果和对他们的防御。为了防御,我们选择差分隐私的形式梯度扰动在受害者模型的训练以及输出扰动在预测时间。我们在广泛的数据集上进行实验,这使我们能够更好地分析对手,防御机制和数据集之间的交互。我们发现,我们提出的快速和易于实现的输出扰动技术提供了很好的隐私保护成员推断攻击在效用的影响很小。
2020-09-01 cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University(普渡大学);NVIDIA Research(NVIDIA研究)
针对成员推断攻击,提出自适应场景下的级联攻击(CMIA)和非自适应场景下的代理攻击(PMIA),利用成员依赖性或代理样本行为提升推断性能,在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
Membership inference attack with relative decision boundary distance
Tongji University(同济大学)
针对仅标签成员推理攻击中决策边界距离受随机初始点影响的问题,提出多类自适应 MIA,利用多目标 HopSkipJump 和相对边界距离提升攻击性能。
2023-06-07 cs.LG
Label-Only Membership Inference Attacks
University of Toronto(多伦多大学);Vector Institute(向量研究所);Stanford University(斯坦福大学);Google(谷歌)
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一:给定一个数据点和模型,确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签,而没有置信度,这些攻击就不适用。在本文中,我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分,而是评估模型预测标签在扰动下的鲁棒性,以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明,我们的标签只有成员推断攻击执行与以前的攻击,需要访问模型的信心。我们进一步证明,标签攻击打破多重防御成员推断攻击(隐式或显式)依赖于一种现象,我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击,但保持模型的预测标签不变。我们的标签攻击表明,信心掩蔽是不是一个可行的防御策略,对成员推理。最后,我们研究了最坏情况下的仅标签攻击,即推断少数离群数据点的成员资格。我们发现,在这种情况下,仅标签攻击也匹配基于信任的攻击。我们发现,具有差分隐私和(强)L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时,这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Membership Inference Attacks and Generalization: A Causal Perspective
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Research(微软研究院)
隶属度推断(MI)攻击突出了现有神经网络随机训练方法的隐私弱点。然而,人们并不很清楚它们为什么会出现。它们仅仅是不完美的概括的自然结果吗?在培训期间,我们应该解决哪些根本原因,以减轻这些攻击?为了回答这些问题,我们提出了第一种方法来解释MI攻击及其与基于原则因果推理的泛化的联系。我们提供因果关系图,定量解释所观察到的MI攻击性能达到$6$攻击变种。我们驳斥了几个先前的非定量假设,这些假设过度简化或高估了潜在原因的影响,从而未能捕捉到几个因素之间复杂的相互作用。我们的因果模型还显示了泛化和MI攻击之间的新联系,通过其共享的因果因素。我们的因果模型具有高预测能力($0.90$),即,他们的分析预测往往与看不见的实验中的观察相吻合,这使得通过他们进行分析成为一种实用的选择。
2022-10-30 cs.AI cs.CR cs.LG
Membership Inference on Word Embedding and Beyond
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
在文本处理上下文中,大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的,这些数据集可能包含敏感数据。在某些情况下,这种训练是独立完成的,在其他情况下,它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下,考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是,有些令人惊讶的是,对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理(NLP)任务中的影响仍然相对未被探索。在这项工作中,我们表明在现实的假设下,词嵌入很容易受到黑盒成员推断攻击。此外,我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在:分类和文本生成,即使嵌入层没有暴露给攻击者。我们表明,我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上,我们的攻击是对文本生成模型的更便宜的成员推断攻击,它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis(加州大学戴维斯分校)
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡,分析其根因,并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
Do Backdoors Assist Membership Inference Attacks?
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
当攻击者向机器学习模型提供有毒样本时,隐私泄露(例如推断样本是否包括在模型的训练中的成员推断攻击)通过将样本移动到离群值而变得有效。然而,攻击可以被检测到,因为推理精度由于有毒样本而恶化。在本文中,我们讨论了一个\textit{backdoor-assisted membership inference attack},一种新的成员推断攻击的基础上后门,返回对手的预期输出的触发样本。通过对学术基准数据集的实验,我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次,当我们分析损失分布以了解不成功结果的原因时,我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说,后门不会影响干净样本的分发。第三,我们还表明,毒物和触发样本激活不同分布的神经元。具体来说,后门使任何干净的样本成为内围值,而不是中毒样本。因此,我们确认,后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
机器学习(ML)已成为许多现实世界应用的核心组件,而训练数据是推动当前进展的关键因素。这一巨大的成功促使互联网公司部署机器学习即服务(MLaaS)。最近,第一次成员推断攻击已经表明,在这种MLaaS设置中提取训练集上的信息是可能的,这具有严重的安全和隐私影响。然而,这种攻击的可行性的早期演示对对手有许多假设,例如使用多个所谓的阴影模型,目标模型结构的知识,以及具有来自与目标模型的训练数据相同分布的数据集。我们放松了所有这些关键假设,从而表明这种攻击在低成本下具有非常广泛的适用性,从而构成了比以前认为的更严重的风险。我们使用八个不同的数据集对这一新兴和发展中的威胁进行了迄今为止最全面的研究,这些数据集显示了跨域攻击的可行性。此外,我们提出了第一个有效的防御机制,对这种更广泛的成员推断攻击,保持高水平的ML模型的实用性。
2018-12-14 cs.AI cs.CR cs.LG
Winning the MIDST Challenge: New Membership Inference Attacks on Diffusion Models for Tabular Data Synthesis
Carnegie Mellon University(卡内基梅隆大学)
针对扩散表格数据合成的隐私评估不足,本文提出利用跨噪声与时间步损失特征的轻量级 MLP 成员推理攻击,并在 MIDST Challenge 全部赛道夺冠。
2025-03-15 cs.AI cs.CR cs.LG
MIA-BAD: An Approach for Enhancing Membership Inference Attack and its Mitigation with Federated Learning
Old Dominion University(奥尔多明尼恩大学);Virginia Modeling, Analysis and Simulation Center(弗吉尼亚建模、分析与仿真中心);Deloitte & Touche LLP(德勤有限责任合伙事务所)
本文提出MIA-BAD方法,通过逐批次生成攻击数据集来增强成员推理攻击的准确性和效率,并研究利用联邦学习缓解该攻击威胁,实验验证了其效果。
2023-11-28 cs.AI cs.CR cs.LG
Quantifying the Privacy of Counterfactuals by Leveraging Membership Inference Attacks Against Synthetic Data
ÉTS Montreal and Mila Canada(蒙特利尔ÉTS学院和Mila加拿大);UQAM Canada(魁北克大学UQAM加拿大);Inria Grenoble France(法国格勒诺布尔Inria)
本文利用针对合成数据的成员推理攻击,证明仅通过反事实即可成功实施成员推理攻击,无需访问模型,揭示了反事实发布中的隐私风险。
2026-06-04 cs.LG
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
本文提出MGMD-GAN框架,通过多生成器与多判别器结合不相交训练数据分区学习混合分布,缩小泛化差距,从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Zhejiang Lab(之江实验室);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击,例如模型反演攻击和成员推断攻击,其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法,即净化框架,来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明,当净化器致力于一种攻击时,它自然会防御另一种攻击,这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如,它可以将隶属度推断精度降低高达15%,并将模型反演误差增加高达4倍。此外,它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
虽然机器学习(ML)模型被部署在许多关键应用程序中作为核心组件,但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断,其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止,大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而,现实世界的ML模型通常是按照迁移学习范式训练的,其中模型所有者采用从不同数据集(即教师模型)学习的预训练模型,并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中,我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明,隶属度推理可以达到有效的性能。例如,在从ResNet20(用Caltech 101预训练)转移的CIFAR 100分类器上,我们的成员推理实现了$95\%$攻击AUC。此外,我们表明,隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
Membership Inference Attacks From First Principles
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
成员推断攻击允许对手查询经训练的机器学习模型,以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估,无法表征攻击是否可以自信地识别训练集的任何成员。我们认为,攻击应该通过计算它们在低(例如,<0.1%)的假阳性率,并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题,我们开发了一种LikeRatio攻击(LiRA),它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍,并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Apollo: A Posteriori Label-Only Membership Inference Attack Towards Machine Unlearning
University of Pittsburgh(匹兹堡大学);Cisco Research(思科研究)
本研究针对现有面向机器遗忘的隐私攻击依赖弱威胁模型、可行性受限的问题,提出仅需访问遗忘模型标签输出的Apollo后验仅标签成员推理攻击,以更低的模型访问权限实现了较高的被遗忘样本成员身份推断精度。
2025-10-27 cs.LG
Fundamental Limits of Membership Inference Attacks on Machine Learning Models
Université Paris-Saclay, CNRS, Laboratoire de mathématiques d’Orsay(巴黎萨克雷大学,CNRS,奥赛数学实验室)
本文从理论上刻画了机器学习模型成员推断攻击的基本统计极限,证明过拟合非线性回归中攻击可高概率成功,并发现数据离散化可增强安全性,其界限由数据分布多样性常数决定。
2025-10-07 cs.AI cs.LG stat.ML
Semantic Membership Inference Attack against Large Language Models
Oracle Labs(甲骨文实验室)
本文提出 SMIA,通过神经网络分析目标 LLM 对语义扰动输入的输出概率差异来识别训练成员,并在 Pythia、GPT-Neo 上验证其显著优于现有 MIA。
2024-06-14 cs.LG
LTU Attacker for Membership Inference
RPI(伦斯勒理工学院);LISN/CNRS/INRIA(LISN/法国国家科学研究中心/法国国家信息与自动化研究所);U. Paris-Saclay(巴黎萨克雷大学);Paradigm(第四范式);ChaLearn
我们解决的问题,防御预测模型,如机器学习分类器(后卫模型),对成员推断攻击,在黑箱和白箱设置,当教练和训练模型公开发布。Defender旨在优化双重目标:实用性和隐私。利用包括攻击者和评估者的外部装置来评估效用和隐私两者。一方面,使用与Defender训练数据分布相似的保留数据来评估效用;另一方面,使用与Defender训练数据混合的保留数据来评估成员推断攻击鲁棒性。在这两种情况下,分类准确度或出错率被用作度量:效用是用防御者模型的分类准确度来评估的;隐私是用所谓的“留两个未标记”LTU攻击者的成员预测误差来评估的,LTU攻击者可以访问所有的防御者和保留数据,除了每个样本的成员标记。我们证明了,在一定条件下,即使是一个“天真”的LTU攻击者可以实现较低的隐私损失与简单的攻击策略,从而导致具体的必要条件,以保护隐私,包括:防止过度拟合和增加一些随机性。然而,我们还表明,这种天真的LTU攻击者可能无法攻击文献中已知易受攻击的模型的隐私,这表明知识必须辅以强大的攻击策略,才能将LTU攻击者变成评估隐私的强大手段。我们在QMNIST和CIFAR-10数据集上的实验验证了我们的理论结果,并证实了过拟合预防和随机性在算法中的作用,以防止隐私攻击。
2022-02-04 cs.LG
Active Membership Inference Attack under Local Differential Privacy in Federated Learning
University of Florida(佛罗里达大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出联邦学习中由不诚实服务器发起的主动成员推理攻击,利用非线性决策边界在本地差分隐私下实现高成功率,并揭示防御噪声会显著损害模型效用。
2023-07-24 cs.AI cs.CR cs.LG
NeuGuard: Lightweight Neuron-Guided Defense against Membership Inference Attacks
Lehigh University(理海大学);Illinois Institute of Technology(伊利诺伊理工学院)
针对机器学习模型的成员推断攻击(MIA)会导致模型训练中使用的训练数据集面临严重的隐私风险。针对成员推断攻击(MIA),提出了一种新颖有效的神经元引导防御方法NeuGuard。我们确定了一个关键的弱点,在现有的防御机制对MIA,其中他们不能同时防御两个常用的神经网络为基础的MIA,这两种攻击应单独评估,以确保防御效果。我们提出了NeuGuard,一种新的防御方法,联合控制输出和内部神经元的激活与目标,以引导训练集和测试集的模型输出具有接近的分布。NeuGuard算法由类方差最小化控制和层均衡输出控制两部分组成,类方差最小化控制的目标是约束最终输出神经元,层均衡输出控制的目标是约束每层的内层神经元。我们评估NeuGuard和比较它与国家的最先进的防御两个神经网络为基础的MIA,五个最强的度量为基础的MIA,包括新提出的标签只MIA三个基准数据集。结果表明,NeuGuard优于国家的最先进的防御提供了更好的实用性,隐私权衡,通用性和开销。
2022-12-12 cs.AI cs.CR cs.LG
Do Parameters Reveal More than Loss for Membership Inference?
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文指出随机梯度下降下最优成员推理需白盒访问,提出利用模型参数和逆Hessian向量乘积的白盒攻击方法IHA,证明参数访问对审计员和攻击者均有益。
2024-12-19 cs.AI cs.CR cs.LG
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland(马里兰大学)
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作,我们是第一个经验表明,彩票网络同样容易受到成员推断攻击。成员推断攻击(Membership Inference Attack,MIA)是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络,以找到较小的子网络,这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务,并观察到攻击精度相似。我们还看到,攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型,具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG
Membership Leakage in Label-Only Exposures
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
机器学习(ML)已被广泛采用于各种隐私关键应用中,例如,人脸识别和医学图像分析。然而,最近的研究表明,ML模型很容易受到对其训练数据的攻击。成员推断是该领域的一种主要攻击:给定数据样本和模型,攻击者的目标是确定样本是否是模型训练集的一部分。现有的成员推断攻击利用模型返回的置信度分数作为其输入(基于分数的攻击)。然而,如果模型仅暴露预测的标签,即,最后的决定。在本文中,我们提出了基于决策的成员推断攻击,并证明了标签的曝光也容易受到成员泄漏。特别是,我们开发了两种类型的基于决策的攻击,即转移攻击和边界攻击。实验结果表明,本文提出的基于决策的攻击方法可以取得显著的性能,在某些情况下甚至优于以往的基于得分的攻击方法。我们进一步提出了新的见解,成功的成员推理的基础上定量和定性分析,即,模型的成员样本比非成员样本更远离模型的决策边界。最后,我们评估了多种防御机制对我们的决策为基础的攻击,并表明,我们的两种类型的攻击可以绕过大多数这些防御。
2021-09-17 cs.CR cs.LG stat.ML
Res-MIA: A Training-Free Resolution-Based Membership Inference Attack on Federated Learning Models
Department of Computer Engineering and Information Technology(计算机工程与信息技术系)
Res-MIA是一种无训练、黑盒的联邦学习成员推断攻击,通过降解输入分辨率来揭示模型对高频细节的敏感性,实现高精度的隐私泄露检测。
2026-01-24 cs.AI cs.CR cs.LG
Privacy Auditing of Multi-domain Graph Pre-trained Model under Membership Inference Attacks
针对多领域图预训练模型在成员推断攻击中的隐私风险,提出MGP-MIA框架,通过信号放大、影子模型构建和相似性推断机制提升攻击效果。
2025-11-22 cs.AI cs.CR cs.LG
Range Membership Inference Attacks
National University of Singapore(新加坡国立大学)
针对标准成员推理攻击(MIAs)仅检查数据点是否完全匹配而忽略相似数据的问题,提出范围成员推理攻击(RaMIAs),通过统计检验测试模型是否在指定隐私语义范围内的数据上训练过,实验证明其能更准确全面地捕获隐私损失。
2025-03-16 cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Center-Based Relaxed Learning Against Membership Inference Attacks
North Carolina State University(北卡罗来纳州立大学)
针对成员推理攻击,提出与架构无关的基于中心的松弛学习(CRL)训练范式,通过平衡数据记忆与泛化能力,在维持成员与非成员数据一致性的同时实现隐私保护,且无需额外模型容量或数据成本。
2024-05-29 cs.AI cs.CR cs.LG
Membership Inference Attacks by Exploiting Loss Trajectory
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心)
机器学习模型容易受到成员推断攻击的攻击,其中攻击者旨在预测目标模型的训练数据集中是否包含特定样本。现有的攻击方法通常只利用给定目标模型的输出信息(主要是损失)。因此,在成员样本和非成员样本产生类似小损失的实际场景中,这些方法自然无法区分它们。为了解决这一问题,本文提出了一种新的攻击方法,称为\system,它可以利用目标模型在整个训练过程中的隶属度信息来提高攻击性能。为了在常见的黑盒设置中安装攻击,我们利用知识蒸馏,并表示成员信息的损失评估的一系列中间模型在不同的蒸馏时期,即\emph{distilled loss trajectory},连同从给定的目标模型的损失。在不同数据集和模型架构上的实验结果证明了我们的攻击在不同度量方面的巨大优势。例如,在CINIC-10上,我们的攻击比现有方法在0.1\%的低假阳性率下实现了至少6 $\times$的真阳性率。进一步的分析证明了我们的攻击在更严格的情况下的一般有效性。
2022-08-31 cs.CR cs.LG
Set-Membership Inference Attacks using Data Watermarking
Ruhr University(鲁尔大学)
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法,通过条件采样揭示训练数据中的水印,有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
MIST: Defending Against Membership Inference Attacks Through Membership-Invariant Subspace Training
Purdue University(普渡大学)
针对成员推断攻击,提出成员不变子空间训练(MIST)方法,通过识别并避免过度拟合脆弱实例,在最小化测试精度损失的同时优于现有防御。
2024-05-29 cs.CR cs.LG
Semi-Leak: Membership Inference Attacks Against Semi-supervised Learning
CISPA Helmholz Center for Information Security(CISPA亥姆霍兹信息安全中心);Duke University(杜克大学)
半监督学习(SSL)利用标记和未标记的数据来训练机器学习(ML)模型。最先进的SSL方法可以通过利用更少的标记数据来实现与监督学习相当的性能。然而,大多数现有的工作集中在提高SSL的性能。本文从另一个角度研究了SSL的训练数据隐私问题。具体来说,我们提出了第一个基于数据增强的成员推断攻击对SSL训练的ML模型。给定数据样本和对模型的黑盒访问,成员推断攻击的目标是确定数据样本是否属于模型的训练数据集。我们的评估表明,该攻击可以始终优于现有的成员推断攻击,并实现了对SSL训练的模型的最佳性能。此外,我们发现SSL中成员泄漏的原因与监督学习中通常认为的原因不同,即,过度拟合(训练精度和测试精度之间的差距)。我们观察到SSL模型很好地推广到测试数据(几乎为0过拟合),但通过给出更有信心的预测而“记忆”训练数据,而不管其正确性如何。我们还探讨了早期停止作为一种对策,以防止对SSL的成员推断攻击。结果表明,提前停止可以减轻成员推断攻击,但代价是模型的效用下降。
2022-07-25 cs.CR cs.CV cs.LG
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology(佐治亚理工学院)
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统,称为MPLens,有三个独特的贡献。首先,通过MPLens,我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次,通过MPLens,我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的,特别是当训练数据本身是偏斜的时候。我们发现,当模型使用倾斜的训练数据时,成员推断攻击的风险通常会增加。最后,我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性,学习任务的复杂性,数据集的复杂性和隐私参数设置。我们的实证结果表明,(1)少数群体在偏斜的数据集显示成员推理的风险增加和(2)差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Blind Baselines Beat Membership Inference Attacks for Foundation Models
ETH Zurich(苏黎世联邦理工学院)
针对基础模型的成员推断攻击评估因成员与非成员采样分布不同而有缺陷;在8个数据集上,不看模型的盲攻击优于最先进MI攻击,表明现有评估无法反映真实成员泄露。
2025-03-30 cs.CL cs.CR cs.LG
Membership Inference over Diffusion-models-based Synthetic Tabular Data
University of Alberta(阿尔伯塔大学)
该研究针对基于扩散模型的合成表格数据生成方法,提出基于逐步误差比较的查询式 MIA,评估 TabDDPM 与 TabSyn 的隐私风险,发现前者更易受攻击、后者更具韧性。
2025-10-16 cs.AI cs.CR cs.LG
Membership Inference Attacks and Defenses in Classification Models
Purdue University(普渡大学)
我们研究了对分类器的成员推理(MI)攻击,攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估,我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后,我们提出了一种针对MI攻击的防御方法,旨在通过故意降低训练精度来缩小差距。更具体地说,训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度,该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明,将这种方法与另一种简单的防御(混合训练)相结合,可以显着提高对MI攻击的最先进的防御能力,同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
Membership Inference of Diffusion Models
University of Luxembourg(卢森堡大学)
近年来,扩散模型在数据合成方面取得了巨大的成功。然而,当扩散模型应用于敏感数据时,它们也引起了严重的隐私问题。本文首次系统地研究了扩散模型的成员推断攻击,旨在推断样本是否用于训练模型。提出了两种攻击方法,即基于损失的攻击和基于似然的攻击。我们的攻击方法进行评估的几个国家的最先进的扩散模型,在不同的数据集的隐私敏感数据。广泛的实验评估表明,我们的攻击可以实现显着的性能。此外,我们详尽地调查各种因素,可以影响攻击性能。最后,我们还评估了我们的攻击方法在差分隐私训练的扩散模型上的性能。
2023-01-24 cs.CR cs.LG