Do Backdoors Assist Membership Inference Attacks?
Osaka University（大阪大学）；NTT Social Informatics Laboratories（NTT社会信息学实验室）
当攻击者向机器学习模型提供有毒样本时，隐私泄露（例如推断样本是否包括在模型的训练中的成员推断攻击）通过将样本移动到离群值而变得有效。然而，攻击可以被检测到，因为推理精度由于有毒样本而恶化。在本文中，我们讨论了一个\textit{backdoor-assisted membership inference attack}，一种新的成员推断攻击的基础上后门，返回对手的预期输出的触发样本。通过对学术基准数据集的实验，我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次，当我们分析损失分布以了解不成功结果的原因时，我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说，后门不会影响干净样本的分发。第三，我们还表明，毒物和触发样本激活不同分布的神经元。具体来说，后门使任何干净的样本成为内围值，而不是中毒样本。因此，我们确认，后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Zhejiang Lab（之江实验室）；National University of Singapore（新加坡国立大学）
神经网络易受数据推断攻击，例如模型反演攻击和成员推断攻击，其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法，即净化框架，来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明，当净化器致力于一种攻击时，它自然会防御另一种攻击，这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如，它可以将隶属度推断精度降低高达15%，并将模型反演误差增加高达4倍。此外，它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Membership Inference Attacks From First Principles
Google Research（谷歌研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击允许对手查询经训练的机器学习模型，以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估，无法表征攻击是否可以自信地识别训练集的任何成员。我们认为，攻击应该通过计算它们在低（例如，<0.1%）的假阳性率，并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题，我们开发了一种LikeRatio攻击（LiRA），它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍，并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；University of Waterloo（滑铁卢大学）；DarwinAI（达尔文人工智能公司）；DeepMind（深度思维）
虽然在深度强化学习领域已经取得了重大的研究进展，但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中，攻击者将收集的输入数据集作为目标，深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距，我们提出了一个对抗攻击框架，旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地，我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外，我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明，在三个不同的连续控制Mujoco任务中，所提出的对抗攻击框架在推断数据时具有惊人的有效性，其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$，这在这方面引起了严重的隐私问题。最后，我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Membership Inference Attacks by Exploiting Loss Trajectory
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
机器学习模型容易受到成员推断攻击的攻击，其中攻击者旨在预测目标模型的训练数据集中是否包含特定样本。现有的攻击方法通常只利用给定目标模型的输出信息（主要是损失）。因此，在成员样本和非成员样本产生类似小损失的实际场景中，这些方法自然无法区分它们。为了解决这一问题，本文提出了一种新的攻击方法，称为\system，它可以利用目标模型在整个训练过程中的隶属度信息来提高攻击性能。为了在常见的黑盒设置中安装攻击，我们利用知识蒸馏，并表示成员信息的损失评估的一系列中间模型在不同的蒸馏时期，即\emph{distilled loss trajectory}，连同从给定的目标模型的损失。在不同数据集和模型架构上的实验结果证明了我们的攻击在不同度量方面的巨大优势。例如，在CINIC-10上，我们的攻击比现有方法在0.1\%的低假阳性率下实现了至少6 $\times$的真阳性率。进一步的分析证明了我们的攻击在更严格的情况下的一般有效性。
2022-08-31 cs.CR cs.LG
MIST: Defending Against Membership Inference Attacks Through Membership-Invariant Subspace Training
Purdue University（普渡大学）
针对成员推断攻击，提出成员不变子空间训练（MIST）方法，通过识别并避免过度拟合脆弱实例，在最小化测试精度损失的同时优于现有防御。
2024-05-29 cs.CR cs.LG
Membership Inference Attacks and Defenses in Classification Models
Purdue University（普渡大学）
我们研究了对分类器的成员推理（MI）攻击，攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估，我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后，我们提出了一种针对MI攻击的防御方法，旨在通过故意降低训练精度来缩小差距。更具体地说，训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度，该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明，将这种方法与另一种简单的防御（混合训练）相结合，可以显着提高对MI攻击的最先进的防御能力，同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
Membership Inference of Diffusion Models
University of Luxembourg（卢森堡大学）
近年来，扩散模型在数据合成方面取得了巨大的成功。然而，当扩散模型应用于敏感数据时，它们也引起了严重的隐私问题。本文首次系统地研究了扩散模型的成员推断攻击，旨在推断样本是否用于训练模型。提出了两种攻击方法，即基于损失的攻击和基于似然的攻击。我们的攻击方法进行评估的几个国家的最先进的扩散模型，在不同的数据集的隐私敏感数据。广泛的实验评估表明，我们的攻击可以实现显着的性能。此外，我们详尽地调查各种因素，可以影响攻击性能。最后，我们还评估了我们的攻击方法在差分隐私训练的扩散模型上的性能。
2023-01-24 cs.CR cs.LG
Membership Inference Attacks Against Recommender Systems
Shandong University（山东大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
近年来，推荐系统取得了令人瞩目的成绩，成为应用最广泛的网络应用之一。然而，推荐系统通常是在高度敏感的用户数据上训练的，因此来自推荐系统的潜在数据泄漏可能导致严重的隐私问题。在本文中，我们首次尝试量化的隐私泄漏的推荐系统，通过镜头的成员推理。与传统的隶属度推理对机器学习分类器相比，我们的攻击面临两个主要的区别。首先，我们的攻击是在用户级别，而不是在数据样本级别。第二，对手只能从推荐系统中观察到有序的推荐项目，而不是后验概率形式的预测结果。为了解决上述挑战，我们提出了一种新的方法，代表用户从相关的项目。此外，建立影子推荐器，以获得用于训练攻击模型的标记训练数据。大量的实验结果表明，我们的攻击框架实现了强大的性能。此外，我们设计了一种防御机制来有效减轻推荐系统的成员推理威胁。
2021-09-16 cs.CR cs.LG
MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples
Duke University（杜克大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
在成员推断攻击中，攻击者旨在推断数据样本是否在目标分类器的训练数据集中。具体地，给定对目标分类器的黑盒访问，攻击者训练二元分类器，该二元分类器将由目标分类器预测的数据样本的置信度得分向量作为输入，并预测数据样本是目标分类器的训练数据集的成员或非成员。成员推断攻击对训练数据集构成严重的隐私和安全威胁。大多数现有的防御措施在训练目标分类器时利用差分隐私或规则化目标分类器的训练过程。这些防御受到两个关键限制：1）它们没有置信度得分向量的正式效用损失保证，以及2）它们实现了次优的隐私效用权衡。在这项工作中，我们提出MemGuard，第一个防御正式效用损失保证黑盒成员推断攻击。MemGuard不会篡改目标分类器的训练过程，而是向目标分类器预测的每个置信度得分向量添加噪声。我们的关键观察是，攻击者使用分类器来预测成员或非成员，分类器容易受到对抗性示例的影响。基于观察结果，我们建议将精心制作的噪声向量添加到置信度得分向量中，将其转化为误导攻击者分类器的对抗性示例。我们在三个数据集上的实验结果表明，MemGuard可以有效地抵御成员推断攻击，并实现更好的隐私效用权衡比现有的防御。我们的工作是第一个显示对抗性的例子可以被用作防御机制，以抵御成员推断攻击。
2019-12-18 cs.CR cs.LG
Imitative Membership Inference Attack
Purdue University（普渡大学）；NVIDIA Research（英伟达研究）
IMIA通过模仿训练技术构建少量目标感知模型，以更高效的方式实现成员推断攻击，优于现有方法且计算成本更低。
2026-01-10 cs.CR cs.LG
Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture
Princeton University（普林斯顿大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击是评估机器学习（ML）模型中隐私泄露的一个关键措施。这些攻击旨在通过利用模型在成员和非成员输入上的差异行为来区分训练成员和非成员。这项工作的目标是训练ML模型，具有较高的成员隐私，同时在很大程度上保留其实用性，因此，我们的目标是一个经验的成员隐私保证，而不是可证明的隐私保证提供的技术，如差分隐私，因为这些技术被证明会恶化模型的效用。具体来说，我们提出了一个新的框架，训练隐私保护模型，诱导成员和非成员输入类似的行为，以减轻成员推断攻击。我们的框架，称为SELENA，有两个主要组成部分。我们防御的第一个组成部分和核心是一个新颖的整体训练架构。我们称之为Split-AI的架构将训练数据拆分为随机子集，并在每个数据子集上训练模型。我们在测试时使用自适应推理策略：我们的集成架构仅聚合那些在其训练数据中不包含输入样本的模型的输出。我们证明了我们的Split-AI架构可以抵御一大群成员推断攻击，但是，它容易受到新的自适应攻击。因此，我们在我们的框架中使用了第二个组件，称为自蒸馏，以防止这种更强大的攻击。Self-Distillation组件（self-）通过我们的Split-AI集成来提取训练数据集，而不使用任何外部公共数据集。通过对主要基准数据集的广泛实验，我们表明，与最先进的技术相比，SELENA在会员隐私和实用性之间提供了优越的权衡。
2021-10-15 cs.CR cs.LG
Node-Level Membership Inference Attacks Against Graph Neural Networks
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Sichuan University（四川大学）；NortonLifeLock Research Group（诺顿LifeLock研究组）
许多真实世界的数据以图表的形式出现，例如社交网络和蛋白质结构。为了充分利用图数据中包含的信息，已经引入了一种新的机器学习（ML）模型族，即图神经网络（GNNs）。此前的研究表明，机器学习模型容易受到隐私攻击。然而，目前的大部分努力都集中在基于欧几里得空间数据（如图像和文本）训练的ML模型上。另一方面，GNN产生的隐私风险在很大程度上仍未得到研究。在本文中，我们通过对GNN进行节点级成员推断攻击的第一次全面分析来填补这一空白。我们系统地定义了威胁模型，并提出了三个节点级的成员推断攻击对手的背景知识的基础上。我们对三种GNN结构和四个基准数据集的评估表明，即使对手具有最少的背景知识，GNN也容易受到节点级成员推断的影响。此外，我们表明，图密度和特征相似性有一个重大影响的攻击的成功。我们进一步研究了两种防御机制，实证结果表明，这些防御可以降低攻击性能，但有适度的效用损失。
2021-02-10 cs.CR cs.LG
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks
IBM Research（IBM研究院）
本文首次系统综述微调大语言模型对成员推断攻击的脆弱性，发现差分隐私与低秩适配器组合能提供最佳隐私保护。
2024-03-13 cs.CR cs.LG
M^4I: Multi-modal Models Membership Inference
University of Adelaide（阿德莱德大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
随着机器学习技术的发展，研究的重点已经从单模态学习转移到多模态学习，因为真实世界的数据以不同的模态形式存在。然而，多模态模型通常比单模态模型携带更多的信息，并且它们通常应用于敏感场景，例如医疗报告生成或疾病识别。与现有的机器学习分类器的隶属度推理方法相比，本文重点研究了多模态模型的输入和输出具有不同模态（如图像描述）的问题。本文从成员推断攻击的角度研究了多模态模型的隐私泄露问题。为了实现这一点，我们提出了多模态模型成员关系推断（M^4I）与两种攻击方法来推断成员的状态，命名为基于度量（MB）M^4I和基于特征（FB）M^4I，分别。更具体地，MB M^4I在攻击时采用相似性度量来推断目标数据成员关系。FB M^4I使用预训练的影子多模态特征提取器，通过比较提取的输入和输出特征的相似性来实现数据推理攻击的目的。大量的实验结果表明，这两种攻击方法可以实现强大的性能。在不受限制的情况下，平均攻击成功率分别为72.5%和94.83%。此外，我们评估了针对我们的攻击的多种防御机制。M^4I攻击的源代码可在https://github.com/MultimodalMI/Multimodal-membership-inference.git上公开获取。
2022-09-15 cs.CR cs.LG
Membership Inference Attacks are Easier on Difficult Problems
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
成员推断攻击（MIA）试图检测数据样本是否被用于训练神经网络模型，例如检测版权滥用。我们发现，具有更高维度的输入和输出的模型更容易受到MIA的影响，并在更详细的图像翻译和语义分割，包括医学图像分割模型。我们表明，重建错误可以导致非常有效的MIA攻击，因为它们是记忆的指示。不幸的是，重建误差本身在区分训练中使用的不可预测图像和以前从未见过的易于预测图像方面效果较差。为了克服这一点，我们建议使用一种新的可预测性误差，可以为每个样本计算，其计算不需要训练集。我们的成员误差，通过减去重建误差的可预测性误差，实现高MIA的准确性在大量的基准。
2021-08-18 cs.CR cs.LG
Membership Inference Attacks on Diffusion Models via Quantile Regression
Amazon AWS AI/ML（亚马逊AWS人工智能/机器学习部门）；Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
针对扩散模型的训练数据泄露风险，提出基于分位数回归和 bootstrap 弱攻击器投票的成员推理攻击，以更低计算成本超越现有最优方法。
2023-12-08 cs.CR cs.LG
Practical Bayes-Optimal Membership Inference Attacks
Chalmers University of Technology（查尔姆斯理工大学）；AI Sweden（瑞典人工智能中心）；Linköping University（林雪平大学）
该研究基于贝叶斯决策理论推导了节点级成员推理攻击的最优规则，提出适用于普通数据和图数据的BASE与G-BASE方法，以更低成本达到SOTA性能，还证明了BASE与RMIA在特定超参数下等价。
2025-10-27 cs.CR cs.LG
On the (In)Feasibility of Attribute Inference Attacks on Machine Learning Models
Macquarie University（麦考瑞大学）；University of New South Wales（新南威尔士大学）；Data61-CSIRO（Data61-联邦科学与工业研究组织）；BITS Pilani K.K.Birla Goa campus（戈亚校区比尔拉理工学院）；Cyber & Electronic Warfare Division, Defence Science and Technology Group, Australia（澳大利亚国防科技集团网络与电子战分部）
随着低成本机器学习API的增加，高级机器学习模型可以在私有数据集上进行训练，并通过将其作为服务提供来货币化。然而，隐私研究人员已经证明，这些模型可能会通过成员推断攻击泄露有关训练数据集中记录的信息。在本文中，我们仔细研究了文献中报道的另一种推理攻击，称为属性推理，攻击者试图通过访问机器学习模型作为API来推断训练数据集中使用的部分已知记录的缺失属性。我们表明，即使一个分类模型屈服于成员推断攻击，它是不太可能容易受到属性推理攻击。我们证明，这是因为成员推断攻击无法区分一个成员附近的非成员。我们称攻击者区分两个（相似）向量的能力为强成员推理。我们发现，成员推断攻击不能推断成员在这个强设置，因此推断属性是不可行的。然而，在一个宽松的概念下的属性推断，称为近似属性推断，我们表明，它是可能的推断接近真实属性的属性。我们验证了我们的结果在三个公开的数据集，五个成员，和三个属性推断攻击文献报道。
2021-03-12 cs.CR cs.LG
Label-Only Membership Inference Attacks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Google（谷歌）
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一：给定一个数据点和模型，确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签，而没有置信度，这些攻击就不适用。在本文中，我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分，而是评估模型预测标签在扰动下的鲁棒性，以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明，我们的标签只有成员推断攻击执行与以前的攻击，需要访问模型的信心。我们进一步证明，标签攻击打破多重防御成员推断攻击（隐式或显式）依赖于一种现象，我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击，但保持模型的预测标签不变。我们的标签攻击表明，信心掩蔽是不是一个可行的防御策略，对成员推理。最后，我们研究了最坏情况下的仅标签攻击，即推断少数离群数据点的成员资格。我们发现，在这种情况下，仅标签攻击也匹配基于信任的攻击。我们发现，具有差分隐私和（强）L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时，这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Membership Inference Attacks Against Text-to-image Generation Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（赛富时研究院）
文本到图像生成模型最近吸引了前所未有的关注，因为它们在生活的各个领域中打开了富有想象力的应用。然而，开发这样的模型需要可能包含隐私敏感信息的大量数据，例如，面对身份。虽然隐私风险已经在图像分类和GAN生成领域中得到了广泛的证明，但文本到图像生成领域中的隐私风险在很大程度上尚未被探索。在本文中，我们进行了第一次隐私分析的文本到图像生成模型，通过镜头的成员推理。具体而言，我们提出了三个关键直觉的成员信息和设计相应的攻击方法。我们对两种主流的文本到图像生成模型进行了全面的评估，包括序列到序列建模和基于扩散的建模。实验结果表明，所有提出的攻击都能获得显著的性能，在某些情况下甚至接近于1的精度，因此相应的风险比现有的成员推断攻击要严重得多。我们进一步进行了广泛的消融研究，分析可能影响攻击性能的因素，这可以指导开发人员和研究人员警惕文本到图像生成模型中的漏洞。所有这些研究结果表明，我们提出的攻击构成了现实的隐私威胁的文本到图像生成模型。
2022-10-03 cs.CR cs.LG
Membership Inference Attacks against Diffusion Models
Osaka University（大阪大学）；NTT Social Informatics Laboratories（NTT社会信息学实验室）
近年来，扩散模型作为创新的生成模型引起了人们的关注。在本文中，我们调查是否扩散模型是抵抗成员推断攻击，评估隐私泄漏的机器学习模型。我们主要从与作为常规模型的生成对抗网络（GAN）和扩散模型所特有的超参数（即，时间步长、采样步长和采样方差。我们进行了广泛的实验DDIM作为一个扩散模型和DCGAN作为GAN的CelebA和CIFAR-10数据集在白盒和黑盒设置，然后确认是否扩散模型是抵抗成员推断攻击的GAN。接下来，我们证明了时间步骤的影响是显着的，并且噪音时间表中的中间步骤最容易受到攻击。通过进一步分析，我们还发现了两个关键的见解。首先，我们确定DDIM是容易受到攻击的小样本量，而不是实现较低的FID。其次，超参数中的采样步骤对于抵抗攻击非常重要，而采样方差的影响非常有限。
2023-03-22 cs.CR cs.LG
Students Parrot Their Teachers: Membership Inference on Model Distillation
Google Research（谷歌研究院）
模型蒸馏是一种减少机器学习隐私泄露的技术。这些经验隐私防御依赖于这样一种直觉，即提炼的“学生”模型保护训练数据的隐私，因为它们只通过“教师”模型间接地与这些数据交互。在这项工作中，我们设计了成员推断攻击，系统地研究由知识蒸馏提供的教师和学生训练集的隐私。我们的新攻击表明，蒸馏本身只能在许多领域提供有限的隐私。我们解释了我们对蒸馏攻击的成功，表明对私有数据集的成员推断攻击可以成功，即使目标模型 * 从未 * 在任何实际训练点上查询，但仅在其预测受到训练数据高度影响的输入上。最后，我们表明，我们的攻击是最强的学生和教师集相似，或者当攻击者可以中毒的教师集。
2023-03-06 cs.CR cs.LG
Can Membership Inferencing be Refuted?
University of California, San Diego（加州大学圣地亚哥分校）
隶属度推断攻击是目前机器学习模型中最流行的隐私泄露度量方法。给定机器学习模型、数据点和一些辅助信息，MI攻击的目标是确定数据点是否用于训练模型。在这项工作中，我们研究了成员推断攻击在实践中的可靠性。具体来说，我们证明了模型所有者可以通过构建否认证明来反驳数据点$x$上的成员推断测试的结果，该证明证明模型是在没有$x$的情况下训练的。我们设计了有效的算法来构造训练数据集的所有数据点的否认证明。我们的实证评估证明了我们的算法的实际可行性，通过构建流行的机器学习模型MNIST和CIFAR-10的否定证明。因此，我们的研究结果要求重新评估的影响，成员推断攻击在实践中。
2023-03-08 cs.CR cs.LG
Adapting Membership Inference Attacks to GNN for Graph Classification: Approaches and Implications
Monash University（莫纳什大学）
图神经网络（GNN）被广泛用于分析非欧几里德数据，如化学网络，大脑网络和社交网络，建模对象之间的复杂关系和相互依赖性。最近，针对GNN的成员推断攻击（MIA）引发了严重的隐私问题，其中训练数据可能从训练的GNN模型中泄露。然而，先前的研究集中于仅推断图中的组件的成员关系，例如，单个节点或边。如何推断整个图记录的成员还有待探索。在本文中，我们在MIA中对GNN进行图级分类的第一步。我们的目标是推断图样本是否已用于训练GNN模型。我们提出并实现了两种类型的攻击，即，基于训练的攻击和基于阈值的攻击来自不同的对抗能力。我们使用五个有代表性的GNN模型在七个真实数据集中进行了全面的实验来评估我们的攻击。我们的两种攻击都被证明是有效的，可以实现高性能，即，在大多数情况下达到0.7以上的攻击F1分数。此外，我们分析了MIA对GNN的影响。我们的研究结果证实，GNN可能比具有非图结构的模型更容易受到MIA的影响。与节点级分类器不同的是，图级分类任务的MIA与GNN的过拟合水平更相关，而不是其训练图的统计特性。
2021-10-17 cs.CR cs.LG
Unveiling the Unseen: Exploring Whitebox Membership Inference through the Lens of Explainability
Saint Louis University（圣路易斯大学）
本文针对成员推理攻击中隐藏特征影响不明及攻击根因解释不足的问题，提出基于统计的神经元筛选方法和攻击驱动的可解释框架，使攻击性能较现有最优方法提升最高26%。
2024-07-01 cs.CR cs.LG
MRMMIA: Membership Inference Attacks on Memory in Chat Agents
University of Virginia（弗吉尼亚大学）
针对聊天代理记忆系统，提出一种利用多次召回探针的统一成员推断攻击方法MRMMIA，在黑盒、灰盒和白盒设置下均优于基线，揭示了代理中的隐私风险。
2026-05-27 cs.CR cs.LG
Generative Models with Information-Theoretic Protection Against Membership Inference Attacks
J.P. Morgan AI Research（摩根大通人工智能研究院）；Index Exchange（Index Exchange（索引交易所））
深度生成模型，如生成对抗网络（GANs），通过估计高维数据的底层分布来合成各种高保真数据样本。尽管GANs取得了成功，但它们可能会从训练数据中泄露私人信息，从而容易受到对抗攻击，例如成员推断攻击，其中对手的目标是确定记录是否是训练集的一部分。我们提出了一个信息理论动机的正则化项，防止生成模型过拟合训练数据，并鼓励推广。我们表明，这种惩罚最大限度地减少了具有不同成员资格的数据上训练的生成器组件之间的JensenShannon分歧，并且可以使用额外的分类器以低成本实现。我们在图像数据集上的实验表明，通过提出的正则化（仅增加很小的计算成本），GANs能够保护隐私并生成高质量的样本，从而实现比非私有和差异私有更好的下游分类性能生成模型。
2022-05-31 cs.CR cs.LG
Towards Demystifying Membership Inference Attacks
成员推断攻击试图推断对手通过机器学习即服务API黑盒访问的模型的各个训练实例的成员资格。在提供针对机器学习模型的成员隐私风险的深入表征时，本文从两个互补的角度对成员推断攻击进行了全面的研究。首先，我们提供了一个广义的制定发展的黑盒成员推断攻击模型。其次，我们通过使用多个数据集对各种机器学习模型和模型组合进行系统评估，来描述模型选择对模型脆弱性的重要性。通过形式化的分析和大量实验的经验证据，我们描述了在什么条件下模型可能容易受到这种黑盒成员推断攻击。我们发现，成员推理漏洞是数据驱动的，相应的攻击模型在很大程度上是可转移的。虽然不同的模型类型显示出不同的脆弱性成员推断，所以不同的数据集。我们的实证结果还表明，（1）在攻击模型中使用受攻击的目标模型类型可能不会提高攻击效率，（2）当对手是参与者时，协作学习会暴露出成员推断风险的漏洞。我们还讨论了对策和缓解策略。
2019-02-01 cs.CR
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
虽然机器学习（ML）模型被部署在许多关键应用程序中作为核心组件，但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断，其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止，大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而，现实世界的ML模型通常是按照迁移学习范式训练的，其中模型所有者采用从不同数据集（即教师模型）学习的预训练模型，并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中，我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明，隶属度推理可以达到有效的性能。例如，在从ResNet20（用Caltech 101预训练）转移的CIFAR 100分类器上，我们的成员推理实现了$95\%$攻击AUC。此外，我们表明，隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
Membership Inference Attack on Graph Neural Networks
L3S Research Center（L3S 研究中心）
图神经网络（GNN）是对传统的深度神经网络在图数据上的推广，在几个图分析任务上已经实现了最先进的性能。我们专注于训练的GNN模型如何泄漏有关它们在其上训练的\emph{member}节点的信息。我们介绍了两种用于对GNN执行成员推断（MI）攻击的现实设置。在选择最简单的攻击模型时，利用训练模型的后验（黑盒访问），我们彻底分析了GNN和数据集的属性，这些属性决定了它们对MI攻击的鲁棒性差异。虽然在传统的机器学习模型中，过拟合被认为是这种泄漏的主要原因，但我们表明，在GNN中，额外的结构信息是主要的影响因素。我们支持我们的研究结果进行了广泛的实验四个代表GNN模型。为了防止对GNN的MI攻击，我们提出了两种有效的防御方法，可以显著降低攻击者的推理高达60%，而不会降低目标模型的性能。我们的代码可在https://github.com/iyempissy/rebMIGraph上获得。
2021-12-18 cs.CR cs.LG
Membership Inference Attacks Cannot Prove that a Model Was Trained On Your Data
ETH Zurich（苏黎世联邦理工学院）；University of Waterloo（滑铁卢大学）
本文论证用成员推断攻击构造训练数据证明在根本上不可靠，因为无法从模型未训练目标数据的零假设中采样以证明低假阳性率，并提出数据提取攻击与金丝雀数据成员推断两条可行路径。
2025-03-07 cs.CR cs.LG
Auditing Membership Leakages of Multi-Exit Networks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（Salesforce研究院）
由于并非所有输入都需要相同的计算量才能产生可靠的预测，多出口网络作为一种突破有效部署极限的突出方法而受到关注。多出口网络赋予骨干模型早期出口，允许在模型的中间层获得预测，从而节省计算时间和/或能量。然而，目前各种多出口网络的设计只是考虑在资源使用效率和预测准确性之间实现最佳权衡，而由此产生的隐私风险从未被探讨过。这就需要对多出口网络中的隐私风险进行全面调查。在本文中，我们进行了第一次隐私分析的多出口网络通过成员泄漏的镜头。特别是，我们首先利用现有的攻击方法来量化多出口网络的脆弱性成员泄漏。我们的实验结果表明，多出口网络是不容易受到成员泄漏和出口（数量和深度）连接到骨干模型是高度相关的攻击性能。此外，我们提出了一种混合攻击，利用出口信息，以提高现有的攻击的性能。我们在三种不同的对抗设置下评估了混合攻击造成的成员泄漏威胁，最终达到了无模型和无数据的对手。这些结果清楚地表明，我们的混合攻击是非常广泛的适用性，从而相应的风险比现有的成员推断攻击所示的更严重。我们进一步提出了一种专门针对多出口网络的防御机制，称为TimeGuard，并表明TimeGuard完美地减轻了新提出的攻击。
2022-08-23 cs.CR cs.LG
LOGAN: Membership Inference Attacks Against Generative Models
University College London（伦敦大学学院）
生成模型估计数据集的潜在分布，以根据该分布生成真实的样本。在本文中，我们提出了第一个成员推理攻击生成模型：给定一个数据点，对手确定它是否被用来训练模型。我们的攻击利用了生成对抗网络（GANs），它结合了判别和生成模型，利用GANs学习分布统计差异的能力来检测过拟合并识别训练数据集的输入。我们提出了基于白盒和黑盒访问目标模型的攻击，针对几个最先进的生成模型，在复杂的面部表示（LFW），对象（CIFAR-10）和医学图像（糖尿病视网膜病变）的数据集上。我们还讨论了攻击对不同训练参数的敏感性，以及它们对缓解策略的鲁棒性，发现防御要么无效，要么导致生成模型在训练稳定性和/或样本质量方面的性能显着下降。
2018-08-21 cs.CR cs.LG
Ensembling Membership Inference Attacks Against Tabular Generative Models
University of California Los Angeles（加州大学洛杉矶分校）；Stanford University（斯坦福大学）
针对表格生成模型的成员推断攻击，提出集成方法以在不确定性下实现更稳健、遗憾最小化的隐私审计策略。
2025-09-02 cs.CR cs.LG
Enhancing Membership Inference Attacks on Diffusion Models from a Frequency-Domain Perspective
Southeast University（东南大学）；The University of Queensland（昆士兰大学）；Hefei University of Technology（合肥工业大学）；Engineering Research Center of Blockchain Application, Supervision and Management (Southeast University), Ministry of Education（区块链应用、监督与管理工程研究中心（东南大学），教育部）
本文从频域角度揭示扩散模型处理高频信息的缺陷导致成员推理攻击误分类，并提出即插即用的高频滤波模块以提升攻击性能。
2026-07-24 cs.CR cs.LG
OSLO: One-Shot Label-Only Membership Inference Attacks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究提出仅需单次查询的OSLO仅标签成员推断攻击，基于成员样本抗对抗扰动更强的思路，利用迁移黑盒对抗攻击实现，在CIFAR100的ResNet18模型上性能远超需数千次查询的现有方法，并评估了对应防御机制。
2024-11-01 cs.CR cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；National University of Singapore（新加坡国立大学）
Masked语言模型~（MLMs）在敏感数据（从法律到医疗）上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息？先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的，这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中，我们认为以前的尝试是不确定的，因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验，涉及一个额外的参考传销，更准确地量化的记忆在传销的隐私风险。我们发现，掩蔽的语言模型非常容易受到似然比成员推断攻击的影响：我们的经验结果，在医学笔记上训练的模型上，表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平，在低错误区域有显着改善：在1%的误报率下，我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
Membership Inference Attacks on DNNs using Adversarial Perturbations
Information Technology University（信息技术大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）
本文针对简单数据集上成员推断攻击真阳性率低的问题，提出统一三阶段框架，并设计AMIA和E-AMIA两种新型攻击及增强指示器，显著提升低假阳性率下的成员检测性能、可迁移性和对DP-SGD的鲁棒性。
2023-07-11 cs.CR cs.LG
Optimal Membership Inference Bounds for Adaptive Composition of Sampled Gaussian Mechanisms
Princeton University（普林斯顿大学）；Meta AI；University of Wisconsin（威斯康星大学）
给定一个训练好的模型和一个数据样本，隶属推理（MI）攻击可以预测样本是否在模型的训练集中。针对MI攻击的常见对策是在模型训练期间利用差分隐私（DP）来掩盖单个示例的存在。虽然DP的这种使用是限制MI攻击的功效的原则性方法，但是DP提供的界限与MI攻击的经验性能之间存在差距。在本文中，我们推导出的\textit{advantage}的对手安装MI攻击的界限，并证明了广泛使用的高斯机制的紧密性。我们进一步显示MI攻击的\textit{confidence}的界限。我们的边界比DP分析得到的边界强得多。例如，用$ε=4$分析DP-SGD的设置将基于我们的分析获得$\approx0.36$优势的上界，而使用将$ε$转换为隶属推理界的先前工作的分析获得$\approx 0.97$的界。最后，使用我们的分析，我们为在CIFAR 10数据集上训练的模型提供了MI指标。据我们所知，我们的分析提供了国家的最先进的成员推理界限的隐私。
2022-04-12 cs.CR cs.LG
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland（马里兰大学）
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作，我们是第一个经验表明，彩票网络同样容易受到成员推断攻击。成员推断攻击（Membership Inference Attack，MIA）是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络，以找到较小的子网络，这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务，并观察到攻击精度相似。我们还看到，攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型，具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG
Revisiting the LiRA Membership Inference Attack Under Realistic Assumptions
Universitat Rovira i Virgili（罗维拉-维格ili大学）
本文重新评估了在现实假设下的LiRA成员推断攻击，发现抗过拟合和迁移学习显著削弱了攻击效果，同时强调了评估协议需考虑实际训练实践和可重复性。
2026-03-08 cs.CR cs.LG
Membership Leakage in Label-Only Exposures
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
机器学习（ML）已被广泛采用于各种隐私关键应用中，例如，人脸识别和医学图像分析。然而，最近的研究表明，ML模型很容易受到对其训练数据的攻击。成员推断是该领域的一种主要攻击：给定数据样本和模型，攻击者的目标是确定样本是否是模型训练集的一部分。现有的成员推断攻击利用模型返回的置信度分数作为其输入（基于分数的攻击）。然而，如果模型仅暴露预测的标签，即，最后的决定。在本文中，我们提出了基于决策的成员推断攻击，并证明了标签的曝光也容易受到成员泄漏。特别是，我们开发了两种类型的基于决策的攻击，即转移攻击和边界攻击。实验结果表明，本文提出的基于决策的攻击方法可以取得显著的性能，在某些情况下甚至优于以往的基于得分的攻击方法。我们进一步提出了新的见解，成功的成员推理的基础上定量和定性分析，即，模型的成员样本比非成员样本更远离模型的决策边界。最后，我们评估了多种防御机制对我们的决策为基础的攻击，并表明，我们的两种类型的攻击可以绕过大多数这些防御。
2021-09-17 cs.CR cs.LG stat.ML
Membership Inference Attacks against Synthetic Data through Overfitting Detection
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
数据是大多数科学的基础。不幸的是，共享数据可能会受到侵犯数据隐私的风险的阻碍，从而阻碍医疗保健等领域的研究。合成数据是一种潜在的解决方案。它旨在生成与原始数据具有相同分布的数据，但不会泄露有关个人的信息。成员推断攻击（Membership Inference Attack，MIA）是一种常见的隐私攻击，攻击者试图确定特定的真实样本是否用于模型的训练。以前提出MIA反对生成模型的作品要么表现出低性能-给人一种数据高度私密的错觉-或者需要假设访问内部生成模型参数-这是一种风险相对较低的情况，因为数据发布者通常只发布合成数据，而不是模型。在这项工作中，我们认为一个现实的MIA设置，假设攻击者有一些知识的底层数据分布。我们提出了DOMIAS，一个基于密度的MIA模型，旨在通过生成模型的局部过拟合来推断成员资格。实验表明，DOMIAS是显着更成功的MIA比以前的工作，特别是在攻击不常见的样品。后者令人不安，因为这些样本可能对应于代表性不足的群体。我们还演示了DOMIAS的MIA性能评分如何为隐私提供可解释的度量，为数据发布者提供了一种新的工具，用于在其合成数据中实现所需的隐私-效用权衡。
2023-02-24 cs.CR cs.LG
Membership Inference Attacks Against Latent Factor Model
Donghua University（东华大学）
信息时代的到来导致了信息过载和需求不明确的问题。个性化推荐系统作为一种信息过滤系统，能够预测用户的行为和偏好，提高用户获取信息的效率。然而，推荐系统通常使用高度敏感的用户数据进行训练。本文采用潜在因子模型作为推荐器，得到推荐项目列表，并将用户从相关项目中表示出来，与传统的成员推理方法进行比较，反对机器学习分类器。我们构造了一个具有两个隐藏层的多层感知器模型作为攻击模型来完成成员推理。此外，影子推荐器被建立以获得用于攻击模型的标记训练数据。攻击模型在影子推荐器生成的数据集上进行训练，并在目标推荐器生成的数据集上进行测试。实验数据表明，我们的攻击模型在真实数据集MovieLens上的AUC指标可以达到0.857，说明该攻击模型具有良好的性能。
2022-12-15 cs.CR cs.LG
Set-Membership Inference Attacks using Data Watermarking
Ruhr University（鲁尔大学）
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法，通过条件采样揭示训练数据中的水印，有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
Noisy Neighbors: Efficient membership inference attacks against LLMs
Scuola Normale Superiore（比萨高等师范学校）；Meta Inc.（元公司）
针对大语言模型的隐私风险评估需求，提出一种仅需模型推理、通过嵌入空间加噪生成噪声邻居的高效成员推断攻击方法，效果媲美影子模型方法，适用于实际隐私审计。
2024-06-24 cs.CR cs.LG
Empirical Comparison of Membership Inference Attacks in Deep Transfer Learning
University of Helsinki（赫尔辛基大学）
本研究实证比较了多种成员推断攻击在深度迁移学习中的性能，发现攻击效能随训练数据增加而降低，且无单一攻击能覆盖所有隐私风险，LiRA总体最优，IHA在高数据下对特定数据集更有效。
2025-10-08 cs.CR cs.LG
Semi-Leak: Membership Inference Attacks Against Semi-supervised Learning
CISPA Helmholz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Duke University（杜克大学）
半监督学习（SSL）利用标记和未标记的数据来训练机器学习（ML）模型。最先进的SSL方法可以通过利用更少的标记数据来实现与监督学习相当的性能。然而，大多数现有的工作集中在提高SSL的性能。本文从另一个角度研究了SSL的训练数据隐私问题。具体来说，我们提出了第一个基于数据增强的成员推断攻击对SSL训练的ML模型。给定数据样本和对模型的黑盒访问，成员推断攻击的目标是确定数据样本是否属于模型的训练数据集。我们的评估表明，该攻击可以始终优于现有的成员推断攻击，并实现了对SSL训练的模型的最佳性能。此外，我们发现SSL中成员泄漏的原因与监督学习中通常认为的原因不同，即，过度拟合（训练精度和测试精度之间的差距）。我们观察到SSL模型很好地推广到测试数据（几乎为0过拟合），但通过给出更有信心的预测而“记忆”训练数据，而不管其正确性如何。我们还探讨了早期停止作为一种对策，以防止对SSL的成员推断攻击。结果表明，提前停止可以减轻成员推断攻击，但代价是模型的效用下降。
2022-07-25 cs.CR cs.CV cs.LG
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology（佐治亚理工学院）
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统，称为MPLens，有三个独特的贡献。首先，通过MPLens，我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次，通过MPLens，我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的，特别是当训练数据本身是偏斜的时候。我们发现，当模型使用倾斜的训练数据时，成员推断攻击的风险通常会增加。最后，我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性，学习任务的复杂性，数据集的复杂性和隐私参数设置。我们的实证结果表明，（1）少数群体在偏斜的数据集显示成员推理的风险增加和（2）差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
SeqMIA: Sequential-Metric Based Membership Inference Attack
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Zhongguancun Laboratory（中关村实验室）
针对现有成员推理攻击忽略训练过程中度量序列时间模式的问题，提出基于序列度量的SeqMIA方法，利用知识蒸馏和注意力RNN提升攻击性能，在低假阳性率下实现数量级改进。
2024-07-21 cs.CR cs.LG
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University（浙江大学）；University of California（加利福尼亚大学）
成员推断（MI）确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断，这限制了它们在许多现实世界中的应用。例如，在人员重新识别任务中，攻击者（或调查者）感兴趣的是确定用户的图像是否在训练期间被使用。但是，攻击者可能无法访问确切的训练图像。在本文中，我们开发了一个用户级的MI攻击，其目标是找到是否有任何样本从目标用户已被使用在训练过程中，即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习，因为它在个人重新识别中占据主导地位，其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估，并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
Power Side-Channel Membership Inference Attack on Embedded Machine Learning
University of Florida（佛罗里达大学）
本研究提出PSCMIA功耗侧信道成员推理攻击，无需模型输出即可推断嵌入式ML模型的训练数据成员关系，在多数配置下优于仅标签MIA，证明功耗侧信道可暴露成员信息。
2026-10-09 cs.CR cs.LG
Noise as a Probe: Membership Inference Attacks on Diffusion Models Leveraging Initial Noise
Southeast University（东南大学）；The University of Queensland（昆士兰大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出利用扩散模型初始噪声中的残余语义信息进行成员推断攻击，揭示了微调模型在隐私保护方面的脆弱性。
2026-08-14 cs.CR cs.LG
