Membership Inference Attacks Against Text-to-image Generation Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（赛富时研究院）
文本到图像生成模型最近吸引了前所未有的关注，因为它们在生活的各个领域中打开了富有想象力的应用。然而，开发这样的模型需要可能包含隐私敏感信息的大量数据，例如，面对身份。虽然隐私风险已经在图像分类和GAN生成领域中得到了广泛的证明，但文本到图像生成领域中的隐私风险在很大程度上尚未被探索。在本文中，我们进行了第一次隐私分析的文本到图像生成模型，通过镜头的成员推理。具体而言，我们提出了三个关键直觉的成员信息和设计相应的攻击方法。我们对两种主流的文本到图像生成模型进行了全面的评估，包括序列到序列建模和基于扩散的建模。实验结果表明，所有提出的攻击都能获得显著的性能，在某些情况下甚至接近于1的精度，因此相应的风险比现有的成员推断攻击要严重得多。我们进一步进行了广泛的消融研究，分析可能影响攻击性能的因素，这可以指导开发人员和研究人员警惕文本到图像生成模型中的漏洞。所有这些研究结果表明，我们提出的攻击构成了现实的隐私威胁的文本到图像生成模型。
2022-10-03 cs.CR cs.LG
Membership Inference Attacks against Diffusion Models
Osaka University（大阪大学）；NTT Social Informatics Laboratories（NTT社会信息学实验室）
近年来，扩散模型作为创新的生成模型引起了人们的关注。在本文中，我们调查是否扩散模型是抵抗成员推断攻击，评估隐私泄漏的机器学习模型。我们主要从与作为常规模型的生成对抗网络（GAN）和扩散模型所特有的超参数（即，时间步长、采样步长和采样方差。我们进行了广泛的实验DDIM作为一个扩散模型和DCGAN作为GAN的CelebA和CIFAR-10数据集在白盒和黑盒设置，然后确认是否扩散模型是抵抗成员推断攻击的GAN。接下来，我们证明了时间步骤的影响是显着的，并且噪音时间表中的中间步骤最容易受到攻击。通过进一步分析，我们还发现了两个关键的见解。首先，我们确定DDIM是容易受到攻击的小样本量，而不是实现较低的FID。其次，超参数中的采样步骤对于抵抗攻击非常重要，而采样方差的影响非常有限。
2023-03-22 cs.CR cs.LG
Generative Models with Information-Theoretic Protection Against Membership Inference Attacks
J.P. Morgan AI Research（摩根大通人工智能研究院）；Index Exchange（Index Exchange（索引交易所））
深度生成模型，如生成对抗网络（GANs），通过估计高维数据的底层分布来合成各种高保真数据样本。尽管GANs取得了成功，但它们可能会从训练数据中泄露私人信息，从而容易受到对抗攻击，例如成员推断攻击，其中对手的目标是确定记录是否是训练集的一部分。我们提出了一个信息理论动机的正则化项，防止生成模型过拟合训练数据，并鼓励推广。我们表明，这种惩罚最大限度地减少了具有不同成员资格的数据上训练的生成器组件之间的JensenShannon分歧，并且可以使用额外的分类器以低成本实现。我们在图像数据集上的实验表明，通过提出的正则化（仅增加很小的计算成本），GANs能够保护隐私并生成高质量的样本，从而实现比非私有和差异私有更好的下游分类性能生成模型。
2022-05-31 cs.CR cs.LG
A Probabilistic Fluctuation based Membership Inference Attack for Diffusion Models
School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间科学与工程学院）；Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）
本文针对扩散模型成员推理攻击中过拟合依赖导致的性能不足问题，提出基于概率波动检测的黑盒攻击方法PFAMI，利用生成模型固有的记忆现象提升攻击成功率，实验表明其ASR较最佳基线提高约27.9%。
2024-12-26 cs.AI cs.CR cs.CV
LOGAN: Membership Inference Attacks Against Generative Models
University College London（伦敦大学学院）
生成模型估计数据集的潜在分布，以根据该分布生成真实的样本。在本文中，我们提出了第一个成员推理攻击生成模型：给定一个数据点，对手确定它是否被用来训练模型。我们的攻击利用了生成对抗网络（GANs），它结合了判别和生成模型，利用GANs学习分布统计差异的能力来检测过拟合并识别训练数据集的输入。我们提出了基于白盒和黑盒访问目标模型的攻击，针对几个最先进的生成模型，在复杂的面部表示（LFW），对象（CIFAR-10）和医学图像（糖尿病视网膜病变）的数据集上。我们还讨论了攻击对不同训练参数的敏感性，以及它们对缓解策略的鲁棒性，发现防御要么无效，要么导致生成模型在训练稳定性和/或样本质量方面的性能显着下降。
2018-08-21 cs.CR cs.LG
Enhancing Membership Inference Attacks on Diffusion Models from a Frequency-Domain Perspective
Southeast University（东南大学）；The University of Queensland（昆士兰大学）；Hefei University of Technology（合肥工业大学）；Engineering Research Center of Blockchain Application, Supervision and Management (Southeast University), Ministry of Education（区块链应用、监督与管理工程研究中心（东南大学），教育部）
本文从频域角度揭示扩散模型处理高频信息的缺陷导致成员推理攻击误分类，并提出即插即用的高频滤波模块以提升攻击性能。
2026-07-24 cs.CR cs.LG
Towards More Realistic Membership Inference Attacks on Large Diffusion Models
Warsaw University of Technology（华沙理工大学）；IDEAS NCBR；Tooploox；Polish Academy of Sciences（波兰科学院）
本文针对大型扩散模型提出更现实的成员推理攻击评估框架，应用于Stable Diffusion，揭示现有评估设置的不足，并指出成员推理攻击仍是黑盒扩散模型面临的重大隐私与版权挑战。
2023-11-16 cs.CR cs.CV cs.LG
GAN-Leaks: A Taxonomy of Membership Inference Attacks against Generative Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University of Maryland, College Park（马里兰大学帕克分校）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
深度学习已经取得了压倒性的成功，从判别模型到生成模型。特别是，深度生成模型在无数领域促进了新的性能水平，从媒体操作到净化数据集生成。尽管生成模型取得了巨大的成功，但其潜在的隐私泄露风险尚未得到系统的分析。在本文中，我们专注于针对深度生成模型的成员推断攻击，该攻击揭示了有关用于受害者模型的训练数据的信息。具体来说，我们提出了第一个分类的成员推断攻击，不仅包括现有的攻击，但也是我们的新的。此外，我们提出了第一个通用攻击模型，可以在大范围的设置中实例化，并适用于各种深度生成模型。此外，我们还提供了一种理论上的攻击校准技术，该技术可以在所有情况下，在不同的攻击设置，数据模式和训练配置中始终提高攻击性能。我们补充了全面的实验研究，调查各种攻击w.r.t.的有效性的攻击性能的系统分析。模型类型和训练配置，在三种不同的应用场景（即，图像、医疗数据和位置数据）。
2020-11-23 cs.CR cs.CV cs.LG
Noise as a Probe: Membership Inference Attacks on Diffusion Models Leveraging Initial Noise
Southeast University（东南大学）；The University of Queensland（昆士兰大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出利用扩散模型初始噪声中的残余语义信息进行成员推断攻击，揭示了微调模型在隐私保护方面的脆弱性。
2026-08-14 cs.CR cs.LG
DIME: Query-Efficient Framework for Membership Inference on Diffusion Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出理论依据充分、查询高效的DIME框架，可针对扩散模型开展成员推断攻击，在多数据集上的性能优于现有攻击，还提出并评估了对应防御措施。
2026-08-25 cs.CR cs.LG
FERMI: Exploiting Relations for Membership Inference Against Tabular Diffusion Models
University of Waterloo（多伦多大学）；Vector Institute（向量研究所）
FERMI研究了在多表设置下利用关系信息提升成员推断攻击性能，通过特征映射增强单表特征，实验证明在白盒和黑盒设置下攻击性能显著提升。
2026-05-12 cs.CR cs.DB cs.LG
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
本文提出MGMD-GAN框架，通过多生成器与多判别器结合不相交训练数据分区学习混合分布，缩小泛化差距，从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
Generated Distributions Are All You Need for Membership Inference Attacks Against Generative Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（Salesforce研究院）
本文提出首个无需影子模型和白盒访问的通用成员推理攻击，仅利用生成分布即可对GAN、VAE、扩散模型等多种生成模型实施黑盒攻击，实验证明其攻击AUC普遍超过0.90甚至0.99，揭示了生成模型的隐私泄露风险。
2023-10-30 cs.CR cs.CV cs.LG
Defending Diffusion Models Against Membership Inference Attacks via Higher-Order Langevin Dynamics
Department of Applied Math & Statistics（应用数学与统计学系）；Stony Brook University（石溪大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出利用高阶 Langevin 动力学防御扩散模型的成员推断攻击，通过引入辅助变量和联合扩散过程提升模型安全性，通过AUROC和FID指标验证有效性。
2026-05-06 cs.LG stat.ML
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；National University of Singapore（新加坡国立大学）
Masked语言模型~（MLMs）在敏感数据（从法律到医疗）上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息？先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的，这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中，我们认为以前的尝试是不确定的，因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验，涉及一个额外的参考传销，更准确地量化的记忆在传销的隐私风险。我们发现，掩蔽的语言模型非常容易受到似然比成员推断攻击的影响：我们的经验结果，在医学笔记上训练的模型上，表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平，在低错误区域有显着改善：在1%的误报率下，我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University（浙江大学）；University of California（加利福尼亚大学）
成员推断（MI）确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断，这限制了它们在许多现实世界中的应用。例如，在人员重新识别任务中，攻击者（或调查者）感兴趣的是确定用户的图像是否在训练期间被使用。但是，攻击者可能无法访问确切的训练图像。在本文中，我们开发了一个用户级的MI攻击，其目标是找到是否有任何样本从目标用户已被使用在训练过程中，即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习，因为它在个人重新识别中占据主导地位，其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估，并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
l-Leaks: Membership Inference Attacks with Logits
机器学习（ML）在过去几十年中取得了前所未有的进展。然而，由于训练数据的可记忆性，ML容易受到各种攻击，特别是成员推断攻击（MIA），其目标是推断模型的训练数据。到目前为止，大多数针对ML分类器的成员推断攻击都利用了与目标模型具有相同结构的影子模型。然而，实验结果表明，如果影子模型不清楚目标模型的网络结构，这些攻击可以很容易地减轻。在本文中，我们提出了基于黑盒访问的目标模型的攻击。我们将我们的攻击命名为\textbf{l-Leaks}。l-Leaks遵循的直觉是，如果建立的影子模型与目标模型足够相似，那么对手可以利用影子模型的信息来预测目标样本的成员资格。训练的目标模型的logit包含有价值的样本知识。我们通过学习目标模型的logits来构建阴影模型，并使阴影模型与目标模型更加相似。然后阴影模型将有足够的信心，在成员样本的目标模型。本文还讨论了影子模型的不同网络结构对攻击结果的影响。在不同网络和数据集上的实验表明，我们的攻击都取得了很好的性能。
2022-05-13 cs.AI cs.CR cs.LG
Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Intel Labs（英特尔实验室）
机器学习模型倾向于记忆敏感数据，使得它们容易受到成员推断攻击，其中对手旨在推断输入样本是否用于训练模型。在过去的几年里，研究人员已经产生了许多成员推断攻击和防御。然而，这些攻击和防御采用各种策略，并在不同的模型和数据集中进行。然而，缺乏全面的基准测试意味着我们不了解现有攻击和防御的优势和劣势。我们填补了这一空白，提出了一个大规模的测量不同的成员推断攻击和防御。我们通过对九种攻击和六种防御的研究，将隶属度推理系统化，并在整体评估中衡量不同攻击和防御的性能。然后，我们量化了威胁模型对这些攻击结果的影响。我们发现威胁模型的一些假设，如相同的架构和相同的分布之间的影子和目标模型，是不必要的。我们也是第一个对从互联网收集的真实世界数据而不是实验室数据集进行攻击的公司。我们进一步研究了是什么决定了成员推断攻击的性能，并揭示了通常认为的过拟合水平是不足以成功的攻击。相反，成员和非成员样本之间的熵/交叉熵的Jensen-Shannon距离与攻击性能的相关性要好得多。这为我们提供了一种新的方法来准确预测成员推理风险，而无需运行攻击。最后，我们发现，数据增强降低了现有的攻击在更大程度上的性能，我们提出了一个自适应攻击使用增强训练阴影和攻击模型，提高攻击性能。
2022-08-22 cs.CR cs.LG
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh（爱丁堡大学）；Meta AI
近年来，机器学习模型对成员推断攻击的脆弱性备受关注。然而，现有的攻击大多仍然是不切实际的，由于具有高误报率，其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠，特别是因为大多数样本在现实世界应用中是非成员。在这项工作中，我们认为，成员推断攻击可以大大受益于\emph{difficulty calibration}，其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明，难度校准可以显着降低各种现有攻击的误报率，而不会损失准确性。
2022-04-11 cs.CR cs.LG
CLMIA: Membership Inference Attacks via Unsupervised Contrastive Learning
Anhui University（安徽大学）
本文提出名为CLMIA的成员推理攻击方法，利用无监督对比学习训练攻击模型，仅需少量已知成员状态数据微调，在标记身份信息较少的真实场景下表现优于现有方法。
2024-11-17 cs.AI cs.CR cs.LG
Improved Membership Inference Attacks Against Language Classification Models
IBM（国际商业机器公司（IBM））
提出一种基于集成方法的成员推断攻击新框架，通过为数据子集生成多个专门攻击模型，在经典和语言分类任务上均优于单一模型或按类别建模的方法，有效提升攻击准确率。
2024-07-18 cs.AI cs.CR cs.LG
Scalable Membership Inference Attacks via Quantile Regression
Amazon AWS AI/ML（亚马逊AWS人工智能与机器学习）；University of Pennsylvania（宾夕法尼亚大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于分位数回归的成员推理攻击方法，仅需训练一个模型即可达到与影子模型攻击相当的效果，同时无需知道被攻击模型架构，显著降低了计算成本并实现真正的黑盒攻击。
2023-07-07 cs.AI cs.CR cs.LG
An Efficient Subpopulation-based Membership Inference Attack
University of California（加利福尼亚大学）
成员推断攻击允许恶意实体预测在受害者模型的训练期间是否使用样本。最先进的成员推断攻击已经证明可以达到很好的准确性，这对隐私造成了很大的威胁。然而，大多数SOTA攻击需要训练数十到数百个影子模型来准确地推断成员。这种巨大的计算成本引发了人们对这些深度模型攻击的实用性的质疑。在本文中，我们介绍了一个根本不同的MI攻击方法，避免了需要训练数百个影子模型。简单地说，我们将目标样本上的受害者模型输出与来自相同子群体的样本进行比较（即，语义相似的样本），而不是将其与数百个阴影模型的输出进行比较。直觉是，如果目标样本不是训练样本，则目标样本与其子群体之间的模型响应不应存在显著差异。在攻击者无法获得子群体样本的情况下，我们证明了只训练一个生成模型就可以满足要求。因此，我们实现了最先进的成员推理精度，同时显着降低了训练计算成本。
2022-03-04 cs.AI cs.CR cs.CV
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries
Max Planck Institute for Computer Science（马克斯·普朗克计算机科学研究所）
机器学习模型已被证明会泄露违反其训练集隐私的信息。我们专注于对机器学习模型的成员推断攻击，其目的是确定数据点是否用于训练受害者模型。我们的工作包括两个方面：我们介绍了抽样攻击，一种新的成员推理技术，不同于其他标准的成员资格的对手是能够工作在严格的限制下，没有访问受害者模型的分数。我们发现，一个受害者模型，只发布标签仍然容易受到抽样攻击和对手可以恢复到100%的性能相比，当后验向量提供。我们的工作的其他方面包括两个最近的成员推断攻击模型的实验结果和对他们的防御。为了防御，我们选择差分隐私的形式梯度扰动在受害者模型的训练以及输出扰动在预测时间。我们在广泛的数据集上进行实验，这使我们能够更好地分析对手，防御机制和数据集之间的交互。我们发现，我们提出的快速和易于实现的输出扰动技术提供了很好的隐私保护成员推断攻击在效用的影响很小。
2020-09-01 cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University（普渡大学）；NVIDIA Research（NVIDIA研究）
针对成员推断攻击，提出自适应场景下的级联攻击（CMIA）和非自适应场景下的代理攻击（PMIA），利用成员依赖性或代理样本行为提升推断性能，在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
GLiRA: Black-Box Membership Inference Attack via Knowledge Distillation
Artificial Intelligence Research Institute（人工智能研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学研究所可信人工智能研究中心）
针对深度神经网络训练数据隐私易受成员推理攻击的问题，提出蒸馏引导的黑盒成员推理攻击方法GLiRA，通过知识蒸馏提升似然比攻击效率，在黑盒设置下性能超越现有最先进方法。
2024-05-13 cs.AI cs.LG
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis（加州大学戴维斯分校）
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡，分析其根因，并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
Do Backdoors Assist Membership Inference Attacks?
Osaka University（大阪大学）；NTT Social Informatics Laboratories（NTT社会信息学实验室）
当攻击者向机器学习模型提供有毒样本时，隐私泄露（例如推断样本是否包括在模型的训练中的成员推断攻击）通过将样本移动到离群值而变得有效。然而，攻击可以被检测到，因为推理精度由于有毒样本而恶化。在本文中，我们讨论了一个\textit{backdoor-assisted membership inference attack}，一种新的成员推断攻击的基础上后门，返回对手的预期输出的触发样本。通过对学术基准数据集的实验，我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次，当我们分析损失分布以了解不成功结果的原因时，我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说，后门不会影响干净样本的分发。第三，我们还表明，毒物和触发样本激活不同分布的神经元。具体来说，后门使任何干净的样本成为内围值，而不是中毒样本。因此，我们确认，后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Swiss Data Science Center（瑞士数据科学中心）；ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
机器学习（ML）已成为许多现实世界应用的核心组件，而训练数据是推动当前进展的关键因素。这一巨大的成功促使互联网公司部署机器学习即服务（MLaaS）。最近，第一次成员推断攻击已经表明，在这种MLaaS设置中提取训练集上的信息是可能的，这具有严重的安全和隐私影响。然而，这种攻击的可行性的早期演示对对手有许多假设，例如使用多个所谓的阴影模型，目标模型结构的知识，以及具有来自与目标模型的训练数据相同分布的数据集。我们放松了所有这些关键假设，从而表明这种攻击在低成本下具有非常广泛的适用性，从而构成了比以前认为的更严重的风险。我们使用八个不同的数据集对这一新兴和发展中的威胁进行了迄今为止最全面的研究，这些数据集显示了跨域攻击的可行性。此外，我们提出了第一个有效的防御机制，对这种更广泛的成员推断攻击，保持高水平的ML模型的实用性。
2018-12-14 cs.AI cs.CR cs.LG
MIA-BAD: An Approach for Enhancing Membership Inference Attack and its Mitigation with Federated Learning
Old Dominion University（奥尔多明尼恩大学）；Virginia Modeling, Analysis and Simulation Center（弗吉尼亚建模、分析与仿真中心）；Deloitte & Touche LLP（德勤有限责任合伙事务所）
本文提出MIA-BAD方法，通过逐批次生成攻击数据集来增强成员推理攻击的准确性和效率，并研究利用联邦学习缓解该攻击威胁，实验验证了其效果。
2023-11-28 cs.AI cs.CR cs.LG
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Zhejiang Lab（之江实验室）；National University of Singapore（新加坡国立大学）
神经网络易受数据推断攻击，例如模型反演攻击和成员推断攻击，其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法，即净化框架，来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明，当净化器致力于一种攻击时，它自然会防御另一种攻击，这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如，它可以将隶属度推断精度降低高达15%，并将模型反演误差增加高达4倍。此外，它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Membership Inference Attacks From First Principles
Google Research（谷歌研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击允许对手查询经训练的机器学习模型，以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估，无法表征攻击是否可以自信地识别训练集的任何成员。我们认为，攻击应该通过计算它们在低（例如，<0.1%）的假阳性率，并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题，我们开发了一种LikeRatio攻击（LiRA），它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍，并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Label-Only Membership Inference Attacks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Google（谷歌）
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一：给定一个数据点和模型，确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签，而没有置信度，这些攻击就不适用。在本文中，我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分，而是评估模型预测标签在扰动下的鲁棒性，以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明，我们的标签只有成员推断攻击执行与以前的攻击，需要访问模型的信心。我们进一步证明，标签攻击打破多重防御成员推断攻击（隐式或显式）依赖于一种现象，我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击，但保持模型的预测标签不变。我们的标签攻击表明，信心掩蔽是不是一个可行的防御策略，对成员推理。最后，我们研究了最坏情况下的仅标签攻击，即推断少数离群数据点的成员资格。我们发现，在这种情况下，仅标签攻击也匹配基于信任的攻击。我们发现，具有差分隐私和（强）L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时，这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Membership Inference on Word Embedding and Beyond
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Microsoft Corporation（微软公司）
在文本处理上下文中，大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的，这些数据集可能包含敏感数据。在某些情况下，这种训练是独立完成的，在其他情况下，它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下，考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是，有些令人惊讶的是，对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理（NLP）任务中的影响仍然相对未被探索。在这项工作中，我们表明在现实的假设下，词嵌入很容易受到黑盒成员推断攻击。此外，我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在：分类和文本生成，即使嵌入层没有暴露给攻击者。我们表明，我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上，我们的攻击是对文本生成模型的更便宜的成员推断攻击，它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
Active Membership Inference Attack under Local Differential Privacy in Federated Learning
University of Florida（佛罗里达大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出联邦学习中由不诚实服务器发起的主动成员推理攻击，利用非线性决策边界在本地差分隐私下实现高成功率，并揭示防御噪声会显著损害模型效用。
2023-07-24 cs.AI cs.CR cs.LG
NeuGuard: Lightweight Neuron-Guided Defense against Membership Inference Attacks
Lehigh University（理海大学）；Illinois Institute of Technology（伊利诺伊理工学院）
针对机器学习模型的成员推断攻击（MIA）会导致模型训练中使用的训练数据集面临严重的隐私风险。针对成员推断攻击（MIA），提出了一种新颖有效的神经元引导防御方法NeuGuard。我们确定了一个关键的弱点，在现有的防御机制对MIA，其中他们不能同时防御两个常用的神经网络为基础的MIA，这两种攻击应单独评估，以确保防御效果。我们提出了NeuGuard，一种新的防御方法，联合控制输出和内部神经元的激活与目标，以引导训练集和测试集的模型输出具有接近的分布。NeuGuard算法由类方差最小化控制和层均衡输出控制两部分组成，类方差最小化控制的目标是约束最终输出神经元，层均衡输出控制的目标是约束每层的内层神经元。我们评估NeuGuard和比较它与国家的最先进的防御两个神经网络为基础的MIA，五个最强的度量为基础的MIA，包括新提出的标签只MIA三个基准数据集。结果表明，NeuGuard优于国家的最先进的防御提供了更好的实用性，隐私权衡，通用性和开销。
2022-12-12 cs.AI cs.CR cs.LG
Do Parameters Reveal More than Loss for Membership Inference?
University of Virginia（弗吉尼亚大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文指出随机梯度下降下最优成员推理需白盒访问，提出利用模型参数和逆Hessian向量乘积的白盒攻击方法IHA，证明参数访问对审计员和攻击者均有益。
2024-12-19 cs.AI cs.CR cs.LG
Res-MIA: A Training-Free Resolution-Based Membership Inference Attack on Federated Learning Models
Department of Computer Engineering and Information Technology（计算机工程与信息技术系）
Res-MIA是一种无训练、黑盒的联邦学习成员推断攻击，通过降解输入分辨率来揭示模型对高频细节的敏感性，实现高精度的隐私泄露检测。
2026-01-24 cs.AI cs.CR cs.LG
Privacy Auditing of Multi-domain Graph Pre-trained Model under Membership Inference Attacks
针对多领域图预训练模型在成员推断攻击中的隐私风险，提出MGP-MIA框架，通过信号放大、影子模型构建和相似性推断机制提升攻击效果。
2025-11-22 cs.AI cs.CR cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；University of Waterloo（滑铁卢大学）；DarwinAI（达尔文人工智能公司）；DeepMind（深度思维）
虽然在深度强化学习领域已经取得了重大的研究进展，但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中，攻击者将收集的输入数据集作为目标，深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距，我们提出了一个对抗攻击框架，旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地，我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外，我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明，在三个不同的连续控制Mujoco任务中，所提出的对抗攻击框架在推断数据时具有惊人的有效性，其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$，这在这方面引起了严重的隐私问题。最后，我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
虽然机器学习（ML）模型被部署在许多关键应用程序中作为核心组件，但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断，其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止，大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而，现实世界的ML模型通常是按照迁移学习范式训练的，其中模型所有者采用从不同数据集（即教师模型）学习的预训练模型，并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中，我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明，隶属度推理可以达到有效的性能。例如，在从ResNet20（用Caltech 101预训练）转移的CIFAR 100分类器上，我们的成员推理实现了$95\%$攻击AUC。此外，我们表明，隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
Center-Based Relaxed Learning Against Membership Inference Attacks
North Carolina State University（北卡罗来纳州立大学）
针对成员推理攻击，提出与架构无关的基于中心的松弛学习（CRL）训练范式，通过平衡数据记忆与泛化能力，在维持成员与非成员数据一致性的同时实现隐私保护，且无需额外模型容量或数据成本。
2024-05-29 cs.AI cs.CR cs.LG
Membership Inference Attacks by Exploiting Loss Trajectory
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
机器学习模型容易受到成员推断攻击的攻击，其中攻击者旨在预测目标模型的训练数据集中是否包含特定样本。现有的攻击方法通常只利用给定目标模型的输出信息（主要是损失）。因此，在成员样本和非成员样本产生类似小损失的实际场景中，这些方法自然无法区分它们。为了解决这一问题，本文提出了一种新的攻击方法，称为\system，它可以利用目标模型在整个训练过程中的隶属度信息来提高攻击性能。为了在常见的黑盒设置中安装攻击，我们利用知识蒸馏，并表示成员信息的损失评估的一系列中间模型在不同的蒸馏时期，即\emph{distilled loss trajectory}，连同从给定的目标模型的损失。在不同数据集和模型架构上的实验结果证明了我们的攻击在不同度量方面的巨大优势。例如，在CINIC-10上，我们的攻击比现有方法在0.1\%的低假阳性率下实现了至少6 $\times$的真阳性率。进一步的分析证明了我们的攻击在更严格的情况下的一般有效性。
2022-08-31 cs.CR cs.LG
MIST: Defending Against Membership Inference Attacks Through Membership-Invariant Subspace Training
Purdue University（普渡大学）
针对成员推断攻击，提出成员不变子空间训练（MIST）方法，通过识别并避免过度拟合脆弱实例，在最小化测试精度损失的同时优于现有防御。
2024-05-29 cs.CR cs.LG
Membership Inference Attacks and Defenses in Classification Models
Purdue University（普渡大学）
我们研究了对分类器的成员推理（MI）攻击，攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估，我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后，我们提出了一种针对MI攻击的防御方法，旨在通过故意降低训练精度来缩小差距。更具体地说，训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度，该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明，将这种方法与另一种简单的防御（混合训练）相结合，可以显着提高对MI攻击的最先进的防御能力，同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
Membership Inference Attacks Against Recommender Systems
Shandong University（山东大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
近年来，推荐系统取得了令人瞩目的成绩，成为应用最广泛的网络应用之一。然而，推荐系统通常是在高度敏感的用户数据上训练的，因此来自推荐系统的潜在数据泄漏可能导致严重的隐私问题。在本文中，我们首次尝试量化的隐私泄漏的推荐系统，通过镜头的成员推理。与传统的隶属度推理对机器学习分类器相比，我们的攻击面临两个主要的区别。首先，我们的攻击是在用户级别，而不是在数据样本级别。第二，对手只能从推荐系统中观察到有序的推荐项目，而不是后验概率形式的预测结果。为了解决上述挑战，我们提出了一种新的方法，代表用户从相关的项目。此外，建立影子推荐器，以获得用于训练攻击模型的标记训练数据。大量的实验结果表明，我们的攻击框架实现了强大的性能。此外，我们设计了一种防御机制来有效减轻推荐系统的成员推理威胁。
2021-09-16 cs.CR cs.LG
An Extension of Fano's Inequality for Characterizing Model Susceptibility to Membership Inference Attacks
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；SRI International（SRI国际公司）；University of Central Florida（中佛罗里达大学）；Oakland University（奥克兰大学）；Air Force Research Laboratory（空军研究实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）；Army Research Laboratory（陆军研究实验室）
深度神经网络已被证明易受成员推断攻击，其中攻击者旨在检测是否使用特定输入数据来训练模型。这些攻击可能会泄露私有或专有数据。我们提出了Fano不等式的一个新的扩展，并利用它从理论上建立了对深度神经网络的成员推断攻击的成功概率可以使用其输入和激活之间的互信息来限制。这使得能够使用互信息来测量DNN模型对成员推断攻击的敏感性。在我们的实证评估中，我们表明，对于CIFAR-10，SVHN和GTSRB模型，互信息与DNN模型对成员推断攻击的敏感性之间的相关性分别为0.966，0.996和0.955。
2020-09-17 cs.AI cs.LG stat.ML
MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples
Duke University（杜克大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
在成员推断攻击中，攻击者旨在推断数据样本是否在目标分类器的训练数据集中。具体地，给定对目标分类器的黑盒访问，攻击者训练二元分类器，该二元分类器将由目标分类器预测的数据样本的置信度得分向量作为输入，并预测数据样本是目标分类器的训练数据集的成员或非成员。成员推断攻击对训练数据集构成严重的隐私和安全威胁。大多数现有的防御措施在训练目标分类器时利用差分隐私或规则化目标分类器的训练过程。这些防御受到两个关键限制：1）它们没有置信度得分向量的正式效用损失保证，以及2）它们实现了次优的隐私效用权衡。在这项工作中，我们提出MemGuard，第一个防御正式效用损失保证黑盒成员推断攻击。MemGuard不会篡改目标分类器的训练过程，而是向目标分类器预测的每个置信度得分向量添加噪声。我们的关键观察是，攻击者使用分类器来预测成员或非成员，分类器容易受到对抗性示例的影响。基于观察结果，我们建议将精心制作的噪声向量添加到置信度得分向量中，将其转化为误导攻击者分类器的对抗性示例。我们在三个数据集上的实验结果表明，MemGuard可以有效地抵御成员推断攻击，并实现更好的隐私效用权衡比现有的防御。我们的工作是第一个显示对抗性的例子可以被用作防御机制，以抵御成员推断攻击。
2019-12-18 cs.CR cs.LG
Imitative Membership Inference Attack
Purdue University（普渡大学）；NVIDIA Research（英伟达研究）
IMIA通过模仿训练技术构建少量目标感知模型，以更高效的方式实现成员推断攻击，优于现有方法且计算成本更低。
2026-01-10 cs.CR cs.LG
Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture
Princeton University（普林斯顿大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击是评估机器学习（ML）模型中隐私泄露的一个关键措施。这些攻击旨在通过利用模型在成员和非成员输入上的差异行为来区分训练成员和非成员。这项工作的目标是训练ML模型，具有较高的成员隐私，同时在很大程度上保留其实用性，因此，我们的目标是一个经验的成员隐私保证，而不是可证明的隐私保证提供的技术，如差分隐私，因为这些技术被证明会恶化模型的效用。具体来说，我们提出了一个新的框架，训练隐私保护模型，诱导成员和非成员输入类似的行为，以减轻成员推断攻击。我们的框架，称为SELENA，有两个主要组成部分。我们防御的第一个组成部分和核心是一个新颖的整体训练架构。我们称之为Split-AI的架构将训练数据拆分为随机子集，并在每个数据子集上训练模型。我们在测试时使用自适应推理策略：我们的集成架构仅聚合那些在其训练数据中不包含输入样本的模型的输出。我们证明了我们的Split-AI架构可以抵御一大群成员推断攻击，但是，它容易受到新的自适应攻击。因此，我们在我们的框架中使用了第二个组件，称为自蒸馏，以防止这种更强大的攻击。Self-Distillation组件（self-）通过我们的Split-AI集成来提取训练数据集，而不使用任何外部公共数据集。通过对主要基准数据集的广泛实验，我们表明，与最先进的技术相比，SELENA在会员隐私和实用性之间提供了优越的权衡。
2021-10-15 cs.CR cs.LG
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland（马里兰大学）
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作，我们是第一个经验表明，彩票网络同样容易受到成员推断攻击。成员推断攻击（Membership Inference Attack，MIA）是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络，以找到较小的子网络，这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务，并观察到攻击精度相似。我们还看到，攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型，具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG
Membership Leakage in Label-Only Exposures
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
机器学习（ML）已被广泛采用于各种隐私关键应用中，例如，人脸识别和医学图像分析。然而，最近的研究表明，ML模型很容易受到对其训练数据的攻击。成员推断是该领域的一种主要攻击：给定数据样本和模型，攻击者的目标是确定样本是否是模型训练集的一部分。现有的成员推断攻击利用模型返回的置信度分数作为其输入（基于分数的攻击）。然而，如果模型仅暴露预测的标签，即，最后的决定。在本文中，我们提出了基于决策的成员推断攻击，并证明了标签的曝光也容易受到成员泄漏。特别是，我们开发了两种类型的基于决策的攻击，即转移攻击和边界攻击。实验结果表明，本文提出的基于决策的攻击方法可以取得显著的性能，在某些情况下甚至优于以往的基于得分的攻击方法。我们进一步提出了新的见解，成功的成员推理的基础上定量和定性分析，即，模型的成员样本比非成员样本更远离模型的决策边界。最后，我们评估了多种防御机制对我们的决策为基础的攻击，并表明，我们的两种类型的攻击可以绕过大多数这些防御。
2021-09-17 cs.CR cs.LG stat.ML
Node-Level Membership Inference Attacks Against Graph Neural Networks
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Sichuan University（四川大学）；NortonLifeLock Research Group（诺顿LifeLock研究组）
许多真实世界的数据以图表的形式出现，例如社交网络和蛋白质结构。为了充分利用图数据中包含的信息，已经引入了一种新的机器学习（ML）模型族，即图神经网络（GNNs）。此前的研究表明，机器学习模型容易受到隐私攻击。然而，目前的大部分努力都集中在基于欧几里得空间数据（如图像和文本）训练的ML模型上。另一方面，GNN产生的隐私风险在很大程度上仍未得到研究。在本文中，我们通过对GNN进行节点级成员推断攻击的第一次全面分析来填补这一空白。我们系统地定义了威胁模型，并提出了三个节点级的成员推断攻击对手的背景知识的基础上。我们对三种GNN结构和四个基准数据集的评估表明，即使对手具有最少的背景知识，GNN也容易受到节点级成员推断的影响。此外，我们表明，图密度和特征相似性有一个重大影响的攻击的成功。我们进一步研究了两种防御机制，实证结果表明，这些防御可以降低攻击性能，但有适度的效用损失。
2021-02-10 cs.CR cs.LG
AdaMixup: A Dynamic Defense Framework for Membership Inference Attack Mitigation
University of Connecticut（康涅狄格大学）；Courant Institute, New York University（纽约大学柯朗数学科学研究所）；Robert H. Smith School of Business, University of Maryland（马里兰大学罗伯特·H·史密斯商学院）；School of Information, University of California（加州大学信息学院）
针对深度学习中的成员推理攻击，本文提出 AdaMixup 动态防御框架，通过训练时自适应调整 mixup 策略，在保持模型准确率的同时显著降低隐私泄露风险。
2025-01-04 cs.AI cs.LG
