Bayes-Nash Generative Privacy Against Membership Inference Attacks
针对成员推断攻击，提出基于贝叶斯博弈的生成式隐私框架BNGP，以神经网络生成器和判别器建模攻防，避免灵敏度计算，支持相关机制组合，实证中优于现有方法。
2025-07-10 cs.CR
Pop Quiz Attack: Black-box Membership Inference Attacks Against Large Language Models
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全中心）
本文提出PopQuiz攻击，通过将目标数据转化为选择题来推断大语言模型是否能回忆特定训练数据，平均ROC-AUC达0.873，优于现有方法。
2026-05-07 cs.CR
Generalization Techniques Empirically Outperform Differential Privacy against Membership Inference
不同的私有训练算法提供了对机器学习中最流行的攻击之一的保护：成员推断攻击。然而，这些隐私算法会导致模型分类准确性的损失，因此会产生隐私效用权衡。差分隐私在深度学习中提供强大的理论保护保证所需的噪声量通常会使模型无法使用，但作者观察到，即使是较低的噪声水平也可以提供可接受的经验保护，以抵御现有的成员推断攻击。在这项工作中，我们寻找替代差分隐私对经验保护成员推断攻击。我们研究了简单地遵循良好的机器学习实践（没有考虑隐私设计）对成员推理的保护。我们评估了最先进的技术，如预训练和锐度感知最小化，单独和差分私人训练算法的性能，并发现，当使用早期停止，没有差分隐私的算法可以提供更高的效用和更高的隐私比他们的差分私人同行。这些发现挑战了差分隐私是一种很好的防御现有成员推断攻击的信念
2021-10-11 cs.CR
Membership Inference Attacks and Defenses in Federated Learning: A Survey
本文针对联邦学习场景下成员推理攻击与防御研究缺乏全面最新综述的空白，对相关攻击与防御策略分类梳理，分析不同方法优劣并提出未来研究方向。
2024-12-09 cs.CR
Use the Spear as a Shield: A Novel Adversarial Example based Privacy-Preserving Technique against Membership Inference Attacks
最近，成员推断攻击对机器学习模型的机密训练数据的隐私构成了严重威胁。本文提出了一种新的基于对抗性示例的隐私保护技术（AEPPT），该技术在目标模型的预测中加入了精心制作的对抗性扰动，以误导对手的成员推理模型。增加的对抗性扰动不影响目标模型的准确性，但可以防止对手推断特定数据是否在目标模型的训练集中。由于AEPPT只修改目标模型的原始输出，因此该方法具有通用性，不需要修改或重新训练目标模型。实验结果表明，该方法可以将隶属度推理模型的推理准确率和精度降低到50%，接近于随机猜测。此外，对于那些自适应攻击的对手知道的防御机制，建议AEPPT也被证明是有效的。与最先进的防御方法相比，所提出的防御可以将成员推断攻击的准确性和精确度显著降低到50%（即，与随机猜测相同），而目标模型的性能和实用性将不受影响。
2020-11-27 cs.CR
Black-box Membership Inference Attacks against Fine-tuned Diffusion Models
针对微调扩散模型的隐私泄露风险，提出首个黑盒、基于重构的成员推理攻击框架，覆盖多种场景与攻击类型，AUC 达 0.95。
2024-09-05 cs.CR
What Hard Tokens Reveal: Exploiting Low-confidence Tokens for Membership Inference Attacks against Large Language Models
Florida International University（佛罗里达国际大学）；California State Polytechnic University, Pomona（加州州立理工大学波莫纳分校）
本文提出HT-MIA方法，通过分析低置信度token的概率改进，提升对大型语言模型的成员推断攻击效果，并探讨差分隐私训练作为防御机制。
2026-01-27 cs.CR
Membership Inference Attacks on Vision-Language-Action Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Georgia Institute of Technology（佐治亚理工学院）
本文首次系统研究了针对视觉-语言-动作（VLA）模型的成员推断攻击（MIAs），提出了样本级和轨迹级的攻击设置，并展示了在多个VLA基准和模型上，攻击方法在黑盒环境下表现出色，揭示了VLA模型在隐私方面的高风险。
2026-05-08 cs.CR
Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Intel Labs（英特尔实验室）
机器学习模型倾向于记忆敏感数据，使得它们容易受到成员推断攻击，其中对手旨在推断输入样本是否用于训练模型。在过去的几年里，研究人员已经产生了许多成员推断攻击和防御。然而，这些攻击和防御采用各种策略，并在不同的模型和数据集中进行。然而，缺乏全面的基准测试意味着我们不了解现有攻击和防御的优势和劣势。我们填补了这一空白，提出了一个大规模的测量不同的成员推断攻击和防御。我们通过对九种攻击和六种防御的研究，将隶属度推理系统化，并在整体评估中衡量不同攻击和防御的性能。然后，我们量化了威胁模型对这些攻击结果的影响。我们发现威胁模型的一些假设，如相同的架构和相同的分布之间的影子和目标模型，是不必要的。我们也是第一个对从互联网收集的真实世界数据而不是实验室数据集进行攻击的公司。我们进一步研究了是什么决定了成员推断攻击的性能，并揭示了通常认为的过拟合水平是不足以成功的攻击。相反，成员和非成员样本之间的熵/交叉熵的Jensen-Shannon距离与攻击性能的相关性要好得多。这为我们提供了一种新的方法来准确预测成员推理风险，而无需运行攻击。最后，我们发现，数据增强降低了现有的攻击在更大程度上的性能，我们提出了一个自适应攻击使用增强训练阴影和攻击模型，提高攻击性能。
2022-08-22 cs.CR cs.LG
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh（爱丁堡大学）；Meta AI
近年来，机器学习模型对成员推断攻击的脆弱性备受关注。然而，现有的攻击大多仍然是不切实际的，由于具有高误报率，其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠，特别是因为大多数样本在现实世界应用中是非成员。在这项工作中，我们认为，成员推断攻击可以大大受益于\emph{difficulty calibration}，其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明，难度校准可以显着降低各种现有攻击的误报率，而不会损失准确性。
2022-04-11 cs.CR cs.LG
White-box Membership Inference Attacks against Diffusion Models
本文提出一种基于模型梯度的白盒成员推理攻击方法，针对扩散模型在多种参数设置下实现接近100%的攻击成功率，并能有效对抗常见防御机制。
2024-11-21 cs.CR
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt（达姆施塔特工业大学）；SAP SE（思爱普公司）
我们提出了两个信息泄漏攻击，优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断，而无需对生成模型的类型进行假设。与以前的生成模型评估指标（如核密度估计）相反，它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器，以实现较高的隶属推理精度。此外，以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者，以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估，生成对抗网络（GANs）和变分自编码器（VAE），在标准图像数据集上训练。我们的研究结果表明，这两种攻击产生的成功率优于以前的工作在大多数数据集，而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合，特别有用。例如，在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中，我们的工作激励了GANs的使用，因为它们在产生详细样本的同时，被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
BudgetLeak: Membership Inference Attacks on RAG Systems via the Generation Budget Side Channel
针对RAG系统因黑盒限制和弱成员信号导致现有成员推理攻击表现不佳的问题，本文提出利用生成预算侧信道的BudgetLeak攻击，通过多预算探测和序列建模/聚类分析实现高效攻击，实验证明其优于现有基线。
2025-11-15 cs.CR
Membership Reference Attack against Laplace Mechanism of Differential Privacy
Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
针对差分隐私拉普拉斯机制，利用线性查询的线性性质构造成员参考攻击，通过获取独立同分布样本并进行假设检验判断目标记录是否在数据集中。
2026-05-29 cs.CR
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries
Max Planck Institute for Computer Science（马克斯·普朗克计算机科学研究所）
机器学习模型已被证明会泄露违反其训练集隐私的信息。我们专注于对机器学习模型的成员推断攻击，其目的是确定数据点是否用于训练受害者模型。我们的工作包括两个方面：我们介绍了抽样攻击，一种新的成员推理技术，不同于其他标准的成员资格的对手是能够工作在严格的限制下，没有访问受害者模型的分数。我们发现，一个受害者模型，只发布标签仍然容易受到抽样攻击和对手可以恢复到100%的性能相比，当后验向量提供。我们的工作的其他方面包括两个最近的成员推断攻击模型的实验结果和对他们的防御。为了防御，我们选择差分隐私的形式梯度扰动在受害者模型的训练以及输出扰动在预测时间。我们在广泛的数据集上进行实验，这使我们能够更好地分析对手，防御机制和数据集之间的交互。我们发现，我们提出的快速和易于实现的输出扰动技术提供了很好的隐私保护成员推断攻击在效用的影响很小。
2020-09-01 cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University（普渡大学）；NVIDIA Research（NVIDIA研究）
针对成员推断攻击，提出自适应场景下的级联攻击（CMIA）和非自适应场景下的代理攻击（PMIA），利用成员依赖性或代理样本行为提升推断性能，在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
Membership Inference Attacks Against Video Large Language Models
UNSW Sydney（新南威尔士大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文研究了针对视频大语言模型的黑盒成员推断攻击，通过温度扰动生成与视频感知难度特征结合，验证了视频大语言模型对隐私风险的脆弱性。
2026-04-29 cs.CR
Evaluating the Defense Potential of Machine Unlearning against Membership Inference Attacks
Democritus University of Thrace（色雷斯德谟克利特大学）
本文评估了三种机器无学习算法在对抗成员推断攻击中的防御效果，发现其效果受算法选择、模型容量和学习率影响显著。
2026-01-22 cs.CR
Do Backdoors Assist Membership Inference Attacks?
Osaka University（大阪大学）；NTT Social Informatics Laboratories（NTT社会信息学实验室）
当攻击者向机器学习模型提供有毒样本时，隐私泄露（例如推断样本是否包括在模型的训练中的成员推断攻击）通过将样本移动到离群值而变得有效。然而，攻击可以被检测到，因为推理精度由于有毒样本而恶化。在本文中，我们讨论了一个\textit{backdoor-assisted membership inference attack}，一种新的成员推断攻击的基础上后门，返回对手的预期输出的触发样本。通过对学术基准数据集的实验，我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次，当我们分析损失分布以了解不成功结果的原因时，我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说，后门不会影响干净样本的分发。第三，我们还表明，毒物和触发样本激活不同分布的神经元。具体来说，后门使任何干净的样本成为内围值，而不是中毒样本。因此，我们确认，后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
Membership Inference Attacks Against Object Detection Models
Department of Mathematical Science, Seoul National University（首尔国立大学数学系）
机器学习模型可能会泄露关于它们训练的数据集的信息。在本文中，我们提出了第一个成员推断攻击黑盒目标检测模型，确定是否在训练中使用给定的数据记录。为了攻击目标检测模型，我们设计了一种称为画布方法的新方法，在该方法中，预测边界框被绘制在空图像上，用于攻击模型输入。基于实验，我们成功地揭示了使用一阶段和两阶段检测模型训练的隐私敏感数据的成员状态。然后，我们提出了防御策略，并在模型和数据集之间进行转移攻击。我们的研究结果表明，目标检测模型也容易受到推理攻击像其他模型。
2020-01-28 cs.CR cs.CV
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Zhejiang Lab（之江实验室）；National University of Singapore（新加坡国立大学）
神经网络易受数据推断攻击，例如模型反演攻击和成员推断攻击，其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法，即净化框架，来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明，当净化器致力于一种攻击时，它自然会防御另一种攻击，这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如，它可以将隶属度推断精度降低高达15%，并将模型反演误差增加高达4倍。此外，它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Membership Inference Attacks From First Principles
Google Research（谷歌研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击允许对手查询经训练的机器学习模型，以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估，无法表征攻击是否可以自信地识别训练集的任何成员。我们认为，攻击应该通过计算它们在低（例如，<0.1%）的假阳性率，并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题，我们开发了一种LikeRatio攻击（LiRA），它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍，并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Label-Only Membership Inference Attacks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Google（谷歌）
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一：给定一个数据点和模型，确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签，而没有置信度，这些攻击就不适用。在本文中，我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分，而是评估模型预测标签在扰动下的鲁棒性，以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明，我们的标签只有成员推断攻击执行与以前的攻击，需要访问模型的信心。我们进一步证明，标签攻击打破多重防御成员推断攻击（隐式或显式）依赖于一种现象，我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击，但保持模型的预测标签不变。我们的标签攻击表明，信心掩蔽是不是一个可行的防御策略，对成员推理。最后，我们研究了最坏情况下的仅标签攻击，即推断少数离群数据点的成员资格。我们发现，在这种情况下，仅标签攻击也匹配基于信任的攻击。我们发现，具有差分隐私和（强）L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时，这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
虽然机器学习（ML）模型被部署在许多关键应用程序中作为核心组件，但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断，其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止，大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而，现实世界的ML模型通常是按照迁移学习范式训练的，其中模型所有者采用从不同数据集（即教师模型）学习的预训练模型，并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中，我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明，隶属度推理可以达到有效的性能。例如，在从ResNet20（用Caltech 101预训练）转移的CIFAR 100分类器上，我们的成员推理实现了$95\%$攻击AUC。此外，我们表明，隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；University of Waterloo（滑铁卢大学）；DarwinAI（达尔文人工智能公司）；DeepMind（深度思维）
虽然在深度强化学习领域已经取得了重大的研究进展，但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中，攻击者将收集的输入数据集作为目标，深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距，我们提出了一个对抗攻击框架，旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地，我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外，我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明，在三个不同的连续控制Mujoco任务中，所提出的对抗攻击框架在推断数据时具有惊人的有效性，其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$，这在这方面引起了严重的隐私问题。最后，我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
An Empirical Study on the Membership Inference Attack against Tabular Data Synthesis Models
Northwestern University（西北大学）；Yonsei University（延世大学）；George Mason University（乔治梅森大学）
表格数据通常包含私人和重要的信息;因此，在与他人共享之前必须采取预防措施。虽然有几种方法（例如，差分隐私和k-匿名）来防止信息泄露，近年来，表格数据合成模型由于能够很好地权衡数据效用和隐私性而受到青睐。然而，最近的研究表明，图像数据的生成模型容易受到成员推断攻击，这可以确定是否使用给定的记录来训练受害者合成模型。在本文中，我们研究的成员推断攻击的背景下，表格数据合成。我们在两种攻击场景（即，一个黑盒攻击和一个白盒攻击），并发现成员推断攻击可以严重危害这些模型。接下来，我们进行实验，以评估两种流行的差分私有深度学习训练算法DP-SGD和DP-GAN如何保护模型免受攻击。我们的主要发现是，这两种算法可以在很大程度上减轻这种威胁，牺牲生成质量。
2022-08-25 cs.AI cs.CR
Membership Inference Attacks by Exploiting Loss Trajectory
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
机器学习模型容易受到成员推断攻击的攻击，其中攻击者旨在预测目标模型的训练数据集中是否包含特定样本。现有的攻击方法通常只利用给定目标模型的输出信息（主要是损失）。因此，在成员样本和非成员样本产生类似小损失的实际场景中，这些方法自然无法区分它们。为了解决这一问题，本文提出了一种新的攻击方法，称为\system，它可以利用目标模型在整个训练过程中的隶属度信息来提高攻击性能。为了在常见的黑盒设置中安装攻击，我们利用知识蒸馏，并表示成员信息的损失评估的一系列中间模型在不同的蒸馏时期，即\emph{distilled loss trajectory}，连同从给定的目标模型的损失。在不同数据集和模型架构上的实验结果证明了我们的攻击在不同度量方面的巨大优势。例如，在CINIC-10上，我们的攻击比现有方法在0.1\%的低假阳性率下实现了至少6 $\times$的真阳性率。进一步的分析证明了我们的攻击在更严格的情况下的一般有效性。
2022-08-31 cs.CR cs.LG
MIST: Defending Against Membership Inference Attacks Through Membership-Invariant Subspace Training
Purdue University（普渡大学）
针对成员推断攻击，提出成员不变子空间训练（MIST）方法，通过识别并避免过度拟合脆弱实例，在最小化测试精度损失的同时优于现有防御。
2024-05-29 cs.CR cs.LG
Membership Inference Attacks and Defenses in Classification Models
Purdue University（普渡大学）
我们研究了对分类器的成员推理（MI）攻击，攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估，我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后，我们提出了一种针对MI攻击的防御方法，旨在通过故意降低训练精度来缩小差距。更具体地说，训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度，该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明，将这种方法与另一种简单的防御（混合训练）相结合，可以显着提高对MI攻击的最先进的防御能力，同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
Membership Inference of Diffusion Models
University of Luxembourg（卢森堡大学）
近年来，扩散模型在数据合成方面取得了巨大的成功。然而，当扩散模型应用于敏感数据时，它们也引起了严重的隐私问题。本文首次系统地研究了扩散模型的成员推断攻击，旨在推断样本是否用于训练模型。提出了两种攻击方法，即基于损失的攻击和基于似然的攻击。我们的攻击方法进行评估的几个国家的最先进的扩散模型，在不同的数据集的隐私敏感数据。广泛的实验评估表明，我们的攻击可以实现显着的性能。此外，我们详尽地调查各种因素，可以影响攻击性能。最后，我们还评估了我们的攻击方法在差分隐私训练的扩散模型上的性能。
2023-01-24 cs.CR cs.LG
Membership Inference Attacks Against Recommender Systems
Shandong University（山东大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
近年来，推荐系统取得了令人瞩目的成绩，成为应用最广泛的网络应用之一。然而，推荐系统通常是在高度敏感的用户数据上训练的，因此来自推荐系统的潜在数据泄漏可能导致严重的隐私问题。在本文中，我们首次尝试量化的隐私泄漏的推荐系统，通过镜头的成员推理。与传统的隶属度推理对机器学习分类器相比，我们的攻击面临两个主要的区别。首先，我们的攻击是在用户级别，而不是在数据样本级别。第二，对手只能从推荐系统中观察到有序的推荐项目，而不是后验概率形式的预测结果。为了解决上述挑战，我们提出了一种新的方法，代表用户从相关的项目。此外，建立影子推荐器，以获得用于训练攻击模型的标记训练数据。大量的实验结果表明，我们的攻击框架实现了强大的性能。此外，我们设计了一种防御机制来有效减轻推荐系统的成员推理威胁。
2021-09-16 cs.CR cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；National University of Singapore（新加坡国立大学）
Masked语言模型~（MLMs）在敏感数据（从法律到医疗）上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息？先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的，这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中，我们认为以前的尝试是不确定的，因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验，涉及一个额外的参考传销，更准确地量化的记忆在传销的隐私风险。我们发现，掩蔽的语言模型非常容易受到似然比成员推断攻击的影响：我们的经验结果，在医学笔记上训练的模型上，表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平，在低错误区域有显着改善：在1%的误报率下，我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples
Duke University（杜克大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
在成员推断攻击中，攻击者旨在推断数据样本是否在目标分类器的训练数据集中。具体地，给定对目标分类器的黑盒访问，攻击者训练二元分类器，该二元分类器将由目标分类器预测的数据样本的置信度得分向量作为输入，并预测数据样本是目标分类器的训练数据集的成员或非成员。成员推断攻击对训练数据集构成严重的隐私和安全威胁。大多数现有的防御措施在训练目标分类器时利用差分隐私或规则化目标分类器的训练过程。这些防御受到两个关键限制：1）它们没有置信度得分向量的正式效用损失保证，以及2）它们实现了次优的隐私效用权衡。在这项工作中，我们提出MemGuard，第一个防御正式效用损失保证黑盒成员推断攻击。MemGuard不会篡改目标分类器的训练过程，而是向目标分类器预测的每个置信度得分向量添加噪声。我们的关键观察是，攻击者使用分类器来预测成员或非成员，分类器容易受到对抗性示例的影响。基于观察结果，我们建议将精心制作的噪声向量添加到置信度得分向量中，将其转化为误导攻击者分类器的对抗性示例。我们在三个数据集上的实验结果表明，MemGuard可以有效地抵御成员推断攻击，并实现更好的隐私效用权衡比现有的防御。我们的工作是第一个显示对抗性的例子可以被用作防御机制，以抵御成员推断攻击。
2019-12-18 cs.CR cs.LG
Imitative Membership Inference Attack
Purdue University（普渡大学）；NVIDIA Research（英伟达研究）
IMIA通过模仿训练技术构建少量目标感知模型，以更高效的方式实现成员推断攻击，优于现有方法且计算成本更低。
2026-01-10 cs.CR cs.LG
AutoMIA: Improved Baselines for Membership Inference Attack via Agentic Self-Exploration
AutoMIA通过代理自我探索和策略进化，改进成员推断攻击基线，实现模型无关的攻击空间系统遍历，优于现有方法且无需手动特征工程。
2026-04-01 cs.CR cs.CV
Amplifying Membership Exposure via Data Poisoning
随着野外数据越来越多地参与训练阶段，机器学习应用程序变得更容易受到数据投毒攻击。这种攻击通常会导致测试时间精度下降或受控的错误预测。在本文中，我们研究了数据投毒的第三种类型的利用-增加良性训练样本的隐私泄露风险。为此，我们演示了一组数据投毒攻击，以放大目标类的成员暴露。我们首先提出了一个通用的脏标签攻击监督分类算法。然后，我们在迁移学习场景中提出了一种基于优化的清洁标签攻击，从而使中毒样本被正确标记，看起来“自然”，以逃避人类的调节。我们广泛评估我们对计算机视觉基准的攻击。我们的研究结果表明，所提出的攻击可以大大提高成员推理精度与最小的整体测试时间模型的性能下降。为了减轻我们的攻击的潜在负面影响，我们还研究可行的对策。
2022-11-01 cs.CR stat.ML
Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture
Princeton University（普林斯顿大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击是评估机器学习（ML）模型中隐私泄露的一个关键措施。这些攻击旨在通过利用模型在成员和非成员输入上的差异行为来区分训练成员和非成员。这项工作的目标是训练ML模型，具有较高的成员隐私，同时在很大程度上保留其实用性，因此，我们的目标是一个经验的成员隐私保证，而不是可证明的隐私保证提供的技术，如差分隐私，因为这些技术被证明会恶化模型的效用。具体来说，我们提出了一个新的框架，训练隐私保护模型，诱导成员和非成员输入类似的行为，以减轻成员推断攻击。我们的框架，称为SELENA，有两个主要组成部分。我们防御的第一个组成部分和核心是一个新颖的整体训练架构。我们称之为Split-AI的架构将训练数据拆分为随机子集，并在每个数据子集上训练模型。我们在测试时使用自适应推理策略：我们的集成架构仅聚合那些在其训练数据中不包含输入样本的模型的输出。我们证明了我们的Split-AI架构可以抵御一大群成员推断攻击，但是，它容易受到新的自适应攻击。因此，我们在我们的框架中使用了第二个组件，称为自蒸馏，以防止这种更强大的攻击。Self-Distillation组件（self-）通过我们的Split-AI集成来提取训练数据集，而不使用任何外部公共数据集。通过对主要基准数据集的广泛实验，我们表明，与最先进的技术相比，SELENA在会员隐私和实用性之间提供了优越的权衡。
2021-10-15 cs.CR cs.LG
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland（马里兰大学）
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作，我们是第一个经验表明，彩票网络同样容易受到成员推断攻击。成员推断攻击（Membership Inference Attack，MIA）是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络，以找到较小的子网络，这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务，并观察到攻击精度相似。我们还看到，攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型，具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG
Membership Leakage in Label-Only Exposures
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
机器学习（ML）已被广泛采用于各种隐私关键应用中，例如，人脸识别和医学图像分析。然而，最近的研究表明，ML模型很容易受到对其训练数据的攻击。成员推断是该领域的一种主要攻击：给定数据样本和模型，攻击者的目标是确定样本是否是模型训练集的一部分。现有的成员推断攻击利用模型返回的置信度分数作为其输入（基于分数的攻击）。然而，如果模型仅暴露预测的标签，即，最后的决定。在本文中，我们提出了基于决策的成员推断攻击，并证明了标签的曝光也容易受到成员泄漏。特别是，我们开发了两种类型的基于决策的攻击，即转移攻击和边界攻击。实验结果表明，本文提出的基于决策的攻击方法可以取得显著的性能，在某些情况下甚至优于以往的基于得分的攻击方法。我们进一步提出了新的见解，成功的成员推理的基础上定量和定性分析，即，模型的成员样本比非成员样本更远离模型的决策边界。最后，我们评估了多种防御机制对我们的决策为基础的攻击，并表明，我们的两种类型的攻击可以绕过大多数这些防御。
2021-09-17 cs.CR cs.LG stat.ML
Node-Level Membership Inference Attacks Against Graph Neural Networks
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Sichuan University（四川大学）；NortonLifeLock Research Group（诺顿LifeLock研究组）
许多真实世界的数据以图表的形式出现，例如社交网络和蛋白质结构。为了充分利用图数据中包含的信息，已经引入了一种新的机器学习（ML）模型族，即图神经网络（GNNs）。此前的研究表明，机器学习模型容易受到隐私攻击。然而，目前的大部分努力都集中在基于欧几里得空间数据（如图像和文本）训练的ML模型上。另一方面，GNN产生的隐私风险在很大程度上仍未得到研究。在本文中，我们通过对GNN进行节点级成员推断攻击的第一次全面分析来填补这一空白。我们系统地定义了威胁模型，并提出了三个节点级的成员推断攻击对手的背景知识的基础上。我们对三种GNN结构和四个基准数据集的评估表明，即使对手具有最少的背景知识，GNN也容易受到节点级成员推断的影响。此外，我们表明，图密度和特征相似性有一个重大影响的攻击的成功。我们进一步研究了两种防御机制，实证结果表明，这些防御可以降低攻击性能，但有适度的效用损失。
2021-02-10 cs.CR cs.LG
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks
IBM Research（IBM研究院）
本文首次系统综述微调大语言模型对成员推断攻击的脆弱性，发现差分隐私与低秩适配器组合能提供最佳隐私保护。
2024-03-13 cs.CR cs.LG
M^4I: Multi-modal Models Membership Inference
University of Adelaide（阿德莱德大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
随着机器学习技术的发展，研究的重点已经从单模态学习转移到多模态学习，因为真实世界的数据以不同的模态形式存在。然而，多模态模型通常比单模态模型携带更多的信息，并且它们通常应用于敏感场景，例如医疗报告生成或疾病识别。与现有的机器学习分类器的隶属度推理方法相比，本文重点研究了多模态模型的输入和输出具有不同模态（如图像描述）的问题。本文从成员推断攻击的角度研究了多模态模型的隐私泄露问题。为了实现这一点，我们提出了多模态模型成员关系推断（M^4I）与两种攻击方法来推断成员的状态，命名为基于度量（MB）M^4I和基于特征（FB）M^4I，分别。更具体地，MB M^4I在攻击时采用相似性度量来推断目标数据成员关系。FB M^4I使用预训练的影子多模态特征提取器，通过比较提取的输入和输出特征的相似性来实现数据推理攻击的目的。大量的实验结果表明，这两种攻击方法可以实现强大的性能。在不受限制的情况下，平均攻击成功率分别为72.5%和94.83%。此外，我们评估了针对我们的攻击的多种防御机制。M^4I攻击的源代码可在https://github.com/MultimodalMI/Multimodal-membership-inference.git上公开获取。
2022-09-15 cs.CR cs.LG
Membership Inference Attacks are Easier on Difficult Problems
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
成员推断攻击（MIA）试图检测数据样本是否被用于训练神经网络模型，例如检测版权滥用。我们发现，具有更高维度的输入和输出的模型更容易受到MIA的影响，并在更详细的图像翻译和语义分割，包括医学图像分割模型。我们表明，重建错误可以导致非常有效的MIA攻击，因为它们是记忆的指示。不幸的是，重建误差本身在区分训练中使用的不可预测图像和以前从未见过的易于预测图像方面效果较差。为了克服这一点，我们建议使用一种新的可预测性误差，可以为每个样本计算，其计算不需要训练集。我们的成员误差，通过减去重建误差的可预测性误差，实现高MIA的准确性在大量的基准。
2021-08-18 cs.CR cs.LG
Membership Inference Attacks on Diffusion Models via Quantile Regression
Amazon AWS AI/ML（亚马逊AWS人工智能/机器学习部门）；Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
针对扩散模型的训练数据泄露风险，提出基于分位数回归和 bootstrap 弱攻击器投票的成员推理攻击，以更低计算成本超越现有最优方法。
2023-12-08 cs.CR cs.LG
Membership Inference Attacks on Tokenizers of Large Language Models
University of Science and Technology of China（中国科学技术大学）；Purdue University（普渡大学）
针对预训练大型语言模型成员推理攻击的挑战，提出以分词器作为新攻击向量，探索五种攻击方法，并设计自适应防御。
2026-05-25 cs.AI cs.CR
Set-Membership Inference Attacks using Data Watermarking
Ruhr University（鲁尔大学）
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法，通过条件采样揭示训练数据中的水印，有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
Semi-Leak: Membership Inference Attacks Against Semi-supervised Learning
CISPA Helmholz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Duke University（杜克大学）
半监督学习（SSL）利用标记和未标记的数据来训练机器学习（ML）模型。最先进的SSL方法可以通过利用更少的标记数据来实现与监督学习相当的性能。然而，大多数现有的工作集中在提高SSL的性能。本文从另一个角度研究了SSL的训练数据隐私问题。具体来说，我们提出了第一个基于数据增强的成员推断攻击对SSL训练的ML模型。给定数据样本和对模型的黑盒访问，成员推断攻击的目标是确定数据样本是否属于模型的训练数据集。我们的评估表明，该攻击可以始终优于现有的成员推断攻击，并实现了对SSL训练的模型的最佳性能。此外，我们发现SSL中成员泄漏的原因与监督学习中通常认为的原因不同，即，过度拟合（训练精度和测试精度之间的差距）。我们观察到SSL模型很好地推广到测试数据（几乎为0过拟合），但通过给出更有信心的预测而“记忆”训练数据，而不管其正确性如何。我们还探讨了早期停止作为一种对策，以防止对SSL的成员推断攻击。结果表明，提前停止可以减轻成员推断攻击，但代价是模型的效用下降。
2022-07-25 cs.CR cs.CV cs.LG
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology（佐治亚理工学院）
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统，称为MPLens，有三个独特的贡献。首先，通过MPLens，我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次，通过MPLens，我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的，特别是当训练数据本身是偏斜的时候。我们发现，当模型使用倾斜的训练数据时，成员推断攻击的风险通常会增加。最后，我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性，学习任务的复杂性，数据集的复杂性和隐私参数设置。我们的实证结果表明，（1）少数群体在偏斜的数据集显示成员推理的风险增加和（2）差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Practical Bayes-Optimal Membership Inference Attacks
Chalmers University of Technology（查尔姆斯理工大学）；AI Sweden（瑞典人工智能中心）；Linköping University（林雪平大学）
该研究基于贝叶斯决策理论推导了节点级成员推理攻击的最优规则，提出适用于普通数据和图数据的BASE与G-BASE方法，以更低成本达到SOTA性能，还证明了BASE与RMIA在特定超参数下等价。
2025-10-27 cs.CR cs.LG
Blind Baselines Beat Membership Inference Attacks for Foundation Models
ETH Zurich（苏黎世联邦理工学院）
针对基础模型的成员推断攻击评估因成员与非成员采样分布不同而有缺陷；在8个数据集上，不看模型的盲攻击优于最先进MI攻击，表明现有评估无法反映真实成员泄露。
2025-03-30 cs.CL cs.CR cs.LG
On the (In)Feasibility of Attribute Inference Attacks on Machine Learning Models
Macquarie University（麦考瑞大学）；University of New South Wales（新南威尔士大学）；Data61-CSIRO（Data61-联邦科学与工业研究组织）；BITS Pilani K.K.Birla Goa campus（戈亚校区比尔拉理工学院）；Cyber & Electronic Warfare Division, Defence Science and Technology Group, Australia（澳大利亚国防科技集团网络与电子战分部）
随着低成本机器学习API的增加，高级机器学习模型可以在私有数据集上进行训练，并通过将其作为服务提供来货币化。然而，隐私研究人员已经证明，这些模型可能会通过成员推断攻击泄露有关训练数据集中记录的信息。在本文中，我们仔细研究了文献中报道的另一种推理攻击，称为属性推理，攻击者试图通过访问机器学习模型作为API来推断训练数据集中使用的部分已知记录的缺失属性。我们表明，即使一个分类模型屈服于成员推断攻击，它是不太可能容易受到属性推理攻击。我们证明，这是因为成员推断攻击无法区分一个成员附近的非成员。我们称攻击者区分两个（相似）向量的能力为强成员推理。我们发现，成员推断攻击不能推断成员在这个强设置，因此推断属性是不可行的。然而，在一个宽松的概念下的属性推断，称为近似属性推断，我们表明，它是可能的推断接近真实属性的属性。我们验证了我们的结果在三个公开的数据集，五个成员，和三个属性推断攻击文献报道。
2021-03-12 cs.CR cs.LG
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University（浙江大学）；University of California（加利福尼亚大学）
成员推断（MI）确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断，这限制了它们在许多现实世界中的应用。例如，在人员重新识别任务中，攻击者（或调查者）感兴趣的是确定用户的图像是否在训练期间被使用。但是，攻击者可能无法访问确切的训练图像。在本文中，我们开发了一个用户级的MI攻击，其目标是找到是否有任何样本从目标用户已被使用在训练过程中，即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习，因为它在个人重新识别中占据主导地位，其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估，并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
Membership Inference Attacks Against Text-to-image Generation Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（赛富时研究院）
文本到图像生成模型最近吸引了前所未有的关注，因为它们在生活的各个领域中打开了富有想象力的应用。然而，开发这样的模型需要可能包含隐私敏感信息的大量数据，例如，面对身份。虽然隐私风险已经在图像分类和GAN生成领域中得到了广泛的证明，但文本到图像生成领域中的隐私风险在很大程度上尚未被探索。在本文中，我们进行了第一次隐私分析的文本到图像生成模型，通过镜头的成员推理。具体而言，我们提出了三个关键直觉的成员信息和设计相应的攻击方法。我们对两种主流的文本到图像生成模型进行了全面的评估，包括序列到序列建模和基于扩散的建模。实验结果表明，所有提出的攻击都能获得显著的性能，在某些情况下甚至接近于1的精度，因此相应的风险比现有的成员推断攻击要严重得多。我们进一步进行了广泛的消融研究，分析可能影响攻击性能的因素，这可以指导开发人员和研究人员警惕文本到图像生成模型中的漏洞。所有这些研究结果表明，我们提出的攻击构成了现实的隐私威胁的文本到图像生成模型。
2022-10-03 cs.CR cs.LG
Privacy-preserving Generative Framework Against Membership Inference Attacks
Xidian University（西安电子科技大学）
人工智能和机器学习已经融入我们生活的方方面面，个人数据的隐私也越来越受到关注。由于模型的生成需要提取训练数据的有效信息，因此模型存在泄露训练数据隐私的风险。成员推断攻击可以在一定程度上度量源数据的模型泄漏。本文设计了一个抗成员推断攻击的隐私保护生成框架，通过生成模型变分自编码器（VAE）的信息抽取和数据生成能力，生成满足差分隐私需求的合成数据。我们不向模型输出添加噪声或篡改目标模型的训练过程，而是直接处理原始数据。首先通过VAE模型将源数据映射到隐空间得到隐码，然后对隐码进行满足度量隐私的噪声处理，最后利用VAE模型重构出合成数据。我们的实验评估表明，使用新生成的合成数据训练的机器学习模型可以有效地抵抗成员推断攻击，并且仍然保持较高的实用性。
2022-02-11 cs.AI cs.CR
