Sharing Models or Coresets: A Study based on Membership Inference Attack
Pennsylvania State University（宾夕法尼亚州立大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Army Research Laboratory（陆军研究实验室）
分布式机器学习通常旨在基于分布式数据训练全局模型，而无需将所有数据收集到集中位置，其中已经提出了两种不同的方法：收集和聚合本地模型（联邦学习）以及收集和训练代表性数据摘要（coreset）。虽然由于不共享原始数据，每种方法都在一定程度上保护了数据隐私，但在试图从共享信息中推断原始数据的复杂攻击下，保护的确切程度尚不清楚。我们提出了两种方法之间的目标模型的准确性，通信成本和数据隐私方面的第一个比较，其中最后一个是衡量一个国家的最先进的攻击策略称为成员推断攻击的准确性。我们的实验量化了每种方法的准确性-隐私性-成本权衡，并揭示了一个可用于指导模型训练过程设计的重要比较。
2020-07-06 cs.LG stat.ML
Membership Leakage in Label-Only Exposures
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
机器学习（ML）已被广泛采用于各种隐私关键应用中，例如，人脸识别和医学图像分析。然而，最近的研究表明，ML模型很容易受到对其训练数据的攻击。成员推断是该领域的一种主要攻击：给定数据样本和模型，攻击者的目标是确定样本是否是模型训练集的一部分。现有的成员推断攻击利用模型返回的置信度分数作为其输入（基于分数的攻击）。然而，如果模型仅暴露预测的标签，即，最后的决定。在本文中，我们提出了基于决策的成员推断攻击，并证明了标签的曝光也容易受到成员泄漏。特别是，我们开发了两种类型的基于决策的攻击，即转移攻击和边界攻击。实验结果表明，本文提出的基于决策的攻击方法可以取得显著的性能，在某些情况下甚至优于以往的基于得分的攻击方法。我们进一步提出了新的见解，成功的成员推理的基础上定量和定性分析，即，模型的成员样本比非成员样本更远离模型的决策边界。最后，我们评估了多种防御机制对我们的决策为基础的攻击，并表明，我们的两种类型的攻击可以绕过大多数这些防御。
2021-09-17 cs.CR cs.LG stat.ML
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology（佐治亚理工学院）
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统，称为MPLens，有三个独特的贡献。首先，通过MPLens，我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次，通过MPLens，我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的，特别是当训练数据本身是偏斜的时候。我们发现，当模型使用倾斜的训练数据时，成员推断攻击的风险通常会增加。最后，我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性，学习任务的复杂性，数据集的复杂性和隐私参数设置。我们的实证结果表明，（1）少数群体在偏斜的数据集显示成员推理的风险增加和（2）差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Membership Inference Attacks on Sequence-to-Sequence Models: Is My Data In Your Machine Translation System?
Works Applications；Johns Hopkins University（约翰斯·霍普金斯大学）
数据隐私是“机器学习即服务”提供商的重要问题。我们关注的问题，成员推断攻击：给定一个数据样本和黑盒访问一个模型的API，确定样本是否存在于模型的训练数据。我们的贡献是调查这个问题的背景下，序列到序列模型，这是很重要的应用程序，如机器翻译和视频描述。我们定义了序列生成的成员推理问题，提供了一个开放的数据集的基础上，国家的最先进的机器翻译模型，并报告这些模型是否泄漏私人信息对几种成员推断攻击的初步结果。
2020-03-16 cs.CL cs.LG stat.ML
Stolen Memories: Leveraging Model Memorization for Calibrated White-Box Membership Inference
Carnegie Mellon University（卡内基梅隆大学）
隶属推理（MI）攻击利用了机器学习算法有时会通过学习的模型泄漏有关其训练数据的信息的事实。在这项工作中，我们研究了白盒设置中的成员推理，以利用模型的内部结构，这在以前的工作中没有得到有效的利用。利用关于深度神经网络中过拟合如何发生的新见解，我们展示了模型对特征的特殊使用如何为白盒攻击者提供成员资格的证据-即使模型的黑盒行为似乎很好地推广-并证明这种攻击优于以前的黑盒方法。采取的立场，一个有效的攻击应该有能力提供自信的积极推断，我们发现，以前的攻击并不经常提供一个有意义的基础，自信地推断成员资格，而我们的攻击可以有效地校准高精度。最后，我们检查了针对MI攻击的流行防御，发现（1）较小的泛化误差不足以防止对真实模型的攻击，以及（2）虽然小- $ε$ -差分隐私降低了攻击的有效性，但这通常会对模型的准确性造成重大损失;对于有时在实践中使用的较大$ε$（例如，$ε=16$），攻击可以达到与未受保护模型几乎相同的精度。
2020-06-24 cs.CR cs.LG stat.ML
TAMIS: Tailored Membership Inference Attacks on Synthetic Data
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化技术研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；UMR 9189 - CRIStAL（9189号联合研究单位——CRIStAL）
针对依赖图模型的差分隐私合成数据生成方法，提出TAMIS攻击：基于MAMA-MIA优化，仅用合成数据恢复图模型并引入数学化攻击分数，降低成本与知识需求，在SNAKE复现任务中性能更优或相当。
2025-11-12 cs.LG stat.ML
Membership Inference Attacks against Machine Learning Models
Cornell Tech（康奈尔理工大学）；INRIA（法国国家信息与自动化研究所）；Cornell（康奈尔大学）
我们定量地研究了机器学习模型如何泄漏关于它们所训练的个体数据记录的信息。我们专注于基本的成员推断攻击：给定一个数据记录和对模型的黑盒访问，确定该记录是否在模型的训练数据集中。为了对目标模型执行成员推理，我们对抗性地使用机器学习并训练我们自己的推理模型，以识别目标模型对它训练过的输入和没有训练过的输入的预测差异。我们在由商业“机器学习即服务”提供商（如Google和Amazon）训练的分类模型上实证评估我们的推理技术。使用现实的数据集和分类任务，包括从隐私的角度来看，其成员是敏感的出院数据集，我们表明，这些模型可能容易受到成员推断攻击。然后，我们调查影响这种泄漏的因素，并评估缓解策略。
2017-03-31 cs.CR cs.LG stat.ML
Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Intel Labs（英特尔实验室）
机器学习模型倾向于记忆敏感数据，使得它们容易受到成员推断攻击，其中对手旨在推断输入样本是否用于训练模型。在过去的几年里，研究人员已经产生了许多成员推断攻击和防御。然而，这些攻击和防御采用各种策略，并在不同的模型和数据集中进行。然而，缺乏全面的基准测试意味着我们不了解现有攻击和防御的优势和劣势。我们填补了这一空白，提出了一个大规模的测量不同的成员推断攻击和防御。我们通过对九种攻击和六种防御的研究，将隶属度推理系统化，并在整体评估中衡量不同攻击和防御的性能。然后，我们量化了威胁模型对这些攻击结果的影响。我们发现威胁模型的一些假设，如相同的架构和相同的分布之间的影子和目标模型，是不必要的。我们也是第一个对从互联网收集的真实世界数据而不是实验室数据集进行攻击的公司。我们进一步研究了是什么决定了成员推断攻击的性能，并揭示了通常认为的过拟合水平是不足以成功的攻击。相反，成员和非成员样本之间的熵/交叉熵的Jensen-Shannon距离与攻击性能的相关性要好得多。这为我们提供了一种新的方法来准确预测成员推理风险，而无需运行攻击。最后，我们发现，数据增强降低了现有的攻击在更大程度上的性能，我们提出了一个自适应攻击使用增强训练阴影和攻击模型，提高攻击性能。
2022-08-22 cs.CR cs.LG
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh（爱丁堡大学）；Meta AI
近年来，机器学习模型对成员推断攻击的脆弱性备受关注。然而，现有的攻击大多仍然是不切实际的，由于具有高误报率，其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠，特别是因为大多数样本在现实世界应用中是非成员。在这项工作中，我们认为，成员推断攻击可以大大受益于\emph{difficulty calibration}，其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明，难度校准可以显着降低各种现有攻击的误报率，而不会损失准确性。
2022-04-11 cs.CR cs.LG
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt（达姆施塔特工业大学）；SAP SE（思爱普公司）
我们提出了两个信息泄漏攻击，优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断，而无需对生成模型的类型进行假设。与以前的生成模型评估指标（如核密度估计）相反，它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器，以实现较高的隶属推理精度。此外，以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者，以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估，生成对抗网络（GANs）和变分自编码器（VAE），在标准图像数据集上训练。我们的研究结果表明，这两种攻击产生的成功率优于以前的工作在大多数数据集，而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合，特别有用。例如，在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中，我们的工作激励了GANs的使用，因为它们在产生详细样本的同时，被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
Low-Cost High-Power Membership Inference Attacks
National University of Singapore (NUS)（新加坡国立大学）
本文提出低计算开销的 RMIA 统计检验，通过细粒度零假设建模及参考模型、参考样本提升成员推理攻击功率。
2024-06-12 cs.CR cs.LG stat.ML
White-box vs Black-box: Bayes Optimal Strategies for Membership Inference
University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔综合理工学院）；LJK（格勒诺布尔大学实验室）；Facebook AI Research（Facebook人工智能研究院）
在给定样本和机器学习模型的训练参数的情况下，隶属度推断确定样本是否是训练集的一部分。在本文中，我们推导出的最佳策略的成员推断与一些假设的参数分布。我们证明了最优攻击只依赖于损失函数，因此黑盒攻击和白盒攻击一样好。由于最优策略是不听话的，我们提供了它的近似导致几种推理方法，并表明现有的成员资格推理方法是粗糙的近似这种最优策略。我们的成员攻击在各种设置中都优于最先进的技术，从简单的逻辑斯谛回归到更复杂的架构和数据集，如ResNet-101和Imagenet。
2019-08-29 cs.CR cs.LG stat.ML
Enhanced Membership Inference Attacks against Machine Learning Models
National University of Singapore（新加坡国立大学）；Privitar Labs（Privitar实验室）；University of Florida（佛罗里达大学）
一个机器学习算法会泄露多少训练数据，为什么？成员推断攻击被用作审计工具来量化这种泄漏。在本文中，我们提出了一个全面的\textit{hypothesis testing framework}，使我们不仅能够正式表示以前的工作在一个一致的方式，但也设计新的成员推断攻击，使用参考模型，以实现显着更高的权力（真阳性率）的任何（假阳性率）错误。更重要的是，我们解释了\textit{why}不同的攻击执行不同。我们提出了一个模板不可分割的游戏，并提供了一个解释的攻击成功率在不同的游戏实例。我们讨论了各种不确定性的攻击者所产生的制定的问题，并显示我们的方法试图尽量减少攻击的不确定性的一位秘密的训练集中的数据点的存在或不存在。我们在所有类型的攻击之间执行\textit{differential analysis}，解释它们之间的差距，并显示是什么原因导致数据点容易受到攻击（原因因记忆的粒度不同而异，从过拟合到条件记忆）。我们的审计框架作为\textit{Privacy Meter}软件工具的一部分可公开访问。
2022-09-13 cs.CR cs.LG stat.ML
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries
Max Planck Institute for Computer Science（马克斯·普朗克计算机科学研究所）
机器学习模型已被证明会泄露违反其训练集隐私的信息。我们专注于对机器学习模型的成员推断攻击，其目的是确定数据点是否用于训练受害者模型。我们的工作包括两个方面：我们介绍了抽样攻击，一种新的成员推理技术，不同于其他标准的成员资格的对手是能够工作在严格的限制下，没有访问受害者模型的分数。我们发现，一个受害者模型，只发布标签仍然容易受到抽样攻击和对手可以恢复到100%的性能相比，当后验向量提供。我们的工作的其他方面包括两个最近的成员推断攻击模型的实验结果和对他们的防御。为了防御，我们选择差分隐私的形式梯度扰动在受害者模型的训练以及输出扰动在预测时间。我们在广泛的数据集上进行实验，这使我们能够更好地分析对手，防御机制和数据集之间的交互。我们发现，我们提出的快速和易于实现的输出扰动技术提供了很好的隐私保护成员推断攻击在效用的影响很小。
2020-09-01 cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University（普渡大学）；NVIDIA Research（NVIDIA研究）
针对成员推断攻击，提出自适应场景下的级联攻击（CMIA）和非自适应场景下的代理攻击（PMIA），利用成员依赖性或代理样本行为提升推断性能，在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
Membership inference attack with relative decision boundary distance
Tongji University（同济大学）
针对仅标签成员推理攻击中决策边界距离受随机初始点影响的问题，提出多类自适应 MIA，利用多目标 HopSkipJump 和相对边界距离提升攻击性能。
2023-06-07 cs.LG
GLiRA: Black-Box Membership Inference Attack via Knowledge Distillation
Artificial Intelligence Research Institute（人工智能研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学研究所可信人工智能研究中心）
针对深度神经网络训练数据隐私易受成员推理攻击的问题，提出蒸馏引导的黑盒成员推理攻击方法GLiRA，通过知识蒸馏提升似然比攻击效率，在黑盒设置下性能超越现有最先进方法。
2024-05-13 cs.AI cs.LG
Robust Membership Encoding: Inference Attacks and Copyright Protection for Deep Learning
Cornell University（康奈尔大学）；National University of Singapore（新加坡国立大学）
机器学习即服务（MLaaS）和算法市场正在崛起。数据持有者可以使用第三方提供的学习代码轻松地在其数据上训练复杂模型。训练准确的机器学习模型需要大量的标记数据和先进的学习算法。由此产生的模型被视为模型所有者的知识产权，其版权应受到保护。此外，MLaaS需要被信任不会将关于训练数据的秘密信息嵌入到模型中，以便稍后在部署模型时可以检索该信息。在本文中，我们提出了\emph{membership encoding}，用于训练深度神经网络，并对训练数据的子集的成员信息进行编码，即数据点是否用于训练。隶属度编码在不同的应用场景中有多种应用，包括用于模型版权保护的鲁棒水印，以及用于隐藏数据嵌入隐私攻击的风险分析。我们的编码算法可以确定显着编辑的数据点的成员，也是强大的模型压缩和微调。它还可以对训练集的很大一部分进行编码，而模型的预测准确性下降可以忽略不计。
2020-03-22 cs.CR cs.LG stat.ML
Do Backdoors Assist Membership Inference Attacks?
Osaka University（大阪大学）；NTT Social Informatics Laboratories（NTT社会信息学实验室）
当攻击者向机器学习模型提供有毒样本时，隐私泄露（例如推断样本是否包括在模型的训练中的成员推断攻击）通过将样本移动到离群值而变得有效。然而，攻击可以被检测到，因为推理精度由于有毒样本而恶化。在本文中，我们讨论了一个\textit{backdoor-assisted membership inference attack}，一种新的成员推断攻击的基础上后门，返回对手的预期输出的触发样本。通过对学术基准数据集的实验，我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次，当我们分析损失分布以了解不成功结果的原因时，我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说，后门不会影响干净样本的分发。第三，我们还表明，毒物和触发样本激活不同分布的神经元。具体来说，后门使任何干净的样本成为内围值，而不是中毒样本。因此，我们确认，后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
Gaussian Membership Inference Privacy
University of Tübingen（蒂宾根大学）；Technical University of Munich（慕尼黑工业大学）；Harvard University（哈佛大学）
本文提出 $f$-成员推断隐私框架，并通过分析 SGD 推导出 $μ$-高斯成员推断隐私保证，同时给出无需影子模型的解析式攻击方法，用于审计隐私并分析超参数对攻击能力的影响。
2023-10-26 cs.CR cs.LG stat.ML
The Sample Complexity of Membership Inference and Privacy Auditing
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Department of Computer Science, Boston University（波士顿大学计算机科学系）
本文在高斯均值估计设定下研究成员推断攻击的样本复杂度，首次证明攻击者有时需要 Ω(n+n²ρ²) 个参考样本，远多于训练所用样本，提示现有攻击可能低估了隐私泄露风险。
2026-10-09 cs.CR cs.LG stat.ML
On the Difficulty of Membership Inference Attacks
University of California Davis（加州大学戴维斯分校）
最近的研究提出了对深度模型的隶属推理（MI）攻击，其目标是推断样本是否已用于训练过程。尽管这些研究取得了明显的成功，但它们只报告了阳性类（成员类）的准确性、精确性和召回率。因此，这些攻击的性能还没有在负类（非成员类）上清楚地报告。在本文中，我们表明，MI攻击的性能报告的方式往往是误导，因为他们遭受高误报率或误报率（FAR），尚未报告。FAR显示了攻击模型将非训练样本（非成员）错误标记为训练（成员）样本的频率。高FAR使得MI攻击从根本上不切实际，这对于诸如成员推断之类的任务尤其重要，其中大多数样本实际上属于负（非训练）类。此外，我们表明，目前的MI攻击模型只能识别错误分类的样本的成员资格，最好的准确性一般，这只构成了很小的一部分训练样本。我们分析了几个新的特征，以前没有全面探索的隶属度推理，包括距离决策边界和梯度范数，并得出结论，深度模型的响应大多是相似的训练和非训练样本。我们进行了几个实验图像分类任务，包括MNIST，CIFAR-10，CIFAR-100，和ImageNet，使用各种模型架构，包括LeNet，AlexNet，ResNet等，我们表明，目前的最先进的MI攻击不能同时实现高精度和低FAR，即使攻击者被赋予几个优势。源代码可在https://github.com/shrezaei/MI-Attack上获得。
2021-03-22 cs.CR cs.CV cs.LG
Membership Inference Attacks and Defenses in Neural Network Pruning
Michigan Technological University（密歇根理工大学）
神经网络修剪是一种重要的技术，用于减少将深度神经网络用于资源受限设备的计算和存储器需求。大多数现有的研究主要集中在平衡的稀疏性和准确性的修剪神经网络，通过战略性地删除无关紧要的参数和重新训练修剪模型。这种重复使用训练样本的努力由于增加记忆而造成严重的隐私风险，然而，尚未进行调查。本文首先对神经网络剪枝中的隐私风险进行了分析。具体来说，我们研究了神经网络修剪对训练数据隐私的影响，即，成员推断攻击。我们首先探讨了神经网络修剪对预测发散的影响，其中修剪过程不成比例地影响修剪模型的成员和非成员行为。同时，分歧的影响甚至在不同的类之间以细粒度的方式变化。受此启发，提出了一种针对剪枝后的神经网络的自注意成员推断攻击.进行了大量的实验，严格评估隐私的影响，不同的修剪方法，稀疏水平，和对手的知识。与现有的8种成员推断攻击相比，该攻击在剪枝模型上表现出更高的攻击性能。此外，我们提出了一种新的防御机制，以保护修剪过程中，通过减轻基于KL-发散距离的预测分歧，其有效性已被实验证明，有效地减轻隐私风险，同时保持稀疏性和准确性的修剪模型。
2022-08-03 cs.CR cs.LG stat.ML
Machine Learning with Membership Privacy using Adversarial Regularization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National University of Singapore（新加坡国立大学）
机器学习模型会泄露关于它们所训练的数据集的信息。攻击者可以构建一个算法来跟踪模型训练数据集的各个成员。作为基本的推理攻击，他的目标是区分模型训练集的数据点和来自同一分布的任何其他数据点。这被称为跟踪（也称为成员推断）攻击。在本文中，我们专注于对黑盒模型的攻击，其中对手只能观察模型的输出，但不能观察其参数。这是互联网中机器学习作为服务的当前设置。我们引入了一种隐私机制来训练可证明实现成员隐私的机器学习模型：该模型对其训练数据的预测与其对来自同一分布的其他数据点的预测无法区分。我们设计了一个策略机制，隐私机制预计成员推理攻击。目标是训练一个模型，使其不仅具有最小的预测误差（高实用性），而且是针对其相应的最强推理攻击（高隐私性）的最鲁棒模型。我们将其形式化为一个最小-最大博弈优化问题，并设计了一个对抗性训练算法，该算法最大限度地减少了模型的分类损失以及对模型的成员推理攻击的最大收益。这种策略，保证了成员隐私（作为预测不可篡改性），也作为一个强正则化器，并显着推广了模型。我们使用不同的基准数据集在深度神经网络上评估我们的隐私机制。我们表明，我们的最小-最大策略可以减轻成员推断攻击的风险（接近随机猜测），在分类错误方面的成本可以忽略不计。
2018-07-16 cs.CR cs.LG stat.ML
Quantifying the Privacy of Counterfactuals by Leveraging Membership Inference Attacks Against Synthetic Data
ÉTS Montreal and Mila Canada（蒙特利尔ÉTS学院和Mila加拿大）；UQAM Canada（魁北克大学UQAM加拿大）；Inria Grenoble France（法国格勒诺布尔Inria）
本文利用针对合成数据的成员推理攻击，证明仅通过反事实即可成功实施成员推理攻击，无需访问模型，揭示了反事实发布中的隐私风险。
2026-06-04 cs.LG
Quantifying Membership Inference Vulnerability via Generalization Gap and Other Model Metrics
University of Central Florida（中佛罗里达大学）；University of Texas San Antonio（德克萨斯大学圣安东尼奥分校）
我们演示了目标模型的泛化差距如何直接导致一个有效的确定性黑盒成员推断攻击（MIA）。这提供了基于简单度量的模型对MIA的安全性的上限。此外，这种攻击被证明是最佳的预期意义上只访问某些可能获得的度量有关的网络的训练和性能。实验表明，这种攻击在许多情况下与最先进的MIA的准确性相当。
2020-09-11 cs.CR cs.LG stat.ML
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
本文提出MGMD-GAN框架，通过多生成器与多判别器结合不相交训练数据分区学习混合分布，缩小泛化差距，从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Zhejiang Lab（之江实验室）；National University of Singapore（新加坡国立大学）
神经网络易受数据推断攻击，例如模型反演攻击和成员推断攻击，其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法，即净化框架，来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明，当净化器致力于一种攻击时，它自然会防御另一种攻击，这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如，它可以将隶属度推断精度降低高达15%，并将模型反演误差增加高达4倍。此外，它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Membership Inference Attacks From First Principles
Google Research（谷歌研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击允许对手查询经训练的机器学习模型，以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估，无法表征攻击是否可以自信地识别训练集的任何成员。我们认为，攻击应该通过计算它们在低（例如，<0.1%）的假阳性率，并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题，我们开发了一种LikeRatio攻击（LiRA），它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍，并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Apollo: A Posteriori Label-Only Membership Inference Attack Towards Machine Unlearning
University of Pittsburgh（匹兹堡大学）；Cisco Research（思科研究）
本研究针对现有面向机器遗忘的隐私攻击依赖弱威胁模型、可行性受限的问题，提出仅需访问遗忘模型标签输出的Apollo后验仅标签成员推理攻击，以更低的模型访问权限实现了较高的被遗忘样本成员身份推断精度。
2025-10-27 cs.LG
Fundamental Limits of Membership Inference Attacks on Machine Learning Models
Université Paris-Saclay, CNRS, Laboratoire de mathématiques d’Orsay（巴黎萨克雷大学，CNRS，奥赛数学实验室）
本文从理论上刻画了机器学习模型成员推断攻击的基本统计极限，证明过拟合非线性回归中攻击可高概率成功，并发现数据离散化可增强安全性，其界限由数据分布多样性常数决定。
2025-10-07 cs.AI cs.LG stat.ML
Semantic Membership Inference Attack against Large Language Models
Oracle Labs（甲骨文实验室）
本文提出 SMIA，通过神经网络分析目标 LLM 对语义扰动输入的输出概率差异来识别训练成员，并在 Pythia、GPT-Neo 上验证其显著优于现有 MIA。
2024-06-14 cs.LG
LTU Attacker for Membership Inference
RPI（伦斯勒理工学院）；LISN/CNRS/INRIA（LISN/法国国家科学研究中心/法国国家信息与自动化研究所）；U. Paris-Saclay（巴黎萨克雷大学）；Paradigm（第四范式）；ChaLearn
我们解决的问题，防御预测模型，如机器学习分类器（后卫模型），对成员推断攻击，在黑箱和白箱设置，当教练和训练模型公开发布。Defender旨在优化双重目标：实用性和隐私。利用包括攻击者和评估者的外部装置来评估效用和隐私两者。一方面，使用与Defender训练数据分布相似的保留数据来评估效用;另一方面，使用与Defender训练数据混合的保留数据来评估成员推断攻击鲁棒性。在这两种情况下，分类准确度或出错率被用作度量：效用是用防御者模型的分类准确度来评估的;隐私是用所谓的“留两个未标记”LTU攻击者的成员预测误差来评估的，LTU攻击者可以访问所有的防御者和保留数据，除了每个样本的成员标记。我们证明了，在一定条件下，即使是一个“天真”的LTU攻击者可以实现较低的隐私损失与简单的攻击策略，从而导致具体的必要条件，以保护隐私，包括：防止过度拟合和增加一些随机性。然而，我们还表明，这种天真的LTU攻击者可能无法攻击文献中已知易受攻击的模型的隐私，这表明知识必须辅以强大的攻击策略，才能将LTU攻击者变成评估隐私的强大手段。我们在QMNIST和CIFAR-10数据集上的实验验证了我们的理论结果，并证实了过拟合预防和随机性在算法中的作用，以防止隐私攻击。
2022-02-04 cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；National University of Singapore（新加坡国立大学）
Masked语言模型~（MLMs）在敏感数据（从法律到医疗）上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息？先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的，这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中，我们认为以前的尝试是不确定的，因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验，涉及一个额外的参考传销，更准确地量化的记忆在传销的隐私风险。我们发现，掩蔽的语言模型非常容易受到似然比成员推断攻击的影响：我们的经验结果，在医学笔记上训练的模型上，表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平，在低错误区域有显着改善：在1%的误报率下，我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
Revisiting Membership Inference Under Realistic Assumptions
University of Virginia（弗吉尼亚大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究成员推理的设置中，通常使用的一些假设在以前的研究放松。首先，我们考虑倾斜的先验，以涵盖的情况下，如只有一小部分的候选人池的目标是由对手实际上是成员，并制定一个PPV为基础的度量适合这种设置。这种设置比研究人员通常考虑的平衡先验设置更现实。其次，我们考虑的对手，选择推理阈值，根据他们的攻击目标，并制定了一个阈值选择程序，提高推理攻击。由于以前的推理攻击失败的不平衡的先验设置，我们开发了一个新的推理攻击的直觉，即对应于训练集成员的输入将接近局部最小值的损失函数，并表明，攻击，结合这与阈值的每实例损失可以实现高PPV，即使在其他攻击似乎是无效的设置。我们的实验代码可以在这里找到：https://github.com/bargavj/EvaluatingDPML。
2021-01-13 cs.CR cs.LG stat.ML
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland（马里兰大学）
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作，我们是第一个经验表明，彩票网络同样容易受到成员推断攻击。成员推断攻击（Membership Inference Attack，MIA）是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络，以找到较小的子网络，这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务，并观察到攻击精度相似。我们还看到，攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型，具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG
Investigating Membership Inference Attacks under Data Dependencies
University of Waterloo（滑铁卢大学）
该研究针对现有成员推理攻击评估默认样本独立同分布的局限，分析了样本存在统计依赖时差分隐私的保护失效原因，通过实证验证训练集依赖会显著提升成员推理攻击性能。
2023-06-14 cs.CR cs.LG
Range Membership Inference Attacks
National University of Singapore（新加坡国立大学）
针对标准成员推理攻击（MIAs）仅检查数据点是否完全匹配而忽略相似数据的问题，提出范围成员推理攻击（RaMIAs），通过统计检验测试模型是否在指定隐私语义范围内的数据上训练过，实验证明其能更准确全面地捕获隐私损失。
2025-03-16 cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；University of Waterloo（滑铁卢大学）；DarwinAI（达尔文人工智能公司）；DeepMind（深度思维）
虽然在深度强化学习领域已经取得了重大的研究进展，但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中，攻击者将收集的输入数据集作为目标，深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距，我们提出了一个对抗攻击框架，旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地，我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外，我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明，在三个不同的连续控制Mujoco任务中，所提出的对抗攻击框架在推断数据时具有惊人的有效性，其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$，这在这方面引起了严重的隐私问题。最后，我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Membership Inference Attacks by Exploiting Loss Trajectory
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
机器学习模型容易受到成员推断攻击的攻击，其中攻击者旨在预测目标模型的训练数据集中是否包含特定样本。现有的攻击方法通常只利用给定目标模型的输出信息（主要是损失）。因此，在成员样本和非成员样本产生类似小损失的实际场景中，这些方法自然无法区分它们。为了解决这一问题，本文提出了一种新的攻击方法，称为\system，它可以利用目标模型在整个训练过程中的隶属度信息来提高攻击性能。为了在常见的黑盒设置中安装攻击，我们利用知识蒸馏，并表示成员信息的损失评估的一系列中间模型在不同的蒸馏时期，即\emph{distilled loss trajectory}，连同从给定的目标模型的损失。在不同数据集和模型架构上的实验结果证明了我们的攻击在不同度量方面的巨大优势。例如，在CINIC-10上，我们的攻击比现有方法在0.1\%的低假阳性率下实现了至少6 $\times$的真阳性率。进一步的分析证明了我们的攻击在更严格的情况下的一般有效性。
2022-08-31 cs.CR cs.LG
Set-Membership Inference Attacks using Data Watermarking
Ruhr University（鲁尔大学）
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法，通过条件采样揭示训练数据中的水印，有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
MIST: Defending Against Membership Inference Attacks Through Membership-Invariant Subspace Training
Purdue University（普渡大学）
针对成员推断攻击，提出成员不变子空间训练（MIST）方法，通过识别并避免过度拟合脆弱实例，在最小化测试精度损失的同时优于现有防御。
2024-05-29 cs.CR cs.LG
Semi-Leak: Membership Inference Attacks Against Semi-supervised Learning
CISPA Helmholz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Duke University（杜克大学）
半监督学习（SSL）利用标记和未标记的数据来训练机器学习（ML）模型。最先进的SSL方法可以通过利用更少的标记数据来实现与监督学习相当的性能。然而，大多数现有的工作集中在提高SSL的性能。本文从另一个角度研究了SSL的训练数据隐私问题。具体来说，我们提出了第一个基于数据增强的成员推断攻击对SSL训练的ML模型。给定数据样本和对模型的黑盒访问，成员推断攻击的目标是确定数据样本是否属于模型的训练数据集。我们的评估表明，该攻击可以始终优于现有的成员推断攻击，并实现了对SSL训练的模型的最佳性能。此外，我们发现SSL中成员泄漏的原因与监督学习中通常认为的原因不同，即，过度拟合（训练精度和测试精度之间的差距）。我们观察到SSL模型很好地推广到测试数据（几乎为0过拟合），但通过给出更有信心的预测而“记忆”训练数据，而不管其正确性如何。我们还探讨了早期停止作为一种对策，以防止对SSL的成员推断攻击。结果表明，提前停止可以减轻成员推断攻击，但代价是模型的效用下降。
2022-07-25 cs.CR cs.CV cs.LG
Blind Baselines Beat Membership Inference Attacks for Foundation Models
ETH Zurich（苏黎世联邦理工学院）
针对基础模型的成员推断攻击评估因成员与非成员采样分布不同而有缺陷；在8个数据集上，不看模型的盲攻击优于最先进MI攻击，表明现有评估无法反映真实成员泄露。
2025-03-30 cs.CL cs.CR cs.LG
An Efficient Subpopulation-based Membership Inference Attack
University of California（加利福尼亚大学）
成员推断攻击允许恶意实体预测在受害者模型的训练期间是否使用样本。最先进的成员推断攻击已经证明可以达到很好的准确性，这对隐私造成了很大的威胁。然而，大多数SOTA攻击需要训练数十到数百个影子模型来准确地推断成员。这种巨大的计算成本引发了人们对这些深度模型攻击的实用性的质疑。在本文中，我们介绍了一个根本不同的MI攻击方法，避免了需要训练数百个影子模型。简单地说，我们将目标样本上的受害者模型输出与来自相同子群体的样本进行比较（即，语义相似的样本），而不是将其与数百个阴影模型的输出进行比较。直觉是，如果目标样本不是训练样本，则目标样本与其子群体之间的模型响应不应存在显著差异。在攻击者无法获得子群体样本的情况下，我们证明了只训练一个生成模型就可以满足要求。因此，我们实现了最先进的成员推理精度，同时显着降低了训练计算成本。
2022-03-04 cs.AI cs.CR cs.CV
Membership Inference Attacks and Defenses in Classification Models
Purdue University（普渡大学）
我们研究了对分类器的成员推理（MI）攻击，攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估，我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后，我们提出了一种针对MI攻击的防御方法，旨在通过故意降低训练精度来缩小差距。更具体地说，训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度，该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明，将这种方法与另一种简单的防御（混合训练）相结合，可以显着提高对MI攻击的最先进的防御能力，同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University（浙江大学）；University of California（加利福尼亚大学）
成员推断（MI）确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断，这限制了它们在许多现实世界中的应用。例如，在人员重新识别任务中，攻击者（或调查者）感兴趣的是确定用户的图像是否在训练期间被使用。但是，攻击者可能无法访问确切的训练图像。在本文中，我们开发了一个用户级的MI攻击，其目标是找到是否有任何样本从目标用户已被使用在训练过程中，即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习，因为它在个人重新识别中占据主导地位，其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估，并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
Membership Inference of Diffusion Models
University of Luxembourg（卢森堡大学）
近年来，扩散模型在数据合成方面取得了巨大的成功。然而，当扩散模型应用于敏感数据时，它们也引起了严重的隐私问题。本文首次系统地研究了扩散模型的成员推断攻击，旨在推断样本是否用于训练模型。提出了两种攻击方法，即基于损失的攻击和基于似然的攻击。我们的攻击方法进行评估的几个国家的最先进的扩散模型，在不同的数据集的隐私敏感数据。广泛的实验评估表明，我们的攻击可以实现显着的性能。此外，我们详尽地调查各种因素，可以影响攻击性能。最后，我们还评估了我们的攻击方法在差分隐私训练的扩散模型上的性能。
2023-01-24 cs.CR cs.LG
Membership Inference Attacks Against Recommender Systems
Shandong University（山东大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
近年来，推荐系统取得了令人瞩目的成绩，成为应用最广泛的网络应用之一。然而，推荐系统通常是在高度敏感的用户数据上训练的，因此来自推荐系统的潜在数据泄漏可能导致严重的隐私问题。在本文中，我们首次尝试量化的隐私泄漏的推荐系统，通过镜头的成员推理。与传统的隶属度推理对机器学习分类器相比，我们的攻击面临两个主要的区别。首先，我们的攻击是在用户级别，而不是在数据样本级别。第二，对手只能从推荐系统中观察到有序的推荐项目，而不是后验概率形式的预测结果。为了解决上述挑战，我们提出了一种新的方法，代表用户从相关的项目。此外，建立影子推荐器，以获得用于训练攻击模型的标记训练数据。大量的实验结果表明，我们的攻击框架实现了强大的性能。此外，我们设计了一种防御机制来有效减轻推荐系统的成员推理威胁。
2021-09-16 cs.CR cs.LG
Context-Aware Membership Inference Attacks against Pre-trained Large Language Models
Mohamed bin Zayed University of Artificial Intelligence（莫扎伊德·本·扎耶德人工智能大学）；Brave Software（Brave软件公司）；Imperial College London（帝国理工学院）；National University of Singapore（新加坡国立大学）
本文提出一种针对预训练LLMs的新型成员推理攻击方法，通过将统计测试适应于数据点内子序列的困惑度动态，有效解决了以往方法忽略LLMs生成特性的问题，显著提升了攻击性能并揭示了模型依赖上下文的记忆模式。
2025-09-16 cs.AI cs.CL cs.CR
MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples
Duke University（杜克大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
在成员推断攻击中，攻击者旨在推断数据样本是否在目标分类器的训练数据集中。具体地，给定对目标分类器的黑盒访问，攻击者训练二元分类器，该二元分类器将由目标分类器预测的数据样本的置信度得分向量作为输入，并预测数据样本是目标分类器的训练数据集的成员或非成员。成员推断攻击对训练数据集构成严重的隐私和安全威胁。大多数现有的防御措施在训练目标分类器时利用差分隐私或规则化目标分类器的训练过程。这些防御受到两个关键限制：1）它们没有置信度得分向量的正式效用损失保证，以及2）它们实现了次优的隐私效用权衡。在这项工作中，我们提出MemGuard，第一个防御正式效用损失保证黑盒成员推断攻击。MemGuard不会篡改目标分类器的训练过程，而是向目标分类器预测的每个置信度得分向量添加噪声。我们的关键观察是，攻击者使用分类器来预测成员或非成员，分类器容易受到对抗性示例的影响。基于观察结果，我们建议将精心制作的噪声向量添加到置信度得分向量中，将其转化为误导攻击者分类器的对抗性示例。我们在三个数据集上的实验结果表明，MemGuard可以有效地抵御成员推断攻击，并实现更好的隐私效用权衡比现有的防御。我们的工作是第一个显示对抗性的例子可以被用作防御机制，以抵御成员推断攻击。
2019-12-18 cs.CR cs.LG
Imitative Membership Inference Attack
Purdue University（普渡大学）；NVIDIA Research（英伟达研究）
IMIA通过模仿训练技术构建少量目标感知模型，以更高效的方式实现成员推断攻击，优于现有方法且计算成本更低。
2026-01-10 cs.CR cs.LG
Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture
Princeton University（普林斯顿大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击是评估机器学习（ML）模型中隐私泄露的一个关键措施。这些攻击旨在通过利用模型在成员和非成员输入上的差异行为来区分训练成员和非成员。这项工作的目标是训练ML模型，具有较高的成员隐私，同时在很大程度上保留其实用性，因此，我们的目标是一个经验的成员隐私保证，而不是可证明的隐私保证提供的技术，如差分隐私，因为这些技术被证明会恶化模型的效用。具体来说，我们提出了一个新的框架，训练隐私保护模型，诱导成员和非成员输入类似的行为，以减轻成员推断攻击。我们的框架，称为SELENA，有两个主要组成部分。我们防御的第一个组成部分和核心是一个新颖的整体训练架构。我们称之为Split-AI的架构将训练数据拆分为随机子集，并在每个数据子集上训练模型。我们在测试时使用自适应推理策略：我们的集成架构仅聚合那些在其训练数据中不包含输入样本的模型的输出。我们证明了我们的Split-AI架构可以抵御一大群成员推断攻击，但是，它容易受到新的自适应攻击。因此，我们在我们的框架中使用了第二个组件，称为自蒸馏，以防止这种更强大的攻击。Self-Distillation组件（self-）通过我们的Split-AI集成来提取训练数据集，而不使用任何外部公共数据集。通过对主要基准数据集的广泛实验，我们表明，与最先进的技术相比，SELENA在会员隐私和实用性之间提供了优越的权衡。
2021-10-15 cs.CR cs.LG
Chameleon: Increasing Label-Only Membership Leakage with Adaptive Poisoning
Northeastern University（东北大学）
针对仅标签场景下现有成员推理攻击在低假阳性率区间失效的问题，本文提出Chameleon攻击，通过自适应数据投毒与高效查询选择显著提升成员推理准确性。
2024-01-16 cs.LG
