Revisiting Privacy Leakage in Machine Unlearning: Membership Inference Beyond the Forgotten Set
Stevens Institute of Technology（史蒂文斯理工学院）；University of Connecticut（康涅狄格大学）；Meta Inc.（Meta公司）
本文提出TC-UMIA，首个三分类遗忘成员推断攻击，通过比较遗忘前后模型预测来区分遗忘集、保留集和未见集，揭示遗忘操作会额外增加保留集的隐私风险。
2026-05-30 cs.CR
Privacy for All: Demystify Vulnerability Disparity of Differential Privacy against Membership Inference Attack
当机器学习算法应用于敏感数据时，会对隐私构成潜在威胁。越来越多的先前工作已经证明，成员推断攻击（MIA）可以将训练数据中的特定私有信息泄露给攻击者。与此同时，机器学习的算法公平性越来越受到学术界和工业界的关注。算法公平性确保机器学习模型不歧视特定人口统计群体的个体（例如，黑人和女性）。鉴于MIA确实是一种学习模式，如果MIA“公平地”平等对待所有群体的个人，就会引起严重关切。换句话说，一个特定的群体是否比其他群体更容易受到MIA的伤害。本文探讨了算法公平性问题的背景下，MIA及其防御。首先，在公平性评价方面，提出了脆弱性差异（VD）的概念，以量化不同人口群体的MIA待遇差异。其次，在四个真实世界的数据集上评估了VD，并表明VD确实存在于这些数据集中。第三，探讨了差分隐私作为MIA的防御机制对VD的影响。结果表明，DP虽能显著改善VD，但不能完全消除VD。因此，第四，设计了一种新的缓解算法FAIRPICK来降低VD。大量的实验结果表明，FAIRPICK可以有效地减少VD与DP部署和没有。
2020-01-24 cs.CR
Assessing differentially private deep learning with Membership Inference
SAP SE（SAP公司）；University of Waterloo（滑铁卢大学）
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护，具有差分隐私。然而，数据科学家可以在本地和中央差分隐私之间进行选择，并且需要选择有意义的隐私参数$ε$，这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理，以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验，结果表明，这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案，因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology（佐治亚理工学院）
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统，称为MPLens，有三个独特的贡献。首先，通过MPLens，我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次，通过MPLens，我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的，特别是当训练数据本身是偏斜的时候。我们发现，当模型使用倾斜的训练数据时，成员推断攻击的风险通常会增加。最后，我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性，学习任务的复杂性，数据集的复杂性和隐私参数设置。我们的实证结果表明，（1）少数群体在偏斜的数据集显示成员推理的风险增加和（2）差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Auditing the Privacy of Synthetic Gene Expression Data: A Unified Weighted-Distance Framework for No-Box Membership Inference
Emory University（埃默里大学）
本研究提出统一加权距离框架审计合成基因表达数据的隐私，通过五种无盒成员推断攻击评估，发现谱残差化显著提升攻击效能，而通路先验不可迁移。
2026-10-06 cs.CR
What Hard Tokens Reveal: Exploiting Low-confidence Tokens for Membership Inference Attacks against Large Language Models
Florida International University（佛罗里达国际大学）；California State Polytechnic University, Pomona（加州州立理工大学波莫纳分校）
本文提出HT-MIA方法，通过分析低置信度token的概率改进，提升对大型语言模型的成员推断攻击效果，并探讨差分隐私训练作为防御机制。
2026-01-27 cs.CR
SHAPr: An Efficient and Versatile Membership Privacy Risk Metric for Machine Learning
University of Waterloo（滑铁卢大学）；Aalto University（阿尔托大学）
用于训练机器学习（ML）模型的数据可能是敏感的。成员推断攻击（MIA）试图确定特定数据记录是否用于训练ML模型，这可能会侵犯成员隐私。ML模型构建者需要一个原则性的度量定义，以量化（a）个人训练数据记录的成员隐私风险，（b）独立于特定MIA计算，（c）评估对不同MIA的敏感性，（d）可用于不同的应用程序，以及（e）有效。现有的会员隐私风险度量中没有一个同时满足所有这些要求。我们提出了SHAPr，一个成员隐私度量的基础上Shapley值，这是一个留一法（LOO）技术，原本打算衡量模型效用的训练数据记录的贡献。我们推测，模型效用的贡献可以作为记忆的代理，因此代表成员的隐私风险。使用十个基准数据集，我们表明，SHAPr确实是有效的估计敏感性的训练数据记录MIA。我们还表明，与以前的工作不同，SHAPr在估计对更新，更有效的MIA的易感性方面明显更好。我们应用SHAPr来评估针对MIA的几种防御措施的有效性：使用正则化和删除高风险训练数据记录。此外，SHAPr是通用的：它可以用于估计不同子组对MIA的脆弱性，并且继承Shapley值的应用（例如，数据估值）。我们表明，SHAPr具有可接受的计算成本（与朴素LOO相比），从最小数据集的几分钟到最大数据集的约92分钟不等。
2022-09-05 cs.CR cs.LG
MACE: A Flexible Framework for Membership Privacy Estimation in Generative Models
Microsoft（微软）；Insitro；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
生成式机器学习模型越来越被视为机构之间共享敏感数据的一种方式。虽然已经有开发差异私有生成建模方法的工作，但这些方法通常导致低于标准的样本质量，限制了它们在现实世界应用中的使用。另一项工作集中在开发生成模型，这些模型可以产生更高质量的样本，但目前缺乏任何正式的隐私保证。在这项工作中，我们提出了第一个正式的框架成员隐私估计生成模型。我们制定的成员隐私风险作为训练样本和保持样本之间的统计分歧，并提出基于样本的方法来估计这种分歧。与以往的工作相比，我们的框架，使更现实和灵活的假设。首先，我们提供了一个可推广的度量作为替代的准确性度量，特别是不平衡的数据集。其次，我们放松了从以前的研究中可以完全访问底层分布的假设，并提出了基于样本的估计与理论保证。第三，在基于最优成员优势的群体级成员隐私风险估计的基础上，提出了基于个体隐私风险的个体级成员隐私风险估计。第四，我们的框架允许对手通过自定义查询访问训练模型，而之前的工作需要特定的属性。
2022-10-12 cs.CR cs.LG
Privacy-preserving Generative Framework Against Membership Inference Attacks
Xidian University（西安电子科技大学）
人工智能和机器学习已经融入我们生活的方方面面，个人数据的隐私也越来越受到关注。由于模型的生成需要提取训练数据的有效信息，因此模型存在泄露训练数据隐私的风险。成员推断攻击可以在一定程度上度量源数据的模型泄漏。本文设计了一个抗成员推断攻击的隐私保护生成框架，通过生成模型变分自编码器（VAE）的信息抽取和数据生成能力，生成满足差分隐私需求的合成数据。我们不向模型输出添加噪声或篡改目标模型的训练过程，而是直接处理原始数据。首先通过VAE模型将源数据映射到隐空间得到隐码，然后对隐码进行满足度量隐私的噪声处理，最后利用VAE模型重构出合成数据。我们的实验评估表明，使用新生成的合成数据训练的机器学习模型可以有效地抵抗成员推断攻击，并且仍然保持较高的实用性。
2022-02-11 cs.AI cs.CR
Dynamic Probabilistic Noise Injection for Membership Inference Defense
Imperial College London（帝国理工学院）
本文提出DynaNoise和MIDPUT，通过动态调整噪声注入来提升成员推断防御的隐私与效用平衡。
2026-02-22 cs.CR
Membership Information Leakage in Federated Contrastive Learning
研究联邦对比学习（FCL）中常被忽视的成员信息泄露隐私风险，提出被动与主动两种成员推理攻击方法，验证了FCL范式的固有隐私风险。
2024-03-06 cs.CR
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Group Membership Verification with Privacy: Sparse or Dense?
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩计算机科学与应用研究所）
组成员身份验证检查生物特征是否对应于组中的一个成员，而不会泄露该成员的身份。最近的贡献提供了隐私的组成员协议，通过联合使用两种机制：量化模板到离散的嵌入和聚合成一个组表示的几个模板。然而，该方案有一个缺点：表示组的数据结构具有有限的大小，并且当聚集许多模板时不能识别噪声查询。此外，嵌入的稀疏性似乎对性能验证起着至关重要的作用。本文提出了一个数学模型，允许揭示稀疏性的安全性，紧凑性和验证性能的影响，组成员身份验证。该模型弥补了Bloom过滤器对噪声查询的鲁棒性。它表明，一个密集的解决方案是更有竞争力的，除非查询几乎没有噪音。
2020-02-24 cs.CR cs.CV
A Practical Set-Membership Proof for Privacy-Preserving NFC Mobile Ticketing
为了确保运输系统中用户的隐私，研究人员正在研究新的协议，以提供最佳的安全保障，同时尊重运输运营商的功能要求。在本文中，我们设计了一个安全的NFC移动票务协议的公共交通，保持用户的匿名性，并防止运输运营商跟踪他们的客户的行程。为此，我们引入了一个新的实用集成员资格证明，不需要证明者也不验证者（但在特定的情况下验证者）进行配对计算。因此，它特别适合我们的（票务）设置，其中证明人持有不支持这种昂贵计算的SIM/UICC卡。我们还提出了几个优化的Boneh-Boyen型签名方案，这是独立的利益，提高其性能和效率在NFC交易。与以前的解决方案相比，我们的m-ticketing协议提供了更大的灵活性，因为它支持后支付和离线验证m-tickets。通过使用标准的NFC SIM卡实现原型，我们表明，它满足了严格的功能要求，同时使用强大的安全参数的运输运营商。特别地，当移动设备被接通时，验证可以在184.25ms内完成，并且当移动设备被关断或其电池耗尽时，验证可以在266.52ms内完成。
2015-05-12 cs.CR
Knowledge Cross-Distillation for Membership Privacy
National University of Singapore（新加坡国立大学）；NEC Corporation（NEC公司）
成员推断攻击（MIA）对机器学习模型的训练数据造成隐私风险。使用MIA，攻击者猜测目标数据是否是训练数据集的成员。针对MIA的最先进的防御措施，即成员隐私（Membership Privacy）的蒸馏，不仅需要保护私人数据，还需要大量未标记的公共数据。然而，在某些隐私敏感的领域，如医疗和金融，公共数据的可用性得不到保证。此外，通过使用生成对抗网络生成公共数据的简单方法显着降低了模型的准确性，正如《自然》的作者所报道的那样。为了克服这个问题，我们提出了一种新的防御MIA，使用知识蒸馏，而不需要公共数据。我们的实验表明，我们的防御的隐私保护和准确性与MIA研究中使用的基准表格数据集，Purchase100和Texas100，我们的防御有一个更好的隐私效用权衡比现有的防御，也不使用公共数据的图像数据集CIFAR10。
2022-02-04 cs.CR cs.LG
Assessing Differentially Private Variational Autoencoders under Membership Inference
SAP（思爱普）；University of Waterloo（滑铁卢大学）
我们提出了一种方法来量化和比较的隐私准确性权衡差分私人变分自编码器。我们的工作在两个方面补充了以前的工作。首先，我们评估了差分隐私下针对变分自编码器的强重构MI攻击。其次，我们解决了数据科学家设置隐私参数的挑战，这将引导差分隐私的强度，从而也是隐私准确性的权衡。在我们的实验研究中，我们考虑图像和时间序列数据，和三个本地和中央差分隐私机制。我们发现，隐私准确性权衡强烈依赖于数据集和模型架构。我们很少观察到变分自编码器的隐私-准确性权衡，并确定LDP优于CDP的情况。
2022-04-16 cs.CR cs.LG
Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge
NIST（美国国家标准与技术研究院）
本文评估差分隐私在联邦学习中对抗成员推断攻击的效果，提出堆叠攻击策略，并在不同隐私配置下验证其性能。
2026-04-15 cs.CR cs.LG
A Unified Framework of Graph Information Bottleneck for Robustness and Membership Privacy
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon（亚马逊）
针对图神经网络易受对抗攻击、训练数据易遭成员推理泄露且现有方法难以同时兼顾鲁棒性与隐私的问题，提出融合邻居瓶颈与伪标签优化的图信息瓶颈框架，实现鲁棒预测与成员隐私保护的双重目标。
2023-06-14 cs.AI cs.CR cs.LG
A Critical Review on the Effectiveness and Privacy Threats of Membership Inference Attacks
Universitat Rovira i Virgili（罗维拉-维格利大学）；Department of Computer Engineering（计算机工程系）；Mathematics（数学）；CYBERCAT-Center for Cybersecurity Research of Catalonia（加泰罗尼亚网络安全研究中心）；ComSCIAM-Center for Computational Science and Applied Mathematics（计算科学与应用数学研究中心）
本文批判性回顾了成员推断攻击的有效性及隐私威胁，提出评估框架，发现现实条件下MIAs隐私威胁较弱，过度依赖可能导致风险高估和模型效用牺牲。
2026-03-24 cs.CR cs.LG
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis（加州大学戴维斯分校）
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡，分析其根因，并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
United We Defend: Collaborative Membership Inference Defenses in Federated Learning
The Hong Kong Polytechnic University（香港理工大学）；PolyU Research Centre for Privacy Security Technologies in Future Smart Systems（香港理工大学未来智能系统隐私安全技术研究中心）
本文提出CoFedMID框架，通过协作防御机制减少联邦学习中成员推断攻击的性能，同时保持模型效用。
2026-01-11 cs.CR
Discriminative Adversarial Privacy: Balancing Accuracy and Membership Privacy in Neural Networks
Politecnico di Milano（米兰理工大学）
本文提出判别式对抗隐私（DAP），通过对抗训练和新损失函数同时降低预测误差并最大化MIA误差，并以AOP指标评估其在准确率、训练速度与成员隐私间的权衡。
2023-06-05 cs.CR cs.LG
DeepLeak: Privacy Enhancing Hardening of Model Explanations Against Membership Leakage
Department of Computer and Information Science（计算机与信息科学系）；University of Michigan-Dearborn（密歇根大学-迪尔伯恩分校）
DeepLeak通过系统化方法减少模型解释中的成员泄露，提升隐私保护与可解释性的平衡。
2026-01-06 cs.CR cs.LG
Membership Inference Attacks Against Semantic Segmentation Models
成员推断攻击旨在通过观察其预测来推断数据记录是否已被用于训练目标模型。在医疗保健等敏感领域，这可能构成严重的隐私侵犯。在这项工作中，我们试图解决现有的知识差距进行了详尽的研究，成员推断攻击和防御领域的语义图像分割。我们的研究结果表明，对于某些威胁模型，这些学习设置可能比以前考虑的分类设置更容易受到攻击。我们还调查了一个威胁模型，一个不诚实的对手可以执行模型中毒，以帮助他们的推理和评估的影响，这些适应成员推断攻击的成功。我们定量评估了一些流行的模型架构在各种语义分割任务的攻击，证明在这个领域的成员推断攻击可以达到很高的成功率和防御他们可能会导致不利的隐私效用权衡或增加计算成本。
2022-12-02 cs.CR
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
虽然机器学习（ML）模型被部署在许多关键应用程序中作为核心组件，但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断，其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止，大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而，现实世界的ML模型通常是按照迁移学习范式训练的，其中模型所有者采用从不同数据集（即教师模型）学习的预训练模型，并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中，我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明，隶属度推理可以达到有效的性能。例如，在从ResNet20（用Caltech 101预训练）转移的CIFAR 100分类器上，我们的成员推理实现了$95\%$攻击AUC。此外，我们表明，隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
Measuring Membership Privacy on Aggregate Location Time-Series
虽然位置数据对于各种应用程序都非常有价值，但披露它会对个人隐私造成严重威胁。为了限制这种担忧，组织通常向分析师提供聚合时间序列，其指示，例如，某个时间间隔内有多少人在某个地点，而不是原始的个人痕迹。在本文中，我们进行了测量研究，以了解成员推断攻击（MIA）的聚合位置时间序列，其中一个对手试图推断是否一个特定的用户有助于聚合。我们发现，贡献的数据量，以及用户的移动模式的规律性和特殊性，在攻击的成功发挥了至关重要的作用。我们实验了广泛的防御的基础上推广，隐藏和扰动，并评估他们的能力，以挫败攻击相对于效用损失，他们介绍了各种移动性分析任务。我们的研究结果表明，一些防御失败的全面，而其他工作的特定任务的聚合位置时间序列。例如，抑制小计数可以用于热点排名、预测流量的数据概括、热点发现和地图推理，而采样在数据集稀疏时对于位置标记和异常检测是有效的。差异隐私技术仅在非常特定的设置中提供合理的准确性，例如，发现热点并预测其流量，在使用较弱的隐私概念（如人群混合隐私）时更是如此。总的来说，我们的测量结果表明，不存在一个独特的通用防御，可以保留任意应用程序的分析的效用，并提供有用的见解有关的消毒聚合位置时间序列的披露。
2020-04-27 cs.CR
Provable Membership Inference Privacy
Stanford University（斯坦福大学）；Google Cloud AI Research（谷歌云人工智能研究部）
在涉及敏感数据的应用中，例如金融和医疗保健，保护数据隐私的必要性可能是机器学习模型开发的重要障碍。差分隐私（DP）已经成为可证明隐私的一个规范标准。然而，DP强大的理论保证往往是以其对机器学习的效用大幅下降为代价的，而且DP保证本身可能很难解释。在这项工作中，我们提出了一个新的隐私概念，成员推理隐私（MIP），以解决这些挑战。我们给出了一个精确的表征MIP和DP之间的关系，并表明，MIP可以实现使用更少量的随机性相比，保证DP所需的量，导致较小的实用程序下降。MIP保证也很容易解释的成功率方面的成员推断攻击。我们的理论结果还产生了一个简单的算法，保证MIP，它可以被用来作为一个包装周围的任何算法的连续输出，包括参数模型训练。
2022-11-12 cs.CR cs.LG stat.ML
Pop Quiz Attack: Black-box Membership Inference Attacks Against Large Language Models
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全中心）
本文提出PopQuiz攻击，通过将目标数据转化为选择题来推断大语言模型是否能回忆特定训练数据，平均ROC-AUC达0.873，优于现有方法。
2026-05-07 cs.CR
Decoupling Generalizability and Membership Privacy Risks in Neural Networks
North Carolina State University（北卡罗来纳州立大学）
本文提出Privacy-Preserving Training Principle（PPTP）以解耦神经网络中的泛化能力与隐私风险，提升隐私保护同时保持模型性能。
2026-02-09 cs.AI cs.CR cs.LG
Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture
Princeton University（普林斯顿大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击是评估机器学习（ML）模型中隐私泄露的一个关键措施。这些攻击旨在通过利用模型在成员和非成员输入上的差异行为来区分训练成员和非成员。这项工作的目标是训练ML模型，具有较高的成员隐私，同时在很大程度上保留其实用性，因此，我们的目标是一个经验的成员隐私保证，而不是可证明的隐私保证提供的技术，如差分隐私，因为这些技术被证明会恶化模型的效用。具体来说，我们提出了一个新的框架，训练隐私保护模型，诱导成员和非成员输入类似的行为，以减轻成员推断攻击。我们的框架，称为SELENA，有两个主要组成部分。我们防御的第一个组成部分和核心是一个新颖的整体训练架构。我们称之为Split-AI的架构将训练数据拆分为随机子集，并在每个数据子集上训练模型。我们在测试时使用自适应推理策略：我们的集成架构仅聚合那些在其训练数据中不包含输入样本的模型的输出。我们证明了我们的Split-AI架构可以抵御一大群成员推断攻击，但是，它容易受到新的自适应攻击。因此，我们在我们的框架中使用了第二个组件，称为自蒸馏，以防止这种更强大的攻击。Self-Distillation组件（self-）通过我们的Split-AI集成来提取训练数据集，而不使用任何外部公共数据集。通过对主要基准数据集的广泛实验，我们表明，与最先进的技术相比，SELENA在会员隐私和实用性之间提供了优越的权衡。
2021-10-15 cs.CR cs.LG
Students Parrot Their Teachers: Membership Inference on Model Distillation
Google Research（谷歌研究院）
模型蒸馏是一种减少机器学习隐私泄露的技术。这些经验隐私防御依赖于这样一种直觉，即提炼的“学生”模型保护训练数据的隐私，因为它们只通过“教师”模型间接地与这些数据交互。在这项工作中，我们设计了成员推断攻击，系统地研究由知识蒸馏提供的教师和学生训练集的隐私。我们的新攻击表明，蒸馏本身只能在许多领域提供有限的隐私。我们解释了我们对蒸馏攻击的成功，表明对私有数据集的成员推断攻击可以成功，即使目标模型 * 从未 * 在任何实际训练点上查询，但仅在其预测受到训练数据高度影响的输入上。最后，我们表明，我们的攻击是最强的学生和教师集相似，或者当攻击者可以中毒的教师集。
2023-03-06 cs.CR cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；National University of Singapore（新加坡国立大学）
Masked语言模型~（MLMs）在敏感数据（从法律到医疗）上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息？先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的，这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中，我们认为以前的尝试是不确定的，因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验，涉及一个额外的参考传销，更准确地量化的记忆在传销的隐私风险。我们发现，掩蔽的语言模型非常容易受到似然比成员推断攻击的影响：我们的经验结果，在医学笔记上训练的模型上，表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平，在低错误区域有显着改善：在1%的误报率下，我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
Adaptive Diffusion Freezing: Privacy-preserving Diffusion Models Against Membership Inference Attacks
Beihang University（北京航空航天大学）
针对扩散模型成员推断攻击的隐私泄露问题，提出自适应扩散冻结（ADF）框架，通过跨时间步掩码控制数据参与并基于风险感知策略抑制高风险子集，实现隐私、效用与效率的最优权衡。
2026-09-11 cs.CR cs.LG
Machine Learning with Membership Privacy using Adversarial Regularization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National University of Singapore（新加坡国立大学）
机器学习模型会泄露关于它们所训练的数据集的信息。攻击者可以构建一个算法来跟踪模型训练数据集的各个成员。作为基本的推理攻击，他的目标是区分模型训练集的数据点和来自同一分布的任何其他数据点。这被称为跟踪（也称为成员推断）攻击。在本文中，我们专注于对黑盒模型的攻击，其中对手只能观察模型的输出，但不能观察其参数。这是互联网中机器学习作为服务的当前设置。我们引入了一种隐私机制来训练可证明实现成员隐私的机器学习模型：该模型对其训练数据的预测与其对来自同一分布的其他数据点的预测无法区分。我们设计了一个策略机制，隐私机制预计成员推理攻击。目标是训练一个模型，使其不仅具有最小的预测误差（高实用性），而且是针对其相应的最强推理攻击（高隐私性）的最鲁棒模型。我们将其形式化为一个最小-最大博弈优化问题，并设计了一个对抗性训练算法，该算法最大限度地减少了模型的分类损失以及对模型的成员推理攻击的最大收益。这种策略，保证了成员隐私（作为预测不可篡改性），也作为一个强正则化器，并显着推广了模型。我们使用不同的基准数据集在深度神经网络上评估我们的隐私机制。我们表明，我们的最小-最大策略可以减轻成员推断攻击的风险（接近随机猜测），在分类错误方面的成本可以忽略不计。
2018-07-16 cs.CR cs.LG stat.ML
Shadow-Free Membership Inference Attacks: Recommender Systems Are More Vulnerable Than You Thought
针对依赖影子训练的成员推理攻击在黑盒且缺乏目标系统知识时性能下降的问题，提出直接依据推荐个性化程度判断成员身份的无影子 MIA，并在多种推荐系统上验证其更准、更省算。
2024-05-11 cs.CR
Gaussian Membership Inference Privacy
University of Tübingen（蒂宾根大学）；Technical University of Munich（慕尼黑工业大学）；Harvard University（哈佛大学）
本文提出 $f$-成员推断隐私框架，并通过分析 SGD 推导出 $μ$-高斯成员推断隐私保证，同时给出无需影子模型的解析式攻击方法，用于审计隐私并分析超参数对攻击能力的影响。
2023-10-26 cs.CR cs.LG stat.ML
TIER: Trajectory-Invariant Explanation Regularization for Membership Privacy
ST Engineering（ST工程）
研究利用模型自身梯度作为防御信号抵御基于解释的成员推理攻击，提出TIER防御，通过惩罚梯度引导扰动模拟的置信度下降波动及最小化分布偏移来保护隐私，兼顾模型效用和解释保真度。
2026-07-07 cs.AI cs.CR
DPBloomfilter: Securing Bloom Filters with Differential Privacy
Independent Researcher（独立研究者）；The University of Hong Kong（香港大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
DPBloomfilter通过整合差分隐私机制，为布洛姆过滤器的成员查询问题提供了隐私保护，同时保持了高效的运行性能。
2026-01-23 cs.CR
VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks
本文提出VoxGuard框架，通过低误报率评估语音隐私，发现即使在低FPR下，对手攻击能力显著增强，强调需采用低FPR评估以准确衡量隐私泄露。
2026-01-26 cs.CR cs.LG
One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy
City University of Macau（澳门城市大学）
机器学习模型易受数据推断攻击，例如隶属推断和模型反演攻击。在这些类型的漏洞中，攻击者试图推断数据记录在数据集中的成员资格，甚至使用目标模型预测的置信度得分向量来重建该数据记录。然而，大多数现有的防御方法只能防止成员推断攻击。可以对抗这两种类型攻击的方法需要训练新的模型，这可能不是时间效率。在本文中，我们提出了一种差异化的私人防御方法，处理这两种类型的攻击，在一个时间效率的方式调整只有一个参数，隐私预算。其核心思想是修改和规范化的置信度向量的差分隐私机制，保护隐私和模糊的成员和重建的数据。此外，该方法可以保证向量中得分的顺序，以避免分类精度的任何损失。实验结果表明，该方法是一个有效的和及时的防御隶属度推断和模型反演攻击的准确性没有降低。
2022-03-13 cs.AI cs.CR
Privacy Auditing with Zero (0) Training Run
Inria（法国国家数字与计算机科学研究所）；Inserm, Univ. de Montpellier（法国国家健康与医学研究院，蒙彼利埃大学）
本文提出零次训练隐私审计方法，通过固定数据集评估模型隐私参数，解决传统方法需多次重训练或数据随机化的难题，提供有效的隐私审计框架。
2026-09-11 cs.CR
Membership Privacy Protection for Image Translation Models via Adversarial Knowledge Distillation
Simon Fraser University（西蒙菲莎大学）；Tianjin University（天津大学）；Huawei Canada Technologies Co. Ltd.（华为加拿大技术有限公司）
图像到图像的翻译模型被证明是容易受到成员推断攻击（MIA），其中对手的目标是确定是否使用样本来训练模型或没有。随着基于图像到图像翻译模型的应用日益增多，保护这些模型的隐私免受MIA的侵害至关重要。我们提出了对抗性知识蒸馏（AKD）作为一种防御方法对MIA的图像到图像的翻译模型。该方法通过提高模型的泛化能力来保护训练样本的隐私。我们对图像到图像的翻译模型进行了实验，结果表明，与常规训练模型相比，AKD通过将攻击性能降低高达38.9%，从而实现了最先进的实用性-隐私权衡，其代价是生成的输出图像的质量略有下降。实验结果还表明，AKD训练的模型比常规训练模型具有更好的泛化能力。此外，与现有的防御方法相比，结果表明，在相同的隐私保护水平下，AKD训练的图像翻译模型生成的输出质量更高;而在相同的输出质量下，AKD将隐私保护提高了30%以上。
2022-03-10 cs.CR cs.CV
Bits for Privacy: Evaluating Post-Training Quantization via Membership Inference
Department of Computer Science University of Luxembourg（计算机科学系卢森堡大学）；Department of Computer Science Nanjing University（计算机科学系南京大学）
研究通过成员推断攻击评估训练后量化在隐私和效用之间的平衡，发现低精度量化可显著降低隐私泄露风险，但会牺牲模型效用。
2025-12-17 cs.CR cs.LG
Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy
University of Helsinki（赫尔辛基大学）；Microsoft（微软）
本文探讨了在差分隐私中使用添加/移除邻接关系的局限性，指出其在保护记录属性时的不足，并通过实验验证了替代邻接关系在隐私计数中的有效性。
2026-04-07 cs.CR cs.LG
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks
IBM Research（IBM研究院）
本文首次系统综述微调大语言模型对成员推断攻击的脆弱性，发现差分隐私与低秩适配器组合能提供最佳隐私保护。
2024-03-13 cs.CR cs.LG
Leveraging Membership Inference Attacks for Privacy Measurement in Federated Learning for Remote Sensing Images
本文提出利用成员推断攻击作为联邦学习中遥感图像隐私测量的量化框架，评估不同FL算法和通信策略下的隐私泄露情况，发现通信高效策略能降低攻击成功率并保持性能。
2026-01-08 cs.AI cs.CR cs.CV
Membership Inference Attacks Against Text-to-image Generation Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（赛富时研究院）
文本到图像生成模型最近吸引了前所未有的关注，因为它们在生活的各个领域中打开了富有想象力的应用。然而，开发这样的模型需要可能包含隐私敏感信息的大量数据，例如，面对身份。虽然隐私风险已经在图像分类和GAN生成领域中得到了广泛的证明，但文本到图像生成领域中的隐私风险在很大程度上尚未被探索。在本文中，我们进行了第一次隐私分析的文本到图像生成模型，通过镜头的成员推理。具体而言，我们提出了三个关键直觉的成员信息和设计相应的攻击方法。我们对两种主流的文本到图像生成模型进行了全面的评估，包括序列到序列建模和基于扩散的建模。实验结果表明，所有提出的攻击都能获得显著的性能，在某些情况下甚至接近于1的精度，因此相应的风险比现有的成员推断攻击要严重得多。我们进一步进行了广泛的消融研究，分析可能影响攻击性能的因素，这可以指导开发人员和研究人员警惕文本到图像生成模型中的漏洞。所有这些研究结果表明，我们提出的攻击构成了现实的隐私威胁的文本到图像生成模型。
2022-10-03 cs.CR cs.LG
Data Forensics in Diffusion Models: A Systematic Analysis of Membership Privacy
Technical University of Munich（慕尼黑工业大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文系统分析扩散模型的成员推断攻击，利用易获取量设计针对不同场景的新攻击方法，在现实设置下取得接近完美的攻击性能，揭示了扩散模型在图像生成中的隐私与知识产权风险。
2023-08-05 cs.CR cs.LG
Noisy Neighbors: Efficient membership inference attacks against LLMs
Scuola Normale Superiore（比萨高等师范学校）；Meta Inc.（元公司）
针对大语言模型的隐私风险评估需求，提出一种仅需模型推理、通过嵌入空间加噪生成噪声邻居的高效成员推断攻击方法，效果媲美影子模型方法，适用于实际隐私审计。
2024-06-24 cs.CR cs.LG
Membership Inference Attacks on Vision-Language-Action Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Georgia Institute of Technology（佐治亚理工学院）
本文首次系统研究了针对视觉-语言-动作（VLA）模型的成员推断攻击（MIAs），提出了样本级和轨迹级的攻击设置，并展示了在多个VLA基准和模型上，攻击方法在黑盒环境下表现出色，揭示了VLA模型在隐私方面的高风险。
2026-05-08 cs.CR
Ensemble Privacy Defense for Knowledge-Intensive LLMs against Membership Inference Attacks
Vanderbilt University（范德比大学）；University of Arizona（亚利桑那大学）；Clemson University（克莱姆森大学）
本文提出集成隐私防御框架EPD，通过聚合知识注入LLM、基础LLM和专用判断模型的输出，有效降低成员推断攻击的成功率，提升知识密集型大语言模型的隐私安全性。
2025-12-01 cs.AI cs.CR
Enhancing One-run Privacy Auditing with Quantile Regression-Based Membership Inference
Carnegie Mellon University（卡内基梅隆大学）；ETH Zurich（苏黎世联邦理工学院）
本研究提出基于分位数回归的成员推断攻击，以增强黑盒设置下DP-SGD的单次运行隐私审计，在CIFAR-10上取得更紧致的经验下界并保持计算效率。
2025-06-18 cs.CR cs.LG
When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry
Institute of Science Tokyo（东京科学大学）；Nanyang Technological University（南洋理工大学）；Tohoku University（东北大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Shandong University（山东大学）
该研究提出路由器增强的成员推理攻击，发现MoE模型的路由器遥测可泄露样本是否用于微调，在多设置下提升成员推理性能，是微调MoE模型的额外隐私风险面。
2026-10-09 cs.CR cs.LG
Membership Inference of Diffusion Models
University of Luxembourg（卢森堡大学）
近年来，扩散模型在数据合成方面取得了巨大的成功。然而，当扩散模型应用于敏感数据时，它们也引起了严重的隐私问题。本文首次系统地研究了扩散模型的成员推断攻击，旨在推断样本是否用于训练模型。提出了两种攻击方法，即基于损失的攻击和基于似然的攻击。我们的攻击方法进行评估的几个国家的最先进的扩散模型，在不同的数据集的隐私敏感数据。广泛的实验评估表明，我们的攻击可以实现显着的性能。此外，我们详尽地调查各种因素，可以影响攻击性能。最后，我们还评估了我们的攻击方法在差分隐私训练的扩散模型上的性能。
2023-01-24 cs.CR cs.LG
