Set-Membership Inference Attacks using Data Watermarking
Ruhr University(鲁尔大学)
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法,通过条件采样揭示训练数据中的水印,有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology(佐治亚理工学院)
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统,称为MPLens,有三个独特的贡献。首先,通过MPLens,我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次,通过MPLens,我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的,特别是当训练数据本身是偏斜的时候。我们发现,当模型使用倾斜的训练数据时,成员推断攻击的风险通常会增加。最后,我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性,学习任务的复杂性,数据集的复杂性和隐私参数设置。我们的实证结果表明,(1)少数群体在偏斜的数据集显示成员推理的风险增加和(2)差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Blind Baselines Beat Membership Inference Attacks for Foundation Models
ETH Zurich(苏黎世联邦理工学院)
针对基础模型的成员推断攻击评估因成员与非成员采样分布不同而有缺陷;在8个数据集上,不看模型的盲攻击优于最先进MI攻击,表明现有评估无法反映真实成员泄露。
2025-03-30 cs.CL cs.CR cs.LG
Investigating Membership Inference Attacks under Data Dependencies
University of Waterloo(滑铁卢大学)
该研究针对现有成员推理攻击评估默认样本独立同分布的局限,分析了样本存在统计依赖时差分隐私的保护失效原因,通过实证验证训练集依赖会显著提升成员推理攻击性能。
2023-06-14 cs.CR cs.LG
Find a Scapegoat: Poisoning Membership Inference Attack and Defense to Federated Learning
Yale University(耶鲁大学);University of Louisville(路易斯维尔大学);Guangdong Polytechnic Normal University(广东 polytechnic 正规大学)
本文提出针对联邦学习的投毒成员推理攻击FedPoisonMIA,通过恶意客户端构造本地更新推断成员信息,并设计鲁棒防御机制以减轻其影响。
2025-07-01 cs.CR cs.DC cs.LG
Efficient passive membership inference attack in federated learning
Inria(法国国家信息与自动化研究所);Univ. Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);I3S(信息、科学与社会实验室)
在跨设备联邦学习(FL)设置中,诸如移动设备的客户端与服务器协作以训练全局机器学习模型,同时在本地维护其数据。然而,最近的工作表明,客户端的私人信息仍然可以透露给对手谁只是窃听客户端和服务器之间交换的消息。例如,攻击者可以推断客户端是否拥有特定的数据实例,这被称为被动成员推断攻击。在本文中,我们提出了一种新的被动推理攻击,需要更少的计算能力和内存比现有的方法。我们的实验结果表明,我们的攻击达到了更高的准确率CIFAR100数据集(超过$4$百分点),少三个数量级的内存空间和五个数量级的计算。
2021-10-31 cs.CR cs.DC cs.LG
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis(加州大学戴维斯分校)
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡,分析其根因,并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
MIA-BAD: An Approach for Enhancing Membership Inference Attack and its Mitigation with Federated Learning
Old Dominion University(奥尔多明尼恩大学);Virginia Modeling, Analysis and Simulation Center(弗吉尼亚建模、分析与仿真中心);Deloitte & Touche LLP(德勤有限责任合伙事务所)
本文提出MIA-BAD方法,通过逐批次生成攻击数据集来增强成员推理攻击的准确性和效率,并研究利用联邦学习缓解该攻击威胁,实验验证了其效果。
2023-11-28 cs.AI cs.CR cs.LG
Apollo: A Posteriori Label-Only Membership Inference Attack Towards Machine Unlearning
University of Pittsburgh(匹兹堡大学);Cisco Research(思科研究)
本研究针对现有面向机器遗忘的隐私攻击依赖弱威胁模型、可行性受限的问题,提出仅需访问遗忘模型标签输出的Apollo后验仅标签成员推理攻击,以更低的模型访问权限实现了较高的被遗忘样本成员身份推断精度。
2025-10-27 cs.LG
Active Membership Inference Attack under Local Differential Privacy in Federated Learning
University of Florida(佛罗里达大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出联邦学习中由不诚实服务器发起的主动成员推理攻击,利用非线性决策边界在本地差分隐私下实现高成功率,并揭示防御噪声会显著损害模型效用。
2023-07-24 cs.AI cs.CR cs.LG
Res-MIA: A Training-Free Resolution-Based Membership Inference Attack on Federated Learning Models
Department of Computer Engineering and Information Technology(计算机工程与信息技术系)
Res-MIA是一种无训练、黑盒的联邦学习成员推断攻击,通过降解输入分辨率来揭示模型对高频细节的敏感性,实现高精度的隐私泄露检测。
2026-01-24 cs.AI cs.CR cs.LG
Membership Inference Attacks on Deep Regression Models for Neuroimaging
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Mark and Mary Stevens Institute for Neuroimaging and Informatics, Keck School of Medicine, University of Southern California(南加州大学凯克医学院马克与玛丽·史蒂文斯神经影像与信息学研究所);University of Southern California(南加州大学)
确保研究参与者的隐私至关重要,在医疗保健环境中更是如此。神经成像的深度学习方法需要大型数据集,这通常需要在多个站点之间共享数据,这与隐私目标背道而驰。联邦学习是解决这个问题的一种常见方法。它通过在训练过程中共享参数来避免数据共享的需要。然而,我们证明,允许访问参数可能会泄漏私人信息,即使数据从来没有直接共享。特别是,我们表明,它是可以推断,如果一个样本被用来训练模型只访问模型预测(黑盒)或访问模型本身(白盒)和一些泄漏的样本从训练数据分布。这种攻击通常被称为成员推断攻击。我们展示了在集中式和分散式设置中针对3D神经成像任务训练的深度学习模型上的真实成员推理攻击。我们展示了对大脑年龄预测模型(通过大脑MRI扫描预测人的年龄的深度学习模型)的可行攻击。我们正确地识别了MRI扫描是否用于模型训练,成功率为60%到80%以上,这取决于模型的复杂性和安全性假设。
2021-06-03 cs.CR cs.LG eess.IV
Sharing Models or Coresets: A Study based on Membership Inference Attack
Pennsylvania State University(宾夕法尼亚州立大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Army Research Laboratory(陆军研究实验室)
分布式机器学习通常旨在基于分布式数据训练全局模型,而无需将所有数据收集到集中位置,其中已经提出了两种不同的方法:收集和聚合本地模型(联邦学习)以及收集和训练代表性数据摘要(coreset)。虽然由于不共享原始数据,每种方法都在一定程度上保护了数据隐私,但在试图从共享信息中推断原始数据的复杂攻击下,保护的确切程度尚不清楚。我们提出了两种方法之间的目标模型的准确性,通信成本和数据隐私方面的第一个比较,其中最后一个是衡量一个国家的最先进的攻击策略称为成员推断攻击的准确性。我们的实验量化了每种方法的准确性-隐私性-成本权衡,并揭示了一个可用于指导模型训练过程设计的重要比较。
2020-07-06 cs.LG stat.ML
Some Targets Are Harder to Identify than Others: Quantifying the Target-dependent Membership Leakage
Inria Centre at University of Lille(里尔大学Inria中心);CREST;ENSAE Paris(巴黎经济与统计学院);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文通过Mahalanobis距离刻画固定目标成员推理博弈中最优攻击的效能,解释了目标依赖的攻击难度,并提出改进的协方差攻击及联邦学习隐私审计策略。
2025-03-06 cs.CR cs.LG math.ST
TAMIS: Tailored Membership Inference Attacks on Synthetic Data
Univ. Lille(里尔大学);Inria(法国国家信息与自动化技术研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工大学);UMR 9189 - CRIStAL(9189号联合研究单位——CRIStAL)
针对依赖图模型的差分隐私合成数据生成方法,提出TAMIS攻击:基于MAMA-MIA优化,仅用合成数据恢复图模型并引入数学化攻击分数,降低成本与知识需求,在SNAKE复现任务中性能更优或相当。
2025-11-12 cs.LG stat.ML
Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Intel Labs(英特尔实验室)
机器学习模型倾向于记忆敏感数据,使得它们容易受到成员推断攻击,其中对手旨在推断输入样本是否用于训练模型。在过去的几年里,研究人员已经产生了许多成员推断攻击和防御。然而,这些攻击和防御采用各种策略,并在不同的模型和数据集中进行。然而,缺乏全面的基准测试意味着我们不了解现有攻击和防御的优势和劣势。我们填补了这一空白,提出了一个大规模的测量不同的成员推断攻击和防御。我们通过对九种攻击和六种防御的研究,将隶属度推理系统化,并在整体评估中衡量不同攻击和防御的性能。然后,我们量化了威胁模型对这些攻击结果的影响。我们发现威胁模型的一些假设,如相同的架构和相同的分布之间的影子和目标模型,是不必要的。我们也是第一个对从互联网收集的真实世界数据而不是实验室数据集进行攻击的公司。我们进一步研究了是什么决定了成员推断攻击的性能,并揭示了通常认为的过拟合水平是不足以成功的攻击。相反,成员和非成员样本之间的熵/交叉熵的Jensen-Shannon距离与攻击性能的相关性要好得多。这为我们提供了一种新的方法来准确预测成员推理风险,而无需运行攻击。最后,我们发现,数据增强降低了现有的攻击在更大程度上的性能,我们提出了一个自适应攻击使用增强训练阴影和攻击模型,提高攻击性能。
2022-08-22 cs.CR cs.LG
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh(爱丁堡大学);Meta AI
近年来,机器学习模型对成员推断攻击的脆弱性备受关注。然而,现有的攻击大多仍然是不切实际的,由于具有高误报率,其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠,特别是因为大多数样本在现实世界应用中是非成员。在这项工作中,我们认为,成员推断攻击可以大大受益于\emph{difficulty calibration},其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明,难度校准可以显着降低各种现有攻击的误报率,而不会损失准确性。
2022-04-11 cs.CR cs.LG
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt(达姆施塔特工业大学);SAP SE(思爱普公司)
我们提出了两个信息泄漏攻击,优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断,而无需对生成模型的类型进行假设。与以前的生成模型评估指标(如核密度估计)相反,它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器,以实现较高的隶属推理精度。此外,以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者,以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估,生成对抗网络(GANs)和变分自编码器(VAE),在标准图像数据集上训练。我们的研究结果表明,这两种攻击产生的成功率优于以前的工作在大多数数据集,而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合,特别有用。例如,在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中,我们的工作激励了GANs的使用,因为它们在产生详细样本的同时,被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University(普渡大学);NVIDIA Research(NVIDIA研究)
针对成员推断攻击,提出自适应场景下的级联攻击(CMIA)和非自适应场景下的代理攻击(PMIA),利用成员依赖性或代理样本行为提升推断性能,在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
Do Backdoors Assist Membership Inference Attacks?
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
当攻击者向机器学习模型提供有毒样本时,隐私泄露(例如推断样本是否包括在模型的训练中的成员推断攻击)通过将样本移动到离群值而变得有效。然而,攻击可以被检测到,因为推理精度由于有毒样本而恶化。在本文中,我们讨论了一个\textit{backdoor-assisted membership inference attack},一种新的成员推断攻击的基础上后门,返回对手的预期输出的触发样本。通过对学术基准数据集的实验,我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次,当我们分析损失分布以了解不成功结果的原因时,我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说,后门不会影响干净样本的分发。第三,我们还表明,毒物和触发样本激活不同分布的神经元。具体来说,后门使任何干净的样本成为内围值,而不是中毒样本。因此,我们确认,后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Zhejiang Lab(之江实验室);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击,例如模型反演攻击和成员推断攻击,其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法,即净化框架,来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明,当净化器致力于一种攻击时,它自然会防御另一种攻击,这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如,它可以将隶属度推断精度降低高达15%,并将模型反演误差增加高达4倍。此外,它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Membership Inference Attacks From First Principles
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
成员推断攻击允许对手查询经训练的机器学习模型,以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估,无法表征攻击是否可以自信地识别训练集的任何成员。我们认为,攻击应该通过计算它们在低(例如,<0.1%)的假阳性率,并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题,我们开发了一种LikeRatio攻击(LiRA),它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍,并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Membership Inference Attacks by Exploiting Loss Trajectory
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心)
机器学习模型容易受到成员推断攻击的攻击,其中攻击者旨在预测目标模型的训练数据集中是否包含特定样本。现有的攻击方法通常只利用给定目标模型的输出信息(主要是损失)。因此,在成员样本和非成员样本产生类似小损失的实际场景中,这些方法自然无法区分它们。为了解决这一问题,本文提出了一种新的攻击方法,称为\system,它可以利用目标模型在整个训练过程中的隶属度信息来提高攻击性能。为了在常见的黑盒设置中安装攻击,我们利用知识蒸馏,并表示成员信息的损失评估的一系列中间模型在不同的蒸馏时期,即\emph{distilled loss trajectory},连同从给定的目标模型的损失。在不同数据集和模型架构上的实验结果证明了我们的攻击在不同度量方面的巨大优势。例如,在CINIC-10上,我们的攻击比现有方法在0.1\%的低假阳性率下实现了至少6 $\times$的真阳性率。进一步的分析证明了我们的攻击在更严格的情况下的一般有效性。
2022-08-31 cs.CR cs.LG
MIST: Defending Against Membership Inference Attacks Through Membership-Invariant Subspace Training
Purdue University(普渡大学)
针对成员推断攻击,提出成员不变子空间训练(MIST)方法,通过识别并避免过度拟合脆弱实例,在最小化测试精度损失的同时优于现有防御。
2024-05-29 cs.CR cs.LG
Membership Inference Attacks and Defenses in Classification Models
Purdue University(普渡大学)
我们研究了对分类器的成员推理(MI)攻击,攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估,我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后,我们提出了一种针对MI攻击的防御方法,旨在通过故意降低训练精度来缩小差距。更具体地说,训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度,该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明,将这种方法与另一种简单的防御(混合训练)相结合,可以显着提高对MI攻击的最先进的防御能力,同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
Membership Inference of Diffusion Models
University of Luxembourg(卢森堡大学)
近年来,扩散模型在数据合成方面取得了巨大的成功。然而,当扩散模型应用于敏感数据时,它们也引起了严重的隐私问题。本文首次系统地研究了扩散模型的成员推断攻击,旨在推断样本是否用于训练模型。提出了两种攻击方法,即基于损失的攻击和基于似然的攻击。我们的攻击方法进行评估的几个国家的最先进的扩散模型,在不同的数据集的隐私敏感数据。广泛的实验评估表明,我们的攻击可以实现显着的性能。此外,我们详尽地调查各种因素,可以影响攻击性能。最后,我们还评估了我们的攻击方法在差分隐私训练的扩散模型上的性能。
2023-01-24 cs.CR cs.LG
Membership Inference Attacks Against Recommender Systems
Shandong University(山东大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
近年来,推荐系统取得了令人瞩目的成绩,成为应用最广泛的网络应用之一。然而,推荐系统通常是在高度敏感的用户数据上训练的,因此来自推荐系统的潜在数据泄漏可能导致严重的隐私问题。在本文中,我们首次尝试量化的隐私泄漏的推荐系统,通过镜头的成员推理。与传统的隶属度推理对机器学习分类器相比,我们的攻击面临两个主要的区别。首先,我们的攻击是在用户级别,而不是在数据样本级别。第二,对手只能从推荐系统中观察到有序的推荐项目,而不是后验概率形式的预测结果。为了解决上述挑战,我们提出了一种新的方法,代表用户从相关的项目。此外,建立影子推荐器,以获得用于训练攻击模型的标记训练数据。大量的实验结果表明,我们的攻击框架实现了强大的性能。此外,我们设计了一种防御机制来有效减轻推荐系统的成员推理威胁。
2021-09-16 cs.CR cs.LG
Imitative Membership Inference Attack
Purdue University(普渡大学);NVIDIA Research(英伟达研究)
IMIA通过模仿训练技术构建少量目标感知模型,以更高效的方式实现成员推断攻击,优于现有方法且计算成本更低。
2026-01-10 cs.CR cs.LG
Node-Level Membership Inference Attacks Against Graph Neural Networks
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Sichuan University(四川大学);NortonLifeLock Research Group(诺顿LifeLock研究组)
许多真实世界的数据以图表的形式出现,例如社交网络和蛋白质结构。为了充分利用图数据中包含的信息,已经引入了一种新的机器学习(ML)模型族,即图神经网络(GNNs)。此前的研究表明,机器学习模型容易受到隐私攻击。然而,目前的大部分努力都集中在基于欧几里得空间数据(如图像和文本)训练的ML模型上。另一方面,GNN产生的隐私风险在很大程度上仍未得到研究。在本文中,我们通过对GNN进行节点级成员推断攻击的第一次全面分析来填补这一空白。我们系统地定义了威胁模型,并提出了三个节点级的成员推断攻击对手的背景知识的基础上。我们对三种GNN结构和四个基准数据集的评估表明,即使对手具有最少的背景知识,GNN也容易受到节点级成员推断的影响。此外,我们表明,图密度和特征相似性有一个重大影响的攻击的成功。我们进一步研究了两种防御机制,实证结果表明,这些防御可以降低攻击性能,但有适度的效用损失。
2021-02-10 cs.CR cs.LG
M^4I: Multi-modal Models Membership Inference
University of Adelaide(阿德莱德大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
随着机器学习技术的发展,研究的重点已经从单模态学习转移到多模态学习,因为真实世界的数据以不同的模态形式存在。然而,多模态模型通常比单模态模型携带更多的信息,并且它们通常应用于敏感场景,例如医疗报告生成或疾病识别。与现有的机器学习分类器的隶属度推理方法相比,本文重点研究了多模态模型的输入和输出具有不同模态(如图像描述)的问题。本文从成员推断攻击的角度研究了多模态模型的隐私泄露问题。为了实现这一点,我们提出了多模态模型成员关系推断(M^4I)与两种攻击方法来推断成员的状态,命名为基于度量(MB)M^4I和基于特征(FB)M^4I,分别。更具体地,MB M^4I在攻击时采用相似性度量来推断目标数据成员关系。FB M^4I使用预训练的影子多模态特征提取器,通过比较提取的输入和输出特征的相似性来实现数据推理攻击的目的。大量的实验结果表明,这两种攻击方法可以实现强大的性能。在不受限制的情况下,平均攻击成功率分别为72.5%和94.83%。此外,我们评估了针对我们的攻击的多种防御机制。M^4I攻击的源代码可在https://github.com/MultimodalMI/Multimodal-membership-inference.git上公开获取。
2022-09-15 cs.CR cs.LG
Membership Inference Attacks are Easier on Difficult Problems
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
成员推断攻击(MIA)试图检测数据样本是否被用于训练神经网络模型,例如检测版权滥用。我们发现,具有更高维度的输入和输出的模型更容易受到MIA的影响,并在更详细的图像翻译和语义分割,包括医学图像分割模型。我们表明,重建错误可以导致非常有效的MIA攻击,因为它们是记忆的指示。不幸的是,重建误差本身在区分训练中使用的不可预测图像和以前从未见过的易于预测图像方面效果较差。为了克服这一点,我们建议使用一种新的可预测性误差,可以为每个样本计算,其计算不需要训练集。我们的成员误差,通过减去重建误差的可预测性误差,实现高MIA的准确性在大量的基准。
2021-08-18 cs.CR cs.LG
Membership Inference Attacks on Diffusion Models via Quantile Regression
Amazon AWS AI/ML(亚马逊AWS人工智能/机器学习部门);Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
针对扩散模型的训练数据泄露风险,提出基于分位数回归和 bootstrap 弱攻击器投票的成员推理攻击,以更低计算成本超越现有最优方法。
2023-12-08 cs.CR cs.LG
Practical Bayes-Optimal Membership Inference Attacks
Chalmers University of Technology(查尔姆斯理工大学);AI Sweden(瑞典人工智能中心);Linköping University(林雪平大学)
该研究基于贝叶斯决策理论推导了节点级成员推理攻击的最优规则,提出适用于普通数据和图数据的BASE与G-BASE方法,以更低成本达到SOTA性能,还证明了BASE与RMIA在特定超参数下等价。
2025-10-27 cs.CR cs.LG
On the (In)Feasibility of Attribute Inference Attacks on Machine Learning Models
Macquarie University(麦考瑞大学);University of New South Wales(新南威尔士大学);Data61-CSIRO(Data61-联邦科学与工业研究组织);BITS Pilani K.K.Birla Goa campus(戈亚校区比尔拉理工学院);Cyber & Electronic Warfare Division, Defence Science and Technology Group, Australia(澳大利亚国防科技集团网络与电子战分部)
随着低成本机器学习API的增加,高级机器学习模型可以在私有数据集上进行训练,并通过将其作为服务提供来货币化。然而,隐私研究人员已经证明,这些模型可能会通过成员推断攻击泄露有关训练数据集中记录的信息。在本文中,我们仔细研究了文献中报道的另一种推理攻击,称为属性推理,攻击者试图通过访问机器学习模型作为API来推断训练数据集中使用的部分已知记录的缺失属性。我们表明,即使一个分类模型屈服于成员推断攻击,它是不太可能容易受到属性推理攻击。我们证明,这是因为成员推断攻击无法区分一个成员附近的非成员。我们称攻击者区分两个(相似)向量的能力为强成员推理。我们发现,成员推断攻击不能推断成员在这个强设置,因此推断属性是不可行的。然而,在一个宽松的概念下的属性推断,称为近似属性推断,我们表明,它是可能的推断接近真实属性的属性。我们验证了我们的结果在三个公开的数据集,五个成员,和三个属性推断攻击文献报道。
2021-03-12 cs.CR cs.LG
Membership Inference Attacks Against Text-to-image Generation Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Salesforce Research(赛富时研究院)
文本到图像生成模型最近吸引了前所未有的关注,因为它们在生活的各个领域中打开了富有想象力的应用。然而,开发这样的模型需要可能包含隐私敏感信息的大量数据,例如,面对身份。虽然隐私风险已经在图像分类和GAN生成领域中得到了广泛的证明,但文本到图像生成领域中的隐私风险在很大程度上尚未被探索。在本文中,我们进行了第一次隐私分析的文本到图像生成模型,通过镜头的成员推理。具体而言,我们提出了三个关键直觉的成员信息和设计相应的攻击方法。我们对两种主流的文本到图像生成模型进行了全面的评估,包括序列到序列建模和基于扩散的建模。实验结果表明,所有提出的攻击都能获得显著的性能,在某些情况下甚至接近于1的精度,因此相应的风险比现有的成员推断攻击要严重得多。我们进一步进行了广泛的消融研究,分析可能影响攻击性能的因素,这可以指导开发人员和研究人员警惕文本到图像生成模型中的漏洞。所有这些研究结果表明,我们提出的攻击构成了现实的隐私威胁的文本到图像生成模型。
2022-10-03 cs.CR cs.LG
Membership Inference Attacks against Diffusion Models
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
近年来,扩散模型作为创新的生成模型引起了人们的关注。在本文中,我们调查是否扩散模型是抵抗成员推断攻击,评估隐私泄漏的机器学习模型。我们主要从与作为常规模型的生成对抗网络(GAN)和扩散模型所特有的超参数(即,时间步长、采样步长和采样方差。我们进行了广泛的实验DDIM作为一个扩散模型和DCGAN作为GAN的CelebA和CIFAR-10数据集在白盒和黑盒设置,然后确认是否扩散模型是抵抗成员推断攻击的GAN。接下来,我们证明了时间步骤的影响是显着的,并且噪音时间表中的中间步骤最容易受到攻击。通过进一步分析,我们还发现了两个关键的见解。首先,我们确定DDIM是容易受到攻击的小样本量,而不是实现较低的FID。其次,超参数中的采样步骤对于抵抗攻击非常重要,而采样方差的影响非常有限。
2023-03-22 cs.CR cs.LG
Students Parrot Their Teachers: Membership Inference on Model Distillation
Google Research(谷歌研究院)
模型蒸馏是一种减少机器学习隐私泄露的技术。这些经验隐私防御依赖于这样一种直觉,即提炼的“学生”模型保护训练数据的隐私,因为它们只通过“教师”模型间接地与这些数据交互。在这项工作中,我们设计了成员推断攻击,系统地研究由知识蒸馏提供的教师和学生训练集的隐私。我们的新攻击表明,蒸馏本身只能在许多领域提供有限的隐私。我们解释了我们对蒸馏攻击的成功,表明对私有数据集的成员推断攻击可以成功,即使目标模型 * 从未 * 在任何实际训练点上查询,但仅在其预测受到训练数据高度影响的输入上。最后,我们表明,我们的攻击是最强的学生和教师集相似,或者当攻击者可以中毒的教师集。
2023-03-06 cs.CR cs.LG
Can Membership Inferencing be Refuted?
University of California, San Diego(加州大学圣地亚哥分校)
隶属度推断攻击是目前机器学习模型中最流行的隐私泄露度量方法。给定机器学习模型、数据点和一些辅助信息,MI攻击的目标是确定数据点是否用于训练模型。在这项工作中,我们研究了成员推断攻击在实践中的可靠性。具体来说,我们证明了模型所有者可以通过构建否认证明来反驳数据点$x$上的成员推断测试的结果,该证明证明模型是在没有$x$的情况下训练的。我们设计了有效的算法来构造训练数据集的所有数据点的否认证明。我们的实证评估证明了我们的算法的实际可行性,通过构建流行的机器学习模型MNIST和CIFAR-10的否定证明。因此,我们的研究结果要求重新评估的影响,成员推断攻击在实践中。
2023-03-08 cs.CR cs.LG
Adapting Membership Inference Attacks to GNN for Graph Classification: Approaches and Implications
Monash University(莫纳什大学)
图神经网络(GNN)被广泛用于分析非欧几里德数据,如化学网络,大脑网络和社交网络,建模对象之间的复杂关系和相互依赖性。最近,针对GNN的成员推断攻击(MIA)引发了严重的隐私问题,其中训练数据可能从训练的GNN模型中泄露。然而,先前的研究集中于仅推断图中的组件的成员关系,例如,单个节点或边。如何推断整个图记录的成员还有待探索。在本文中,我们在MIA中对GNN进行图级分类的第一步。我们的目标是推断图样本是否已用于训练GNN模型。我们提出并实现了两种类型的攻击,即,基于训练的攻击和基于阈值的攻击来自不同的对抗能力。我们使用五个有代表性的GNN模型在七个真实数据集中进行了全面的实验来评估我们的攻击。我们的两种攻击都被证明是有效的,可以实现高性能,即,在大多数情况下达到0.7以上的攻击F1分数。此外,我们分析了MIA对GNN的影响。我们的研究结果证实,GNN可能比具有非图结构的模型更容易受到MIA的影响。与节点级分类器不同的是,图级分类任务的MIA与GNN的过拟合水平更相关,而不是其训练图的统计特性。
2021-10-17 cs.CR cs.LG
Unveiling the Unseen: Exploring Whitebox Membership Inference through the Lens of Explainability
Saint Louis University(圣路易斯大学)
本文针对成员推理攻击中隐藏特征影响不明及攻击根因解释不足的问题,提出基于统计的神经元筛选方法和攻击驱动的可解释框架,使攻击性能较现有最优方法提升最高26%。
2024-07-01 cs.CR cs.LG
MRMMIA: Membership Inference Attacks on Memory in Chat Agents
University of Virginia(弗吉尼亚大学)
针对聊天代理记忆系统,提出一种利用多次召回探针的统一成员推断攻击方法MRMMIA,在黑盒、灰盒和白盒设置下均优于基线,揭示了代理中的隐私风险。
2026-05-27 cs.CR cs.LG
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
虽然机器学习(ML)模型被部署在许多关键应用程序中作为核心组件,但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断,其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止,大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而,现实世界的ML模型通常是按照迁移学习范式训练的,其中模型所有者采用从不同数据集(即教师模型)学习的预训练模型,并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中,我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明,隶属度推理可以达到有效的性能。例如,在从ResNet20(用Caltech 101预训练)转移的CIFAR 100分类器上,我们的成员推理实现了$95\%$攻击AUC。此外,我们表明,隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
Generative Models with Information-Theoretic Protection Against Membership Inference Attacks
J.P. Morgan AI Research(摩根大通人工智能研究院);Index Exchange(Index Exchange(索引交易所))
深度生成模型,如生成对抗网络(GANs),通过估计高维数据的底层分布来合成各种高保真数据样本。尽管GANs取得了成功,但它们可能会从训练数据中泄露私人信息,从而容易受到对抗攻击,例如成员推断攻击,其中对手的目标是确定记录是否是训练集的一部分。我们提出了一个信息理论动机的正则化项,防止生成模型过拟合训练数据,并鼓励推广。我们表明,这种惩罚最大限度地减少了具有不同成员资格的数据上训练的生成器组件之间的JensenShannon分歧,并且可以使用额外的分类器以低成本实现。我们在图像数据集上的实验表明,通过提出的正则化(仅增加很小的计算成本),GANs能够保护隐私并生成高质量的样本,从而实现比非私有和差异私有更好的下游分类性能生成模型。
2022-05-31 cs.CR cs.LG
Membership Inference Attack on Graph Neural Networks
L3S Research Center(L3S 研究中心)
图神经网络(GNN)是对传统的深度神经网络在图数据上的推广,在几个图分析任务上已经实现了最先进的性能。我们专注于训练的GNN模型如何泄漏有关它们在其上训练的\emph{member}节点的信息。我们介绍了两种用于对GNN执行成员推断(MI)攻击的现实设置。在选择最简单的攻击模型时,利用训练模型的后验(黑盒访问),我们彻底分析了GNN和数据集的属性,这些属性决定了它们对MI攻击的鲁棒性差异。虽然在传统的机器学习模型中,过拟合被认为是这种泄漏的主要原因,但我们表明,在GNN中,额外的结构信息是主要的影响因素。我们支持我们的研究结果进行了广泛的实验四个代表GNN模型。为了防止对GNN的MI攻击,我们提出了两种有效的防御方法,可以显著降低攻击者的推理高达60%,而不会降低目标模型的性能。我们的代码可在https://github.com/iyempissy/rebMIGraph上获得。
2021-12-18 cs.CR cs.LG
Membership Inference Attacks Cannot Prove that a Model Was Trained On Your Data
ETH Zurich(苏黎世联邦理工学院);University of Waterloo(滑铁卢大学)
本文论证用成员推断攻击构造训练数据证明在根本上不可靠,因为无法从模型未训练目标数据的零假设中采样以证明低假阳性率,并提出数据提取攻击与金丝雀数据成员推断两条可行路径。
2025-03-07 cs.CR cs.LG
Auditing Membership Leakages of Multi-Exit Networks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Salesforce Research(Salesforce研究院)
由于并非所有输入都需要相同的计算量才能产生可靠的预测,多出口网络作为一种突破有效部署极限的突出方法而受到关注。多出口网络赋予骨干模型早期出口,允许在模型的中间层获得预测,从而节省计算时间和/或能量。然而,目前各种多出口网络的设计只是考虑在资源使用效率和预测准确性之间实现最佳权衡,而由此产生的隐私风险从未被探讨过。这就需要对多出口网络中的隐私风险进行全面调查。在本文中,我们进行了第一次隐私分析的多出口网络通过成员泄漏的镜头。特别是,我们首先利用现有的攻击方法来量化多出口网络的脆弱性成员泄漏。我们的实验结果表明,多出口网络是不容易受到成员泄漏和出口(数量和深度)连接到骨干模型是高度相关的攻击性能。此外,我们提出了一种混合攻击,利用出口信息,以提高现有的攻击的性能。我们在三种不同的对抗设置下评估了混合攻击造成的成员泄漏威胁,最终达到了无模型和无数据的对手。这些结果清楚地表明,我们的混合攻击是非常广泛的适用性,从而相应的风险比现有的成员推断攻击所示的更严重。我们进一步提出了一种专门针对多出口网络的防御机制,称为TimeGuard,并表明TimeGuard完美地减轻了新提出的攻击。
2022-08-23 cs.CR cs.LG
LOGAN: Membership Inference Attacks Against Generative Models
University College London(伦敦大学学院)
生成模型估计数据集的潜在分布,以根据该分布生成真实的样本。在本文中,我们提出了第一个成员推理攻击生成模型:给定一个数据点,对手确定它是否被用来训练模型。我们的攻击利用了生成对抗网络(GANs),它结合了判别和生成模型,利用GANs学习分布统计差异的能力来检测过拟合并识别训练数据集的输入。我们提出了基于白盒和黑盒访问目标模型的攻击,针对几个最先进的生成模型,在复杂的面部表示(LFW),对象(CIFAR-10)和医学图像(糖尿病视网膜病变)的数据集上。我们还讨论了攻击对不同训练参数的敏感性,以及它们对缓解策略的鲁棒性,发现防御要么无效,要么导致生成模型在训练稳定性和/或样本质量方面的性能显着下降。
2018-08-21 cs.CR cs.LG
Ensembling Membership Inference Attacks Against Tabular Generative Models
University of California Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学)
针对表格生成模型的成员推断攻击,提出集成方法以在不确定性下实现更稳健、遗憾最小化的隐私审计策略。
2025-09-02 cs.CR cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego(加州大学圣地亚哥分校);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田技术研究所);University of Virginia(弗吉尼亚大学);National University of Singapore(新加坡国立大学)
Masked语言模型~(MLMs)在敏感数据(从法律到医疗)上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息?先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的,这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中,我们认为以前的尝试是不确定的,因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验,涉及一个额外的参考传销,更准确地量化的记忆在传销的隐私风险。我们发现,掩蔽的语言模型非常容易受到似然比成员推断攻击的影响:我们的经验结果,在医学笔记上训练的模型上,表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平,在低错误区域有显着改善:在1%的误报率下,我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
Enhancing Membership Inference Attacks on Diffusion Models from a Frequency-Domain Perspective
Southeast University(东南大学);The University of Queensland(昆士兰大学);Hefei University of Technology(合肥工业大学);Engineering Research Center of Blockchain Application, Supervision and Management (Southeast University), Ministry of Education(区块链应用、监督与管理工程研究中心(东南大学),教育部)
本文从频域角度揭示扩散模型处理高频信息的缺陷导致成员推理攻击误分类,并提出即插即用的高频滤波模块以提升攻击性能。
2026-07-24 cs.CR cs.LG
OSLO: One-Shot Label-Only Membership Inference Attacks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究提出仅需单次查询的OSLO仅标签成员推断攻击,基于成员样本抗对抗扰动更强的思路,利用迁移黑盒对抗攻击实现,在CIFAR100的ResNet18模型上性能远超需数千次查询的现有方法,并评估了对应防御机制。
2024-11-01 cs.CR cs.LG
Membership Inference Attacks on DNNs using Adversarial Perturbations
Information Technology University(信息技术大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar University(卡塔尔大学)
本文针对简单数据集上成员推断攻击真阳性率低的问题,提出统一三阶段框架,并设计AMIA和E-AMIA两种新型攻击及增强指示器,显著提升低假阳性率下的成员检测性能、可迁移性和对DP-SGD的鲁棒性。
2023-07-11 cs.CR cs.LG
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland(马里兰大学)
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作,我们是第一个经验表明,彩票网络同样容易受到成员推断攻击。成员推断攻击(Membership Inference Attack,MIA)是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络,以找到较小的子网络,这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务,并观察到攻击精度相似。我们还看到,攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型,具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG