Disparate Vulnerability to Membership Inference Attacks
EPFL(洛桑联邦理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);Alan Turing Institute(艾伦图灵研究所);University College London(伦敦大学学院)
针对机器学习模型的成员推断攻击(MIA)使攻击者能够确定给定数据记录是否是模型的训练数据的一部分。在本文中,我们提供了一个深入研究的现象,不同的脆弱性对MIA:不平等的成功率MIA对不同的人口亚组。我们首先建立必要和充分的条件MIA被防止,平均和人口子群,使用的概念分布推广。其次,我们得出不同的脆弱性连接到算法公平性和差分隐私。我们表明,公平只能防止不同的漏洞对有限类别的对手。差分隐私限制了不同的脆弱性,但会显著降低模型的准确性。我们表明,天真地应用现有的攻击估计不同的脆弱性MIA可能会导致高估。然后,我们确定哪些攻击适合于估计不同的漏洞,并提供了一个统计框架,这样做可靠。我们对合成和真实世界的数据进行实验,发现在现实环境中存在不同脆弱性的统计学显著证据。代码可在https://github.com/spring-epfl/disparate-vulnerability上获得
2021-09-16 cs.CR cs.CY cs.LG
Membership Inference Attacks on Tokenizers of Large Language Models
University of Science and Technology of China(中国科学技术大学);Purdue University(普渡大学)
针对预训练大型语言模型成员推理攻击的挑战,提出以分词器作为新攻击向量,探索五种攻击方法,并设计自适应防御。
2026-05-25 cs.AI cs.CR
Privacy-preserving Generative Framework Against Membership Inference Attacks
Xidian University(西安电子科技大学)
人工智能和机器学习已经融入我们生活的方方面面,个人数据的隐私也越来越受到关注。由于模型的生成需要提取训练数据的有效信息,因此模型存在泄露训练数据隐私的风险。成员推断攻击可以在一定程度上度量源数据的模型泄漏。本文设计了一个抗成员推断攻击的隐私保护生成框架,通过生成模型变分自编码器(VAE)的信息抽取和数据生成能力,生成满足差分隐私需求的合成数据。我们不向模型输出添加噪声或篡改目标模型的训练过程,而是直接处理原始数据。首先通过VAE模型将源数据映射到隐空间得到隐码,然后对隐码进行满足度量隐私的噪声处理,最后利用VAE模型重构出合成数据。我们的实验评估表明,使用新生成的合成数据训练的机器学习模型可以有效地抵抗成员推断攻击,并且仍然保持较高的实用性。
2022-02-11 cs.AI cs.CR
Biologically-Informed Hybrid Membership Inference Attacks on Generative Genomic Models
Asia Belfiore(第1机构);Dmitrii Usynin(第2机构)
本文提出了一种结合生物信息学指标的混合成员推理攻击方法,用于评估生成式基因组模型的隐私保护效果。
2025-12-18 cs.AI cs.CR
On the Discredibility of Membership Inference Attacks
University of California(加利福尼亚大学)
该研究指出成员推理攻击存在高假阳性率问题,会误将成员样本的邻近非成员判为成员,质疑其在司法审计等实际场景的可信度,说明其仅能识别被记忆的子群体,无法定位具体训练样本。
2023-04-28 cs.AI cs.CR
DAMIA: Leveraging Domain Adaptation as a Defense against Membership Inference Attacks
Jinan University(暨南大学)
深度学习(DL)技术允许人们从数据集中训练模型来解决任务。由于其出色的性能和潜在的市场价值,DL吸引了很多人的兴趣,而安全问题是最大的问题之一。然而,DL模型可能易于受到成员推断攻击,其中攻击者确定给定样本是否来自训练数据集。已经做出了努力来阻止攻击,但不幸的是,它们可能会导致重大开销或可用性受损。在本文中,我们提出并实现DAMIA,利用领域自适应(DA)作为防御aginist成员推断攻击。我们的观察是,在训练过程中,DA使用另一个相关数据集混淆要保护的数据集,并推导出一个模型,该模型从两个数据集中潜在地提取特征。看到模型被混淆,成员推理失败,而提取的特征提供了可用性的支持。已经进行了大量的实验来验证我们的直觉。DAMIA训练的模型对可用性的影响可以忽略不计。我们的实验还排除了可能阻碍DAMIA性能的因素,为供应商和研究人员及时从我们的解决方案中受益提供了潜在的指导方针。
2020-05-16 cs.AI cs.CR
One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy
City University of Macau(澳门城市大学)
机器学习模型易受数据推断攻击,例如隶属推断和模型反演攻击。在这些类型的漏洞中,攻击者试图推断数据记录在数据集中的成员资格,甚至使用目标模型预测的置信度得分向量来重建该数据记录。然而,大多数现有的防御方法只能防止成员推断攻击。可以对抗这两种类型攻击的方法需要训练新的模型,这可能不是时间效率。在本文中,我们提出了一种差异化的私人防御方法,处理这两种类型的攻击,在一个时间效率的方式调整只有一个参数,隐私预算。其核心思想是修改和规范化的置信度向量的差分隐私机制,保护隐私和模糊的成员和重建的数据。此外,该方法可以保证向量中得分的顺序,以避免分类精度的任何损失。实验结果表明,该方法是一个有效的和及时的防御隶属度推断和模型反演攻击的准确性没有降低。
2022-03-13 cs.AI cs.CR
Towards Demystifying Membership Inference Attacks
成员推断攻击试图推断对手通过机器学习即服务API黑盒访问的模型的各个训练实例的成员资格。在提供针对机器学习模型的成员隐私风险的深入表征时,本文从两个互补的角度对成员推断攻击进行了全面的研究。首先,我们提供了一个广义的制定发展的黑盒成员推断攻击模型。其次,我们通过使用多个数据集对各种机器学习模型和模型组合进行系统评估,来描述模型选择对模型脆弱性的重要性。通过形式化的分析和大量实验的经验证据,我们描述了在什么条件下模型可能容易受到这种黑盒成员推断攻击。我们发现,成员推理漏洞是数据驱动的,相应的攻击模型在很大程度上是可转移的。虽然不同的模型类型显示出不同的脆弱性成员推断,所以不同的数据集。我们的实证结果还表明,(1)在攻击模型中使用受攻击的目标模型类型可能不会提高攻击效率,(2)当对手是参与者时,协作学习会暴露出成员推断风险的漏洞。我们还讨论了对策和缓解策略。
2019-02-01 cs.CR
On Reliability of Membership Inference Vulnerability Evaluation
University of Helsinki(赫尔辛基大学);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍兹中心)
本文揭示了高效成员推断攻击评估中两个关键缺陷:跨样本FPR未校准导致差分隐私审计不可靠,以及有限总体偏差导致样本脆弱性高估,并提出了后处理校准方法。
2026-10-02 cs.CR cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego(加州大学圣地亚哥分校);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田技术研究所);University of Virginia(弗吉尼亚大学);National University of Singapore(新加坡国立大学)
Masked语言模型~(MLMs)在敏感数据(从法律到医疗)上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息?先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的,这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中,我们认为以前的尝试是不确定的,因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验,涉及一个额外的参考传销,更准确地量化的记忆在传销的隐私风险。我们发现,掩蔽的语言模型非常容易受到似然比成员推断攻击的影响:我们的经验结果,在医学笔记上训练的模型上,表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平,在低错误区域有显着改善:在1%的误报率下,我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
Exposing and Defending Membership Leakage in Vulnerability Prediction Models
City University of Hong Kong(香港城市大学);Hong Kong Metropolitan University(香港都会大学)
本研究揭示漏洞预测模型易受成员泄露攻击,并提出轻量级防御策略NMID,有效降低攻击效果同时保持模型预测能力。
2025-12-09 cs.CR cs.SE
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University(浙江大学);University of California(加利福尼亚大学)
成员推断(MI)确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断,这限制了它们在许多现实世界中的应用。例如,在人员重新识别任务中,攻击者(或调查者)感兴趣的是确定用户的图像是否在训练期间被使用。但是,攻击者可能无法访问确切的训练图像。在本文中,我们开发了一个用户级的MI攻击,其目标是找到是否有任何样本从目标用户已被使用在训练过程中,即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习,因为它在个人重新识别中占据主导地位,其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估,并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
Mitigating Membership Inference Vulnerability in Personalized Federated Learning
INRIA(法国国家信息与自动化研究所);EPFL(洛桑联邦理工学院);LIX, École Polytechnique(巴黎综合理工学院LIX实验室)
本文提出IFCA-MIR方法,将成员推理攻击风险评估融入迭代联邦聚类过程,使客户端基于模型性能与隐私脆弱性选择簇,在保持准确性和公平性的同时显著降低成员推理攻击风险。
2025-03-12 cs.CR cs.LG
Privacy for All: Demystify Vulnerability Disparity of Differential Privacy against Membership Inference Attack
当机器学习算法应用于敏感数据时,会对隐私构成潜在威胁。越来越多的先前工作已经证明,成员推断攻击(MIA)可以将训练数据中的特定私有信息泄露给攻击者。与此同时,机器学习的算法公平性越来越受到学术界和工业界的关注。算法公平性确保机器学习模型不歧视特定人口统计群体的个体(例如,黑人和女性)。鉴于MIA确实是一种学习模式,如果MIA“公平地”平等对待所有群体的个人,就会引起严重关切。换句话说,一个特定的群体是否比其他群体更容易受到MIA的伤害。本文探讨了算法公平性问题的背景下,MIA及其防御。首先,在公平性评价方面,提出了脆弱性差异(VD)的概念,以量化不同人口群体的MIA待遇差异。其次,在四个真实世界的数据集上评估了VD,并表明VD确实存在于这些数据集中。第三,探讨了差分隐私作为MIA的防御机制对VD的影响。结果表明,DP虽能显著改善VD,但不能完全消除VD。因此,第四,设计了一种新的缓解算法FAIRPICK来降低VD。大量的实验结果表明,FAIRPICK可以有效地减少VD与DP部署和没有。
2020-01-24 cs.CR
l-Leaks: Membership Inference Attacks with Logits
机器学习(ML)在过去几十年中取得了前所未有的进展。然而,由于训练数据的可记忆性,ML容易受到各种攻击,特别是成员推断攻击(MIA),其目标是推断模型的训练数据。到目前为止,大多数针对ML分类器的成员推断攻击都利用了与目标模型具有相同结构的影子模型。然而,实验结果表明,如果影子模型不清楚目标模型的网络结构,这些攻击可以很容易地减轻。在本文中,我们提出了基于黑盒访问的目标模型的攻击。我们将我们的攻击命名为\textbf{l-Leaks}。l-Leaks遵循的直觉是,如果建立的影子模型与目标模型足够相似,那么对手可以利用影子模型的信息来预测目标样本的成员资格。训练的目标模型的logit包含有价值的样本知识。我们通过学习目标模型的logits来构建阴影模型,并使阴影模型与目标模型更加相似。然后阴影模型将有足够的信心,在成员样本的目标模型。本文还讨论了影子模型的不同网络结构对攻击结果的影响。在不同网络和数据集上的实验表明,我们的攻击都取得了很好的性能。
2022-05-13 cs.AI cs.CR cs.LG
Membership Inference Attacks Against Semantic Segmentation Models
成员推断攻击旨在通过观察其预测来推断数据记录是否已被用于训练目标模型。在医疗保健等敏感领域,这可能构成严重的隐私侵犯。在这项工作中,我们试图解决现有的知识差距进行了详尽的研究,成员推断攻击和防御领域的语义图像分割。我们的研究结果表明,对于某些威胁模型,这些学习设置可能比以前考虑的分类设置更容易受到攻击。我们还调查了一个威胁模型,一个不诚实的对手可以执行模型中毒,以帮助他们的推理和评估的影响,这些适应成员推断攻击的成功。我们定量评估了一些流行的模型架构在各种语义分割任务的攻击,证明在这个领域的成员推断攻击可以达到很高的成功率和防御他们可能会导致不利的隐私效用权衡或增加计算成本。
2022-12-02 cs.CR
An Efficient Subpopulation-based Membership Inference Attack
University of California(加利福尼亚大学)
成员推断攻击允许恶意实体预测在受害者模型的训练期间是否使用样本。最先进的成员推断攻击已经证明可以达到很好的准确性,这对隐私造成了很大的威胁。然而,大多数SOTA攻击需要训练数十到数百个影子模型来准确地推断成员。这种巨大的计算成本引发了人们对这些深度模型攻击的实用性的质疑。在本文中,我们介绍了一个根本不同的MI攻击方法,避免了需要训练数百个影子模型。简单地说,我们将目标样本上的受害者模型输出与来自相同子群体的样本进行比较(即,语义相似的样本),而不是将其与数百个阴影模型的输出进行比较。直觉是,如果目标样本不是训练样本,则目标样本与其子群体之间的模型响应不应存在显著差异。在攻击者无法获得子群体样本的情况下,我们证明了只训练一个生成模型就可以满足要求。因此,我们实现了最先进的成员推理精度,同时显着降低了训练计算成本。
2022-03-04 cs.AI cs.CR cs.CV
Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Intel Labs(英特尔实验室)
机器学习模型倾向于记忆敏感数据,使得它们容易受到成员推断攻击,其中对手旨在推断输入样本是否用于训练模型。在过去的几年里,研究人员已经产生了许多成员推断攻击和防御。然而,这些攻击和防御采用各种策略,并在不同的模型和数据集中进行。然而,缺乏全面的基准测试意味着我们不了解现有攻击和防御的优势和劣势。我们填补了这一空白,提出了一个大规模的测量不同的成员推断攻击和防御。我们通过对九种攻击和六种防御的研究,将隶属度推理系统化,并在整体评估中衡量不同攻击和防御的性能。然后,我们量化了威胁模型对这些攻击结果的影响。我们发现威胁模型的一些假设,如相同的架构和相同的分布之间的影子和目标模型,是不必要的。我们也是第一个对从互联网收集的真实世界数据而不是实验室数据集进行攻击的公司。我们进一步研究了是什么决定了成员推断攻击的性能,并揭示了通常认为的过拟合水平是不足以成功的攻击。相反,成员和非成员样本之间的熵/交叉熵的Jensen-Shannon距离与攻击性能的相关性要好得多。这为我们提供了一种新的方法来准确预测成员推理风险,而无需运行攻击。最后,我们发现,数据增强降低了现有的攻击在更大程度上的性能,我们提出了一个自适应攻击使用增强训练阴影和攻击模型,提高攻击性能。
2022-08-22 cs.CR cs.LG
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh(爱丁堡大学);Meta AI
近年来,机器学习模型对成员推断攻击的脆弱性备受关注。然而,现有的攻击大多仍然是不切实际的,由于具有高误报率,其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠,特别是因为大多数样本在现实世界应用中是非成员。在这项工作中,我们认为,成员推断攻击可以大大受益于\emph{difficulty calibration},其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明,难度校准可以显着降低各种现有攻击的误报率,而不会损失准确性。
2022-04-11 cs.CR cs.LG
Learnability and Privacy Vulnerability are Entangled in a Few Critical Weights
本文发现隐私漏洞主要存在于少量关键权重中,这些权重对效用性能至关重要,通过重置这些权重而非丢弃神经元,提升了对抗 Membership Inference Attacks 的鲁棒性同时保持效用。
2026-03-13 cs.AI cs.CR cs.LG
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt(达姆施塔特工业大学);SAP SE(思爱普公司)
我们提出了两个信息泄漏攻击,优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断,而无需对生成模型的类型进行假设。与以前的生成模型评估指标(如核密度估计)相反,它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器,以实现较高的隶属推理精度。此外,以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者,以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估,生成对抗网络(GANs)和变分自编码器(VAE),在标准图像数据集上训练。我们的研究结果表明,这两种攻击产生的成功率优于以前的工作在大多数数据集,而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合,特别有用。例如,在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中,我们的工作激励了GANs的使用,因为它们在产生详细样本的同时,被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
Bootstrap Aggregation for Point-based Generalized Membership Inference Attacks
本文提出了一种有效的方案,将广义成员推断攻击扩展到模型训练数据集中的每一点。我们的方法利用数据分区为参考模型创建可变大小的训练集。然后,我们根据每个单独点的输出,为参考模型配置的每个训练样本训练攻击模型。这使我们能够量化每个训练数据点的成员推断攻击漏洞。使用这种方法,我们发现,更少量的参考模型训练数据会导致更强的攻击。此外,参考模型不需要与目标模型具有相同的架构,从而提供额外的攻击效率。即使对手没有完整的原始数据集,也可以执行攻击。
2020-11-17 cs.CR
CLMIA: Membership Inference Attacks via Unsupervised Contrastive Learning
Anhui University(安徽大学)
本文提出名为CLMIA的成员推理攻击方法,利用无监督对比学习训练攻击模型,仅需少量已知成员状态数据微调,在标记身份信息较少的真实场景下表现优于现有方法。
2024-11-17 cs.AI cs.CR cs.LG
Improved Membership Inference Attacks Against Language Classification Models
IBM(国际商业机器公司(IBM))
提出一种基于集成方法的成员推断攻击新框架,通过为数据子集生成多个专门攻击模型,在经典和语言分类任务上均优于单一模型或按类别建模的方法,有效提升攻击准确率。
2024-07-18 cs.AI cs.CR cs.LG
Privacy Leaks by Adversaries: Adversarial Iterations for Membership Inference Attack
本文提出 IMIA 攻击,利用生成对抗样本所需迭代次数作为成员推断特征,并在黑盒与白盒场景下验证其有效性,为模型隐私评估提供新视角。
2025-06-03 cs.CR
Membership Information Leakage in Federated Contrastive Learning
研究联邦对比学习(FCL)中常被忽视的成员信息泄露隐私风险,提出被动与主动两种成员推理攻击方法,验证了FCL范式的固有隐私风险。
2024-03-06 cs.CR
Scalable Membership Inference Attacks via Quantile Regression
Amazon AWS AI/ML(亚马逊AWS人工智能与机器学习);University of Pennsylvania(宾夕法尼亚大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于分位数回归的成员推理攻击方法,仅需训练一个模型即可达到与影子模型攻击相当的效果,同时无需知道被攻击模型架构,显著降低了计算成本并实现真正的黑盒攻击。
2023-07-07 cs.AI cs.CR cs.LG
When Reasoning Leaks Membership: Membership Inference Attack on Black-box Large Reasoning Models
Beijing University of Posts and Telecommunications(北京邮电大学);China Unicom Research Institute(中国联通研究院)
针对黑盒大推理模型的成员推断攻击,通过分析推理轨迹的语义潜在空间构建攻击框架,揭示其隐私风险及改进方向。
2026-01-20 cs.CR
Membership Inference Attacks and Generalization: A Causal Perspective
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Research(微软研究院)
隶属度推断(MI)攻击突出了现有神经网络随机训练方法的隐私弱点。然而,人们并不很清楚它们为什么会出现。它们仅仅是不完美的概括的自然结果吗?在培训期间,我们应该解决哪些根本原因,以减轻这些攻击?为了回答这些问题,我们提出了第一种方法来解释MI攻击及其与基于原则因果推理的泛化的联系。我们提供因果关系图,定量解释所观察到的MI攻击性能达到$6$攻击变种。我们驳斥了几个先前的非定量假设,这些假设过度简化或高估了潜在原因的影响,从而未能捕捉到几个因素之间复杂的相互作用。我们的因果模型还显示了泛化和MI攻击之间的新联系,通过其共享的因果因素。我们的因果模型具有高预测能力($0.90$),即,他们的分析预测往往与看不见的实验中的观察相吻合,这使得通过他们进行分析成为一种实用的选择。
2022-10-30 cs.AI cs.CR cs.LG
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis(加州大学戴维斯分校)
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡,分析其根因,并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
Shadow-Free Membership Inference Attacks: Recommender Systems Are More Vulnerable Than You Thought
针对依赖影子训练的成员推理攻击在黑盒且缺乏目标系统知识时性能下降的问题,提出直接依据推荐个性化程度判断成员身份的无影子 MIA,并在多种推荐系统上验证其更准、更省算。
2024-05-11 cs.CR
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries
Max Planck Institute for Computer Science(马克斯·普朗克计算机科学研究所)
机器学习模型已被证明会泄露违反其训练集隐私的信息。我们专注于对机器学习模型的成员推断攻击,其目的是确定数据点是否用于训练受害者模型。我们的工作包括两个方面:我们介绍了抽样攻击,一种新的成员推理技术,不同于其他标准的成员资格的对手是能够工作在严格的限制下,没有访问受害者模型的分数。我们发现,一个受害者模型,只发布标签仍然容易受到抽样攻击和对手可以恢复到100%的性能相比,当后验向量提供。我们的工作的其他方面包括两个最近的成员推断攻击模型的实验结果和对他们的防御。为了防御,我们选择差分隐私的形式梯度扰动在受害者模型的训练以及输出扰动在预测时间。我们在广泛的数据集上进行实验,这使我们能够更好地分析对手,防御机制和数据集之间的交互。我们发现,我们提出的快速和易于实现的输出扰动技术提供了很好的隐私保护成员推断攻击在效用的影响很小。
2020-09-01 cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University(普渡大学);NVIDIA Research(NVIDIA研究)
针对成员推断攻击,提出自适应场景下的级联攻击(CMIA)和非自适应场景下的代理攻击(PMIA),利用成员依赖性或代理样本行为提升推断性能,在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
Estimating Model-Level Membership Inference Vulnerability Without Reference Models
Imperial College London(伦敦帝国学院)
针对现有成员推理攻击需大量参考模型、实用性受限的问题,提出无需参考模型、基于损失分布高损失区异常值缺失估计模型级MIA漏洞的方法,在多架构数据集上表现优于低成本攻击及分布差异度量,且适用于大语言模型风险评估。
2026-10-08 cs.CR cs.LG
Membership Inference on Word Embedding and Beyond
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
在文本处理上下文中,大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的,这些数据集可能包含敏感数据。在某些情况下,这种训练是独立完成的,在其他情况下,它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下,考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是,有些令人惊讶的是,对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理(NLP)任务中的影响仍然相对未被探索。在这项工作中,我们表明在现实的假设下,词嵌入很容易受到黑盒成员推断攻击。此外,我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在:分类和文本生成,即使嵌入层没有暴露给攻击者。我们表明,我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上,我们的攻击是对文本生成模型的更便宜的成员推断攻击,它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
机器学习(ML)已成为许多现实世界应用的核心组件,而训练数据是推动当前进展的关键因素。这一巨大的成功促使互联网公司部署机器学习即服务(MLaaS)。最近,第一次成员推断攻击已经表明,在这种MLaaS设置中提取训练集上的信息是可能的,这具有严重的安全和隐私影响。然而,这种攻击的可行性的早期演示对对手有许多假设,例如使用多个所谓的阴影模型,目标模型结构的知识,以及具有来自与目标模型的训练数据相同分布的数据集。我们放松了所有这些关键假设,从而表明这种攻击在低成本下具有非常广泛的适用性,从而构成了比以前认为的更严重的风险。我们使用八个不同的数据集对这一新兴和发展中的威胁进行了迄今为止最全面的研究,这些数据集显示了跨域攻击的可行性。此外,我们提出了第一个有效的防御机制,对这种更广泛的成员推断攻击,保持高水平的ML模型的实用性。
2018-12-14 cs.AI cs.CR cs.LG
Winning the MIDST Challenge: New Membership Inference Attacks on Diffusion Models for Tabular Data Synthesis
Carnegie Mellon University(卡内基梅隆大学)
针对扩散表格数据合成的隐私评估不足,本文提出利用跨噪声与时间步损失特征的轻量级 MLP 成员推理攻击,并在 MIDST Challenge 全部赛道夺冠。
2025-03-15 cs.AI cs.CR cs.LG
Label-Only Membership Inference Attacks
University of Toronto(多伦多大学);Vector Institute(向量研究所);Stanford University(斯坦福大学);Google(谷歌)
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一:给定一个数据点和模型,确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签,而没有置信度,这些攻击就不适用。在本文中,我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分,而是评估模型预测标签在扰动下的鲁棒性,以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明,我们的标签只有成员推断攻击执行与以前的攻击,需要访问模型的信心。我们进一步证明,标签攻击打破多重防御成员推断攻击(隐式或显式)依赖于一种现象,我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击,但保持模型的预测标签不变。我们的标签攻击表明,信心掩蔽是不是一个可行的防御策略,对成员推理。最后,我们研究了最坏情况下的仅标签攻击,即推断少数离群数据点的成员资格。我们发现,在这种情况下,仅标签攻击也匹配基于信任的攻击。我们发现,具有差分隐私和(强)L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时,这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Do Backdoors Assist Membership Inference Attacks?
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
当攻击者向机器学习模型提供有毒样本时,隐私泄露(例如推断样本是否包括在模型的训练中的成员推断攻击)通过将样本移动到离群值而变得有效。然而,攻击可以被检测到,因为推理精度由于有毒样本而恶化。在本文中,我们讨论了一个\textit{backdoor-assisted membership inference attack},一种新的成员推断攻击的基础上后门,返回对手的预期输出的触发样本。通过对学术基准数据集的实验,我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次,当我们分析损失分布以了解不成功结果的原因时,我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说,后门不会影响干净样本的分发。第三,我们还表明,毒物和触发样本激活不同分布的神经元。具体来说,后门使任何干净的样本成为内围值,而不是中毒样本。因此,我们确认,后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
The Hidden Cost of Modeling P(X): Vulnerability to Membership Inference Attacks in Generative Text Classifiers
IIT Kharagpur(印度理工学院Kharagpur分校);Amazon.com Inc.(亚马逊公司)
本文通过理论分析与九数据集实证比较,证明显式建模 $P(X,Y)$ 的生成式文本分类器比判别式和伪生成式分类器更易受 MIA 攻击,且规范推理会加剧泄露。
2025-10-17 cs.CL cs.CR cs.LG
Membership Inference Attacks Against Object Detection Models
Department of Mathematical Science, Seoul National University(首尔国立大学数学系)
机器学习模型可能会泄露关于它们训练的数据集的信息。在本文中,我们提出了第一个成员推断攻击黑盒目标检测模型,确定是否在训练中使用给定的数据记录。为了攻击目标检测模型,我们设计了一种称为画布方法的新方法,在该方法中,预测边界框被绘制在空图像上,用于攻击模型输入。基于实验,我们成功地揭示了使用一阶段和两阶段检测模型训练的隐私敏感数据的成员状态。然后,我们提出了防御策略,并在模型和数据集之间进行转移攻击。我们的研究结果表明,目标检测模型也容易受到推理攻击像其他模型。
2020-01-28 cs.CR cs.CV
MIA-BAD: An Approach for Enhancing Membership Inference Attack and its Mitigation with Federated Learning
Old Dominion University(奥尔多明尼恩大学);Virginia Modeling, Analysis and Simulation Center(弗吉尼亚建模、分析与仿真中心);Deloitte & Touche LLP(德勤有限责任合伙事务所)
本文提出MIA-BAD方法,通过逐批次生成攻击数据集来增强成员推理攻击的准确性和效率,并研究利用联邦学习缓解该攻击威胁,实验验证了其效果。
2023-11-28 cs.AI cs.CR cs.LG
A Method to Facilitate Membership Inference Attacks in Deep Learning Models
University of British Columbia(不列颠哥伦比亚大学)
针对恶意ML提供者仅能黑盒查询模型的威胁,提出通过投毒训练代码放大成员泄漏的新型成员推理攻击,实现高去标识化率且几乎不损失准确率,并暴露现有隐私审计缺陷。
2024-07-02 cs.AI cs.CR cs.CV
EaTVul: ChatGPT-based Evasion Attack Against Software Vulnerability Detection
CSIRO’s Data61(联邦科学与工业研究组织Data61);Swinburne University of Technology(斯威本科技大学);DST Group, Australia(澳大利亚国防科学与技术集团)
本文提出EaTVul方法,结合支持向量机、注意力机制、ChatGPT与模糊遗传算法生成对抗样本,对软件漏洞检测模型实施规避攻击,实验证明其在特定条件下攻击成功率可达100%,凸显了加强防御的必要性。
2024-07-27 cs.AI cs.CR cs.SE
Leveraging Membership Inference Attacks for Privacy Measurement in Federated Learning for Remote Sensing Images
本文提出利用成员推断攻击作为联邦学习中遥感图像隐私测量的量化框架,评估不同FL算法和通信策略下的隐私泄露情况,发现通信高效策略能降低攻击成功率并保持性能。
2026-01-08 cs.AI cs.CR cs.CV
Bayes-Nash Generative Privacy Against Membership Inference Attacks
针对成员推断攻击,提出基于贝叶斯博弈的生成式隐私框架BNGP,以神经网络生成器和判别器建模攻防,避免灵敏度计算,支持相关机制组合,实证中优于现有方法。
2025-07-10 cs.CR
Pop Quiz Attack: Black-box Membership Inference Attacks Against Large Language Models
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心)
本文提出PopQuiz攻击,通过将目标数据转化为选择题来推断大语言模型是否能回忆特定训练数据,平均ROC-AUC达0.873,优于现有方法。
2026-05-07 cs.CR
TaskShuffler++: Real-Time Schedule Randomization for Reducing Worst-Case Vulnerability to Timing Inference Attacks
本文提出了一种调度随机化算法,以减少实时的【形】系统的脆弱性定时推理攻击,试图学习任务执行的时间。它利用运行时的信息随时可用在每个调度决策点,以增加任务调度的不确定性水平,同时保持原来的可扩展性。随机化算法显著降低了对手正确预测在任意时间将运行什么任务的最佳机会。本文还提出了一个信息理论的措施,可以量化的最坏情况下的脆弱性,从防御者的角度来看,一个任意的实时的【形】时间表。
2019-11-18 cs.CR
On the Vulnerability of Digital Fingerprinting Systems to Finite Alphabet Collusion Attacks
本文提出了一种新的,非线性共谋攻击数字指纹系统。该攻击是针对有限字母表的指纹系统提出的,但可以扩展到连续字母表。我们分析的错误概率的攻击提出的一些类的随机和确定性的计划,并获得正确估计主机信号所需的共谋者的数量上的界限。也就是说,它需要更少数量的共谋者来击败指纹方案。我们的模拟结果表明,我们的攻击是更强大的,在实践中比理论界预测。
2016-04-27 cs.CR
Generalization Techniques Empirically Outperform Differential Privacy against Membership Inference
不同的私有训练算法提供了对机器学习中最流行的攻击之一的保护:成员推断攻击。然而,这些隐私算法会导致模型分类准确性的损失,因此会产生隐私效用权衡。差分隐私在深度学习中提供强大的理论保护保证所需的噪声量通常会使模型无法使用,但作者观察到,即使是较低的噪声水平也可以提供可接受的经验保护,以抵御现有的成员推断攻击。在这项工作中,我们寻找替代差分隐私对经验保护成员推断攻击。我们研究了简单地遵循良好的机器学习实践(没有考虑隐私设计)对成员推理的保护。我们评估了最先进的技术,如预训练和锐度感知最小化,单独和差分私人训练算法的性能,并发现,当使用早期停止,没有差分隐私的算法可以提供更高的效用和更高的隐私比他们的差分私人同行。这些发现挑战了差分隐私是一种很好的防御现有成员推断攻击的信念
2021-10-11 cs.CR
ALIBI: Adaptive Agentic Attacks on LLM-Based Vulnerability Detectors via Adversarial Code Comments
Northeastern University(东北大学)
研究如何通过对抗性代码注释对基于大语言模型的漏洞检测器进行自适应智能体攻击,提出ALIBI框架,将现实世界漏洞修复提交转换为编码任务评估多个检测器,发现其高度易受攻击,揭示攻击面并推动安全意识设计。
2026-07-29 cs.CR
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Zhejiang Lab(之江实验室);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击,例如模型反演攻击和成员推断攻击,其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法,即净化框架,来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明,当净化器致力于一种攻击时,它自然会防御另一种攻击,这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如,它可以将隶属度推断精度降低高达15%,并将模型反演误差增加高达4倍。此外,它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Membership Inference Attacks From First Principles
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
成员推断攻击允许对手查询经训练的机器学习模型,以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估,无法表征攻击是否可以自信地识别训练集的任何成员。我们认为,攻击应该通过计算它们在低(例如,<0.1%)的假阳性率,并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题,我们开发了一种LikeRatio攻击(LiRA),它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍,并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Android Tapjacking Vulnerability
Android是一个开源的移动操作系统,主要由Google开发。它被用于全球移动设备的很大一部分。在本文中,我将研究一种通常被称为窃听的攻击。我将把攻击分开,并通过实施攻击所需的每一个步骤。然后,我将探讨攻击者可用的各种有效载荷选项。最后,我将谈谈攻击的可行性以及缓解策略。
2015-07-30 cs.CR