One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy
City University of Macau(澳门城市大学)
机器学习模型易受数据推断攻击,例如隶属推断和模型反演攻击。在这些类型的漏洞中,攻击者试图推断数据记录在数据集中的成员资格,甚至使用目标模型预测的置信度得分向量来重建该数据记录。然而,大多数现有的防御方法只能防止成员推断攻击。可以对抗这两种类型攻击的方法需要训练新的模型,这可能不是时间效率。在本文中,我们提出了一种差异化的私人防御方法,处理这两种类型的攻击,在一个时间效率的方式调整只有一个参数,隐私预算。其核心思想是修改和规范化的置信度向量的差分隐私机制,保护隐私和模糊的成员和重建的数据。此外,该方法可以保证向量中得分的顺序,以避免分类精度的任何损失。实验结果表明,该方法是一个有效的和及时的防御隶属度推断和模型反演攻击的准确性没有降低。
2022-03-13 cs.AI cs.CR
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego(加州大学圣地亚哥分校);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田技术研究所);University of Virginia(弗吉尼亚大学);National University of Singapore(新加坡国立大学)
Masked语言模型~(MLMs)在敏感数据(从法律到医疗)上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息?先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的,这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中,我们认为以前的尝试是不确定的,因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验,涉及一个额外的参考传销,更准确地量化的记忆在传销的隐私风险。我们发现,掩蔽的语言模型非常容易受到似然比成员推断攻击的影响:我们的经验结果,在医学笔记上训练的模型上,表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平,在低错误区域有显着改善:在1%的误报率下,我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
On the Vulnerability of Data Points under Multiple Membership Inference Attacks and Target Models
University of Padua(帕多瓦大学);TU Delft(代尔夫特理工大学);University of Washington(华盛顿大学);Radboud University(拉德堡德大学)
成员推断攻击(MIA)推断数据点是否在机器学习模型的训练数据中。在训练数据是一个数据点的私人信息时是一个威胁。MIA正确地推断某些数据点是训练数据的成员或非成员。直觉上,MIA准确检测到的数据点是脆弱的。考虑到这些数据点可能存在于易受多个MIA影响的不同目标模型中,多个MIA和目标模型下的数据点的脆弱性值得探索。本文定义了新的度量指标,能够反映数据点的实际脆弱性情况,捕捉多个MIA和目标模型下的脆弱数据点。分析表明,尽管整体推理性能较低,但MIA对某些数据点具有推理倾向。此外,我们实现了54个MIA,其平均攻击精度范围从0.5到0.9,以支持我们的分析与我们的可扩展和灵活的平台,成员推断攻击平台(VMIAP)。此外,以前的方法不适合在多个MIA和不同目标模型下发现脆弱数据点。最后,我们观察到漏洞不是数据点的特征,而是与MIA和目标模型相关。
2022-10-28 cs.AI cs.CR
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University(浙江大学);University of California(加利福尼亚大学)
成员推断(MI)确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断,这限制了它们在许多现实世界中的应用。例如,在人员重新识别任务中,攻击者(或调查者)感兴趣的是确定用户的图像是否在训练期间被使用。但是,攻击者可能无法访问确切的训练图像。在本文中,我们开发了一个用户级的MI攻击,其目标是找到是否有任何样本从目标用户已被使用在训练过程中,即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习,因为它在个人重新识别中占据主导地位,其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估,并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
Lost in Modality: Evaluating the Effectiveness of Text-Based Membership Inference Attacks on Large Multimodal Models
Japan Advanced Institute of Science and Technology - Information Science(日本科学技术先进研究院-信息科学)
本文评估了基于文本的成员推断攻击(MIAs)在多模态模型中的有效性,发现其在分布内设置中表现相似,而在分布外设置中视觉输入起到正则化作用,有效掩盖了成员信号。
2026-05-21 cs.AI cs.CR
Membership Inference Attacks Against Semantic Segmentation Models
成员推断攻击旨在通过观察其预测来推断数据记录是否已被用于训练目标模型。在医疗保健等敏感领域,这可能构成严重的隐私侵犯。在这项工作中,我们试图解决现有的知识差距进行了详尽的研究,成员推断攻击和防御领域的语义图像分割。我们的研究结果表明,对于某些威胁模型,这些学习设置可能比以前考虑的分类设置更容易受到攻击。我们还调查了一个威胁模型,一个不诚实的对手可以执行模型中毒,以帮助他们的推理和评估的影响,这些适应成员推断攻击的成功。我们定量评估了一些流行的模型架构在各种语义分割任务的攻击,证明在这个领域的成员推断攻击可以达到很高的成功率和防御他们可能会导致不利的隐私效用权衡或增加计算成本。
2022-12-02 cs.CR
TIER: Trajectory-Invariant Explanation Regularization for Membership Privacy
ST Engineering(ST工程)
研究利用模型自身梯度作为防御信号抵御基于解释的成员推理攻击,提出TIER防御,通过惩罚梯度引导扰动模拟的置信度下降波动及最小化分布偏移来保护隐私,兼顾模型效用和解释保真度。
2026-07-07 cs.AI cs.CR
l-Leaks: Membership Inference Attacks with Logits
机器学习(ML)在过去几十年中取得了前所未有的进展。然而,由于训练数据的可记忆性,ML容易受到各种攻击,特别是成员推断攻击(MIA),其目标是推断模型的训练数据。到目前为止,大多数针对ML分类器的成员推断攻击都利用了与目标模型具有相同结构的影子模型。然而,实验结果表明,如果影子模型不清楚目标模型的网络结构,这些攻击可以很容易地减轻。在本文中,我们提出了基于黑盒访问的目标模型的攻击。我们将我们的攻击命名为\textbf{l-Leaks}。l-Leaks遵循的直觉是,如果建立的影子模型与目标模型足够相似,那么对手可以利用影子模型的信息来预测目标样本的成员资格。训练的目标模型的logit包含有价值的样本知识。我们通过学习目标模型的logits来构建阴影模型,并使阴影模型与目标模型更加相似。然后阴影模型将有足够的信心,在成员样本的目标模型。本文还讨论了影子模型的不同网络结构对攻击结果的影响。在不同网络和数据集上的实验表明,我们的攻击都取得了很好的性能。
2022-05-13 cs.AI cs.CR cs.LG
Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Intel Labs(英特尔实验室)
机器学习模型倾向于记忆敏感数据,使得它们容易受到成员推断攻击,其中对手旨在推断输入样本是否用于训练模型。在过去的几年里,研究人员已经产生了许多成员推断攻击和防御。然而,这些攻击和防御采用各种策略,并在不同的模型和数据集中进行。然而,缺乏全面的基准测试意味着我们不了解现有攻击和防御的优势和劣势。我们填补了这一空白,提出了一个大规模的测量不同的成员推断攻击和防御。我们通过对九种攻击和六种防御的研究,将隶属度推理系统化,并在整体评估中衡量不同攻击和防御的性能。然后,我们量化了威胁模型对这些攻击结果的影响。我们发现威胁模型的一些假设,如相同的架构和相同的分布之间的影子和目标模型,是不必要的。我们也是第一个对从互联网收集的真实世界数据而不是实验室数据集进行攻击的公司。我们进一步研究了是什么决定了成员推断攻击的性能,并揭示了通常认为的过拟合水平是不足以成功的攻击。相反,成员和非成员样本之间的熵/交叉熵的Jensen-Shannon距离与攻击性能的相关性要好得多。这为我们提供了一种新的方法来准确预测成员推理风险,而无需运行攻击。最后,我们发现,数据增强降低了现有的攻击在更大程度上的性能,我们提出了一个自适应攻击使用增强训练阴影和攻击模型,提高攻击性能。
2022-08-22 cs.CR cs.LG
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh(爱丁堡大学);Meta AI
近年来,机器学习模型对成员推断攻击的脆弱性备受关注。然而,现有的攻击大多仍然是不切实际的,由于具有高误报率,其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠,特别是因为大多数样本在现实世界应用中是非成员。在这项工作中,我们认为,成员推断攻击可以大大受益于\emph{difficulty calibration},其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明,难度校准可以显着降低各种现有攻击的误报率,而不会损失准确性。
2022-04-11 cs.CR cs.LG
An Efficient Subpopulation-based Membership Inference Attack
University of California(加利福尼亚大学)
成员推断攻击允许恶意实体预测在受害者模型的训练期间是否使用样本。最先进的成员推断攻击已经证明可以达到很好的准确性,这对隐私造成了很大的威胁。然而,大多数SOTA攻击需要训练数十到数百个影子模型来准确地推断成员。这种巨大的计算成本引发了人们对这些深度模型攻击的实用性的质疑。在本文中,我们介绍了一个根本不同的MI攻击方法,避免了需要训练数百个影子模型。简单地说,我们将目标样本上的受害者模型输出与来自相同子群体的样本进行比较(即,语义相似的样本),而不是将其与数百个阴影模型的输出进行比较。直觉是,如果目标样本不是训练样本,则目标样本与其子群体之间的模型响应不应存在显著差异。在攻击者无法获得子群体样本的情况下,我们证明了只训练一个生成模型就可以满足要求。因此,我们实现了最先进的成员推理精度,同时显着降低了训练计算成本。
2022-03-04 cs.AI cs.CR cs.CV
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt(达姆施塔特工业大学);SAP SE(思爱普公司)
我们提出了两个信息泄漏攻击,优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断,而无需对生成模型的类型进行假设。与以前的生成模型评估指标(如核密度估计)相反,它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器,以实现较高的隶属推理精度。此外,以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者,以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估,生成对抗网络(GANs)和变分自编码器(VAE),在标准图像数据集上训练。我们的研究结果表明,这两种攻击产生的成功率优于以前的工作在大多数数据集,而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合,特别有用。例如,在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中,我们的工作激励了GANs的使用,因为它们在产生详细样本的同时,被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
Bootstrap Aggregation for Point-based Generalized Membership Inference Attacks
本文提出了一种有效的方案,将广义成员推断攻击扩展到模型训练数据集中的每一点。我们的方法利用数据分区为参考模型创建可变大小的训练集。然后,我们根据每个单独点的输出,为参考模型配置的每个训练样本训练攻击模型。这使我们能够量化每个训练数据点的成员推断攻击漏洞。使用这种方法,我们发现,更少量的参考模型训练数据会导致更强的攻击。此外,参考模型不需要与目标模型具有相同的架构,从而提供额外的攻击效率。即使对手没有完整的原始数据集,也可以执行攻击。
2020-11-17 cs.CR
CLMIA: Membership Inference Attacks via Unsupervised Contrastive Learning
Anhui University(安徽大学)
本文提出名为CLMIA的成员推理攻击方法,利用无监督对比学习训练攻击模型,仅需少量已知成员状态数据微调,在标记身份信息较少的真实场景下表现优于现有方法。
2024-11-17 cs.AI cs.CR cs.LG
Privacy Leaks by Adversaries: Adversarial Iterations for Membership Inference Attack
本文提出 IMIA 攻击,利用生成对抗样本所需迭代次数作为成员推断特征,并在黑盒与白盒场景下验证其有效性,为模型隐私评估提供新视角。
2025-06-03 cs.CR
Membership Information Leakage in Federated Contrastive Learning
研究联邦对比学习(FCL)中常被忽视的成员信息泄露隐私风险,提出被动与主动两种成员推理攻击方法,验证了FCL范式的固有隐私风险。
2024-03-06 cs.CR
When Reasoning Leaks Membership: Membership Inference Attack on Black-box Large Reasoning Models
Beijing University of Posts and Telecommunications(北京邮电大学);China Unicom Research Institute(中国联通研究院)
针对黑盒大推理模型的成员推断攻击,通过分析推理轨迹的语义潜在空间构建攻击框架,揭示其隐私风险及改进方向。
2026-01-20 cs.CR
Improved Membership Inference Attacks Against Language Classification Models
IBM(国际商业机器公司(IBM))
提出一种基于集成方法的成员推断攻击新框架,通过为数据子集生成多个专门攻击模型,在经典和语言分类任务上均优于单一模型或按类别建模的方法,有效提升攻击准确率。
2024-07-18 cs.AI cs.CR cs.LG
Scalable Membership Inference Attacks via Quantile Regression
Amazon AWS AI/ML(亚马逊AWS人工智能与机器学习);University of Pennsylvania(宾夕法尼亚大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于分位数回归的成员推理攻击方法,仅需训练一个模型即可达到与影子模型攻击相当的效果,同时无需知道被攻击模型架构,显著降低了计算成本并实现真正的黑盒攻击。
2023-07-07 cs.AI cs.CR cs.LG
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries
Max Planck Institute for Computer Science(马克斯·普朗克计算机科学研究所)
机器学习模型已被证明会泄露违反其训练集隐私的信息。我们专注于对机器学习模型的成员推断攻击,其目的是确定数据点是否用于训练受害者模型。我们的工作包括两个方面:我们介绍了抽样攻击,一种新的成员推理技术,不同于其他标准的成员资格的对手是能够工作在严格的限制下,没有访问受害者模型的分数。我们发现,一个受害者模型,只发布标签仍然容易受到抽样攻击和对手可以恢复到100%的性能相比,当后验向量提供。我们的工作的其他方面包括两个最近的成员推断攻击模型的实验结果和对他们的防御。为了防御,我们选择差分隐私的形式梯度扰动在受害者模型的训练以及输出扰动在预测时间。我们在广泛的数据集上进行实验,这使我们能够更好地分析对手,防御机制和数据集之间的交互。我们发现,我们提出的快速和易于实现的输出扰动技术提供了很好的隐私保护成员推断攻击在效用的影响很小。
2020-09-01 cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University(普渡大学);NVIDIA Research(NVIDIA研究)
针对成员推断攻击,提出自适应场景下的级联攻击(CMIA)和非自适应场景下的代理攻击(PMIA),利用成员依赖性或代理样本行为提升推断性能,在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
Shadow-Free Membership Inference Attacks: Recommender Systems Are More Vulnerable Than You Thought
针对依赖影子训练的成员推理攻击在黑盒且缺乏目标系统知识时性能下降的问题,提出直接依据推荐个性化程度判断成员身份的无影子 MIA,并在多种推荐系统上验证其更准、更省算。
2024-05-11 cs.CR
Label-Only Membership Inference Attacks
University of Toronto(多伦多大学);Vector Institute(向量研究所);Stanford University(斯坦福大学);Google(谷歌)
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一:给定一个数据点和模型,确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签,而没有置信度,这些攻击就不适用。在本文中,我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分,而是评估模型预测标签在扰动下的鲁棒性,以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明,我们的标签只有成员推断攻击执行与以前的攻击,需要访问模型的信心。我们进一步证明,标签攻击打破多重防御成员推断攻击(隐式或显式)依赖于一种现象,我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击,但保持模型的预测标签不变。我们的标签攻击表明,信心掩蔽是不是一个可行的防御策略,对成员推理。最后,我们研究了最坏情况下的仅标签攻击,即推断少数离群数据点的成员资格。我们发现,在这种情况下,仅标签攻击也匹配基于信任的攻击。我们发现,具有差分隐私和(强)L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时,这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Membership Inference on Word Embedding and Beyond
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
在文本处理上下文中,大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的,这些数据集可能包含敏感数据。在某些情况下,这种训练是独立完成的,在其他情况下,它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下,考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是,有些令人惊讶的是,对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理(NLP)任务中的影响仍然相对未被探索。在这项工作中,我们表明在现实的假设下,词嵌入很容易受到黑盒成员推断攻击。此外,我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在:分类和文本生成,即使嵌入层没有暴露给攻击者。我们表明,我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上,我们的攻击是对文本生成模型的更便宜的成员推断攻击,它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
Membership Inference Attacks and Generalization: A Causal Perspective
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Research(微软研究院)
隶属度推断(MI)攻击突出了现有神经网络随机训练方法的隐私弱点。然而,人们并不很清楚它们为什么会出现。它们仅仅是不完美的概括的自然结果吗?在培训期间,我们应该解决哪些根本原因,以减轻这些攻击?为了回答这些问题,我们提出了第一种方法来解释MI攻击及其与基于原则因果推理的泛化的联系。我们提供因果关系图,定量解释所观察到的MI攻击性能达到$6$攻击变种。我们驳斥了几个先前的非定量假设,这些假设过度简化或高估了潜在原因的影响,从而未能捕捉到几个因素之间复杂的相互作用。我们的因果模型还显示了泛化和MI攻击之间的新联系,通过其共享的因果因素。我们的因果模型具有高预测能力($0.90$),即,他们的分析预测往往与看不见的实验中的观察相吻合,这使得通过他们进行分析成为一种实用的选择。
2022-10-30 cs.AI cs.CR cs.LG
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis(加州大学戴维斯分校)
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡,分析其根因,并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
Do Backdoors Assist Membership Inference Attacks?
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
当攻击者向机器学习模型提供有毒样本时,隐私泄露(例如推断样本是否包括在模型的训练中的成员推断攻击)通过将样本移动到离群值而变得有效。然而,攻击可以被检测到,因为推理精度由于有毒样本而恶化。在本文中,我们讨论了一个\textit{backdoor-assisted membership inference attack},一种新的成员推断攻击的基础上后门,返回对手的预期输出的触发样本。通过对学术基准数据集的实验,我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次,当我们分析损失分布以了解不成功结果的原因时,我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说,后门不会影响干净样本的分发。第三,我们还表明,毒物和触发样本激活不同分布的神经元。具体来说,后门使任何干净的样本成为内围值,而不是中毒样本。因此,我们确认,后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
Membership Inference Attacks Against Object Detection Models
Department of Mathematical Science, Seoul National University(首尔国立大学数学系)
机器学习模型可能会泄露关于它们训练的数据集的信息。在本文中,我们提出了第一个成员推断攻击黑盒目标检测模型,确定是否在训练中使用给定的数据记录。为了攻击目标检测模型,我们设计了一种称为画布方法的新方法,在该方法中,预测边界框被绘制在空图像上,用于攻击模型输入。基于实验,我们成功地揭示了使用一阶段和两阶段检测模型训练的隐私敏感数据的成员状态。然后,我们提出了防御策略,并在模型和数据集之间进行转移攻击。我们的研究结果表明,目标检测模型也容易受到推理攻击像其他模型。
2020-01-28 cs.CR cs.CV
ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
机器学习(ML)已成为许多现实世界应用的核心组件,而训练数据是推动当前进展的关键因素。这一巨大的成功促使互联网公司部署机器学习即服务(MLaaS)。最近,第一次成员推断攻击已经表明,在这种MLaaS设置中提取训练集上的信息是可能的,这具有严重的安全和隐私影响。然而,这种攻击的可行性的早期演示对对手有许多假设,例如使用多个所谓的阴影模型,目标模型结构的知识,以及具有来自与目标模型的训练数据相同分布的数据集。我们放松了所有这些关键假设,从而表明这种攻击在低成本下具有非常广泛的适用性,从而构成了比以前认为的更严重的风险。我们使用八个不同的数据集对这一新兴和发展中的威胁进行了迄今为止最全面的研究,这些数据集显示了跨域攻击的可行性。此外,我们提出了第一个有效的防御机制,对这种更广泛的成员推断攻击,保持高水平的ML模型的实用性。
2018-12-14 cs.AI cs.CR cs.LG
Winning the MIDST Challenge: New Membership Inference Attacks on Diffusion Models for Tabular Data Synthesis
Carnegie Mellon University(卡内基梅隆大学)
针对扩散表格数据合成的隐私评估不足,本文提出利用跨噪声与时间步损失特征的轻量级 MLP 成员推理攻击,并在 MIDST Challenge 全部赛道夺冠。
2025-03-15 cs.AI cs.CR cs.LG
MIA-BAD: An Approach for Enhancing Membership Inference Attack and its Mitigation with Federated Learning
Old Dominion University(奥尔多明尼恩大学);Virginia Modeling, Analysis and Simulation Center(弗吉尼亚建模、分析与仿真中心);Deloitte & Touche LLP(德勤有限责任合伙事务所)
本文提出MIA-BAD方法,通过逐批次生成攻击数据集来增强成员推理攻击的准确性和效率,并研究利用联邦学习缓解该攻击威胁,实验验证了其效果。
2023-11-28 cs.AI cs.CR cs.LG
Bayes-Nash Generative Privacy Against Membership Inference Attacks
针对成员推断攻击,提出基于贝叶斯博弈的生成式隐私框架BNGP,以神经网络生成器和判别器建模攻防,避免灵敏度计算,支持相关机制组合,实证中优于现有方法。
2025-07-10 cs.CR
Pop Quiz Attack: Black-box Membership Inference Attacks Against Large Language Models
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心)
本文提出PopQuiz攻击,通过将目标数据转化为选择题来推断大语言模型是否能回忆特定训练数据,平均ROC-AUC达0.873,优于现有方法。
2026-05-07 cs.CR
A Method to Facilitate Membership Inference Attacks in Deep Learning Models
University of British Columbia(不列颠哥伦比亚大学)
针对恶意ML提供者仅能黑盒查询模型的威胁,提出通过投毒训练代码放大成员泄漏的新型成员推理攻击,实现高去标识化率且几乎不损失准确率,并暴露现有隐私审计缺陷。
2024-07-02 cs.AI cs.CR cs.CV
Leveraging Membership Inference Attacks for Privacy Measurement in Federated Learning for Remote Sensing Images
本文提出利用成员推断攻击作为联邦学习中遥感图像隐私测量的量化框架,评估不同FL算法和通信策略下的隐私泄露情况,发现通信高效策略能降低攻击成功率并保持性能。
2026-01-08 cs.AI cs.CR cs.CV
Generalization Techniques Empirically Outperform Differential Privacy against Membership Inference
不同的私有训练算法提供了对机器学习中最流行的攻击之一的保护:成员推断攻击。然而,这些隐私算法会导致模型分类准确性的损失,因此会产生隐私效用权衡。差分隐私在深度学习中提供强大的理论保护保证所需的噪声量通常会使模型无法使用,但作者观察到,即使是较低的噪声水平也可以提供可接受的经验保护,以抵御现有的成员推断攻击。在这项工作中,我们寻找替代差分隐私对经验保护成员推断攻击。我们研究了简单地遵循良好的机器学习实践(没有考虑隐私设计)对成员推理的保护。我们评估了最先进的技术,如预训练和锐度感知最小化,单独和差分私人训练算法的性能,并发现,当使用早期停止,没有差分隐私的算法可以提供更高的效用和更高的隐私比他们的差分私人同行。这些发现挑战了差分隐私是一种很好的防御现有成员推断攻击的信念
2021-10-11 cs.CR
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Zhejiang Lab(之江实验室);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击,例如模型反演攻击和成员推断攻击,其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法,即净化框架,来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明,当净化器致力于一种攻击时,它自然会防御另一种攻击,这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如,它可以将隶属度推断精度降低高达15%,并将模型反演误差增加高达4倍。此外,它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
虽然机器学习(ML)模型被部署在许多关键应用程序中作为核心组件,但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断,其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止,大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而,现实世界的ML模型通常是按照迁移学习范式训练的,其中模型所有者采用从不同数据集(即教师模型)学习的预训练模型,并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中,我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明,隶属度推理可以达到有效的性能。例如,在从ResNet20(用Caltech 101预训练)转移的CIFAR 100分类器上,我们的成员推理实现了$95\%$攻击AUC。此外,我们表明,隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
Membership Inference Attacks From First Principles
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
成员推断攻击允许对手查询经训练的机器学习模型,以预测模型的训练数据集中是否包含特定示例。这些攻击目前使用平均情况下的“准确性”指标进行评估,无法表征攻击是否可以自信地识别训练集的任何成员。我们认为,攻击应该通过计算它们在低(例如,<0.1%)的假阳性率,并发现大多数先前的攻击在以这种方式评估时表现不佳。为了解决这个问题,我们开发了一种LikeRatio攻击(LiRA),它仔细结合了文献中的多种想法。我们的攻击在较低的误报率下比之前的攻击强大10倍,并且在现有指标上严格优于之前的攻击。
2022-04-12 cs.CR cs.LG
Active Membership Inference Attack under Local Differential Privacy in Federated Learning
University of Florida(佛罗里达大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出联邦学习中由不诚实服务器发起的主动成员推理攻击,利用非线性决策边界在本地差分隐私下实现高成功率,并揭示防御噪声会显著损害模型效用。
2023-07-24 cs.AI cs.CR cs.LG
NeuGuard: Lightweight Neuron-Guided Defense against Membership Inference Attacks
Lehigh University(理海大学);Illinois Institute of Technology(伊利诺伊理工学院)
针对机器学习模型的成员推断攻击(MIA)会导致模型训练中使用的训练数据集面临严重的隐私风险。针对成员推断攻击(MIA),提出了一种新颖有效的神经元引导防御方法NeuGuard。我们确定了一个关键的弱点,在现有的防御机制对MIA,其中他们不能同时防御两个常用的神经网络为基础的MIA,这两种攻击应单独评估,以确保防御效果。我们提出了NeuGuard,一种新的防御方法,联合控制输出和内部神经元的激活与目标,以引导训练集和测试集的模型输出具有接近的分布。NeuGuard算法由类方差最小化控制和层均衡输出控制两部分组成,类方差最小化控制的目标是约束最终输出神经元,层均衡输出控制的目标是约束每层的内层神经元。我们评估NeuGuard和比较它与国家的最先进的防御两个神经网络为基础的MIA,五个最强的度量为基础的MIA,包括新提出的标签只MIA三个基准数据集。结果表明,NeuGuard优于国家的最先进的防御提供了更好的实用性,隐私权衡,通用性和开销。
2022-12-12 cs.AI cs.CR cs.LG
Membership Inference Attacks and Defenses in Federated Learning: A Survey
本文针对联邦学习场景下成员推理攻击与防御研究缺乏全面最新综述的空白,对相关攻击与防御策略分类梳理,分析不同方法优劣并提出未来研究方向。
2024-12-09 cs.CR
Do Parameters Reveal More than Loss for Membership Inference?
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文指出随机梯度下降下最优成员推理需白盒访问,提出利用模型参数和逆Hessian向量乘积的白盒攻击方法IHA,证明参数访问对审计员和攻击者均有益。
2024-12-19 cs.AI cs.CR cs.LG
Use the Spear as a Shield: A Novel Adversarial Example based Privacy-Preserving Technique against Membership Inference Attacks
最近,成员推断攻击对机器学习模型的机密训练数据的隐私构成了严重威胁。本文提出了一种新的基于对抗性示例的隐私保护技术(AEPPT),该技术在目标模型的预测中加入了精心制作的对抗性扰动,以误导对手的成员推理模型。增加的对抗性扰动不影响目标模型的准确性,但可以防止对手推断特定数据是否在目标模型的训练集中。由于AEPPT只修改目标模型的原始输出,因此该方法具有通用性,不需要修改或重新训练目标模型。实验结果表明,该方法可以将隶属度推理模型的推理准确率和精度降低到50%,接近于随机猜测。此外,对于那些自适应攻击的对手知道的防御机制,建议AEPPT也被证明是有效的。与最先进的防御方法相比,所提出的防御可以将成员推断攻击的准确性和精确度显著降低到50%(即,与随机猜测相同),而目标模型的性能和实用性将不受影响。
2020-11-27 cs.CR
Black-box Membership Inference Attacks against Fine-tuned Diffusion Models
针对微调扩散模型的隐私泄露风险,提出首个黑盒、基于重构的成员推理攻击框架,覆盖多种场景与攻击类型,AUC 达 0.95。
2024-09-05 cs.CR
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland(马里兰大学)
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作,我们是第一个经验表明,彩票网络同样容易受到成员推断攻击。成员推断攻击(Membership Inference Attack,MIA)是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络,以找到较小的子网络,这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务,并观察到攻击精度相似。我们还看到,攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型,具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG
What Hard Tokens Reveal: Exploiting Low-confidence Tokens for Membership Inference Attacks against Large Language Models
Florida International University(佛罗里达国际大学);California State Polytechnic University, Pomona(加州州立理工大学波莫纳分校)
本文提出HT-MIA方法,通过分析低置信度token的概率改进,提升对大型语言模型的成员推断攻击效果,并探讨差分隐私训练作为防御机制。
2026-01-27 cs.CR
Membership Leakage in Label-Only Exposures
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
机器学习(ML)已被广泛采用于各种隐私关键应用中,例如,人脸识别和医学图像分析。然而,最近的研究表明,ML模型很容易受到对其训练数据的攻击。成员推断是该领域的一种主要攻击:给定数据样本和模型,攻击者的目标是确定样本是否是模型训练集的一部分。现有的成员推断攻击利用模型返回的置信度分数作为其输入(基于分数的攻击)。然而,如果模型仅暴露预测的标签,即,最后的决定。在本文中,我们提出了基于决策的成员推断攻击,并证明了标签的曝光也容易受到成员泄漏。特别是,我们开发了两种类型的基于决策的攻击,即转移攻击和边界攻击。实验结果表明,本文提出的基于决策的攻击方法可以取得显著的性能,在某些情况下甚至优于以往的基于得分的攻击方法。我们进一步提出了新的见解,成功的成员推理的基础上定量和定性分析,即,模型的成员样本比非成员样本更远离模型的决策边界。最后,我们评估了多种防御机制对我们的决策为基础的攻击,并表明,我们的两种类型的攻击可以绕过大多数这些防御。
2021-09-17 cs.CR cs.LG stat.ML
Res-MIA: A Training-Free Resolution-Based Membership Inference Attack on Federated Learning Models
Department of Computer Engineering and Information Technology(计算机工程与信息技术系)
Res-MIA是一种无训练、黑盒的联邦学习成员推断攻击,通过降解输入分辨率来揭示模型对高频细节的敏感性,实现高精度的隐私泄露检测。
2026-01-24 cs.AI cs.CR cs.LG
Privacy Auditing of Multi-domain Graph Pre-trained Model under Membership Inference Attacks
针对多领域图预训练模型在成员推断攻击中的隐私风险,提出MGP-MIA框架,通过信号放大、影子模型构建和相似性推断机制提升攻击效果。
2025-11-22 cs.AI cs.CR cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Membership Inference Attacks by Exploiting Loss Trajectory
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心)
机器学习模型容易受到成员推断攻击的攻击,其中攻击者旨在预测目标模型的训练数据集中是否包含特定样本。现有的攻击方法通常只利用给定目标模型的输出信息(主要是损失)。因此,在成员样本和非成员样本产生类似小损失的实际场景中,这些方法自然无法区分它们。为了解决这一问题,本文提出了一种新的攻击方法,称为\system,它可以利用目标模型在整个训练过程中的隶属度信息来提高攻击性能。为了在常见的黑盒设置中安装攻击,我们利用知识蒸馏,并表示成员信息的损失评估的一系列中间模型在不同的蒸馏时期,即\emph{distilled loss trajectory},连同从给定的目标模型的损失。在不同数据集和模型架构上的实验结果证明了我们的攻击在不同度量方面的巨大优势。例如,在CINIC-10上,我们的攻击比现有方法在0.1\%的低假阳性率下实现了至少6 $\times$的真阳性率。进一步的分析证明了我们的攻击在更严格的情况下的一般有效性。
2022-08-31 cs.CR cs.LG
Set-Membership Inference Attacks using Data Watermarking
Ruhr University(鲁尔大学)
本文提出了一种利用深度图像水印技术对生成模型进行集合隶属推断攻击的方法,通过条件采样揭示训练数据中的水印,有效检测图像数据的非同意使用。
2023-06-22 cs.CR cs.CV cs.LG
Center-Based Relaxed Learning Against Membership Inference Attacks
North Carolina State University(北卡罗来纳州立大学)
针对成员推理攻击,提出与架构无关的基于中心的松弛学习(CRL)训练范式,通过平衡数据记忆与泛化能力,在维持成员与非成员数据一致性的同时实现隐私保护,且无需额外模型容量或数据成本。
2024-05-29 cs.AI cs.CR cs.LG