Defending Diffusion Models Against Membership Inference Attacks via Higher-Order Langevin Dynamics
Department of Applied Math & Statistics(应用数学与统计学系);Stony Brook University(石溪大学);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出利用高阶 Langevin 动力学防御扩散模型的成员推断攻击,通过引入辅助变量和联合扩散过程提升模型安全性,通过AUROC和FID指标验证有效性。
2026-05-06 cs.LG stat.ML
Membership Inference Attacks on Sequence-to-Sequence Models: Is My Data In Your Machine Translation System?
Works Applications;Johns Hopkins University(约翰斯·霍普金斯大学)
数据隐私是“机器学习即服务”提供商的重要问题。我们关注的问题,成员推断攻击:给定一个数据样本和黑盒访问一个模型的API,确定样本是否存在于模型的训练数据。我们的贡献是调查这个问题的背景下,序列到序列模型,这是很重要的应用程序,如机器翻译和视频描述。我们定义了序列生成的成员推理问题,提供了一个开放的数据集的基础上,国家的最先进的机器翻译模型,并报告这些模型是否泄漏私人信息对几种成员推断攻击的初步结果。
2020-03-16 cs.CL cs.LG stat.ML
Stolen Memories: Leveraging Model Memorization for Calibrated White-Box Membership Inference
Carnegie Mellon University(卡内基梅隆大学)
隶属推理(MI)攻击利用了机器学习算法有时会通过学习的模型泄漏有关其训练数据的信息的事实。在这项工作中,我们研究了白盒设置中的成员推理,以利用模型的内部结构,这在以前的工作中没有得到有效的利用。利用关于深度神经网络中过拟合如何发生的新见解,我们展示了模型对特征的特殊使用如何为白盒攻击者提供成员资格的证据-即使模型的黑盒行为似乎很好地推广-并证明这种攻击优于以前的黑盒方法。采取的立场,一个有效的攻击应该有能力提供自信的积极推断,我们发现,以前的攻击并不经常提供一个有意义的基础,自信地推断成员资格,而我们的攻击可以有效地校准高精度。最后,我们检查了针对MI攻击的流行防御,发现(1)较小的泛化误差不足以防止对真实模型的攻击,以及(2)虽然小- $ε$ -差分隐私降低了攻击的有效性,但这通常会对模型的准确性造成重大损失;对于有时在实践中使用的较大$ε$(例如,$ε=16$),攻击可以达到与未受保护模型几乎相同的精度。
2020-06-24 cs.CR cs.LG stat.ML
Context-Aware Membership Inference Attacks against Pre-trained Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德·本·扎耶德人工智能大学);Brave Software(Brave软件公司);Imperial College London(帝国理工学院);National University of Singapore(新加坡国立大学)
本文提出一种针对预训练LLMs的新型成员推理攻击方法,通过将统计测试适应于数据点内子序列的困惑度动态,有效解决了以往方法忽略LLMs生成特性的问题,显著提升了攻击性能并揭示了模型依赖上下文的记忆模式。
2025-09-16 cs.AI cs.CL cs.CR
Membership Inference Attacks against Machine Learning Models
Cornell Tech(康奈尔理工大学);INRIA(法国国家信息与自动化研究所);Cornell(康奈尔大学)
我们定量地研究了机器学习模型如何泄漏关于它们所训练的个体数据记录的信息。我们专注于基本的成员推断攻击:给定一个数据记录和对模型的黑盒访问,确定该记录是否在模型的训练数据集中。为了对目标模型执行成员推理,我们对抗性地使用机器学习并训练我们自己的推理模型,以识别目标模型对它训练过的输入和没有训练过的输入的预测差异。我们在由商业“机器学习即服务”提供商(如Google和Amazon)训练的分类模型上实证评估我们的推理技术。使用现实的数据集和分类任务,包括从隐私的角度来看,其成员是敏感的出院数据集,我们表明,这些模型可能容易受到成员推断攻击。然后,我们调查影响这种泄漏的因素,并评估缓解策略。
2017-03-31 cs.CR cs.LG stat.ML
Membership Inference Attacks via Adversarial Examples
Laboratoire d’Informatique de l’École polytechnique(巴黎综合理工学院计算机实验室);Inria(法国国家信息与自动化研究所);LTCI, Télécom Paris(巴黎电信学院通信与信息技术实验室);Institut Polytechnique de Paris(巴黎理工学院);CMAP, Ecole Polytechique(巴黎综合理工学院应用数学中心);Lagrange Research Center(拉格朗日研究中心)
机器学习和深度学习的兴起导致了几个领域的重大改进。这种变化得到了计算能力和大型数据集收集的巨大增长的支持。这样的大规模数据集通常包括可能对隐私构成威胁的个人数据。成员推断攻击是一个新的研究方向,其目的是恢复学习算法使用的训练数据。在本文中,我们开发了一种方法来衡量泄漏的训练数据利用一个数量出现作为一个代理的总变化的训练模型附近的训练样本。我们通过提供一种新的防御机制来扩展我们的工作。我们的贡献是支持的经验证据,通过令人信服的数值实验。
2022-11-23 cs.AI cs.CR cs.LG
Against Membership Inference Attack: Pruning is All You Need
University of Connecticut(康涅狄格大学);Duke University(杜克大学);Stevens Institute of Technology(史蒂文斯理工学院)
大的模型大小、高计算操作和对成员推断攻击(MIA)的脆弱性阻碍了深度学习或深度神经网络(DNN)的普及,特别是在移动设备上。为了应对这一挑战,我们设想权重修剪技术将有助于DNN对抗MIA,同时减少模型存储和计算操作。在这项工作中,我们提出了一个修剪算法,我们表明,该算法可以找到一个子网络,可以防止隐私泄漏从MIA,并实现竞争的准确性与原来的DNN。我们还验证了我们的理论见解与实验。实验结果表明,使用模型压缩的攻击准确率达到13.6%,比基线和Min-Max游戏的攻击准确率降低了10%。
2021-07-04 cs.LG stat.ML
Sharing Models or Coresets: A Study based on Membership Inference Attack
Pennsylvania State University(宾夕法尼亚州立大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Army Research Laboratory(陆军研究实验室)
分布式机器学习通常旨在基于分布式数据训练全局模型,而无需将所有数据收集到集中位置,其中已经提出了两种不同的方法:收集和聚合本地模型(联邦学习)以及收集和训练代表性数据摘要(coreset)。虽然由于不共享原始数据,每种方法都在一定程度上保护了数据隐私,但在试图从共享信息中推断原始数据的复杂攻击下,保护的确切程度尚不清楚。我们提出了两种方法之间的目标模型的准确性,通信成本和数据隐私方面的第一个比较,其中最后一个是衡量一个国家的最先进的攻击策略称为成员推断攻击的准确性。我们的实验量化了每种方法的准确性-隐私性-成本权衡,并揭示了一个可用于指导模型训练过程设计的重要比较。
2020-07-06 cs.LG stat.ML
Low-Cost High-Power Membership Inference Attacks
National University of Singapore (NUS)(新加坡国立大学)
本文提出低计算开销的 RMIA 统计检验,通过细粒度零假设建模及参考模型、参考样本提升成员推理攻击功率。
2024-06-12 cs.CR cs.LG stat.ML
White-box vs Black-box: Bayes Optimal Strategies for Membership Inference
University Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔综合理工学院);LJK(格勒诺布尔大学实验室);Facebook AI Research(Facebook人工智能研究院)
在给定样本和机器学习模型的训练参数的情况下,隶属度推断确定样本是否是训练集的一部分。在本文中,我们推导出的最佳策略的成员推断与一些假设的参数分布。我们证明了最优攻击只依赖于损失函数,因此黑盒攻击和白盒攻击一样好。由于最优策略是不听话的,我们提供了它的近似导致几种推理方法,并表明现有的成员资格推理方法是粗糙的近似这种最优策略。我们的成员攻击在各种设置中都优于最先进的技术,从简单的逻辑斯谛回归到更复杂的架构和数据集,如ResNet-101和Imagenet。
2019-08-29 cs.CR cs.LG stat.ML
Enhanced Membership Inference Attacks against Machine Learning Models
National University of Singapore(新加坡国立大学);Privitar Labs(Privitar实验室);University of Florida(佛罗里达大学)
一个机器学习算法会泄露多少训练数据,为什么?成员推断攻击被用作审计工具来量化这种泄漏。在本文中,我们提出了一个全面的\textit{hypothesis testing framework},使我们不仅能够正式表示以前的工作在一个一致的方式,但也设计新的成员推断攻击,使用参考模型,以实现显着更高的权力(真阳性率)的任何(假阳性率)错误。更重要的是,我们解释了\textit{why}不同的攻击执行不同。我们提出了一个模板不可分割的游戏,并提供了一个解释的攻击成功率在不同的游戏实例。我们讨论了各种不确定性的攻击者所产生的制定的问题,并显示我们的方法试图尽量减少攻击的不确定性的一位秘密的训练集中的数据点的存在或不存在。我们在所有类型的攻击之间执行\textit{differential analysis},解释它们之间的差距,并显示是什么原因导致数据点容易受到攻击(原因因记忆的粒度不同而异,从过拟合到条件记忆)。我们的审计框架作为\textit{Privacy Meter}软件工具的一部分可公开访问。
2022-09-13 cs.CR cs.LG stat.ML
On the Difficulty of Membership Inference Attacks
University of California Davis(加州大学戴维斯分校)
最近的研究提出了对深度模型的隶属推理(MI)攻击,其目标是推断样本是否已用于训练过程。尽管这些研究取得了明显的成功,但它们只报告了阳性类(成员类)的准确性、精确性和召回率。因此,这些攻击的性能还没有在负类(非成员类)上清楚地报告。在本文中,我们表明,MI攻击的性能报告的方式往往是误导,因为他们遭受高误报率或误报率(FAR),尚未报告。FAR显示了攻击模型将非训练样本(非成员)错误标记为训练(成员)样本的频率。高FAR使得MI攻击从根本上不切实际,这对于诸如成员推断之类的任务尤其重要,其中大多数样本实际上属于负(非训练)类。此外,我们表明,目前的MI攻击模型只能识别错误分类的样本的成员资格,最好的准确性一般,这只构成了很小的一部分训练样本。我们分析了几个新的特征,以前没有全面探索的隶属度推理,包括距离决策边界和梯度范数,并得出结论,深度模型的响应大多是相似的训练和非训练样本。我们进行了几个实验图像分类任务,包括MNIST,CIFAR-10,CIFAR-100,和ImageNet,使用各种模型架构,包括LeNet,AlexNet,ResNet等,我们表明,目前的最先进的MI攻击不能同时实现高精度和低FAR,即使攻击者被赋予几个优势。源代码可在https://github.com/shrezaei/MI-Attack上获得。
2021-03-22 cs.CR cs.CV cs.LG
TAMIS: Tailored Membership Inference Attacks on Synthetic Data
Univ. Lille(里尔大学);Inria(法国国家信息与自动化技术研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工大学);UMR 9189 - CRIStAL(9189号联合研究单位——CRIStAL)
针对依赖图模型的差分隐私合成数据生成方法,提出TAMIS攻击:基于MAMA-MIA优化,仅用合成数据恢复图模型并引入数学化攻击分数,降低成本与知识需求,在SNAKE复现任务中性能更优或相当。
2025-11-12 cs.LG stat.ML
Robust Membership Encoding: Inference Attacks and Copyright Protection for Deep Learning
Cornell University(康奈尔大学);National University of Singapore(新加坡国立大学)
机器学习即服务(MLaaS)和算法市场正在崛起。数据持有者可以使用第三方提供的学习代码轻松地在其数据上训练复杂模型。训练准确的机器学习模型需要大量的标记数据和先进的学习算法。由此产生的模型被视为模型所有者的知识产权,其版权应受到保护。此外,MLaaS需要被信任不会将关于训练数据的秘密信息嵌入到模型中,以便稍后在部署模型时可以检索该信息。在本文中,我们提出了\emph{membership encoding},用于训练深度神经网络,并对训练数据的子集的成员信息进行编码,即数据点是否用于训练。隶属度编码在不同的应用场景中有多种应用,包括用于模型版权保护的鲁棒水印,以及用于隐藏数据嵌入隐私攻击的风险分析。我们的编码算法可以确定显着编辑的数据点的成员,也是强大的模型压缩和微调。它还可以对训练集的很大一部分进行编码,而模型的预测准确性下降可以忽略不计。
2020-03-22 cs.CR cs.LG stat.ML
Gaussian Membership Inference Privacy
University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学);Harvard University(哈佛大学)
本文提出 $f$-成员推断隐私框架,并通过分析 SGD 推导出 $μ$-高斯成员推断隐私保证,同时给出无需影子模型的解析式攻击方法,用于审计隐私并分析超参数对攻击能力的影响。
2023-10-26 cs.CR cs.LG stat.ML
The Sample Complexity of Membership Inference and Privacy Auditing
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院);Department of Computer Science, Boston University(波士顿大学计算机科学系)
本文在高斯均值估计设定下研究成员推断攻击的样本复杂度,首次证明攻击者有时需要 Ω(n+n²ρ²) 个参考样本,远多于训练所用样本,提示现有攻击可能低估了隐私泄露风险。
2026-10-09 cs.CR cs.LG stat.ML
Membership Inference Attacks and Defenses in Neural Network Pruning
Michigan Technological University(密歇根理工大学)
神经网络修剪是一种重要的技术,用于减少将深度神经网络用于资源受限设备的计算和存储器需求。大多数现有的研究主要集中在平衡的稀疏性和准确性的修剪神经网络,通过战略性地删除无关紧要的参数和重新训练修剪模型。这种重复使用训练样本的努力由于增加记忆而造成严重的隐私风险,然而,尚未进行调查。本文首先对神经网络剪枝中的隐私风险进行了分析。具体来说,我们研究了神经网络修剪对训练数据隐私的影响,即,成员推断攻击。我们首先探讨了神经网络修剪对预测发散的影响,其中修剪过程不成比例地影响修剪模型的成员和非成员行为。同时,分歧的影响甚至在不同的类之间以细粒度的方式变化。受此启发,提出了一种针对剪枝后的神经网络的自注意成员推断攻击.进行了大量的实验,严格评估隐私的影响,不同的修剪方法,稀疏水平,和对手的知识。与现有的8种成员推断攻击相比,该攻击在剪枝模型上表现出更高的攻击性能。此外,我们提出了一种新的防御机制,以保护修剪过程中,通过减轻基于KL-发散距离的预测分歧,其有效性已被实验证明,有效地减轻隐私风险,同时保持稀疏性和准确性的修剪模型。
2022-08-03 cs.CR cs.LG stat.ML
Machine Learning with Membership Privacy using Adversarial Regularization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National University of Singapore(新加坡国立大学)
机器学习模型会泄露关于它们所训练的数据集的信息。攻击者可以构建一个算法来跟踪模型训练数据集的各个成员。作为基本的推理攻击,他的目标是区分模型训练集的数据点和来自同一分布的任何其他数据点。这被称为跟踪(也称为成员推断)攻击。在本文中,我们专注于对黑盒模型的攻击,其中对手只能观察模型的输出,但不能观察其参数。这是互联网中机器学习作为服务的当前设置。我们引入了一种隐私机制来训练可证明实现成员隐私的机器学习模型:该模型对其训练数据的预测与其对来自同一分布的其他数据点的预测无法区分。我们设计了一个策略机制,隐私机制预计成员推理攻击。目标是训练一个模型,使其不仅具有最小的预测误差(高实用性),而且是针对其相应的最强推理攻击(高隐私性)的最鲁棒模型。我们将其形式化为一个最小-最大博弈优化问题,并设计了一个对抗性训练算法,该算法最大限度地减少了模型的分类损失以及对模型的成员推理攻击的最大收益。这种策略,保证了成员隐私(作为预测不可篡改性),也作为一个强正则化器,并显着推广了模型。我们使用不同的基准数据集在深度神经网络上评估我们的隐私机制。我们表明,我们的最小-最大策略可以减轻成员推断攻击的风险(接近随机猜测),在分类错误方面的成本可以忽略不计。
2018-07-16 cs.CR cs.LG stat.ML
Quantifying Membership Inference Vulnerability via Generalization Gap and Other Model Metrics
University of Central Florida(中佛罗里达大学);University of Texas San Antonio(德克萨斯大学圣安东尼奥分校)
我们演示了目标模型的泛化差距如何直接导致一个有效的确定性黑盒成员推断攻击(MIA)。这提供了基于简单度量的模型对MIA的安全性的上限。此外,这种攻击被证明是最佳的预期意义上只访问某些可能获得的度量有关的网络的训练和性能。实验表明,这种攻击在许多情况下与最先进的MIA的准确性相当。
2020-09-11 cs.CR cs.LG stat.ML
Revisiting Membership Inference Under Realistic Assumptions
University of Virginia(弗吉尼亚大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
我们研究成员推理的设置中,通常使用的一些假设在以前的研究放松。首先,我们考虑倾斜的先验,以涵盖的情况下,如只有一小部分的候选人池的目标是由对手实际上是成员,并制定一个PPV为基础的度量适合这种设置。这种设置比研究人员通常考虑的平衡先验设置更现实。其次,我们考虑的对手,选择推理阈值,根据他们的攻击目标,并制定了一个阈值选择程序,提高推理攻击。由于以前的推理攻击失败的不平衡的先验设置,我们开发了一个新的推理攻击的直觉,即对应于训练集成员的输入将接近局部最小值的损失函数,并表明,攻击,结合这与阈值的每实例损失可以实现高PPV,即使在其他攻击似乎是无效的设置。我们的实验代码可以在这里找到:https://github.com/bargavj/EvaluatingDPML。
2021-01-13 cs.CR cs.LG stat.ML
Amplifying Membership Exposure via Data Poisoning
随着野外数据越来越多地参与训练阶段,机器学习应用程序变得更容易受到数据投毒攻击。这种攻击通常会导致测试时间精度下降或受控的错误预测。在本文中,我们研究了数据投毒的第三种类型的利用-增加良性训练样本的隐私泄露风险。为此,我们演示了一组数据投毒攻击,以放大目标类的成员暴露。我们首先提出了一个通用的脏标签攻击监督分类算法。然后,我们在迁移学习场景中提出了一种基于优化的清洁标签攻击,从而使中毒样本被正确标记,看起来“自然”,以逃避人类的调节。我们广泛评估我们对计算机视觉基准的攻击。我们的研究结果表明,所提出的攻击可以大大提高成员推理精度与最小的整体测试时间模型的性能下降。为了减轻我们的攻击的潜在负面影响,我们还研究可行的对策。
2022-11-01 cs.CR stat.ML
Some Targets Are Harder to Identify than Others: Quantifying the Target-dependent Membership Leakage
Inria Centre at University of Lille(里尔大学Inria中心);CREST;ENSAE Paris(巴黎经济与统计学院);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文通过Mahalanobis距离刻画固定目标成员推理博弈中最优攻击的效能,解释了目标依赖的攻击难度,并提出改进的协方差攻击及联邦学习隐私审计策略。
2025-03-06 cs.CR cs.LG math.ST