Does Differential Privacy Prevent Backdoor Attacks in Practice?
Emory University（埃默里大学）；Zhejiang University（浙江大学）
本文首次评估DP-SGD与PATE在后门攻击下的实际防御效果，并提出更快更准的Label-DP替代方案，发现超参数调优可使Label-DP在保持精度的同时更有效防御后门攻击。
2023-11-10 cs.CR cs.LG
MCMC for Bayesian estimation of Differential Privacy from Membership Inference Attacks
Sabancı University（萨班哲大学）
提出MCMC-DP-Est框架，通过MCMC算法结合多种成员推理攻击证据，联合估计攻击强度与训练算法隐私参数的完整后验分布，实现更谨慎的差分隐私贝叶斯估计。
2025-04-23 cs.LG stat.ML
VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks
本文提出VoxGuard框架，通过低误报率评估语音隐私，发现即使在低FPR下，对手攻击能力显著增强，强调需采用低FPR评估以准确衡量隐私泄露。
2026-01-26 cs.CR cs.LG
Poisoning Attacks to Local Differential Privacy Protocols for Trajectory Data
National Taiwan University（台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Chang Gung University（长庚大学）
本文首次分析代表性LDP轨迹协议的投毒攻击漏洞，提出基于前缀-后缀方法的启发式算法TraP以优化虚假轨迹选择，实验证明少量虚假用户即可显著提升目标模式出现频率。
2025-03-06 cs.CR cs.LG
Privacy Backdoors: Stealing Data with Corrupted Pretrained Models
ETH Zurich（苏黎世联邦理工学院）
本文揭示了一种通过篡改预训练模型权重植入隐私后门的新型供应链攻击，可重建微调数据并攻破差分隐私保护，警示不可信模型的不安全性。
2024-03-30 cs.CR cs.LG
Security and Privacy Issues in Deep Learning
Seoul National University（首尔大学）；Ehwa University（梨花大学）
为了促进安全和私有的人工智能（SPAI），我们回顾了DNN的模型安全和数据隐私的研究。模型安全性允许系统按预期运行，而不受可能损害其完整性和效率的恶意外部影响。安全攻击可以根据它们发生的时间来划分：如果攻击发生在训练期间，则称为中毒攻击，如果它发生在推理期间（训练后），则称为逃避攻击。中毒攻击通过使用恶意示例破坏数据来破坏训练过程，而规避攻击使用对抗性示例来破坏整个分类过程。针对这种攻击提出的防御包括识别和删除恶意数据的技术，训练模型对这种数据不敏感，以及屏蔽模型的结构和参数以使攻击更难以实现。此外，模型训练中涉及的数据隐私也受到模型反演攻击等攻击的威胁，或者受到AI应用程序的不诚实服务提供商的威胁。为了维护数据隐私，已经提出了几种结合现有数据隐私技术的解决方案，包括差分隐私和现代密码技术。在本文中，我们描述了一些方法的概念，例如，同态加密，并回顾它们在深度学习模型中实现时的优势和挑战。
2021-03-10 cs.CR cs.LG stat.ML
Byzantine-Robust Federated Learning with Variance Reduction and Differential Privacy
University of Nevada, Reno（内华达大学里诺分校）
提出一种新的联邦学习方案，通过在客户端级差分隐私机制中引入稀疏化和动量驱动的方差缩减，在保证严格隐私的同时增强系统对拜占庭攻击的鲁棒性。
2023-09-07 cs.CR cs.LG
Monitoring-based Differential Privacy Mechanism Against Query-Flooding Parameter Duplication Attack
Xidian University（西安电子科技大学）；Purdue University（普渡大学）；Chinese Academic of Sciences（中国科学院）
由机器学习算法实现的公共智能服务容易受到模型窃取攻击的攻击，这些攻击可以通过公共查询窃取学习模型的机密信息。虽然有一些保护选项，如差分隐私（DP）和监控，这被认为是有前途的技术，以减轻这种攻击，我们仍然发现，漏洞仍然存在。在本文中，我们提出了一种自适应查询泛洪参数复制（QPD）攻击。攻击者可以通过黑盒访问来推断模型信息，并且没有任何模型参数或训练数据的先验知识。我们还开发了一种防御策略，使用DP称为基于监视的DP（MDP）对这种新的攻击。在MDP中，我们首先提出了一个新的实时模型提取状态评估方案称为监视器，以评估模型的情况。然后，我们设计了一种自适应地指导差分隐私预算分配的方法APBA。最后，所有基于DP的防御都可以根据Monitor的结果动态调整模型响应中添加的噪声量，有效地防御QPD攻击。此外，我们彻底评估和比较QPD攻击和MDP防御性能的真实世界模型与DP和监测保护。
2020-11-01 cs.CR cs.LG
Defending against Reconstruction Attacks with Rényi Differential Privacy
Meta AI
重建攻击允许对手仅使用对训练模型的访问来重新生成训练集的数据样本。最近的研究表明，简单的语法分析可以从语言模型中重建数据样本，这使得这种威胁场景成为模型发布的一个重要方面。差分隐私是针对这种攻击的已知解决方案，但是通常与相对大的隐私预算（λ> 8）一起使用，这不能转化为有意义的保证。在本文中，我们表明，对于相同的机制，我们可以得到隐私保证重建攻击，比传统的文献。特别是，我们表明，较大的隐私预算不保护成员推理，但仍然可以保护提取罕见的秘密。我们的实验表明，我们的保证对各种语言模型，包括GPT-2微调Wikitext-103。
2022-02-15 cs.AI cs.CR cs.LG
A New Implementation of Federated Learning for Privacy and Security Enhancement
Utah State University（犹他州立大学）；University of Wisconsin-Whitewater（威斯康星大学怀特沃特分校）；University of Nebraska–Lincoln（内布拉斯加大学林肯分校）
受个人数据隐私日益受到关注以及本地客户数据量快速增长的推动，联邦学习（FL）已成为一种新的机器学习环境。FL系统由中央参数服务器和多个本地客户端组成。它将数据保存在本地客户端，并通过共享本地学习的模型参数来学习集中式模型。无需共享本地数据，隐私可以得到很好的保护。然而，由于共享的是模型而不是原始数据，因此系统可能会受到恶意客户端发起的中毒模型攻击。此外，由于服务器上没有可用的本地客户端数据，因此识别恶意客户端具有挑战性。此外，仍然可以通过使用上传的模型来估计客户端的本地数据来执行成员推断攻击，从而导致隐私泄露。在这项工作中，我们首先提出了一个基于模型更新的联邦平均算法，以抵御拜占庭攻击，如加性噪声攻击和符号翻转攻击。提出了个体客户端模型初始化方法，通过隐藏个体本地机器学习模型，进一步隐私保护免受成员推断攻击。当结合这两种方案时，可以有效地增强隐私和安全性。实验证明，所提出的方案收敛于非IID数据分布时，没有攻击。在Byzantine攻击下，该方案的性能优于经典的基于模型的FedAvg算法.
2022-08-03 cs.CR cs.LG
The Inadequacy of Similarity-based Privacy Metrics: Privacy Attacks against "Truly Anonymous" Synthetic Datasets
UCL and SAS（伦敦大学学院和SAS）；UC Riverside（加州大学河滨分校）
本文揭示基于相似性的临时隐私度量不可靠，并提出重构攻击 ReconSyn，仅凭黑盒访问即可恢复训练数据中 78-100% 的离群点，证明此类度量会破坏端到端差分隐私保障。
2025-05-07 cs.AI cs.CR cs.LG
Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer Inputs of Language Models in Federated Learning
North Carolina State University（北卡罗来纳州立大学）；New York University（纽约大学）；Stanford University（斯坦福大学）
本文提出两阶段隐私攻击策略，利用语言模型池化层输入恢复特征方向作为监督信号，在联邦学习中显著提升攻击性能，揭示架构复杂性带来的隐私泄露风险。
2024-03-15 cs.AI cs.CL cs.CR
Active Membership Inference Attack under Local Differential Privacy in Federated Learning
University of Florida（佛罗里达大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出联邦学习中由不诚实服务器发起的主动成员推理攻击，利用非线性决策边界在本地差分隐私下实现高成功率，并揭示防御噪声会显著损害模型效用。
2023-07-24 cs.AI cs.CR cs.LG
Robust Anomaly Detection and Backdoor Attack Detection Via Differential Privacy
University of California, Berkeley（加州大学伯克利分校）
异常点检测和新颖性检测是异常检测的两个重要课题。假设一个数据集的大部分数据都来自某个分布，离群点检测和新颖性检测都是为了检测不符合该分布的数据样本。离群值指的是该数据集中的数据样本，而新奇值指的是新样本。同时，针对机器学习模型的后门中毒攻击是通过向训练数据集中注入中毒样本来实现的，这些中毒样本可以被视为攻击者故意添加的“离群值”。差分隐私已被提出，以避免泄漏任何个人的信息，当聚合分析上执行一个给定的数据集。它通常通过直接向输入数据集或聚合机制的中间结果添加随机噪声来实现。在本文中，我们证明了应用差分隐私可以提高离群检测和新颖性检测的实用性，并扩展到检测后门攻击中的中毒样本。首先从理论上分析了差分隐私如何帮助检测，然后通过大量实验验证了差分隐私在提高异常检测、新奇检测和后门攻击检测方面的有效性。
2019-11-16 cs.AI cs.CR cs.LG
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks
IBM Research（IBM研究院）
本文首次系统综述微调大语言模型对成员推断攻击的脆弱性，发现差分隐私与低秩适配器组合能提供最佳隐私保护。
2024-03-13 cs.CR cs.LG
PROFL: A Privacy-Preserving Federated Learning Method with Stringent Defense Against Poisoning Attacks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出隐私保护联邦学习框架 PROFL，结合同态加密、盲化技术、安全 Multi-Krum 和基于 Pauta 准则的统计防御算法，在保护数据隐私的同时有效防御用户层与特征层投毒攻击，并在实验中显著提升了鲁棒性。
2023-12-02 cs.AI cs.CR cs.LG
An Overview of Federated Deep Learning Privacy Attacks and Defensive Strategies
Delft University of Technology（代尔夫特理工大学）
随着对数据隐私的关注和立法的增加，正在开发协作机器学习（ML）算法，以确保用于处理的私人数据得到保护。联邦学习（FL）是这些方法中最流行的一种，它通过促进共享模型的协作训练来提供隐私保护，而无需与集中式服务器交换任何私有数据。相反，以机器学习模型更新的形式发送数据的抽象。最近的研究表明，这种模型更新仍然可能泄露私人信息，因此需要进行更有条理的风险评估。在本文中，我们分析了FL现有的漏洞，随后进行了文献综述可能的攻击方法targetingFL隐私保护能力。然后，这些攻击方法通过基本分类法进行分类。此外，我们提供了一个文献研究的最新防御策略和算法，FL旨在克服这些攻击。这些防御战略按其各自的基本防御原则分类。论文的结论是，单一防御策略的应用不足以为所有可用的攻击方法提供足够的保护。
2020-04-01 cs.CR cs.LG stat.ML
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University（杜克大学）
对抗训练（AT）对于获得对对抗攻击鲁棒的深度神经网络至关重要，但最近的研究发现，它也可能使模型更容易受到隐私攻击。在这项工作中，我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击，实际上适用于隐私敏感的联邦学习（FL）系统。使用我们的方法，攻击者可以利用在FL系统中的AT模型，以准确地重建用户的私人训练图像，即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
SAPAG: A Self-Adaptive Privacy Attack From Gradients
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）；Duke University（杜克大学）；Amazon Web Services, Inc.（亚马逊云科技公司）；Stevens Institute of Technology（史蒂文斯理工学院）
分布式学习，如联邦学习或协作学习，可以对来自用户的分散数据进行模型训练，并且只收集局部梯度，其中数据在接近其来源的地方进行处理，以保护数据隐私。不集中训练数据的性质解决了隐私敏感数据的隐私问题。近年来的研究表明，在分布式机器学习系统中，第三方可以通过公开共享的梯度重构真实的训练数据。然而，现有的重构攻击框架缺乏对不同深度神经网络（DNN）架构和不同权重分布初始化的通用性，并且只能在早期训练阶段成功。为了解决这些限制，在本文中，我们提出了一个更一般的隐私攻击梯度，SAPAG，它使用高斯核的梯度差作为距离测量。我们的实验表明，SAPAG可以构建训练数据在不同的DNN与不同的权重初始化和DNN在任何训练阶段。
2020-09-14 cs.CR cs.LG stat.ML
Privacy-Preserving Debiasing using Data Augmentation and Machine Unlearning
University of Florida（佛罗里达大学）
本文提出结合数据增强与机器遗忘的方法，在缓解训练数据偏差的同时，通过多分片遗忘移除模型中的原始数据识别信息，从而提供可证明的隐私攻击防御，并在多个数据集上验证了其有效性与鲁棒性。
2024-04-19 cs.AI cs.CV cs.LG
Detection and Prevention Against Poisoning Attacks in Federated Learning
AI Sweden（瑞典人工智能）；Beacom College（比科姆学院）；Dakota State University（达科他州立大学）
本文提出并研究了一种新的方法来检测和防止几种不同类型的中毒攻击影响集中式联邦学习模型通过平均精度偏差检测（AADD）。通过将每个客户端的准确度与所有客户端的平均准确度进行比较，AADD可以检测出存在准确度偏差的客户端。该实现还能够将被认为中毒的客户端列入黑名单，从而保护全局模型不受中毒节点的影响。所提出的实施方案显示出可喜的成果，在检测中毒的客户端和防止全球模型的准确性恶化。
2022-10-24 cs.AI cs.CR cs.LG
Attack-Aware Noise Calibration for Differential Privacy
Lausanne University Hospital (CHUV)（洛桑大学医院（CHUV））；Harvard University（哈佛大学）；Technical University Munich（慕尼黑工业大学）；EPFL（洛桑联邦理工学院）
针对差分隐私，提出直接按攻击风险校准噪声规模的方法，替代先选ε再转换，显著降低噪声、提升效用，实验证明在相同风险下提高模型准确率。
2024-11-07 cs.AI cs.CR cs.LG
Membership Inference Attacks and Privacy in Topic Modeling
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
本文提出针对主题模型的成员推理攻击，证明 Latent Dirichlet Allocation 存在隐私漏洞，并提出结合差分隐私词汇选择的框架以在有限影响效用下提升隐私保护。
2024-09-23 cs.CL cs.CR cs.LG
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National University of Singapore（新加坡国立大学）
深度神经网络容易受到各种推理攻击，因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法，相对于被动和主动推理攻击者，并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击，以跟踪其训练数据记录。我们表明，一个简单的扩展已知的黑盒攻击的白盒设置（通过分析激活函数的输出）是无效的。因此，我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法，该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后，我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型，证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中，对抗性参与者如何成功地对其他参与者进行主动成员推理攻击，即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano（米兰理工大学）
本文提出 TimberStrike 攻击，针对水平联邦树模型，利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据，揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks?
Hokkaido University（北海道大学）；China University of Mining and Technology（中国矿业大学）；Institute of Science Tokyo（东京科学研究院）
本文系统研究了差分隐私在不同LLM微调方法和隐私预算下对抵御数据提取和成员推理攻击的经验隐私保护效果，揭示了隐私与效用的权衡差异，为隐私感知的模型部署提供了实用指导。
2025-05-01 cs.AI cs.CR cs.LG
Privacy Inference-Empowered Stealthy Backdoor Attack on Federated Learning under Non-IID Scenarios
Shanghai Jiao Tong University（上海交通大学）；Waseda University（早稻田大学）；Ant Group（蚂蚁集团）
针对非独立同分布场景下联邦学习后门攻击效果下降问题，提出隐私推理赋能的隐秘后门攻击方案，通过GAN生成补充数据优化攻击，可集成现有攻击并经实验验证有效且隐秘。
2023-06-13 cs.AI cs.CR cs.LG
Rethinking Anonymity Claims in Synthetic Data Generation: A Model-Centric Privacy Attack Perspective
UCL（伦敦大学学院）；SAS（SAS公司）；UC Riverside（加州大学河滨分校）
本文从模型为中心的视角重新审视合成数据生成中的匿名性主张，强调需考虑生成模型能力和隐私攻击，指出合成数据技术不足以保证匿名性，并比较差分隐私与相似性隐私度量的优劣。
2026-10-02 cs.CR cs.CY cs.LG
Accuracy-Privacy Trade-off in the Mitigation of Membership Inference Attack in Federated Learning
Old Dominion University（奥多明尼昂大学）；Deloitte & Touche LLP（德勤全球）
本文探索深度集成与联邦学习的关系，研究基于置信度的指标在FL中缓解成员推理攻击时的适用性，通过多客户端、数据集和融合策略实验，证实了FL中准确率与隐私权衡的明确存在。
2024-07-26 cs.AI cs.CR cs.LG
Minimax Filter: Learning to Preserve Privacy from Inference Attacks
The Ohio State University（俄亥俄州立大学）
保护连续和/或高维数据（例如图像、视频和音频）的隐私对于针对离散属性设计的语法匿名化方法可能是具有挑战性的。差分隐私提供了一个更正式的隐私定义，在净化连续数据方面取得了更大的成功。然而，语法和差分隐私都容易受到推断攻击，即，对手可以从净化的数据中准确地推断出敏感属性。本文提出了一种新的基于过滤器的机制，保持隐私的连续和高维属性的推理攻击。找到最佳的效用隐私权衡制定为一个min-diff-max优化问题。本文提供了一个类似于ERM的泛化误差分析，也是一个实用的算法来执行优化。此外，本文提出了一种扩展，结合极小极大滤波器和差分私有噪声机制。该方法的优点，纯噪声机制的解释和演示的例子。几个现实世界的任务，包括面部表情分类，语音情感分类，和活动分类从运动的实验表明，极小极大滤波器可以同时实现类似或更好的目标任务的准确性和较低的推理准确性，往往显着低于以前的方法。
2017-12-01 cs.LG
LTU Attacker for Membership Inference
RPI（伦斯勒理工学院）；LISN/CNRS/INRIA（LISN/法国国家科学研究中心/法国国家信息与自动化研究所）；U. Paris-Saclay（巴黎萨克雷大学）；Paradigm（第四范式）；ChaLearn
我们解决的问题，防御预测模型，如机器学习分类器（后卫模型），对成员推断攻击，在黑箱和白箱设置，当教练和训练模型公开发布。Defender旨在优化双重目标：实用性和隐私。利用包括攻击者和评估者的外部装置来评估效用和隐私两者。一方面，使用与Defender训练数据分布相似的保留数据来评估效用;另一方面，使用与Defender训练数据混合的保留数据来评估成员推断攻击鲁棒性。在这两种情况下，分类准确度或出错率被用作度量：效用是用防御者模型的分类准确度来评估的;隐私是用所谓的“留两个未标记”LTU攻击者的成员预测误差来评估的，LTU攻击者可以访问所有的防御者和保留数据，除了每个样本的成员标记。我们证明了，在一定条件下，即使是一个“天真”的LTU攻击者可以实现较低的隐私损失与简单的攻击策略，从而导致具体的必要条件，以保护隐私，包括：防止过度拟合和增加一些随机性。然而，我们还表明，这种天真的LTU攻击者可能无法攻击文献中已知易受攻击的模型的隐私，这表明知识必须辅以强大的攻击策略，才能将LTU攻击者变成评估隐私的强大手段。我们在QMNIST和CIFAR-10数据集上的实验验证了我们的理论结果，并证实了过拟合预防和随机性在算法中的作用，以防止隐私攻击。
2022-02-04 cs.LG
Quantifying the Privacy of Counterfactuals by Leveraging Membership Inference Attacks Against Synthetic Data
ÉTS Montreal and Mila Canada（蒙特利尔ÉTS学院和Mila加拿大）；UQAM Canada（魁北克大学UQAM加拿大）；Inria Grenoble France（法国格勒诺布尔Inria）
本文利用针对合成数据的成员推理攻击，证明仅通过反事实即可成功实施成员推理攻击，无需访问模型，揭示了反事实发布中的隐私风险。
2026-06-04 cs.LG
Alleviating Privacy Attacks via Causal Learning
Microsoft Research（微软研究院）
机器学习模型，特别是深度神经网络，已被证明容易受到隐私攻击，例如成员推断，其中对手可以检测数据点是否用于训练黑盒模型。当模型的预测用于看不见的数据分布时，这种隐私风险会加剧。为了减轻隐私攻击，我们展示了基于输入特征和结果之间的因果关系的预测模型的好处。我们首先表明，使用因果结构学习的模型更好地推广到看不见的数据，特别是来自不同分布的数据比训练分布。基于这种泛化性质，我们建立了因果关系和隐私之间的理论联系：与关联模型相比，因果模型提供了更强的差分隐私保证，并且对成员推断攻击更具鲁棒性。在模拟贝叶斯网络和有色MNIST数据集上的实验表明，关联模型在不同的测试分布和样本大小下表现出高达80%的攻击准确率，而因果模型表现出接近随机猜测的攻击准确率。
2020-07-17 cs.LG stat.ML
A Survey of Privacy Attacks in Machine Learning
Czech Technical University in Prague（布拉格捷克理工大学）
本文综述了近七年来40余篇针对机器学习的隐私攻击研究，提出攻击分类法和威胁模型，分析泄露原因与攻击方法，并总结防御措施及未来方向。
2023-09-16 cs.CR cs.LG
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks
WeBank AI Lab（微众银行人工智能实验室）；University of Malaya（马来亚大学）；Hong Kong Univ. of Science and Tech.（香港科技大学）
本文研究了隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。首先，我们建议定量衡量模型的准确性和隐私损失所造成的重建，跟踪和成员攻击之间的权衡。其次，我们将重建攻击表述为求解一个噪声线性方程组，并证明了如果条件（2）不满足，则保证攻击被击败。第三，在理论分析的基础上，提出了一种新的秘密极化网络（SPN）来抵御隐私攻击，这对现有的PPDL方法提出了严峻的挑战。大量的实验表明，在数据隐私得到满意保护的情况下，与基线机制相比，模型准确性平均提高了5-20%。
2020-06-23 cs.CR cs.DC cs.LG
How Does a Deep Learning Model Architecture Impact Its Privacy? A Comprehensive Study of Privacy Attacks on CNNs and Transformers
University of Technology Sydney（悉尼科技大学）；Data 61；City University of Macau（澳门城市大学）
该研究对比CNN与Transformer的隐私脆弱性，发现Transformer更易受隐私攻击，明确激活层等微观设计及注意力模块对隐私性的影响，为隐私友好的模型架构设计提供参考。
2024-02-02 cs.AI cs.CR cs.LG
Privacy Evaluation Benchmarks for NLP Models
Ant Group（蚂蚁集团）；East China Normal University（华东师范大学）
本文提出一个覆盖传统模型与LLM的NLP隐私攻击与防御评估基准，并基于该框架研究辅助数据与攻击强度的关联，提出基于知识蒸馏的改进攻击方法及链式攻击框架。
2024-10-01 cs.CL cs.LG
Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks
Lab41, In-Q-Tel（Lab41，In-Q-Tel）
引入对抗性训练是为了提高深度学习模型对对抗攻击的鲁棒性。这种训练方法提高了对对抗攻击的鲁棒性，但增加了模型对隐私攻击的脆弱性。在这项工作中，我们演示了如何模型反演攻击，直接从模型中提取训练数据，以前被认为是棘手的成为可行的攻击时，一个强大的训练模型。传统训练模型的输入空间由对抗性示例主导--强烈激活某个类但缺乏语义意义的数据点--这使得很难成功进行模型反演攻击。我们使用CIFAR-10数据集在三种不同的模型反演攻击下证明了这种效果，香草梯度下降方法，不同尺度的基于梯度的方法，以及基于生成对抗网络的攻击。
2019-06-15 cs.LG stat.ML
Privacy Re-identification Attacks on Tabular GANs
Norwegian University of Science and Technology（挪威科技大学）
本文研究表格型 GAN 合成数据的隐私重识别攻击，分析不同攻击者知识水平下的风险，并发现黑盒访问生成模型及进化多目标优化重构攻击会显著加剧隐私泄露。
2024-03-31 cs.CR cs.LG
Inf2Guard: An Information-Theoretic Framework for Learning Privacy-Preserving Representations against Inference Attacks
Illinois Institute of Technology（伊利诺伊理工学院）；University of Connecticut（康涅狄格大学）
提出信息论框架 Inf2Guard，通过隐私保护与效用保持两个互信息目标学习共享表示，以统一防御成员推理、属性推理和数据重构攻击，并给出权衡与泄露保证。
2024-03-04 cs.CR cs.LG
Dikaios: Privacy Auditing of Algorithmic Fairness via Attribute Inference Attacks
机器学习（ML）模型已经被部署用于高风险应用。由于在数据集中观察到的敏感属性的类别不平衡，ML模型对由敏感属性（如种族和性别）识别的少数亚组是不公平的。处理中的公平性算法确保模型预测与敏感属性无关。此外，ML模型容易受到属性推断攻击，其中对手可以通过利用其可区分的模型预测来识别敏感属性的值。尽管隐私和公平性是可信ML的重要支柱，但公平算法引入的属性泄漏隐私风险尚未研究。我们确定属性推理攻击作为一种有效的措施，审计黑盒公平算法，使模型构建者占隐私和公平的模型设计。我们提出了Dikaios，一个隐私审计工具的公平算法的模型构建者，利用一个新的有效的属性推理攻击，占类不平衡的敏感属性，通过自适应预测阈值。我们对Dikaios进行了评估，以在五个数据集上对两个处理中公平算法进行隐私审计。我们表明，我们的属性推断攻击与自适应预测阈值显着优于以前的攻击。我们强调了处理中公平算法的局限性，以确保在敏感属性的不同值之间进行不可区分的预测。事实上，这些处理中公平方案的属性隐私风险根据数据集中敏感属性的比例是高度可变的。公平机制对属性隐私风险的这种不可预测的影响是模型构建者必须考虑的对其利用的重要限制。
2022-11-24 cs.CR cs.LG
Attacks on Image Encryption Schemes for Privacy-Preserving Deep Neural Networks
隐私保护机器学习是一个活跃的研究领域，通常依赖于同态加密或安全多方计算等技术。最近，Tanaka和Sirichotedumrong、Kinoshita和Kiya提出了使用深度神经网络对图像执行机器学习的新加密技术。我们提出了新的选择明文和密文的攻击对这两个建议的图像加密方案，并证明了攻击的有效性的几个例子。
2020-04-29 cs.CR cs.CV cs.LG
On Privacy in Data-Space Tabular Diffusion Models: Influential Factors, Attacker Knowledge, and Metrics
Vector Institute（向量研究所）；McMaster University（麦 master 大学）；University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
研究探讨了表格扩散模型中隐私泄露的影响因素，通过黑盒和白盒设置中的最新成员推断攻击，量化了训练设置、合成选择和攻击者知识对隐私泄露的影响，并揭示了启发式隐私度量的缺陷。
2026-09-29 cs.AI cs.LG
Adaptive Model Inversion Attacks Generalize a Privacy-Robustness Tradeoff
Dartmouth College（达特茅斯学院）
本文通过自适应攻击调整揭示标准模型反演攻击评估低估隐私泄露，并发现重建泄露与对抗鲁棒性紧密相关，提出鲁棒性可作为重建脆弱性的广泛代理。
2026-10-07 cs.CR cs.LG
Model Privacy: A Unified Framework for Understanding Model Stealing Attacks and Defenses
University of Minnesota（明尼苏达大学）
本文提出统一框架'模型隐私'，用于分析模型窃取攻击与防御，探讨实用性和隐私间的根本权衡，并通过实验验证防御机制的有效性。
2026-04-05 cs.LG stat.ML
Node Injection Link Stealing Attack
Eurecom（欧洲通信学院）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
本文提出一种隐蔽的节点注入链接窃取攻击，在归纳设置下通过API推断私有边信息，并探讨差分隐私在隐私与效用间的权衡，凸显GNN隐私漏洞及防护必要性。
2023-07-25 cs.CR cs.LG
Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning
Southern University of Science and Technology（南方科技大学）；University at Buffalo（纽约州立大学布法罗分校）
该研究针对过参数化模型易受成员推断攻击的问题，提出PAST方法，通过基于隐私敏感性的自适应惩罚优化L1正则化，缩小成员与非成员的损失间隙，实现了更优的隐私-效用权衡。
2026-08-04 cs.AI cs.LG
Transferable Embedding Inversion Attack: Uncovering Privacy Risks in Text Embeddings without Model Queries
National Taiwan University（台湾大学）
本研究针对攻击者无法访问原始嵌入模型的现实场景，提出基于代理模型的可迁移嵌入反演攻击，在多模型与临床数据集上验证其性能优于传统方法，揭示文本嵌入的隐私漏洞并呼吁加强安全防护。
2024-06-12 cs.CL cs.CR cs.LG
A Critical Review on the Effectiveness and Privacy Threats of Membership Inference Attacks
Universitat Rovira i Virgili（罗维拉-维格利大学）；Department of Computer Engineering（计算机工程系）；Mathematics（数学）；CYBERCAT-Center for Cybersecurity Research of Catalonia（加泰罗尼亚网络安全研究中心）；ComSCIAM-Center for Computational Science and Applied Mathematics（计算科学与应用数学研究中心）
本文批判性回顾了成员推断攻击的有效性及隐私威胁，提出评估框架，发现现实条件下MIAs隐私威胁较弱，过度依赖可能导致风险高估和模型效用牺牲。
2026-03-24 cs.CR cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；National University of Singapore（新加坡国立大学）
Masked语言模型~（MLMs）在敏感数据（从法律到医疗）上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息？先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的，这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中，我们认为以前的尝试是不确定的，因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验，涉及一个额外的参考传销，更准确地量化的记忆在传销的隐私风险。我们发现，掩蔽的语言模型非常容易受到似然比成员推断攻击的影响：我们的经验结果，在医学笔记上训练的模型上，表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平，在低错误区域有显着改善：在1%的误报率下，我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
Provable Privacy Attacks on Trained Shallow Neural Networks
Ben-Gurion University（本古里安大学）；Weizmann Institute of Science（魏茨曼科学研究所）
本研究针对训练后的2层ReLU神经网络，提出基于其隐式偏置理论的可证明成员推断与数据重构攻击，是首个揭示该场景下可证明隐私漏洞的工作。
2026-08-27 cs.CR cs.LG
A Survey on Privacy in Graph Neural Networks: Attacks, Preservation, and Applications
Vanderbilt University（范德堡大学）；The Chinese University of Hong Kong（香港中文大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文综述了图神经网络中的隐私攻击、隐私保护技术及相关数据集与应用，并展望了未来构建更强隐私保护GNN的研究方向。
2023-09-19 cs.AI cs.CR cs.LG
Adversarial Attacks on Locally Private Graph Neural Networks
Indian Institute of Technology Kharagpur（印度理工学院加尔各答分校）；University of Connecticut（康涅狄格大学）
本文研究了本地差分隐私保护下图神经网络的对抗攻击问题，分析现有攻击方法有效性及挑战，并提出防御方向，探讨隐私与安全的平衡。
2026-03-21 cs.CR cs.LG
Privacy Auditing Synthetic Data Release through Local Likelihood Attacks
University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
本文提出Gen-LRA算法，通过评估测试观测对代理模型局部似然比的影响，有效检测合成数据释放中的隐私泄露问题，验证了其在不同数据集和模型架构上的优越性。
2026-05-08 cs.LG stat.ML
