Active Membership Inference Attack under Local Differential Privacy in Federated Learning
University of Florida（佛罗里达大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出联邦学习中由不诚实服务器发起的主动成员推理攻击，利用非线性决策边界在本地差分隐私下实现高成功率，并揭示防御噪声会显著损害模型效用。
2023-07-24 cs.AI cs.CR cs.LG
Robust Anomaly Detection and Backdoor Attack Detection Via Differential Privacy
University of California, Berkeley（加州大学伯克利分校）
异常点检测和新颖性检测是异常检测的两个重要课题。假设一个数据集的大部分数据都来自某个分布，离群点检测和新颖性检测都是为了检测不符合该分布的数据样本。离群值指的是该数据集中的数据样本，而新奇值指的是新样本。同时，针对机器学习模型的后门中毒攻击是通过向训练数据集中注入中毒样本来实现的，这些中毒样本可以被视为攻击者故意添加的“离群值”。差分隐私已被提出，以避免泄漏任何个人的信息，当聚合分析上执行一个给定的数据集。它通常通过直接向输入数据集或聚合机制的中间结果添加随机噪声来实现。在本文中，我们证明了应用差分隐私可以提高离群检测和新颖性检测的实用性，并扩展到检测后门攻击中的中毒样本。首先从理论上分析了差分隐私如何帮助检测，然后通过大量实验验证了差分隐私在提高异常检测、新奇检测和后门攻击检测方面的有效性。
2019-11-16 cs.AI cs.CR cs.LG
Empirical Calibration and Metric Differential Privacy in Language Models
Macquarie University（麦考瑞大学）
针对 DP-SGD 隐私预算难以跨机制比较的问题，论文用攻击实验校准 NLP 隐私，提出基于 VMF 分布的定向度量 DP 机制，并揭示不同机制在效用-隐私权衡中的优势。
2025-03-18 cs.CR cs.LG
PROFL: A Privacy-Preserving Federated Learning Method with Stringent Defense Against Poisoning Attacks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出隐私保护联邦学习框架 PROFL，结合同态加密、盲化技术、安全 Multi-Krum 和基于 Pauta 准则的统计防御算法，在保护数据隐私的同时有效防御用户层与特征层投毒攻击，并在实验中显著提升了鲁棒性。
2023-12-02 cs.AI cs.CR cs.LG
Federated Calibration and Evaluation of Binary Classifiers
Meta AI
我们解决了两个主要的障碍，实际使用的监督分类分布式私人数据。无论分类器是由合作客户端的联合训练还是集中训练，（1）输出分数必须校准，（2）性能指标必须评估-所有这些都没有在一个地方组装标签。特别是，我们展示了如何在三种隐私模型下在联邦设置中执行校准和计算精度，召回率，准确率和ROC-AUC（i）安全聚合，（ii）分布式差分隐私，（iii）本地差分隐私。我们的定理和实验澄清了隐私，准确性和数据效率之间的权衡。它们还有助于确定给定应用程序是否有足够的数据来支持联合校准和评估。
2022-10-22 cs.CR cs.LG
An Overview of Federated Deep Learning Privacy Attacks and Defensive Strategies
Delft University of Technology（代尔夫特理工大学）
随着对数据隐私的关注和立法的增加，正在开发协作机器学习（ML）算法，以确保用于处理的私人数据得到保护。联邦学习（FL）是这些方法中最流行的一种，它通过促进共享模型的协作训练来提供隐私保护，而无需与集中式服务器交换任何私有数据。相反，以机器学习模型更新的形式发送数据的抽象。最近的研究表明，这种模型更新仍然可能泄露私人信息，因此需要进行更有条理的风险评估。在本文中，我们分析了FL现有的漏洞，随后进行了文献综述可能的攻击方法targetingFL隐私保护能力。然后，这些攻击方法通过基本分类法进行分类。此外，我们提供了一个文献研究的最新防御策略和算法，FL旨在克服这些攻击。这些防御战略按其各自的基本防御原则分类。论文的结论是，单一防御策略的应用不足以为所有可用的攻击方法提供足够的保护。
2020-04-01 cs.CR cs.LG stat.ML
On the Convergence and Calibration of Deep Learning with Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
本研究通过NTK连续时间分析揭示差分隐私训练中噪声添加仅影响隐私风险，而梯度裁剪影响收敛与校准，并发现大裁剪范数可同时保证隐私、准确性和更好的校准。
2023-06-19 cs.LG stat.ML
SAPAG: A Self-Adaptive Privacy Attack From Gradients
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）；Duke University（杜克大学）；Amazon Web Services, Inc.（亚马逊云科技公司）；Stevens Institute of Technology（史蒂文斯理工学院）
分布式学习，如联邦学习或协作学习，可以对来自用户的分散数据进行模型训练，并且只收集局部梯度，其中数据在接近其来源的地方进行处理，以保护数据隐私。不集中训练数据的性质解决了隐私敏感数据的隐私问题。近年来的研究表明，在分布式机器学习系统中，第三方可以通过公开共享的梯度重构真实的训练数据。然而，现有的重构攻击框架缺乏对不同深度神经网络（DNN）架构和不同权重分布初始化的通用性，并且只能在早期训练阶段成功。为了解决这些限制，在本文中，我们提出了一个更一般的隐私攻击梯度，SAPAG，它使用高斯核的梯度差作为距离测量。我们的实验表明，SAPAG可以构建训练数据在不同的DNN与不同的权重初始化和DNN在任何训练阶段。
2020-09-14 cs.CR cs.LG stat.ML
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National University of Singapore（新加坡国立大学）
深度神经网络容易受到各种推理攻击，因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法，相对于被动和主动推理攻击者，并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击，以跟踪其训练数据记录。我们表明，一个简单的扩展已知的黑盒攻击的白盒设置（通过分析激活函数的输出）是无效的。因此，我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法，该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后，我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型，证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中，对抗性参与者如何成功地对其他参与者进行主动成员推理攻击，即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks
Lab41, In-Q-Tel（Lab41，In-Q-Tel）
引入对抗性训练是为了提高深度学习模型对对抗攻击的鲁棒性。这种训练方法提高了对对抗攻击的鲁棒性，但增加了模型对隐私攻击的脆弱性。在这项工作中，我们演示了如何模型反演攻击，直接从模型中提取训练数据，以前被认为是棘手的成为可行的攻击时，一个强大的训练模型。传统训练模型的输入空间由对抗性示例主导--强烈激活某个类但缺乏语义意义的数据点--这使得很难成功进行模型反演攻击。我们使用CIFAR-10数据集在三种不同的模型反演攻击下证明了这种效果，香草梯度下降方法，不同尺度的基于梯度的方法，以及基于生成对抗网络的攻击。
2019-06-15 cs.LG stat.ML
Gradient Leakage Attack Resilient Deep Learning
Georgia Institute of Technology（佐治亚理工学院）
梯度泄漏攻击被认为是深度学习中最严重的隐私威胁之一，因为攻击者在迭代训练期间秘密地监视梯度更新，而不影响模型训练质量，并且使用泄漏的梯度秘密地重建敏感的训练数据，具有高攻击成功率。虽然具有差分隐私的深度学习是发布具有差分隐私保证的深度学习模型的事实标准，但我们表明具有固定隐私参数的差分隐私算法容易受到梯度泄漏攻击。本文研究了具有差分隐私（DP）的梯度泄漏弹性深度学习的替代方法。首先，我们分析了具有差分隐私的深度学习的现有实现，该实现使用固定的噪声方差来使用固定的隐私参数向所有层的梯度注入恒定的噪声。尽管提供了DP保证，但该方法精度低并且容易受到梯度泄漏攻击。其次，我们提出了一种梯度泄漏弹性深度学习方法，通过使用动态隐私参数的差分隐私保证。与导致恒定噪声方差的固定参数策略不同，不同的动态参数策略提供了引入自适应噪声方差和自适应噪声注入的替代技术，这些技术与差分私有模型训练期间的梯度更新趋势密切相关。最后，我们描述了四个补充指标来评估和比较替代方法。
2021-12-25 cs.CR cs.LG
Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks?
Hokkaido University（北海道大学）；China University of Mining and Technology（中国矿业大学）；Institute of Science Tokyo（东京科学研究院）
本文系统研究了差分隐私在不同LLM微调方法和隐私预算下对抵御数据提取和成员推理攻击的经验隐私保护效果，揭示了隐私与效用的权衡差异，为隐私感知的模型部署提供了实用指导。
2025-05-01 cs.AI cs.CR cs.LG
Local Differential Privacy is Not Enough: A Sample Reconstruction Attack against Federated Learning with Local Differential Privacy
Xidian University（西安电子科技大学）；University of Kent（肯特大学）；Fuzhou University（福州大学）；University of New South Wales（新南威尔士大学）
针对本地差分隐私（LDP）联邦学习中现有样本重建攻击失效的问题，提出结合梯度压缩（基于样本特征推理结构）和重建样本去噪（零梯度观察噪声+缩放置信区间）的攻击方法，可针对任意目标模型重建样本且对模型精度影响小，证明LDP联邦学习需进一步改进防御机制。
2025-02-12 cs.CR cs.LG
Privacy Inference-Empowered Stealthy Backdoor Attack on Federated Learning under Non-IID Scenarios
Shanghai Jiao Tong University（上海交通大学）；Waseda University（早稻田大学）；Ant Group（蚂蚁集团）
针对非独立同分布场景下联邦学习后门攻击效果下降问题，提出隐私推理赋能的隐秘后门攻击方案，通过GAN生成补充数据优化攻击，可集成现有攻击并经实验验证有效且隐秘。
2023-06-13 cs.AI cs.CR cs.LG
Accuracy-Privacy Trade-off in the Mitigation of Membership Inference Attack in Federated Learning
Old Dominion University（奥多明尼昂大学）；Deloitte & Touche LLP（德勤全球）
本文探索深度集成与联邦学习的关系，研究基于置信度的指标在FL中缓解成员推理攻击时的适用性，通过多客户端、数据集和融合策略实验，证实了FL中准确率与隐私权衡的明确存在。
2024-07-26 cs.AI cs.CR cs.LG
Adversarial Privacy Preserving Graph Embedding against Inference Attack
University of Electronic Science and Technology of China（电子科技大学）；Georgia State University（佐治亚州立大学）
最近，物联网（IoT）、移动设备、社交媒体等的普及为图形数据开辟了大量来源。图嵌入已被证明是非常有用的学习低维特征表示从图结构化数据。这些特征表示可用于从节点分类到链接预测的各种预测任务。然而，现有的图嵌入方法没有考虑用户的隐私，以防止推理攻击。也就是说，攻击者可以通过分析从图嵌入算法学习的节点表示来推断用户的敏感信息。在本文中，我们提出了对抗隐私图嵌入（APGE），这是一个图对抗训练框架，它集成了解开和清除机制，以从学习的节点表示中删除用户的隐私信息。该方法保留了图的结构信息和效用属性，同时隐藏了用户的私有属性，避免了推理攻击。在真实世界的图数据集上进行的大量实验表明，与最先进的算法相比，APGE具有更好的性能。我们的源代码可以在https://github.com/uJ62JHD/Privacy-Preserving-Social-Network-Embedding上找到。
2020-08-30 cs.CR cs.LG stat.ML
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology（佐治亚理工学院）
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统，称为MPLens，有三个独特的贡献。首先，通过MPLens，我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次，通过MPLens，我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的，特别是当训练数据本身是偏斜的时候。我们发现，当模型使用倾斜的训练数据时，成员推断攻击的风险通常会增加。最后，我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性，学习任务的复杂性，数据集的复杂性和隐私参数设置。我们的实证结果表明，（1）少数群体在偏斜的数据集显示成员推理的风险增加和（2）差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Does Differential Privacy Prevent Backdoor Attacks in Practice?
Emory University（埃默里大学）；Zhejiang University（浙江大学）
本文首次评估DP-SGD与PATE在后门攻击下的实际防御效果，并提出更快更准的Label-DP替代方案，发现超参数调优可使Label-DP在保持精度的同时更有效防御后门攻击。
2023-11-10 cs.CR cs.LG
MCMC for Bayesian estimation of Differential Privacy from Membership Inference Attacks
Sabancı University（萨班哲大学）
提出MCMC-DP-Est框架，通过MCMC算法结合多种成员推理攻击证据，联合估计攻击强度与训练算法隐私参数的完整后验分布，实现更谨慎的差分隐私贝叶斯估计。
2025-04-23 cs.LG stat.ML
VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks
本文提出VoxGuard框架，通过低误报率评估语音隐私，发现即使在低FPR下，对手攻击能力显著增强，强调需采用低FPR评估以准确衡量隐私泄露。
2026-01-26 cs.CR cs.LG
Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising
Amazon Research（亚马逊研究院）；Amazon Web Services（亚马逊云科技）
高斯机制是众多差异隐私数据分析算法中使用的基本构建块。在本文中，我们重新审视高斯机制，并表明原来的分析有几个重要的局限性。我们的分析表明，原机制的方差公式是远离紧密的高隐私制度（$\varepsilon \to 0$），它不能扩展到低隐私制度（$\varepsilon \to \infty$）。我们通过开发一种最佳高斯机制来解决这些限制，该机制的方差直接使用高斯累积密度函数而不是尾界近似来校准。我们还建议配备高斯机制的后处理步骤的基础上，自适应估计技术，利用扰动的分布是已知的。我们的实验表明，分析校准消除了至少三分之一的噪声方差相比，经典的高斯机制，去噪显着提高了精度的高斯机制在高维制度。
2018-06-07 cs.LG stat.ML
Poisoning Attacks to Local Differential Privacy Protocols for Trajectory Data
National Taiwan University（台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Chang Gung University（长庚大学）
本文首次分析代表性LDP轨迹协议的投毒攻击漏洞，提出基于前缀-后缀方法的启发式算法TraP以优化虚假轨迹选择，实验证明少量虚假用户即可显著提升目标模式出现频率。
2025-03-06 cs.CR cs.LG
Privacy Backdoors: Stealing Data with Corrupted Pretrained Models
ETH Zurich（苏黎世联邦理工学院）
本文揭示了一种通过篡改预训练模型权重植入隐私后门的新型供应链攻击，可重建微调数据并攻破差分隐私保护，警示不可信模型的不安全性。
2024-03-30 cs.CR cs.LG
An Accuracy-Lossless Perturbation Method for Defending Privacy Attacks in Federated Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer and Information Engineering, Zhejiang Gongshang University（浙江工商大学计算机与信息工程学院）；Information Security and National Computing Grid Laboratory, Southwest Jiaotong University（西南交通大学）
虽然联邦学习通过交换局部梯度或参数而不是原始数据来提高训练数据的隐私性，但攻击者仍然可以通过发起重建和成员推断攻击来利用局部梯度和参数来获得局部训练数据。为了防御这种隐私攻击，人们设计了许多噪声扰动方法（如差分隐私或CountSketch矩阵）。然而，这些方案的强大防御能力和高学习准确性无法同时得到保证，这将阻碍FL在实践中的广泛应用（特别是对于既要求高准确性又要求强隐私保障的医疗或金融机构）。为了克服这个问题，在本文中，我们提出了\emph{an efficient model perturbation method for federated learning}，以防御重建和成员推断攻击发起的好奇的客户端。一方面，与差分隐私方法类似，该方法也将随机数作为扰动噪声加入到全局模型参数中，因此该方法非常有效，易于在实践中集成。同时，随机选取的噪声为正实数，其值可以任意大，从而保证了较强的防御能力。另一方面，不同于差分隐私或其他扰动方法，不能消除添加的噪声，我们的方法允许服务器通过消除添加的噪声来恢复真实的梯度。因此，我们的方法根本不会影响学习的准确性。
2021-08-15 cs.CR cs.CV cs.LG
PrivacyGuard: A Modular Framework for Privacy Auditing in Machine Learning
Meta.（Meta）
PrivacyGuard 是一个模块化框架，通过多种推理攻击和隐私度量，对机器学习模型进行经验性差分隐私审计，支持可配置分析并易于扩展。
2025-10-27 cs.LG
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University（杜克大学）
对抗训练（AT）对于获得对对抗攻击鲁棒的深度神经网络至关重要，但最近的研究发现，它也可能使模型更容易受到隐私攻击。在这项工作中，我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击，实际上适用于隐私敏感的联邦学习（FL）系统。使用我们的方法，攻击者可以利用在FL系统中的AT模型，以准确地重建用户的私人训练图像，即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Byzantine-Robust Federated Learning with Variance Reduction and Differential Privacy
University of Nevada, Reno（内华达大学里诺分校）
提出一种新的联邦学习方案，通过在客户端级差分隐私机制中引入稀疏化和动量驱动的方差缩减，在保证严格隐私的同时增强系统对拜占庭攻击的鲁棒性。
2023-09-07 cs.CR cs.LG
Monitoring-based Differential Privacy Mechanism Against Query-Flooding Parameter Duplication Attack
Xidian University（西安电子科技大学）；Purdue University（普渡大学）；Chinese Academic of Sciences（中国科学院）
由机器学习算法实现的公共智能服务容易受到模型窃取攻击的攻击，这些攻击可以通过公共查询窃取学习模型的机密信息。虽然有一些保护选项，如差分隐私（DP）和监控，这被认为是有前途的技术，以减轻这种攻击，我们仍然发现，漏洞仍然存在。在本文中，我们提出了一种自适应查询泛洪参数复制（QPD）攻击。攻击者可以通过黑盒访问来推断模型信息，并且没有任何模型参数或训练数据的先验知识。我们还开发了一种防御策略，使用DP称为基于监视的DP（MDP）对这种新的攻击。在MDP中，我们首先提出了一个新的实时模型提取状态评估方案称为监视器，以评估模型的情况。然后，我们设计了一种自适应地指导差分隐私预算分配的方法APBA。最后，所有基于DP的防御都可以根据Monitor的结果动态调整模型响应中添加的噪声量，有效地防御QPD攻击。此外，我们彻底评估和比较QPD攻击和MDP防御性能的真实世界模型与DP和监测保护。
2020-11-01 cs.CR cs.LG
Privacy-Preserving Debiasing using Data Augmentation and Machine Unlearning
University of Florida（佛罗里达大学）
本文提出结合数据增强与机器遗忘的方法，在缓解训练数据偏差的同时，通过多分片遗忘移除模型中的原始数据识别信息，从而提供可证明的隐私攻击防御，并在多个数据集上验证了其有效性与鲁棒性。
2024-04-19 cs.AI cs.CV cs.LG
A New Implementation of Federated Learning for Privacy and Security Enhancement
Utah State University（犹他州立大学）；University of Wisconsin-Whitewater（威斯康星大学怀特沃特分校）；University of Nebraska–Lincoln（内布拉斯加大学林肯分校）
受个人数据隐私日益受到关注以及本地客户数据量快速增长的推动，联邦学习（FL）已成为一种新的机器学习环境。FL系统由中央参数服务器和多个本地客户端组成。它将数据保存在本地客户端，并通过共享本地学习的模型参数来学习集中式模型。无需共享本地数据，隐私可以得到很好的保护。然而，由于共享的是模型而不是原始数据，因此系统可能会受到恶意客户端发起的中毒模型攻击。此外，由于服务器上没有可用的本地客户端数据，因此识别恶意客户端具有挑战性。此外，仍然可以通过使用上传的模型来估计客户端的本地数据来执行成员推断攻击，从而导致隐私泄露。在这项工作中，我们首先提出了一个基于模型更新的联邦平均算法，以抵御拜占庭攻击，如加性噪声攻击和符号翻转攻击。提出了个体客户端模型初始化方法，通过隐藏个体本地机器学习模型，进一步隐私保护免受成员推断攻击。当结合这两种方案时，可以有效地增强隐私和安全性。实验证明，所提出的方案收敛于非IID数据分布时，没有攻击。在Byzantine攻击下，该方案的性能优于经典的基于模型的FedAvg算法.
2022-08-03 cs.CR cs.LG
Membership Inference Attacks and Privacy in Topic Modeling
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
本文提出针对主题模型的成员推理攻击，证明 Latent Dirichlet Allocation 存在隐私漏洞，并提出结合差分隐私词汇选择的框架以在有限影响效用下提升隐私保护。
2024-09-23 cs.CL cs.CR cs.LG
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano（米兰理工大学）
本文提出 TimberStrike 攻击，针对水平联邦树模型，利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据，揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
Membership Inference Attacks as Privacy Tools: Reliability, Disparity and Ensemble
Rensselaer Polytechnic Institute（罗文斯莱尔理工学院）；IBM Research - Almaden（IBM阿尔马登研究）
本文系统研究了成员推理攻击在不同方法及同方法多次实例化之间的差异性及其对隐私评估可靠性的影响，并提出一种包含三种策略的集成框架，以构建更强大的攻击并提供更稳健全面的隐私评估方法。
2025-07-03 cs.LG
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks
IBM Research（IBM研究院）
本文首次系统综述微调大语言模型对成员推断攻击的脆弱性，发现差分隐私与低秩适配器组合能提供最佳隐私保护。
2024-03-13 cs.CR cs.LG
Rethinking Anonymity Claims in Synthetic Data Generation: A Model-Centric Privacy Attack Perspective
UCL（伦敦大学学院）；SAS（SAS公司）；UC Riverside（加州大学河滨分校）
本文从模型为中心的视角重新审视合成数据生成中的匿名性主张，强调需考虑生成模型能力和隐私攻击，指出合成数据技术不足以保证匿名性，并比较差分隐私与相似性隐私度量的优劣。
2026-10-02 cs.CR cs.CY cs.LG
Differential Privacy: Gradient Leakage Attacks in Federated Learning Environments
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；University of Deusto (Bilbao, Spain)（德乌斯大学）
本研究针对联邦学习中的梯度泄露攻击问题，评估DP-SGD与PDP-SGD两种差分隐私机制的防御效果，发现DP-SGD可有效降低泄露风险但存在效用权衡，为分布式学习隐私防护提供实证依据。
2025-10-27 cs.CR cs.DC cs.LG
Reminiscence Attack on Residuals: Exploiting Approximate Machine Unlearning for Privacy
The Hong Kong Polytechnic University（香港理工大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文揭示近似机器遗忘的隐式残差隐私风险，提出 ReA 成员推断攻击，并设计双阶段框架以接近随机猜测的攻击准确率实现高效隐私保护。
2025-07-28 cs.LG
How Does a Deep Learning Model Architecture Impact Its Privacy? A Comprehensive Study of Privacy Attacks on CNNs and Transformers
University of Technology Sydney（悉尼科技大学）；Data 61；City University of Macau（澳门城市大学）
该研究对比CNN与Transformer的隐私脆弱性，发现Transformer更易受隐私攻击，明确激活层等微观设计及注意力模块对隐私性的影响，为隐私友好的模型架构设计提供参考。
2024-02-02 cs.AI cs.CR cs.LG
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks
WeBank AI Lab（微众银行人工智能实验室）；University of Malaya（马来亚大学）；Hong Kong Univ. of Science and Tech.（香港科技大学）
本文研究了隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。首先，我们建议定量衡量模型的准确性和隐私损失所造成的重建，跟踪和成员攻击之间的权衡。其次，我们将重建攻击表述为求解一个噪声线性方程组，并证明了如果条件（2）不满足，则保证攻击被击败。第三，在理论分析的基础上，提出了一种新的秘密极化网络（SPN）来抵御隐私攻击，这对现有的PPDL方法提出了严峻的挑战。大量的实验表明，在数据隐私得到满意保护的情况下，与基线机制相比，模型准确性平均提高了5-20%。
2020-06-23 cs.CR cs.DC cs.LG
Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks
University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；National University of Singapore（新加坡国立大学）
Masked语言模型~（MLMs）在敏感数据（从法律到医疗）上的广泛采用和应用需要对其隐私漏洞进行彻底的定量调查--MLMs在多大程度上泄露了有关其训练数据的信息？先前尝试通过成员推断攻击来测量MLM的泄漏是不确定的，这意味着MLM对隐私攻击的潜在鲁棒性。在这项工作中，我们认为以前的尝试是不确定的，因为他们的攻击完全基于传销的模型得分。我们设计了一个更强大的成员推断攻击的基础上似然比假设检验，涉及一个额外的参考传销，更准确地量化的记忆在传销的隐私风险。我们发现，掩蔽的语言模型非常容易受到似然比成员推断攻击的影响：我们的经验结果，在医学笔记上训练的模型上，表明我们的攻击将先前成员推断攻击的AUC从0.66提高到惊人的0.90水平，在低错误区域有显着改善：在1%的误报率下，我们的攻击比以前的工作强大51倍。
2022-11-04 cs.AI cs.CR cs.LG
A Survey on Privacy in Graph Neural Networks: Attacks, Preservation, and Applications
Vanderbilt University（范德堡大学）；The Chinese University of Hong Kong（香港中文大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文综述了图神经网络中的隐私攻击、隐私保护技术及相关数据集与应用，并展望了未来构建更强隐私保护GNN的研究方向。
2023-09-19 cs.AI cs.CR cs.LG
Calibration Attacks: A Comprehensive Study of Adversarial Attacks on Model Confidence
Ingenuity Labs Research Institute（创意实验室研究院）；National Research Council Canada（加拿大国家研究委员会）；Digital Technologies Research Centre（数字技术研究中心）
本文系统研究不改变预测标签却扭曲模型置信度的校准攻击，提出四类黑盒/白盒攻击并评估防御与重新校准方法，揭示现有防护仍存在明显局限。
2024-11-29 cs.CR cs.LG
On the Importance of Difficulty Calibration in Membership Inference Attacks
University of Edinburgh（爱丁堡大学）；Meta AI
近年来，机器学习模型对成员推断攻击的脆弱性备受关注。然而，现有的攻击大多仍然是不切实际的，由于具有高误报率，其中非成员样本往往被错误地预测为成员。这种类型的误差使得预测的隶属度信号不可靠，特别是因为大多数样本在现实世界应用中是非成员。在这项工作中，我们认为，成员推断攻击可以大大受益于\emph{difficulty calibration}，其中攻击的预测成员分数调整到正确分类目标样本的难度。我们表明，难度校准可以显着降低各种现有攻击的误报率，而不会损失准确性。
2022-04-11 cs.CR cs.LG
Alleviating Privacy Attacks via Causal Learning
Microsoft Research（微软研究院）
机器学习模型，特别是深度神经网络，已被证明容易受到隐私攻击，例如成员推断，其中对手可以检测数据点是否用于训练黑盒模型。当模型的预测用于看不见的数据分布时，这种隐私风险会加剧。为了减轻隐私攻击，我们展示了基于输入特征和结果之间的因果关系的预测模型的好处。我们首先表明，使用因果结构学习的模型更好地推广到看不见的数据，特别是来自不同分布的数据比训练分布。基于这种泛化性质，我们建立了因果关系和隐私之间的理论联系：与关联模型相比，因果模型提供了更强的差分隐私保证，并且对成员推断攻击更具鲁棒性。在模拟贝叶斯网络和有色MNIST数据集上的实验表明，关联模型在不同的测试分布和样本大小下表现出高达80%的攻击准确率，而因果模型表现出接近随机猜测的攻击准确率。
2020-07-17 cs.LG stat.ML
Systematic Evaluation of Privacy Risks of Machine Learning Models
Princeton University（普林斯顿大学）
机器学习模型倾向于记忆敏感数据，使其容易受到成员推断攻击，其中对手旨在猜测输入样本是否用于训练模型。在本文中，我们表明，以前的工作成员推断攻击可能严重低估了隐私风险，仅仅依靠训练自定义神经网络分类器来执行攻击，只关注数据样本的聚合结果，如攻击的准确性。为了克服这些局限性，我们首先提出了基准成员推理隐私风险，通过改进现有的非神经网络为基础的推理攻击，并提出了一种新的推理攻击方法的基础上修改的预测熵。我们还提出了防御机制的基准，通过考虑具有防御知识的自适应对手，并考虑模型准确性和隐私风险之间的权衡。使用我们的基准攻击，我们证明了现有的防御方法并不像以前报道的那样有效。接下来，我们引入了一种新的方法，通过制定和推导一个新的度量称为隐私风险评分细粒度的隐私分析。我们的隐私风险评分指标衡量了单个样本成为训练成员的可能性，这使得对手能够识别具有高隐私风险的样本并以高置信度执行攻击。我们通过实验验证了隐私风险评分的有效性，并证明了隐私风险评分在各个样本中的分布是异质的。最后，我们进行了深入的调查，以了解为什么某些样本具有高隐私风险，包括与模型敏感性，泛化误差和特征嵌入的相关性。我们的工作强调了对机器学习模型的隐私风险进行系统和严格评估的重要性。
2020-12-09 cs.CR cs.LG stat.ML
A Survey of Privacy Attacks in Machine Learning
Czech Technical University in Prague（布拉格捷克理工大学）
本文综述了近七年来40余篇针对机器学习的隐私攻击研究，提出攻击分类法和威胁模型，分析泄露原因与攻击方法，并总结防御措施及未来方向。
2023-09-16 cs.CR cs.LG
When Fairness Meets Privacy: Exploring Privacy Threats in Fair Binary Classifiers via Membership Inference Attacks
University of Technology Sydney（悉尼科技大学）；City University of Macau（澳门城市大学）；Data61 CSIRO
针对公平性增强二分类模型对基于分数的成员推理攻击存在抵抗力的现象，提出利用原始模型与公平性增强模型预测差异及预测差距作为攻击线索的高效攻击方法FD-MIA，并验证了其有效性。
2024-08-27 cs.AI cs.CR cs.LG
Towards Certification of Uncertainty Calibration under Adversarial Attacks
University of Oxford（牛津大学）；Vienna University of Technology（维也纳技术大学）
针对对抗攻击损害神经分类器校准的问题，提出认证校准方法，给出Brier分数解析界与期望校准误差的混合整数规划近似界，并引入对抗校准训练以提升校准。
2025-02-25 cs.LG stat.ML
Does Black-box Attribute Inference Attacks on Graph Neural Networks Constitute Privacy Risk?
L3S Research Center（L3S研究中心）；Leibniz University（莱布尼茨大学）；TU Delft（代尔夫特理工大学）
本文首次系统评估针对 GNN 的黑盒属性推理攻击，通过改变攻击者知识开展实验，发现其相比缺失值估计并未显著增加隐私泄露。
2023-06-01 cs.AI cs.CR cs.LG
Ensuring Calibration Robustness in Split Conformal Prediction Under Adversarial Attacks
Michigan State University（密歇根州立大学）
本文研究了在对抗攻击下分割置信预测的鲁棒性，提出通过校准时间攻击强度控制覆盖度，并通过对抗训练提升预测集的紧致性与信息量。
2025-12-22 cs.LG stat.ML
Attacks on Image Encryption Schemes for Privacy-Preserving Deep Neural Networks
隐私保护机器学习是一个活跃的研究领域，通常依赖于同态加密或安全多方计算等技术。最近，Tanaka和Sirichotedumrong、Kinoshita和Kiya提出了使用深度神经网络对图像执行机器学习的新加密技术。我们提出了新的选择明文和密文的攻击对这两个建议的图像加密方案，并证明了攻击的有效性的几个例子。
2020-04-29 cs.CR cs.CV cs.LG
Disguised-Nets: Image Disguising for Privacy-preserving Outsourced Deep Learning
Wright State University（莱特州立大学）
深度学习模型开发人员经常使用云GPU资源来试验需要昂贵设置的大数据和模型。然而，这种做法引起了隐私问题。攻击者可能对以下内容感兴趣：1）训练图像中编码的个人身份信息或对象，以及2）使用敏感数据训练的模型，以发起基于模型的攻击。由于大量的训练数据和昂贵的学习过程，从加密数据中学习深度神经网络（DNN）仍然是不切实际的。最近的一些研究试图提供有效、实用的解决方案来保护外包深度学习中的数据隐私。然而，我们发现它们在某些攻击下是脆弱的。在本文中，我们具体识别了两种类型的对外包深度学习的独特攻击：1）对训练数据的视觉重新识别攻击，以及2）对学习模型的类成员攻击，这可能会破坏现有的隐私保护解决方案。我们开发了一种图像伪装方法来解决这些攻击，并设计了一套方法来评估外包深度学习隐私保护解决方案的攻击弹性水平。实验结果表明，我们的图像伪装机制可以提供高水平的保护，防止这两种攻击，同时仍然生成高质量的DNN模型的图像分类。
2019-04-19 cs.CR cs.CV cs.LG
A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures
Griffith University（格里菲斯大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Bremen（不来梅大学）；Hanoi University of Science and Technology（河内科技大学）；The University of Queensland（昆士兰大学）
本文首次系统综述模型解释的隐私攻击与对策，构建分类法并分析隐私泄露原因，提供在线资源库，为可解释AI隐私保护研究奠定基础。
2024-06-26 cs.AI cs.CR cs.CY
Adversarial Calibration Attack on Autonomous Vehicles
Texas Tech University（德克萨斯理工大学）；University of Arizona（亚利桑那大学）；University of Michigan（密歇根大学）
该研究提出针对自动驾驶汽车相机-激光雷达在线校准的对抗性校准攻击（ACA），通过对抗性海报可诱导校准误差，引发感知等系统错误，在仿真和物理实验中均验证了其有效性。
2026-09-01 cs.CV cs.ET cs.LG
