Accurate, Explainable, and Private Models: Providing Recourse While Minimizing Training Data Leakage
Harvard University(哈佛大学)
本文首次研究算法救济引发的训练数据隐私泄露问题,提出差分隐私模型(DPM)和拉普拉斯救济(LR)两种方法,在保持模型与救济准确性的同时有效降低隐私泄露风险。
2023-08-08 cs.CR cs.LG
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
联邦学习(FL)是一种新兴的分布式学习范式,具有默认的客户端隐私,因为客户端可以将敏感数据保存在其设备上,并且仅与联邦服务器共享本地训练参数更新。然而,最近的研究表明,FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法,该方法基于每个训练样本的客户端差分隐私,称为Fed-CDP。它有三个原创性的贡献。首先,我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁,即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法,被称为Fed-SDP,是不足以保护训练数据的隐私。其次,介绍了基于实例的客户端差分隐私算法Fed-CDP,给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析,并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三,形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡,并提出了一种动态衰减噪声注入策略,进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP(衰减)与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明,Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP,同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology(佐治亚理工学院)
联邦学习(FL)是一种新兴的分布式机器学习框架,用于与客户端(边缘设备)网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而,最近的研究表明,即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击,并侵犯客户端关于其训练数据的隐私。在本文中,我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析,以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据(例如,局部梯度或权重更新向量)。然后,我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量,评估和分析客户端隐私泄漏攻击的有效性时,使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略,以强调提供系统的攻击评估框架的重要性,以深入了解联邦学习中各种形式的客户端隐私泄露威胁,并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种利用模型遗忘作为投毒手段的攻击方法,通过操纵预训练语言模型在微调时加剧私有数据泄露,同时保持模型可用性,并显著提升成员推断与数据提取攻击效果。
2024-08-30 cs.AI cs.CR cs.LG
Modelling and Quantifying Membership Information Leakage in Machine Learning
University of Melbourne(墨尔本大学);Macquarie University(麦考瑞大学)
机器学习模型已被证明易受成员推断攻击的攻击,即,推断个人数据是否被用于训练模型。缺乏对这些攻击成功的因素的理解激发了使用信息理论对成员信息泄漏进行建模以及调查可以减少成员信息泄漏的机器学习模型和训练算法的属性的需要。我们使用条件互信息泄漏来测量训练机器学习模型中关于训练数据集中个体存在的信息泄漏量。我们设计了一个上限,这种措施的信息泄漏使用Kullback-Leibler分歧,更适合于数值计算。我们证明了Kullback-Leibler成员信息泄漏和假设测试对手检查特定数据记录是否属于机器学习模型的训练数据集的成功概率之间的直接关系。我们证明了互信息泄漏是训练数据集大小和正则化权重的递减函数。我们还证明,如果机器学习模型(定义在相对于模型参数的适应度的导数方面)的灵敏度高,则可能泄漏更多的成员信息。这表明,与具有较少自由度的简单模型相比,复杂模型(如深度神经网络)更容易受到成员推断攻击的影响。我们发现,当使用高斯$(ε,δ)$-差分私有加性噪声时,通过$\mathcal{O}(\log^{1/2}(δ^{-1})ε^{-1})$减少了成员信息泄漏量。
2020-04-28 cs.CR cs.IT cs.LG
Understanding Training-Data Leakage from Gradients in Neural Networks for Image Classification
University of Bath(巴斯大学)
用于监督任务(例如图像分类和分割)的深度学习模型的联合学习已经找到了许多应用:例如在电影后期制作等人在回路任务中,它可以以高效和有效的方式共享人类艺术家的领域专业知识。在许多此类应用中,由于IP或隐私问题,当在训练过程中共享梯度时,我们需要保护训练数据不被泄露。最近的工作表明,它是可能的重建训练数据的梯度图像分类模型时,其架构是已知的。然而,对这种攻击的有效性和失败的理论认识仍然不完整。在本文中,我们分析了梯度的训练数据泄漏的来源。我们将训练数据重建的问题表述为迭代地为每一层解决优化问题。逐层目标函数主要由来自当前层的权重和梯度以及来自后续层的重构的输出来定义,但它也可能涉及来自前一层的“拉回”约束。当我们通过每一层从网络的输出反向解决问题时,可以重建训练数据。基于这个公式,我们能够将深度网络中训练数据的潜在泄漏归因于其架构。我们还提出了一个度量标准来衡量深度学习模型对训练数据的基于梯度的攻击的安全性水平。
2021-11-19 cs.LG stat.ML
Measuring Data Leakage in Machine-Learning Models with Fisher Information
Facebook AI Research(Facebook人工智能研究院)
机器学习模型包含关于它们被训练的数据的信息。这些信息通过模型本身或模型所做的预测泄露。因此,当训练数据包含敏感属性时,评估信息泄漏量是至关重要的。我们提出了一种方法来量化这种泄漏使用Fisher信息的模型的数据。与差分隐私的最坏情况的先验保证不同,Fisher信息损失测量数据集中特定示例、属性或子群体的泄漏。我们通过Cramér-Rao界激励Fisher信息损失,并描绘了隐含的威胁模型。我们提供了有效的方法来计算输出扰动广义线性模型的Fisher信息损失。最后,我们实证验证了Fisher信息损失作为信息泄露的有用衡量标准。
2021-08-23 cs.CR cs.LG
User-Level Label Leakage from Gradients in Federated Learning
Technical University of Darmstadt(达姆施塔特工业大学)
联邦学习使多个用户能够通过共享他们的模型更新(梯度)来构建联合模型,而他们的原始数据仍保留在他们的设备上。与普遍认为这提供了隐私益处相反,我们在这里添加了最近关于共享梯度时隐私风险的结果。具体来说,我们调查标签泄漏从副本(LLG),一种新的攻击提取标签的用户的训练数据从他们的共享梯度。该攻击利用梯度的方向和幅度来确定是否存在任何标签。LLG简单而有效,能够泄漏由标签表示的潜在敏感信息,并且可以很好地扩展到任意批量大小和多个类。我们从数学和经验上证明了在不同的设置下的攻击的有效性。此外,实验结果表明,LLG在模型训练的早期阶段成功地提取了高精度的标签。我们还讨论了不同的防御机制对这种泄漏。我们的研究结果表明,梯度压缩是一种实用的技术,以减轻攻击。
2022-01-03 cs.CR cs.LG
Analyzing Leakage of Personally Identifiable Information in Language Models
University of Waterloo(滑铁卢大学);Microsoft(微软)
本文提出仅需API访问的PII黑盒提取、推理与重构攻击定义,并在GPT-2上实证表明新攻击可多提取10倍PII,差分隐私仍泄露约3%。
2023-04-23 cs.LG
Hyperparameter Tuning with Renyi Differential Privacy
Google Research(谷歌研究院)
对于许多差分隐私算法,例如突出的噪声随机梯度下降(DP-SGD),限制单个训练运行的隐私泄漏所需的分析是很好理解的。然而,很少有研究认为,由于需要多次训练来微调训练算法的超参数值,从而导致隐私泄露。在这项工作中,我们首先说明了如何简单地设置基于非私有训练运行的超参数可以泄漏私有信息。基于这一观察,我们在Renyi差分隐私的框架内为超参数搜索过程提供了隐私保证。我们的研究结果改进和扩展了Liu和Talwar的工作(STOC 2019)。我们的分析支持了我们之前的观察,即调整超参数确实会泄漏私人信息,但我们证明,在某些假设下,这种泄漏是适度的,只要选择超参数所需的每个候选训练运行本身是差异私人的。
2022-03-14 cs.CR cs.DS cs.LG
CAFE: Catastrophic Data Leakage in Vertical Federated Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院);National Yang Ming Chiao Tung University(国立阳明交通大学)
最近的研究表明,私有训练数据可以通过部署在分布式机器学习系统(如联邦学习(FL))中的梯度共享机制泄漏。增加批量大小以使数据恢复复杂化通常被视为一种有前途的数据泄漏防御策略。在本文中,我们重新审视这一防御前提,并提出了一种先进的数据泄漏攻击与理论的理由,有效地恢复批数据从共享的聚合梯度。我们将我们提出的方法命名为垂直联邦学习中的灾难性数据泄漏(CAFE)。与现有的数据泄漏攻击相比,我们在垂直FL设置上的大量实验结果证明了CAFE在执行大批量数据泄漏攻击时的有效性,并提高了数据恢复质量。我们还提出了一个切实可行的对策,以减轻CAFE。我们的研究结果表明,私人数据参与标准FL,特别是垂直的情况下,有很高的风险被泄漏的训练梯度。我们的分析表明,在这些学习环境中存在前所未有的实际数据泄露风险。我们的工作代码可在https://github.com/DeRafael/CAFE上获得。
2022-02-19 cs.AI cs.LG
Bounding Training Data Reconstruction in Private (Deep) Learning
Meta AI;Meta
差分隐私被广泛接受为防止ML中数据泄露的事实上的方法,传统观点认为它提供了强大的隐私攻击保护。然而,现有的DP语义保证集中在成员推理,这可能会高估对手的能力,并不适用于成员身份本身是不敏感的。在本文中,我们推导出第一个语义保证DP机制对训练数据重建攻击下的正式威胁模型。我们发现,两种不同的隐私会计方法-仁义差分隐私和费舍尔信息泄漏-都提供了强大的语义保护,以防止数据重建攻击。
2022-06-23 cs.CR cs.LG
Data Poisoning and Leakage Analysis in Federated Learning
Georgia Institute of Technology(佐治亚理工学院);Fordham University(福特汉姆大学);National Institute of Standards and Technology(美国国家标准与技术研究院);Georgia Tech Research Institute(佐治亚理工研究院)
本章分析联邦学习中的数据泄漏与投毒威胁,探讨梯度扰动防御及动态模型扰动方法,旨在实现隐私保护、投毒韧性与性能的平衡。
2024-09-19 cs.LG
Location Leakage in Federated Signal Maps
University of California Irvine(加州大学尔湾分校);University of Southern California(南加州大学)
研究在线联邦学习预测蜂窝网络信号地图时的位置泄露问题,发现DLG攻击可重建用户粗粒度轨迹,提出调整参数、策划本地批次和多用户聚合等机制实现隐私与效用的良好权衡。
2024-01-06 cs.CR cs.LG
In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Oxford(牛津大学)
当从敏感数据中学习时,必须注意确保训练算法解决隐私问题。规范的教师集合的私有聚合(PATE)通过投票机制聚合(可能是分布式的)教师模型集合的预测来计算输出标签。该机制添加噪声以获得关于教师的训练数据的差分隐私保证。在这项工作中,我们观察到,这种使用噪声,这使得PATE预测随机,使新形式的泄漏的敏感信息。对于给定的输入,我们的对手利用这种随机性来提取潜在教师提交的投票的高保真直方图。从这些直方图中,对手可以了解输入的敏感属性,如种族,性别或年龄。虽然这种攻击并不直接违反差分隐私保证,但它显然违反了隐私规范和期望,如果不插入噪声以获得差分隐私,则根本不可能。事实上,与直觉相反,当我们添加更多噪声以提供更强的差分隐私时,攻击变得更容易。我们希望这能鼓励未来的工作从整体上考虑隐私,而不是将差分隐私视为灵丹妙药。
2022-09-22 cs.CR cs.LG
Training on Fake Labels: Mitigating Label Leakage in Split Learning via Secure Dimension Transformation
Tencent Inc.(腾讯公司);Tsinghua University(清华大学);Peking University(北京大学)
提出一种基于安全维度转换模块SecDT的双方拆分学习方法,通过双向标签映射、梯度归一化和softmax归一化高斯噪声,在保持模型高效用的同时有效防御标签推理攻击。
2024-10-11 cs.AI cs.CR cs.LG
Eliminating Label Leakage in Tree-Based Vertical Federated Learning
The University of Tokyo(东京大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出了一种针对基于树的纵向联邦学习的新标签推理攻击ID2Graph,并设计了Grafting-LDP和ID-LMID两种防御机制,有效消除实例空间中的标签泄露风险。
2023-10-22 cs.AI cs.CR cs.LG
Dropout is NOT All You Need to Prevent Gradient Leakage
对联邦学习系统的梯度反转攻击从交换的梯度信息重建客户端训练数据。为了防御这种攻击,提出了各种防御机制。然而,它们通常导致隐私和模型实用性之间不可接受的权衡。最近的观察表明,如果将dropout添加到神经网络中,可以减轻梯度泄漏并提高模型效用。不幸的是,这一现象尚未得到系统的研究。在这项工作中,我们深入分析了辍学迭代梯度反演攻击的效果。我们发现,最先进的攻击是无法重建的客户端数据,由于随机性引起的模型训练过程中的辍学。尽管如此,我们认为,辍学不提供可靠的保护,如果辍学引起的随机性在攻击优化过程中充分建模。因此,我们提出了一种新的丢弃反转攻击(DIA),共同优化客户端数据和丢弃掩码,以近似随机客户端模型。我们进行了广泛的系统评估,我们的攻击四个种子模型架构和三个图像分类数据集的复杂性不断增加。我们发现,我们提出的攻击绕过保护似乎引起的辍学和重建客户端数据具有高保真度。我们的工作表明,隐私诱导模型架构的变化单独不能被认为是可靠的保护梯度泄漏,因此应该与互补的防御机制相结合。
2022-11-23 cs.AI cs.CR cs.LG
When Privacy Isn't Synthetic: Hidden Data Leakage in Generative AI Models
Department of Mathematical Sciences University of Texas at El Paso(数学科学系德克萨斯理工大学埃尔帕索分校);Department of Computer Science University of Texas at El Paso(计算机科学系德克萨斯理工大学埃尔帕索分校);Department of Radiology St. Jude Children’s Research Hospital(放射医学系圣犹太儿童研究医院)
本文提出了一种针对生成AI模型的黑盒成员推断攻击,通过数据流形中的结构重叠泄露隐私信息,揭示了合成数据生成中未被充分探索的隐私风险。
2025-12-05 cs.AI cs.LG
Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in Federated Learning
University of Southern California (USC)(南加州大学);University of California, Riverside(加州大学河滨分校);University of California, Berkeley(加州大学伯克利分校)
针对联邦学习多轮训练中因部分用户选择导致的隐私泄露问题,提出具有多轮隐私保证的安全聚合框架Multi-RoundSecAgg,通过结构化用户选择策略在保证公平性和准确率的同时实现长期隐私保护。
2023-07-27 cs.CR cs.DC cs.IT
Defense Against Gradient Leakage Attacks via Learning to Obscure Data
Michigan State University(密歇根州立大学);The Hong Kong Polytechnic University(香港理工大学)
联邦学习被认为是一种有效的隐私保护学习机制,它将客户端的数据和模型训练过程分开。然而,联邦学习仍然面临着隐私泄露的风险,因为存在攻击者故意进行梯度泄漏攻击来重构客户端数据。近年来,一些流行的策略如梯度扰动方法和输入加密方法被提出来抵抗梯度泄漏攻击。然而,这些防御可能会极大地牺牲模型性能,或者被更高级的攻击所规避。在本文中,我们提出了一种新的防御方法来保护客户端的数据的隐私,通过学习模糊数据。我们的防御方法可以生成与原始样本完全不同的合成样本,但它们也可以最大限度地保留其预测特征并保证模型性能。此外,我们的防御策略使得梯度泄漏攻击及其变种非常难以重建客户端数据。通过大量的实验,我们表明,我们提出的防御方法获得更好的隐私保护,同时保持高准确性相比,国家的最先进的方法。
2022-06-01 cs.CR cs.LG stat.ML
iDLG: Improved Deep Leakage from Gradients
School of Informatics(信息学院);The University of Edinburgh(爱丁堡大学)
人们普遍认为,在分布式学习系统,如协作学习和联邦学习等,共享梯度不会泄漏私人的训练数据。最近,朱等。提出了一种方法,显示了可能性,以获得私人的训练数据从公共共享的梯度。在他们的深度梯度泄漏(DLG)方法中,他们在共享梯度的监督下合成了虚拟数据和相应的标签。然而,DLG在收敛和一致地发现地面真实标签方面存在困难。在本文中,我们发现共享梯度肯定会泄漏地面实况标签。我们提出了一个简单但可靠的方法来提取准确的数据的梯度。特别是,我们的方法当然可以提取地面实况标签,而不是DLG,因此我们称之为改进的DLG(iDLG)。我们的方法适用于任何在单热标签上使用交叉熵损失训练的可微模型。我们从数学上说明了我们的方法如何从梯度中提取地面实况标签,并以经验证明了DLG的优势。
2020-01-08 cs.LG stat.ML
Do Gradient Inversion Attacks Make Federated Learning Unsafe?
NVIDIA(英伟达)
联邦学习(FL)允许人工智能模型的协作训练,而无需共享原始数据。这一功能使其对于医疗保健应用特别感兴趣,因为在这些应用中,患者和数据隐私是最重要的。然而,最近关于从模型梯度反演深度神经网络的工作引起了人们对FL在防止训练数据泄漏方面的安全性的担忧。在这项工作中,我们表明,在文献中提出的这些攻击是不切实际的FL用例中,客户端的培训涉及更新的批量归一化(BN)的统计数据,并提供了一个新的基线攻击,适用于这种情况。此外,我们提出了新的方法来衡量和可视化潜在的数据泄漏FL。我们的工作是一个步骤,建立可重复的方法测量数据泄漏FL,可以帮助确定隐私保护技术,如差分隐私,和模型的准确性之间的最佳权衡基于可量化的指标。代码可在https://nvidia.github.io/NVFlare/research/quantifying-data-leakage上获得。
2023-01-30 cs.CR cs.CV cs.DC
Towards General Deep Leakage in Federated Learning
University of Stavanger(斯塔万格大学);RWTH-Aachen University(亚琛工业大学);University of Cologne(科隆大学)
与传统的集中式训练不同,联邦学习(FL)通过共享和聚合局部模型而不是局部数据来提高全局模型的性能,从而保护用户的隐私。虽然这种训练方法看起来很安全,但一些研究表明,攻击者仍然可以根据共享的梯度信息恢复私有数据。这种动态重建攻击值得深入研究,因为它可以发生在训练的任何阶段,无论是在模型训练的开始还是结束;不需要相关的数据集,也不需要训练额外的模型。我们突破了一些不切实际的假设和限制,在更广泛的场景中应用这种重建攻击。我们提出的方法,可以重建的训练数据从共享的梯度或权重,分别对应于FedSGD和FedAvg的使用场景。我们提出了一个zero-shot的方法来恢复标签,即使有重复的标签在一批。研究了标记与图像复原的关系。我们发现,图像复原失败,即使只有一个错误推断的标签在一批,我们还发现,当批次图像具有相同的标签,相应的图像恢复为一类图像的融合。我们的方法在经典的图像基准上进行了评估,包括CIFAR-10和ImageNet。我们的方法的批量大小,图像质量和标签分布的适应性超过了最先进的GradInversion。
2022-01-26 cs.AI cs.LG
Analyzing Information Leakage of Updates to Natural Language Models
Microsoft(微软);University of Melbourne(墨尔本大学)
为了不断提高质量并反映数据的变化,机器学习应用程序必须定期重新训练和更新其核心模型。我们表明,差异分析的语言模型快照之前和之后的更新可以揭示一个令人惊讶的数量的详细信息的变化,在训练数据。我们提出了两个新的度量- \emph{differential score}和\emph{differential rank} -用于分析由于自然语言模型更新而导致的泄漏。我们使用这些指标对使用不同方法和配置在几个不同数据集上训练的模型进行泄漏分析。我们讨论我们的研究结果的隐私影响,提出缓解策略,并评估其效果。
2021-08-05 cs.CL cs.CR cs.LG
PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing
University of Sheffield(谢菲尔德大学);University of Waterloo(滑铁卢大学)
PATCH通过针对性电路修补减少语言模型中的PII泄露,实现更好的隐私-实用性平衡。
2026-02-26 cs.CL cs.CR
Privacy Leakage in Text Classification: A Data Extraction Approach
University of Minnesota(明尼苏达大学);Microsoft Research(微软研究院)
最近的工作已经证明了从生成语言模型中成功地提取训练数据。然而,这是不明显的,这种提取是否是可行的文本分类模型,因为训练目标是预测类标签,而不是下一个词的预测。这提出了一个有趣的挑战,并提出了一个重要的问题,在文本分类设置的训练数据的隐私。因此,我们通过调查与学习任务无关的训练数据的非故意记忆问题来研究文本分类领域中潜在的隐私泄漏。我们提出了一种算法,通过利用模型提供的类标签的可能性来提取部分文本的缺失标记。我们通过将金丝雀插入训练集中并尝试在训练后提取这些金丝雀中的标记来测试我们算法的有效性。在我们的实验中,我们证明了成功的提取在一定程度上是可能的。这也可以用作审计策略,以评估任何未经同意的潜在未经授权使用个人数据的情况。
2022-06-09 cs.CL cs.CR cs.LG
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto(电气与计算机工程系 东京大学)
本研究重新审视了LLM微调中的记忆化问题,发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势,且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
Tracing Privacy Leakage of Language Models to Training Data via Adjusted Influence Functions
Huawei Technologies Canada Co. Ltd(华为技术加拿大有限公司)
本文提出启发式调整影响函数HAIF,通过降低大梯度范数token的权重来更准确地追溯语言模型隐私泄露至训练数据,并在多个数据集和模型上显著优于现有方法。
2024-09-05 cs.CL cs.CR cs.LG
Discovering Universal Activation Directions for PII Leakage in Language Models
Oregon State University, Corvallis OR, USA;Korea Advanced Institute of Science \& Technology, Daejeon, South Korea
UniLeak通过识别语言模型中通用激活方向,提升PII泄露可能性,为隐私安全研究提供新视角。
2026-02-19 cs.CR cs.LG
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage
UC Santa Barbara(加州大学圣巴巴拉分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Meta;United States Military Academy(美国军事学院)
提出LeakAgent框架,通过强化学习训练攻击智能体生成对抗性提示以提取LLM训练数据和系统提示,显著优于现有方法并能规避防御,助力安全对齐。
2025-08-08 cs.AI cs.CR cs.LG
Real-Time Privacy Risk Measurement with Privacy Tokens for Gradient Leakage
School of Information, Renmin University of China(中国人民大学信息学院);School of Computer and Big Data, Minjiang University(闽江学院计算机与大数据学院)
针对深度学习训练中梯度泄露的隐私风险,提出从私有梯度提取的隐私令牌结合数据特征,以互信息为指标实现实时风险度量,实验验证其有效性,推动隐私监控进步与模型安全部署。
2025-02-12 cs.CR cs.LG
Harry Potter is Still Here! Probing Knowledge Leakage in Targeted Unlearned Large Language Models via Automated Adversarial Prompting
University of Science, VNU-HCM(越南国立大学胡志明市理科大学);Indiana University(印第安纳大学)
提出LURK框架,通过自动生成对抗性后缀提示探测已遗忘LLM中隐藏的哈利·波特知识,揭示现有遗忘评估标准的漏洞,提供更严格的鲁棒性诊断工具。
2025-05-22 cs.AI cs.CL cs.CR
ProPILE: Probing Privacy Leakage in Large Language Models
NAVER AI Lab(NAVER人工智能实验室);University of Luxembourg(卢森堡大学);Parameter Lab(帕拉米特实验室);Seoul National University(首尔国立大学);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
本文提出ProPILE探测工具,让数据主体通过基于自身PII构建提示来评估大语言模型中的隐私泄露风险,并在OPT-1.3B和Pile数据集上验证其有效性,为数据主体提供隐私意识与控制手段。
2023-07-04 cs.CL cs.CR
What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference
East China Normal University(华东师范大学);RMIT University(皇家墨尔本理工大学)
提出ActInv方法解决中间激活匹配问题以重建客户端输入,并引入扰动放大因子(PAF)量化层固有抗重建能力,揭示隐私脆弱性在层间不均匀分布,进而设计PriPert防御策略。
2026-05-22 cs.CL cs.CR cs.LG
Defeating Cerberus: Concept-Guided Privacy-Leakage Mitigation in Multimodal Language Models
CISPA Helmholtz Center for Information Security(CISPA赫尔姆霍茨信息安全中心);Nokia Bell Labs(诺基亚贝尔实验室)
本研究针对多模态大语言模型的个人身份信息泄露风险,提出无需重训练的概念引导缓解方法,构建多模态PII数据集,实现93.3%的平均敏感任务拒绝率且对无关性能影响极小。
2025-09-29 cs.CR cs.LG
Deep Leakage from Gradients
Massachusetts Institute of Technology(麻省理工学院)
交换梯度是现代多节点机器学习系统(例如,分布式培训、协作学习)。很长一段时间以来,人们认为梯度是安全的共享:即,梯度交换不会泄漏训练数据。然而,我们表明,它是可能的,以获得私人训练数据从公开共享的梯度。我们将这种泄漏命名为梯度深度泄漏,并根据经验验证了计算机视觉和自然语言处理任务的有效性。实验结果表明,我们的攻击比以前的方法要强大得多:恢复是像素级的准确图像和标记的文本匹配。我们希望提高人们的意识,重新思考梯度的安全性。最后,我们讨论了几种可能的策略,以防止这种深泄漏。最有效的防御方法是梯度剪枝。
2019-12-19 cs.CR cs.LG stat.ML
Memories Retrieved from Many Paths: A Multi-Prefix Framework for Robust Detection of Training Data Leakage in Large Language Models
Department of Computer Science, University of Central Florida(计算机科学系,中央佛罗里达大学)
本文提出多前缀框架,通过量化记忆的检索路径多样性,稳健检测大型语言模型中的训练数据泄露问题。
2025-11-25 cs.AI cs.CL cs.CR
Dropout against Deep Leakage from Gradients
Wuhan University(武汉大学)
随着如今数据的规模和大小显著增加,用于高性能计算和机器学习的联邦学习(Bonawitz et al.[2019])比以往任何时候都更加重要(Abadi et al.[2016])。人们过去认为,共享梯度似乎是安全的,以隐藏在训练阶段的本地训练数据。然而,Zhu等人[2019]证明了可以通过检测梯度从模型训练数据中恢复原始数据。它们使用生成的随机虚拟数据,并最小化它们与真实数据之间的距离。Zhao et al.[2020]进一步推动了收敛算法。通过用交叉熵损失代替原有的损失函数,获得了更好的保真度阈值。在本文中,我们建议在将数据馈送到分类器之前使用额外的dropout(Srivastava et al.[2014])层。它在防止原始数据泄漏方面非常有效,因为即使在5,800个epoch之后,训练数据也不能收敛到小的RMSE,其中丢弃率设置为0.5。
2022-11-15 cs.CR cs.LG
What Gradients Add to Text Leakage in Split Language Models, Counted per Token and per Document
本研究量化了分割学习中梯度对文本泄露的额外贡献,发现按文档计数时泄露显著增加,并建议同时按词元和文档报告泄露,将分割模型发送的数据视为与文本同等敏感。
2026-10-06 cs.CL cs.CR cs.LG
Inadvertent Context Leakage in Language Models
FAIR, Meta Superintelligence Labs(Meta超级智能实验室FAIR);University of California, Berkeley(加利福尼亚大学伯克利分校);Google DeepMind(谷歌DeepMind)
该研究发现语言模型的上下文窗口会无意泄漏敏感用户信息,提出自适应攻击方法,在8个专有模型上验证了2、4位数秘密的重建准确率,还展示了两种实际攻击方式,指出泄漏是模型能力的副产品。
2026-11-02 cs.CR cs.LG
Sanitize Your Responses: Mitigating Privacy Leakage in Large Language Models
提出Self-Sanitize框架,通过表征工程进行token级自我监控并就地修复有害内容,在三种隐私泄露场景和四个LLM上以低开销实现有效缓解且不损害模型效用。
2025-09-29 cs.CL cs.CR cs.LG
Distribution inference risks: Identifying and mitigating sources of leakage
EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
大量的工作表明,机器学习(ML)模型可能会泄露有关其训练数据的敏感或机密信息。最近,由于分布推断(或属性推断)攻击而导致的泄漏正受到关注。在这种攻击中,对手的目标是推断关于训练数据的分布信息。到目前为止,对分布推断的研究主要集中在证明成功的攻击,很少注意识别泄漏的潜在原因并提出缓解措施。为了弥合这一差距,作为我们的主要贡献,我们从理论上和经验上分析了信息泄漏的来源,允许对手进行分布推断攻击。我们确定了三个泄漏源:(1)记住对手感兴趣的$\mathbb{E}[Y|X]$(给定特征值的预期标签)的特定信息,(2)模型的错误归纳偏差,以及(3)训练数据的有限性。接下来,根据我们的分析,我们提出了原则性的缓解技术,对分布推断攻击。具体来说,我们证明了因果学习技术更有弹性的一种特定类型的分布推理风险称为分布成员推理比联想学习方法。最后,我们提出了一个形式化的分布推理,允许推理更一般的对手比以前可能的。
2022-09-18 cs.CR cs.LG
Quantification of the Leakage in Federated Learning
随着对用户隐私的日益重视,联邦学习越来越受欢迎。为了更好的安全性,已经提出了许多体系结构。大多数体系结构都是基于数据的梯度不会泄漏信息的假设。然而,最近的一些工作已经表明,这样的梯度可能导致训练数据的泄漏。在本文中,我们讨论了基于联邦近似逻辑回归模型的泄漏,并表明,这种梯度的泄漏可能泄漏的完整的训练数据,如果所有的元素的输入是0或1。
2020-03-11 cs.CR
The Model's Language Matters: A Comparative Privacy Analysis of LLMs
Inria(法国国家信息与自动化研究所);INSA Lyon(里昂国立应用科学学院);CITI(信息与技术研究所)
本研究首次定量证明语言结构影响大语言模型的隐私泄露,意大利语泄露最强,法语和西班牙语更稳健,需语言感知的隐私保护机制。
2025-10-09 cs.CL cs.CR
Functional Encryption in Secure Neural Network Training: Data Leakage and Practical Mitigations
Faculty of Computer Science, Alexandru Ioan Cuza University of Iasi, Iasi, Romania(计算机科学系,阿利亚斯大学,伊萨奇)
本文针对使用功能加密的安全神经网络训练提出数据重建攻击,并给出两种涉及客户端参与的安全训练与推理缓解方案。
2025-09-25 cs.CR cs.LG
Automating Prompt Leakage Attacks on Large Language Models Using Agentic Approach
Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院);SplxAI;Google DeepMind(谷歌DeepMind)
本文基于 AG2 构建协作式多智能体框架,自动探测并诱导目标 LLM 泄露系统提示词,同时借鉴密码学不可区分性提出提示词泄露安全定义与系统化对抗测试方法。
2025-02-18 cs.AI cs.CR
Power side-channel leakage localization through adversarial training of deep neural networks
Elmore Family School of Electrical and Computer Engineering(埃尔莫尔家族电气与计算机工程学院);Purdue University(普渡大学)
本研究提出基于深度学习攻击者与可训练噪声生成器对抗博弈的功耗侧信道泄漏定位技术,合成数据集上性能优于现有方法,为无强假设的泄漏定位提供了重要开端。
2024-10-29 cs.CR cs.LG
Auditing Prompt Caching in Language Model APIs
stanford(斯坦福大学)
本研究开发了统计审计方法检测 LLM API 提供商中的提示缓存,发现包括 OpenAI 在内的七个提供商存在跨用户缓存共享导致隐私泄露风险,并首次揭示 OpenAI 嵌入模型为 decoder-only Transformer 架构。
2025-07-13 cs.CL cs.CR cs.LG
Information Leakage from Embedding in Large Language Models
Ant Group(蚂蚁集团)
本研究提出输入重建攻击方法及Embed Parrot模型,从LLM深层嵌入恢复用户输入,并引入防御机制以保护隐私。
2024-05-22 cs.CR cs.LG
SALT: Steering Activations towards Leakage-free Thinking in Chain of Thought
Independent(独立研究者);RAND;University of Maryland(马里兰大学);META;Algoverse
SALT通过在链式思维中注入引导向量减少隐私泄露,提升模型隐私保护能力
2025-11-21 cs.AI cs.CL cs.CR
Beyond Attack Success Rate: Examining Trigger Leakage in Vision-Language Agentic Systems
University of New South Wales(新南威尔士大学);CSIRO(澳大利亚联邦科学与工业研究组织);Adelaide University(阿德莱德大学)
本文提出“触发器泄漏”概念,量化视觉-语言智能系统中后门触发器在视觉或语义相近输入下意外激活隐藏行为的风险,并引入邻域泄漏率(NLR)指标。
2026-06-12 cs.CR
What can we learn from Data Leakage and Unlearning for Law?
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机学院)
本研究针对大语言模型的训练数据记忆与泄露问题,发现删除易提取数据后会产生新的易泄露数据点,且微调模型还会泄露预训练数据中的个人身份信息,为相关隐私法律政策制定提供了参考。
2023-07-19 cs.CL cs.CR
"Training robust watermarking model may hurt authentication!'' Exploring and Mitigating the Identity Leakage in Robust Watermarking
Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术产业开发区(滨江)区块链与数据安全研究所);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);University of Connecticut(康涅狄格大学)
本文提出W-IR框架,通过引入随机平滑技术与残差信息损失策略,平衡鲁棒性和身份泄露缓解,提升水印认证的可靠性。
2026-05-10 cs.CR