Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering
Pennsylvania State University(宾夕法尼亚州立大学);Dartmouth College(达特茅斯学院)
研究联邦语言模型中隐私敏感数据泄露问题,发现中间轮次模型快照及恶意参与者篡改选择性权重会加剧泄露,提出无梯度攻击方法,提升了成员推理召回率和私有数据重建率,还给出客户端防御隐私风险的技术建议。
2026-07-21 cs.CR cs.LG
In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Oxford(牛津大学)
当从敏感数据中学习时,必须注意确保训练算法解决隐私问题。规范的教师集合的私有聚合(PATE)通过投票机制聚合(可能是分布式的)教师模型集合的预测来计算输出标签。该机制添加噪声以获得关于教师的训练数据的差分隐私保证。在这项工作中,我们观察到,这种使用噪声,这使得PATE预测随机,使新形式的泄漏的敏感信息。对于给定的输入,我们的对手利用这种随机性来提取潜在教师提交的投票的高保真直方图。从这些直方图中,对手可以了解输入的敏感属性,如种族,性别或年龄。虽然这种攻击并不直接违反差分隐私保证,但它显然违反了隐私规范和期望,如果不插入噪声以获得差分隐私,则根本不可能。事实上,与直觉相反,当我们添加更多噪声以提供更强的差分隐私时,攻击变得更容易。我们希望这能鼓励未来的工作从整体上考虑隐私,而不是将差分隐私视为灵丹妙药。
2022-09-22 cs.CR cs.LG
Securing Distributed SGD against Gradient Leakage Threats
Georgia Institute of Technology(佐治亚理工学院);Fordham University(福特汉姆大学);Soochow University(苏州大学);Florida International University(佛罗里达国际大学)
本文提出一种基于差分隐私自适应噪声注入的梯度泄漏鲁棒分布式SGD方法,通过跟踪逐样本梯度趋势实现噪声对齐,在五个基准数据集上优于现有方法,兼顾准确性、隐私与攻击鲁棒性。
2023-05-10 cs.CR cs.LG
DeepLeak: Privacy Enhancing Hardening of Model Explanations Against Membership Leakage
Department of Computer and Information Science(计算机与信息科学系);University of Michigan-Dearborn(密歇根大学-迪尔伯恩分校)
DeepLeak通过系统化方法减少模型解释中的成员泄露,提升隐私保护与可解释性的平衡。
2026-01-06 cs.CR cs.LG
Impact of Prior Knowledge and Data Correlation on Privacy Leakage: A Unified Analysis
差分隐私(DP)技术可以保证严格的隐私性,从而防止具有任意先验知识的攻击者。然而,最近的研究表明,这可能是不正确的相关数据,并表明三个因素可能会影响隐私泄漏:数据相关模式,对手的先验知识,和查询功能的敏感性。这就提出了一个基本问题:这三个因素与隐私泄露之间的数学关系是什么?在本文中,我们提出了一个统一的分析这个问题。提出了一种新的隐私定义\textit{prior differential privacy (PDP)},考虑攻击者所拥有的精确先验知识来评估隐私泄露。我们使用两个模型,加权层次图(WHG)和多元高斯模型来分析离散和连续的数据,分别。我们证明,积极的,消极的,和混合的相关性对隐私泄露有不同的影响。考虑到一般相关性,推导了连续数据隐私泄露的封闭表达式,给出了离散数据隐私泄露的链式规则。我们的结果是有效的一般线性查询,包括计数,总和,平均值和直方图。数值实验验证了我们的理论分析。
2019-06-05 cs.CR cs.LG math.PR
Privacy Leakage Avoidance with Switching Ensembles
Perspecta Labs(Perspecta实验室);University of Maryland(马里兰大学)
我们考虑成员推断攻击,在机器学习的主要隐私问题之一。这些最近开发的攻击已被证明成功地确定了给定样本是否属于受攻击机器学习模型训练的数据集,其置信度优于随机猜测。已经开发了几种方法来减轻这种隐私泄露,但是这些防御机制的折衷性能影响(即,受保护的机器学习模型的准确性和实用性)还没有得到很好的研究。我们提出了一种新的方法,隐私泄漏避免与开关集成(PASE),既可以防止当前的成员推断攻击,并与非常小的准确性惩罚,同时需要可接受的增加训练和推理时间。我们测试我们的PASE方法,以及目前最先进的PATE方法,在三个校准图像数据集,并分析其权衡。
2019-11-18 cs.CR cs.LG stat.ML
A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage
研究指出现有文本数据净化方法仅评估显性标识符泄露,忽视文本中细微标记可能引发的重新识别风险,提出新框架量化个体隐私风险,发现辅助信息可推断敏感属性,揭示当前净化技术存在隐私虚假感。
2026-03-13 cs.CL cs.CR cs.LG
A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学)
本文全面分析了基于transformer模型的梯度泄露攻击,证明了仅从梯度恢复数据的条件,并在差分隐私框架下理论分析了引入噪声防御的隐私成本及SGD算法的收敛性。
2023-11-22 cs.CR cs.LG
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage
UC Santa Barbara(加州大学圣巴巴拉分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Meta;United States Military Academy(美国军事学院)
提出LeakAgent框架,通过强化学习训练攻击智能体生成对抗性提示以提取LLM训练数据和系统提示,显著优于现有方法并能规避防御,助力安全对齐。
2025-08-08 cs.AI cs.CR cs.LG
A Survey of What to Share in Federated Learning: Perspectives on Model Utility, Privacy Leakage, and Communication Efficiency
Hong Kong University of Science and Technology(香港科技大学);Hong Kong Polytechnic University(香港理工大学)
本文从“共享什么”的新视角系统综述了联邦学习,提出基于共享模型、合成数据和知识的新分类法,分析了隐私攻击脆弱性与防御机制,并通过实验比较了不同共享方式的学习性能、通信开销及隐私泄露情况。
2024-02-18 cs.CR cs.LG
DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning
University of Michigan, Dearborn(密歇根大学迪尔伯恩分校)
差分隐私(DP)已经成为一种严格的形式主义,用于推理可量化的隐私泄露。在机器学习(ML)中,DP已被用于限制训练样本的推断/公开。之前的工作在整个ML管道中利用DP,尽管是孤立的,但通常集中在梯度扰动等机制上。在本文中,我们提出了DP-UTIL,一个跨ML管道的DP整体效用分析框架,重点关注输入扰动,目标扰动,梯度扰动,输出扰动和预测扰动。给定一个关于隐私敏感数据的ML任务,DP-UTIL使ML隐私从业者能够对DP在这五个扰动点的影响进行全面的比较分析,从模型效用损失、隐私泄露和真正揭示的训练样本数量方面进行衡量。我们使用两种代表性的学习算法(逻辑回归和深度神经网络)对成员推断攻击进行评估,在视觉,医疗和金融数据集上对DP-UTIL进行分类任务作为案例研究攻击。我们结果的亮点之一是预测扰动在所有数据集的所有模型上始终实现最低的效用损失。在逻辑回归模型中,与其他扰动技术相比,客观扰动导致最低的隐私泄露。对于深度神经网络,梯度扰动导致最低的隐私泄漏。此外,我们的研究结果显示,真实的记录表明,隐私泄漏的增加,差异私人模型揭示了更多的成员样本。总的来说,我们的研究结果表明,为了做出关于使用哪种扰动机制的明智决定,ML隐私从业者需要检查优化技术(凸与非凸),扰动机制,类的数量和隐私预算之间的动态关系。
2021-12-24 cs.CR cs.LG
Measuring the Privacy Leakage via Graph Reconstruction Attacks on Simplicial Neural Networks (Student Abstract)
Texas Tech University(德克萨斯理工大学);Xavier University of Louisiana(泽维尔大学路易斯安那分校);The Ohio State University(俄亥俄州立大学)
在本文中,我们通过研究图表示是否可以被反转来恢复用于生成它们的图,通过图重构攻击(GRA)来测量隐私泄漏。我们提出了一个GRA,通过一个图形解码器,最大限度地减少部分图和重建图之间的重建损失的表示恢复图的邻接矩阵。我们研究了在图上训练的三种类型的表示,即,表示输出从图卷积网络(GCN),图注意力网络(GAT),和我们提出的单纯神经网络(SNN)通过高阶组合拉普拉斯算子。与仅编码成对关系的前两种类型的表示不同,第三种类型的表示,即,SNN输出、编码高阶交互(例如,同调特征)之间的节点。我们发现,SNN的输出揭示了最低的隐私保护能力,以保护GRA,其次是GAT和GCN,这表明了建立更多的私人表示与高阶节点信息,可以防御潜在的威胁,如GRA的重要性。
2023-02-08 cs.CR cs.LG
A Graph Symmetrisation Bound on Channel Information Leakage under Blowfish Privacy
School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院);Australian Tax Office(澳大利亚税务局);School of Mathematics and Statistics, University of Melbourne(墨尔本大学数学与统计学院)
Blowfish隐私是差分隐私的最新概括,它可以提高效用,同时保持具有语义保证的隐私策略,这是推动计算机科学中差分隐私流行的一个因素。本文将Blowfish隐私与通信理论界提出的一种度量信息通道隐私损失的重要方法:最小熵泄漏联系起来。输入数据相邻关系中的对称性对于差分隐私和最小熵泄漏之间的已知连接是中心的。但是,虽然差分隐私具有很强的对称性,Blowfish相邻关系对应于任意简单的图形,由于该框架的灵活的隐私政策。要绑定的最小熵泄漏的河豚私人机制,我们组织我们的分析对称分区对应的轨道图自同构群。一个满足我们的渐近相等界的构造证明了紧性。
2021-10-13 cs.CR cs.IT cs.LG
Predicting Privacy Leakage from Weight Spectral Density
University of the West of England(西英格兰大学)
本研究利用重尾自正则化框架下的廉价谱度量(如稳定秩和Log alpha-Norm)预测成员推理攻击的隐私泄露,发现其关联强于传统泛化差距,为可扩展隐私审计提供了新方向。
2026-09-11 cs.CR cs.LG cs.NE
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University(杜克大学)
对抗训练(AT)对于获得对对抗攻击鲁棒的深度神经网络至关重要,但最近的研究发现,它也可能使模型更容易受到隐私攻击。在这项工作中,我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击,实际上适用于隐私敏感的联邦学习(FL)系统。使用我们的方法,攻击者可以利用在FL系统中的AT模型,以准确地重建用户的私人训练图像,即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Split Without a Leak: Reducing Privacy Leakage in Split Learning
Tampere University(坦佩雷大学);RISE Research Institutes of Sweden(瑞典RISE研究院)
针对分割学习中的隐私泄露问题,提出结合同态加密的混合方法,加密激活图防止服务器重建输入,在MIT-BIH数据集上训练快6倍、通信开销降160倍。
2023-08-30 cs.CR cs.LG
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology(华中科技大学)
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析,证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私,推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界,为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
A Quantitative Metric for Privacy Leakage in Federated Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
在联邦学习系统中,参数梯度在参与者和中央调制器之间共享,而原始数据永远不会离开其受保护的源域。然而,梯度本身可能携带足够的信息来精确推断原始数据。通过向中央服务器报告其参数梯度,客户端数据集暴露于来自对手的推理攻击。本文提出了一种基于互信息的定量度量方法,用于客户评估其梯度中的信息泄漏潜在风险。在过去的几年里,互信息在机器学习和数据采掘社区中受到越来越多的关注。然而,现有的互信息估计方法不能处理高维变量。本文提出了一种新的方法来近似高维梯度和批量输入数据之间的互信息。实验结果表明,该度量方法能够可靠地反映联邦学习中的信息泄漏程度。此外,使用所提出的度量,我们调查的风险水平的影响因素。研究表明,信息泄漏风险与任务模型的状态以及固有的数据分布有关。
2021-02-24 cs.CR cs.LG
Metric-Normalized Posterior Leakage (mPL): Attacker-Aligned Privacy for Joint Consumption
Department of Computer Science and Engineering, University of North Texas, Denton, TX, USA(计算机科学与工程系,北卡罗来纳州立大学达顿分校);Department of Electrical Engineering, University of North Texas, Denton, TX, USA(电气工程系,北卡罗来纳州立大学达顿分校)
本文提出mPL,一种攻击对齐的后验几率偏移度量,证明在联合观察下,mPL与mDP等价,通过AmPL框架有效控制后验泄露,降低隐私泄露风险。
2026-05-01 cs.CR cs.LG
Survey: Leakage and Privacy at Inference Time
Facebook FAIAR(脸书FAIAR);University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学);NHS Scotland(苏格兰国民保健制度);Canon Medical Research Europe(佳能医疗欧洲研究中心);The Alan Turing Institute(艾伦·图灵研究所)
从公开的机器学习(ML)模型中泄漏数据是一个日益重要的领域,因为ML的商业和政府应用可以利用多个数据源,可能包括用户和客户的敏感数据。我们对几个方面的当代进展进行了全面的调查,包括ML模型自然发生的非自愿数据泄漏,隐私攻击造成的潜在恶意泄漏以及目前可用的防御机制。我们专注于推理时间泄漏,作为最有可能的情况下公开可用的模型。我们首先讨论在不同的数据、任务和模型架构的上下文中泄漏是什么。然后,我们提出了一个分类在非自愿和恶意泄漏,可用的防御,其次是目前可用的评估指标和应用程序。我们总结了突出的挑战和开放的问题,概述了未来研究的一些有前途的方向。
2022-09-09 cs.LG
Uniqueness ratio as a predictor of a privacy leakage
University of Essex(埃塞克斯大学)
本研究提出通过唯一性比率预测连接前隐私泄露风险,为数据工程师提供可解释的预连接风险评估信号。
2025-12-07 cs.CR cs.DB cs.LG
When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry
Institute of Science Tokyo(东京科学大学);Nanyang Technological University(南洋理工大学);Tohoku University(东北大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shandong University(山东大学)
该研究提出路由器增强的成员推理攻击,发现MoE模型的路由器遥测可泄露样本是否用于微调,在多设置下提升成员推理性能,是微调MoE模型的额外隐私风险面。
2026-10-09 cs.CR cs.LG
Adaptive Model Inversion Attacks Generalize a Privacy-Robustness Tradeoff
Dartmouth College(达特茅斯学院)
本文通过自适应攻击调整揭示标准模型反演攻击评估低估隐私泄露,并发现重建泄露与对抗鲁棒性紧密相关,提出鲁棒性可作为重建脆弱性的广泛代理。
2026-10-07 cs.CR cs.LG
Differential Privacy: Gradient Leakage Attacks in Federated Learning Environments
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心);University of Deusto (Bilbao, Spain)(德乌斯大学)
本研究针对联邦学习中的梯度泄露攻击问题,评估DP-SGD与PDP-SGD两种差分隐私机制的防御效果,发现DP-SGD可有效降低泄露风险但存在效用权衡,为分布式学习隐私防护提供实证依据。
2025-10-27 cs.CR cs.DC cs.LG
Driving Privacy Forward: Mitigating Information Leakage within Smart Vehicles through Synthetic Data Generation
本文提出通过TVAE模型生成合成数据以缓解智能车辆数据隐私泄露问题,构建了14种车载传感器漏洞分类法,并在保真度、效用和隐私指标上实现了90.1%统计相似性与78%分类准确率,有效防止了驾驶员画像。
2024-10-11 cs.CR cs.LG
Information Theoretic Evaluation of Privacy-Leakage, Interpretability, and Transferability for Trustworthy AI
Software Competence Center Hagenberg(哈根贝格软件能力中心);University of Rostock(罗斯托克大学)
为了开发考虑到可信AI的指导方针和原则的机器学习和深度学习模型,引入了一种新的信息理论可信AI框架。一个统一的方法,“隐私保护的可解释性和可转移的学习”被认为是研究和优化隐私,可解释性和可转移性方面之间的权衡。变分成员映射贝叶斯模型用于分析近似的定义的信息理论措施的隐私泄漏,可解释性和可转让性。该方法包括近似的信息理论的措施,通过最大限度地利用变分优化的下限。该研究提出了一种统一的信息理论方法,以严格的分析方式研究可信AI的不同方面。该方法是通过大量的实验基准数据集和现实世界的生物医学应用程序有关的个人使用心率变异性分析的精神压力的检测证明。
2022-04-12 cs.AI cs.CR cs.LG
Estimating Privacy Leakage of Augmented Contextual Knowledge in Language Models
University of Southern California(南加州大学);TikTok
本研究提出上下文影响指标,用于估算语言模型中增强上下文知识的隐私泄露,通过分析上下文与参数知识的分布差异来评估隐私风险。
2025-12-16 cs.CL cs.LG
Privacy Leakage via Output Label Space and Differentially Private Continual Learning
University of Helsinki(赫尔辛基大学);CSC – IT Center for Science(CSC – 科学信息中心);Ericsson Research(爱立信研究);Aalto University(阿alto大学)
本文提出通过输出标签空间的隐私泄露问题,针对连续学习中的隐私侧信道,提出差分隐私机制和公开标签空间来消除侧信道,实验显示模型在保持隐私的同时准确率更高。
2026-08-24 cs.CR cs.LG
Controlled privacy leakage propagation throughout overlapping grouped learning
University of Toronto(多伦多大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Vector Institute(矢量研究院)
针对多工作者同时属于多个重叠分组时的隐私泄露问题,提出差分隐私重叠分组学习方法(DP-OGL),推导了任意工作者对之间的隐私保证,量化了传播延迟和信息退化效应,在维持强隐私的同时提升了效用。
2025-03-06 cs.CR cs.DC cs.LG
Decentralized Collaborative Learning Framework with External Privacy Leakage Analysis
IBM(IBM公司)
本文提出去中心化多任务学习的两项进展:将深度变分自编码器纳入协作字典学习框架以增强异常检测,并分析模型外部共享时的隐私泄露,证明其满足Renyi差分隐私并给出内部隐私监控指标。
2024-04-01 cs.CR cs.DC cs.LG
SparLeak: Privacy Leakage from Sparse Attention in LLM Inference on Shared GPUs
Shandong University(山东大学);Waseda University(早稻田大学)
SparLeak利用稀疏注意力引发的GPU内存访问侧信道,通过相位感知攻击提取轨迹,实现查询属性推断与响应重建,在真实服务下成功率分别达90.9%和87.3%。
2026-10-01 cs.CR cs.LG
Defeating Cerberus: Concept-Guided Privacy-Leakage Mitigation in Multimodal Language Models
CISPA Helmholtz Center for Information Security(CISPA赫尔姆霍茨信息安全中心);Nokia Bell Labs(诺基亚贝尔实验室)
本研究针对多模态大语言模型的个人身份信息泄露风险,提出无需重训练的概念引导缓解方法,构建多模态PII数据集,实现93.3%的平均敏感任务拒绝率且对无关性能影响极小。
2025-09-29 cs.CR cs.LG
Spurious Privacy Leakage in Neural Networks
University of Luxembourg(卢森堡大学)
本研究提出神经网络中的伪隐私泄漏现象,发现伪组更易受隐私攻击,伪鲁棒方法无法缓解该隐私差异,且架构选择会影响隐私评估。
2025-10-06 cs.LG
BettiSplit: Topology-Guided Privacy-Aware Split Learning Against Feature Inversion and Gradient Leakage
Nottingham Trent University(诺丁汉特伦特大学);King Fahd University of Petroleum & Minerals(法赫德国王石油与矿业大学)
研究针对分割学习中因分割位置不当致隐私泄露问题,基于持久贝蒂复杂度提出拓扑引导框架,引入BettiSafe策略,提升对特征反转抗性,保持准确率,还通过正则化实现隐私效用权衡,凸显拓扑复杂度在分割学习中的作用。
2026-07-28 cs.AI cs.CR cs.LG
Learning With Differential Privacy
University of Kalyani(卡利亚尼大学);National Institute of Science, Education and Research Bhubaneswar(布巴内斯瓦尔国家科学教育与研究学院);Homi Bhaba National Institute(霍米·巴巴国家学院)
如果数据包含敏感信息,则数据泄漏可能会对个人产生极端影响。加密解密、端点保护、入侵检测系统等常见预防方法容易发生泄露。差分隐私提供了适当的保护以防止泄漏的承诺,因为它在收集数据时使用了随机响应技术,该技术承诺具有更好的实用性的强隐私。差分隐私允许人们通过描述数据组的模式来访问数据森林,而不公开任何单独的树。目前,领先的科技公司和学术界对差分隐私的适应鼓励作者详细探讨这个话题。差分隐私的不同方面,它的应用在隐私保护和信息泄漏,比较讨论,在这一领域的当前研究方法,它在现实世界中的效用以及权衡-将被讨论。
2020-06-11 cs.CR cs.LG stat.ML
Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种利用模型遗忘作为投毒手段的攻击方法,通过操纵预训练语言模型在微调时加剧私有数据泄露,同时保持模型可用性,并显著提升成员推断与数据提取攻击效果。
2024-08-30 cs.AI cs.CR cs.LG
Beyond Inferring Class Representatives: User-Level Privacy Leakage From Federated Learning
Wuhan University(武汉大学);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
联邦学习,即,用于深度学习的移动边缘计算框架是隐私保护机器学习的最新进展,其中模型由客户端以分散的方式训练,即,数据管理员,防止服务器直接访问来自客户端的这些私有数据。这种学习机制极大地挑战了来自服务器端的攻击。尽管结合生成对抗网络(GANs)的先进性的最先进的攻击技术可以在所有客户端之间构建全局数据分布的类代表,但是可预测地攻击特定客户端(即,用户级隐私泄露),这是从特定客户端精确恢复私人数据的更强隐私威胁。本文首次尝试通过恶意服务器的攻击来研究针对联邦学习的用户级隐私泄露问题。我们提出了一个框架,将GAN与多任务的识别,同时区分类别,现实和客户端身份的输入样本。新的客户端身份的歧视,使发电机恢复用户指定的私人数据。与现有的作品往往会干扰联邦学习的训练过程不同,所提出的方法在服务器端“看不见”地工作。实验结果表明,该攻击方法是有效的,优于现有的攻击方法。
2018-12-05 cs.CR cs.CV cs.LG
Channel Leakage, Information-Theoretic Limitations of Obfuscation, and Optimal Privacy Mask Design for Streaming Data
New York University(纽约大学)
在本文中,我们首先引入了信道泄漏的概念,作为信道输入和信道输出之间的最小互信息。正如其名称所示,信道泄漏量化了对恶意接收器的最小信息泄漏。从广义上讲,它可以被看作是信道容量的双重概念,它表征了到目标接收机的最大信息传输。我们得到明确的公式的信道泄漏的情况下,白色高斯,有色高斯的情况下,和衰落的情况下。然后,我们利用这一概念调查的基本限制混淆的隐私失真权衡(以及隐私权权衡)的流数据,特别是,我们推导出分析权衡方程的固定的情况下,非固定的情况下,和有限时间的情况下。我们的研究结果还明确指出,如何设计的隐私面具在一个最佳的方式。
2020-09-29 cs.CR cs.IT cs.LG
Defense Against Gradient Leakage Attacks via Learning to Obscure Data
Michigan State University(密歇根州立大学);The Hong Kong Polytechnic University(香港理工大学)
联邦学习被认为是一种有效的隐私保护学习机制,它将客户端的数据和模型训练过程分开。然而,联邦学习仍然面临着隐私泄露的风险,因为存在攻击者故意进行梯度泄漏攻击来重构客户端数据。近年来,一些流行的策略如梯度扰动方法和输入加密方法被提出来抵抗梯度泄漏攻击。然而,这些防御可能会极大地牺牲模型性能,或者被更高级的攻击所规避。在本文中,我们提出了一种新的防御方法来保护客户端的数据的隐私,通过学习模糊数据。我们的防御方法可以生成与原始样本完全不同的合成样本,但它们也可以最大限度地保留其预测特征并保证模型性能。此外,我们的防御策略使得梯度泄漏攻击及其变种非常难以重建客户端数据。通过大量的实验,我们表明,我们提出的防御方法获得更好的隐私保护,同时保持高准确性相比,国家的最先进的方法。
2022-06-01 cs.CR cs.LG stat.ML
Privacy Leakage in Text Classification: A Data Extraction Approach
University of Minnesota(明尼苏达大学);Microsoft Research(微软研究院)
最近的工作已经证明了从生成语言模型中成功地提取训练数据。然而,这是不明显的,这种提取是否是可行的文本分类模型,因为训练目标是预测类标签,而不是下一个词的预测。这提出了一个有趣的挑战,并提出了一个重要的问题,在文本分类设置的训练数据的隐私。因此,我们通过调查与学习任务无关的训练数据的非故意记忆问题来研究文本分类领域中潜在的隐私泄漏。我们提出了一种算法,通过利用模型提供的类标签的可能性来提取部分文本的缺失标记。我们通过将金丝雀插入训练集中并尝试在训练后提取这些金丝雀中的标记来测试我们算法的有效性。在我们的实验中,我们证明了成功的提取在一定程度上是可能的。这也可以用作审计策略,以评估任何未经同意的潜在未经授权使用个人数据的情况。
2022-06-09 cs.CL cs.CR cs.LG
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology(佐治亚理工学院)
联邦学习(FL)是一种新兴的分布式机器学习框架,用于与客户端(边缘设备)网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而,最近的研究表明,即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击,并侵犯客户端关于其训练数据的隐私。在本文中,我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析,以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据(例如,局部梯度或权重更新向量)。然后,我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量,评估和分析客户端隐私泄漏攻击的有效性时,使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略,以强调提供系统的攻击评估框架的重要性,以深入了解联邦学习中各种形式的客户端隐私泄露威胁,并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
Tracing Privacy Leakage of Language Models to Training Data via Adjusted Influence Functions
Huawei Technologies Canada Co. Ltd(华为技术加拿大有限公司)
本文提出启发式调整影响函数HAIF,通过降低大梯度范数token的权重来更准确地追溯语言模型隐私泄露至训练数据,并在多个数据集和模型上显著优于现有方法。
2024-09-05 cs.CL cs.CR cs.LG
SALT: Steering Activations towards Leakage-free Thinking in Chain of Thought
Independent(独立研究者);RAND;University of Maryland(马里兰大学);META;Algoverse
SALT通过在链式思维中注入引导向量减少隐私泄露,提升模型隐私保护能力
2025-11-21 cs.AI cs.CL cs.CR
Hyperparameter Tuning with Renyi Differential Privacy
Google Research(谷歌研究院)
对于许多差分隐私算法,例如突出的噪声随机梯度下降(DP-SGD),限制单个训练运行的隐私泄漏所需的分析是很好理解的。然而,很少有研究认为,由于需要多次训练来微调训练算法的超参数值,从而导致隐私泄露。在这项工作中,我们首先说明了如何简单地设置基于非私有训练运行的超参数可以泄漏私有信息。基于这一观察,我们在Renyi差分隐私的框架内为超参数搜索过程提供了隐私保证。我们的研究结果改进和扩展了Liu和Talwar的工作(STOC 2019)。我们的分析支持了我们之前的观察,即调整超参数确实会泄漏私人信息,但我们证明,在某些假设下,这种泄漏是适度的,只要选择超参数所需的每个候选训练运行本身是差异私人的。
2022-03-14 cs.CR cs.DS cs.LG
What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference
East China Normal University(华东师范大学);RMIT University(皇家墨尔本理工大学)
提出ActInv方法解决中间激活匹配问题以重建客户端输入,并引入扰动放大因子(PAF)量化层固有抗重建能力,揭示隐私脆弱性在层间不均匀分布,进而设计PriPert防御策略。
2026-05-22 cs.CL cs.CR cs.LG
Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage
School of Information Engineering, Zhongnan University of Economics and Law(中南财经政法大学信息工程学院);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院)
提出博弈论机器遗忘算法,通过遗忘与隐私模块的竞争关系,在保持模型性能的同时降低额外隐私泄露风险。
2024-11-06 cs.CY cs.LG
VeriDIP: Verifying Ownership of Deep Neural Networks through Privacy Leakage Fingerprints
Anhui University of Technology(安徽工业大学);James Cook University(詹姆斯库克大学);Macquarie University(麦考瑞大学);Southeast University(东南大学)
VeriDIP利用成员推断攻击估计隐私泄露下界作为指纹,并采用较少隐私样本增强性能,高效验证深度神经网络所有权,在图像和表格数据集上表现优异。
2023-09-07 cs.AI cs.CR cs.LG
Assessing Privacy Leakage in Synthetic 3-D PET Imaging using Transversal GAN
Data Science Institute, University of British Columbia(不列颠哥伦比亚大学数据科学研究所);BC Cancer Research Institute(不列颠哥伦比亚癌症研究所);University of British Columbia(不列颠哥伦比亚大学)
在医学图像上训练用于疾病诊断或图像分割的计算机视觉相关算法在很大程度上是由于隐私问题而困难的。出于这个原因,生成图像模型非常受欢迎,以促进数据共享。然而,3-D生成模型的研究不足,他们的隐私泄漏的调查是必要的。我们介绍了我们的3-D生成模型,GAN(TrGAN),使用头部和颈部PET图像的肿瘤掩模作为一个案例研究。我们为我们的模型定义了图像保真度,实用性和隐私性的定量测量。这些指标在训练过程中进行评估,以确定理想的保真度,实用性和隐私权衡,并建立这些参数之间的关系。我们证明了TrGAN的训练样本容易受到攻击,并且攻击者可以以近乎完美的准确度(AUC = 0.99)识别出哪些样本用于训练。我们还表明,只访问生成器的攻击者无法可靠地分类样本是否用于训练(AUC = 0.51)。这表明,TrGAN发生器,而不是鉴别器,可以用于共享合成的3-D PET数据,具有最小的隐私风险,同时保持良好的实用性和保真度。
2023-10-31 cs.CR cs.CV cs.LG
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano(米兰理工大学)
本文提出 TimberStrike 攻击,针对水平联邦树模型,利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据,揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
Privacy Leakage in Federated Learning in Radiology Reports: A Comparative Evaluation of Tokenizer-Driven Privacy Risks
German Cancer Research Center (DKFZ)(德国癌症研究中心);Medical Faculty Heidelberg, Heidelberg University(海德堡大学医学院);Bilkent University(比尔肯特大学);Pattern Analysis and Learning Group, Department of Radiation Oncology, Heidelberg University Hospital(海德堡大学医院放射肿瘤学系模式分析与学习组)
研究放射学报告联邦学习中的隐私泄露,通过固定模型架构比较三种分词器的隐私风险,量化梯度文本重建,发现分词器设计影响泄露程度,虽RadBERT重建保真度最高但均不能防泄露,安全聚合等保障措施或为满足相关要求所必需。
2026-07-17 cs.CL cs.CR cs.LG
Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis Testing: A Lesson From Fano
Meta AI
本文在多重假设检验框架下利用Fano不等式分析离散数据重建攻击,证明隐私参数ε可达O(log M)仍能有效防御攻击,为差分隐私在大ε值下的有效性提供理论依据。
2023-08-10 cs.CR cs.IT cs.LG
On Primes, Log-Loss Scores and (No) Privacy
Amazon Alexa(亚马逊 Alexa)
成员推断攻击利用将根据客户数据训练的模型暴露给对手查询的漏洞。在最近提出的一种用于测量敏感数据集隐私泄露的审计工具的实现中,更精细的聚合(如Log-Loss分数)被暴露用于模拟推理攻击,以及基于对手的预测来评估总隐私泄露。在本文中,我们证明了这些额外的信息使对手能够在一个查询中完全准确地推断出任何数量的数据点的成员资格,从而导致完全的成员隐私泄露。我们的方法避免了任何攻击模型训练或访问对手的辅助知识。此外,我们的算法对受到攻击的模型是不可知的,因此,即使对于不记忆或过拟合的模型,也可以进行完美的成员推理。特别是,我们的观察提供了深入了解统计总量的信息泄漏程度以及如何利用它们。
2020-09-17 cs.CR cs.LG stat.ML
CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs
CTIGuardian通过少样本监督整合隐私分类器和红员,提升微调大语言模型的隐私保护与效用平衡。
2025-12-15 cs.AI cs.CR cs.LG
Learning to Prevent Leakage: Privacy-Preserving Inference in the Mobile Cloud
Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology(香港科技大学)
在云中的机器学习服务的支持下,许多学习驱动的移动应用程序在市场上越来越受欢迎。由于深度学习任务大多是计算密集型的,因此在设备上处理原始数据并将深度神经网络(DNN)特征发送到云端已成为一种趋势,在云端,这些特征被进一步处理以返回最终结果。然而,随着特征的发布,总是会出现意想不到的泄漏,对手可以利用这些泄漏推断出大量关于原始数据的信息。我们从DNN结构的角度提出了一个基于移动云基础设施的隐私保护强化学习框架。该框架旨在学习修改基本DNN的策略,以防止信息泄漏,同时保持高推理精度。该策略也可以很容易地转移到大型DNN上,以加快学习速度。对各种DNN的广泛评估表明,我们的框架可以成功地找到保护隐私的DNN结构来防御不同的隐私攻击。
2021-06-15 cs.LG eess.SP stat.ML