Privacy-Preserving Black-Box Optimization (PBBO): Theory and the Model-Based Algorithm DFOp
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出DFOp算法,首次解决具有步加密和隐私保护的黑盒优化问题,结合无导数优化与隐私保护机制。
2025-12-28 cs.CR cs.NA math.NA
Auditing Differential Privacy in the Black-Box Setting
University of Chicago(芝加哥大学)
本文提出基于f-差分隐私和共形推断的黑盒差分隐私审计框架,证明无额外假设时无法同时控制两类错误,并在单调似然比假设下实现两类错误控制及有限样本置信带构造。
2025-04-10 cs.CR cs.LG stat.ME
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National University of Singapore(新加坡国立大学)
深度神经网络容易受到各种推理攻击,因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法,相对于被动和主动推理攻击者,并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击,以跟踪其训练数据记录。我们表明,一个简单的扩展已知的黑盒攻击的白盒设置(通过分析激活函数的输出)是无效的。因此,我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法,该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后,我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型,证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中,对抗性参与者如何成功地对其他参与者进行主动成员推理攻击,即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
Thinking Inside The Box: Privacy Against Stronger Adversaries
本文研究统计密码原语扩展,围绕抗泄漏秘密共享、非可塑提取器、3SUM数据结构难度三方面展开,提出抗碰撞带种子提取器等构造,取得首个抗内存篡改统计隐私放大协议等成果,为对抗更强敌手的隐私保护提供理论支撑。
2024-06-24 cs.CR
Pop Quiz Attack: Black-box Membership Inference Attacks Against Large Language Models
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心)
本文提出PopQuiz攻击,通过将目标数据转化为选择题来推断大语言模型是否能回忆特定训练数据,平均ROC-AUC达0.873,优于现有方法。
2026-05-07 cs.CR
AlienLM: Alienization of Language for API-Boundary Privacy in Black-Box LLMs
提出AlienLM,通过词汇级双射将文本转化为异化语言,在仅使用API的情况下减少明文暴露,平均保留81%以上的性能,且恢复攻击成功率低于0.22%。
2026-07-03 cs.CL cs.CR
FreeTalk:A plug-and-play and black-box defense against speech synthesis attacks
针对黑盒语音合成攻击,本文提出FreeTalk,通过频域扰动、数据增强、噪声平滑及按身份通用扰动机制,实现轻量、鲁棒且即插即用的隐私保护。
2025-08-30 cs.CR
Privacy-preserving Universal Adversarial Defense for Black-box Models
School of Cyber Science and Engineering, Wuhan University(武汉大学网络科学与工程学院);City University of Hong Kong (CityU)(香港城市大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对黑盒模型缺乏通用防御且传统方法泄露隐私的问题,提出DUCD方法,通过查询蒸馏构建白盒替代模型,并结合随机平滑认证防御,实现通用鲁棒防御,性能优于现有黑盒防御且媲美白盒防御,同时增强隐私。
2024-08-20 cs.AI cs.CR cs.LG
Privacy-Preserving Gaze Data Streaming in Immersive Interactive Virtual Reality: Robustness and User Experience
本文针对沉浸式VR中眼动数据隐私问题,提出融合用户体验与任务表现的实时隐私机制评估方法,证明可将重识别准确率降至14%并保持高可用性,同时评估了多种威胁场景下的鲁棒性。
2024-02-21 cs.CR cs.HC
Does Black-box Attribute Inference Attacks on Graph Neural Networks Constitute Privacy Risk?
L3S Research Center(L3S研究中心);Leibniz University(莱布尼茨大学);TU Delft(代尔夫特理工大学)
本文首次系统评估针对 GNN 的黑盒属性推理攻击,通过改变攻击者知识开展实验,发现其相比缺失值估计并未显著增加隐私泄露。
2023-06-01 cs.AI cs.CR cs.LG
Privacy Leaks by Adversaries: Adversarial Iterations for Membership Inference Attack
本文提出 IMIA 攻击,利用生成对抗样本所需迭代次数作为成员推断特征,并在黑盒与白盒场景下验证其有效性,为模型隐私评估提供新视角。
2025-06-03 cs.CR
Privacy Auditing with One (1) Training Run
Google(谷歌)
提出一种单次训练运行的差分隐私机器学习系统审计方案,利用并行添加/移除示例,基于差分隐私与统计泛化联系,避免组隐私成本,适用于黑盒或白盒设置。
2023-05-15 cs.CR cs.DS cs.LG
Convergent Differential Privacy Analysis for General Federated Learning
School of Computer Science Faculty of Engineering(计算机科学学院工程学院);University of Sydney(悉尼大学);Generative AI Lab(生成式人工智能实验室);College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学);School of Cyber Science and Technology(网络安全科学与技术学院);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
本文基于非凸和平滑目标,利用f-差分隐私分析评估了两种经典方法的最坏隐私情况,证明Noisy-FedAvg具有紧收敛界,Noisy-FedProx具有稳定常数下界,为FL-DP框架的可靠性提供了理论基础。
2026-05-13 cs.CR cs.LG
aiXamine: Unified Black-Box Evaluation of Cross-Dimensional Trade-offs in LLM Safety, Security, and Privacy
Qatar Computing Research Institute (QCRI), HBKU(卡塔尔计算研究所(QCRI),哈马德·本·哈利法大学)
该研究推出aiXamine统一黑盒平台,对超120个LLM开展大规模联合评估,发现安全、隐私等跨维度权衡现象,揭示当前对齐方法将多维度可信性视为单一目标的缺陷。
2026-08-24 cs.CR cs.LG
Enhancing One-run Privacy Auditing with Quantile Regression-Based Membership Inference
Carnegie Mellon University(卡内基梅隆大学);ETH Zurich(苏黎世联邦理工学院)
本研究提出基于分位数回归的成员推断攻击,以增强黑盒设置下DP-SGD的单次运行隐私审计,在CIFAR-10上取得更紧致的经验下界并保持计算效率。
2025-06-18 cs.CR cs.LG
Prada: Black-Box LLM Adaptation with Private Data on Resource-Constrained Devices
University of Maryland, College Park(马里兰大学帕克分校);University of California, Irvine(加利福尼亚大学欧文分校);Cisco Research(思科研究院)
针对边缘设备LLM适配的隐私与算力限制问题,提出Prada系统,通过本地LoRA微调代理模型、利用logits偏移优化黑盒LLM输出并结合投机解码,在保障隐私的同时实现与集中式微调相当的性能,大幅降低计算与通信成本。
2025-03-19 cs.CR cs.DC cs.LG
White-box Inference Attacks against Centralized Machine Learning and Federated Learning
Donghua University(东华大学)
随着信息科学技术的发展,各行各业产生了海量的数据,机器学习被广泛应用于大数据的分析。但如果机器学习应用的客户隐私无法得到保障,则会对用户个人隐私信息和服务提供商造成安全威胁和损失。因此,机器学习的隐私保护问题受到广泛关注。对于集中式机器学习模型,我们评估了不同神经网络层、梯度、梯度范数和微调模型对先验知识下成员推理攻击性能的影响;对于联邦学习模型,我们讨论了攻击者在目标模型中的位置及其攻击模式。结果表明,集中式机器学习模型在各方面都表现出更严重的成员信息泄露,攻击者在中心参数服务器上作为参与者进行的攻击准确率明显高于本地推理攻击。
2022-12-15 cs.CR cs.LG
SSM-Attack: Learning Where to Perturb for Black-Box Face Privacy
Sabanci University(萨班哲大学)
本研究提出基于Selective State Space Models的黑盒人脸隐私框架SSM-Attack,通过预测扰动预算空间分配实现高效攻击,在三个数据集上取得最高黑盒攻击成功率,且性能优于均匀分配方法。
2026-10-14 cs.CR cs.CV cs.LG
Quantifying Classifier Utility under Local Differential Privacy
Rochester Institute of Technology(罗切斯特理工学院)
本文提出了一种统一框架,用于在局部差分隐私下量化分类器效用,通过将LDP扰动视为集中区域内的鲁棒性分析,提升效用评估的准确性。
2026-02-28 cs.CR
Turning Black Box into White Box: Dataset Distillation Leaks
本文提出信息泄露攻击,揭示数据集蒸馏过程中因合成数据集隐式编码权重轨迹而引发的隐私泄露问题,并展示攻击对蒸馏算法和模型架构的预测能力。
2026-03-01 cs.AI cs.CR cs.LG
Investigating the Effect of Misalignment on Membership Privacy in the White-box Setting
EPFL(洛桑联邦理工学院);Microsoft(微软公司);Imperial College London (ICL)(伦敦帝国学院);Azure Research(微软Azure研究院);M365 Research(微软365研究院)
本研究首次系统分析影子模型错位成因,发现权重初始化是主因,并引入重新对齐技术,显著提升白盒成员推理攻击性能,表明设备端部署扩大攻击面。
2024-03-12 cs.CR cs.LG
Do Spikes Protect Privacy? Investigating Black-Box Model Inversion Attacks in Spiking Neural Networks
ECE Department George Mason University Fairfax, VA, USA Email(电子工程系乔治·马歇尔大学弗劳恩斯堡, VA, 美国电子邮件)
本文首次研究了脉冲神经网络在黑盒环境下的模型逆向攻击,发现SNN相比ANN具有更强的抗攻击能力,主要归因于其离散性和时间分布的决策边界特性。
2025-11-23 cs.CR cs.LG cs.NE
DP-TRAE: A Dual-Phase Merging Transferable Reversible Adversarial Example for Image Privacy Protection
School of Computer and Information Engineering, Xiamen University of Technology(厦门理工大学计算机与信息工程学院);School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University(四川大学计算机科学学院,机器学习与产业智能工程研究中心);Department of Computer and Information Science, Faculty of Science and Technology, University of Macau(澳门大学科学与技术学院计算机与信息科学系);Department of Electrical and Electronic Engineering, University of Hong Kong(香港大学电子与电气工程系);Institute of Space Internet, Fudan University(复旦大学空间互联网研究所);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
针对可逆对抗样本黑盒可迁移性不足、查询成本高的问题,提出DP-TRAE双阶段合并方法,结合白盒初始扰动与记忆增强黑盒策略,实现高攻击成功率、完全恢复及商业模型验证。
2025-05-11 cs.AI cs.CR cs.LG
On the amplification of security and privacy risks by post-hoc explanations in machine learning models
University of California, Los Angeles(加州大学洛杉矶分校);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
近年来,已经提出了各种解释方法,以帮助用户深入了解神经网络返回的结果,这些结果是复杂和不透明的黑匣子。然而,解释会引起潜在的侧信道,对手可以利用这些侧信道对系统进行攻击。特别是,根据输入维度的重要性或与结果的相关性来突出输入维度的事后解释方法也会泄露削弱安全性和隐私性的信息。在这项工作中,我们执行的隐私和安全风险所产生的各种流行的解释技术的第一个系统的特征。首先,我们提出了一种新的推理引导的黑盒规避攻击,在相同的成功率下,可以减少10倍的查询计数。我们表明,从解释的对抗优势可以量化为估计梯度的总方差的减少。其次,我们重温常见解释泄露的会员信息。与先前研究中的观察结果相反,通过我们修改的攻击,即使在更严格的黑盒设置中,我们也显示出成员信息的显着泄漏(比先前的结果提高了100%以上)。最后,我们研究了引导的模型窃取攻击,并通过大量减少查询计数来展示对抗性收益。
2022-06-28 cs.CR cs.LG
An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments
Department of Information Security(信息安全系);Soongsil University(松山大学);AI Safety Center(人工智能安全中心);Department of AI Software(人工智能软件系)
本文研究了通过间接提示注入在黑盒聊天机器人环境中存在的隐私泄露攻击链,分析了攻击者如何通过构造看似无害的外部内容来劫持代理任务,并评估了新的提示注入技术'exemplification'的攻击成功率,最终展示了使用虚构个人信息的证明概念数据外泄链。
2026-05-18 cs.AI cs.CR cs.HC
A Parallel Privacy-Preserving Shortest Path Protocol from a Path Algebra Problem
在无向图中,我们提出了一个单源最短距离(SSSD)的安全多方计算(SMC)协议,其中边的位置是公开的,但它们的长度是私有的。该协议工作在图的分隔树之上的算术黑盒(ABB)模型中,如果图的子图具有小分隔符,则实现良好的时间复杂度(例如平面图的情况);可实现的并行性明显高于在ABB上实现的经典SSSD算法。我们在ShareminMPC平台上实现我们的协议,并在不同的网络环境中执行广泛的基准测试。我们比较我们的算法与经典算法-隐私保护贝尔曼-福特算法(与公共边缘)的基线。
2022-07-16 cs.CR
Black-Box Privacy Attacks on Shared Representations in Multitask Learning
Khoury College of Computer Sciences, Northeastern University(克劳利计算机科学学院,东北大学);Department of Computer Science, Boston University(计算机科学系,波士顿大学);Google DeepMind, Advisor Only(谷歌DeepMind,顾问)
本文提出黑盒任务推断攻击,利用共享表示中嵌入间的依赖关系,无需影子模型即可推断任务是否参与多任务学习训练,并在视觉和语言领域验证了有效性。
2025-06-19 cs.CR cs.LG
Separating Key Agreement and Computational Differential Privacy
本研究证明仅黑盒调用密钥协商的高效计算差分隐私协议必满足信息论差分隐私,结合已有下界表明密钥协商严格弱于内积计算的计算差分隐私,解答了相关开放问题。
2023-08-29 cs.CR
MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples
Duke University(杜克大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
在成员推断攻击中,攻击者旨在推断数据样本是否在目标分类器的训练数据集中。具体地,给定对目标分类器的黑盒访问,攻击者训练二元分类器,该二元分类器将由目标分类器预测的数据样本的置信度得分向量作为输入,并预测数据样本是目标分类器的训练数据集的成员或非成员。成员推断攻击对训练数据集构成严重的隐私和安全威胁。大多数现有的防御措施在训练目标分类器时利用差分隐私或规则化目标分类器的训练过程。这些防御受到两个关键限制:1)它们没有置信度得分向量的正式效用损失保证,以及2)它们实现了次优的隐私效用权衡。在这项工作中,我们提出MemGuard,第一个防御正式效用损失保证黑盒成员推断攻击。MemGuard不会篡改目标分类器的训练过程,而是向目标分类器预测的每个置信度得分向量添加噪声。我们的关键观察是,攻击者使用分类器来预测成员或非成员,分类器容易受到对抗性示例的影响。基于观察结果,我们建议将精心制作的噪声向量添加到置信度得分向量中,将其转化为误导攻击者分类器的对抗性示例。我们在三个数据集上的实验结果表明,MemGuard可以有效地抵御成员推断攻击,并实现更好的隐私效用权衡比现有的防御。我们的工作是第一个显示对抗性的例子可以被用作防御机制,以抵御成员推断攻击。
2019-12-18 cs.CR cs.LG
Differential Privacy on Dynamic Data
本文研究动态数据上的差分隐私,提出从静态机制到动态机制的黑盒构造,仅有多对数效用退化,为全动态情形首个此类结果,并改进了稀疏更新流上的仅插入情形。
2023-10-17 cs.CR
Digital Blind Box: Random Symmetric Private Information Retrieval
介绍了随机对称私有信息检索(RSPIR)问题。在规范PIR中,用户从来自$N$非串通和复制数据库的$K$消息中下载消息,使得没有数据库可以知道用户下载了哪个消息(用户隐私)。在SPIR中,保密性是对称的,因为不仅数据库不能知道用户下载了哪个消息,用户本身也不能了解它下载的特定消息以外的任何东西(数据库保密性)。在RSPIR中,与SPIR不同,用户没有对数据库的输入,即,用户不挑选特定消息来下载,而是满足于任何一个消息。在RSPIR中,数据库需要以这样的方式向用户发送符号,即保证用户正确下载消息(随机可靠性),数据库不知道用户收到了哪条消息(用户隐私),并且用户除了收到的一条消息之外不会了解任何其他信息(数据库隐私)。这是盲盒的数字版本,也被称为gachapon,它实现了上述指定的设置与娱乐的物理对象。这也是$1$的盲版-- $K$外不经意传输(OT),一种重要的加密原语。我们研究的情况下,$N=2$数据库的RSPIR的信息理论的能力。我们确定其确切的容量为$K = 2, 3, 4$消息的情况下。虽然我们提供了一个通用的可实现的方案,适用于任何数量的消息,$K\geq 5$的能力仍然开放。
2022-05-16 cs.CR cs.DB cs.IT
Not to Break, but to Attest: Adversarial Probes for Privacy-Preserving LLM Verification
该研究提出基于zk-SNARK的隐私保护审计框架,构建三类互补探针验证大语言模型,实验表明黑盒场景下的基于token的探针灵敏度最优,且Groth16 zk-SNARK工作流具备良好实用性。
2026-09-01 cs.AI cs.CR cs.LG
When Reasoning Leaks Membership: Membership Inference Attack on Black-box Large Reasoning Models
Beijing University of Posts and Telecommunications(北京邮电大学);China Unicom Research Institute(中国联通研究院)
针对黑盒大推理模型的成员推断攻击,通过分析推理轨迹的语义潜在空间构建攻击框架,揭示其隐私风险及改进方向。
2026-01-20 cs.CR
General-Purpose $f$-DP Estimation and Auditing in a Black-Box Setting
针对黑盒场景下$f$-DP难以验证的问题,提出无需先验算法知识、带收敛性保证的$f$-DP权衡曲线估计方法及结合非参数估计与最优分类的高效审计方法,经实验验证有效。
2025-06-13 cs.CR math.ST stat.ME
Black-box Membership Inference Attacks against Fine-tuned Diffusion Models
针对微调扩散模型的隐私泄露风险,提出首个黑盒、基于重构的成员推理攻击框架,覆盖多种场景与攻击类型,AUC 达 0.95。
2024-09-05 cs.CR
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University(浙江大学)
随着机器学习技术的快速发展,深度学习模型已经被部署到日常生活的几乎每个方面。然而,这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实,可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识,并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小,希望提高其查询效率。
2022-01-13 cs.CR cs.LG
No Privacy Left Outside: On the (In-)Security of TEE-Shielded DNN Partition for On-Device ML
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文发现现有TEE防护的DNN分区(TSDP)方案易受隐私窃取攻击,并提出TEESlice方法,通过训练前分区策略实现与全模型TEE防护相同的安全性,同时降低10倍以上开销且无精度损失。
2023-10-11 cs.AI cs.CR cs.LG
Gray-box Monitoring of Hyperproperties (Extended Version)
许多重要的系统属性,特别是安全性和隐私性,无法静态验证。因此,运行时验证是一个有吸引力的替代方案。超属性的逻辑,如HyperLTL,支持一组丰富的此类属性。我们首先表明,黑盒监控HyperLTL一般是不可行的,并建议灰盒的方法。灰盒监控意味着在运行时对系统进行分析,这给可监控性(解决监控问题的可行性)带来了新的限制。因此,作为本文的另一个贡献,我们完善了经典的概念monitorability,无论是跟踪性能和hyperproperties,考虑到可计算的监视器。然后,我们应用我们的方法来监控一个隐私hyperproperty称为分布式数据最小化,表示为一个HyperLTL属性,通过使用基于SMT的静态验证器在运行时。
2019-10-04 cs.CR cs.FL cs.LO
CorrectGuard: Eyes-Off Correctness Estimation for Black-Box Security Guardrails
Microsoft(微软)
CorrectGuard提出免观察正确性估计框架,用独立模型仅凭可见数据预测黑盒护栏决策正确性,在13个数据集上显著提升错误识别,并支持决策排序与弃权(不执行)。
2026-10-05 cs.CR
From Head to Tail: Efficient Black-box Model Inversion Attack via Long-tailed Learning
针对现有黑盒模型反演攻击查询开销过高的问题,提出结合长尾代理训练与NGOpt选无梯度优化的SMILE方法,在效果超现有SOTA的同时仅需约5%查询量。
2025-03-20 cs.CR
Property Testing for Differential Privacy
我们考虑差分隐私的属性测试的问题:与黑盒访问一个据称是私人的算法,我们可以验证其隐私保证?特别是,我们表明,任何隐私保证,可以有效地验证,也是有效地在这个意义上说,存在两个数据库,我们可以有效地区分。给出了验证纯差分隐私、近似差分隐私、随机纯差分隐私和随机近似差分隐私的查询复杂度的下界。我们还给出了算法的上界。在工作中得到的下界是不可行的尺度参数,通常被认为是合理的差分隐私文献,即使当我们假设验证者有机会获得(不可信)的算法描述。这项工作的一个中心信息是,验证隐私需要验证者或算法所有者的妥协。要么验证者必须满足于弱隐私保证,要么算法所有者必须在边信息或算法访问权上妥协。
2019-02-13 cs.CR cs.DS
White-box Membership Attack Against Machine Learning Based Retinopathy Classification
Université de Bretagne Occidentale - UBO(西布列塔尼大学);Inserm(法国国家健康与医学研究院)
机器学习(ML)的进步极大地改善了医学成像中基于AI的诊断辅助系统。然而,基于收集特定于个人的医疗数据会引发一些安全问题,特别是在隐私方面。即使像医院这样的图像所有者在其信息系统层面制定了严格的隐私保护规定,在其图像上训练的模型仍然具有披露潜力。攻击者可以通过以下方式访问经训练的模型:1)白盒:访问模型架构和参数; 2)黑盒:其中他只能通过适当的接口用他自己的输入来查询模型。现有的攻击方法包括:特征估计攻击(FEA)、成员推断攻击(MIA)、模型记忆攻击(MMA)和识别攻击(IA)。在这项工作中,我们专注于MIA对一个模型,已被训练为从视网膜图像检测糖尿病视网膜病变。糖尿病视网膜病变是一种可导致糖尿病患者视力丧失和失明的疾病。MIA是确定数据样本是否来自经训练的ML模型的训练数据集的过程。从隐私的角度来看,在我们的用例中,糖尿病视网膜病变分类模型被提供给拥有图像和患者标识符的合作伙伴,推断数据样本的成员状态可以帮助说明患者是否对模型的训练做出了贡献。
2022-05-30 cs.AI cs.CR cs.CV
Distributional Black-Box Model Inversion Attack with Multi-Agent Reinforcement Learning
College of Cyber Security, Jinan University(暨南大学网络空间安全学院);School of Information Systems, Singapore Management University(新加坡管理大学信息系统学院)
本文提出DBB-MI攻击,通过构建概率潜在空间并结合多智能体强化学习技术,在无需目标模型参数和专门GAN训练的情况下,有效恢复私有训练数据,其攻击准确率等指标优于现有最先进方法。
2024-04-22 cs.CR cs.LG
Assessing differentially private deep learning with Membership Inference
SAP SE(SAP公司);University of Waterloo(滑铁卢大学)
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护,具有差分隐私。然而,数据科学家可以在本地和中央差分隐私之间进行选择,并且需要选择有意义的隐私参数$ε$,这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理,以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验,结果表明,这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案,因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
Optimal conversion from Rényi Differential Privacy to $f$-Differential Privacy
Helmholtz Munich(赫尔霍兹慕尼黑);Technical University of Munich(慕尼黑工业大学);Harvard University(哈佛大学);King’s College London(伦敦国王学院);Hasso-Plattner-Institut(哈索·普拉特纳研究所)
本文证明了从Rényi差分隐私(RDP)配置文件到假设检验权衡函数的最优转换规则是基于单阶RDP隐私区域交集的,该规则在所有有效RDP配置文件和所有第一类错误水平下同时达到最优。
2026-05-29 cs.CR
Statistical Quantification of Differential Privacy: A Local Approach
在这项工作中,我们介绍了一种新的方法,统计量化的差分隐私在黑盒设置。我们提出了一个随机算法$A$的最佳隐私参数的估计和置信区间,以及其他关键变量(如“以数据为中心的隐私级别”)。我们的估计是基于当地的隐私特性,并在相关文献中避免了“事件选择”的过程中,隐私验证的一个主要障碍。这使得我们的方法易于实现和用户友好。我们证明了估计的快速收敛速度和置信区间的渐近有效性。各种算法的实验研究证实了我们的方法的有效性。
2022-05-02 cs.CR math.ST stat.ME
Cronus: Robust and Heterogeneous Collaborative Learning with Black-Box Knowledge Transfer
National University of Singapore(新加坡国立大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
协作(联合)学习使多方能够训练模型,而无需共享其私有数据,而是通过重复共享其本地模型的参数。尽管有其优点,这种方法有许多已知的隐私和安全弱点和性能开销,除了仅限于具有同构架构的模型。共享参数会泄漏大量关于本地(和假定的私有)数据集的信息。此外,联邦学习非常容易受到中毒攻击,其中一些参与者可以不利地影响聚合参数。具有高维参数向量的大型模型特别容易受到隐私和安全攻击:联邦学习中的维数灾难。我们认为,共享参数是协作学习中最幼稚的信息交换方式,因为它们将模型的所有内部状态开放给推理攻击,并通过隐形中毒攻击最大限度地提高模型的延展性。我们提出了Cronus,一个强大的协作机器学习框架。设计Cronus背后的简单而有效的想法是通过黑箱本地模型之间的强大知识转移来控制,统一并显着减少各方之间交换信息的维度。我们评估了所有现有的联邦学习算法对中毒攻击,我们表明,Cronus是唯一安全的方法,由于其严格的鲁棒性保证。将局部模型视为黑箱,减少了通过模型的信息泄漏,并使我们能够使用现有的隐私保护算法,通过模型的输出(预测)减轻信息泄漏的风险。与联邦学习相比,Cronus的样本复杂度也显著降低,联邦学习不会将其安全性与参与者的数量绑定在一起。
2019-12-24 cs.CR cs.LG stat.ML
Reinforcement Learning-Based Black-Box Model Inversion Attacks
KAIST(韩国科学技术院)
针对现有黑盒模型反演攻击无法保证在预定查询次数内完成且性能不及白盒攻击的局限,提出一种基于强化学习的方法,将潜在空间搜索形式化为MDP问题,利用生成图像的置信度作为奖励,成功实现了最先进的攻击性能并恢复目标模型私有信息。
2023-04-10 cs.CR cs.CV cs.LG
Nearly Tight Black-Box Auditing of Differentially Private Machine Learning
University College London(伦敦大学学院);University of California, Riverside(加州大学河滨分校)
本文提出黑盒威胁模型下的DP-SGD审计流程,通过构造最坏初始参数实现近似紧的隐私估计,在MNIST、CIFAR-10上验证效果优于此前白盒外的审计方法,可助力DP-SGD隐私分析改进与实现问题检测。
2024-11-02 cs.CR cs.LG
A Differentially Private Framework for Deep Learning with Convexified Loss Functions
Macquarie University(麦考瑞大学);Defence Science & Technology Group(国防科学技术集团)
差分隐私(DP)已被应用于深度学习中,用于保护底层训练集的隐私。现有的动态规划方法可分为三类:目标扰动、梯度扰动和输出扰动.他们面临三个主要问题。首先,目标函数的条件限制了一般深度学习任务中的目标扰动。第二,梯度扰动没有实现令人满意的隐私效用的权衡,由于在每个时期的过度注入噪声。第三,由于作为噪声尺度参数的训练模型参数的全局灵敏度的上界较松,不能保证输出扰动方法的高效用。为了解决这些问题,我们分析了模型参数全局灵敏度的更严格上限。在黑盒设置下,基于这种全局灵敏度,为了控制整体噪声注入,我们提出了一种新的输出扰动框架,通过将DP噪声注入到用凸化损失函数训练的基线非私有神经网络的输出层的随机采样神经元中(通过指数机制)。我们经验比较隐私效用权衡,衡量的准确性损失基线非私人模型和隐私泄漏对黑盒成员推断(MI)攻击,我们的框架和开源的差分私人随机梯度下降(DP-SGD)的方法在六个常用的现实世界的数据集。实验评估表明,当基线模型有可观察到的隐私泄漏MI攻击下,我们的框架实现了更好的隐私效用权衡比现有的DP-SGD实现,给定的整体隐私预算$ε\leq 1$大量的查询。
2022-04-03 cs.CR cs.LG
Local and Central Differential Privacy for Robustness and Privacy in Federated Learning
University College London(伦敦大学学院);DeepMind(深度思维);Alan Turing Institute(艾伦·图灵研究所)
联邦学习(FL)允许多个参与者通过将其数据集保持在本地而仅交换模型更新来协作地训练机器学习模型。唉,这不一定没有隐私和鲁棒性漏洞,例如,通过会员身份财产和后门攻击。本文研究了是否以及在何种程度上可以使用差分隐私(DP)来保护FL中的隐私和鲁棒性。为此,我们提出了一个首次的本地和中央差分隐私(LDP/CDP)技术在FL中的评估,评估其可行性和有效性。我们的实验表明,这两个DP变种D抵御后门攻击,虽然有不同程度的保护效用权衡,但无论如何比其他鲁棒性防御更有效。DP还减轻了白盒成员推断攻击在FL,我们的工作是第一次显示它的经验。然而,自民党和民主党都没有对财产推断进行辩护。总的来说,我们的工作提供了一个全面的,可重用的测量方法来量化的鲁棒性/隐私性和实用程序之间的权衡在不同的私人FL。
2022-05-27 cs.AI cs.CR
Sequentially Auditing Differential Privacy
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究)
针对黑盒机制差分隐私保证审计问题,提出实用序贯测试方法,处理输出流实现随时有效推理并控制第一类错误,样本量比现有方法小几个数量级,可在一次训练运行内识别DP-SGD违规,突破批量方法固定样本限制。
2025-11-14 cs.CR cs.LG stat.ME
FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries
LINE Corporation(LINE公司)
迁移学习是一个有用的机器学习框架,它允许人们使用一个用大量数据预训练的强大模型(教师模型)来构建特定于任务的模型(学生模型),而不会显著增加训练成本。教师模型可以包含私有数据,或者与私有输入交互。我们调查是否可以泄漏或推断这样的私人信息,而不直接与教师模型进行交互。我们在人脸识别的背景下描述了这种推理攻击,这是一种对个人隐私高度敏感的迁移学习应用。在黑盒和现实环境下,我们证明了现有的推理技术是无效的,因为通过学生模型与单个训练实例进行交互不会透露有关教师的信息。然后,我们提出了新的策略来推断聚合级信息。因此,教师模型上的成员推断攻击被证明是可能的,即使对手只能访问学生模型。我们进一步证明,敏感的属性可以推断,即使在对手有有限的辅助信息的情况下。最后,对防御策略进行了讨论和评价。我们广泛的研究表明,信息泄漏是一个真正的隐私威胁的迁移学习框架广泛用于现实生活中的情况。
2020-10-27 cs.CR cs.LG stat.ML
Local Differential Privacy for Bayesian Optimization
Department of ECE(ECE系);The Ohio State University(俄亥俄州立大学);Alibaba, USA(阿里巴巴(美国))
针对当前数据密集型在线学习系统中隐私问题日益受到关注的现状,考虑了非参数高斯过程中具有局部差分隐私(LDP)保证的黑箱优化问题.具体来说,来自每个用户的奖励被进一步损坏以保护隐私,并且学习者只能访问损坏的奖励以最小化遗憾。我们首先推导出任何LDP机制和任何学习算法的遗憾下界。然后,基于GP-UCB框架和Laplace DP机制,提出了三种近似最优算法。在这个过程中,我们还提出了一个新的贝叶斯优化(BO)方法(称为MoMA-GP-UCB)的均值技术和核近似的基础上,它补充了以前的BO算法的重尾收益与降低的复杂性。此外,不同算法在合成和真实世界数据集上的实证比较突出了MoMA-GP-UCB在私人和非私人场景中的优异性能。
2020-10-13 cs.CR cs.LG