Auditing Frameworks Need Resource Isolation: A Systematic Study on the Super Producer Threat to System Auditing and Its Mitigation
本文系统研究了系统审计中因缺乏数据隔离引发的超级生产者威胁,并提出基于threadlet架构的新框架NODROP以隔离溯源数据,在保障审计完整性的同时,开销显著优于商业框架Sysdig。
2023-07-29 cs.CR
Auditing $f$-Differential Privacy in One Run
FAIR at Meta(Meta FAIR实验室);Meta
针对现有隐私审计机制效率低、隐私估计欠佳的问题,提出仅需单次运行目标机制、基于$f$-DP曲线的高效严谨审计方法,可得到比传统$ε,δ$差分隐私参数更准确的隐私估计。
2024-10-29 cs.CR cs.LG
Auditing Differential Privacy in the Black-Box Setting
University of Chicago(芝加哥大学)
本文提出基于f-差分隐私和共形推断的黑盒差分隐私审计框架,证明无额外假设时无法同时控制两类错误,并在单调似然比假设下实现两类错误控制及有限样本置信带构造。
2025-04-10 cs.CR cs.LG stat.ME
A Provenance-Policy Based Access Control Model For Data Usage Validation In Cloud
在像云这样的虚拟组织中,需要访问控制系统来约束可能导致安全漏洞的用户直接或间接行为。在云中,除了所有者访问机密数据外,还进行了第三方审计和会计,这可能会引发进一步的数据泄露。为了控制这样的数据泄漏和完整性,在过去的几个安全策略的基础上的角色,身份和用户属性的建议,并发现无效,因为他们依赖于静态的政策,不监控数据访问和它的来源。另一方面,出处跟踪数据使用及其来源,以证明数据的真实性。为了在像云这样的实时的系统中使用起源,服务提供商需要存储关于数据更改主题的元数据,该元数据通常被称为起源信息。本文提出了一种基于起源策略的访问控制模型,该模型的设计和集成系统,不仅使数据可审计,但也包括数据更改事件的问责制。
2014-11-07 cs.CR
Sequentially Auditing Differential Privacy
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究)
针对黑盒机制差分隐私保证审计问题,提出实用序贯测试方法,处理输出流实现随时有效推理并控制第一类错误,样本量比现有方法小几个数量级,可在一次训练运行内识别DP-SGD违规,突破批量方法固定样本限制。
2025-11-14 cs.CR cs.LG stat.ME
Auditing Differentially Private Machine Learning: How Private is Private SGD?
Khoury College of Computer Sciences, Northeastern University(东北大学胡里计算机科学学院)
我们调查差异私有SGD在实践中是否比其最先进的分析所保证的更好的隐私。我们通过新颖的数据投毒攻击来实现这一点,我们表明这与现实的隐私攻击相对应。虽然先前的工作(Ma等人,arXiv 2019)提出了差分隐私和数据投毒之间的这种联系,作为对数据投毒的防御,我们将其用作理解特定机制隐私的工具是新的。更一般地说,我们的工作采取了定量的,实证的方法来理解的隐私提供的具体实现的差异隐私算法,我们相信有可能补充和影响差分隐私的分析工作。
2020-06-13 cs.CR cs.LG
Auditing Differential Privacy in High Dimensions with the Kernel Quantum Rényi Divergence
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);IBM Research AI(IBM研究院人工智能部门)
差分隐私(Differential Privacy,DP)是私有数据发布和私有机器学习的事实标准。审计黑盒DP算法和机制,以证明他们是否满足一定的DP保证是具有挑战性的,特别是在高维。我们提出了放松的差分隐私的基础上新的分歧的概率分布:核Rényi分歧及其正则化版本。我们表明,正则化的内核Rényi分歧,甚至可以估计从高维样本,从而产生$\varepsilon$ -DP,$(\varepsilon,δ)$ -DP和$(α,\varepsilon)$ -Rényi DP的审计程序。
2022-05-27 cs.CR cs.IT cs.LG
Curator Attack: When Blackbox Differential Privacy Auditing Loses Its Power
本文揭示了黑盒差分隐私审计因忽略小概率而存在根本性缺陷,提出基于假设检验的假阳性分析,并通过实验证明恶意数据策展者可借此以夸大隐私保证通过审计,呼吁开发更可靠的审计方法。
2024-11-25 cs.CR
Auditing Differential Privacy Guarantees Using Density Estimation
Nokia Bell Labs(诺基亚贝尔实验室)
本文提出一种无需先验信息的密度估计方法,用于准确审计差分隐私保证,尤其针对机器学习模型和子采样高斯机制。
2024-10-11 cs.CR cs.LG stat.ML
Privacy Auditing with One (1) Training Run
Google(谷歌)
提出一种单次训练运行的差分隐私机器学习系统审计方案,利用并行添加/移除示例,基于差分隐私与统计泛化联系,避免组隐私成本,适用于黑盒或白盒设置。
2023-05-15 cs.CR cs.DS cs.LG
How Well Can Differential Privacy Be Audited in One Run?
The Hebrew University of Jerusalem(以色列海法大学)
本文研究单次运行审计对差分隐私参数的精度影响,揭示了数据元素干扰是限制效能的关键因素,并提出新方法以提升审计性能。
2026-02-20 cs.CR cs.LG
Who's the Evil Twin? Differential Auditing for Undesired Behavior
本文通过红蓝对抗博弈框架研究神经网络隐藏有害行为的检测问题,实验表明基于对抗攻击的方法在CNN上可达100%准确率,并发现LLM审计需借助不良分布提示,为设计更有效的模型审计提供参考。
2025-08-22 cs.AI cs.CR cs.LG
KV-Auditor: Auditing Local Differential Privacy for Correlated Key-Value Estimation
本文提出KV-Auditor框架,通过估计经验隐私下界审计本地差分隐私键值估计机制,针对非交互式与交互式机制分别设计水平、垂直审计及分段策略,实验验证其有效性。
2025-08-15 cs.CR
Enabling Efficient Attack Investigation via Human-in-the-Loop Security Analysis
University of California, Berkeley(加州大学伯克利分校)
本文提出Provexa防御系统,通过领域特定语言ProvQL和优化执行引擎,帮助分析员在大规模系统溯源数据中高效聚焦攻击相关部分,揭示多步攻击序列。
2025-07-21 cs.CL cs.CR cs.DB
Guidelines for Implementing and Auditing Differentially Private Systems
差分隐私是一种信息理论对算法和代码的约束。它提供了隐私泄露的量化和正式的隐私保证,目前被认为是隐私保护的黄金标准。在本文中,我们提供了一个初始的“最佳实践”开发差异隐私平台,单元测试的技术,具体到差分隐私,准则检查差分隐私是否被正确地应用在应用程序中,参数设置和建议。本文的起源是Facebook和Social Science One的一项倡议,旨在为社会科学研究人员提供对URL共享数据集的编程访问。为了在保护隐私的同时最大限度地利用数据进行研究,研究人员应该通过支持差分隐私的交互式平台访问数据。本文的目的是提供一般可以在各种系统中重复使用的指导方针和建议。出于这个原因,除了详细信息和理论出现在学术论文中的系统外,不会命名特定的平台。
2020-05-12 cs.CR
Privacy in Theory, Bugs in Practice: Grey-Box Auditing of Differential Privacy Libraries
PreMeDICaL team, Inria, Idesp, Inserm, Université de Montpellier(普雷梅迪卡尔团队,法国国家信息与自动化研究所,德帕斯研究中心,法国健康与医学研究院,蒙彼利埃大学);Technical University of Munich(慕尼黑工业大学);Oblivious(奥比维厄斯)
本文提出Re:cord-play方法,通过检查差分隐私算法的内部状态,发现12个开源库中的13个隐私违规问题,提供有效的隐私测试框架。
2026-02-19 cs.CR
Unleashing the Power of Randomization in Auditing Differentially Private ML
Google Research(谷歌研究院);Northeastern University(东北大学);University of Washington(华盛顿大学)
本文提出基于提升差分隐私(LiDP)的审计框架,通过随机化金丝雀设计和利用多重统计检验的新置信区间,显著降低了审计差分隐私机器学习算法所需的样本复杂度。
2023-05-29 cs.CR cs.IT cs.LG
Understanding Disclosure Risk in Differential Privacy with Applications to Noise Calibration and Auditing (Extended Version)
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Inria Centre at the University Grenoble Alpes(格勒诺布尔大学Inria中心);ÉTS Montréal(蒙特利尔高等技术学院)
本文提出重建优势作为统一的风险度量,用于改进DP审计并优化效用-隐私权衡。
2026-03-12 cs.CR cs.IT math.IT
Observational Auditing of Label Privacy
Meta;FAIR at Meta(Meta的FAIR)
本文提出一种无需修改数据集的观测审计框架,用于评估标签隐私保障,填补了传统方法在受保护属性审计方面的空白。
2026-01-17 cs.CR cs.LG
General-Purpose $f$-DP Estimation and Auditing in a Black-Box Setting
针对黑盒场景下$f$-DP难以验证的问题,提出无需先验算法知识、带收敛性保证的$f$-DP权衡曲线估计方法及结合非参数估计与最优分类的高效审计方法,经实验验证有效。
2025-06-13 cs.CR math.ST stat.ME
Sequential Auditing for f-Differential Privacy
Aarhus University(奥胡斯大学);Ruhr University Bochum(波鸿鲁尔大学);Georgia Institute of Technology(佐治亚理工学院)
提出基于输出样本的顺序审计器,自适应确定样本量以检测f-DP违规,降低采样成本,支持白盒和黑盒设置。
2026-06-18 cs.CR stat.ME stat.ML
"What do you want from theory alone?" Experimenting with Tight Auditing of Differentially Private Synthetic Data Generation
本研究针对差分隐私合成数据生成(DP-SDG)实现的理论隐私保障是否在实践中成立的问题,通过区分博弈与成员推理攻击开展严格审计,发现黑盒攻击能力有限,需白盒攻击加最坏情况数据集才能严格估计泄露量,还检出已知及新的DP违规。
2024-05-16 cs.CR
UniAud: A Unified Auditing Framework for High Auditing Power and Utility with One Training Run
UniAud框架通过不相关金丝雀构造与自比较机制,在单次训练运行中实现高效差分隐私审计,并扩展UniAud++以多任务学习平衡审计效力与模型实用性。
2025-07-06 cs.CR
DP-Auditorium: a Large Scale Library for Auditing Differential Privacy
针对差分隐私机制测试缺乏灵活可扩展工具的问题,本文提出可扩展的DP-Auditorium审计库,将测试抽象为分布距离度量与相邻数据集寻优两步,提出三种带新估计保证的分布距离评估算法,实验表明需结合多种技术实现有效测试。
2023-12-18 cs.CR
The Hitchhiker's Guide to Efficient, End-to-End, and Tight DP Auditing
University College London(伦敦大学学院);Google DeepMind(谷歌DeepMind);UC Riverside(罗切斯特大学)
本文提出了一种系统化的差分隐私审计框架,旨在提升审计的效率、端到端性和紧密性,并识别当前研究中的关键挑战和未来方向。
2025-12-12 cs.CR cs.LG
Visual Privacy Auditing with Diffusion Models
Technical University of Munich (TUM)(慕尼黑工业大学);TUM University Hospital(慕尼黑工业大学医院);Imperial College London(帝国理工学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出基于扩散模型的重建攻击以实证审计差分隐私防御,发现真实图像先验显著影响重建风险,且现有理论界限低估了该风险,验证了扩散模型可作为隐私泄露可视化审计工具。
2025-03-09 cs.CR cs.LG
Combating Advanced Persistent Threats: Challenges and Solutions
针对基于溯源图的内核级审计在APT防御中存在的横向攻击链重构难等问题,提出含分布式审计模型、规避检测策略和隐马尔可夫防御方法的鲁棒APT防御方案,经实验验证有效并指明开放研究方向。
2024-04-12 cs.CR
Monitoring Violations of Differential Privacy over Time
Ruhr University Bochum(波鸿鲁尔大学);Aarhus University(奥胡斯大学)
针对算法随时间变化导致静态审计失效的问题,提出利用完整部署历史的新监控程序,减少采样开销并维持审计可靠性,经理论证明与实验验证有效。
2025-09-24 cs.CR math.ST stat.ME
Privacy Auditing with Zero (0) Training Run
Inria(法国国家数字与计算机科学研究所);Inserm, Univ. de Montpellier(法国国家健康与医学研究院,蒙彼利埃大学)
本文提出零次训练隐私审计方法,通过固定数据集评估模型隐私参数,解决传统方法需多次重训练或数据随机化的难题,提供有效的隐私审计框架。
2026-09-11 cs.CR
Auditing Apple's DifferentialPrivacy.framework: Implementation Bugs, Misconfigurations, and Practical Risks
National University of Singapore(新加坡国立大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文对Apple的差分隐私框架进行了客户端审计,发现多个实现错误和配置错误,导致多个机制未能满足其宣称的隐私保证,影响了大量数据收集。
2026-05-21 cs.CR cs.CY
Synth-MIA: A Testbed for Auditing Privacy Leakage in Tabular Data Synthesis
University of California Los Angeles(加州大学洛杉矶分校)
Synth-MIA提出统一的模型无关威胁框架和开源测试平台,集成13种成员推理攻击方法,通过大规模基准实验揭示合成数据质量与隐私泄露的正相关关系,并证明差分隐私生成器PATEGAN在MIA攻击下仍可能失效,强调基于MIA审计的必要性。
2025-09-22 cs.CR stat.ML
DiffAudit: Auditing Privacy Practices of Online Services for Children and Adolescents
针对普通受众在线服务需遵守儿童隐私法规的要求,提出平台无关的DiffAudit审计方法,通过差异流量分析和GPT-4驱动的数据分类,审计发现服务在同意前存问题处理、年龄数据流无区分等隐私实践问题。
2024-06-10 cs.CR
ContextLeak: Auditing Leakage in Private In-Context Learning Methods
University of Southern California(南加州大学)
本文提出ContextLeak框架,用于评估私有上下文学习中信息泄露的最坏情况,通过插入标记检测敏感信息,并揭示现有方法在隐私与效用之间的权衡不足。
2026-04-20 cs.CL cs.CR
Quantization-Tolerant Gradient Auditing for Active Inference-Attack Detection in Federated Learning
Katulu GmbH(Katulu有限公司)
本研究针对联邦学习的主动推理攻击,提出量化容忍梯度审计方法,可高准确率检测两类主动攻击,与差分隐私兼容,在多客户端场景下高效且鲁棒。
2026-10-12 cs.CR
Subject Data Auditing via Source Inference Attack in Cross-Silo Federated Learning
University of Padua(帕多瓦大学);University of Pavia(帕维亚大学)
本文提出主体级源推理攻击(SLSIA),通过移除SIA和SMIA中的关键约束,利用二分类攻击分类器检测跨孤岛联邦学习中所有使用目标主体数据的客户端,在三个数据集上取得最高0.88的平均准确率,并提出条目级和主体级差分隐私防御机制。
2024-09-28 cs.AI cs.CR
Enhanced Membership Inference Attacks against Machine Learning Models
National University of Singapore(新加坡国立大学);Privitar Labs(Privitar实验室);University of Florida(佛罗里达大学)
一个机器学习算法会泄露多少训练数据,为什么?成员推断攻击被用作审计工具来量化这种泄漏。在本文中,我们提出了一个全面的\textit{hypothesis testing framework},使我们不仅能够正式表示以前的工作在一个一致的方式,但也设计新的成员推断攻击,使用参考模型,以实现显着更高的权力(真阳性率)的任何(假阳性率)错误。更重要的是,我们解释了\textit{why}不同的攻击执行不同。我们提出了一个模板不可分割的游戏,并提供了一个解释的攻击成功率在不同的游戏实例。我们讨论了各种不确定性的攻击者所产生的制定的问题,并显示我们的方法试图尽量减少攻击的不确定性的一位秘密的训练集中的数据点的存在或不存在。我们在所有类型的攻击之间执行\textit{differential analysis},解释它们之间的差距,并显示是什么原因导致数据点容易受到攻击(原因因记忆的粒度不同而异,从过拟合到条件记忆)。我们的审计框架作为\textit{Privacy Meter}软件工具的一部分可公开访问。
2022-09-13 cs.CR cs.LG stat.ML
Digital Privacy Under Attack: Challenges and Enablers
University of Technology Sydney(悉尼科技大学);Deakin University(迪肯大学);Hunan University(湖南大学);City University of Macau(澳门城市大学)
本文系统梳理数据驱动系统中针对匿名数据、统计聚合和隐私保护模型的隐私攻击及防御措施,分析隐私—效用权衡,并指出差分隐私的实现挑战与未来研究方向。
2025-09-29 cs.CR