Variational Leakage: The Role of Information Complexity in Privacy Leakage
University of Geneva(日内瓦大学);Imperial College London(帝国理工学院)
我们研究了信息复杂性的作用,在隐私泄漏的属性的对手的利益,这是不知道先验的系统设计者。考虑到有监督的表示学习设置,并使用神经网络来参数化信息量的变化范围,我们研究了以下因素对信息泄漏量的影响:信息复杂度正则化子权重、潜在空间维数、已知效用和未知敏感属性集的基数、效用与敏感属性之间的相关性,以及对对手利益的敏感属性的潜在偏见。我们在有色MNIST和CelebA数据集上进行了广泛的实验,以评估信息复杂性对内在泄漏量的影响。
2021-06-08 cs.CR cs.LG
Quantifying Privacy Leakage in Split Inference via Fisher-Approximated Shannon Information Analysis
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Information Sciences & Technology Department, Pennsylvania State University(宾夕法尼亚州立大学信息与技术系)
针对拆分推理的隐私泄露量化难题,本文提出基于Fisher信息的隐私度量FSInfo与对应防御机制FSInfoGuard,可精准量化隐私风险,实现优于现有方案的隐私-效用权衡。
2025-11-18 cs.CR
PrivTru: A Privacy-by-Design Data Trustee Minimizing Information Leakage
本文提出数据受托方实例 PrivTru,通过计算响应查询所需的最小信息量,在保持数据效用前提下可证明地最小化信息泄露。
2025-06-06 cs.CR
Measuring Privacy Leakage for IDS Rules
提出了一种入侵检测系统(IDS)警报隐私泄漏的度量方法。采用信息流定量分析方法,建立了基于信息熵的入侵检测规则隐私泄露理论模型。这一理论模型随后被验证经验的基础上模拟和实验研究。分析表明,该指标是能够区分IDS规则,没有或低预期的隐私泄漏和IDS规则泄漏敏感信息,例如用户行为的重大风险。该分析是基于测量的IDS警报,数据长度和数据熵的IDS规则的相关部分(例如有效载荷)的数量。这是一种很有前途的方法,为托管安全服务提供商的隐私基准测试开辟了道路。
2013-08-25 cs.CR cs.IT math.IT
Privacy Leakage over Dependent Attributes in One-Sided Differential Privacy
在许多现实应用中,提供可证明的隐私保证,同时保持数据的实用性是一项具有挑战性的任务。最近,引入了一种称为单边差分隐私(OSDP)的新框架,其扩展了现有的差分隐私方法。OSDP通过利用并非所有记录都是敏感的这一事实来提高数据的实用性。然而,先前的工作假设所有记录在统计上彼此独立。本文以楼宇管理系统中的占用数据为背景,扩展了现有的单边差分隐私框架。在本文中,我们量化的整体隐私泄漏时,对手的记录之间的依赖信息。此外,我们展示了如何构建一个优化问题,有效地权衡效用和隐私。
2021-12-17 cs.CR cs.IT math.IT
A Framework for Managing Multifaceted Privacy Leakage While Optimizing Utility in Continuous LBS Interactions
本文提出一个全面的LBS隐私管理框架,引入位置、轨迹和POI隐私概念,建立联系并进行下界分析,通过Plannar Isotopic Mechanism实例化,有效量化隐私泄露并优化效用。
2024-09-20 cs.CR
Privacy-preserving Searchable Databases with Controllable Leakage
Searchable Encryption(SE)是一种允许云服务提供商(CSP)在不了解查询和记录内容的情况下搜索加密数据集的技术。近年来,已经提出了许多SE方案来保护外包数据不受CSP的影响。不幸的是,它们中的大多数都泄漏了敏感信息,CSP仍然可以通过安装基于泄漏的推断攻击,如计数攻击和文件注入攻击,推断查询和记录的内容。在这项工作中,首先,我们定义的泄漏在可搜索的加密数据库和分析如何泄漏是利用现有的泄漏为基础的攻击。其次,我们提出了一种基于多云的隐私保护关系数据库动态对称SE(SSE)方案(P-McDb)。P-McDb具有最小的泄漏,这不仅确保了查询和记录的机密性,而且还保护了CSP的搜索,访问和大小模式。此外,P-McDb确保数据库的前向和后向隐私。因此,P-McDb可以抵抗现有的基于泄漏的攻击,例如,主动文件/记录注入攻击。我们给出了安全定义和分析,以显示P-McDb如何隐藏上述模式。最后,我们实现了一个P-McDb的原型,并使用TPC-H基准数据集对其进行了测试。我们的评估结果表明,P-McDb的可行性和实际效率。
2019-09-26 cs.CR
Impact of Prior Knowledge and Data Correlation on Privacy Leakage: A Unified Analysis
差分隐私(DP)技术可以保证严格的隐私性,从而防止具有任意先验知识的攻击者。然而,最近的研究表明,这可能是不正确的相关数据,并表明三个因素可能会影响隐私泄漏:数据相关模式,对手的先验知识,和查询功能的敏感性。这就提出了一个基本问题:这三个因素与隐私泄露之间的数学关系是什么?在本文中,我们提出了一个统一的分析这个问题。提出了一种新的隐私定义\textit{prior differential privacy (PDP)},考虑攻击者所拥有的精确先验知识来评估隐私泄露。我们使用两个模型,加权层次图(WHG)和多元高斯模型来分析离散和连续的数据,分别。我们证明,积极的,消极的,和混合的相关性对隐私泄露有不同的影响。考虑到一般相关性,推导了连续数据隐私泄露的封闭表达式,给出了离散数据隐私泄露的链式规则。我们的结果是有效的一般线性查询,包括计数,总和,平均值和直方图。数值实验验证了我们的理论分析。
2019-06-05 cs.CR cs.LG math.PR
PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing
University of Sheffield(谢菲尔德大学);University of Waterloo(滑铁卢大学)
PATCH通过针对性电路修补减少语言模型中的PII泄露,实现更好的隐私-实用性平衡。
2026-02-26 cs.CL cs.CR
Real-Time Privacy Risk Measurement with Privacy Tokens for Gradient Leakage
School of Information, Renmin University of China(中国人民大学信息学院);School of Computer and Big Data, Minjiang University(闽江学院计算机与大数据学院)
针对深度学习训练中梯度泄露的隐私风险,提出从私有梯度提取的隐私令牌结合数据特征,以互信息为指标实现实时风险度量,实验验证其有效性,推动隐私监控进步与模型安全部署。
2025-02-12 cs.CR cs.LG
Gradient Leakage Attack Resilient Deep Learning
Georgia Institute of Technology(佐治亚理工学院)
梯度泄漏攻击被认为是深度学习中最严重的隐私威胁之一,因为攻击者在迭代训练期间秘密地监视梯度更新,而不影响模型训练质量,并且使用泄漏的梯度秘密地重建敏感的训练数据,具有高攻击成功率。虽然具有差分隐私的深度学习是发布具有差分隐私保证的深度学习模型的事实标准,但我们表明具有固定隐私参数的差分隐私算法容易受到梯度泄漏攻击。本文研究了具有差分隐私(DP)的梯度泄漏弹性深度学习的替代方法。首先,我们分析了具有差分隐私的深度学习的现有实现,该实现使用固定的噪声方差来使用固定的隐私参数向所有层的梯度注入恒定的噪声。尽管提供了DP保证,但该方法精度低并且容易受到梯度泄漏攻击。其次,我们提出了一种梯度泄漏弹性深度学习方法,通过使用动态隐私参数的差分隐私保证。与导致恒定噪声方差的固定参数策略不同,不同的动态参数策略提供了引入自适应噪声方差和自适应噪声注入的替代技术,这些技术与差分私有模型训练期间的梯度更新趋势密切相关。最后,我们描述了四个补充指标来评估和比较替代方法。
2021-12-25 cs.CR cs.LG
Privacy Leakage in Smart Homes and Its Mitigation: IFTTT as a Case Study
灵巧家庭平台和自动化应用程序的组合为灵巧家庭用户带来了很多便利。然而,这也带来了隐私泄露的可能性。如果允许灵巧家庭平台日夜收集用户的所有事件,那么该平台不久将学习该用户的行为模式。在本文中,我们调查IFTTT,最流行的灵巧家庭平台之一,有能力以各种方式,几乎不引人注目的监视用户的日常生活。此外,我们提出了多种减轻隐私泄露的想法,这些想法共同形成了一个过滤和模糊(F&F)过程:首先,它过滤掉IFTTT平台不需要的事件;然后,它模糊剩余事件的值和频率。我们评估的F&F过程,结果表明,所提出的解决方案使IFTTT无法识别任何用户的行为模式。
2019-02-14 cs.CR
Synth-MIA: A Testbed for Auditing Privacy Leakage in Tabular Data Synthesis
University of California Los Angeles(加州大学洛杉矶分校)
Synth-MIA提出统一的模型无关威胁框架和开源测试平台,集成13种成员推理攻击方法,通过大规模基准实验揭示合成数据质量与隐私泄露的正相关关系,并证明差分隐私生成器PATEGAN在MIA攻击下仍可能失效,强调基于MIA审计的必要性。
2025-09-22 cs.CR stat.ML
A Graph Symmetrisation Bound on Channel Information Leakage under Blowfish Privacy
School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院);Australian Tax Office(澳大利亚税务局);School of Mathematics and Statistics, University of Melbourne(墨尔本大学数学与统计学院)
Blowfish隐私是差分隐私的最新概括,它可以提高效用,同时保持具有语义保证的隐私策略,这是推动计算机科学中差分隐私流行的一个因素。本文将Blowfish隐私与通信理论界提出的一种度量信息通道隐私损失的重要方法:最小熵泄漏联系起来。输入数据相邻关系中的对称性对于差分隐私和最小熵泄漏之间的已知连接是中心的。但是,虽然差分隐私具有很强的对称性,Blowfish相邻关系对应于任意简单的图形,由于该框架的灵活的隐私政策。要绑定的最小熵泄漏的河豚私人机制,我们组织我们的分析对称分区对应的轨道图自同构群。一个满足我们的渐近相等界的构造证明了紧性。
2021-10-13 cs.CR cs.IT cs.LG
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
联邦学习(FL)是一种新兴的分布式学习范式,具有默认的客户端隐私,因为客户端可以将敏感数据保存在其设备上,并且仅与联邦服务器共享本地训练参数更新。然而,最近的研究表明,FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法,该方法基于每个训练样本的客户端差分隐私,称为Fed-CDP。它有三个原创性的贡献。首先,我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁,即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法,被称为Fed-SDP,是不足以保护训练数据的隐私。其次,介绍了基于实例的客户端差分隐私算法Fed-CDP,给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析,并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三,形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡,并提出了一种动态衰减噪声注入策略,进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP(衰减)与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明,Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP,同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Speech Privacy Leakage from Shared Gradients in Distributed Learning
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Intuit AI Research(财捷人工智能研究院)
分布式机器学习范例,如联邦学习,最近已被采用在许多隐私关键的应用程序的语音分析。然而,这样的框架容易受到来自共享梯度的隐私泄露攻击。尽管在图像领域进行了广泛的努力,但对梯度语音隐私泄漏的探索非常有限。在本文中,我们探讨了在分布式学习环境中从共享梯度中恢复私人语音/说话人信息的方法。我们进行实验的关键字定位模型与两种不同类型的语音特征,通过测量原始和恢复的语音信号之间的相似性来量化泄漏的信息量。我们进一步证明了在分布式学习框架下,在不访问用户数据的情况下推断各种水平的侧信道信息(包括语音内容和说话人身份)的可行性。
2023-02-21 cs.CR cs.LG
PriMobiBench: Characterizing Visual Privacy Leakage in VLM-Driven Mobile GUI Agents
Tsinghua University(清华大学);Shandong University(山东大学);Wuhan University(武汉大学)
针对VLM驱动的移动GUI代理的视觉隐私泄露问题,提出首个基准PriMobiBench和数据集MobiLeak,量化了高成功率的敏感信息提取与用户画像风险,并验证了掩码缓解方案的有效性。
2026-09-15 cs.CR
Quantifying Differential Privacy under Temporal Correlations
差分隐私(DP)作为一种严格的隐私框架受到越来越多的关注。现有的研究采用传统的DP机制(例如,拉普拉斯机制)作为原语,其假设数据是独立的,或者对手不知道数据相关性。然而,现实世界中连续生成的数据往往是时间相关的,并且这种相关性可以被对手获取。在本文中,我们研究了在连续数据发布的背景下,时间相关性的传统DP机制的潜在隐私损失。首先,我们使用马尔可夫模型的时间相关性建模和分析的DP机制的隐私泄漏时,对手有这样的时间相关性的知识。我们的分析表明,DP机制的隐私泄漏可能会随着时间的推移而积累和增加。我们称之为临时隐私泄露。其次,为了测量这种隐私泄漏,我们设计了一个有效的算法来计算它在多项式时间。虽然时间隐私泄漏可能会随着时间的推移而增加,我们也表明,在某些情况下,它的上确界可能存在。第三,约束隐私损失,我们提出的机制,将任何现有的DP机制转化为一个对时间隐私泄漏。通过对合成数据的实验验证了该方法的有效性。
2017-03-16 cs.CR cs.DB
Behavioral Privacy Leakage in Agentic Negotiation: Formalizing and Mitigating Inference Attacks via Randomized Policies
Apple Inc.(苹果公司)
研究自主协商代理行为隐私泄露问题,设计自适应随机协商策略,联合保证差分隐私、报价序列收敛和高协商效用,在合成双边协商实验中降低对手推理准确率,保持高协商成功率和效用。
2026-07-09 cs.CR
Measuring and Controlling Split Layer Privacy Leakage Using Fisher Information
Pennsylvania State University(宾夕法尼亚州立大学);Meta AI;Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学)
拆分学习和推理建议运行跨客户端设备和云拆分的大型模型的训练/推理。然而,这样的模型分割强加了隐私问题,因为流经分割层的激活可能泄漏关于客户端的私有输入数据的信息。目前还没有好的方法来量化有多少私人信息通过分离层泄露,也没有好的方法来将隐私提高到所需的水平。在这项工作中,我们提出使用Fisher信息作为隐私度量来测量和控制信息泄漏。我们表明,费舍尔信息可以提供一个直观的理解有多少私人信息泄漏通过分裂层,在一个无偏重建攻击者的错误界的形式。然后,我们提出了一个隐私增强技术,ReFIL,可以强制执行用户所需的水平的费舍尔信息泄漏在分裂层,以实现高隐私,同时保持合理的效用。
2022-09-21 cs.CR cs.LG
The Economics of Privacy and Utility: Investment Strategies
由于个人信息的不受限制的披露,不可避免的隐私泄露激发了对健壮的隐私保护机制的广泛研究。然而,现有的研究大多局限于在静态环境下解决问题,而忽略了随着时间的推移隐私泄漏。不幸的是,这种隐私处理在实际环境中是不够的,在实际环境中,用户随着时间的推移连续地公开他们的个人信息,导致用户的敏感信息的累积泄漏。在本文中,我们考虑在有限的时间范围内的隐私泄漏和调查的最佳策略,以最大限度地提高所披露的数据的效用,同时限制有限的地平线隐私泄漏。我们认为一个简单的隐私机制,涉及压缩用户的数据之前,每次披露,以满足未来的隐私所需的约束。我们进一步激励几种算法来优化动态隐私效用权衡,并通过广泛的综合性能测试来评估它们的性能。
2022-07-04 cs.CR cs.GT cs.IT
Privacy Leakage Overshadowed by Views of AI: A Study on Human Oversight of Privacy in Language Model Agent
Northeastern University(东北大学);University of Washington(华盛顿大学)
该研究通过300人任务调查发现,人类监督语言模型智能体时易忽视隐私泄露,使有害披露占比从15.7%升至55%,还识别出六种隐私行为模式,为隐私保护型智能体系统设计提供参考。
2025-10-06 cs.AI cs.CR cs.HC
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology(华中科技大学)
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析,证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私,推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界,为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
CIPL: A Channel-Aware Framework for Recoverable Privacy Leakage in LLM Agents
Minjiang University(闽江学院);Renmin University of China(中国人民大学);RMIT University(皇家墨尔本理工大学)
CIPL提出一种通道感知评估框架,通过多阶段建模统一比较LLM智能体中隐私泄露的可恢复性,实验揭示存储标签不决定泄露,为异构流水线提供通用比较基准。
2026-09-21 cs.AI cs.CR
Privacy Leakage Avoidance with Switching Ensembles
Perspecta Labs(Perspecta实验室);University of Maryland(马里兰大学)
我们考虑成员推断攻击,在机器学习的主要隐私问题之一。这些最近开发的攻击已被证明成功地确定了给定样本是否属于受攻击机器学习模型训练的数据集,其置信度优于随机猜测。已经开发了几种方法来减轻这种隐私泄露,但是这些防御机制的折衷性能影响(即,受保护的机器学习模型的准确性和实用性)还没有得到很好的研究。我们提出了一种新的方法,隐私泄漏避免与开关集成(PASE),既可以防止当前的成员推断攻击,并与非常小的准确性惩罚,同时需要可接受的增加训练和推理时间。我们测试我们的PASE方法,以及目前最先进的PATE方法,在三个校准图像数据集,并分析其权衡。
2019-11-18 cs.CR cs.LG stat.ML
Analysis of Privacy Leakage in Federated Large Language Models
University of Florida(佛罗里达大学)
本研究针对适配大语言模型的联邦学习协议缺乏全面隐私分析的问题,设计两种有理论成功率保障的主动成员推理攻击,揭示主流大语言模型的隐私漏洞,并评估差分隐私机制下的隐私泄露情况。
2024-03-02 cs.CR cs.LG
CRFU: Compressive Representation Forgetting Against Privacy Leakage on Machine Unlearning
提出CRFU方案,通过最小化压缩表示与擦除数据的互信息并引入记忆约束和遗忘率,在仅1.5%精度损失下将隐私重建攻击防御效果提升约200%。
2025-02-27 cs.CR
A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage
研究指出现有文本数据净化方法仅评估显性标识符泄露,忽视文本中细微标记可能引发的重新识别风险,提出新框架量化个体隐私风险,发现辅助信息可推断敏感属性,揭示当前净化技术存在隐私虚假感。
2026-03-13 cs.CL cs.CR cs.LG
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage
UC Santa Barbara(加州大学圣巴巴拉分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Meta;United States Military Academy(美国军事学院)
提出LeakAgent框架,通过强化学习训练攻击智能体生成对抗性提示以提取LLM训练数据和系统提示,显著优于现有方法并能规避防御,助力安全对齐。
2025-08-08 cs.AI cs.CR cs.LG
Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering
Pennsylvania State University(宾夕法尼亚州立大学);Dartmouth College(达特茅斯学院)
研究联邦语言模型中隐私敏感数据泄露问题,发现中间轮次模型快照及恶意参与者篡改选择性权重会加剧泄露,提出无梯度攻击方法,提升了成员推理召回率和私有数据重建率,还给出客户端防御隐私风险的技术建议。
2026-07-21 cs.CR cs.LG
Predicting Privacy Leakage from Weight Spectral Density
University of the West of England(西英格兰大学)
本研究利用重尾自正则化框架下的廉价谱度量(如稳定秩和Log alpha-Norm)预测成员推理攻击的隐私泄露,发现其关联强于传统泛化差距,为可扩展隐私审计提供了新方向。
2026-09-11 cs.CR cs.LG cs.NE
Channel Leakage, Information-Theoretic Limitations of Obfuscation, and Optimal Privacy Mask Design for Streaming Data
New York University(纽约大学)
在本文中,我们首先引入了信道泄漏的概念,作为信道输入和信道输出之间的最小互信息。正如其名称所示,信道泄漏量化了对恶意接收器的最小信息泄漏。从广义上讲,它可以被看作是信道容量的双重概念,它表征了到目标接收机的最大信息传输。我们得到明确的公式的信道泄漏的情况下,白色高斯,有色高斯的情况下,和衰落的情况下。然后,我们利用这一概念调查的基本限制混淆的隐私失真权衡(以及隐私权权衡)的流数据,特别是,我们推导出分析权衡方程的固定的情况下,非固定的情况下,和有限时间的情况下。我们的研究结果还明确指出,如何设计的隐私面具在一个最佳的方式。
2020-09-29 cs.CR cs.IT cs.LG
SMOTE and Mirrors: Exposing Privacy Leakage from Synthetic Minority Oversampling
SAS;UCL(伦敦大学学院);UC Riverside(加州大学河滨分校)
本文揭示SMOTE在生成合成数据时存在隐私泄露问题,通过构建DistinSMOTE和ReconSMOTE两种攻击,证明其非隐私性并呼吁重新评估其在隐私敏感应用中的使用。
2026-03-02 cs.CR
Maximal Information Leakage based Privacy Preserving Data Disclosure Mechanisms
通常需要向公共领域公开训练数据,同时保护某些敏感标签的隐私。我们使用信息理论的措施来开发这样的隐私保护数据披露机制。我们的机制涉及扰动的方式,在隐私效用权衡的平衡的数据向量。我们使用输出数据向量和机密标签之间的最大信息泄漏作为我们的隐私度量。我们首先研究了理论上的Bernoulli-Gaussian模型,并研究了只有高斯分布的平均值可以被扰动时的隐私效用权衡。我们表明,最佳的解决方案是相同的情况下,当使用错误的概率在对手的效用进行测量。然后,我们考虑将该框架应用于数据驱动的环境,并提供对Sibson互信息的经验近似。通过对MNIST和FERG数据集进行实验,我们表明,我们提出的框架实现了相当于或更好的隐私比以前的方法的基础上互信息。
2019-04-04 cs.CR cs.IT math.IT
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University(杜克大学)
对抗训练(AT)对于获得对对抗攻击鲁棒的深度神经网络至关重要,但最近的研究发现,它也可能使模型更容易受到隐私攻击。在这项工作中,我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击,实际上适用于隐私敏感的联邦学习(FL)系统。使用我们的方法,攻击者可以利用在FL系统中的AT模型,以准确地重建用户的私人训练图像,即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Maximal $α$-Leakage for Quantum Privacy Mechanisms
本文提出最大 $α$-泄漏以量化量子 adversary 在量子隐私机制下获取敏感信息的能力,证明其由 measured Rényi entropy 和 capacity 决定,并建立了数据处理不等式、组合性质及正则化形式。
2024-03-21 cs.CR cs.IT math.IT
In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Oxford(牛津大学)
当从敏感数据中学习时,必须注意确保训练算法解决隐私问题。规范的教师集合的私有聚合(PATE)通过投票机制聚合(可能是分布式的)教师模型集合的预测来计算输出标签。该机制添加噪声以获得关于教师的训练数据的差分隐私保证。在这项工作中,我们观察到,这种使用噪声,这使得PATE预测随机,使新形式的泄漏的敏感信息。对于给定的输入,我们的对手利用这种随机性来提取潜在教师提交的投票的高保真直方图。从这些直方图中,对手可以了解输入的敏感属性,如种族,性别或年龄。虽然这种攻击并不直接违反差分隐私保证,但它显然违反了隐私规范和期望,如果不插入噪声以获得差分隐私,则根本不可能。事实上,与直觉相反,当我们添加更多噪声以提供更强的差分隐私时,攻击变得更容易。我们希望这能鼓励未来的工作从整体上考虑隐私,而不是将差分隐私视为灵丹妙药。
2022-09-22 cs.CR cs.LG
What Your Posts Reveal: A Benchmark and Agentic Framework for User-Level Privacy Leakage on Social Media
The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));Wuhan University(武汉大学)
针对社交媒体用户级多模态隐私泄露缺乏统一基准和评估指标的问题,提出SopriBench基准和隐私暴露分数(PES),并开发了无需训练的智能体框架Argus,通过跨帖子线索累积推理实现隐私推断,PES达0.55,较最强基线提升25%。
2026-06-05 cs.AI cs.CR cs.CY
SWAT: A System-Wide Approach to Tunable Leakage Mitigation in Encrypted Data Stores
本文提出SWAT,一种面向加密数据存储的系统级泄漏缓解方法,通过为键值、范围查询和动态工作负载量身定制安全概念和可调算法,在隐私与效率间实现精细权衡,性能优于零泄漏方案且具竞争力。
2024-05-15 cs.CR
Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs
Faculty of Engineering, Shenzhen MSU-BIT University(深圳北理莫斯科大学工程学院);Faculty of CMC, Shenzhen MSU-BIT University(深圳北理莫斯科大学计算机、数学与力学学院);Department of CDS, Indian Institute of Science(印度科学学院计算机与数据科学系)
本文针对文档理解MLLMs的KIE任务,揭示其在视觉证据不足时会通过记忆的字段关系泄露隐私,提出DRUF框架与DocPrivacyBench基准,实验显示DRUF可提升泄露抑制效果并维持KIE性能。
2026-08-14 cs.CR cs.CV cs.MM
Probing Privacy Leaks in LLM-based Code Generation via Test Generation
Nanjing University(南京大学);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Soochow University(苏州大学);Hainan University(海南大学)
本文提出一种模拟实际隐私相关代码生成场景的管道,采用测试驱动策略提取生成测试用例中的记忆信息,通过自动构建隐私特征库提高隐私泄露检测效果,实验表明检测到的隐私泄露增加2.56倍。
2026-05-14 cs.CR cs.SE
Membership Inference Attacks fueled by Few-Short Learning to detect privacy leakage tackling data integrity
University of Granada(格拉纳达大学);ADIA Lab(ADIA实验室);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所(DaSCI))
本文提出基于少样本学习的成员推断攻击模型 FeS-MIA 和可解释的 Log-MIA 隐私度量,以更低资源成本评估深度学习模型的隐私泄露与训练数据完整性,并在图像分类和语言建模任务上验证其优于现有方法。
2025-03-12 cs.AI cs.CR
ContextLeak: Auditing Leakage in Private In-Context Learning Methods
University of Southern California(南加州大学)
本文提出ContextLeak框架,用于评估私有上下文学习中信息泄露的最坏情况,通过插入标记检测敏感信息,并揭示现有方法在隐私与效用之间的权衡不足。
2026-04-20 cs.CL cs.CR
FlowIntent: Detecting Privacy Leakage from User Intention to Network Traffic Mapping
移动设备的指数增长引发了对敏感数据泄露的担忧。在本文中,我们第一次尝试从用户的角度来识别可疑的位置相关的HTTP传输流,通过回答这个问题:传输是用户的意图?与以前主要依赖于一组给定的可疑主机名的网络级检测方案相比,我们的方法可以更好地适应应用程序市场的快速增长和不断演变的泄漏模式。另一方面,与现有的系统级检测方案相比,建立在程序污点分析,其中所有敏感的传输被视为非法的,我们的方法更好地满足用户的需求,更容易部署。特别是,我们的概念验证实现(FlowIntent)捕获了TaintDroid(Android平台上最先进的动态污点分析系统)遗漏的敏感传输。使用从20,000多个应用程序中收集的1002个位置共享实例进行评估表明,我们的方法在检测非法位置传输方面达到了约91%的准确率。
2016-07-25 cs.CR
Auditing and Mitigating Privacy Leakage in Cloud-Edge Collaborative Decoding
The Hong Kong Polytechnic University(香港理工大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);School of Software, Tsinghua University(清华大学软件学院)
本文针对云边协同解码范式的隐私风险提出防御机制CoVeil,可降低数据泄露最多87.2%且准确率损失极小,改善了隐私-效用权衡。
2026-09-01 cs.AI cs.CR
Evaluating Differential Privacy on Correlated Datasets Using Pointwise Maximal Leakage
本文利用逐点最大泄漏(PML)定量评估相关数据集上的差分隐私(DP),证明纯DP机制的PML可任意接近无扰动释放机制,从而揭示DP在相关数据场景下的根本局限。
2025-02-08 cs.CR cs.IT math.IT
Securing Distributed SGD against Gradient Leakage Threats
Georgia Institute of Technology(佐治亚理工学院);Fordham University(福特汉姆大学);Soochow University(苏州大学);Florida International University(佛罗里达国际大学)
本文提出一种基于差分隐私自适应噪声注入的梯度泄漏鲁棒分布式SGD方法,通过跟踪逐样本梯度趋势实现噪声对齐,在五个基准数据集上优于现有方法,兼顾准确性、隐私与攻击鲁棒性。
2023-05-10 cs.CR cs.LG
DeepLeak: Privacy Enhancing Hardening of Model Explanations Against Membership Leakage
Department of Computer and Information Science(计算机与信息科学系);University of Michigan-Dearborn(密歇根大学-迪尔伯恩分校)
DeepLeak通过系统化方法减少模型解释中的成员泄露,提升隐私保护与可解释性的平衡。
2026-01-06 cs.CR cs.LG
Revisiting Privacy Leakage in Machine Unlearning: Membership Inference Beyond the Forgotten Set
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);Meta Inc.(Meta公司)
本文提出TC-UMIA,首个三分类遗忘成员推断攻击,通过比较遗忘前后模型预测来区分遗忘集、保留集和未见集,揭示遗忘操作会额外增加保留集的隐私风险。
2026-05-30 cs.CR
CanaryBench: Stress Testing Privacy Leakage in Cluster-Level Conversation Summaries
Adobe Inc(Adobe公司)
CanaryBench通过生成包含秘密字符串的合成对话,测试集群级对话摘要中的隐私泄露风险,并提出最小防御措施以减少泄露。
2026-01-25 cs.AI cs.CR
Uniqueness ratio as a predictor of a privacy leakage
University of Essex(埃塞克斯大学)
本研究提出通过唯一性比率预测连接前隐私泄露风险,为数据工程师提供可解释的预连接风险评估信号。
2025-12-07 cs.CR cs.DB cs.LG
InfoDecom: Decomposing Information for Defending Against Privacy Leakage in Split Inference
InfoDecom通过分解和去除冗余信息并注入校准噪声,实现了在分割推断中更优的隐私保护与效用平衡。
2026-01-03 cs.AI cs.CR cs.DC
Cross-Flow Correlations Survive Synthesis: Measuring Source-Level Privacy Leakage in Synthetic Network Traces
Princeton University(普林斯顿大学)
本文揭示SynNetGens在合成网络轨迹中保留跨流行为相关性,导致源级隐私泄露,提出TraceBleed攻击并评估五种数据集和六种SynNetGens,发现流或数据包级差分隐私无法保护源隐私,除非降质到不可用水平。
2026-05-08 cs.CR cs.NI
Differential Privacy: Gradient Leakage Attacks in Federated Learning Environments
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心);University of Deusto (Bilbao, Spain)(德乌斯大学)
本研究针对联邦学习中的梯度泄露攻击问题,评估DP-SGD与PDP-SGD两种差分隐私机制的防御效果,发现DP-SGD可有效降低泄露风险但存在效用权衡,为分布式学习隐私防护提供实证依据。
2025-10-27 cs.CR cs.DC cs.LG