Variational Leakage: The Role of Information Complexity in Privacy Leakage
University of Geneva（日内瓦大学）；Imperial College London（帝国理工学院）
我们研究了信息复杂性的作用，在隐私泄漏的属性的对手的利益，这是不知道先验的系统设计者。考虑到有监督的表示学习设置，并使用神经网络来参数化信息量的变化范围，我们研究了以下因素对信息泄漏量的影响：信息复杂度正则化子权重、潜在空间维数、已知效用和未知敏感属性集的基数、效用与敏感属性之间的相关性，以及对对手利益的敏感属性的潜在偏见。我们在有色MNIST和CelebA数据集上进行了广泛的实验，以评估信息复杂性对内在泄漏量的影响。
2021-06-08 cs.CR cs.LG
The Right to Be Forgotten under Correlation: Privacy-Utility Tradeoffs
Technical University of Munich（慕尼黑工业大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Rutgers University（罗格斯大学）
该研究针对关联数据集的隐私保护算法，分析局部机制与二元马尔可夫关联下隐私-效用的最优权衡，将机制设计分解为序列局部问题，最优机制为有限时域确定性马尔可夫决策过程的解。
2026-10-14 cs.CR cs.IT math.IT
Privacy Against Brute-Force Inference Attacks
隐私保护数据发布是关于披露有用数据的信息，同时保留敏感数据的隐私。假设敏感数据受到暴力攻击者的威胁，我们将猜测泄漏定义为一种隐私度量，基于猜测的概念。在研究了该测度的性质后，我们通过一个线性规划，以任意$f$-信息作为效用测度，得到了最优效用-隐私权衡，并证明了最优效用是隐私泄露预算的凹分段线性函数.
2019-02-01 cs.CR cs.IT math.IT
"Training robust watermarking model may hurt authentication!'' Exploring and Mitigating the Identity Leakage in Robust Watermarking
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术产业开发区（滨江）区块链与数据安全研究所）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；University of Connecticut（康涅狄格大学）
本文提出W-IR框架，通过引入随机平滑技术与残差信息损失策略，平衡鲁棒性和身份泄露缓解，提升水印认证的可靠性。
2026-05-10 cs.CR
Rethinking Disclosure Prevention with Pointwise Maximal Leakage
该研究基于逐点最大泄露（PML）重构披露预防，提出按秘密特征熵区分披露与隐藏的效用—隐私框架，证明可提供独立于敌手先验的推断隐私保证，并兼容差分隐私、支持灵活机制设计。
2024-10-25 cs.CR cs.IT math.IT
REAN: Reconstruction-aware ECG Anonymization Based on Privacy--Utility Orthogonality
Chung-Ang University（Chung-Ang大学）
研究针对共享心电图隐私-效用权衡问题，提出REAN方法，利用一维U-Net及冻结的分类器损失训练重建信号，在四个数据库上实现强隐私-效用平衡，降低重新识别率，保持诊断性能及架构下的保护。
2026-07-08 cs.CR cs.LG
A Survey of What to Share in Federated Learning: Perspectives on Model Utility, Privacy Leakage, and Communication Efficiency
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Polytechnic University（香港理工大学）
本文从“共享什么”的新视角系统综述了联邦学习，提出基于共享模型、合成数据和知识的新分类法，分析了隐私攻击脆弱性与防御机制，并通过实验比较了不同共享方式的学习性能、通信开销及隐私泄露情况。
2024-02-18 cs.CR cs.LG
DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning
University of Michigan, Dearborn（密歇根大学迪尔伯恩分校）
差分隐私（DP）已经成为一种严格的形式主义，用于推理可量化的隐私泄露。在机器学习（ML）中，DP已被用于限制训练样本的推断/公开。之前的工作在整个ML管道中利用DP，尽管是孤立的，但通常集中在梯度扰动等机制上。在本文中，我们提出了DP-UTIL，一个跨ML管道的DP整体效用分析框架，重点关注输入扰动，目标扰动，梯度扰动，输出扰动和预测扰动。给定一个关于隐私敏感数据的ML任务，DP-UTIL使ML隐私从业者能够对DP在这五个扰动点的影响进行全面的比较分析，从模型效用损失、隐私泄露和真正揭示的训练样本数量方面进行衡量。我们使用两种代表性的学习算法（逻辑回归和深度神经网络）对成员推断攻击进行评估，在视觉，医疗和金融数据集上对DP-UTIL进行分类任务作为案例研究攻击。我们结果的亮点之一是预测扰动在所有数据集的所有模型上始终实现最低的效用损失。在逻辑回归模型中，与其他扰动技术相比，客观扰动导致最低的隐私泄露。对于深度神经网络，梯度扰动导致最低的隐私泄漏。此外，我们的研究结果显示，真实的记录表明，隐私泄漏的增加，差异私人模型揭示了更多的成员样本。总的来说，我们的研究结果表明，为了做出关于使用哪种扰动机制的明智决定，ML隐私从业者需要检查优化技术（凸与非凸），扰动机制，类的数量和隐私预算之间的动态关系。
2021-12-24 cs.CR cs.LG
Computing Maximal Per-Record Leakage and Leakage-Distortion Functions for Privacy Mechanisms under Entropy-Constrained Adversaries
Lanzhou University of Finance and Economics（兰州财经大学）；Key Laboratory of Smart Commerce of Gansu Province（甘肃省智慧商务重点实验室）；China Mobile Group Design Institute Co., Ltd.（中国移动集团设计院有限公司）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文研究在熵约束攻击者模型下，最大单记录泄露、泄露-失真权衡及失真最小化问题，提出高效交替优化算法并验证其在二元对称信道和模数求和查询中的有效性。
2026-03-26 cs.CR
The Hidden Cost of Correlation: Rethinking Privacy Leakage in Local Differential Privacy
本文系统分析本地差分隐私中相关性引发的隐私泄露，揭示现有假设的不足，并提出首个面向一般近似LDP机制的CPL量化算法框架及新基准，以优化真实数据治理中的隐私-效用权衡。
2025-08-18 cs.CR cs.IT math.IT
PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing
University of Sheffield（谢菲尔德大学）；University of Waterloo（滑铁卢大学）
PATCH通过针对性电路修补减少语言模型中的PII泄露，实现更好的隐私-实用性平衡。
2026-02-26 cs.CL cs.CR
Bottlenecks CLUB: Unifying Information-Theoretic Trade-offs Among Complexity, Leakage, and Utility
University of Geneva（日内瓦大学）；Harvard University（哈佛大学）；Imperial College London（帝国理工学院）
瓶颈问题是近年来在机器学习和信息论领域受到越来越多关注的一类重要的优化问题。它们被广泛应用于生成模型、公平机器学习算法、隐私保护机制的设计，并作为信息论性能界出现在各种多用户通信问题中。在这项工作中，我们提出了一个一般的优化问题，称为复杂性泄漏效用瓶颈（CLUB）模型，它（i）提供了一个统一的理论框架，概括了大多数最先进的文献中的信息理论隐私模型，（ii）建立了一个新的解释流行的生成和歧视模型，（iii）构建了新的见解生成压缩模型，以及（iv）可以用于公平生成模型。我们首先制定的CLUB模型作为一个复杂性约束的隐私效用优化问题。然后，我们将其与密切相关的瓶颈问题，即信息瓶颈（IB），隐私漏斗（PF），确定性IB（DIB），条件熵瓶颈（CEB）和条件PF（CPF）联系起来。我们表明，俱乐部模型概括了所有这些问题，以及大多数其他信息理论的隐私模型。然后，我们构建了深变分CLUB（DVCLUB）模型，采用神经网络参数化相关的信息量的变分近似。在这些信息量的基础上，我们提出了监督和无监督DVCLUB模型的统一目标。在无监督设置中利用DVCLUB模型，然后将其与最先进的生成模型连接起来，例如变分自动编码器（VAE），生成对抗网络（GANs）以及Wasserstein GAN（WGAN），Wasserstein自动编码器（WAE）和对抗自动编码器（AAE）模型通过最优传输（OT）问题。然后，我…
2022-07-11 cs.CR cs.IT cs.LG
InfoDecom: Decomposing Information for Defending Against Privacy Leakage in Split Inference
InfoDecom通过分解和去除冗余信息并注入校准噪声，实现了在分割推断中更优的隐私保护与效用平衡。
2026-01-03 cs.AI cs.CR cs.DC
SelectiveShield: Lightweight Hybrid Defense Against Gradient Leakage in Federated Learning
针对联邦学习中的梯度泄漏，提出SelectiveShield轻量级混合防御框架，结合选择性同态加密与自适应差分隐私，利用Fisher信息识别关键参数，在保持模型效用的同时显著降低泄漏风险。
2025-08-06 cs.AI cs.CR cs.DC
Behavioral Privacy Leakage in Agentic Negotiation: Formalizing and Mitigating Inference Attacks via Randomized Policies
Apple Inc.（苹果公司）
研究自主协商代理行为隐私泄露问题，设计自适应随机协商策略，联合保证差分隐私、报价序列收敛和高协商效用，在合成双边协商实验中降低对手推理准确率，保持高协商成功率和效用。
2026-07-09 cs.CR
Assessing Privacy Leakage in Synthetic 3-D PET Imaging using Transversal GAN
Data Science Institute, University of British Columbia（不列颠哥伦比亚大学数据科学研究所）；BC Cancer Research Institute（不列颠哥伦比亚癌症研究所）；University of British Columbia（不列颠哥伦比亚大学）
在医学图像上训练用于疾病诊断或图像分割的计算机视觉相关算法在很大程度上是由于隐私问题而困难的。出于这个原因，生成图像模型非常受欢迎，以促进数据共享。然而，3-D生成模型的研究不足，他们的隐私泄漏的调查是必要的。我们介绍了我们的3-D生成模型，GAN（TrGAN），使用头部和颈部PET图像的肿瘤掩模作为一个案例研究。我们为我们的模型定义了图像保真度，实用性和隐私性的定量测量。这些指标在训练过程中进行评估，以确定理想的保真度，实用性和隐私权衡，并建立这些参数之间的关系。我们证明了TrGAN的训练样本容易受到攻击，并且攻击者可以以近乎完美的准确度（AUC = 0.99）识别出哪些样本用于训练。我们还表明，只访问生成器的攻击者无法可靠地分类样本是否用于训练（AUC = 0.51）。这表明，TrGAN发生器，而不是鉴别器，可以用于共享合成的3-D PET数据，具有最小的隐私风险，同时保持良好的实用性和保真度。
2023-10-31 cs.CR cs.CV cs.LG
SALT: Steering Activations towards Leakage-free Thinking in Chain of Thought
Independent（独立研究者）；RAND；University of Maryland（马里兰大学）；META；Algoverse
SALT通过在链式思维中注入引导向量减少隐私泄露，提升模型隐私保护能力
2025-11-21 cs.AI cs.CL cs.CR
CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents
University of Central Florida（中佛罗里达大学）
CredLeakBench通过全面基准测试评估LLM代理在钓鱼和身份验证场景中的凭证泄露风险，发现所有模型均易受攻击，且现有防御措施在减少泄露时损害真实任务性能，强调需兼顾安全与效用。
2026-10-08 cs.AI cs.CR
Quantifying Privacy Leakage in Split Inference via Fisher-Approximated Shannon Information Analysis
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Information Sciences & Technology Department, Pennsylvania State University（宾夕法尼亚州立大学信息与技术系）
针对拆分推理的隐私泄露量化难题，本文提出基于Fisher信息的隐私度量FSInfo与对应防御机制FSInfoGuard，可精准量化隐私风险，实现优于现有方案的隐私-效用权衡。
2025-11-18 cs.CR
Barycentric and Pairwise Renyi Quantum Leakage
本文提出重心与成对Renyi量子泄漏度量，用于量子系统隐私分析，具有良好性质且可计算，并证明其限制信息泄漏，同时给出量子机器学习中的隐私-效用权衡公式。
2024-02-09 cs.CR cs.IT math.IT
On the privacy-utility trade-off in differentially private hierarchical text classification
SAP（思爱普）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
分层文本分类是将文本文档分类为类和子类的层次结构。虽然人工神经网络已被证明可用于执行此任务，但不幸的是，由于训练数据记忆，它们可能会将训练数据信息泄漏给对手。在模型训练期间使用差分隐私可以减轻对训练模型的泄漏攻击，使模型能够以降低模型准确性为代价安全地共享。这项工作调查的隐私效用权衡分层文本分类与差分隐私保证，并确定神经网络架构，提供优越的权衡。为此，我们使用白盒成员推断攻击经验评估三个广泛使用的神经网络架构的信息泄漏。我们发现，大的差分隐私参数已经足以完全减轻成员推断攻击，从而导致模型效用的适度下降。更具体地说，对于具有长文本的大型数据集，我们观察到基于transformer的模型可以实现整体有利的隐私-效用权衡，而对于具有较短文本的较小数据集，卷积神经网络更可取。
2021-12-09 cs.CL cs.CR cs.LG
Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens
NYU Abu Dhabi（纽约大学阿布扎比分校）；Queen’s University Belfast（贝尔法斯特女王大学）
机器学习（ML）架构已经应用于涉及敏感数据的几个应用程序，其中需要保证用户的数据隐私。差分隐私随机梯度下降（DPSGD）是训练隐私保护模型的最新方法。然而，DPSGD带来相当大的准确性损失，导致次优的隐私/效用权衡。为了研究更好的隐私-效用权衡的新基础，这项工作提出了以下问题：（i）模型的超参数是否对ML模型的隐私保护属性有任何内在影响，以及（ii）模型的超参数是否对差异隐私模型的隐私/效用权衡有任何影响。我们提出了一个全面的设计空间探索不同的超参数，如激活函数的选择，学习率和使用批量归一化。有趣的是，我们发现，效用可以通过使用有界的Bounded Bounded Bounded U作为具有相同隐私保护特性的激活函数来提高。通过对激活函数的直接替换，我们在MNIST（96.02\%）、FashionMnist（84.76\%）和CIFAR-10（44.42\%）上实现了新的最先进的准确性，而无需对DPSGD的学习过程基础进行任何修改。
2023-03-03 cs.CR cs.CV cs.LG
Privacy Against Statistical Inference
我们提出了一个通用的统计推断框架，以捕捉隐私的威胁所引起的用户发布的数据，一个被动的，但好奇的对手，公用事业的限制。我们表明，应用这个一般框架的设置，对手使用的自我信息成本函数自然会导致一个非渐近信息理论的方法来表征最佳可实现的隐私效用约束。基于这些结果，我们引入了两个隐私度量，即平均信息泄漏和最大信息泄漏。我们证明，在这两个指标下，得到的设计问题，找到最佳的映射从用户的数据到隐私保护输出可以被铸造作为一个修改后的率失真问题，反过来，可以制定为一个凸规划。最后，我们比较了我们的框架与差分隐私。
2012-10-08 cs.CR cs.IT math.IT
A Graph Symmetrisation Bound on Channel Information Leakage under Blowfish Privacy
School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）；Australian Tax Office（澳大利亚税务局）；School of Mathematics and Statistics, University of Melbourne（墨尔本大学数学与统计学院）
Blowfish隐私是差分隐私的最新概括，它可以提高效用，同时保持具有语义保证的隐私策略，这是推动计算机科学中差分隐私流行的一个因素。本文将Blowfish隐私与通信理论界提出的一种度量信息通道隐私损失的重要方法：最小熵泄漏联系起来。输入数据相邻关系中的对称性对于差分隐私和最小熵泄漏之间的已知连接是中心的。但是，虽然差分隐私具有很强的对称性，Blowfish相邻关系对应于任意简单的图形，由于该框架的灵活的隐私政策。要绑定的最小熵泄漏的河豚私人机制，我们组织我们的分析对称分区对应的轨道图自同构群。一个满足我们的渐近相等界的构造证明了紧性。
2021-10-13 cs.CR cs.IT cs.LG
On the relation between Differential Privacy and Quantitative Information Flow
差分隐私是在统计数据库社区中出现的一个概念，作为对在执行统计查询时保护数据库参与者的隐私问题的回应。其思想是，如果获得数据库$x$的某个答案的可能性与在相邻数据库上获得相同答案的可能性没有太大差异，即，仅针对一个个体的数据库不同于$x$，则随机化查询满足差分隐私。信息流是一个安全领域，涉及控制程序和协议中机密信息的泄漏问题。如今，量化和推理泄漏的最成熟的方法之一是基于信息论的雷尼最小熵版本。在本文中，我们批判性地分析了差分隐私的概念，由雷尼敏信息论提供的概念框架。我们发现，有一个密切的联系之间的差分隐私和泄漏，由于图的对称性诱导的邻接关系。此外，我们考虑了随机答案的效用，它衡量了其预期的准确度。我们专注于某些类型的效用函数称为“二进制”，这与雷尼min互信息有密切的对应关系。同样，事实证明，差分隐私和效用之间可能存在紧密的对应关系，这取决于由邻接关系和查询引起的对称性。根据这些对称性，我们还可以建立一个最优效用随机化机制，同时保持所需的差分隐私水平。我们的主要贡献是一种结构，可以诱导的邻接关系和查询，以及如何使用它们来推导出的泄漏的界限，并实现最佳效用的研究。
2011-09-30 cs.CR cs.LO
Fed-AugMix: Balancing Privacy and Utility via Data Augmentation
针对联邦学习中的梯度泄露攻击，提出基于AugMix数据增强的框架，通过可控增强和JS散度嵌入失真，实现隐私与效用的平衡，并提升模型性能。
2024-12-18 cs.CR
PrivTru: A Privacy-by-Design Data Trustee Minimizing Information Leakage
本文提出数据受托方实例 PrivTru，通过计算响应查询所需的最小信息量，在保持数据效用前提下可证明地最小化信息泄露。
2025-06-06 cs.CR
Hyperparameter Optimization for SecureBoost via Constrained Multi-Objective Federated Learning
School of Computer Science, Beihang University（北京航空航天大学计算机学院）；Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
针对 SecureBoost 超参数只凭启发式优化效用且存在标签泄露的问题，提出 CMOSB 约束多目标算法，联合权衡效用损失、训练成本与隐私泄露，并用 ICA 评估隐私及给出防御措施。
2024-04-06 cs.CR cs.LG
Learning With Differential Privacy
University of Kalyani（卡利亚尼大学）；National Institute of Science, Education and Research Bhubaneswar（布巴内斯瓦尔国家科学教育与研究学院）；Homi Bhaba National Institute（霍米·巴巴国家学院）
如果数据包含敏感信息，则数据泄漏可能会对个人产生极端影响。加密解密、端点保护、入侵检测系统等常见预防方法容易发生泄露。差分隐私提供了适当的保护以防止泄漏的承诺，因为它在收集数据时使用了随机响应技术，该技术承诺具有更好的实用性的强隐私。差分隐私允许人们通过描述数据组的模式来访问数据森林，而不公开任何单独的树。目前，领先的科技公司和学术界对差分隐私的适应鼓励作者详细探讨这个话题。差分隐私的不同方面，它的应用在隐私保护和信息泄漏，比较讨论，在这一领域的当前研究方法，它在现实世界中的效用以及权衡-将被讨论。
2020-06-11 cs.CR cs.LG stat.ML
BettiSplit: Topology-Guided Privacy-Aware Split Learning Against Feature Inversion and Gradient Leakage
Nottingham Trent University（诺丁汉特伦特大学）；King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）
研究针对分割学习中因分割位置不当致隐私泄露问题，基于持久贝蒂复杂度提出拓扑引导框架，引入BettiSafe策略，提升对特征反转抗性，保持准确率，还通过正则化实现隐私效用权衡，凸显拓扑复杂度在分割学习中的作用。
2026-07-28 cs.AI cs.CR cs.LG
Trading Off Privacy, Utility and Efficiency in Federated Learning
Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
本研究提出兼容横纵向联邦学习的统一框架，量化隐私泄露、效用损失与效率下降的权衡关系，推导NFL定理，并分析主流保护机制的相关下界，为参数选择提供指导。
2023-02-21 cs.CR cs.DC cs.LG
Exploring the Integration of Differential Privacy in Cybersecurity Analytics: Balancing Data Utility and Privacy in Threat Intelligence
University of Chadli Bendjedid, Faculty of Sciences & Technology（查德利·本杰迪德大学，科学与技术学院）
本文探讨了差分隐私在网络安全分析中的应用，通过平衡数据效用与隐私保护，提升威胁情报的安全共享能力。
2026-01-01 cs.CR
Optimal Defenses Against Gradient Reconstruction Attacks
Peking University（北京大学）；Columbia University（哥伦比亚大学）；New York University（纽约大学）
本文针对联邦学习中的梯度重建攻击，推导重建误差理论下界，并定制参数与模型特异的噪声和剪枝防御，实现数据保护与模型效用的最优权衡。
2024-11-06 cs.AI cs.CR cs.LG
Information Leakage Games
我们考虑一个博弈论的设置来模拟攻击者和防御者之间的信息流的背景下，相互作用，并对他们的最佳策略的原因。与标准博弈论相反，在我们的博弈中，混合策略的效用是防守者纯行动分布的凸函数，而不是其效用的期望值。然而，博弈论的重要属性，特别是存在一个纳什均衡，仍然适用于我们的（零和）泄漏游戏，我们提供算法来计算相应的最优策略。作为典型的（同时）博弈论，最优策略通常是混合的，即，概率，对于攻击者和防御者。从信息流的角度来看，这是预期的情况下的后卫，因为众所周知，随机化的系统设计水平可能有助于减少信息泄漏。关于攻击者，然而，这似乎是第一个工作（w.r.t.信息流中的文献）形式上证明了在某些情况下，最优攻击策略必然是概率性的。
2017-08-21 cs.CR cs.GT cs.IT
DeepLeak: Privacy Enhancing Hardening of Model Explanations Against Membership Leakage
Department of Computer and Information Science（计算机与信息科学系）；University of Michigan-Dearborn（密歇根大学-迪尔伯恩分校）
DeepLeak通过系统化方法减少模型解释中的成员泄露，提升隐私保护与可解释性的平衡。
2026-01-06 cs.CR cs.LG
PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window
Meta
研究大语言模型上下文窗口内隐私泄露问题，引入PANOPTICON管道和数据集，由Meta模型生成含PII片段的提示，测量数据集多样性评估真实性，通过案例展示其在理解提示反转攻击中的效用及为LLM隐私研究奠基。
2026-07-28 cs.AI cs.CR
Metric-Normalized Posterior Leakage (mPL): Attacker-Aligned Privacy for Joint Consumption
Department of Computer Science and Engineering, University of North Texas, Denton, TX, USA（计算机科学与工程系，北卡罗来纳州立大学达顿分校）；Department of Electrical Engineering, University of North Texas, Denton, TX, USA（电气工程系，北卡罗来纳州立大学达顿分校）
本文提出mPL，一种攻击对齐的后验几率偏移度量，证明在联合观察下，mPL与mDP等价，通过AmPL框架有效控制后验泄露，降低隐私泄露风险。
2026-05-01 cs.CR cs.LG
HyObscure: Hybrid Obscuring for Privacy-Preserving Data Publishing
Shanghai University of Finance and Economics（上海财经大学）；Beihang University（北京航空航天大学）
在隐私保护数据发布任务中，最大限度地减少隐私泄露同时确保数据效用是数据持有者的关键问题。大多数现有的研究只关注一种类型的数据，并采取单一的模糊方法，\eg，混淆或泛化，以实现隐私-效用权衡，这是不足以保护现实生活中的异构数据，很难防御日益增长的机器学习为基础的推理攻击。本文针对异构数据保护中同时采用泛化和混淆操作的隐私保护数据发布问题进行了初步研究。为此，我们首先提出了新的隐私和效用量化措施，并制定了混合隐私保护数据模糊问题，以考虑泛化和模糊的联合效应。然后，我们设计了一种新的混合保护机制，称为HyObscure，交叉迭代优化的泛化和混淆操作的最大隐私保护在一定的效用保证。从理论上证明了HyObscure算法迭代过程的收敛性和隐私泄露的界。大量的实验表明，HyObscure显着优于各种国家的最先进的基线方法时，面对各种推理攻击在不同的情况下。HyObscure还可以线性扩展到数据大小，并在不同的关键参数下表现稳健。
2021-12-15 cs.AI cs.CR
Exploring Privacy Leakage and Data Disclosure Violations in the MacOS Application Ecosystem
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Brandeis University（布兰迪斯大学）
本文通过NutriScan框架分析1000个macOS应用，发现多数应用存在数据访问未披露、外泄等隐私违规问题，揭示了桌面应用的隐私风险并提出缓解措施。
2026-08-07 cs.CR
Privacy Leakage Avoidance with Switching Ensembles
Perspecta Labs（Perspecta实验室）；University of Maryland（马里兰大学）
我们考虑成员推断攻击，在机器学习的主要隐私问题之一。这些最近开发的攻击已被证明成功地确定了给定样本是否属于受攻击机器学习模型训练的数据集，其置信度优于随机猜测。已经开发了几种方法来减轻这种隐私泄露，但是这些防御机制的折衷性能影响（即，受保护的机器学习模型的准确性和实用性）还没有得到很好的研究。我们提出了一种新的方法，隐私泄漏避免与开关集成（PASE），既可以防止当前的成员推断攻击，并与非常小的准确性惩罚，同时需要可接受的增加训练和推理时间。我们测试我们的PASE方法，以及目前最先进的PATE方法，在三个校准图像数据集，并分析其权衡。
2019-11-18 cs.CR cs.LG stat.ML
Learning to Censor by Noisy Sampling
Massachusetts Institute of Technology（麻省理工学院）；Delhi Technological University（德里理工大学）
点云是一种越来越普遍的输入方式，随着深度学习的最新进展，可以有效地处理原始信号。该信号通常可能无意地捕获敏感信息，该敏感信息可能泄漏数据所有者不想共享的场景的语义和几何属性。这项工作的目标是在从点云学习时保护敏感信息;通过在点云被释放用于下游任务之前审查敏感信息。具体来说，我们专注于保持效用的感知任务，同时减轻属性泄漏攻击。关键的激励洞察力是利用点云上感知任务的局部显着性来提供良好的隐私-效用权衡。我们通过一种称为噪声采样审查（CBNS）的机制来实现这一点，该机制由两个模块组成：i）不变采样器：一个可微分的点云采样器，它学习去除对效用不变的点; ii）噪声失真器：它学习扭曲采样点，以将敏感信息与效用解耦，并减轻隐私泄露。我们通过与最先进的基线和关键设计选择的敏感性分析进行广泛的比较，验证了CBNS的有效性。结果表明，CBNS在多个数据集上实现了卓越的隐私-效用权衡。
2022-03-23 cs.CR cs.CV cs.LG
PrivCode: When Code Generation Meets Differential Privacy
University of Virginia（弗吉尼亚大学）；Monash University and CSIRO’s Data61（蒙纳士大学和CSIRO数据61）；Carnegie Mellon University（卡内基梅隆大学）
PrivCode是一种专门设计用于代码数据集的差分隐私合成器，通过两阶段框架提升隐私和效用，生成高效用代码并保护敏感数据。
2026-10-30 cs.CR
Mitigating Private Data Leakage in LLMs with Whiteout
University of Chicago（芝加哥大学）
针对LLM记忆并泄露个人敏感信息的问题，本文提出Whiteout工具，通过精确混淆样本覆盖真实PSI，在多种LLM上验证其有效防泄露且对模型效用和安全影响极小，优于现有方法。
2026-11-11 cs.AI cs.CR
ContextLeak: Auditing Leakage in Private In-Context Learning Methods
University of Southern California（南加州大学）
本文提出ContextLeak框架，用于评估私有上下文学习中信息泄露的最坏情况，通过插入标记检测敏感信息，并揭示现有方法在隐私与效用之间的权衡不足。
2026-04-20 cs.CL cs.CR
Measuring and Controlling Split Layer Privacy Leakage Using Fisher Information
Pennsylvania State University（宾夕法尼亚州立大学）；Meta AI；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）
拆分学习和推理建议运行跨客户端设备和云拆分的大型模型的训练/推理。然而，这样的模型分割强加了隐私问题，因为流经分割层的激活可能泄漏关于客户端的私有输入数据的信息。目前还没有好的方法来量化有多少私人信息通过分离层泄露，也没有好的方法来将隐私提高到所需的水平。在这项工作中，我们提出使用Fisher信息作为隐私度量来测量和控制信息泄漏。我们表明，费舍尔信息可以提供一个直观的理解有多少私人信息泄漏通过分裂层，在一个无偏重建攻击者的错误界的形式。然后，我们提出了一个隐私增强技术，ReFIL，可以强制执行用户所需的水平的费舍尔信息泄漏在分裂层，以实现高隐私，同时保持合理的效用。
2022-09-21 cs.CR cs.LG
Auditing and Mitigating Privacy Leakage in Cloud-Edge Collaborative Decoding
The Hong Kong Polytechnic University（香港理工大学）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；School of Software, Tsinghua University（清华大学软件学院）
本文针对云边协同解码范式的隐私风险提出防御机制CoVeil，可降低数据泄露最多87.2%且准确率损失极小，改善了隐私-效用权衡。
2026-09-01 cs.AI cs.CR
Meeting Utility Constraints in Differential Privacy: A Privacy-Boosting Approach
针对严格隐私参数下差分隐私机制难以满足效用约束的问题，提出兼容多数加噪DP机制的隐私增强框架，通过调整输出分布与方差，在满足效用要求的同时降低隐私损失，在高查询敏感度场景下效果显著。
2024-12-13 cs.CR cs.DS cs.IT
Evaluations of Machine Learning Privacy Defenses are Misleading
ETH Zurich（苏黎世联邦理工学院）
本文揭示现有机器学习经验性隐私防御评估存在严重缺陷，通过5个案例研究表明先前评估将隐私泄露低估一个数量级，并证明这些防御均无法与调优后的DP-SGD基线竞争。
2024-09-05 cs.CR cs.LG
Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种利用模型遗忘作为投毒手段的攻击方法，通过操纵预训练语言模型在微调时加剧私有数据泄露，同时保持模型可用性，并显著提升成员推断与数据提取攻击效果。
2024-08-30 cs.AI cs.CR cs.LG
IncogniText: Privacy-enhancing Conditional Text Anonymization via LLM-based Private Attribute Randomization
Huawei Munich Research Center（华为慕尼黑研究中心）
本文提出IncogniText文本匿名化技术，通过大语言模型私有属性随机化误导对手预测错误属性值，在8种属性上降低泄露超90%，并蒸馏为端侧LoRA参数实现现实部署。
2025-02-02 cs.AI cs.CL cs.CR
CAPED: Context-Aware Privacy Exposure Defense for Mobile GUI Agents
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
针对移动GUI代理截图上传导致的附带视觉隐私暴露问题，提出上下文感知的预上传暴露控制层CAPED，通过任务需求提取、屏幕上下文隐私先验和UI元素解析，选择性暴露任务所需内容，在保持高任务效用的同时显著降低隐私泄露。
2026-06-17 cs.AI cs.CR
"I Don't Use AI for Everything": Exploring Utility, Attitude, and Responsibility of AI-empowered Tools in Software Development
本文通过访谈 19 位软件从业者，研究 AI 赋能工具在软件开发中的采用、效用、态度及安全责任，发现其被广泛采用且被视为效率助手，但在复杂任务上存在局限，安全风险意识因公司规模而异。
2024-11-21 cs.CR cs.SE
SecureGate: Learning When to Reveal PII Safely via Token-Gated Dual-Adapters for Federated LLMs
Washington State University（华盛顿州立大学）
SecureGate通过令牌门控双适配器框架，在联邦LLM微调中实现细粒度隐私控制，减少PII泄露并提升任务效用。
2026-04-15 cs.CL cs.CR
Label Leakage and Protection in Two-party Split Learning
Carnegie Mellon University（卡内基梅隆大学）；ByteDance Inc.（字节跳动公司）
两方分裂学习是一种流行的技术，用于跨特征分区数据学习模型。在这项工作中，我们探讨了一方是否有可能在分割训练期间从另一方窃取私有标签信息，以及是否有方法可以防止这种攻击。具体来说，我们首先制定了一个现实的威胁模型，并提出了一个隐私损失度量来量化分裂学习中的标签泄漏。然后，我们证明了在威胁模型中存在两种简单而有效的方法，可以让一方准确地恢复另一方拥有的私有地面实况标签。为了对抗这些攻击，我们提出了几种随机扰动技术，包括$\texttt{Marvell}$，这种方法通过最小化最坏情况下对手的标签泄漏量（通过我们的量化度量测量）来战略性地找到噪声扰动的结构。我们经验证明我们的保护技术对识别的攻击的有效性，并表明，特别是$\texttt{Marvell}$已改善隐私效用权衡相对于基线方法。
2022-05-24 cs.CR cs.LG
