Bounds for Privacy-Utility Trade-off with Per-letter Privacy Constraints and Non-zero Leakage
研究了两种情形下的信息论隐私机制设计问题,其中隐私数据是隐藏的或可观察的。在每种情况下,隐私泄漏的限制被认为是使用两种不同的措施。在这些场景中,私有数据是隐藏的或可观察的。在第一种情况下,代理观察到与私有数据$X$相关的有用数据$Y$,并且希望向用户公开有用信息。设计了一种隐私机制以生成公开数据$U$,其在满足每个字母的隐私约束的同时最大化关于$Y$的公开信息。在第二种情况下,代理还可以访问私有数据。首先,函数表示引理和强函数表示引理通过放松独立性条件得到一个考虑第二种情况的下界。接下来,下界以及上界的隐私效用权衡推导出这两种情况。特别是,对于$X$是$Y$的确定性函数的情况下,我们表明,我们的上限和下限是渐近最优的考虑第一种情况。
2022-05-10 cs.IT math.IT
Outer Bounds on the CEO Problem with Privacy Constraints
本文研究带隐私约束和被动窃听者的CEO问题的率-失真-泄露区域,提出新引理推导通用失真下的外界,并针对对数损失失真的不同场景给出紧界或外界,失真较大时内外界重合。
2025-01-19 cs.CR cs.IT math.IT
An Algorithm for Enhancing Privacy-Utility Tradeoff in the Privacy Funnel and Other Lift-based Measures
针对隐私漏斗这一非凸隐私-效用权衡优化难题,提出比提升度宽松、比互信息严格且可高效求解的隐私度量,结合启发式算法,在相同隐私预算下提升效用,并拓展至其他基于提升度的度量,经数值与理论验证有效。
2024-08-19 cs.IT math.IT
Bounds for Privacy-Utility Trade-off with Non-zero Leakage
研究了隐私数据隐藏和可观察两种情况下的隐私机制设计。在第一种情况下,代理观察到与私有数据$X$相关的有用数据$Y$,并且想要向用户公开有用信息。采用隐私机制来生成数据$U$,该数据$U$在满足隐私准则的同时最大化关于$Y$的所揭示的信息。在第二种情况下,代理还可以访问私有数据。为此,函数表示引理和强函数表示引理被扩展,放松了独立性条件,从而允许一定的泄漏。第二种情况下,以及这两种情况下的上限,得出的隐私效用权衡的下限。特别是,对于不允许泄漏的情况下,我们的上限和下限改进了以前的边界。
2023-01-13 cs.IT math.IT
PAC Privacy: Automatic Privacy Measurement and Control of Data Processing
本研究提出PAC隐私这一基于实例的可模拟隐私度量,配套全自动分析框架可通过蒙特卡洛模拟为黑盒数据处理生成高置信安全参数,具备简洁组合性且扰动开销更低,突破了经典最坏情况隐私分析的局限。
2023-06-19 cs.CR cs.IT math.IT
A Graph Symmetrisation Bound on Channel Information Leakage under Blowfish Privacy
School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院);Australian Tax Office(澳大利亚税务局);School of Mathematics and Statistics, University of Melbourne(墨尔本大学数学与统计学院)
Blowfish隐私是差分隐私的最新概括,它可以提高效用,同时保持具有语义保证的隐私策略,这是推动计算机科学中差分隐私流行的一个因素。本文将Blowfish隐私与通信理论界提出的一种度量信息通道隐私损失的重要方法:最小熵泄漏联系起来。输入数据相邻关系中的对称性对于差分隐私和最小熵泄漏之间的已知连接是中心的。但是,虽然差分隐私具有很强的对称性,Blowfish相邻关系对应于任意简单的图形,由于该框架的灵活的隐私政策。要绑定的最小熵泄漏的河豚私人机制,我们组织我们的分析对称分区对应的轨道图自同构群。一个满足我们的渐近相等界的构造证明了紧性。
2021-10-13 cs.CR cs.IT cs.LG
A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via $f$-Divergences
Harvard University(哈佛大学);Arizona State University(亚利桑那州立大学)
我们推导出满足给定Rényi差分隐私(RDP)水平的机制的最佳差分隐私(DP)参数。我们的结果是基于联合范围的两个$f$ -分歧的基础上的近似和Rényi变化的差分隐私。我们将我们的结果的时刻会计框架表征隐私保证的随机梯度下降。与最先进的技术相比,我们的边界可能会导致大约100个以上的随机梯度下降迭代,用于训练相同隐私预算的深度学习模型。
2020-01-16 cs.CR cs.IT cs.LG
On the Privacy-Utility Trade-off With and Without Direct Access to the Private Data
我们研究了信息理论隐私机制设计问题的两种情况下,私人数据是可观察的或隐藏的。在每种情况下,我们首先考虑有界的互信息作为隐私泄漏的标准,然后我们使用两个不同的每个字母的隐私约束。在第一种情况下,代理观察到与私有数据$X$相关的有用数据$Y$,并且希望向用户公开有用信息。设计了一种隐私机制以生成公开数据$U$,其在满足有界隐私泄露约束的同时最大化关于$Y$的公开信息。在第二种情况下,代理还可以访问私有数据。为此,我们首先通过放松独立性条件来扩展函数表示引理和强函数表示引理,从而允许一定的泄漏找到具有不同隐私泄漏约束的第二种情况的下界。此外,在第一种情况下,考虑到不同的隐私约束的上限和下限。特别是,对于不允许泄漏的情况下,我们的上限和下限改进了以前的边界。此外,考虑有界互信息隐私约束,我们表明,如果$X$和$Y$之间的公共信息和互信息是相等的,那么在第二种情况下,所获得的上界是紧的。最后,研究了具有优先级的私有数据的隐私-效用权衡,其中部分$X$,即,$X_1$比其余部分更私密,即,$X_2$,我们提供了下限和上限。
2022-12-23 cs.IT math.IT
Sample Complexity Bounds for Scalar Parameter Estimation Under Quantum Differential Privacy
本文研究量子本地差分隐私下标量参数估计的样本复杂度,给出量子比特场景的紧上下界,揭示小隐私预算下与经典场景的一致性,并将上界推广到量子多能级系统。
2025-05-19 cs.CR cs.IT math.IT
Dobrushin Coefficients of Private Mechanisms Beyond Local Differential Privacy
KTH Royal Institute of Technology(皇家理工学院);Inria Saclay(法国国家信息与自动化研究所萨克雷中心)
研究具有有界逐点最大泄漏的离散马尔可夫核的Dobrushin系数,推导可实现的收缩界并构造机制,扩展至一般f-散度。
2026-07-03 cs.CR cs.IT math.IT
Privacy-Utility Trade-Off
在本文中,我们研究的隐私效用权衡(PUT)问题,它考虑了最小的隐私损失在一个固定的费用效用。研究了PUT问题中的几种不同的隐私,包括差分隐私、近似差分隐私、最大信息、最大泄漏、Renyi差分隐私、Sibson互信息和互信息。平均汉明距离被用来衡量隐私机制所造成的失真。我们考虑两种情况:全球隐私和本地隐私。在全局隐私框架下,隐私失真函数的上界为特定机制的隐私损失,下界为任意可能先验输入分布下的最优隐私损失。在局部隐私的框架下,我们推广了一个着色方法的PUT问题。
2022-04-26 cs.IT math.IT
Local Privacy and Minimax Bounds: Sharp Rates for Probability Estimation
我们提供了一个详细的研究估计的概率分布-离散和连续-在一个严格的设置中,数据是保密的,甚至从统计学家。我们给尖锐的极小极大收敛率估计在这些本地私人的设置,隐私和收敛速度之间表现出根本的权衡,以及提供的工具,让运动沿隐私统计效率连续。我们的研究结果的后果之一是,华纳的经典工作随机响应是一个最佳的方式进行调查抽样,同时保持受访者的隐私。
2013-05-26 cs.CR cs.IT math.IT
Privacy and Statistical Risk: Formalisms and Minimax Bounds
我们探讨和比较各种定义的隐私和披露限制的统计估计和数据分析,包括(近似)差分隐私,测试为基础的定义的隐私,和事后保证披露风险。我们给出等价的定义之间的结果,揭示不同的形式主义之间的关系的隐私。我们还采取了推理的角度来看,在那里-建立这些定义-我们提供了几个估计问题,包括均值估计,估计的支持分布,和非参数密度估计的极大极小风险界限。这些界限突出了不同的隐私定义的统计后果,并提供了第二个镜头,用于评估披露限制的不同技术的优点和缺点。
2014-12-15 cs.IT math.IT math.ST
Optimal Utility-Privacy Trade-off with Total Variation Distance as a Privacy Measure
总变化距离被提出作为一个隐私措施在信息披露的情况下,当目标是揭示一些可用的数据在返回的效用的信息,同时保留某些敏感的潜在变量从合法的接收器的隐私。引入总变差距离作为隐私泄露的度量,证明了:1)总变差距离满足后处理不等式和链接不等式,这使得它与隐私度量的直观概念一致; 2)当总变差距离作为隐私度量时,最优效用-隐私权衡可以通过标准线性规划求解; iii)它提供了由互信息、最大泄漏或具有有界代价函数的推理攻击的改进测量的隐私泄漏的界限。
2019-03-04 cs.IT math.IT
The Composition Theorem for Differential Privacy
差分隐私机制的顺序查询降低了整体隐私级别。在本文中,我们回答的基本问题的特征的整体隐私退化的水平作为查询的数量和每个私有化机制所保持的隐私级别的函数。我们的解决方案是完整的:我们证明了一个上界的整体隐私水平,并构建了一个序列的私有化机制,实现这一界限。关键的创新是引入了对差分隐私的操作解释(涉及假设检验)和使用新的数据处理不等式。我们的结果改善了国家的最先进的,并立即应用在文献中研究的几个问题,包括差分私人多方计算。
2015-12-06 cs.CR cs.DS cs.IT
On Maximal Correlation, Mutual Information and Data Privacy
在\cite{Asoodeh}中定义的速率隐私功能作为一个分布式私有数据系统中的隐私和效用之间的权衡,其中隐私和效用都是使用互信息来测量的。在这里,我们使用最大相关性代替隐私约束中的互信息。我们首先得到一些一般的性质和最大相关性的界限,然后修改的速率隐私函数考虑隐私约束的估计问题。当最大相关隐私被设置为某个阈值$ε>0$时,我们找到了这个问题中效用的一个界,并构造了一个达到这个界的显式隐私方案。
2015-10-08 cs.IT math.IT math.ST
Differential Privacy: on the trade-off between Utility and Information Leakage
差分隐私是数据库社区中非常流行的隐私概念。粗略地说,这个想法是,如果两个相邻数据集给出相同答案的概率之比受e^n约束,则随机化查询机制提供了足够的隐私保护。在信息流领域,存在对控制信息泄漏的类似关注,即限制从可观察量推断秘密信息的可能性。近年来,研究人员提出用Rényi min互信息来量化泄漏,这是一个与贝叶斯风险严格相关的概念。在本文中,我们将展示如何建模的查询系统中的信息理论的渠道,我们比较的概念差分隐私与互信息。我们发现,差分隐私意味着一个界上的互信息(但不是反之亦然)。此外,我们证明了我们的界是紧的。然后,我们考虑随机化机制的效用,它表示随机化答案平均与真实答案的接近程度。我们表明,差分隐私的概念意味着效用上的界限,也紧,我们提出了一种方法,在一定条件下建立一个最佳的随机化机制,即提供最佳效用的机制,同时保证差分隐私。
2011-08-25 cs.CR cs.DB cs.IT
Local Privacy, Data Processing Inequalities, and Statistical Minimax Rates
在一个隐私模型下,即使从统计学家那里,数据仍然是私有的,我们研究了隐私保证和所产生的统计估计的效用之间的权衡。我们证明了信息理论的数量,包括互信息和Kullback-Leibler分歧,这取决于隐私保证的界限。当结合标准的极大极小技术,包括Le Cam,Fano和Assouad方法,这些不平等允许在本地隐私约束下的统计率的精确表征。我们提供了几个典型的家庭的问题:平均估计,参数估计在固定设计回归,多项式概率估计,和非参数密度估计的治疗。对于所有这些家庭,我们提供的下限和上界,匹配常数因子,并展示新的(最佳)隐私保护机制和计算效率的估计,实现界限。
2014-08-27 cs.CR cs.IT math.IT
Multi-User Privacy Mechanism Design with Non-zero Leakage
从信息论的角度研究了隐私机制设计问题。在这项工作中,一个代理观察有用的数据$Y=(Y_1,...,Y_N)$是相关的私人数据$X=(X_1,...,X_N)$被认为是也可由代理访问。这里,我们考虑$K$用户,其中用户$i$需要$Y$的子向量,由$C_{i}$表示。工程师希望向用户$i$公开$C_{i}$。由于$C_{i}$与$X$相关,因此不能直接公开。隐私机制被设计为生成公开的数据$U$,其最大化用户效用的线性组合,同时在互信息方面满足有界隐私约束。在类似的工作中,它已被假定为$X_i$是$Y_i$的确定性函数,但在这项工作中,我们让$X_i$和$Y_i$是任意相关的。首先,通过一个特殊的变换,利用函数表示引理和强函数表示引理得到了隐私-效用权衡的上界,然后证明了该上界可以分解为$N$并行问题.其次,利用函数表示引理和强函数表示引理推导了隐私-效用权衡的下界。上界在常数内是紧的,下界断言所披露的数据是独立的所有$\{X_j\}_{i=1}^N$,除了我们分配给它的最大允许泄漏。最后,在特殊情况下,所获得的界限进行了研究。
2022-11-28 cs.IT math.IT
How Much Privacy Does Federated Learning with Secure Aggregation Guarantee?
University of Southern California(南加州大学)
联邦学习(FL)已经吸引了越来越多的兴趣,因为它能够对存储在多个用户处的数据进行隐私保护机器学习,同时避免将数据移出设备。然而,虽然数据从未离开用户的设备,但隐私仍然不能得到保证,因为对用户的训练数据的重要计算以训练的本地模型的形式共享。这些局部模型最近被证明通过不同的隐私攻击,如模型反演攻击,构成了实质性的隐私威胁。作为一种补救措施,安全聚合(SA)已被开发为一个框架,以保护隐私的FL,通过保证服务器只能学习全局聚合模型更新,而不是个人模型更新。虽然SA确保除了聚合模型更新之外没有关于个体模型更新的额外信息被泄露,但是对于具有SA的FL实际上可以提供多少隐私没有正式的保证;因为关于个体数据集的信息仍然可能通过在服务器处计算的聚合模型泄露。在这项工作中,我们进行了第一次分析的正式隐私保证FL SA。具体来说,我们使用互信息(MI)作为量化指标,并推导出关于每个用户的数据集的信息可以通过聚合模型更新泄漏的上限。当使用FedSGD聚合算法时,我们的理论界表明,隐私泄漏量与SA参与FL的用户数量呈线性关系。为了验证我们的理论界限,我们使用MI神经估计来经验性地评估MNIST和CIFAR 10数据集上不同FL设置下的隐私泄漏。我们的实验验证了FedSGD的理论界限,随着用户数量和本地批量大小的增加,隐私泄露减少,随着训练轮数的增加,隐私泄露增加。
2022-08-03 cs.CR cs.IT cs.LG
Exponential decreasing rate of leaked information in universal random privacy amplification
我们推导出一个新的上限Eve的信息秘密密钥生成从一个共同的随机数没有通信。这个界改进了Bennett et al(1995)基于2阶Rényi熵的界,因为这里得到的界使用了$s \in [0,1]$的$1+s$阶Rényi熵。此界限适用于窃听通道。然后,我们推导出一个指数上限夏娃的信息。我们的指数与Hayashi(2006)的指数进行了比较。对于可加性情形,这里得到的界更好。经过公开讨论,将结果应用于秘密密钥协议。
2011-06-22 cs.CR cs.IT math.AC
Bounds on the privacy amplification of arbitrary channels via the contraction of $f_α$-divergence
Inria Saclay(法国国家信息与自动化研究所萨克莱中心)
通过分析$f_α$-散度的收缩行为,研究任意通道的隐私放大界限,并提出改进的Pinsker不等式,展示稀疏通道在隐私放大中的有效性。
2025-11-25 cs.IT math.IT
On the Lift, Related Privacy Measures, and Applications to Privacy-Utility Tradeoffs
本文提出不对称局部信息隐私(ALIP)以处理提升不对称性,在看门狗和最优随机响应机制中提高效用,并引入提升逆度量以限制最小提升泄露,实现隐私-效用权衡。
2023-03-02 cs.IT math.IT
On Properties and Optimization of Information-theoretic Privacy Watchdog
研究了数据共享中的隐私保护问题,其中$S$是需要保护的敏感变量,$X$是与$S$相关的非敏感有用变量.变量$X$随机分配到变量$Y$中,变量$Y$将根据$p_{Y|X}(y|x)$进行共享或发布。我们通过\emph{information privacy}(在文献中也称为\emph{log-lift})来测量隐私泄露,它保证了互信息隐私和差分隐私(DP)。令$\Xepsc \subseteq \X$包含$X$的字母表中的元素,其中对数提升的绝对值(简称为abs-log-lift)大于期望阈值$\eps$。当元素$x\in \Xepsc$被随机化为$y\in \Y$时,我们推导出跨结果对$(s,y)$的abs-log-lift的最佳上限。然后,我们证明了这个界限是通过\emph{$X$-invariant}随机化$p(y|x) = R(y)$为$x,y\in\Xepsc$。然而,由互信息$I(X;Y)$测量的效用在对abs-log-lift施加严格的上限$\eps$时严重受损。为了弥补这一点,并受到概率($\eps$,$δ$)-DP的启发,我们提出了一个宽松的($\eps$,$δ$)-日志升降机框架。为了实现这一放松,我们引入了一个贪婪的算法,免除随机化$\Xepsc$中的一些元素,只要他们的abs-log-lift是有界的$\eps$概率$1-δ$。数值结果表明,该算法在实现更好的…
2020-10-19 cs.IT math.IT
Robust Privacy-Utility Tradeoffs under Differential Privacy and Hamming Distortion
一个隐私效用权衡开发的任意一组有限字母表源分布。隐私量化使用差分隐私(DP),和效用量化使用预期的汉明失真最大化的一组分布。源分布集(源集)的家庭被分为三类,根据他们捕获的先验知识的不同水平。对于其凸包包含均匀分布的源集合,对称DP机制是最佳的。对于概率值具有固定单调排序的源集合,非对称DP机制是最佳的。对于所有其他的源集,一般的最佳隐私泄漏的上限和下限的开发和紧密性的充分必要条件。不同的隐私泄漏是互信息(MI)泄漏的上限:这两个标准进行了比较分析和数值说明采用更强的隐私标准的效果。
2018-08-01 cs.IT math.IT
On Local Mutual-Information Privacy
本文研究了局部互信息隐私(LMIP)与局部差分隐私(LDP)和局部信息隐私(LIP)的关系,建立了隐私参数转换界限,证明LMIP是弱隐私概念,并证明在平均功率约束下不相关高斯噪声是CI-LMIP的最佳噪声。
2024-08-28 cs.IT math.IT
Residual-Information Generalization Bounds Under Selective Privacy: Extended Version
KTH Royal Institute of Technology(瑞典皇家理工学院);UNSW Canberra(新南威尔士大学堪培拉校区)
针对选择性隐私下残差信息泛化界问题,通过链式规则转换不匹配约束得到闭式通用证书,结合互信息泛化推导受残差任务不确定性和归一化隐私泄漏支配的界,还得到互补改进、识别障碍及泄漏允许量,证明特定族的可达性并给出自适应应用。
2026-10-14 cs.IT math.IT
New Privacy Mechanism Design With Direct Access to the Private Data
本文针对私有数据可观测的统计隐私问题,结合扩展函数表示引理与分离技术,提出新的隐私机制设计方法,推导出改进的隐私-效用权衡下界,并在多种场景中验证其优于已有结果。
2023-09-16 cs.IT math.IT
Smart Meter Privacy via the Trapdoor Channel
University of Sheffield(谢菲尔德大学);Princeton University(普林斯顿大学)
本文提出了一种有限容量电池的充电策略,以保障智能电表系统的隐私。该策略提供了信息泄露率的上限,并证明用户平均能耗决定了信息泄露率,通过推导达到该上限的随机过程概率分布证明了该上限的紧致性。
2017-08-15 cs.IT cs.SY eess.SY
Privacy Guarantee for Nash Equilibrium Computation of Aggregative Games Based on Pointwise Maximal Leakage
KTH Royal Institute of Technology(皇家理工学院);Southeast University(东南大学)
针对差分隐私在相关数据集上隐私度量不足的问题,提出逐点最大泄露框架,利用先验知识给出纳什均衡计算中隐私泄露的精确上界,实验表明其优于差分隐私。
2026-06-09 cs.GT cs.IT math.IT
Fisher information under local differential privacy
我们开发的数据处理不等式,描述如何从统计样本的Fisher信息可以缩放与隐私参数$\varepsilon$下的本地差分隐私约束。这些界限在统计模型分数分布的一般条件下是有效的,并且它们阐明了在哪些条件下对$\varepsilon$的依赖性是线性的、二次的或指数的。我们展示了这些不等式如何暗示了高斯位置模型和离散分布估计的私人估计的最优下界的所有级别的隐私$\varepsilon>0$。我们进一步将这些不等式应用到稀疏Bernoulli模型中,并证明了具有顺序匹配平方$\ell^2$误差的隐私机制和估计。
2020-05-21 cs.IT math.IT math.ST