On the Relationship Between Information-Theoretic Privacy Metrics And Probabilistic Information Privacy
基于$f$ -分歧的信息理论（IT）措施最近获得了兴趣作为隐私泄露的措施，因为它们允许仅使用单值表征来权衡隐私与效用。然而，它们在隐私方面的操作解释并不清楚。在本文中，我们涉及的概率信息隐私（IP）的概念，几个IT隐私度量的基础上$f$分歧。我们解释概率IP下的检测和估计框架，并将其链接到差分隐私，从而允许这些IT隐私指标的精确的操作解释。我们发现，$χ^2$分歧隐私度量是强于那些基于总变异距离和Kullback-Leibler分歧。因此，我们进一步开发了一个基于$χ^2$ -发散隐私度量的数据驱动的经验风险框架，并使用深度神经网络实现。该框架对于对抗攻击模型是不可知的。实证实验证明了我们的方法的有效性。
2023-01-20 cs.IT math.IT
Notes on Information-Theoretic Privacy
我们研究隐私和效用之间的权衡的情况下，隐私和效用的互信息来衡量。对于二进制的情况下，我们充分刻画了这种权衡的情况下，完美的隐私，也给了一个上限的情况下，一些隐私泄漏是允许的。然后，我们引入了一个新的量，它量化了可观察数据中包含的私人信息的量，然后将其连接到隐私和效用之间的最佳权衡。
2015-10-08 cs.IT math.IT
An Information-theoretic Approach to Privacy
确保电子数据源的有用性，同时提供必要的隐私保障，是一个尚未解决的重要问题。这个问题促使我们需要一个总体的分析框架，可以量化个人身份信息（隐私）的安全性，同时仍然提供了一个可量化的好处（效用），多个合法的信息消费者。最先进的方法主要集中在隐私上。本文提出了第一个信息理论的方法，承诺一个分析模型，保证有多少效用是可能的一个给定的隐私水平，反之亦然的紧边界。
2010-10-01 cs.IT math.IT
Information-Theoretic Privacy-Preserving Schemes Based On Perfect Privacy
考虑一对随机变量$(X,Y)$按照给定的联合分布$p_{XY}$分布。策展人希望最大限度地公开关于$Y$的信息，同时限制在$X$上发生的信息泄露。采用互信息度量信息披露的效用和隐私性，问题是在$I(X;U)\leqε$的约束下，最大化$I(Y;U)$，其中$U$表示被释放的随机变量，$ε$是给定的隐私阈值.考虑两种设置，其中在第一种设置中，策展人可以访问$(X,Y)$，因此，优化在$p_{U|XY}$上，而在第二种设置中，策展人只能观察$Y$，优化在$p_{U|Y}$上。在这两种情况下，从理论和实践的角度研究了实用性和隐私的权衡。更具体地说，几个隐私保护计划提出了在这些设置的基础上推广的概念，统计独立性。此外，在某些情况下提供了封闭形式的解决方案。最后，凸性参数提供的效用-隐私权衡作为泛函的联合分布$p_{XY}$。
2023-01-27 cs.IT math.IT
On the Robustness of Information-Theoretic Privacy Measures and Mechanisms
考虑由私有和非私有特性组成的数据集的数据发布设置。出版商使用经验分布，根据$n$ i.i.d.估计。样本，设计一个隐私机制，该机制适用于新的新鲜样本之后。在本文中，我们研究的隐私效用保证的经验分布之间的差异，用于设计隐私机制，和真实的分布，在实践中经历的隐私机制。我们首先表明，对于任何隐私机制，这些差异消失的速度$O(1/\sqrt{n})$与高概率。这些界限遵循我们的主要技术成果的Lipschitz连续性所考虑的信息泄漏措施。然后证明了经验分布下的最优隐私机制随着样本量$n$的增加而逼近真实分布下的相应机制，从而建立了最优隐私机制的统计一致性。最后，我们介绍和研究统一的隐私机制，通过建设，提供隐私的估计分布的邻域内的所有分布，从而保证隐私的真实分布的概率很高。
2020-03-19 cs.IT math.IT
Utility-Privacy Tradeoff in Databases: An Information-theoretic Approach
确保电子数据源的有用性，同时提供必要的隐私保障，是一个尚未解决的重要问题。这个问题驱动了对分析框架的需求，该分析框架可以量化个人身份信息的安全性（隐私），同时仍然为多个合法的信息消费者提供可量化的利益（效用）。本文提出了一个信息理论框架，承诺一个分析模型，保证有多少效用是可能的一个给定的隐私水平，反之亦然的紧边界。具体贡献包括：i）用于分类和数值数据的随机数据模型; ii）效用-隐私折衷区域和针对这两种类别及其实际相关性实现它们的编码（sanization）方案;以及iii）在用户和/或数据源处的先验知识的建模以及针对这两种情况的最佳编码方案。
2013-01-21 cs.IT math.IT
Pufferfish Privacy: An Information-Theoretic Study
本文提出河豚鱼隐私的信息论表述（MI PP），证明其与常规PP的关系，建立凸性、组合性等性质，推导高斯和拉普拉斯机制的噪声水平，并应用于审计、推断和稳定性。
2023-05-04 cs.IT math.IT
Competitive Privacy in the Smart Grid: An Information-theoretic Approach
传感和通信能力的进步以及电力行业放松管制正在推动智能电网中区域输电组织（RTO）级别的分布式状态估计的需求。这导致了RTO之间新的竞争隐私问题，因为在共享数据以确保网络可靠性（对所有RTO的效用/益处）与出于盈利和隐私原因而扣留数据之间存在紧张关系。效用之间的权衡，通过在每个RTO的状态估计的保真度量化，和隐私，通过在其他RTO的一个RTO的状态的泄漏量化，精确地捕获使用两个RTO网络的有损信源编码问题制定。对于两个RTO模型，它表明，所有可行的效用隐私对的集合可以通过一个单一的一轮通信时，每个RTO考虑到在两个RTO的测量数据之间的相关性进行通信。有损信源编码的问题和解决方案，这里也是独立的利益。
2011-08-10 cs.IT math.IT
Information-theoretic metrics for Local Differential Privacy protocols
本地差分隐私（LDP）协议允许聚合器获得关于用户群的敏感数据的人口统计，同时保护各个用户的隐私。为了理解聚合器效用和用户隐私之间的权衡，我们引入了新的信息理论度量效用和隐私。与其他LDP指标相反，这些指标突出了这样一个事实，即用户和聚合器对根本不同的信息域感兴趣。我们展示了我们的指标如何与$\varepsilon$ -LDP，\emph{de facto}标准的隐私度量，给后者的信息理论解释。此外，我们使用我们的指标来定量研究一些流行的协议的隐私效用权衡。
2019-10-17 cs.CR cs.IT math.IT
Unified Expression of Utility-Privacy Trade-off in Privacy-Constrained Source Coding
隐私受限的信源编码问题近来变得越来越重要，并且已经针对各种系统研究了效用-隐私权衡。Yamamoto（1983）在两种情况下发现了编码率、隐私和效用的理论极限：（i）公共和私人信息都被编码;（ii）只有公共信息被编码。然而，在更一般的情况下，理论上的限制还没有得到表征;（三）编码的消息包括公共信息和私人信息的一部分。然后在本文中，我们使用率失真理论来描述情况（iii）中的权衡关系。所得到的可达域的表达式是一个“统一表达式”，因为它包括情况（i）和（ii）中的特殊情况。数值结果还表明，情况（i）和（ii）都不是最好的情况下，它是重要的是要选择适当的编码信息的情况（iii）。
2022-05-09 cs.IT math.IT
Information-Theoretic Privacy for Smart Metering Systems with a Rechargeable Battery
智能计量系统几乎实时地向公用事业提供商报告用户的用电量。这可能会将用户的私人信息泄露给公用事业提供商。在这项工作中，我们调查使用可充电电池，以提供隐私的用户。我们假设用户负载序列是一个一阶马尔可夫过程，电池满足理想的电荷守恒，和隐私使用归一化的互信息（泄漏率）之间的用户负载和电池输出测量。我们认为电池充电政策在这个设置中，满足可行性约束。我们提出了一系列的减少原来的问题，并最终重铸它作为一个马尔可夫决策过程（MDP），可以使用动态程序来解决。在i.i.d.的特殊情况下。的需求，我们明确地描述了最优策略，并表明，相关的泄漏率可以表示为一个单字母的互信息的表达。在这种情况下，我们表明，最佳的收费政策承认一个直观的解释，保持一定的不变性的状态。有趣的是，可以提供一种替代的最优性证明，它不依赖于MDP方法，而是基于纯粹的信息论约简。
2017-09-15 cs.IT math.IT
Information-Theoretic Privacy with General Distortion Constraints
School of Electrical, Computer, and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
本文研究了隐私与效用的权衡问题，通过最小化隐私泄露度来确定最优隐私机制，并分析了不同失真约束下的渐近最优泄露率。
2026-05-10 cs.IT math.IT
An Information-Theoretic Privacy Criterion for Query Forgery in Information Retrieval
在以前的工作中，我们提出了一个新的信息理论隐私准则查询伪造领域的信息检索。我们的标准衡量隐私风险之间的分歧用户和人口的查询分布，并考虑作为一个特定的情况下，用户的分布熵。在这项工作中，我们做出了双重贡献。首先，我们彻底解释和证明我们以前的工作中提出的隐私度量，阐述了著名的熵最大化方法和使用熵和分歧作为隐私的措施之间的密切联系。其次，我们试图弥合隐私和信息理论社区之间的差距，通过大量调整我们原来的工作，以达到更广泛的受众，不熟悉信息论和类型的方法的一些技术。
2011-11-17 cs.CR cs.IT math.IT
On the Asymptotic Capacity of Information Theoretical Privacy-preserving Epidemiological Data Collection
本文研究安全分布式计算中用户数据线性组合的隐私保护问题，提出在E<N-1时达到最优下载成本的方案，并证明E≥N-1时不可行。
2022-12-12 cs.IT math.IT
Mechanisms for Hiding Sensitive Genotypes with Information-Theoretic Privacy
Rutgers University（罗格斯大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学布罗德研究所）
受个人基因组学服务日益可用性的启发，我们研究了共享基因组数据时出现的信息理论隐私问题：用户希望共享他或她的基因组序列，同时将基因型隐藏在某些位置，否则可能会泄露关键的健康相关信息。擦除（掩蔽）所选基因型的直接解决方案不能确保隐私，因为附近位置之间的相关性可能泄露掩蔽的基因型。我们引入了一个基于擦除的隐私机制与完善的信息理论的隐私，从而释放的序列是统计独立的敏感基因型。我们的机制可以被解释为一个局部最优的贪心算法的序列位置的给定的处理顺序，其中的效用是由没有擦除释放的位置的数量来衡量。我们发现，找到一个最佳顺序是NP-困难的一般，并提供了一个上限的最佳效用。对于遗传学中的标准建模方法隐马尔可夫模型中的序列，我们提出了一种有效的算法实现我们的机制，序列长度的复杂性多项式。此外，我们说明了该机制的鲁棒性，从错误的先验分布的隐私泄漏的边界。我们的工作是朝着更严格控制基因组数据共享中的隐私迈出的一步。
2021-10-14 cs.IT cs.LG math.IT
Privacy-guaranteed Two-Agent Interactions Using Information-Theoretic Mechanisms
本文介绍了一个多轮的互动问题与隐私的两个代理之间的约束，观察相关的数据。代理交替地彼此共享数据总共K轮，使得每个代理在K/2轮上发起共享。交互被建模为K个随机机制（映射）的集合，每轮一个。我们的目标是共同设计的K个私人机制，以确定所有可实现的失真泄漏对在每个代理。论证了基于互信息的泄漏度量可以适用于流数据设置，本文：（i）确定所有可实现的失真泄漏元组的集合：（ii）表明K机制允许在K轮上精确地组成总隐私预算而没有损失;和（ii）开发条件下的相互作用减少净泄漏在两个代理商和说明它为一个特定类别的源。然后，本文重点讨论了对数损失失真，以更好地理解使用学习理论中常用的效用度量对泄漏的影响。由此产生的相互作用问题导致一个非凸的总和泄漏失真优化问题，可以被看作是一个互动版本的信息瓶颈问题。一个新的合并和搜索算法，扩展了经典的凝聚信息瓶颈算法的互动设置，以确定一个可证明的局部最优解。最后，对数损失下的相互作用的好处说明了特定的源类和最优性的一杆证明高斯源下均方和对数损失失真的约束。
2016-10-03 cs.IT math.IT
Adversarial Classification under Gaussian Mechanism: Calibrating the Attack to Sensitivity
本文使用统计和信息理论工具研究了高斯扰动下的差分隐私（DP）异常检测。在我们的设置中，对手的目标是通过插入额外的数据来修改统计数据集的内容，而不会通过使用DP保证来检测到她自己的利益。为此，我们的特征信息理论和统计阈值的一阶和二阶统计的对手的攻击，平衡隐私预算和攻击的影响，以保持未被发现。此外，我们引入了一个新的隐私度量的基础上，分类的差分隐私下的对手作为一个更强大的替代$(ε, δ)-$和Kullback-Leibler DP的高斯机制的Buckoff信息。分析结果的支持数值评估。
2022-08-22 cs.IT math.IT
Achieving Dalenius' Goal of Data Privacy with Practical Assumptions
本文提出基于信息论的隐私框架，通过有限知识约束实现Dalenius安全，改进效用-隐私权衡并增强抗相关攻击能力。
2025-12-29 cs.CR cs.IT math.IT
On the Information Privacy Model: the Group and Composition Privacy
如何以保护数据集中包含其数据的个人隐私的方式查询数据集是一个重要的问题。信息隐私模型是香农信息理论模型的一种变体，通过控制每个对手从查询输出中获得的个人数据的信息量来保护个人的隐私。该模型还假设每个对手对查询数据集的不确定性不是很小，以提高数据的效用。在本文中，我们证明了该模型的组隐私和组合隐私性质的一些结果，其中组隐私保证了一组个体的隐私被保护，而组合隐私保证了多个查询也保护了一个个体的隐私。我们将这两个性质的证明归结为两个信道容量之差的估计。我们的证明大大受益于一些信息理论的工具和方法。
2019-07-22 cs.CR cs.IT math.IT
Measuring Privacy Leakage for IDS Rules
提出了一种入侵检测系统（IDS）警报隐私泄漏的度量方法。采用信息流定量分析方法，建立了基于信息熵的入侵检测规则隐私泄露理论模型。这一理论模型随后被验证经验的基础上模拟和实验研究。分析表明，该指标是能够区分IDS规则，没有或低预期的隐私泄漏和IDS规则泄漏敏感信息，例如用户行为的重大风险。该分析是基于测量的IDS警报，数据长度和数据熵的IDS规则的相关部分（例如有效载荷）的数量。这是一种很有前途的方法，为托管安全服务提供商的隐私基准测试开辟了道路。
2013-08-25 cs.CR cs.IT math.IT
Maximal Information Leakage based Privacy Preserving Data Disclosure Mechanisms
通常需要向公共领域公开训练数据，同时保护某些敏感标签的隐私。我们使用信息理论的措施来开发这样的隐私保护数据披露机制。我们的机制涉及扰动的方式，在隐私效用权衡的平衡的数据向量。我们使用输出数据向量和机密标签之间的最大信息泄漏作为我们的隐私度量。我们首先研究了理论上的Bernoulli-Gaussian模型，并研究了只有高斯分布的平均值可以被扰动时的隐私效用权衡。我们表明，最佳的解决方案是相同的情况下，当使用错误的概率在对手的效用进行测量。然后，我们考虑将该框架应用于数据驱动的环境，并提供对Sibson互信息的经验近似。通过对MNIST和FERG数据集进行实验，我们表明，我们提出的框架实现了相当于或更好的隐私比以前的方法的基础上互信息。
2019-04-04 cs.CR cs.IT math.IT
Taking a Lesson from Quantum Particles for Statistical Data Privacy
隐私正受到前所未有的丰富数据推动的人工智能革命的威胁。差分隐私是一种隐私保护的候选方案，但由于缺乏系统的参数设置方法（称为隐私预算），它容易受到对抗攻击的影响，行为保守，并导致错误实现。另一种方法是使用熵的信息理论隐私，其缺点是需要私有数据的先验分布。在这里，通过使用Fisher信息，信息理论的隐私框架进行了扩展，以避免不必要的假设的私人数据。通过最小化Fisher信息提取的最佳隐私保护加性噪声必须遵循与时间无关的薛定谔方程。隐私和效用之间的一个基本的权衡也被证明，让人想起海森堡不确定性原理。
2019-08-14 cs.CR cs.IT math.IT
When Is Distributed Nonlinear Aggregation Private? Optimality and Information-Theoretical Bounds
Aalborg University（奥尔堡大学）；Netherlands Defence Academy（荷兰皇家军事学院）；Delft University of Technology（代尔夫特理工大学）
本文提出了一种统一的信息论框架，用于分析分布式非线性聚合的隐私泄露问题，通过理论分析和实验验证，得出了最优隐私保障界限及网络拓扑和参数对泄露的影响。
2026-01-19 cs.IT eess.SP math.IT
PAC Privacy: Automatic Privacy Measurement and Control of Data Processing
本研究提出PAC隐私这一基于实例的可模拟隐私度量，配套全自动分析框架可通过蒙特卡洛模拟为黑盒数据处理生成高置信安全参数，具备简洁组合性且扰动开销更低，突破了经典最坏情况隐私分析的局限。
2023-06-19 cs.CR cs.IT math.IT
A Theoretical Analysis of Authentication, Privacy and Reusability Across Secure Biometric Systems
我们提出了一个理论框架，分析在安全的生物特征认证系统的隐私和安全权衡。我们使用这个框架进行比较信息理论分析的两个生物识别系统是基于线性纠错码，即模糊承诺和安全草图。我们推导出这些系统的错误拒绝（$P_{FR}$）和错误接受（$P_{FA}$）的概率上限。我们使用互信息来量化泄漏的信息有关用户的生物特征的身份，在该情况下，一个或多个生物特征注册的用户被完全或部分地妥协。我们还量化的成功攻击的概率（$P_{SA}$）的基础上受损的信息。我们的分析表明，模糊承诺和安全草图系统具有相同的$P_{FR}, P_{FA}, P_{SA}$和信息泄漏，但安全草图系统具有较低的存储要求。我们分析了单因素（无钥匙）和双因素（基于密钥）的安全生物特征的变体，并考虑最一般的情况下，一个单一的用户可能会提供嘈杂的生物特征注册在几个访问控制设备，其中一些随后可能会受到攻击者。我们的分析强调了基于密钥的系统的可撤销性和可重用性，并揭示了减少受损系统的信息泄露和防止对数据未受损系统的成功攻击之间的微妙设计权衡。
2011-12-23 cs.CR cs.IT math.IT
Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Aalborg University（奥尔堡大学）；University of Twente（特温特大学）；Netherlands Defence Academy（荷兰国防学院）；Delft University of Technology（代尔夫特理工大学）
针对去中心化联邦学习是否更具隐私收益的争议，本文通过信息论分析证明分布式优化可使隐私损失不超过中心化FL，并以逻辑回归和深度神经网络案例验证复杂模型风险更低。
2024-11-30 cs.AI cs.IT cs.LG
An Information-Theoretic Analysis of The Cost of Decentralization for Learning and Inference Under Privacy Constraints
King’s College London（伦敦国王学院）
在垂直联邦学习（FL）中，数据样本的特征分布在多个代理中。因此，智能体间的协作不仅在学习阶段是有益的，就像标准水平FL的情况一样，而且在推理阶段也是有益的。在这种情况下，一个基本的理论问题是如何量化学习和/或推理的分散化的成本或性能损失。在本文中，我们认为一般的监督学习问题与任何数量的代理，并提供了一个新的信息理论量化的成本分散在隐私的限制存在下，在贝叶斯框架内的智能体通信。分散的学习和/或推理的成本被证明是量化的条件互信息条款，涉及功能和标签变量。
2021-10-11 cs.CR cs.IT cs.LG
Privacy Implies Stability: Information-Theoretic Generalization Bounds for Quantum Learning
Indian Statistical Institute, Kolkata（印度统计研究院，科希玛）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳校区数据科学学院）；International Quantum Academy, Futian District, Shenzhen（深圳未来科技学院）；Graduate School of Mathematics, Nagoya University（名古屋大学数学研究生院）
提出信息论框架连接量子学习算法的稳定性、隐私与泛化，证明量子差分隐私可直接导出泛化保证，并发现量子非正交性使信息论可容许性与隐私兼容。
2026-06-05 cs.IT cs.LG math.IT
Privacy-Preserving State Estimation with Crowd Sensors: An Information-Theoretic Respective
University of Melbourne（墨尔本大学）
本文研究了使用群体传感器进行线性时不变动态系统隐私保护状态估计问题，通过设计具有信息论视角的隐私保护噪声，实现隐私与效用的平衡。
2025-09-21 cs.CR cs.IT cs.SY
Fundamental Limits of Obfuscation for Linear Gaussian Dynamical Systems: An Information-Theoretic Approach
New York University（纽约大学）
在本文中，我们研究的基本限制混淆的隐私失真权衡线性高斯动力系统通过信息论的方法。特别是，我们得到的分析公式，捕捉基本的隐私失真权衡时，隐私掩码被添加到动态系统的输出，同时明确指出如何设计的隐私掩码在一个最佳的方式：隐私掩码应该是彩色高斯与功率谱形状具体基于系统和噪声属性。
2020-10-29 cs.CR cs.IT cs.LG
How Much Privacy Does Federated Learning with Secure Aggregation Guarantee?
University of Southern California（南加州大学）
联邦学习（FL）已经吸引了越来越多的兴趣，因为它能够对存储在多个用户处的数据进行隐私保护机器学习，同时避免将数据移出设备。然而，虽然数据从未离开用户的设备，但隐私仍然不能得到保证，因为对用户的训练数据的重要计算以训练的本地模型的形式共享。这些局部模型最近被证明通过不同的隐私攻击，如模型反演攻击，构成了实质性的隐私威胁。作为一种补救措施，安全聚合（SA）已被开发为一个框架，以保护隐私的FL，通过保证服务器只能学习全局聚合模型更新，而不是个人模型更新。虽然SA确保除了聚合模型更新之外没有关于个体模型更新的额外信息被泄露，但是对于具有SA的FL实际上可以提供多少隐私没有正式的保证;因为关于个体数据集的信息仍然可能通过在服务器处计算的聚合模型泄露。在这项工作中，我们进行了第一次分析的正式隐私保证FL SA。具体来说，我们使用互信息（MI）作为量化指标，并推导出关于每个用户的数据集的信息可以通过聚合模型更新泄漏的上限。当使用FedSGD聚合算法时，我们的理论界表明，隐私泄漏量与SA参与FL的用户数量呈线性关系。为了验证我们的理论界限，我们使用MI神经估计来经验性地评估MNIST和CIFAR 10数据集上不同FL设置下的隐私泄漏。我们的实验验证了FedSGD的理论界限，随着用户数量和本地批量大小的增加，隐私泄露减少，随着训练轮数的增加，隐私泄露增加。
2022-08-03 cs.CR cs.IT cs.LG
Privacy for Fairness: Information Obfuscation for Fair Representation Learning with Local Differential Privacy
HKUST（香港科技大学）；ShanghaiTech University（上海科技大学）；Data61, CSIRO（Data61 联邦科学与工业研究组织数据61分部）
本文提出基于信息瓶颈和局部差分隐私的信息混淆理论框架，通过变分表示编码方法在保护隐私的同时实现公平表示学习，并经实验验证其有效性。
2024-02-16 cs.CR cs.IT cs.LG
Deep Variational Privacy Funnel: General Modeling with Applications in Face Recognition
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）
本研究基于信息论Privacy Funnel模型提出端到端隐私保护表示学习方法，用对数损失量化混淆度与效用的权衡，可适配多种人脸识别输入，为判别和生成模型的数据保护提供新方案。
2024-01-26 cs.CV cs.IT cs.LG
Differential Privacy versus Quantitative Information Flow
差分隐私是数据库社区中非常流行的隐私概念。粗略地说，这个想法是，如果两个不同条目产生某个答案的概率之比受e^ε约束，则随机化查询机制提供了足够的隐私保护。在匿名性和信息流领域，存在类似的对控制信息泄漏的关注，即限制从可观察量推断秘密信息的可能性。近年来，研究人员提出用信息论中的互信息概念来量化泄漏。有两种主要的方法属于这一类：一种是基于香农熵，另一种是基于雷尼最小熵。后者与所谓的贝叶斯风险有关，贝叶斯风险表示猜测秘密的概率。在本文中，我们将展示如何建模的查询系统中的信息理论的渠道，我们比较的概念差分隐私与互信息。我们表明，差分隐私的概念是严格强，在这个意义上，它意味着一个绑定的互信息，但不是反之亦然。
2010-12-20 cs.CR cs.DB cs.IT
Channel Leakage, Information-Theoretic Limitations of Obfuscation, and Optimal Privacy Mask Design for Streaming Data
New York University（纽约大学）
在本文中，我们首先引入了信道泄漏的概念，作为信道输入和信道输出之间的最小互信息。正如其名称所示，信道泄漏量化了对恶意接收器的最小信息泄漏。从广义上讲，它可以被看作是信道容量的双重概念，它表征了到目标接收机的最大信息传输。我们得到明确的公式的信道泄漏的情况下，白色高斯，有色高斯的情况下，和衰落的情况下。然后，我们利用这一概念调查的基本限制混淆的隐私失真权衡（以及隐私权权衡）的流数据，特别是，我们推导出分析权衡方程的固定的情况下，非固定的情况下，和有限时间的情况下。我们的研究结果还明确指出，如何设计的隐私面具在一个最佳的方式。
2020-09-29 cs.CR cs.IT cs.LG
Information Extraction Under Privacy Constraints
一个隐私约束的信息抽取问题被认为是一对相关的离散随机变量$(X,Y)$由一个给定的联合分布，一个代理观察$Y$，并希望传达给一个潜在的公共用户尽可能多的信息$Y$，而不损害透露的信息量有关$X$。为此，引入所谓的{ \em速率-隐私函数}来量化在$X$和提取的信息之间的隐私约束下可以从$Y$提取的最大信息量（根据互信息测量），其中使用互信息或最大相关来测量隐私。分析了速率隐私函数的性质，给出了互信息和最大相关隐私测度下速率隐私函数的信息论和估计论解释。它还表明，率隐私功能承认一个封闭形式的表达式为一个大家庭的联合分布的$(X,Y)$。最后，通过研究提取的信息是被加性高斯噪声破坏的$Y$的均匀量化的问题，在$(X,Y)$具有联合概率密度函数的情况下，考虑了互信息隐私测度下的速率隐私函数.研究了速率隐私函数的渐近行为，因为量化分辨率增长没有限制，并且观察到并非所有的速率隐私函数的属性都从离散到连续的情况下进行。
2016-01-17 cs.IT math.IT math.ST
