Studying Maximum Information Leakage Using Karush-Kuhn-Tucker Conditions
当研究程序或协议中的信息泄漏时，一个自然的问题出现了：“最坏的情况是什么？”".识别最大泄漏的这个问题可以被看作是信息理论意义上的信道容量问题。在本文中，通过结合两个强大的理论：信息论和Karush-Kuhn-Tucker条件，我们证明了一个非常普遍的解决方案的信道容量问题。给出的例子来说明我们的解决方案可以应用到实际的程序和匿名协议的情况下，以及如何推广以前的方法来解决这个问题。
2009-10-21 cs.CR cs.IT cs.LO
Quantifying Information Leakage in Finite Order Deterministic Programs
信息流分析是一种功能强大的技术，用于推理程序执行过程中暴露的敏感信息。虽然过去的工作已经提出了信息理论度量（例如，香农熵、最小熵、猜测熵等）为了量化这样的信息泄漏，我们认为，这些措施中的一些不仅会导致违反直觉的泄漏措施，而且在比较两个程序P1和P2时固有地倾向于冲突-比如香农熵预测程序P1的泄漏更高，而猜测熵预测程序P2的泄漏更高。本文提出了第一次尝试解决这种冲突，并推导出解决方案的有限阶确定性程序的无冲突比较。
2010-09-20 cs.CR cs.IT math.IT
The Sum Leaks More Than Its Parts: Compositional Privacy Risks and Mitigations in Multi-Agent Collaboration
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文首次系统研究多智能体LLM系统中跨交互组合导致的隐私泄露，提出ToM和CoDef两种防御策略，其中CoDef在隐私与效用间取得最佳平衡（79.8%），为协作式LLM部署提供了防护设计依据。
2025-09-16 cs.AI cs.CL cs.CR
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology（华中科技大学）
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析，证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私，推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界，为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
Information Theoretic Evaluation of Privacy-Leakage, Interpretability, and Transferability for Trustworthy AI
Software Competence Center Hagenberg（哈根贝格软件能力中心）；University of Rostock（罗斯托克大学）
为了开发考虑到可信AI的指导方针和原则的机器学习和深度学习模型，引入了一种新的信息理论可信AI框架。一个统一的方法，“隐私保护的可解释性和可转移的学习”被认为是研究和优化隐私，可解释性和可转移性方面之间的权衡。变分成员映射贝叶斯模型用于分析近似的定义的信息理论措施的隐私泄漏，可解释性和可转让性。该方法包括近似的信息理论的措施，通过最大限度地利用变分优化的下限。该研究提出了一种统一的信息理论方法，以严格的分析方式研究可信AI的不同方面。该方法是通过大量的实验基准数据集和现实世界的生物医学应用程序有关的个人使用心率变异性分析的精神压力的检测证明。
2022-04-12 cs.AI cs.CR cs.LG
Information Leakage in Index Coding With Sensitive and Non-Sensitive Messages
研究了索引编码中部分消息敏感而部分消息不敏感的情况下，对猜测对手的信息泄漏问题。非敏感消息可以由服务器像密钥一样使用，以减轻敏感消息向对手的泄漏。我们构建了一个确定性线性编码方案，该方案是从基于拟合矩阵的秩最小化方法（Bar-Yossef et al. 2011）发展而来的。线性方案导致了一个新的上界的最佳信息泄漏率，这是证明了紧的所有确定性标量线性码。我们还得到了一个相反的结果，从图论的角度来看，这在一般情况下，所有的确定性和随机编码方案。
2022-05-22 cs.CR cs.IT math.IT
Maximal Information Leakage based Privacy Preserving Data Disclosure Mechanisms
通常需要向公共领域公开训练数据，同时保护某些敏感标签的隐私。我们使用信息理论的措施来开发这样的隐私保护数据披露机制。我们的机制涉及扰动的方式，在隐私效用权衡的平衡的数据向量。我们使用输出数据向量和机密标签之间的最大信息泄漏作为我们的隐私度量。我们首先研究了理论上的Bernoulli-Gaussian模型，并研究了只有高斯分布的平均值可以被扰动时的隐私效用权衡。我们表明，最佳的解决方案是相同的情况下，当使用错误的概率在对手的效用进行测量。然后，我们考虑将该框架应用于数据驱动的环境，并提供对Sibson互信息的经验近似。通过对MNIST和FERG数据集进行实验，我们表明，我们提出的框架实现了相当于或更好的隐私比以前的方法的基础上互信息。
2019-04-04 cs.CR cs.IT math.IT
Machine-Checked Cardinality Bounds for Masked Barrett Reduction: A 1-Bit Side-Channel Leakage Barrier in Post-Quantum Cryptographic Hardware
Verdict Security；Faculty of Engineering, Ain Shams University（艾因夏姆斯大学工程学院）
本文研究了掩码巴塞特减法在后量子密码硬件中的卡数界限，提出1位泄漏障碍理论，并引入PF-PINI框架，通过Lean 4验证了其通用性。
2026-04-28 cs.CR
Computing Maximal Per-Record Leakage and Leakage-Distortion Functions for Privacy Mechanisms under Entropy-Constrained Adversaries
Lanzhou University of Finance and Economics（兰州财经大学）；Key Laboratory of Smart Commerce of Gansu Province（甘肃省智慧商务重点实验室）；China Mobile Group Design Institute Co., Ltd.（中国移动集团设计院有限公司）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文研究在熵约束攻击者模型下，最大单记录泄露、泄露-失真权衡及失真最小化问题，提出高效交替优化算法并验证其在二元对称信道和模数求和查询中的有效性。
2026-03-26 cs.CR
A new measure for dynamic leakage based on quantitative information flow
Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）；Macquarie University（麦考瑞大学）
本文提出一种新的动态信息泄漏度量，将对手信念与基线分布解耦，满足信息论公理并与静态视角兼容，用于评估系统运行中的实时泄漏。
2025-10-23 cs.CR cs.IT math.IT
Understanding Data Reconstruction Leakage in Federated Learning from a Theoretical Perspective
Illinois Institute of Technology（伊利诺伊理工学院）；Nanchang University（南昌大学）；University of Connecticut（康涅狄格大学）
本文提出一个理论框架，通过界定数据重构误差来理解联邦学习中的数据重构攻击，从而在理论上公平比较现有攻击的有效性，并验证了iDLG攻击本质上优于DLG攻击。
2024-08-22 cs.AI cs.CR
Quantitative Information Flow for Scheduler-Dependent Systems
定量信息流分析衡量有多少关于秘密的信息被公开可观察的输出所泄露。一个感兴趣的领域是量化和估计组成系统的信息泄漏。先前的工作集中在并行运行不相交的组件系统和推理的泄漏组成，但没有探讨如何组件系统并行运行或如何组成的系统的泄漏可以最小化。在本文中，我们考虑的方式，并行系统可以结合或调度。这考虑了资源可以共享的调度信道的影响，或者是否可以递增地观察输出。我们还概括了攻击者的能力，观察系统的输出，考虑攻击者谁可能是不完善的，在他们的意见，例如，当输出可能会相互混淆，或当评估所需的时间输出出现。我们的主要贡献是展示调度和观察如何影响信息泄露属性。特别是，调度可以隐藏一些泄漏的信息从完美的观察者，而一些调度可能会透露秘密信息，隐藏到不完美的观察者。此外，我们提出了一个算法来构建一个调度器，最小化的最小熵泄漏和最小容量在任何观察员的存在。
2015-09-29 cs.CR cs.IT cs.PL
Information Leakage Games: Exploring Information as a Utility Function
UFMG（米纳斯吉拉斯联邦大学）；University of Athens（雅典大学）；CNRS（法国国家科学研究中心）；AIST（日本产业技术综合研究所）；Inria Saclay（法国国家信息与自动化研究所萨克莱分院）；École Polytechnique（巴黎综合理工学院）
安全信息流和隐私领域的一个共同目标是建立有效的防御措施，防止不必要的信息泄漏。为此，必须能够推理潜在的攻击及其与可能的防御的相互作用。在本文中，我们提出了一个博弈论的框架，形式化的信息泄漏的背景下，攻击者和防御者的策略，并提供了一个基础，开发最佳的防御方法。我们的游戏的一个新颖之处是，它们的效用是由信息泄漏，在某些情况下，可能会表现在一个非线性的方式。这导致了与经典博弈论的显著偏离，在经典博弈论中，效用函数与参与者的策略是线性的。因此，本文的一个重要贡献是建立了信息泄漏博弈的基础。我们考虑两种类型的游戏，这取决于考虑泄漏的概念。第一种是QIF博弈，它是为定量信息流（QIF）理论量身定制的。第二种是DP-博弈，对应于差分隐私（DP）。
2022-01-28 cs.AI cs.CR cs.GT
Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems
Department of Computer Science, Rensselaer Polytechnic Institute, Troy New York（计算机科学系，雷士拉尔理工大学，特洛伊新 York）
本研究提出了一种信息论视角下的隐私控制框架，用于解决序列多智能体LLM系统中因信息流而产生的隐私泄露问题，通过约束信息流实现隐私与效用的平衡。
2026-02-13 cs.CR cs.LG cs.MA
Analysis of Privacy Leakage in Federated Large Language Models
University of Florida（佛罗里达大学）
本研究针对适配大语言模型的联邦学习协议缺乏全面隐私分析的问题，设计两种有理论成功率保障的主动成员推理攻击，揭示主流大语言模型的隐私漏洞，并评估差分隐私机制下的隐私泄露情况。
2024-03-02 cs.CR cs.LG
Attacking Masked Cryptographic Implementations: Information-Theoretic Bounds
测量信息泄漏对于评估密码设备对抗边信道分析的实际安全性至关重要。信息理论的措施可以用来（连同法诺不等式），以获得上界的成功率的任何可能的攻击方面的数量的侧信道测量。等效地，这给出了给定攻击成功概率的查询数量的下限。在本文中，我们认为加密实现保护（一阶）屏蔽计划，并推导出几个信息理论界的任何（二阶）攻击的效率。所得到的界限是通用的，因为它们不依赖于一个特定的攻击，但只对泄漏和掩蔽模型，通过侧信道测量和秘密密钥之间的互信息。数值评估证实，我们的界限反映了最佳最大似然攻击的实际性能。
2022-05-16 cs.CR cs.IT math.IT
Bottlenecks CLUB: Unifying Information-Theoretic Trade-offs Among Complexity, Leakage, and Utility
University of Geneva（日内瓦大学）；Harvard University（哈佛大学）；Imperial College London（帝国理工学院）
瓶颈问题是近年来在机器学习和信息论领域受到越来越多关注的一类重要的优化问题。它们被广泛应用于生成模型、公平机器学习算法、隐私保护机制的设计，并作为信息论性能界出现在各种多用户通信问题中。在这项工作中，我们提出了一个一般的优化问题，称为复杂性泄漏效用瓶颈（CLUB）模型，它（i）提供了一个统一的理论框架，概括了大多数最先进的文献中的信息理论隐私模型，（ii）建立了一个新的解释流行的生成和歧视模型，（iii）构建了新的见解生成压缩模型，以及（iv）可以用于公平生成模型。我们首先制定的CLUB模型作为一个复杂性约束的隐私效用优化问题。然后，我们将其与密切相关的瓶颈问题，即信息瓶颈（IB），隐私漏斗（PF），确定性IB（DIB），条件熵瓶颈（CEB）和条件PF（CPF）联系起来。我们表明，俱乐部模型概括了所有这些问题，以及大多数其他信息理论的隐私模型。然后，我们构建了深变分CLUB（DVCLUB）模型，采用神经网络参数化相关的信息量的变分近似。在这些信息量的基础上，我们提出了监督和无监督DVCLUB模型的统一目标。在无监督设置中利用DVCLUB模型，然后将其与最先进的生成模型连接起来，例如变分自动编码器（VAE），生成对抗网络（GANs）以及Wasserstein GAN（WGAN），Wasserstein自动编码器（WAE）和对抗自动编码器（AAE）模型通过最优传输（OT）问题。然后，我…
2022-07-11 cs.CR cs.IT cs.LG
Privacy-Preserving State Estimation with Crowd Sensors: An Information-Theoretic Respective
University of Melbourne（墨尔本大学）
本文研究了使用群体传感器进行线性时不变动态系统隐私保护状态估计问题，通过设计具有信息论视角的隐私保护噪声，实现隐私与效用的平衡。
2025-09-21 cs.CR cs.IT cs.SY
Information Leakage Games
我们考虑一个博弈论的设置来模拟攻击者和防御者之间的信息流的背景下，相互作用，并对他们的最佳策略的原因。与标准博弈论相反，在我们的博弈中，混合策略的效用是防守者纯行动分布的凸函数，而不是其效用的期望值。然而，博弈论的重要属性，特别是存在一个纳什均衡，仍然适用于我们的（零和）泄漏游戏，我们提供算法来计算相应的最优策略。作为典型的（同时）博弈论，最优策略通常是混合的，即，概率，对于攻击者和防御者。从信息流的角度来看，这是预期的情况下的后卫，因为众所周知，随机化的系统设计水平可能有助于减少信息泄漏。关于攻击者，然而，这似乎是第一个工作（w.r.t.信息流中的文献）形式上证明了在某些情况下，最优攻击策略必然是概率性的。
2017-08-21 cs.CR cs.GT cs.IT
An Information Theoretic Study of Timing Side Channels in Two-user Schedulers
研究了双用户同步器中的定时边信道。当两个用户共享调度器时，一个用户可以从服务定时的模式中了解另一个用户的行为。我们测量的信息泄漏所产生的定时侧通道在服务于一个合法的用户和一个恶意的攻击者，使用的隐私度量定义为香农含糊的用户的工作密度。我们表明，常用的先来先服务（FCFS）调度提供没有隐私的攻击者能够完全学习用户的作业模式。此外，我们引入了一个调度策略，积累和服务调度器，服务的用户和攻击者的工作在缓冲后，分批。该调度器以服务延迟为代价减轻了信息泄漏，并且当增加大延迟时可以实现最大的隐私性。
2013-06-14 cs.CR cs.IT math.IT
Breach By A Thousand Leaks: Unsafe Information Leakage in `Safe' AI Responses
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；University of Oxford（牛津大学）
该研究指出当前AI安全防御的鲁棒性不足，提出基于信息论的推理型攻击者威胁模型与问题分解攻击，证明需通过信息审查限制泄露，且存在安全-效用权衡。
2024-10-30 cs.AI cs.CR cs.CY
Privug: Using Probabilistic Programming for Quantifying Leakage in Privacy Risk Analysis
披露数据分析结果具有重要的科学和商业理由。但是，未经认真调查受试者隐私风险，不得披露任何数据。Privug是一种工具支持的方法，用于探索数据分析和匿名化程序的信息泄漏特性。在Privug中，我们重新解释了一个程序的概率，使用现成的贝叶斯推理工具来执行信息流的信息理论分析。对于隐私研究人员来说，Privug提供了一种快速、轻量级的方式来试验隐私保护措施和机制。我们表明，Privug是准确的，可扩展的，并适用于一系列泄漏分析方案。
2021-08-11 cs.CR
Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning
Princeton University（普林斯顿大学）
在移动网络上操作的机器学习算法可以被表征为三个不同的类别。第一种是经典的情况，其中终端用户设备将其数据发送到中央服务器，在中央服务器中该数据用于训练模型。第二种是分布式设置，其中每个设备训练自己的模型并将其模型参数发送到中央服务器，在中央服务器中，这些模型参数被聚合以创建一个最终模型。第三种是联邦学习设置，其中，在任何给定时间$t$，一定数量的活动终端用户利用其自己的本地数据以及由中央服务器提供的反馈进行训练，然后将其新估计的模型参数发送到中央服务器。然后，服务器聚合这些新参数，更新自己的模型，并将更新后的参数反馈给所有最终用户，继续这个过程，直到它收敛。这项工作的主要目标是提供一个信息理论的框架，所有上述的学习范式。此外，使用所提供的框架，我们开发的泛化误差的上限和下限与隐私泄漏的经典，分布式和联邦学习设置的界限。关键词：联邦学习，分布式学习，机器学习，模型聚合。
2020-05-05 cs.CR cs.DC cs.LG
Analyzing Defense Strategies Against Mobile Information Leakages: A Game-Theoretic Approach
滥用移动和可穿戴设备上的零权限传感器来推断用户的个人上下文和信息是一种众所周知的隐私威胁，已受到极大关注。然而，到目前为止，防止或限制此类威胁成功的保护机制的努力一直是临时性的，主要集中在设计针对特定威胁的定制防御机制。这样的方法不是很实用，这从它们在主要移动/可穿戴操作系统内的有限采用中显而易见。最后，很明显，如果对这些传感器的访问受到管制，那么可以防止所有利用对零权限传感器的无限制访问的隐私威胁。然而，由于传感器使用的动态性质和不同移动应用的要求，这种访问控制机制的设计是不平凡的。为了有效地设计一个自动化的移动防御机制，可以动态地测量不同的传感器访问请求的威胁程度，从不同的应用程序，并适当地阻止可疑的请求，零权限传感器访问的问题需要首先进行形式化的定义和分析。本文采用博弈论的方法，具体地说，信号博弈，来实现上述目标，分析模型的传感器接入场景的移动应用程序，包括，形式化的传感器接入策略的移动应用程序和防御策略的板载防御机制和相关的成本和收益。在一个正式的和实际的博弈模型的范围内，本文概述了条件下，可以实现实体（应用程序和防御机制）之间的平衡与冲突的目标。通过数值模拟进一步分析了博弈模型，并将其扩展为重复信号博弈的形式。
2019-04-30 cs.CR cs.GT
Local Information-Theoretic Security via Euclidean Geometry
National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；Chanakya University（查纳基亚大学）
本文基于欧几里得信息论提出方法，研究离散无记忆窃听信道的局部安全特性，通过约束优化问题最大化合法用户信息率并限制信息泄露和编码信息成本，利用局部几何近似将非凸问题转化为可解二次规划问题，推导出局部安全容量公式并分析新定义的局部收缩系数。
2026-05-13 cs.CR cs.IT math.IT
Quantitative Security Analysis for Multi-threaded Programs
信息流的定量理论为我们提供了一种方法来放松许多实际程序难以满足的绝对机密性。经典的信息论方法的顺序程序，程序被建模为一个通信信道，只有输入和输出，泄漏的措施是基于初始不确定性和剩余的不确定性的概念，观察最终的结果，不适合多线程程序。此外，信息论的方法也已被证明是相互冲突时，比较程序。多线程程序的暴露信息流的推理更加复杂，因为这些程序的结果取决于调度器策略，并且中间状态中的泄漏也有助于程序的整体泄漏。本文提出了一种新的多线程程序的定量分析模型，该模型还考虑了沿轨迹的中间状态的可观测量的影响。我们定义了一个概念的泄漏的程序跟踪。给定多线程程序的执行通常由一组跟踪描述的事实，在特定调度器下的程序的泄漏被计算为所有可能的跟踪的泄漏的期望值。最后通过实例将我们的方法与现有的方法进行了比较。
2013-06-12 cs.CR
Bayesian Framework for Gradient Leakage
ETH Zurich（苏黎世联邦理工学院）
联邦学习是一种在不共享训练数据的情况下训练机器学习模型的既定方法。然而，最近的工作表明，它不能保证数据隐私，因为共享梯度仍然可以泄漏敏感信息。为了正式的梯度泄漏的问题，我们提出了一个理论框架，使，第一次，分析贝叶斯最佳对手措辞作为一个优化问题。我们证明，现有的泄漏攻击可以被视为近似的输入数据和梯度的概率分布的不同假设，这个最佳的对手。我们的实验证实了贝叶斯最佳对手的有效性时，它有知识的底层分布。此外，我们的实验评估表明，现有的几种启发式防御对更强的攻击无效，特别是在训练过程的早期。因此，我们的研究结果表明，建设更有效的防御和他们的评估仍然是一个悬而未决的问题。
2022-03-17 cs.CR cs.LG
Coherence Rather Than Error Rate Governs Privacy in Multi-Tenant Quantum Computing
The University of Melbourne（墨尔本大学）
本文提出基于量子态可区分性的信息泄漏度量，实验表明相干错误主导跨租户信息泄漏，均匀泡利随机化可将其降至零，并呼吁云量子提供商报告泄漏指标。
2026-10-02 cs.CR quant-ph
LRCoin: Leakage-resilient Cryptocurrency Based on Bitcoin for Data Trading in IoT
目前，构成物联网（IoT）的物联网（IoT）设备数量超过110亿，并且这个数字一直在不断增加。这些设备的流行导致了一种新兴的物联网业务模式，称为设备即服务（DaaS），它使传感器设备能够收集传播到所有感兴趣设备的数据。与其他设备共享数据的设备可以获得一些经济奖励，例如比特币。然而，侧信道攻击（其旨在利用在数据交易执行期间从物联网设备泄漏的一些信息）是可能的，因为大多数物联网设备容易被黑客攻击或受到损害。因此，由于信息泄露，例如泄露用于在比特币系统中签署比特币交易的私钥，在IoT环境中安全地实现数据交易是具有挑战性的。在本文中，我们提出了LRCoin，一种基于比特币的泄漏弹性加密货币，其中用于认证比特币交易的签名算法是泄漏弹性的。LRCoin适用于物联网应用等不可避免的信息泄露场景。我们的核心贡献是提出了一个有效的双线性连续泄漏弹性ECDSA签名。在一般双线性群模型下，在连续泄漏的情况下，证明了该签名算法对自适应选择消息攻击是不可伪造的。理论分析和实现都证明了该方案的实用性。
2018-10-26 cs.CR
ContextLeak: Auditing Leakage in Private In-Context Learning Methods
University of Southern California（南加州大学）
本文提出ContextLeak框架，用于评估私有上下文学习中信息泄露的最坏情况，通过插入标记检测敏感信息，并揭示现有方法在隐私与效用之间的权衡不足。
2026-04-20 cs.CL cs.CR
Formal Verification of Digital Twins with TLA and Information Leakage Control
针对数字孪生验证因不确定性和分布式组件面临的挑战，本文提出基于TLA的形式化方法，将不确定过程转化为有限状态机，通过弱化安全属性实现受控信息泄漏，在无人机数字孪生上验证了数据流同步性。
2024-11-27 cs.CR cs.DC cs.IT
On the Choice of Databases in Differential Privacy Composition
差分隐私（DP）是一种广泛应用的在维护用户隐私的同时发布数据的范例。它的成功在很大程度上归功于其组合属性，即使在多个数据发布的情况下也能保证隐私。因此，合成得到了很多关注，从研究界：有几个合成定理的对手与不同数量的灵活性，在他们的选择机制。但是除了机制之外，对手还可以选择调用这些机制的数据库。分析DP机制组成的经典工具，即所谓的组合实验，既不允许对数据库进行约束，也不允许对手对数据库成员的先验知识进行不同的假设。因此，我们提出了一个广义组合实验（GCE），它具有这种灵活性。我们发现，组成定理，持有相对于经典的组成实验也持有相对于最坏的情况下的GCE。这意味着，现有的组合定理提供了更多的情况下，比明确涵盖的经典组合实验的隐私保证。除了这些理论的见解，我们展示了两个实际应用的GCE：第一个应用程序是给更好的隐私边界的存在下，对数据库的选择的限制;第二个应用程序是原因对手的先验知识如何影响隐私泄漏。在这种情况下，我们展示了一个没有信息的先验和二次抽样，DP中的一个重要原语的对手之间的连接。据我们所知，本文是第一次分析数据库之间的相互作用，在DP组合，从而得到更好的理解组合和实用的工具，以获得更好的组合界限。
2022-09-27 cs.CR
Differential Privacy: on the trade-off between Utility and Information Leakage
差分隐私是数据库社区中非常流行的隐私概念。粗略地说，这个想法是，如果两个相邻数据集给出相同答案的概率之比受e^n约束，则随机化查询机制提供了足够的隐私保护。在信息流领域，存在对控制信息泄漏的类似关注，即限制从可观察量推断秘密信息的可能性。近年来，研究人员提出用Rényi min互信息来量化泄漏，这是一个与贝叶斯风险严格相关的概念。在本文中，我们将展示如何建模的查询系统中的信息理论的渠道，我们比较的概念差分隐私与互信息。我们发现，差分隐私意味着一个界上的互信息（但不是反之亦然）。此外，我们证明了我们的界是紧的。然后，我们考虑随机化机制的效用，它表示随机化答案平均与真实答案的接近程度。我们表明，差分隐私的概念意味着效用上的界限，也紧，我们提出了一种方法，在一定条件下建立一个最佳的随机化机制，即提供最佳效用的机制，同时保证差分隐私。
2011-08-25 cs.CR cs.DB cs.IT
Private Read-Update-Write with Controllable Information Leakage for Storage-Efficient Federated Learning with Top $r$ Sparsification
在联邦学习（FL）中，机器学习（ML）模型由大量用户使用他们在本地设备中的私有数据集体训练。通过FL中的顶级$r$稀疏化，用户仅上传更新的最重要的$r$部分，并且服务器仅向用户发送参数的最重要的$r'$部分，以便降低通信成本。然而，稀疏更新的值和索引泄漏了关于用户的私有数据的信息。在这项工作中，我们考虑FL设置，其中$N$非共谋数据库存储要训练的模型，用户从其中下载并私下更新稀疏参数，而不向数据库透露更新的值或其索引。我们提出了四种具有不同属性的方案来执行这项任务，同时实现最小的通信成本，并表明稀疏更新的值和位置的信息理论隐私可以得到保证。然而，这是以相当大的存储成本来实现的。为了缓解这一点，我们推广的计划，以这样一种方式，存储成本降低了一定量的信息泄漏的代价，使用模型分割机制。在一般情况下，我们提供的通信成本，存储成本和信息泄漏之间的权衡在私人FL与顶部$r$稀疏。
2023-03-07 cs.CR cs.IT cs.NI
Distribution inference risks: Identifying and mitigating sources of leakage
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
大量的工作表明，机器学习（ML）模型可能会泄露有关其训练数据的敏感或机密信息。最近，由于分布推断（或属性推断）攻击而导致的泄漏正受到关注。在这种攻击中，对手的目标是推断关于训练数据的分布信息。到目前为止，对分布推断的研究主要集中在证明成功的攻击，很少注意识别泄漏的潜在原因并提出缓解措施。为了弥合这一差距，作为我们的主要贡献，我们从理论上和经验上分析了信息泄漏的来源，允许对手进行分布推断攻击。我们确定了三个泄漏源：（1）记住对手感兴趣的$\mathbb{E}[Y|X]$（给定特征值的预期标签）的特定信息，（2）模型的错误归纳偏差，以及（3）训练数据的有限性。接下来，根据我们的分析，我们提出了原则性的缓解技术，对分布推断攻击。具体来说，我们证明了因果学习技术更有弹性的一种特定类型的分布推理风险称为分布成员推理比联想学习方法。最后，我们提出了一个形式化的分布推理，允许推理更一般的对手比以前可能的。
2022-09-18 cs.CR cs.LG
Quantifying Privacy Leakage in Split Inference via Fisher-Approximated Shannon Information Analysis
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Information Sciences & Technology Department, Pennsylvania State University（宾夕法尼亚州立大学信息与技术系）
针对拆分推理的隐私泄露量化难题，本文提出基于Fisher信息的隐私度量FSInfo与对应防御机制FSInfoGuard，可精准量化隐私风险，实现优于现有方案的隐私-效用权衡。
2025-11-18 cs.CR
InfoDecom: Decomposing Information for Defending Against Privacy Leakage in Split Inference
InfoDecom通过分解和去除冗余信息并注入校准噪声，实现了在分割推断中更优的隐私保护与效用平衡。
2026-01-03 cs.AI cs.CR cs.DC
A prior-free blind detection of information leakage from model predictions
Center for Molecular Cardiology, University of Zurich（苏黎世大学分子心脏病学中心）；Center for Complexity Sciences, National University of Mexico（墨西哥国立自治大学复杂性科学中心）
针对机器学习模型输出中信息泄露的检测问题，提出决策理论框架，证明校准泄露与诚实模型不可区分，但近确定性子组可被无先验检测，并在UK Biobank上验证。
2026-06-11 cs.CR cs.LG
Quantifying Information Leak Vulnerabilities
机密信息的泄漏是一个严重的安全风险。尽管取得了一些新的理论进展，但尚不清楚衡量机密信息泄漏的定量方法是否以及如何应用于实质性的现实世界计划。这主要是由于计算精确泄漏量的高度复杂性。在本文中，我们介绍了一种技术，它使得有可能决定一个程序是否符合定量的政策，规模大的状态空间的帮助下，有界模型检验。我们的技术被应用到一些正式报告的Linux内核中的信息泄漏漏洞。此外，我们还分析了安全远程密码套件和Internet消息支持协议实现中的身份验证例程。我们的技术表明，当有不可接受的泄漏;同样的技术也用于验证，第一次，应用的软件补丁确实堵塞信息泄漏。这是第一次展示定量信息流解决现实世界工业计划的安全问题。
2010-07-06 cs.CR
A Polynomial Interpolation based Quantum Key Reconciliation Protocol: Error Correction without Information Leakage
在这项工作中，我们提出了一种新的量子密钥分发（QKD）的密钥协调协议。基于牛顿多项式插值，该协议的目的是纠正所有错误的比特在接收机不透露信息的窃听。我们提供了准确的帧出错率（FER）的建议协议的表达式。所提出的算法的固有性质，确保纠正所有错误的位，如果算法成功。我们提出了一个信息理论证明，在关键的协调过程中所透露的信息等于零。我们还提供了一个数值比较，我们的算法的渐近性能的纠错码和两个示例性的低密度奇偶校验（LDPC）码。结果表明，无论Alice和Bob之间的距离如何，与LDPC码相比，我们的算法都提供了优越的性能。此外，所提出的密钥协调协议是可用于更长的量子链路距离比国家的最先进的协议。
2020-04-15 cs.CR
CRFU: Compressive Representation Forgetting Against Privacy Leakage on Machine Unlearning
提出CRFU方案，通过最小化压缩表示与擦除数据的互信息并引入记忆约束和遗忘率，在仅1.5%精度损失下将隐私重建攻击防御效果提升约200%。
2025-02-27 cs.CR
Trade-offs and Guarantees of Adversarial Representation Learning for Information Obfuscation
Carnegie Mellon University（卡内基梅隆大学）；D. E. Shaw & Co.（D.E.肖公司）；University of Virginia（弗吉尼亚大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
机器学习服务中使用的众包数据可能携带有关用户不想共享的属性的敏感信息。已经提出了各种方法来最小化敏感属性的潜在信息泄漏，同时最大化任务精度。然而，人们对这些方法背后的理论知之甚少。鉴于这一差距，我们开发了一个新的理论框架属性混淆。在我们的框架下，我们提出了一个极大极小优化配方，以保护给定的属性，并分析其推理保证对最坏情况下的对手。同时，很明显，一般来说，在最小化信息泄漏和最大化任务准确性之间存在着紧张关系。为了理解这一点，我们证明了一个信息理论的下限，以精确地描述准确性和信息泄漏之间的基本权衡。我们在两个真实世界的数据集上进行实验，以证实推理保证并验证这种权衡。我们的研究结果表明，在几种替代方案中，对抗学习方法在属性混淆和准确性最大化方面实现了最佳权衡。
2020-10-25 cs.CR cs.LG stat.ML
A Macroscopic Model for Differential Privacy in Dynamic Robotic Networks
越来越多的在线和移动信息平台正在促进大规模网络中对等协作战略的发展。这些技术正被联网的机器人系统利用，以提供自动化运输、资源再分配（协作消费）和定位服务的应用。然而，系统动态的外部观测可能会暴露有关组成这些网络的参与者（机器人、资源和人类）的敏感信息。特别是，我们关心的设置，对手获得访问系统的动态状态的快照。我们提出了一种方法，量化它是多么容易为对手识别的特定类型的任何代理（可以是机器人，资源，或人类）在网络中，根据这一观察。我们借鉴差分隐私理论，提出了一个封闭的形式表示的泄漏的系统时，快照是在稳态，以及一个数值方法来计算泄漏时，快照是在任何给定的时间。我们的方法的新颖之处在于，我们的隐私模型建立在系统状态的宏观描述之上，这使我们能够考虑相互依赖的受保护实体（网络参与者）。我们的研究结果显示了泄漏是如何变化的，作为网络的组成和动态行为的函数;它们还表明了提高隐私级别的设计规则。
2017-03-14 cs.CR cs.RO
