The Asymptotic Behaviour of Information Leakage Metrics
本文公理化定义逐点与全局信息论泄露度量，证明其渐近性质，并给出复合定理，表明隐私随独立观测数增加按最小Chernoff信息决定的速率指数退化。
2025-05-13 cs.IT math.IT
Neural Estimation of Information Leakage for Secure Communication System Design
针对窃听信道安全通信，提出基于变分对比对数比上界和伯努利专家混合的神经互信息估计器，可准确量化泄漏并扩展块长度至255，用于设计通用哈希族。
2025-08-07 cs.IT math.IT
The Conditional Information Leakage Given Eavesdropper's Received Signals in Wiretap Channels
Wyner窃听信道模型中的信息泄漏通常定义为秘密信息与窃听者接收信号之间的互信息。我们定义了一个新的量称为“条件信息泄漏给定窃听者的接收信号，”它表示的信息量，窃听者从他/她的接收信号中获得。引入这个量的一个好处是，我们可以开发一个快速算法来计算条件信息泄漏，它具有线性复杂度的代码长度$n$，而计算通常的信息泄漏的复杂度是指数在$n$。通过研究二进制对称信道和二进制擦除信道的情况，证实了这种条件信息泄漏作为安全准则的有效性。
2019-01-25 cs.IT math.IT
On the Generalization Error of Differentially Private Algorithms via Typicality
Imperial College London（帝国理工学院）；University of British Columbia（不列颠哥伦比亚大学）
本文从信息论角度研究随机学习算法的泛化误差，改进互信息和最大泄露的界，为差分隐私算法提供更精确的泛化误差保证。
2026-04-17 cs.IT math.IT
Strong Asymptotic Composition Theorems for Mutual Information Measures
我们描述了增长的Sibson和Arimoto互信息和$α$ -最大泄漏，任何顺序，至少是统一的，之间的随机变量和一组不断增长的噪声，条件独立和identically分布的随机变量的观察。这些措施中的每一个都以指数方式快速增长到一个极限，该极限是阶数和测量相关的，指数是阶数和测量无关的。
2021-11-21 cs.IT math.IT
On the Ergodic Mutual Information of Keyhole MIMO Channels With Finite-Alphabet Inputs
本文研究了具有有限字母表输入信号的锁孔多输入多输出信道的各态历经互信息（EMI）。首先研究了单流传输的EMI，考虑了在发送端有和没有信道状态信息的情况。然后，推导出的结果被扩展到多流传输的场景。在高信噪比（SNR）的制度进行渐近分析。高SNR EMI收敛到一个常数，其收敛速度由分集阶数决定。在此基础上，讨论了小孔效应对电磁干扰的影响。数值模拟验证了分析结果。
2022-09-09 cs.IT eess.SP math.IT
On the Privacy-Utility Trade-off With and Without Direct Access to the Private Data
我们研究了信息理论隐私机制设计问题的两种情况下，私人数据是可观察的或隐藏的。在每种情况下，我们首先考虑有界的互信息作为隐私泄漏的标准，然后我们使用两个不同的每个字母的隐私约束。在第一种情况下，代理观察到与私有数据$X$相关的有用数据$Y$，并且希望向用户公开有用信息。设计了一种隐私机制以生成公开数据$U$，其在满足有界隐私泄露约束的同时最大化关于$Y$的公开信息。在第二种情况下，代理还可以访问私有数据。为此，我们首先通过放松独立性条件来扩展函数表示引理和强函数表示引理，从而允许一定的泄漏找到具有不同隐私泄漏约束的第二种情况的下界。此外，在第一种情况下，考虑到不同的隐私约束的上限和下限。特别是，对于不允许泄漏的情况下，我们的上限和下限改进了以前的边界。此外，考虑有界互信息隐私约束，我们表明，如果$X$和$Y$之间的公共信息和互信息是相等的，那么在第二种情况下，所获得的上界是紧的。最后，研究了具有优先级的私有数据的隐私-效用权衡，其中部分$X$，即，$X_1$比其余部分更私密，即，$X_2$，我们提供了下限和上限。
2022-12-23 cs.IT math.IT
Precoding by Pairing Subchannels to Increase MIMO Capacity with Discrete Input Alphabets
我们考虑高斯多输入多输出（MIMO）信道与离散输入字母。提出了一种基于\cite{Xcodes_paper}中X码的非对角预编码器，以增加互信息。MIMO信道使用奇异值分解（SVD）变换成一组并行子信道，然后使用X码配对子信道。X-码完全由配对和每个配对的$2\times 2$实旋转矩阵（用单个角度参数化）表征。该预编码结构使我们能够将总互信息表示为所有对的互信息的总和。通过{ \em i}）优化每个对内的旋转角度和功率分配以及{ \em ii}）找到对之间的最优配对和功率分配来解决找到具有上述结构的最优预编码器的问题，该最优预编码器使总互信息最大化。结果表明，所提出的配对方案实现的互信息是非常接近的克鲁兹{ \em等人}的最佳预编码器实现的，并且显著优于Lozano { \em et al.}的汞/水填充策略。我们的方法大大简化了预编码器的优化和检测的复杂度，使其适合于实际应用。
2010-02-23 cs.IT math.IT
On the Linear Precoder Design for MIMO Channels with Finite-Alphabet Inputs and Statistical CSI
本文研究了线性预编码器的设计，最大化的平均互信息的多输入多输出信道与有限的字母输入和统计信道状态信息已知的发射机。这种线性预编码器的设计是一个重要的开放问题，是非常难以解决的：第一，平均互信息缺乏封闭形式的表达，涉及复杂的计算;第二，预编码器的优化问题是非凹的。本研究探索了这一问题的解决方案，并做出了以下贡献：1）推导出平均互信息的封闭形式下界。该算法在低信噪比和高信噪比下均达到渐近最优，并且在恒定位移的情况下，能精确逼近平均互信息; 2）揭示了预编码器的最优结构，并提出了一种统一的两步迭代算法。数值算例表明了算法的收敛性和有效性。与传统的预编码方法相比，本文提出的线性预编码方法具有显著的性能增益。
2011-09-06 cs.IT math.IT
An Algorithm for Computing the Stratonovich's Value of Information
我们提出了一种算法，用于计算Stratonovich的信息值（VoI），可以被视为一个模拟的失真率函数。我们构造了一个交替优化算法的VoI下的一般信息泄漏约束，并推导出收敛条件。此外，我们还讨论了在特定的信息泄漏约束下计算VoI的算法，如香农的互信息（MI），$f$泄漏，Arimoto的MI，Sibson的MI和Csiszar的MI。
2022-05-08 cs.IT math.IT
Image selective encryption analysis using mutual information in CNN based embedding space
IMT Nord Europe（IMT北欧分校）；Institut Mines-Télécom（矿业电信研究所）；Centre for Digital Systems（数字系统中心）
本文研究图像选择性加密中的信息泄露问题，提出利用互信息估计器（经验估计器和MINE框架）在深度学习、信息论与密码学交叉领域检测泄露，为图像信息泄露估计提供新方向。
2025-08-12 cs.CR cs.IT cs.LG
Privacy-Utility Trade-offs Under Multi-Level Point-Wise Leakage Constraints
KTH（皇家理工学院）；UNSW Canberra（新南威尔士大学堪培拉分校）
本文提出了一种在多级点wise泄露约束下最大化隐私与效用权衡的机制设计方法，通过信息几何近似和矩阵奇异值分解实现高效隐私保护。
2026-01-08 cs.IT math.IT
A Tunable Measure for Information Leakage
介绍了一种可调的信息泄漏度量\textit{maximal $α$-leakage}。该度量量化了对手在改进其对以所公开的数据集为条件的数据集的任何（潜在随机）函数的先验信念的倾斜版本时的最大增益。$α$的选择决定了具体的对抗行为，从精炼$α=1$的信念到猜测$α= \infty$的最佳后验，对于这些极值，该度量分别简化为互信息（MI）和最大泄漏（MaxL）。对于所有其他$α$，该测量被示出为Arimoto信道容量。证明了该度量的几个性质，包括：（i）原始数据集和公开数据集之间的映射中的准凸性;（ii）数据处理不等式;以及（iii）组合性质。
2018-06-08 cs.IT math.IT
Maximal Information Leakage based Privacy Preserving Data Disclosure Mechanisms
通常需要向公共领域公开训练数据，同时保护某些敏感标签的隐私。我们使用信息理论的措施来开发这样的隐私保护数据披露机制。我们的机制涉及扰动的方式，在隐私效用权衡的平衡的数据向量。我们使用输出数据向量和机密标签之间的最大信息泄漏作为我们的隐私度量。我们首先研究了理论上的Bernoulli-Gaussian模型，并研究了只有高斯分布的平均值可以被扰动时的隐私效用权衡。我们表明，最佳的解决方案是相同的情况下，当使用错误的概率在对手的效用进行测量。然后，我们考虑将该框架应用于数据驱动的环境，并提供对Sibson互信息的经验近似。通过对MNIST和FERG数据集进行实验，我们表明，我们提出的框架实现了相当于或更好的隐私比以前的方法的基础上互信息。
2019-04-04 cs.CR cs.IT math.IT
Universal Mutual Information Privacy Guarantees for Smart Meters
智能电表能够以客户隐私为代价提高配电系统的效率。使用家用电池的用户可以通过应用隐藏其潜在能源使用的充电策略来减轻这种隐私损失。提出了一种电池充电策略，并显示出提供普遍的隐私保证的能源成本的约束。保证限制我们的策略的最大信息泄漏从用户到公用事业提供商的用户能源消耗的一般随机模型。政策建设适应非概率置换通道的编码策略，这个隐私问题。
2019-04-30 cs.IT math.IT
A Framework of Secure Source Coding using Mutual Information Security Criterion: Universal Coding, Strong Converse Theorem
University of Electro-Communications（电波大学）
本文提出了一种源加密框架，通过在指定的固定长度源码上应用加密处理。该框架基于香农密码系统的安全通信框架，利用互信息作为信息泄露的度量。研究建立了在错误概率和信息泄露分别被预设常数ε∈(0,1)和δ∈(0,∞)上界限制下的可靠安全通信的必要和充分条件，并证明该条件不依赖于这些常数，从而证明了所提出源加密框架的强逆定理。此外，还证明了存在通用的加密/解密方案，能够有效应对任意明文分布和密钥分布。
2026-05-21 cs.IT math.IT
Differential Privacy: on the trade-off between Utility and Information Leakage
差分隐私是数据库社区中非常流行的隐私概念。粗略地说，这个想法是，如果两个相邻数据集给出相同答案的概率之比受e^n约束，则随机化查询机制提供了足够的隐私保护。在信息流领域，存在对控制信息泄漏的类似关注，即限制从可观察量推断秘密信息的可能性。近年来，研究人员提出用Rényi min互信息来量化泄漏，这是一个与贝叶斯风险严格相关的概念。在本文中，我们将展示如何建模的查询系统中的信息理论的渠道，我们比较的概念差分隐私与互信息。我们发现，差分隐私意味着一个界上的互信息（但不是反之亦然）。此外，我们证明了我们的界是紧的。然后，我们考虑随机化机制的效用，它表示随机化答案平均与真实答案的接近程度。我们表明，差分隐私的概念意味着效用上的界限，也紧，我们提出了一种方法，在一定条件下建立一个最佳的随机化机制，即提供最佳效用的机制，同时保证差分隐私。
2011-08-25 cs.CR cs.DB cs.IT
Low-Complexity MIMO Precoding for Finite-Alphabet Signals
本文研究了单用户多输入多输出（MIMO）信道，特别是有限字母表信号的预编码器的设计。基于呈现视线分量和相当一般的天线相关性的信道的互信息的渐近表达式，提出了将一般信道分解成一组并行子信道对的预编码结构。然后，设计了一种低复杂度的迭代算法，以最大化所有对的互信息和。该算法显着降低了现有方法的计算量，只有最小的性能损失。复杂度的节省随着发射天线的数量和信号字母表的基数而增加，使得可以支持现有解决方案无法管理的值。最重要的是，所提出的解决方案不需要在发射机处的瞬时信道状态信息（CSI），而仅需要统计CSI。
2017-04-16 cs.IT math.IT
An Upgrading Algorithm with Optimal Power Law
考虑通道$W$以及给定的输入分布$P_X$。在某些设置中，诸如在极化码的构造中，$W$的输出字母表“太大”，因此我们用具有较小输出字母表的信道$Q$来替换$W$。如果通过处理$Q$的输出从$W$获得，我们说$Q$相对于$W$升级。在这种情况下，$W$的输入和输出之间的互信息$I(P_X,W)$由$Q$的输入和输出之间的互信息$I(P_X,Q)$限定上限。在本文中，我们提出了一种算法，从$W$产生一个升级的通道$Q$，作为$P_X$的函数和所需的输出字母大小的$Q$，表示为$L$。我们表明，在互信息的差异是“小”。也就是说，它是$O(L^{-2/(|\mathcal{X}|-1)})$，其中$|\mathcal{X}|$是输入字母表的大小。$L$的幂律是最优的。我们补充我们的分析与数值实验表明，所开发的算法改进后，现有的国家的最先进的算法也在非渐近设置。
2021-05-28 cs.IT math.IT
Quantifying the Information Leakage in Timing Side Channels in Deterministic Work-Conserving Schedulers
当多个作业进程由一个调度器服务时，一个进程的等待延迟通常会受到其他进程的影响，从而导致定时侧信道将一个进程的到达模式泄漏给其他进程。在这项工作中，我们研究了这样一个定时边通道之间的一个普通用户和一个恶意的攻击者。利用Shannon的互信息作为用户和攻击者之间的信息泄漏的度量，我们分析了常见的工作保护的隐私保护行为。我们发现，攻击者总是可以完美地学习用户的到达过程中的最长队列优先（LQF）调度。当用户的作业到达率非常低（接近零）时，先来先服务（FCFS）和循环调度器都完全揭示了用户的到达模式。在低速率的交通区域的近完整的信息泄漏被证明是减少了一半的工作保存版本的TDMA（WC-TDMA）调度器，这原来是隐私最优的类的确定性工作保存（det-WC）调度器，根据一个通用的下界信息泄漏，我们推导出所有det-WC调度器。
2014-05-15 cs.IT math.IT
$α$-leakage Interpretation of Rényi Capacity
本文提出$α$-泄漏的$\tilde{f}$-均值解释，并据此推导Rényi容量作为敌手恶意推理与先验信念上的最大泄漏，支持交替最大-最大实现。
2025-10-08 cs.IT math.IT
Confidence Intervals for the Mutual Information
通过将具有固定变分距离的两个联合概率分布之间的互信息差的绝对值的界和真实联合概率分布与经验联合概率分布之间的变分距离的最大偏差的概率的界相结合，建立了两个有限字母表随机变量的互信息的置信区间.与以前的结果不同，这些区间不需要对分布和样本量进行任何假设。
2013-01-28 cs.IT math.IT
A Framework of Variable-Length Source Encryption using Mutual Information Security Criterion: Universal Coding, Strong Converse Theorem
University of Electro-Communications（电波大学）
针对离散无记忆信源，提出一种基于Shannon密码系统的可变长无损信源加密框架，以互信息度量信息泄露，推导了安全通信的充要条件并证明其与泄露上界无关，进而证明了强逆编码定理及通用加解密方案的存在性。
2026-05-25 cs.IT math.IT
An Extension of the Adversarial Threat Model in Quantitative Information Flow
本文扩展了定量信息流框架，引入基于Kolmogorov-Nagumo $f$-均值的对抗模型，统一解释$α$-泄漏、最大$(α,β)$-泄漏等度量，并提出逐点信息增益以联系Rényi散度和Sibson互信息。
2025-06-03 cs.IT math.IT
The Capacity of Single-Server Weakly-Private Information Retrieval
私有信息检索（PIR）协议保证用户可以私有地检索存储在数据库中的文件，而不会泄露关于所请求文件的身份的任何信息。现有的信息理论PIR协议确保完美的隐私，即，零信息泄漏到存储数据库的服务器，但代价是高下载。在这项工作中，我们提出了弱私人信息检索（WPIR）计划，权衡完美的隐私，以提高下载成本时，数据库存储在一个单一的服务器上。我们研究了下载成本和信息泄漏的互信息（MI）和最大泄漏（MaxL）隐私度量之间的权衡。通过将WPIR问题与率失真理论相关联，引入了下载泄漏函数，该函数被定义为对于给定的信息泄漏水平和固定的文件大小，所有单服务器WPIR方案所需的最小下载成本。通过表征MI和MaxL度量的下载泄漏函数，充分描述了单服务器WPIR的容量。
2021-01-30 cs.IT math.IT
A Cross Entropy Interpretation of R{é}nyi Entropy for $α$-leakage
本文通过 f̃-均值交叉熵解释 Rényi 熵，将 α-泄漏扩展至 α∈[0,∞)，证明其等价于 Arimoto 互信息，并推广最大泄漏概念。
2024-01-26 cs.IT math.IT
Modelling and Quantifying Membership Information Leakage in Machine Learning
University of Melbourne（墨尔本大学）；Macquarie University（麦考瑞大学）
机器学习模型已被证明易受成员推断攻击的攻击，即，推断个人数据是否被用于训练模型。缺乏对这些攻击成功的因素的理解激发了使用信息理论对成员信息泄漏进行建模以及调查可以减少成员信息泄漏的机器学习模型和训练算法的属性的需要。我们使用条件互信息泄漏来测量训练机器学习模型中关于训练数据集中个体存在的信息泄漏量。我们设计了一个上限，这种措施的信息泄漏使用Kullback-Leibler分歧，更适合于数值计算。我们证明了Kullback-Leibler成员信息泄漏和假设测试对手检查特定数据记录是否属于机器学习模型的训练数据集的成功概率之间的直接关系。我们证明了互信息泄漏是训练数据集大小和正则化权重的递减函数。我们还证明，如果机器学习模型（定义在相对于模型参数的适应度的导数方面）的灵敏度高，则可能泄漏更多的成员信息。这表明，与具有较少自由度的简单模型相比，复杂模型（如深度神经网络）更容易受到成员推断攻击的影响。我们发现，当使用高斯$(ε,δ)$-差分私有加性噪声时，通过$\mathcal{O}(\log^{1/2}(δ^{-1})ε^{-1})$减少了成员信息泄漏量。
2020-04-28 cs.CR cs.IT cs.LG
Data Privacy and Utility Trade-Off Based on Mutual Information Neural Estimator
在大数据和物联网（IoT）时代，数据所有者需要在不安全的环境中与预期接收者共享大量数据，这就提出了用户隐私和数据效用之间的权衡问题。通过基于互信息的隐私漏斗来促进隐私效用权衡。然而，在样本量小或分布函数未知的情况下，准确地表征互信息是具有挑战性的。在这篇文章中，我们提出了一个隐私漏斗的基础上互信息神经估计器（MINE），以优化隐私效用权衡估计互信息。与传统的计算互信息的方法不同，我们使用MINE来估计它，MINE以训练的方式获得估计的互信息，确保估计结果尽可能精确。我们采用估计的互信息作为隐私和效用的度量，然后形成一个问题，通过训练一个神经网络，而估计的隐私话语小于一个阈值，以优化数据效用。仿真结果还表明，从MINE估计的互信息工作得很好，近似的互信息，即使在有限数量的样本，量化隐私泄漏和数据效用保留，以及优化隐私效用权衡。
2021-12-17 cs.IT math.IT
Improved Weakly Private Information Retrieval Codes
我们研究了弱隐私信息检索（W-PIR）问题，其中用户希望从$N$非合谋服务器检索所需的消息的方式，隐私泄漏所需的消息的身份小于或等于一个阈值。我们提出了一个新的代码建设，显着改善后，在文献中最知名的结果，基于以下关键的观察。在先前的构造中，对于最小下载的极端情况，检索模式是直接从$N-1$服务器下载消息;然而，这导致泄漏到所有这些$N-1$服务器，并且对于这种极端情况，更好的检索模式是直接从单个服务器下载消息。所提出的码构造允许到这样的模式的自然过渡，并且对于最大泄漏度量和互信息泄漏度量两者，可以获得显著的改进。我们提供了明确的解决方案，与林等人以前的工作相反，其中仅获得数值解。
2022-05-03 cs.IT math.IT
Measuring Quantum Information Leakage Under Detection Threat
提出温和量子泄漏作为窃听者规避检测场景下的信息泄漏度量，满足公理并受全局去极化噪声抑制，基于非对称近似克隆给出下界，以BB84编码示例验证。
2024-03-18 cs.CR cs.IT cs.SY
Bounds on Maximal Leakage over Bayesian Networks
Purdue University（普渡大学）
本文研究了贝叶斯网络上最大泄露量的界限，通过耦合特征分析并提出更一般的条件，展示了其在有限字母表下的应用效果。
2025-12-04 cs.IT math.IT math.PR
Optimal Utility-Privacy Trade-off with Total Variation Distance as a Privacy Measure
总变化距离被提出作为一个隐私措施在信息披露的情况下，当目标是揭示一些可用的数据在返回的效用的信息，同时保留某些敏感的潜在变量从合法的接收器的隐私。引入总变差距离作为隐私泄露的度量，证明了：1）总变差距离满足后处理不等式和链接不等式，这使得它与隐私度量的直观概念一致; 2）当总变差距离作为隐私度量时，最优效用-隐私权衡可以通过标准线性规划求解; iii）它提供了由互信息、最大泄漏或具有有界代价函数的推理攻击的改进测量的隐私泄漏的界限。
2019-03-04 cs.IT math.IT
Secure Block Source Coding with Sequential Encoding
我们介绍了基本的界限可实现的累积速率分布函数（CRDF）的特点，顺序编码过程中，确保无损或有损重建的平均失真标准，使用非因果解码器。CRDF描述了顺序压缩序列所花费的资源速率。我们还包括一个安全约束，影响可实现的CRDF集。随着信息泄漏的演变，基于源与其压缩表示之间的互信息来顺序地定义信息泄漏。为了表征安全约束，我们引入了累积泄漏分布函数（CLF）的概念，该函数确定了允许的信息泄漏分布在编码子块上。利用工具，从优化理论，我们得出的必要和充分条件，可实现的CRDF为一个给定的独立同分布（IID）源和CLF。本文的一个主要结果是，CRDF的凹壳特征的最佳可实现的速率分布。
2021-08-30 cs.IT math.IT
Barycentric and Pairwise Renyi Quantum Leakage
本文提出重心与成对Renyi量子泄漏度量，用于量子系统隐私分析，具有良好性质且可计算，并证明其限制信息泄漏，同时给出量子机器学习中的隐私-效用权衡公式。
2024-02-09 cs.CR cs.IT math.IT
Privacy-guaranteed Two-Agent Interactions Using Information-Theoretic Mechanisms
本文介绍了一个多轮的互动问题与隐私的两个代理之间的约束，观察相关的数据。代理交替地彼此共享数据总共K轮，使得每个代理在K/2轮上发起共享。交互被建模为K个随机机制（映射）的集合，每轮一个。我们的目标是共同设计的K个私人机制，以确定所有可实现的失真泄漏对在每个代理。论证了基于互信息的泄漏度量可以适用于流数据设置，本文：（i）确定所有可实现的失真泄漏元组的集合：（ii）表明K机制允许在K轮上精确地组成总隐私预算而没有损失;和（ii）开发条件下的相互作用减少净泄漏在两个代理商和说明它为一个特定类别的源。然后，本文重点讨论了对数损失失真，以更好地理解使用学习理论中常用的效用度量对泄漏的影响。由此产生的相互作用问题导致一个非凸的总和泄漏失真优化问题，可以被看作是一个互动版本的信息瓶颈问题。一个新的合并和搜索算法，扩展了经典的凝聚信息瓶颈算法的互动设置，以确定一个可证明的局部最优解。最后，对数损失下的相互作用的好处说明了特定的源类和最优性的一杆证明高斯源下均方和对数损失失真的约束。
2016-10-03 cs.IT math.IT
Secure Distributed Storage: Optimal Trade-Off Between Storage Rate and Privacy Leakage
针对分布式存储中数据可恢复性与隐私泄露的权衡问题，本文推导了存储大小与隐私水平间的基本权衡及编码器局部随机性的最优量，并给出了斜坡秘密共享方案份额大小的最优下界。
2024-03-15 cs.CR cs.IT math.IT
Mutual Information-Maximizing Quantized Belief Propagation Decoding of Regular LDPC Codes
本文提出了一种有限字母表迭代译码器（FAID），称为互信息最大化量化置信传播（MIM-QBP）译码器，用于译码规则低密度奇偶校验（LDPC）码。我们的解码器遵循重建-计算-量化（RCQ）解码架构，广泛用于FAID。我们提出了第一个完整的和系统的设计框架的RCQ参数，并证明我们的设计具有足够的精度在节点更新是能够最大限度地提高编码比特和交换的消息之间的互信息。仿真结果表明，MIM-QBP译码器的性能始终明显优于采用双输入单输出查找表译码的最大互信息FAID。此外，由于每个交换的消息仅使用3个比特，MIM-QBP解码器可以在高信噪比区域优于浮点置信传播解码器，当对高速率LDPC码进行最多10次和30次迭代测试时。
2022-12-16 cs.IT math.IT
Sparse Point-wise Privacy Leakage: Mechanism Design and Fundamental Limits
KTH（皇家理工学院）；UNSW Canberra（新南威尔士大学堪培拉分校）
本文研究了稀疏点隐私泄露机制设计问题，提出了一种基于信息几何的二次近似方法，并通过凸半正定规划松弛解决NP难问题，同时确定了稀疏最优的阈值条件。
2026-01-12 cs.IT math.IT
Strengthened Information-theoretic Bounds on the Generalization Error
考虑如下问题：给定一个联合分布$P_{XY}$和一个事件$E$，用$P_XP_Y(E)$（其中$P_XP_Y$是$P_{XY}$的边缘的乘积）和$X$与$Y$的依赖性度量来约束$P_{XY}(E)$.这样的界限有直接的应用在学习算法的泛化误差的分析，其中$E$表示一个大的错误事件和依赖的措施控制的程度过拟合。在这里，使用几个信息理论度量，特别是：互信息，lautum信息，最大泄漏，和$J_\infty$的界限证明。互信息界可以通过任意大的因子超过文献中的可比界。
2019-03-09 cs.IT math.IT
Robust Generalization via $α$-Mutual Information
EPFL（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
这项工作的目的是提供边界连接两个概率测量同一事件使用雷尼$α$ -分歧和Sibson的$α$ -互信息，分别推广的Kullback-Leibler分歧和香农的互信息。当所考虑的两个概率度量是联合分布和边际的相应乘积（代表统计独立情景）时，可以找到感兴趣的特定情况。在这种情况下，检索使用Sibson的$α-$互信息的界限，将涉及最大泄漏的结果扩展到一般字母表。这些结果具有广泛的应用，从限制学习算法的泛化误差到自适应数据分析的更一般的框架，只要所使用的发散和/或信息度量服从于这样的分析（{ \it，}对后处理和自适应合成具有鲁棒性）。相对于高概率事件的泛化误差的界限，但相应的预期泛化误差的界限也检索。
2020-01-14 cs.IT cs.LG math.IT
Information-Theoretic Privacy with General Distortion Constraints
School of Electrical, Computer, and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
本文研究了隐私与效用的权衡问题，通过最小化隐私泄露度来确定最优隐私机制，并分析了不同失真约束下的渐近最优泄露率。
2026-05-10 cs.IT math.IT
Channel Leakage, Information-Theoretic Limitations of Obfuscation, and Optimal Privacy Mask Design for Streaming Data
New York University（纽约大学）
在本文中，我们首先引入了信道泄漏的概念，作为信道输入和信道输出之间的最小互信息。正如其名称所示，信道泄漏量化了对恶意接收器的最小信息泄漏。从广义上讲，它可以被看作是信道容量的双重概念，它表征了到目标接收机的最大信息传输。我们得到明确的公式的信道泄漏的情况下，白色高斯，有色高斯的情况下，和衰落的情况下。然后，我们利用这一概念调查的基本限制混淆的隐私失真权衡（以及隐私权权衡）的流数据，特别是，我们推导出分析权衡方程的固定的情况下，非固定的情况下，和有限时间的情况下。我们的研究结果还明确指出，如何设计的隐私面具在一个最佳的方式。
2020-09-29 cs.CR cs.IT cs.LG
Asymmetric Local Information Privacy and the Watchdog Mechanism
本文提出了一种新的看门狗私有化方案，通过推广本地信息隐私（LIP），以提高数据的效用。为了保护与某些有用数据$X$相关的敏感特征$S$，LIP限制了访问$X$前后$S$上的提升、后验信念与先验信念的比值。对于每个$x$，敏感特征的最大和最小提升都是发布此符号的隐私风险的度量，出于保护隐私的目的，应加以限制。以前的作品强制执行相同的限制最大升降机和最小升降机。然而，经验观察表明，最小升力通常比最大升力小得多。在这项工作中，我们推广了LIP定义，以考虑最大和最小升力的不相等值，即，考虑最大提升和最小提升的不同界限。这个新的定义被应用于看门狗隐私机制。我们证明了在局部差分隐私上的给定隐私约束下，效用得到了增强。与此同时，由此产生的最大升力较低，因此严格限制了其他隐私泄露，例如，互信息、最大泄漏和$α$ -泄漏。
2022-05-29 cs.IT math.IT
Differential Privacy versus Quantitative Information Flow
差分隐私是数据库社区中非常流行的隐私概念。粗略地说，这个想法是，如果两个不同条目产生某个答案的概率之比受e^ε约束，则随机化查询机制提供了足够的隐私保护。在匿名性和信息流领域，存在类似的对控制信息泄漏的关注，即限制从可观察量推断秘密信息的可能性。近年来，研究人员提出用信息论中的互信息概念来量化泄漏。有两种主要的方法属于这一类：一种是基于香农熵，另一种是基于雷尼最小熵。后者与所谓的贝叶斯风险有关，贝叶斯风险表示猜测秘密的概率。在本文中，我们将展示如何建模的查询系统中的信息理论的渠道，我们比较的概念差分隐私与互信息。我们表明，差分隐私的概念是严格强，在这个意义上，它意味着一个绑定的互信息，但不是反之亦然。
2010-12-20 cs.CR cs.DB cs.IT
Mixing, Ergodic, and Nonergodic Processes with Rapidly Growing Information between Blocks
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
我们构建混合过程在一个无限的字母表和遍历过程在一个有限的字母表的长度$n$的相邻块之间的香农互信息增长$n^β$，其中$β\in(0,1)$。这些过程是在自然语言建模的背景下引入的非遍历Santa Fe过程的修改。后两个过程的互信息率是相同的，本文也建立了这一关系。作为一个辅助结果，证明了混合过程的无穷直积也是混合的。
2011-11-22 cs.CL cs.IT math.IT
Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage
American University of Beirut（贝鲁特美国大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Institute of Science and Technology Austria（奥地利科学技术研究所）
该研究采用信息论框架，用最大泄露指标分析迭代含噪学习算法的泛化行为，推导了相关上界并阐释了更新函数对最优噪声选择的影响。
2023-07-19 cs.IT cs.LG math.IT
Investigation of Alternative Measures for Mutual Information
互信息$I(X;Y)$是信息论中的一个有用的定义，用于估计随机变量$Y$关于随机变量$X$持有多少信息。定义互信息的一种方式是通过比较$X$和$Y$的联合分布与通过KL-发散的边缘的乘积。如果两个分布彼此接近，则几乎没有$X$从$Y$泄漏，因为两个变量接近于独立。在离散设置中，互信息具有$Y$揭示关于$X$的多少比特的良好解释，并且如果$I(X;Y)=H(X)$（$X$的香农熵），则$X$被完全揭示。然而，在连续的情况下，我们没有同样的推理。例如，在连续情况下，互信息可以是无限的。这一事实使我们能够尝试不同的度量或分歧来定义互信息。在本文中，我们正在评估不同的度量或分歧，如Kullback-Liebler（KL）分歧，Wasserstein距离，Jensen-Shannon分歧和总变异距离，以形成替代的互信息在连续的情况下。我们部署不同的方法来估计或约束这些指标和分歧，并评估其性能。
2022-04-13 cs.CR cs.IT math.IT
Signal Shaping for BICM at Low SNR
研究了比特交织编码调制（BICM）系统在低信噪比（SNR）下的互信息，即BICM容量，在宽带领域。引入了一种新的依赖于比特概率的线性变换。这种变换被用来证明某些BICM系统与均匀和非均匀输入分布之间的渐近等价性。使用已知的结果BICM系统具有均匀的输入分布，我们完全表征的组合的输入字母表，输入分布，和二进制标记，实现香农限-1.59 dB。主要结论是BICM系统在低信噪比下达到香农限当且仅当它可以表示为超立方体的零均值线性投影，这与均匀输入分布的条件相同。因此，除了几何整形所提供的之外，概率整形没有提供额外的自由度来优化BICM系统的低SNR互信息。数值结果证实了这些分析结论，同时也表明，对于固定的输入字母表，BICM的概率成形可以改善低信噪比和中等信噪比范围内的互信息，优于任何具有均匀输入分布的编码调制系统。
2012-09-13 cs.IT math.IT
Hypothesis Testing in the High Privacy Limit
Neyman-Pearson形式主义下的二元假设检验是一种统计推断框架，用于区分由两种不同来源分布产生的数据。隐私限制可能要求数据的管理者或数据应答者自己仅在应用随机化隐私机制之后才与测试共享数据。使用互信息作为隐私度量和输出（后随机化）源类的两个分布之间的相对熵作为效用度量（由Alfreff-Stein引理激发），这项工作的重点是找到一个最佳的机制，最大化所选择的效用函数，同时确保两个源分布的互信息为基础的泄漏是有界的。针对高隐私机制，提出了一种折衷问题的欧氏信息论（E-IT）近似。它示出的E-IT近似的解决方案是独立的字母表的大小，并澄清了一个互信息为基础的隐私度量保持其可能性成反比的源符号的隐私。
2016-07-02 cs.IT math.IT
Hypothesis Testing under Mutual Information Privacy Constraints in the High Privacy Regime
假设检验是一种统计推断框架，用于确定给定数据集的一组可能分布中的真实分布。隐私限制可能要求数据的管理者或受访者自己只有在应用随机隐私机制后才能与测试共享数据。这项工作认为，互信息（MI）的隐私度量测量泄漏。此外，受Alfreff-Stein引理的启发，选择输出（由隐私机制产生）的分布对之间的相对熵作为效用度量。对于这些指标，目标是找到二元和多元假设测试的最佳隐私-效用权衡（PUT）以及相应的最佳隐私机制。重点是高隐私制度，欧几里得信息理论近似的二进制和多进制的PUT问题。近似问题的解决方案澄清了基于MI的隐私度量与其可能性成反比地保留源符号的隐私。
2017-04-26 cs.IT math.IT
Conditional Rényi entropy and the relationships between Rényi capacities
Arimoto的条件Rényi熵和Rényi互信息的定义的类似物探索抽象字母。这些量，虽然依赖于参考措施，有一些有用的属性类似于那些已知的离散设置。除了列出一些这样的基本性质和雷尼分歧的关系，由Sibson，Augustin-Csiszár和Lapidoth-Pfister定义的互信息族之间的关系，以及相应的能力，进行了探索。
2020-05-02 cs.IT math.IT
Mutual Information Bounds in the Shuffle Model
School of Computer Science, Peking University（北京大学计算机学院）；National Engineering Research Center of Software Engineering, Peking University（北京大学软件工程国家工程研究中心）；Key Laboratory of High Confidence Software Technologies, Ministry of Education (Peking University)（教育部高可信软件技术重点实验室（北京大学））
本文从信息论视角首次系统研究单消息洗牌模型，分别推导纯洗牌场景的互信息渐近表达式、shuffle-DP场景的信息泄露上界，搭建了洗牌差分隐私与互信息隐私度量的桥梁。
2025-11-19 cs.CR cs.IT math.IT
Neural Joint Entropy Estimation
Tel-Aviv University（特拉维夫大学）
离散随机变量的熵估计是信息论及其相关领域的一个基本问题。该问题在各个领域有着广泛的应用，包括机器学习、统计学和数据压缩。多年来，人们提出了各种估算方案。然而，尽管取得了重大进展，但与变量的字母大小相比，大多数方法在样本较小时仍然很困难。在这项工作中，我们介绍了这个问题的实用解决方案，它扩展了McAllester和Statos（2020）的工作。所提出的方案使用深度神经网络（DNN）中交叉熵估计的泛化能力来引入改进的熵估计精度。此外，我们引入了一个家庭的估计相关的信息理论的措施，如条件熵和互信息。我们表明，这些估计是强一致的，并证明了他们的性能在各种用例。首先，我们考虑大字母表熵估计。然后，我们将范围扩展到互信息估计。接下来，我们将所提出的计划的条件互信息估计，因为我们专注于独立性测试任务。最后，我们研究了一个转移熵估计问题。所提出的估计表明，在所有测试的设置与现有的方法相比，提高了性能。
2020-12-21 cs.IT cs.LG math.IT
Finite-State Mutual Dimension
2004年，Dai、Lathrop、Lutz和Mayordomo定义并研究了序列$S \in Σ^\infty$的有限状态维数（算法维数的有限状态版本），2018年，Case和Lutz定义并研究了两个序列$S \in Σ^\infty$和$T \in Σ^\infty$之间的相互（算法）维数。本文给出了字母表$Σ$上两个序列$S \in Σ^\infty$和$T \in Σ^\infty$之间的上下有限态互维数$mdim_{FS}(S:T)$和$Mdim_{FS}(S:T)$的定义.直观地，序列$S \in Σ^\infty$的有限状态维数表示包含在$S$内的有限状态信息的密度，而两个序列$S \in Σ^\infty$和$T \in Σ^\infty$之间的有限状态互维数表示由$S$和$T$共享的有限状态信息的密度。因此，“有限状态互维”可以被看作是互维的“有限状态”版本和有限状态维的“互”版本。本研究的主要结果如下。首先，我们表明，有限状态的互维，使用信息无损有限状态压缩机定义，具有预期的互信息的措施的所有属性。其次，我们证明了有限状态互维数可以用块互信息率来表征。最后给出了两个正规序列实现$mdim_{FS}(S:T) = Mdim_{FS}(S:T) = 0$的充要条件。
2021-09-29 cs.CC cs.IT math.IT
