A Neural Difference-of-Entropies Estimator for Mutual Information
CAMaCS, University of Warwick（沃里克大学CAMaCS中心）；Mathematics Institute, University of Warwick（沃里克大学数学学院）
本文提出一种基于归一化流和块自回归结构的神经熵差互信息估计器，在高维基准任务上改善了偏差-方差权衡。
2025-10-23 cs.IT cs.LG math.IT
Beyond Normal: On the Evaluation of Mutual Information Estimators
ETH AI Center, ETH Zurich（苏黎世联邦理工学院ETH人工智能中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；SIB Swiss Institute of Bioinformatics（SIB瑞士生物信息学研究所）；Department of Biosystems Science and Engineering, ETH Zurich（苏黎世联邦理工学院生物系统科学与工程系）
本文提出构建具有已知真实互信息的多样化分布族及语言无关基准平台，系统评估经典与神经互信息估计器在高维、稀疏、长尾和高互信息场景下的适用性与局限，并为实践者提供选择指南。
2023-10-16 cs.IT cs.LG math.IT
Estimating Total Correlation with Mutual Information Estimators
全相关（TC）是信息论中的一个基本概念，用来度量多个随机变量之间的统计相关性。最近，TC在许多学习任务中作为正则化器显示出显著的有效性，其中多个潜在嵌入之间的相关性需要联合最小化或最大化。然而，计算精确的TC值是具有挑战性的，特别是当嵌入变量的封闭形式分布是未知的。在本文中，我们介绍了一个统一的框架来估计总的相关值与基于样本的互信息（MI）估计。更具体地说，我们发现了TC和MI之间的关系，并提出了两种类型的计算路径（树状和线状）分解TC到MI条款。在每个MI项都有界的情况下，可以成功地估计TC值。此外，我们提供了理论分析的统计一致性建议TC估计。实验上的合成和现实世界的情况下，我们的估计证明在所有TC估计，最小化和最大化任务的有效性。该代码可在https://github.com/Linear95/TC-estimation上获得。
2023-02-22 cs.IT math.IT
Potential Conditional Mutual Information: Estimators, Properties and Applications
University of Washington, Seattle（华盛顿大学西雅图分校）
条件互信息I（X;Y| Z）测量X和Y在给定Z的情况下包含的关于彼此的平均信息。这在许多学习问题中是一个重要的基元，包括条件独立性测试，图形模型推理，因果强度估计和时间序列问题。在一些应用中，希望具有纯条件分布p_{Y|X,Z}而不是联合分布p_{X,Y,Z}的泛函。我们将潜在条件互信息定义为用修改的联合分布p_{Y|X,Z} q_{X,Z}计算的条件互信息，其中q_{X,Z}是潜在分布，固定机场。我们开发K最近邻估计这个功能，采用重要性采样，和一个耦合技巧，并证明了这样的估计有限k的一致性。我们证明了估计器具有良好的实际性能，并显示在动态系统推理的应用。
2017-10-13 cs.IT cs.LG math.IT
Understanding the Limitations of Variational Mutual Information Estimators
Stanford University（斯坦福大学）
基于神经网络的变分方法在估计高维变量之间的互信息（MI）方面显示出了良好的前景。然而，由于对偏差/方差权衡的理解不足，它们在实践中可能难以使用。我们从理论上表明，在某些条件下，估计，如MINE表现出的方差，可以指数增长的真实金额的基础MI。我们还实证表明，现有的估计无法满足MI的基本自洽性质，如数据处理和独立下的可加性。基于变分方法的统一观点，我们开发了一个新的估计，侧重于方差减少。标准基准测试任务的实证结果表明，我们提出的估计具有改进的偏差方差权衡标准基准测试任务。
2020-03-24 cs.IT cs.LG math.IT
Neural Capacity Estimators: How Reliable Are They?
Ryerson University（瑞尔森大学）；National Yang-Ming Chiao-Tung University（阳明交通大学）
最近，已经提出了几种使用深度神经网络并且在不知道数据的闭合形式分布的情况下从样本数据估计互信息的方法。这类估计被称为神经互信息估计。虽然非常有前途，这样的技术还没有被严格的基准，以建立其有效性，易于实施，和稳定的容量估计，这是联合最大化框架。在本文中，我们比较了文献中提出的不同技术估计能力，并提供了一个从业者的角度来看，其有效性。特别是，我们研究了互信息神经估计器（MINE），平滑的互信息下界估计器（SMILE）和定向信息神经估计器（DINE）的性能，并提供了对InfoNCE的见解。我们评估了这些算法的能力，学习的输入分布的能力接近的AWGN信道，光强度信道，峰值功率约束的AWGN信道。对于这两种情况，我们对训练过程的各个方面提供了有见地的评论，例如稳定性，对初始化的敏感性。
2022-03-19 cs.IT cs.LG eess.SP
Mutual Information and Optimality of Approximate Message-Passing in Random Linear Estimation
我们认为，从噪声的线性随机高斯投影的知识的信号的估计。与此问题相关的几个例子是压缩感知、稀疏叠加码和码分多址。已经有一些工程考虑这个问题的互信息使用的副本方法从统计物理。在这里，我们把这些考虑放在一个坚定的严格的基础上。首先，我们表明，使用Guerra-Toninelli型插值，副本公式产生一个上界的确切互信息。其次，对于许多相关的实际情况下，我们提出了一个逆下界的方法，使用空间耦合，状态演化分析和I-MMSE定理。这产生了一个单字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。此外，我们证明了低复杂度的近似消息传递算法是最佳的所谓的硬相外，在这个意义上，它渐近达到最小均方误差。在这项工作中，空间耦合主要用作证明技术。然而，我们的结果也证明了空间耦合噪声线性随机高斯估计的两个重要特征。首先，没有算法上的困难阶段。这意味着对于这样的系统，近似消息传递总是达到最小均方误差。其次，在适当的限制下，这类系统的互信息与非耦合线性随机高斯估计的互信息相同。
2020-08-28 cond-mat.dis-nn cs.IT math-ph
Conditional Mutual Information Neural Estimator
KTH Royal Institute of Technology（KTH皇家理工学院）
最近在通信系统中的几项工作已经提出在编码器和解码器的设计中利用神经网络的能力。在这种方法中，可以基于来自信道的聚合样本来定制这些块以最大化传输速率。在许多通信方案中，可实现的传输速率是由条件互信息项决定的，基于神经网络的信息理论量的估计是本文的重点。我们的结果是基于KL-发散的变分界限，与以前的一些工作相比，我们提供了一个数学上严格的下限。然而，额外的挑战，相对于无条件的互信息出现由于存在的条件密度函数，我们在这里解决。
2020-02-14 cs.IT cs.LG math.IT
Estimating Mutual Information by Local Gaussian Approximation
从样本中估计互信息（MI）是统计学、机器学习和数据分析中的基本问题。最近研究表明，一类流行的非参数MI估计对强相依变量的表现非常差，并且具有与真实MI呈指数级的样本复杂性。这种不希望的行为是由于依赖于这些估计的局部均匀性的基础（和未知的）概率密度函数。在这里，我们提出了一种新的半参数估计的互信息，在每个样本点，密度是{ \em局部}近似的高斯分布。我们证明了估计量是渐近无偏的。我们还表明，建议的估计有一个优越的性能相比，几个基线，并能够准确地测量关系的强度超过许多数量级。
2016-02-17 cs.IT math.IT physics.data-an
Estimating Mutual Information for Discrete-Continuous Mixtures
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
从观察到的样本估计互信息是一个基本的原语，在几个机器学习任务中很有用，包括相关性挖掘，信息瓶颈聚类，学习Chow-Liu树和（因果）图形模型中的条件独立性测试。虽然互信息在一般概率空间中是一个定义良好的量，但现有的估计只能处理两种特殊情况：纯离散或纯连续的随机变量对。主要的挑战是，这些方法首先估计X、Y和对（X;Y）的（微分）熵，并将它们与适当的符号相加以获得互信息的估计。这些3 H-估计不能应用于一般的混合空间，其中熵没有很好的定义。在本文中，我们设计了一个新的估计的互信息的离散-连续混合。我们证明了所提出的估计是一致的。我们提供的数值实验表明所提出的估计相比，其他approxistics的小连续噪声添加到所有的样本和应用标准估计量为纯连续变量，量化的样本和应用标准估计量为纯离散变量的优越性。这显著地拓宽了互信息估计在真实世界应用中的适用性，其中一些变量是离散的，一些是连续的，并且其他是连续和离散分量之间的混合。
2018-10-09 cs.IT cs.LG math.IT
Sample Complexity of Peer Prediction
Columbia University（哥伦比亚大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Northwestern University（西北大学）
该研究刻画了同伴预测中互信息无偏估计量的样本复杂度，确定了不同样本量下唯一的互信息，提出了DMI的改进估计量，还发现提前停止估计量可降低方差及存在可在少于三个样本内估计的互信息。
2026-08-18 cs.GT cs.IT math.IT
Precoded Polar Product Decoder Based on Soft-Output SCL Decoding and Maximization of Generalized Mutual Information
本文针对预编码极化乘积码的迭代译码，提出结合码本概率软消息生成与广义互信息最大化系数缩放的优化方法，并利用外信息SCL译码器进行密度演化分析，显著提升了纠错性能且能准确预测译码阈值。
2025-08-28 cs.IT math.IT
Ensemble Estimation of Generalized Mutual Information with Applications to Genomics
互信息是随机变量之间相关性的度量，已成功地用于许多领域的无数应用中。超越经典Shannon互信息的广义互信息互信息度量在这些应用中也受到了很大的关注。在两种情况下，我们得到了两个多维随机变量$\mathbf{X}$和$\mathbf{Y}$之间一般互信息测度的基于核密度的插入式估计的均方误差收敛速度：1）$\mathbf{X}$和$\mathbf{Y}$是连续的; 2）$\mathbf{X}$和$\mathbf{Y}$可以有离散和连续分量的任意混合.使用导出的速率，我们提出了一个合奏估计这些信息的措施，称为GENIE通过采取加权和的插件估计与不同的带宽。当连续变量的条件密度足够光滑时，所得到的系综估计达到了$1/N$参数均方误差收敛速度。据我们所知，这是第一个非参数互信息估计已知的混合情况下，经常出现在应用程序（例如变量选择分类），以实现参数收敛速度。该估计器易于实现，它使用离线凸优化问题的解决方案和简单的插件估计器。一个中心极限定理也来自系综估计和极小极大率来自连续的情况下。我们证明了集成估计的混合情况下的模拟数据，并应用所提出的估计分析单细胞数据中的基因关系。
2021-07-29 cs.IT math.IT math.ST
Neural Estimators for Conditional Mutual Information Using Nearest Neighbors Sampling
KTH Royal Institute of Technology（瑞典皇家理工学院）
从一组样本中估计互信息（MI）或条件互信息（CMI）是一个长期存在的问题。在该领域中的最近的工作路线已经利用了人工神经网络的近似能力，并且已经显示出对传统方法的改进。这种新方法的一个重要挑战是，给定原始数据集，需要获得一个不同的集合，其中样本根据特定的产品密度函数分布。这在估算CMI时尤其具有挑战性。在本文中，我们引入了一种基于k个最近邻（k-NN）的新技术来执行重采样并推导样本平均值的高置信度浓度界。然后，该技术被用来训练一个神经网络分类器和CMI估计相应。我们提出了三个估计使用这种技术，并证明他们的一致性，使它们之间的比较和类似的方法在文献中，并通过实验表明改进估计CMI的精度和方差的估计。
2020-12-30 cs.IT cs.LG math.IT
Mutual Information-Maximizing Quantized Belief Propagation Decoding of Regular LDPC Codes
本文提出了一种有限字母表迭代译码器（FAID），称为互信息最大化量化置信传播（MIM-QBP）译码器，用于译码规则低密度奇偶校验（LDPC）码。我们的解码器遵循重建-计算-量化（RCQ）解码架构，广泛用于FAID。我们提出了第一个完整的和系统的设计框架的RCQ参数，并证明我们的设计具有足够的精度在节点更新是能够最大限度地提高编码比特和交换的消息之间的互信息。仿真结果表明，MIM-QBP译码器的性能始终明显优于采用双输入单输出查找表译码的最大互信息FAID。此外，由于每个交换的消息仅使用3个比特，MIM-QBP解码器可以在高信噪比区域优于浮点置信传播解码器，当对高速率LDPC码进行最多10次和30次迭代测试时。
2022-12-16 cs.IT math.IT
Feedback Coding Schemes for the Broadcast Channel with Mutual Secrecy Requirement
最近，通信系统的物理层安全性（PLS）已经被证明是通过使用合法接收机的反馈来增强的。现有的基于秘密密钥的反馈方案主要集中在从反馈中产生密钥并使用该密钥来保护部分传输消息。然而，这种反馈方案已被证明是最佳的几个退化的情况下。具有相互保密要求的广播信道（BC-MSR）是无线通信系统下行链路中物理层安全（PLS）的核心。本文研究了反馈对BC-MSR的影响，给出了无噪声反馈BC-MSR的保密容量区域的两个内界和一个外界。一个内界是根据已经存在的秘密密钥为基础的反馈编码方案的窃听信道，和其他构造的混合编码方案，使用反馈，以产生不仅保护发送的消息，但也合作的消息，帮助接收机，以提高其解码性能。通过两个例子进一步解释了所提出的反馈方案的性能和内外界之间的差距。
2018-04-10 cs.IT math.IT
Low-Resolution Horizontal and Vertical Layered Mutual Information Maximizing LDPC Decoding
本文研究了准循环LDPC码在水平和垂直分层调度下的迭代低分辨率消息传递算法。粗量化和分层调度与硬件实现高度相关，以减少消息的位宽和解码迭代的次数。作为一种新颖性，本文比较了两种调度变量结合互信息最大化压缩操作中的变量和检查节点。我们评估的复杂性和出错率性能的各种配置。专用的硬件架构，定期准循环LDPC解码器的概念上得出的。硬件资源估计证实，大部分的复杂性在于路由网络的操作。我们的模拟揭示了类似的出错率性能的分层时间表，但略低的平均迭代计数的水平解码器。
2022-12-16 cs.IT math.IT
Efficient Estimation of Mutual Information for Strongly Dependent Variables
我们证明了一个流行的类的非参数互信息（MI）估计的基础上，k-最近邻图需要的样本数量，真正的MI指数尺度。因此，只有在样本量过大的情况下，才有可能准确估计两个强相依变量之间的MI。现有估计量的这一重要但被忽视的缺点是由于它们隐含地依赖于潜在联合分布的局部均匀性。我们引入了一个新的估计，是强大的本地非均匀性，工程有限的数据，并能够捕捉到的关系强度超过许多数量级。我们证明了所提出的估计的合成和真实世界的数据上的优越性能。
2015-03-05 cs.IT math.IT physics.data-an
Discriminative Mutual Information Estimators for Channel Capacity Learning
University of Klagenfurt（克拉根福大学）
信道容量在现代通信系统的发展中起着至关重要的作用，因为它代表了信息可以在通信信道上可靠传输的最大速率。然而，对于大多数渠道，找到一个封闭的形式的能力表达式仍然是一个开放的挑战。这是因为它需要执行两个艰巨的任务a）计算信道输入和输出之间的互信息，以及b）其关于信道输入处的信号分布的最大化。在本文中，我们解决这两个任务。受隐式生成模型的启发，我们提出了一种新的协作框架，用于自动学习任何类型的无记忆信道的信道容量。特别是，我们首先开发了一种新的方法来估计的互信息直接从一个典型的部署到训练对抗网络，称为歧视性互信息估计（DIME）。其次，我们包括合作信道容量学习框架，称为皮质，其中一个学习区分依赖和独立的信道输入输出样本，而发电机学习产生最佳的信道输入分布，其中的学习表现出最佳的性能。最后，我们证明了一个特定的选择的合作价值函数解决了信道容量估计问题。仿真结果表明，该方法具有较高的精度。
2021-07-07 cs.IT cs.LG math.IT
Quantum Broadcast Channels with Mutually Confidential Messages
Institute for Quantum Computing, University of Waterloo（滑铁卢大学量子计算研究所）；Department of Combinatorics and Optimization, University of Waterloo（滑铁卢大学组合数学与优化系）；Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）；Perimeter Institute for Theoretical Physics（理论物理珀蒂默研究所）；Dahlem Center for Complex Quantum Systems, Freie Universität Berlin（柏林自由大学达勒姆复杂量子系统中心）
研究量子广播信道中两个接收者互保密的经典消息传输，提出Marton型内界和二分经典-量子可分辨性定理，证明保密容量区域，并展示保密经典通信与量子传输的分离现象。
2026-09-23 cs.IT math.IT quant-ph
Secure Multiplex Coding with a Common Message
我们确定了一个共同的消息的安全多路复用编码的容量区域，并评估互信息和含糊率的秘密消息的集合的第二个接收者（窃听者），这是没有评估的山本等人。
2011-05-24 cs.CR cs.IT math.IT
A Perspective on Neural Capacity Estimation: Viability and Reliability
最近，已经提出了几种使用深度神经网络从样本数据估计互信息的方法。这些估计器被称为神经互信息估计（NMIE）。NMIE与其他方法不同，因为它们是数据驱动的估计器。因此，它们有潜力在一大类容量问题上表现良好。为了测试各种NMIE的性能，需要建立一个包含容量估计的不同挑战的基准。这就是本文的目的。特别地，我们考虑三种用于基准测试的场景：i经典AWGN信道，ii信道连续输入光强度和峰值功率约束的AWGN信道，iii具有离散输出的信道，即，泊松通道。我们还考虑了扩展到多终端的情况下与iv的AWGN和光学MAC模型。我们认为，在这四种情况下，基准测试一定的NMIE提供了一个实质性的性能测试。本文研究了互信息神经估计器（MINE）、平滑互信息下界估计器（SMILE）和定向信息神经估计器（DINE）的性能。并提供对其他方法性能的见解。总结我们的基准测试结果，MINE提供了最可靠的性能。
2022-10-05 cs.IT cs.LG eess.SP
C-MI-GAN : Estimation of Conditional Mutual Information using MinMax formulation
IIT Delhi（印度理工学院德里分校）；University of Washington（华盛顿大学）；TIFR Mumbai（塔塔基础研究院孟买分院）
信息理论量的估计，如互信息及其条件变量，由于其多方面的应用，最近引起了人们的兴趣。新提出的神经估计这些数量克服了严重的缺点，经典的$k$ NN为基础的估计在高维。在这项工作中，我们专注于条件互信息（CMI）估计，利用其制定的最小最大优化问题。这样的公式导致了类似于生成对抗网络的联合训练过程。我们发现，我们提出的估计提供了更好的估计比现有的方法对各种模拟数据集，包括变量之间的线性和非线性关系。作为CMI估计的一个应用，我们将我们的估计器部署在真实数据上进行条件独立性（CI）测试，并获得了比最先进的CI测试仪更好的结果。
2020-07-23 cs.IT cs.LG math.IT
Mutual Information Estimation via $f$-Divergence and Data Derangements
University of Klagenfurt（克拉根福大学）
本文提出基于$f$-散度变分表示和错排的新颖判别式互信息估计器，在偏差/方差权衡上表现优异，并通过实验证明比现有神经估计器更准确、复杂度更低。
2024-11-11 cs.IT cs.LG eess.SP
Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization
Virginia Tech（弗吉尼亚理工大学）；Duke University（杜克大学）；KAUST（阿卜杜拉国王科技大学）；Amazon（亚马逊）
InfoNCE及其变体的成功应用推广了对比变分互信息（MI）估计在机器学习中的应用。虽然具有优越的稳定性，但这些估计器严重依赖于昂贵的大批量训练，并且为了减少方差而牺牲了边界的紧密性。为了克服这些局限性，我们重新审视流行的变分MI边界的数学从镜头的非规范化的统计建模和凸优化。我们的调查不仅产生了一个新的统一的理论框架，包括流行的变分MI界限，但也导致了一种新的，简单的，强大的对比MI估计命名为FLO。理论上，我们证明了FLO估计是紧的，并且在随机梯度下降下可证明收敛。从经验上讲，我们的FLO估计器克服了前人的局限性，学习效率更高。FLO的效用是使用一组广泛的基准测试，这也揭示了在实际MI估计的权衡验证。
2022-10-24 cs.AI cs.IT cs.LG
Discrete Memoryless Interference and Broadcast Channels with Confidential Messages: Secrecy Rate Regions
我们研究离散无记忆干扰和广播信道的信息理论安全与独立的机密消息发送到两个接收器。机密信息以信息论的保密性被传送给它们各自的接收者。也就是说，每个接收者都完全不知道要发送给另一个接收者的消息。秘密级别由窃听接收器处的含糊率来衡量。在本文中，我们提出了这两个通信系统的保密容量区域的内界和外界。导出的外边界具有适用于两个信道模型的相同的互信息表达式。不同之处在于优化表达式的输入分布。内边界速率区域通过随机分箱技术实现。对于广播信道，双合并编码方案允许联合编码和保密性的保持。此外，我们表明，对于一个特殊的情况下的干扰信道，被称为开关信道，两个界限满足。最后，我们描述了高斯干扰信道的几种传输方案，并推导出它们的可达速率区域，同时确保互信息理论的保密性。提出了一种编码方案，其中发射机专用的一些功率来创建人工噪声，并显示优于时间共享和简单的多路复用传输的机密消息。
2007-12-11 cs.IT math.IT
Improving Numerical Stability of Normalized Mutual Information Estimator on High Dimensions
Nokia Networks（诺基亚网络）；University of Eastern Finland（东芬兰大学）；School of Computing（计算学院）
针对高维数据中基于k-NN的归一化互信息估计因半径计算溢出而失效的问题，提出对数变换技术，在避免溢出的同时保持精度、不增偏差与计算开销，并维持估计器方差。
2025-07-07 cs.IT cs.LG math.IT
Scalable Mutual Information Estimation using Dependence Graphs
互信息（MI）是在信息论、统计学和机器学习中使用的两个随机变量之间的依赖性的常用度量。最近，已经提出了几个MI估计，可以实现参数MSE收敛速度。然而，大多数先前提出的估计具有至少$O(N^2)$的高计算复杂性。基于$N$ i.i.d.提出了$\mathbb{R}^d$中随机向量间广义MI函数经验非参数估计的统一方法.样品降低复杂性的MI估计器称为集成依赖图估计器（EDGE），结合了随机局部敏感哈希（LSH）、依赖图和集成偏差减少方法。我们证明了EDGE实现了最佳的计算复杂性$O(N)$，并可以实现最佳的参数MSE率的$O(1/N)$，如果密度是$d$倍可微。据我们所知，EDGE是第一个非参数MI估计器，可以实现线性时间复杂度的参数MSE率。我们说明了EDGE在深度学习中分析信息平面（IP）的实用性。使用EDGE，我们揭示了关于信息瓶颈（IB）的压缩属性是否适用于ReLu和深度神经网络（DNN）中的其他纠正函数的争议。
2018-11-23 cs.IT math.IT stat.ML
Analysis of KNN Information Estimators for Smooth Distributions
University of California, Davis（加州大学戴维斯分校）
KSG互信息估计器是一种基于样本到其第k个最近邻的距离的互信息估计器，被广泛用于估计两个连续随机变量之间的互信息。已有的工作分析了这种估计的收敛速度的随机变量的密度有界远离零的支持。然而，在实践中，KSG估计也表现良好的更广泛的一类分布，不仅包括那些有界的支持和密度有界远离零，但也有界的支持，但密度接近零，和那些与无界的支持。本文分析了光滑分布的KSG估计误差的收敛速度，其中光滑分布的密度支集既可以是有界的，也可以是无界的。由于KSG互信息估计量可以看作是KL熵估计量的自适应重组，在我们的分析中，我们也给出了KL熵估计量对一大类分布的收敛性分析。
2019-10-24 cs.IT cs.LG math.IT
Approximate message passing from random initialization with applications to $\mathbb{Z}_{2}$ synchronization
本文研究了从噪声观测值中重构具有先验结构信息的未知秩一矩阵的问题。虽然计算贝叶斯最优估计似乎棘手的一般，由于其非凸性质，近似消息传递（AMP）出现作为一个有效的一阶方法来近似贝叶斯最优估计。然而，AMP的理论基础在很大程度上仍然无法从随机初始化开始，这是一个关键的实用程序。聚焦于一个原型模型称为$\mathbb{Z}_{2}$同步，我们从随机初始化的有限样本动态AMP的特点，揭示其快速的整体收敛。我们的理论在这个模型中提供了AMP的第一个非渐近特性，而不需要信息初始化（例如，光谱初始化）或样本分裂。
2023-02-07 cs.IT eess.SP math.IT
CCMI : Classifier based Conditional Mutual Information Estimation
University of Washington（华盛顿大学）
条件互信息（CMI）是在给定另一个随机变量Z的情况下，随机变量X和Y之间的条件相关性的度量。它可以用来量化许多数据驱动的推理问题，如图形模型，因果学习，特征选择和时间序列分析变量之间的条件依赖。虽然基于k-最近邻（kNN）的估计以及基于核的方法已被广泛用于CMI估计，他们遭受严重的维数灾难。在本文中，我们利用分类器和生成模型的进步来设计CMI估计方法。具体来说，我们引入了一个估计KL-分歧的似然比的基础上，通过训练一个分类器，以区分所观察到的联合分布的产品分布。然后，我们将展示如何构建几个CMI估计使用这个基本的分歧估计从条件生成模型的想法。我们证明了我们提出的方法的估计不会随着维数的增加而降低性能，并且比广泛使用的KSG估计量有显着的改善。最后，作为准确的CMI估计的应用，我们使用我们最好的估计器进行条件独立性测试，并在模拟和真实数据集上实现了比最先进的测试器更优越的性能。
2019-06-05 cs.IT cs.LG math.IT
A Bayesian Nonparametric Estimation of Mutual Information
互信息是一种广泛使用的信息理论度量，用于量化变量之间的关联量。它被广泛应用于许多应用中，如图像配准，电机故障诊断，模式识别，数据挖掘和独立性测试。本文的主要目标是提供一个有效的估计的互信息的方法的基础上Al Labadi等。等（2021）。通过各种示例探索估计量，并将其与Berrett et al.（2019）的频率论对应物进行比较。结果表明，该方法具有良好的性能，具有较小的均方误差。
2021-08-09 cs.IT math.IT stat.CO
Unequal Error Protection Achieves Threshold Gains on BEC and BSC via Higher Fidelity Messages
基于图的编码由于其接近容量的性能而具有广泛的应用，包括通信和存储。在这些编码中，不等错误保护（UEP）可以在有限的速率损失下提供性能增益。磁记录（MR）系统中的最新经验结果表明，通过约束编码对低密度奇偶校验（LDPC）码的奇偶校验位进行额外保护会导致显著的密度增益。特别地，当经由更可靠的奇偶校验位应用UEP时，奇偶校验位的更高保真度消息通过消息传递算法被扩展到所有位，从而实现性能增益。阈值分析是衡量基于图的代码或编码方案的有效性的工具。在本文中，我们提供了一个理论分析的UEP的想法，使用外部信息传输（EXIT）图表中的二进制擦除信道（BEC）和二进制对称信道（BSC）。我们使用EXIT函数来研究奇偶校验位的互信息的变化对整个编码方案的影响。我们提出了一种设置，其中重复累积（RA）LDPC码的奇偶校验位具有较低的擦除或交叉概率比输入信息位。我们推导出先验和外在的互信息函数的校验节点和变量节点的代码。在将我们的UEP设置应用于信息函数之后，我们制定了一个线性规划问题，以找到在解码收敛约束下最大化码率的最佳度分布。结果表明，通过更高保真度奇偶校验位的UEP分别在BEC和BSC上实现高达约$17\%$和$28\%$阈值增益。
2021-01-22 cs.IT eess.SP math.IT
High Dimensional Robust M-Estimation: Asymptotic Variance via Approximate Message Passing
在最近的一篇文章中（Proc. Natl. Acad.科学，110（36），14557-14562），El Karoui等人研究了在参数p的数量与样本样本个数n具有相同数量级的情况下稳健回归估计量的分布。利用数值模拟和“高度可信”的启发式论证，他们揭示了一个惊人的新现象。也就是说，回归系数包含不能用诸如Fisher信息矩阵的经典概念解释的额外高斯噪声分量。我们在这里表明，这种现象的特点是严格的技术，由作者开发的高维渐近分析拉索估计。我们引入了一个近似的消息传递（AMP）算法来计算M-估计和部署状态演化来评估AMP的操作特性，因此也M-估计。我们的分析澄清，在这个问题中遇到的“额外的高斯噪声”是基本上类似的现象已经研究了正则化最小二乘在设置n<p。
2013-11-15 cs.IT math.IT math.ST
Estimators for Multivariate Information Measures in General Probability Spaces
信息理论量在机器学习的各种环境中发挥着重要作用，包括因果关系测试，图形模型中的结构推理，时间序列问题，特征选择以及提供隐私保证。感兴趣的关键量是互信息及其推广，包括条件互信息、多元互信息、总相关和有向信息。虽然上述信息量在任意概率空间中定义良好，但现有的估计量增加或减少熵（我们称之为$ΣH$方法）。这些方法只适用于纯离散空间或纯连续的情况，因为熵（或微分熵）只在这种情况下定义良好。在本文中，我们定义了一个通用的图发散度（$\mathbb{GDM}$），作为一个衡量的观察到的分布和给定的图形模型结构之间的不兼容性。这概括了上述的信息措施，我们通过耦合技巧，直接估计这些多变量的信息措施，使用Radon-Nikodym衍生物构建一个新的估计。这些估计被证明是一致的，在一般设置，其中包括几种情况下，现有的估计失败，从而提供了唯一已知的估计为以下设置：（1）数据具有一些离散和一些连续值分量（2）一些（或所有）分量本身是离散-连续混合物（3）数据是实数-值，但在整个空间上没有联合密度，而是在低维流形上得到支持。我们表明，我们提出的估计显着优于已知的估计合成和真实的数据集。
2018-10-26 cs.IT math.IT
TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions
Fritz Haber Institute of the Max Planck Society（马克斯·普朗克学会弗里茨·哈伯研究所）；Humboldt-Universität zu Berlin（柏林洪堡大学）
相关特征的识别，即，决定过程或系统属性的驱动变量是分析具有大量变量的数据集的重要部分。量化这些特征的相关性的数学严格方法是互信息。互信息根据特征与感兴趣的属性的联合相互依赖性来确定特征的相关性。然而，互信息需要概率分布作为输入，这不能从连续分布（诸如像长度或能量的物理量）可靠地估计。在这里，我们介绍了总累积互信息（TCMI），相互依赖的相关性，扩展互信息的连续分布的基础上累积概率分布的随机变量的措施。TCMI是一种非参数的、鲁棒的和确定性的度量，其促进具有不同基数的特征集之间的比较和排名。TCMI诱导的排名允许特征选择，即，识别与感兴趣的属性在统计上非线性相关的变量集，考虑数据样本的数量以及变量集的基数。我们评估我们的措施与模拟数据的性能，比较其性能与类似的多变量依赖措施，并证明了我们的功能选择方法的有效性的一组标准数据集和材料科学中的一个典型场景。
2022-07-30 cs.IT cs.LG math.IT
Estimating mutual information for spike trains: a bird song example
本文以斑胸草雀为例，利用仅需数据点距离而无需坐标的Kozachenko-Leonenko估计器估计脉冲列互信息，发现脉冲信息内容不随歌声推进而减少。
2023-09-14 cs.IT math.IT q-bio.NC
SMML estimators for exponential families with continuous sufficient statistics
最小信息长度原则是一个信息论准则，它将数据压缩与统计推断联系起来。本文研究了$d$维指数族具有连续充分统计量的严格最小消息长度（SMML）估计，对所有$d \ge 1$ . SMML估计的分区示出由凸多面体（即凸多边形时，$d=2$），可以明确地描述的断言和编码概率。虽然这个结果是已知的，我们给出了一个新的证明的基础上变分法，这种方法给出了一些有趣的新的不等式SMML估计。我们也使用这个结果来构建一个SMML估计的$2$维正态随机变量与已知的方差和一个正常的前其均值。
2014-03-21 cs.IT math.IT math.ST
Mutual Information Bounds in the Shuffle Model
School of Computer Science, Peking University（北京大学计算机学院）；National Engineering Research Center of Software Engineering, Peking University（北京大学软件工程国家工程研究中心）；Key Laboratory of High Confidence Software Technologies, Ministry of Education (Peking University)（教育部高可信软件技术重点实验室（北京大学））
本文从信息论视角首次系统研究单消息洗牌模型，分别推导纯洗牌场景的互信息渐近表达式、shuffle-DP场景的信息泄露上界，搭建了洗牌差分隐私与互信息隐私度量的桥梁。
2025-11-19 cs.CR cs.IT math.IT
Exploiting Mutual Coupling Structure for Channel Estimation of Active RIS-Assisted Links
Technische Universität Berlin（柏林工业大学）；University of British Columbia, Kelowna（不列颠哥伦比亚大学（基洛纳校区））；American University of Beirut (AUB)（贝鲁特美国大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文针对有源可重构智能表面辅助链路，提出利用互耦结构进行低复杂度信道估计，通过压缩感知和散射矩阵结构缩减感知矩阵，在保持精度的同时显著降低复杂度。
2026-09-21 cs.IT eess.SP math.IT
Geometric k-nearest neighbor estimation of entropy and mutual information
互信息的非参数估计被广泛应用于科学问题中，以量化变量之间的相关性。k-最近邻（knn）方法是一致的，因此预期适用于大样本量。这些方法使用几何正则的局部体积元。这种做法允许体积元的最大局部化，但也可能由于对底层概率测度的局部几何形状的不良描述而引起偏差。我们引入一类新的knn估计，我们称之为几何knn估计（g-knn），它使用更复杂的局部体积元，以更好地模拟局部几何的概率测度。作为这类估计的一个例子，我们开发了一个g-knn估计的熵和互信息的基础上椭圆体积元，捕捉当地的拉伸和压缩常见的范围广泛的动力系统吸引子。一系列的数值例子，其中的厚度的底层分布和样本量是不同的建议，当地的几何形状是一个来源的knn方法，如Kraskov-Stögbauer-Grassberger（KSG）估计的问题时，当地的几何效应不能被删除的全球预处理的数据。g-knn方法表现良好，尽管操纵的局部几何。此外，例子表明，g-knn估计可以是特别相关的应用程序中，系统是大的，但数据大小是有限的。
2018-02-28 cs.IT math.DS math.IT
Efficient Channel Estimation for RIS-Aided MIMO Communications with Unitary Approximate Message Passing
可重构智能表面（RIS）是非常有前途的无线网络，以实现高能源效率，扩大覆盖范围，提高容量，大规模的连接，等释放的全部潜力的RIS辅助通信，获取准确的信道状态信息是至关重要的，但这是非常具有挑战性的。对于RIS辅助的多输入和多输出（MIMO）通信，现有的信道估计方法具有随着RIS单元$N$的数量快速增长的计算复杂性（例如，以$N^2$或$N^3$的顺序）和/或对所涉及的基质具有特殊要求（例如，为了算法收敛以获得满意的性能，矩阵需要是稀疏的），这阻碍了它们的应用。在这项工作中，而不是使用传统的信号模型在文献中，我们推导出一个新的信号模型，通过适当的矢量化和减少操作。然后，利用酉近似消息传递（UAMP），我们开发了一种更有效的信道估计器，该估计器的复杂度与$N$呈线性关系，并且由于UAMP的鲁棒性，对相关矩阵没有特殊要求。这为该算法在具有较大$N$的一般RIS辅助MIMO系统中的应用提供了便利。此外，大量的数值结果表明，所提出的估计提供了更好的性能和/或需要显着更少的训练符号，从而导致显着减少训练开销和延迟。
2021-12-31 cs.IT eess.SP math.IT
Universally Attainable Error and Information Exponents, and Equivocation Rate for the Broadcast Channels with Confidential Messages
我们普遍可达到的解码错误和互信息和普遍可达到的模糊率的条件熵的广播信道的机密消息的指数。误差指数与Korner和Sgarro给出的具有退化消息集的广播信道的误差指数相同。
2011-10-03 cs.CR cs.IT math.IT
Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing
针对高维广义线性模型，提出基于近似消息传递的光谱估计器，精确表征了相关高斯设计下的性能并找到最小化样本量的通用最佳预处理，改进了现有启发式方法。
2025-07-09 cs.IT cs.LG math.IT
Analysis of k-Nearest Neighbor Distances with Application to Entropy Estimation
一致地估计熵和互信息对于许多机器学习应用是重要的。Kozachenko-Leonenko（KL）估计量（Kozachenko & Leonenko，1987）是一种广泛使用的多变量连续随机变量熵的非参数估计量，也是Kraskov等人（2004）的互信息估计量的基础，可能是该设置中最广泛使用的互信息估计量。尽管这些估计的实际重要性，主要的理论问题，他们的有限样本行为仍然开放。本文证明了KL估计的偏差和方差的有限样本界，表明对于某些类光滑函数，它达到了极小极大收敛速度。在证明这些界限，我们分析有限样本行为的k-最近邻（k-NN）距离统计（KL估计的基础上）。我们得到的k-NN距离的浓度不等式和一般的期望界的k-NN距离的统计，这可能是有用的其他k-NN方法的分析。
2016-07-21 cs.IT math.IT math.ST
Directed Data-Processing Inequalities for Systems with Feedback
我们提出了新的数据处理不等式的互信息和有向信息的反馈系统。这种系统的内部块仅限于因果映射，但允许是非线性的，随机的和时变的。这些块可以例如表示源编码器、解码器或甚至通信信道。此外，所涉及的信号可以任意分布。我们的第一个主要结果涉及相互和定向信息，可以解释为信息流守恒定律。我们的第二个主要结果是一对数据处理不等式（一个是另一个的条件版本）之间的嵌套对完全在闭环随机序列。我们的第三个主要结果是介绍和表征的概念，在环（ITL）传输速率的信道编码的情况下，消息是内部的循环。有趣的是，在这种情况下，与消息的熵相关联的传输速率和基于最大化消息和输出之间的互信息的信道容量的传统概念被证明是不够的。相反，如我们所示，ITL传输速率是唯一的速率概念，当且仅当这样的ITL速率不超过从消息到解码消息的相应的定向信息速率时，信道码达到零错误概率。我们应用我们的数据处理不等式表明，可实现的（在通常的信道编码意义上）ITL传输速率的上确界的上确界的有向信息速率在整个通信信道。此外，我们提出了一个例子，在这个上限达到。最后...
2021-03-25 cs.IT math.IT
Flow Decomposition
研究了一般网络的解码转发可达域。该地区面临着根本性的紧张局势，其中节点以牺牲其他节点为代价而单独受益。该地区的复杂性取决于解决这一紧张局势的所有方式。两组约束定义了解码转发区域的外边界：第一，传统的互信息不等式隐含的一个中继信道，第二，因果关系约束，确保节点只转发消息，他们已经解码。流分解的框架被引入到显示这些约束也是足够的。流分解提供了一种操纵规则解码前向方案的方法，而没有长的编码延迟和对反向解码的双向通信的限制。定义流分解的两种结构是流和图层。流指定对来自每个源的消息进行编码的节点（即，路由）和编码延迟。layout指定在通道中的特定节点处解码的消息。我们专注于两种类型的流：层次流，树状路由，和全播流，其中每个路由覆盖所有节点。对于任意类型的流和任何速率向量满足互信息约束在一个特定的节点，我们证明了有等价的流和一个分层，满足互信息和因果关系的约束。在单独的工作中，我们表明，只有相互信息的约束是活跃的层次流的通道，这意味着可实现的区域具有最小的复杂性。在具有全投流的通道中，可达区域是可计算的。
2022-08-25 cs.IT math.IT
Conditional independence testing based on a nearest-neighbor estimator of conditional mutual information
条件独立性检验是因果发现的基础问题，在非线性和高维依赖的情况下是一项特别具有挑战性的任务。本文提出了一种基于条件互信息和局部置换方案的连续数据全非参数检验方法。通过最近邻方法，测试也有效地适应非光滑分布，由于强非线性依赖。数值实验表明，即使对于小样本量和高维条件集，该测试也能可靠地模拟零分布。该测试比基于核的测试更好地校准，利用零分布的分析近似，特别是对于非光滑密度，并达到相同或更高的功率水平。将局部置换方案与核测试相结合导致更好的校准，但在功率方面受到影响。对于较小的样本量和较低的维度，如果排列方案是（并行地）并行化的，则测试比基于随机傅立叶特征的核测试更快，但是运行时间随着样本量和维度而更急剧地增加。因此，需要更多的理论研究来解析地近似零分布，并加快对更大样本量的估计。
2017-09-05 cs.IT math.IT stat.ME
Kalman Filter from the Mutual Information Perspective
卡尔曼滤波器是一种最佳线性无偏状态估计器。从贝叶斯估计的角度来看，这也是可以理解的。本文首次从互信息的角度对卡尔曼滤波器进行了详细的推导。然后我们将这个结果推广到Rényi互信息互信息。最后得出结论，卡尔曼滤波器的量测更新是最小化动态系统状态不确定性的关键步骤。
2021-01-04 cs.IT math.IT
A non-asymptotic distributional theory of approximate message passing for sparse and robust regression
The Chinese University of Hong Kong（香港中文大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对稀疏与稳健回归，首次建立了可容纳多项式迭代次数的AMP有限样本非渐近分布理论，改进了高斯近似精度并增强了Lasso与稳健M-估计器的分布刻画。
2024-01-08 cs.IT cs.LG eess.SP
Estimating Conditional Transfer Entropy in Time Series using Mutual Information and Non-linear Prediction
我们提出了一个新的估计量来衡量时间序列的有向依赖。首先使用新的非均匀嵌入技术降低数据的维数，其中变量根据新信息量的加权和和以及变量提供的预测准确性的提高进行排名。然后，使用贪婪方法，以迭代的方式选择信息量最大的子集。当与使用现有的所选子集获得的预测准确度相比，排名最高的变量不能显著提高预测准确度时，算法终止。在模拟研究中，我们比较我们的估计现有的国家的最先进的方法在不同的数据长度和定向依赖强度。结果表明，所提出的估计有一个显着更高的精度比现有的方法，特别是对于困难的情况下，其中的数据是高度相关和耦合。此外，我们表明，由于瞬时耦合效应的有向依赖的错误检测低于现有的措施。我们还表明，所提出的估计真实颅内脑电图数据的适用性。
2020-11-27 cs.IT math.IT stat.ME
Role of Bootstrap Averaging in Generalized Approximate Message Passing
本文研究广义近似消息传递（GAMP）中自助平均的作用，通过状态演化分析发现，在数据生成与稀疏假设不符且样本量小时，自助平均能有效降低方差，并揭示相变现象，表明存在使无偏估计量方差最小的区域。
2023-05-18 cond-mat.dis-nn cs.IT math.IT
Image selective encryption analysis using mutual information in CNN based embedding space
IMT Nord Europe（IMT北欧分校）；Institut Mines-Télécom（矿业电信研究所）；Centre for Digital Systems（数字系统中心）
本文研究图像选择性加密中的信息泄露问题，提出利用互信息估计器（经验估计器和MINE框架）在深度学习、信息论与密码学交叉领域检测泄露，为图像信息泄露估计提供新方向。
2025-08-12 cs.CR cs.IT cs.LG
Nonparanormal Information Estimation
我们研究了使用i.i.d.的问题。从未知的多变量概率分布$p$采样，以估计$p$的互信息。这个问题最近在两种情况下受到关注：（1）假设$p$是高斯分布的，以及（2）假设$p$仅位于一个大的非参数平滑类中。当高斯假设成立时，为高斯情况提出的估计在高维收敛，但是当$p$不是高斯时，估计是脆弱的，显著地失败。非参数情况下提出的估计无法与现实的样本量收敛，除非在非常低的维度。因此，对于许多实际数据，缺乏鲁棒的互信息估计器。为了解决这个问题，我们提出了当$p$被假设为非超正常（即，高斯copula）模型，高斯和非参数极端之间的半参数妥协。使用理论界和实验，我们表明，这些估计罢工之间的鲁棒性和规模与维度的实际平衡。
2017-02-24 cs.IT math.IT math.ST
