Estimating Mutual Information for Discrete-Continuous Mixtures
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
从观察到的样本估计互信息是一个基本的原语，在几个机器学习任务中很有用，包括相关性挖掘，信息瓶颈聚类，学习Chow-Liu树和（因果）图形模型中的条件独立性测试。虽然互信息在一般概率空间中是一个定义良好的量，但现有的估计只能处理两种特殊情况：纯离散或纯连续的随机变量对。主要的挑战是，这些方法首先估计X、Y和对（X;Y）的（微分）熵，并将它们与适当的符号相加以获得互信息的估计。这些3 H-估计不能应用于一般的混合空间，其中熵没有很好的定义。在本文中，我们设计了一个新的估计的互信息的离散-连续混合。我们证明了所提出的估计是一致的。我们提供的数值实验表明所提出的估计相比，其他approxistics的小连续噪声添加到所有的样本和应用标准估计量为纯连续变量，量化的样本和应用标准估计量为纯离散变量的优越性。这显著地拓宽了互信息估计在真实世界应用中的适用性，其中一些变量是离散的，一些是连续的，并且其他是连续和离散分量之间的混合。
2018-10-09 cs.IT cs.LG math.IT
Estimating Total Correlation with Mutual Information Estimators
全相关（TC）是信息论中的一个基本概念，用来度量多个随机变量之间的统计相关性。最近，TC在许多学习任务中作为正则化器显示出显著的有效性，其中多个潜在嵌入之间的相关性需要联合最小化或最大化。然而，计算精确的TC值是具有挑战性的，特别是当嵌入变量的封闭形式分布是未知的。在本文中，我们介绍了一个统一的框架来估计总的相关值与基于样本的互信息（MI）估计。更具体地说，我们发现了TC和MI之间的关系，并提出了两种类型的计算路径（树状和线状）分解TC到MI条款。在每个MI项都有界的情况下，可以成功地估计TC值。此外，我们提供了理论分析的统计一致性建议TC估计。实验上的合成和现实世界的情况下，我们的估计证明在所有TC估计，最小化和最大化任务的有效性。该代码可在https://github.com/Linear95/TC-estimation上获得。
2023-02-22 cs.IT math.IT
Optimal input signal distribution and per-sample mutual information for nondispersive nonlinear optical fiber channel at large SNR
本文研究了在中等功率区具有大$\mathrm{SNR}$（信噪比）的加性高斯白噪声的非色散非线性光纤信道模型。利用费曼路径积分技术，我们第一次找到了最佳的输入信号分配最大化的信道的每样本互信息。最佳输入信号分布的发现允许我们改进先前已知的信道容量的估计。针对高斯、半高斯和修改的高斯输入信号分布计算输出信号熵、条件熵和每样本互信息。我们明确地表明，在中等功率制度的最佳输入信号分布的每样本互信息大于高斯和半高斯输入信号分布的每样本互信息。
2016-05-05 cs.IT math.IT
Beyond the I-MMSE relation: derivatives of mutual information in Gaussian channels
本文针对矢量高斯信道推导了互信息关于信噪比各阶导数的一般公式，揭示了其与统计理论中经典累积量-矩关系的显著相似性。
2024-08-25 cs.IT math.IT
Estimating Conditional Mutual Information for Dynamic Feature Selection
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
本文面向动态特征选择，提出以判别式方法估计特征与响应变量的条件互信息，并扩展支持可变预算、非均匀成本、先验信息和部分输入，实验显示其性能稳定优于近期方法。
2024-09-08 cs.IT cs.LG math.IT
Mutual Information of IID Complex Gaussian Signals on Block Rayleigh-faded Channels
我们提出了一种方法来计算，快速，有效地，互信息实现的IID（独立同分布）复杂的高斯输入块瑞利衰落信道在接收端没有边信息。该方法适应标量和MIMO（多输入多输出）设置。在操作上，如此计算的互信息表示使用标准高斯码本可以获得的最高频谱效率。提供的示例说明了由快速衰落引起的频谱效率的损失以及该损失如何通过使用多个发射天线而被放大。通过与在接收机处的理想信道状态信息下的信道容量以及与通过基于导频的传输获得的频谱效率的比较，进一步丰富了这些示例。
2010-01-13 cs.IT math.IT
Hessian and concavity of mutual information, differential entropy, and entropy power in linear vector Gaussian channels
在线性矢量高斯信道的框架内，任意信令，最小均方误差和Fisher信息矩阵的雅可比矩阵的封闭形式的表达式相对于任意参数的系统计算。利用先前的研究，其中的最小均方误差和Fisher信息矩阵被连接到信息理论的数量，通过微分，封闭形式的表达式的互信息和微分熵的海森推导。然后，这些表达式被用来评估在不同的信道条件下的互信息和微分熵，并推导出一个多变量版本的熵功率不等式由于科斯塔。
2009-03-11 cs.IT math.IT
Mutual Information Rate of Gaussian and Truncated Gaussian Inputs on Intensity-Driven Signal Transduction Channels
本文研究了强度驱动信号转导信道上高斯输入的互信息率，推导了其渐近表达式、近似数值解及闭式上下界，并通过仿真验证了分析的准确性。
2023-06-27 cs.IT math.IT q-bio.QM
Estimating and Maximizing Mutual Information for Knowledge Distillation
University of Virginia（弗吉尼亚大学）；Rice University（莱斯大学）
提出MIMKD方法，通过对比目标估计并最大化师生网络间互信息下界，实现知识蒸馏，提升低容量模型性能，在CIFAR100和ImageNet上取得显著准确率提升。
2023-05-11 cs.CV cs.IT math.IT
Mutual Information and Minimum Mean-square Error in Gaussian Channels
本文讨论了通过加性高斯噪声信道观测到的任意分布的有限功率输入信号。它显示了一个新的公式，连接的输入输出互信息和最小均方误差（MMSE）的最佳估计的输入给定的输出。也就是说，互信息（nats）相对于信噪比（SNR）的导数等于MMSE的一半，而与输入统计无关。这种关系适用于标量和矢量信号，以及离散时间和连续时间的非因果MMSE估计。这个基本的信息理论的结果有一个意想不到的后果，在连续时间的非线性估计：对于任何输入信号与有限的功率，因果滤波MMSE在SNR达到等于平均值的非因果平滑MMSE实现与信道的信噪比选择均匀分布在0和SNR之间。
2004-12-23 cs.IT math.IT
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$，并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明，如果统计模型具有亚高斯得分函数，那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界，并得到了高斯均值估计的紧前常数。然后，我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
Methods for Estimating Neural Information
本文研究了单个神经元Shannon信息估计的非平凡问题，描述了估计神经元输入与输出间互信息的三种关键方法，并提供了相关扩展阅读文献。
2022-12-20 cs.IT math.IT q-bio.NC
Estimating Conditional Transfer Entropy in Time Series using Mutual Information and Non-linear Prediction
我们提出了一个新的估计量来衡量时间序列的有向依赖。首先使用新的非均匀嵌入技术降低数据的维数，其中变量根据新信息量的加权和和以及变量提供的预测准确性的提高进行排名。然后，使用贪婪方法，以迭代的方式选择信息量最大的子集。当与使用现有的所选子集获得的预测准确度相比，排名最高的变量不能显著提高预测准确度时，算法终止。在模拟研究中，我们比较我们的估计现有的国家的最先进的方法在不同的数据长度和定向依赖强度。结果表明，所提出的估计有一个显着更高的精度比现有的方法，特别是对于困难的情况下，其中的数据是高度相关和耦合。此外，我们表明，由于瞬时耦合效应的有向依赖的错误检测低于现有的措施。我们还表明，所提出的估计真实颅内脑电图数据的适用性。
2020-11-27 cs.IT math.IT stat.ME
Calculation of Mutual Information for Partially Coherent Gaussian Channels with Applications to Fiber Optics
基于极坐标将复值信道输入与其复值输出之间的互信息分解为四个部分：幅度项、相位项和两个混合项。对加性高斯白噪声（AWGN）信道中各种输入的数值结果表明，在高信噪比（SNR）下，幅度和相位项占主导地位的混合项。对于高斯输入的AWGN信道，推导了高信噪比下的解析表达式。的分解方法被施加到部分相干的信道和属性，这样的信道称为“频谱损失”的开发。光谱损耗发生在非线性光纤信道中，并且它可能是需要考虑的一种效应，以解释最近研究中提出的非线性光纤信道的容量的行为。
2011-04-08 cs.IT math.IT
Mutual Information Estimation via Score-to-Fisher Bridge for Nonlinear Gaussian Noise Channels
Nagoya Institute of Technology（名古屋工业大学）
本文提出了一种基于Score-to-Fisher桥梁的方法，用于高效估计非线性高斯噪声通道中的互信息，通过分数匹配学习和鱼尔积分表示，结合理论分析与实验验证。
2026-01-05 cs.IT math.IT
Asymptotic Mutual Information Analysis for Double-scattering MIMO Channels: A New Approach by Gaussian Tools
双散射信道下多输入多输出（MIMO）系统的渐近互信息（MI）分析已经取得了令人满意的结果，但其均值、方差和分布的收敛速度尚未得到文献的证明。本文利用大随机矩阵理论（RMT），给出了MI的中心极限理论（CLT），并利用高斯工具导出了均值和方差的封闭近似。首次证明了均值、方差和特征函数的收敛速度为O（1/N），其中N为发射天线数。此外，有效散射体的数量的平均值和方差的影响进行了研究，在中高信噪比制度与一些有趣的物理见解。所提出的评估框架可用于其他系统在双散射信道下的渐近性能分析。
2023-01-17 cs.IT math.IT
Gray--Wyner and Mutual Information Regions for Doubly Symmetric Binary Sources and Gaussian Sources
本文针对Gray–Wyner信源编码中因非凸优化难以求解的问题，提出新的求解策略，首次给出双对称二进制源和高斯源的速率区域及互信息区域解析表达式，并证实了Gray和Wyner的猜想。
2023-07-06 cs.IT math.IT
Mutual Information Rate -- Linear Noise Approximation and Exact Computation
本文利用可精确计算互信息率的 PWS 方法，评估高斯近似在离散线性及非线性连续扩散系统中的失效条件与偏差。
2025-08-28 cs.IT math.IT physics.bio-ph
Estimating Mutual Information between Time Series and Temporal Event Sequences Across Diverse Analysis Tasks
University of Minnesota - Twin Cities（明尼苏达大学-双城分校）；University of Pittsburgh（匹兹堡大学）；Inha University（Inha大学）
提出一种非参数互信息估计器，直接度量连续时间序列与离散事件序列之间的依赖关系，无需数据转换或离散化，通过处理量化伪影和事件冗余实现鲁棒统一框架。
2026-06-23 cs.AI cs.IT cs.LG
Memory Complexity of Estimating Entropy and Mutual Information
该论文研究了在有限状态机约束下估计熵和互信息的记忆复杂度，给出了最小状态数的上下界，并通过近似计数和归约到均匀性检验证明了结果。
2025-04-23 cs.IT math.IT
On a Relationship between the Correct Probability of Estimation from Correlated Data and Mutual Information
设$X$、$Y$是两个相关的离散随机变量。我们考虑通过一些编码器函数$φ(Y)$从$Y$的编码数据$φ(Y)$估计$X$。我们推导出一个描述正确估计概率与$X$和$φ(Y)$之间的互信息之间关系的不等式。该不等式可用于以估计秘密数据的成功概率作为安全性判据的密码系统的安全性分析。给出了强保密准则中保密指数的直观含义。
2017-02-04 cs.IT math.IT
On mutual information, likelihood-ratios and estimation error for the additive Gaussian channel
本文考虑了任意分布信号x通过一个附加的独立高斯白噪声w（y=x+w）观测的模型。导出了非因果估计量的最小均方误差与y和ω之间的似然比之间的新关系。其次是最近推导出的互信息I（x;y）和最小均方误差之间的关系的扩展版本。这些结果被应用到推导无限维版本的Fisher信息和de Bruijn身份。结果的推导是基于Malliavin演算。
2005-05-16 cs.IT math.IT math.PR
Multiple Access Gaussian Channels with Arbitrary Inputs: Optimal Precoding and Power Allocation
在本文中，我们推导出新的封闭形式的梯度的互信息相对于任意参数的两用户多址接入信道（MAC）的表达式。推导出的关系式将互信息的导数和最小均方误差（MMSE）之间的基本关系推广到多用户系统。我们证明了互信息相对于信噪比（SNR）的导数等于MMSE加上由于干扰引起的协方差，量化的一个术语相对于多用户输入估计，信道和预编码矩阵的互相关。我们还推导出新的关系的梯度的条件和非条件互信息的MMSE。利用新的基本关系，我们研究的线性预编码和功率分配政策，最大化的互信息的两个用户MAC高斯信道的任意输入分布。我们表明，线性预编码器的最佳设计可以满足一个固定点方程作为一个函数的信道和特定的设置下的输入星座。我们还表明，在多用户设置中的非相互干扰引入一个术语的梯度的互信息的最佳传输策略，特别是最佳的预编码和功率分配的设计中起着根本性的作用，并解释了损失的数据率。因此，我们提供了一个新的解释的干扰相对于信道，功率和输入估计的主用户和用户。
2014-11-06 cs.IT math.IT
Neural Estimators for Conditional Mutual Information Using Nearest Neighbors Sampling
KTH Royal Institute of Technology（瑞典皇家理工学院）
从一组样本中估计互信息（MI）或条件互信息（CMI）是一个长期存在的问题。在该领域中的最近的工作路线已经利用了人工神经网络的近似能力，并且已经显示出对传统方法的改进。这种新方法的一个重要挑战是，给定原始数据集，需要获得一个不同的集合，其中样本根据特定的产品密度函数分布。这在估算CMI时尤其具有挑战性。在本文中，我们引入了一种基于k个最近邻（k-NN）的新技术来执行重采样并推导样本平均值的高置信度浓度界。然后，该技术被用来训练一个神经网络分类器和CMI估计相应。我们提出了三个估计使用这种技术，并证明他们的一致性，使它们之间的比较和类似的方法在文献中，并通过实验表明改进估计CMI的精度和方差的估计。
2020-12-30 cs.IT cs.LG math.IT
Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information
Stanford University（斯坦福大学）
在许多现实问题中，我们希望在给定$T$函数求值预算的情况下，推断昂贵的黑盒函数$f$的某些属性。一个示例是$f$的预算约束全局优化，对于该全局优化，贝叶斯优化是流行的方法。其他感兴趣的属性包括局部最优值、水平集、积分或由$f$引起的图形结构信息。通常，我们可以找到一个算法$\mathcal{A}$来计算所需的属性，但它可能需要远远超过$T$查询来执行。给定这样的$\mathcal{A}$和$f$上的先验分布，我们将使用$T$评估来推断$\mathcal{A}$的输出的问题称为贝叶斯算法执行（BAX）。为了解决这个问题，我们提出了一个程序，InfoBAX，顺序选择查询，最大限度地提高互信息相对于算法的输出。将其应用于Dijkstra算法，例如，我们推断合成和真实世界的图中的最短路径与黑盒边缘成本。使用进化策略，我们产生的贝叶斯优化的目标是局部，而不是全球，最优的变种。在这些问题上，InfoBAX对$f$的查询比原始算法少500倍。我们的方法是紧密相连的其他贝叶斯最优试验设计程序，如熵搜索方法和最佳传感器的位置，使用高斯过程。
2021-07-06 cs.AI cs.IT cs.LG
Least Dependent Component Analysis Based on Mutual Information
我们建议使用互信息（MI）的精确估计来找到线性混合信号中最不相关的分量。一方面，这似乎导致更好的盲源分离比任何其他目前可用的算法。另一方面，与“独立”分量分析（ICA）的其他实现（其中一些基于MI的粗略近似）相比，它具有以下优点：MI的数值可以用于：（i）估计输出分量之间的残差依赖性;（ii）通过将成对MI与重新混合分量的MI进行比较来估计输出的可靠性;（iii）根据剩余的相互依赖性对输出进行聚类。对于MI估计，我们使用最近提出的基于k-近邻的算法。对于时间序列，我们将其与延迟嵌入相结合，以考虑非平凡的时间相关性。经过几次人工数据的测试，我们将得到的MILCA（基于互信息的最小依赖分量分析）算法应用于真实世界的数据集，孕妇的心电图。MILCA算法的软件实现可在http://www.fz-juelich.de/nic/cs/software上免费获得
2004-09-28 cs.IT math.IT physics.comp-ph
Performance of Gaussian Signalling in Non Coherent Rayleigh Fading Channels
研究了离散时间无记忆瑞利衰落信道的互信息，其中发送端和接收端都不知道除衰落统计信息外的信道状态信息。当输入分布为复高斯分布时，我们给出了该信道的封闭形式的互信息，并推导了相应的非衰落信道容量和接收端已知理想信道状态信息时的容量的下界.
2005-04-18 cs.IT math.IT
Polar Decomposition of Mutual Information over Complex-Valued Channels
对于幅度和相位相互独立的输入，提出了复值信道输入和输出之间的互信息的极坐标分解。互信息被对称地分解为三个项：幅度项、相位项和交叉项，由此交叉项在高信噪比下可以忽略。对于高斯输入的加性高斯白噪声信道，导出了幅度项和相位项的理论界。这种分解，然后应用到最近提出的幅度相移键控与产品星座（产品APSK）的输入。从信息论的角度表明，使用积APSK的编码调制方案能够优于使用常规正交幅度调制（QAM）的编码调制方案，同时保持低复杂度。
2013-03-31 cs.IT math.IT
Differentiable Conditional Mutual Information for Multi-Terminal Linear Gaussian Wireless Networks
Nagoya Institute of Technology（名古屋工业大学）
针对多终端高斯信道，提出基于线性高斯有向无环图的可微条件互信息闭式表达式，实现端到端梯度优化，适用于加权和速率、安全速率等目标。
2026-06-23 cs.IT math.IT
A Neural Difference-of-Entropies Estimator for Mutual Information
CAMaCS, University of Warwick（沃里克大学CAMaCS中心）；Mathematics Institute, University of Warwick（沃里克大学数学学院）
本文提出一种基于归一化流和块自回归结构的神经熵差互信息估计器，在高维基准任务上改善了偏差-方差权衡。
2025-10-23 cs.IT cs.LG math.IT
Mutual Information Optimization via K-Recursion and Automatic Differentiation for Linear Gaussian Wireless Networks
Nagoya Institute of Technology（名古屋工业大学）
提出一种可微框架，通过K-递归解析传播协方差并利用自动微分计算梯度，在全局约束下优化线性高斯有向无环图的端到端互信息，适用于多种拓扑且无需拓扑特定梯度公式。
2026-06-05 cs.IT math.IT
Sensing Mutual Information with Random Signals in Gaussian Channels
本文针对高斯信道中随机信号的感知互信息，推导其闭式表达式，并利用流形优化设计预编码器，以提升集成感知与通信系统的感知性能。
2023-11-13 cs.IT eess.SP math.IT
Shannon Meets Carnot: Mutual Information Via Thermodynamics
在这方面的贡献，高斯通道表示为一个等效的热系统，允许表达其输入-输出互信息的热力学量。这种对互信息的热力学描述是基于$2^{nd}$热力学定律的推广，并为郭-沙迈-韦尔杜定理提供了另一种证明，给出了这一非凡定理与最基本的自然定律--热力学定律之间的有趣联系。
2008-06-19 cs.IT math.IT
On the Distribution of MIMO Mutual Information: An In-Depth Painlevé Based Characterization
本文建立在我们最近的工作，计算的矩生成函数的MIMO互信息正是在一个Painlevé V微分方程。通过利用这个关键的分析工具，我们提供了一个深入的表征足够大（但有限）的天线数量的互信息分布。特别是，我们得到系统的高阶累积量的封闭形式的扩展。这些结果产生了相当多的新的见解，如提供了一个技术解释，为什么众所周知的高斯近似是相当强大的大SNR的情况下，不平等的天线阵列，而它强烈偏离相等的天线阵列。此外，通过借鉴我们的高阶累积量展开，我们采用Edgeworth展开技术，提出了一个改进的高斯近似，这是一个非常准确的封闭形式表征的互信息分布，无论是周围的平均值和中等偏差到尾部（高斯近似失败显着）。对于更强的偏差的Edgeworth展开变得笨拙，我们采用鞍点方法和渐近积分工具，建立新的分析特征，这是非常简单和准确的。基于这些结果，我们还恢复关键的良好建立的属性的尾部分布，包括多样性复用权衡。
2013-01-21 cs.IT math.IT
A Generalized Expression for the Gradient of Mutual Information with the Application in Multiple Access Channels
采用泛函方法，推导了随机系统中互信息（MI）关于系统参数的梯度的一般表达式。该表达式涵盖了系统输入取决于系统参数的情况。作为一个应用，我们认为K-用户多址接入信道（MAC）的反馈，并利用所获得的结果来探索这些系统的行为方面的MI。将结果专门用于加性高斯噪声MAC，我们扩展了MI和最小均方误差（MMSE）关系，即，I-MMSE到具有反馈的K用户高斯MAC。在这个推导中，我们表明，MI的梯度可以分解成三个不同的部分，其中第一部分是MMSE项源自噪声，第二和第三部分分别反映了干扰和反馈的影响。然后，考虑到容量实现的傅立叶调制估计校正（F-MEC）策略的Kramer，我们展示了如何反馈补偿用户的干扰的破坏性影响的K用户对称高斯MAC。
2019-12-07 cs.IT math.IT
Generalized I-MMSE for K-User Gaussian Channels
本文将Guo，Shamai和Verdu [1]提出的互信息与最小均方误差（MMSE）之间的基本关系推广到K用户高斯信道。证明了多用户互信息对信噪比（SNR）的导数等于总MMSE加上一个关于多用户输入估计、信道和预编码矩阵的互相关的协方差项。我们揭示，这种关系是一个广义的I-MMSE与一个步骤的前瞻和回顾，适用于连续干扰消除（SIC）的解码过程。
2017-04-19 cs.IT math.IT
Data-Driven Estimation Of Mutual Information Between Dependent Data
我们考虑的问题，估计相关数据之间的互信息，在许多科学和工程应用中的一个重要问题。本文提出了一种数据驱动的非参数互信息估计方法。我们的解决方案的主要新颖之处在于将数据转换到频域，使问题易于处理。我们定义了一个新的度量-频率中的互信息-使用Cramér的谱表示来检测和量化两个随机过程之间的依赖性。我们的解决方案计算作为频率的函数的互信息，以估计随时间变化的相关数据之间的互信息。我们验证其性能的线性和非线性模型。此外，作为我们的解决方案的一部分估计的频率中的互信息也可以用于推断数据中的交叉频率耦合。
2017-03-07 cs.IT math.IT stat.ME
Path-integral approach to mutual information calculation for nonlinear communication channel with small second dispersion at large signal-to-noise power ratio
本文针对带加性高斯噪声的非线性薛定谔方程光纤信道，利用路径积分和微扰理论计算了小色散参数下的条件概率密度泛函，并推导出大信噪比下修正高斯输入分布的互信息显式表达式。
2023-08-02 cs.IT math.IT
$α$-Mutual Information for the Gaussian Noise Channel
University of Minnesota（明尼苏达大学）；Qualcomm Flarion Technology, Inc.（高通Flarion技术有限公司）
本文研究了Sibson的$α$-互信息在加性高斯噪声信道中的应用，探讨了其在高斯噪声环境下的结构性质，并提出了$α$-I-MMSE关系及广义de Bruijn恒等式。
2026-08-20 cs.IT math.IT math.ST
CRYPTO-MINE: Cryptanalysis via Mutual Information Neural Estimation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）；Technion（以色列理工学院）；Clemson University（克莱姆森大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文提出CRYPTO-MINE方法，利用神经网络互信息估计在选择明文攻击中量化明文与密文之间的信息泄露，并在多种加密方案及基于网络编码的密码系统上验证了其有效性。
2023-09-18 cs.CR cs.IT cs.LG
ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks
AMOLF, Science Park 104, 1098 XG, Amsterdam, The Netherlands（阿姆斯特丹分子生命科学研究所）；Institute of Science and Technology Austria（奥地利科学技术研究所）
该研究提出结合机器学习与路径权重采样的ML-PWS方法，用于从时间序列数据估计信息传输率，经合成数据验证准确性，并应用于神经元时间序列数据。
2026-08-11 cond-mat.stat-mech cs.IT cs.LG
Breakdown of a concavity property of mutual information for non-Gaussian channels
本文研究了两种测量场景下互信息的大小关系，证明加性高斯信道中第一种场景总是更优的性质对非高斯信道不成立，并由此推出稀疏随机块模型社区检测中的连续时间互信息在大系统极限下也不具有凹性。
2023-04-11 cs.IT math.IT math.PR
A Practical Consideration on Convex Mutual Information
在本文中，我们专注于凸互信息，这是发现在最低级别分裂的多级编码方案与加性高斯白噪声（AWGN）信道上的通信。理论分析表明，在凸区域内，通信可达速率不一定低于互信息。此外，仿真结果作为证据。
2021-05-24 cs.IT eess.SP math.IT
Mutual Information Multinomial Estimation
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（伦敦帝国学院）
针对互信息估计这一基础难题，提出借助数据分布初步估计作为联合与边缘分布桥梁的新估计器，经合成与真实任务实验验证其有效性。
2024-08-18 cs.IT cs.LG math.IT
Mutual Information and Optimality of Approximate Message-Passing in Random Linear Estimation
我们认为，从噪声的线性随机高斯投影的知识的信号的估计。与此问题相关的几个例子是压缩感知、稀疏叠加码和码分多址。已经有一些工程考虑这个问题的互信息使用的副本方法从统计物理。在这里，我们把这些考虑放在一个坚定的严格的基础上。首先，我们表明，使用Guerra-Toninelli型插值，副本公式产生一个上界的确切互信息。其次，对于许多相关的实际情况下，我们提出了一个逆下界的方法，使用空间耦合，状态演化分析和I-MMSE定理。这产生了一个单字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。此外，我们证明了低复杂度的近似消息传递算法是最佳的所谓的硬相外，在这个意义上，它渐近达到最小均方误差。在这项工作中，空间耦合主要用作证明技术。然而，我们的结果也证明了空间耦合噪声线性随机高斯估计的两个重要特征。首先，没有算法上的困难阶段。这意味着对于这样的系统，近似消息传递总是达到最小均方误差。其次，在适当的限制下，这类系统的互信息与非耦合线性随机高斯估计的互信息相同。
2020-08-28 cond-mat.dis-nn cs.IT math-ph
Nonparanormal Information Estimation
我们研究了使用i.i.d.的问题。从未知的多变量概率分布$p$采样，以估计$p$的互信息。这个问题最近在两种情况下受到关注：（1）假设$p$是高斯分布的，以及（2）假设$p$仅位于一个大的非参数平滑类中。当高斯假设成立时，为高斯情况提出的估计在高维收敛，但是当$p$不是高斯时，估计是脆弱的，显著地失败。非参数情况下提出的估计无法与现实的样本量收敛，除非在非常低的维度。因此，对于许多实际数据，缺乏鲁棒的互信息估计器。为了解决这个问题，我们提出了当$p$被假设为非超正常（即，高斯copula）模型，高斯和非参数极端之间的半参数妥协。使用理论界和实验，我们表明，这些估计罢工之间的鲁棒性和规模与维度的实际平衡。
2017-02-24 cs.IT math.IT math.ST
Sensing Mutual Information with Random Signals in Gaussian Channels: Bridging Sensing and Communication Metrics
本文利用随机矩阵理论推导随机信号下感知互信息的显式表达式，建立其与传统感知度量的联系，并用于优化预编码，统一感知与通信性能度量。
2024-02-06 cs.IT eess.SP math.IT
Neural Capacity Estimators: How Reliable Are They?
Ryerson University（瑞尔森大学）；National Yang-Ming Chiao-Tung University（阳明交通大学）
最近，已经提出了几种使用深度神经网络并且在不知道数据的闭合形式分布的情况下从样本数据估计互信息的方法。这类估计被称为神经互信息估计。虽然非常有前途，这样的技术还没有被严格的基准，以建立其有效性，易于实施，和稳定的容量估计，这是联合最大化框架。在本文中，我们比较了文献中提出的不同技术估计能力，并提供了一个从业者的角度来看，其有效性。特别是，我们研究了互信息神经估计器（MINE），平滑的互信息下界估计器（SMILE）和定向信息神经估计器（DINE）的性能，并提供了对InfoNCE的见解。我们评估了这些算法的能力，学习的输入分布的能力接近的AWGN信道，光强度信道，峰值功率约束的AWGN信道。对于这两种情况，我们对训练过程的各个方面提供了有见地的评论，例如稳定性，对初始化的敏感性。
2022-03-19 cs.IT cs.LG eess.SP
The Mutual Information in Random Linear Estimation
我们认为，从噪声的线性随机高斯投影的知识，在压缩感知，稀疏叠加码或码分多址相关的问题，只是举几个信号的估计。已经有一些工程考虑这个问题的互信息使用启发式副本方法从统计物理。在这里，我们把这些考虑放在一个坚定的严格的基础上。首先，我们表明，使用Guerra型插值，副本公式产生一个上界的确切互信息。其次，对于许多相关的实际情况下，我们提出了一个逆下界的方法，使用空间耦合，状态演化分析和I-MMSE定理。这产生，特别是，一个单一的字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。
2016-09-06 cs.IT math-ph math.IT
Understanding the Limitations of Variational Mutual Information Estimators
Stanford University（斯坦福大学）
基于神经网络的变分方法在估计高维变量之间的互信息（MI）方面显示出了良好的前景。然而，由于对偏差/方差权衡的理解不足，它们在实践中可能难以使用。我们从理论上表明，在某些条件下，估计，如MINE表现出的方差，可以指数增长的真实金额的基础MI。我们还实证表明，现有的估计无法满足MI的基本自洽性质，如数据处理和独立下的可加性。基于变分方法的统一观点，我们开发了一个新的估计，侧重于方差减少。标准基准测试任务的实证结果表明，我们提出的估计具有改进的偏差方差权衡标准基准测试任务。
2020-03-24 cs.IT cs.LG math.IT
Heuristic Sensing Schemes for Four-Target Detection in Time-Constrained Vector Poisson and Gaussian Channels
针对时间受限的向量 Poisson 与 Gaussian 四目标检测，本文比较多种和组合感知的时间分配，分析互信息、检测概率及 Bayes 风险的一致性与凹性，但不寻求最优方案。
2022-02-21 cs.IT eess.SP math.IT
Mutual information of Contingency Tables and Related Inequalities
为了检验独立性，使用$χ^{2}$ -统计量或$G^{2}$ -统计量（互信息）是非常流行的。渐近地，两者都是$χ^{2}$ -分布的，因此一个明显的问题是两个统计量中哪一个具有最接近$χ^{2}$ -分布的分布。令人惊讶的是，互信息的分布由$χ^{2}$分布比由$χ^{2}$统计量更好地近似。由于技术上的原因，我们将集中讨论具有一个自由度的最简单的情况。引入了符号对数似然，证明了符号对数似然的分布函数与标准高斯分布的分布函数之间存在不等式关系。对于超几何分布，我们制定了一个一般的猜想如何接近的签署对数似然是一个标准的高斯，这个猜想给出了更准确的估计，这种类型的分布比以前发表的结果的尾部概率。该猜想已被证明在所有情况下的数值相关的测试独立性和进一步的证据，其有效性。
2014-02-01 cs.IT math.IT math.ST
Mutual Information Divergence: A Unified Metric for Multimodal Generative Models
NAVER AI Lab（NAVER人工智能实验室）；CLOVA；SNU AIIS（首尔大学人工智能研究所）；KAIST AI（韩国科学技术院人工智能研究生院）
文本到图像生成和图像描述是最近出现的一种新的实验范式，以评估机器智能。他们预测连续的数量伴随着他们的抽样技术在一代，使评估复杂和棘手的边缘分布。基于多模态生成评估利用视觉和语言预训练模型的最新趋势，我们提出了使用CLIP特征作为统一度量的负高斯交叉互信息，由互信息发散度（MID）创造。为了验证，我们广泛地比较它与竞争的指标，使用精心生成的或人类注释的判断，在文本到图像生成和图像描述任务。建议MID显着优于竞争力的方法，具有跨基准的一致性，样本简约性，并对利用CLIP模型的鲁棒性。我们期待着看到高斯交叉互信息在多模态表示学习中的代表性不足的影响，以及基于这一新命题的未来工作。
2022-05-25 cs.AI cs.CL cs.CV
Estimating Transfer Entropy via Copula Entropy
Hitachi (China) Research & Development Corporation（日立（中国）研究开发有限公司）
因果发现是统计学中的一个基本问题，在各个领域有着广泛的应用。传递熵是度量因果关系的一个重要概念，其本质是条件互信息。Copula Entropy（CE）是一种度量统计独立性的理论，与MI是等价的.在本文中，我们证明了TE可以表示只有CE，然后提出了一个非参数的方法估计TE通过CE。将该方法应用于北京PM2.5数据的实验分析。实验结果表明，该方法可以有效地从数据中推断因果关系，从而有助于更好地理解数据。
2021-03-06 cs.IT cs.LG math.IT
