Potential Conditional Mutual Information: Estimators, Properties and Applications
University of Washington, Seattle（华盛顿大学西雅图分校）
条件互信息I（X;Y| Z）测量X和Y在给定Z的情况下包含的关于彼此的平均信息。这在许多学习问题中是一个重要的基元，包括条件独立性测试，图形模型推理，因果强度估计和时间序列问题。在一些应用中，希望具有纯条件分布p_{Y|X,Z}而不是联合分布p_{X,Y,Z}的泛函。我们将潜在条件互信息定义为用修改的联合分布p_{Y|X,Z} q_{X,Z}计算的条件互信息，其中q_{X,Z}是潜在分布，固定机场。我们开发K最近邻估计这个功能，采用重要性采样，和一个耦合技巧，并证明了这样的估计有限k的一致性。我们证明了估计器具有良好的实际性能，并显示在动态系统推理的应用。
2017-10-13 cs.IT cs.LG math.IT
Understanding the Limitations of Variational Mutual Information Estimators
Stanford University（斯坦福大学）
基于神经网络的变分方法在估计高维变量之间的互信息（MI）方面显示出了良好的前景。然而，由于对偏差/方差权衡的理解不足，它们在实践中可能难以使用。我们从理论上表明，在某些条件下，估计，如MINE表现出的方差，可以指数增长的真实金额的基础MI。我们还实证表明，现有的估计无法满足MI的基本自洽性质，如数据处理和独立下的可加性。基于变分方法的统一观点，我们开发了一个新的估计，侧重于方差减少。标准基准测试任务的实证结果表明，我们提出的估计具有改进的偏差方差权衡标准基准测试任务。
2020-03-24 cs.IT cs.LG math.IT
A Benchmark Suite for Evaluating Neural Mutual Information Estimators on Unstructured Datasets
LG AI Research（LG人工智能研究院）；Seoul National University（首尔大学）
本研究提出了一个评估神经互信息估计器在图像和文本等非结构化数据集上性能的全面基准套件，通过同类采样和二元对称信道技巧精确操纵真实互信息值，并研究了七个挑战性场景以揭示估计器的可靠性。
2024-10-14 cs.AI cs.LG stat.ML
InfoBridge: Mutual Information estimation via Bridge Matching
Applied AI Institute（应用人工智能研究所）；Institute of Numerical Mathematics (RAS)（俄罗斯科学院数值数学研究所）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究所）
InfoBridge通过桥接匹配方法，解决两个随机变量间互信息估计问题，提供无偏估计器并在多个基准测试中展示性能。
2026-02-27 cs.LG stat.ML
Rethinking Softmax with Cross-Entropy: Neural Network Classifier as Mutual Information Estimator
Australian National University（澳大利亚国立大学）；Pohang University of Science and Technology（浦项科技大学）
互信息被广泛应用于学习观测值的潜在表示，而其在分类神经网络中的含义仍有待更好地解释。我们表明，优化分类神经网络的参数与softmax交叉熵是等价的最大化输入和标签之间的互信息的平衡数据假设。通过在人工数据集和真实数据集上的实验，我们表明softmax交叉熵可以近似地估计互信息。当应用于图像分类时，这种关系有助于近似输入图像和标签之间的逐点互信息，而无需修改网络结构。为此，我们提出了infoCAM，信息类激活图，突出显示区域的输入图像是最相关的一个给定的标签的基础上的差异信息。激活图有助于定位输入图像中的目标对象。通过两个真实世界数据集的半监督对象定位任务的实验，我们评估了我们的信息理论方法的有效性。
2020-09-17 cs.CV cs.LG stat.ML
NMINE: Normalized Mutual Information Neural Estimation
针对现有归一化互信息估计器对维度敏感、数值稳定性差的问题，本文提出NMINE神经估计器，结合MINE与MI-NEE方法，在1-8维高斯数据上精度优于KSG基线，为连续多维归一化依赖度量提供新方向。
2026-07-31 cs.LG
Estimating Kullback-Leibler Divergence Using Kernel Machines
UCLA（加州大学洛杉矶分校）
最近，已经提出了一种使用神经网络的称为互信息神经估计（MINE）的方法来估计两个分布之间的互信息以及更一般地Kullback-Leibler（KL）发散。该方法使用Donsker-Varadhan表示来估计KL散度，并且在可扩展性和灵活性方面优于现有的估计器。MINE算法的输出不能保证是一致的估计量。我们提出了一个新的估计，而不是搜索功能之间的特点，神经网络搜索功能的再生核希尔伯特空间。我们证明了所提出的估计是一致的。我们进行了模拟，并表明，当数据集是小的，建议的估计是更可靠的比MINE估计，当数据集是大的，这两种方法的性能接近。
2019-08-17 cs.LG stat.ML
C-MI-GAN : Estimation of Conditional Mutual Information using MinMax formulation
IIT Delhi（印度理工学院德里分校）；University of Washington（华盛顿大学）；TIFR Mumbai（塔塔基础研究院孟买分院）
信息理论量的估计，如互信息及其条件变量，由于其多方面的应用，最近引起了人们的兴趣。新提出的神经估计这些数量克服了严重的缺点，经典的$k$ NN为基础的估计在高维。在这项工作中，我们专注于条件互信息（CMI）估计，利用其制定的最小最大优化问题。这样的公式导致了类似于生成对抗网络的联合训练过程。我们发现，我们提出的估计提供了更好的估计比现有的方法对各种模拟数据集，包括变量之间的线性和非线性关系。作为CMI估计的一个应用，我们将我们的估计器部署在真实数据上进行条件独立性（CI）测试，并获得了比最先进的CI测试仪更好的结果。
2020-07-23 cs.IT cs.LG math.IT
Conditional Mutual Information Neural Estimator
KTH Royal Institute of Technology（KTH皇家理工学院）
最近在通信系统中的几项工作已经提出在编码器和解码器的设计中利用神经网络的能力。在这种方法中，可以基于来自信道的聚合样本来定制这些块以最大化传输速率。在许多通信方案中，可实现的传输速率是由条件互信息项决定的，基于神经网络的信息理论量的估计是本文的重点。我们的结果是基于KL-发散的变分界限，与以前的一些工作相比，我们提供了一个数学上严格的下限。然而，额外的挑战，相对于无条件的互信息出现由于存在的条件密度函数，我们在这里解决。
2020-02-14 cs.IT cs.LG math.IT
Neural Network Classifier as Mutual Information Evaluator
School of Computing, Australian National University（澳大利亚国立大学计算学院）；GSAI, POSTECH, Korea（韩国浦项科技大学人工智能研究生院）
交叉熵损失和softmax输出是训练神经网络分类器的标准选择。我们给出了一个新的观点，神经网络分类器与softmax和交叉熵的互信息评估。我们表明，当数据集是平衡的，训练一个神经网络与交叉熵最大化输入和标签之间的互信息通过变分形式的互信息。因此，我们开发了一种新形式的softmax，它也将分类器转换为互信息评估器，当数据集不平衡时。实验结果表明，新的形式导致更好的分类精度，特别是对不平衡的数据集。
2021-08-14 cs.LG stat.ML
Estimating Mutual Information for Discrete-Continuous Mixtures
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
从观察到的样本估计互信息是一个基本的原语，在几个机器学习任务中很有用，包括相关性挖掘，信息瓶颈聚类，学习Chow-Liu树和（因果）图形模型中的条件独立性测试。虽然互信息在一般概率空间中是一个定义良好的量，但现有的估计只能处理两种特殊情况：纯离散或纯连续的随机变量对。主要的挑战是，这些方法首先估计X、Y和对（X;Y）的（微分）熵，并将它们与适当的符号相加以获得互信息的估计。这些3 H-估计不能应用于一般的混合空间，其中熵没有很好的定义。在本文中，我们设计了一个新的估计的互信息的离散-连续混合。我们证明了所提出的估计是一致的。我们提供的数值实验表明所提出的估计相比，其他approxistics的小连续噪声添加到所有的样本和应用标准估计量为纯连续变量，量化的样本和应用标准估计量为纯离散变量的优越性。这显著地拓宽了互信息估计在真实世界应用中的适用性，其中一些变量是离散的，一些是连续的，并且其他是连续和离散分量之间的混合。
2018-10-09 cs.IT cs.LG math.IT
Discrete Bridges for Mutual Information Estimation
Applied AI Institute, Russia（俄罗斯应用人工智能研究所）；MIRAI；Institute of Numerical Mathematics (RAS)（俄罗斯科学院计算数学研究所）；AXXX
本文提出了一种适用于离散数据的DBMI估计器，通过将互信息估计转化为领域迁移问题，解决了传统方法难以处理的离散变量互信息估计问题。
2026-02-09 cs.LG
Convergence of Statistical Estimators via Mutual Information Bounds
ESSEC Business School（ESSEC商学院）
本文为统计模型引入一种新的互信息界，该界改进了贝叶斯非参数中分数后验的收缩速率，并可应用于变分推断和最大似然估计等多种方法，推进了对统计推断基本极限的理解。
2026-10-06 cs.LG math.ST stat.ML
Learning gradient-based ICA by neurally estimating mutual information
近年来，人们提出了几种估计随机变量互信息的方法。他们可以证明有价值的新方法来学习统计独立的功能。在本文中，我们使用这些方法之一，一个互信息神经估计（MINE）网络，提出了一个概念证明的神经网络可以执行线性ICA。我们最小化的互信息，估计由MINE网络，可微编码器网络的输出单元之间。这是通过两个网络的简单交替优化来完成的。该方法被证明是一个定性平等的解决方案FastICA的盲源分离的噪声源。
2019-04-22 cs.LG stat.ML
Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization
Virginia Tech（弗吉尼亚理工大学）；Duke University（杜克大学）；KAUST（阿卜杜拉国王科技大学）；Amazon（亚马逊）
InfoNCE及其变体的成功应用推广了对比变分互信息（MI）估计在机器学习中的应用。虽然具有优越的稳定性，但这些估计器严重依赖于昂贵的大批量训练，并且为了减少方差而牺牲了边界的紧密性。为了克服这些局限性，我们重新审视流行的变分MI边界的数学从镜头的非规范化的统计建模和凸优化。我们的调查不仅产生了一个新的统一的理论框架，包括流行的变分MI界限，但也导致了一种新的，简单的，强大的对比MI估计命名为FLO。理论上，我们证明了FLO估计是紧的，并且在随机梯度下降下可证明收敛。从经验上讲，我们的FLO估计器克服了前人的局限性，学习效率更高。FLO的效用是使用一组广泛的基准测试，这也揭示了在实际MI估计的权衡验证。
2022-10-24 cs.AI cs.IT cs.LG
Neural Estimators for Conditional Mutual Information Using Nearest Neighbors Sampling
KTH Royal Institute of Technology（瑞典皇家理工学院）
从一组样本中估计互信息（MI）或条件互信息（CMI）是一个长期存在的问题。在该领域中的最近的工作路线已经利用了人工神经网络的近似能力，并且已经显示出对传统方法的改进。这种新方法的一个重要挑战是，给定原始数据集，需要获得一个不同的集合，其中样本根据特定的产品密度函数分布。这在估算CMI时尤其具有挑战性。在本文中，我们引入了一种基于k个最近邻（k-NN）的新技术来执行重采样并推导样本平均值的高置信度浓度界。然后，该技术被用来训练一个神经网络分类器和CMI估计相应。我们提出了三个估计使用这种技术，并证明他们的一致性，使它们之间的比较和类似的方法在文献中，并通过实验表明改进估计CMI的精度和方差的估计。
2020-12-30 cs.IT cs.LG math.IT
CCMI : Classifier based Conditional Mutual Information Estimation
University of Washington（华盛顿大学）
条件互信息（CMI）是在给定另一个随机变量Z的情况下，随机变量X和Y之间的条件相关性的度量。它可以用来量化许多数据驱动的推理问题，如图形模型，因果学习，特征选择和时间序列分析变量之间的条件依赖。虽然基于k-最近邻（kNN）的估计以及基于核的方法已被广泛用于CMI估计，他们遭受严重的维数灾难。在本文中，我们利用分类器和生成模型的进步来设计CMI估计方法。具体来说，我们引入了一个估计KL-分歧的似然比的基础上，通过训练一个分类器，以区分所观察到的联合分布的产品分布。然后，我们将展示如何构建几个CMI估计使用这个基本的分歧估计从条件生成模型的想法。我们证明了我们提出的方法的估计不会随着维数的增加而降低性能，并且比广泛使用的KSG估计量有显着的改善。最后，作为准确的CMI估计的应用，我们使用我们最好的估计器进行条件独立性测试，并在模拟和真实数据集上实现了比最先进的测试器更优越的性能。
2019-06-05 cs.IT cs.LG math.IT
On the Maximum Mutual Information Capacity of Neural Architectures
我们推导出封闭形式的表达式的最大互信息-最大值的$I(X;Z)$可通过训练-一个广泛的家庭的神经网络架构。这个量对于机器学习理论和实践的几个分支都是必不可少的。定量地，我们表明，这些家庭的最大互信息都源于一个单一的通用公式。定性，我们表明，最大的互信息的架构是最强烈的影响的最小层的网络的宽度-“信息瓶颈”在不同意义上的短语，并通过任何统计不变性捕获的架构。
2020-06-10 cs.LG stat.ML
Analysis of KNN Information Estimators for Smooth Distributions
University of California, Davis（加州大学戴维斯分校）
KSG互信息估计器是一种基于样本到其第k个最近邻的距离的互信息估计器，被广泛用于估计两个连续随机变量之间的互信息。已有的工作分析了这种估计的收敛速度的随机变量的密度有界远离零的支持。然而，在实践中，KSG估计也表现良好的更广泛的一类分布，不仅包括那些有界的支持和密度有界远离零，但也有界的支持，但密度接近零，和那些与无界的支持。本文分析了光滑分布的KSG估计误差的收敛速度，其中光滑分布的密度支集既可以是有界的，也可以是无界的。由于KSG互信息估计量可以看作是KL熵估计量的自适应重组，在我们的分析中，我们也给出了KL熵估计量对一大类分布的收敛性分析。
2019-10-24 cs.IT cs.LG math.IT
Multimodal Datasets with Controllable Mutual Information
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Flatiron Institute（Flatiron研究所）
本文提出了一种生成具有可控互信息的多模态数据集的框架，用于评估互信息估计器和多模态自监督学习技术。
2026-02-25 cs.LG stat.ML
Model-Augmented Estimation of Conditional Mutual Information for Feature Selection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
马尔可夫毯特征选择虽然在理论上是最优的，但通常难以实现。这是由于现有的条件独立性（CI）测试方法的缺点，往往斗争的维数灾难或计算复杂性。我们提出了一种新的两步方法，有利于马尔可夫毯特征选择在高维。首先，使用神经网络将特征映射到低维表示。在第二步中，通过将$k$条件互信息估计器应用于学习的特征图来执行CI测试。映射的目的是确保映射的样本都保存信息和共享类似的信息，当且仅当它们是接近的欧几里得距离的目标变量。我们表明，这些属性提高性能的$k$ -NN估计在第二步。所提出的方法的性能进行评估合成和真实数据。
2020-06-19 cs.LG stat.ML
TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions
Fritz Haber Institute of the Max Planck Society（马克斯·普朗克学会弗里茨·哈伯研究所）；Humboldt-Universität zu Berlin（柏林洪堡大学）
相关特征的识别，即，决定过程或系统属性的驱动变量是分析具有大量变量的数据集的重要部分。量化这些特征的相关性的数学严格方法是互信息。互信息根据特征与感兴趣的属性的联合相互依赖性来确定特征的相关性。然而，互信息需要概率分布作为输入，这不能从连续分布（诸如像长度或能量的物理量）可靠地估计。在这里，我们介绍了总累积互信息（TCMI），相互依赖的相关性，扩展互信息的连续分布的基础上累积概率分布的随机变量的措施。TCMI是一种非参数的、鲁棒的和确定性的度量，其促进具有不同基数的特征集之间的比较和排名。TCMI诱导的排名允许特征选择，即，识别与感兴趣的属性在统计上非线性相关的变量集，考虑数据样本的数量以及变量集的基数。我们评估我们的措施与模拟数据的性能，比较其性能与类似的多变量依赖措施，并证明了我们的功能选择方法的有效性的一组标准数据集和材料科学中的一个典型场景。
2022-07-30 cs.IT cs.LG math.IT
MINE: Mutual Information Neural Estimation
Montréal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；University of Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；The Institute for Data Valorization (IVADO)（数据价值化研究所（IVADO））；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院（CIFAR））
我们证明了在神经网络上，高维连续随机变量之间的互信息的估计可以通过梯度下降来实现。我们提出了一个互信息神经估计（MINE），是线性可扩展的维度，以及在样本大小，可通过反向传播训练，并强一致。我们提出了一些应用程序上的MINE可以用来最小化或最大化互信息。我们应用MINE来改进对抗训练的生成模型。我们还使用MINE来实现信息瓶颈，将其应用于监督分类;我们的结果表明，在这些设置中，灵活性和性能都有了很大的提高。
2021-08-14 cs.LG stat.ML
Bridging Explicit and Implicit Deep Generative Models via Neural Stein Estimators
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shanghai Jiao Tong University（上海交通大学）
有两种类型的深层生成模型：显式和隐式。前者定义了一个明确的密度形式，允许似然推断;而后者的目标是从随机噪声到生成的样本的灵活变换。虽然这两类生成模型在许多应用中显示出强大的功能，但单独使用时，它们都有各自的局限性和缺点。为了充分利用这两种模型并实现相互补偿，我们提出了一种新的联合训练框架，该框架通过Stein差异将显式（未归一化）密度估计器和隐式样本生成器连接起来。我们表明，我们的方法1）通过内核Sobolev范数惩罚和Moreau-Yosida正则化诱导新的相互正则化，2）稳定训练动态。实验结果表明，与训练单个对应样本相比，该方法可以帮助密度估计器更准确地识别数据模式，并引导生成器输出更高质量的样本。当训练样本被污染或有限时，新方法也显示出有希望的结果。
2021-10-26 cs.LG stat.ML
Understanding Neural Networks with Logarithm Determinant Entropy Estimator
Tiangong University（天津工业大学）
理解深度神经网络的信息行为受到误用估计器和网络结构复杂性的挑战，这导致不一致的观察和多样化的解释。在这里，我们提出了LogDet估计-一个可靠的基于矩阵的熵估计，近似香农差分熵。我们构建信息测量的LogDet估计的基础上，验证我们的方法与可比的实验，并利用它来分析神经网络的行为。我们的结果表明，LogDet估计克服了高度多样性和退化分布的缺点，因此是可靠的估计神经网络的熵。网络分析结果还发现了浅层和深层之间的功能区别，这有助于理解神经网络信息瓶颈理论中的压缩现象。
2021-05-08 cs.LG stat.ML
On Network Science and Mutual Information for Explaining Deep Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）；Arm Inc.（安谋公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们提出了一种解释深度学习模型的新方法。通过将互信息与网络科学相结合，我们探索了信息如何在前馈网络中流动。我们表明，有效地近似互信息使我们能够创建一个信息度量，量化深度学习模型的任何两个神经元之间有多少信息流。为此，我们提出了NIF，神经信息流，一种用于编码信息流的技术，它暴露了深度学习模型内部并提供了特征属性。
2020-05-04 cs.LG stat.ML
Neural Capacity Estimators: How Reliable Are They?
Ryerson University（瑞尔森大学）；National Yang-Ming Chiao-Tung University（阳明交通大学）
最近，已经提出了几种使用深度神经网络并且在不知道数据的闭合形式分布的情况下从样本数据估计互信息的方法。这类估计被称为神经互信息估计。虽然非常有前途，这样的技术还没有被严格的基准，以建立其有效性，易于实施，和稳定的容量估计，这是联合最大化框架。在本文中，我们比较了文献中提出的不同技术估计能力，并提供了一个从业者的角度来看，其有效性。特别是，我们研究了互信息神经估计器（MINE），平滑的互信息下界估计器（SMILE）和定向信息神经估计器（DINE）的性能，并提供了对InfoNCE的见解。我们评估了这些算法的能力，学习的输入分布的能力接近的AWGN信道，光强度信道，峰值功率约束的AWGN信道。对于这两种情况，我们对训练过程的各个方面提供了有见地的评论，例如稳定性，对初始化的敏感性。
2022-03-19 cs.IT cs.LG eess.SP
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题，提出带校正的对抗训练方案，证明其能达到上确界范数意义下的最优速率，并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Discriminative Mutual Information Estimators for Channel Capacity Learning
University of Klagenfurt（克拉根福大学）
信道容量在现代通信系统的发展中起着至关重要的作用，因为它代表了信息可以在通信信道上可靠传输的最大速率。然而，对于大多数渠道，找到一个封闭的形式的能力表达式仍然是一个开放的挑战。这是因为它需要执行两个艰巨的任务a）计算信道输入和输出之间的互信息，以及b）其关于信道输入处的信号分布的最大化。在本文中，我们解决这两个任务。受隐式生成模型的启发，我们提出了一种新的协作框架，用于自动学习任何类型的无记忆信道的信道容量。特别是，我们首先开发了一种新的方法来估计的互信息直接从一个典型的部署到训练对抗网络，称为歧视性互信息估计（DIME）。其次，我们包括合作信道容量学习框架，称为皮质，其中一个学习区分依赖和独立的信道输入输出样本，而发电机学习产生最佳的信道输入分布，其中的学习表现出最佳的性能。最后，我们证明了一个特定的选择的合作价值函数解决了信道容量估计问题。仿真结果表明，该方法具有较高的精度。
2021-07-07 cs.IT cs.LG math.IT
Towards a pretrained deep learning estimator of the Linfoot informational correlation
University of Twente（特文特大学）；University of Southern Denmark（南部丹麦大学）；University of Copenhagen（哥本哈根大学）
本文提出了一种基于预训练深度学习的方法，用于估计Linfoot信息相关性，通过对比不同估计器验证了其在偏差和方差上的优势。
2025-12-13 cs.LG stat.ME stat.ML
Improving Numerical Stability of Normalized Mutual Information Estimator on High Dimensions
Nokia Networks（诺基亚网络）；University of Eastern Finland（东芬兰大学）；School of Computing（计算学院）
针对高维数据中基于k-NN的归一化互信息估计因半径计算溢出而失效的问题，提出对数变换技术，在避免溢出的同时保持精度、不增偏差与计算开销，并维持估计器方差。
2025-07-07 cs.IT cs.LG math.IT
Mutual information and task-relevant latent dimensionality
Department of Physics, Initiative for Theory and Modeling of Living Systems, Emory University（物理系、生命系统理论与建模倡议、埃默里大学）；School of Physics, School of Psychology, Georgia Institute of Technology（物理学院、心理学学院、佐治亚理工学院）；Department of Biology, Emory University（生物学系、埃默里大学）
该研究通过信息瓶颈理论提出了一种基于互信息的潜在维度估计方法，利用混合批评者结构有效压缩数据并保留潜在几何，适用于任务相关和内在维度估计。
2026-02-08 cs.LG physics.data-an stat.ML
A Probabilistic Representation of DNNs: Bridging Mutual Information and Generalization
University of Delaware（特拉华大学）
近年来，互信息（MI）在限制深度神经网络（DNN）的泛化误差方面引起了人们的关注。然而，在DNN中准确估计MI是困难的，因此大多数先前的工作不得不放松MI界限，这反过来又削弱了泛化的信息论解释。为了解决这个问题，本文介绍了DNN的概率表示，以准确地估计MI。利用建议的MI估计，我们验证了信息理论的解释泛化，并得出一个更严格的泛化界比国家的最先进的松弛。
2021-06-18 cs.LG stat.ML
Neural Mutual Information Estimation with Vector Copulas
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
本文提出基于向量连接函数的神经互信息估计器，在灵活性与简化性之间取得平衡，并在合成及真实数据上验证其优势。
2025-10-23 cs.LG
Theoretical guarantees for neural estimators in parametric statistics
ETH Zürich（苏黎世联邦理工学院）；University of Geneva（日内瓦大学）
本文通过将神经估计器的风险分解为可单独分析的项，提出易于验证的假设确保各项收敛到零，为神经估计器提供理论保证，并给出推广到更广泛架构和估计问题的通用方法。
2025-06-23 cs.LG stat.ML
Mutual Information Estimation via Normalizing Flows
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Sirius University of Science and Technology（天狼星科技大学）；Skoltech（斯科尔科沃科学技术研究院）；MIPT（莫斯科物理技术学院）；Sirius（天狼星科技大学）
提出基于归一化流的互信息估计新方法，通过映射到易估计的目标分布并利用闭式表达式，提供理论保证并在高维数据实验中展示优势。
2024-05-25 cs.IT cs.LG math.IT
Mutual Information Gradient Estimation for Representation Learning
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Laboratory（鹏城实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Harbin Institute of Technology（哈尔滨工业大学）
互信息在表征学习中起着重要的作用。然而，不幸的是，MI是棘手的连续和高维设置。最近的进展建立了易于处理和可扩展的MI估计，发现有用的表示。然而，大多数现有的方法是不能够提供一个准确的估计MI与低方差时，MI是大的。我们认为，直接估计MI的梯度是更有吸引力的表示学习比估计MI本身。为此，我们提出了互信息梯度估计（MIGE）表示学习的基础上的分数估计的隐式分布。MIGE在高维和大MI的情况下表现出一个紧而光滑的MI梯度估计。我们扩展了MIGE在基于InfoMax的深度表示的无监督学习和信息瓶颈方法中的应用。实验结果表明，在学习有用的表示显着的性能改善。
2020-05-03 cs.CV cs.LG stat.ML
ALICE: In-context, Zero-shot, Mutual Information Estimation
ALICE是一个基础模型，通过上下文内估计整流流速度场实现零样本互信息估计，无需逐分布训练，在多个科学领域达到与专用神经估计器相当的精度。
2026-09-30 cs.LG
BENK: The Beran Estimator with Neural Kernels for Estimating the Heterogeneous Treatment Effect
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种在截尾时间-事件数据条件下估计条件平均治疗效应的方法--神经核Beran估计方法。该方法背后的主要思想是应用Beran估计估计控制和治疗的生存函数。代替Beran估计器中的典型核函数，提出了以称为神经核的特定形式的神经网络的形式来实现核。条件平均治疗效果估计通过使用的生存函数作为控制和治疗神经网络的结果，其中包括一组共享参数的神经内核。神经核更灵活，可以准确地模拟特征向量的复杂位置结构。各种数值模拟实验说明了BENK，并将其与著名的T-学习者，S-学习者和X-学习者进行比较，用于基于Cox模型，随机生存森林和具有高斯核的Nadaraya-Watson回归的几种类型的控制和治疗结果函数。所提出的实现BENK的算法的代码可在https://github.com/Stasychbr/BENK中获得。
2022-11-19 cs.LG stat.ML
A robust estimator of mutual information for deep learning interpretability
University College London（伦敦大学学院）；Université de Genève（日内瓦大学）；Stockholm University（斯德哥尔摩大学）；Max-Planck-Institut für Astrophysik（马克斯·普朗克天体物理研究所）；Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of Chicago（芝加哥大学）
本文提出基于高斯混合模型的互信息估计器GMM-MI，用于在有限样本下稳健估计互信息并量化不确定性，从而提升深度学习潜在表示的可解释性。
2023-03-23 astro-ph.IM cs.LG physics.data-an
On the Effectiveness of Hybrid Mutual Information Estimation
University of Amsterdam（阿姆斯特丹大学）
本文提出统一判别式与生成式方法的变分界及混合互信息估计框架，并用轻量 PQ 降低估计方差，在高维高斯和自由粒子随机过程上验证其更优。
2023-06-02 cs.IT cs.LG math.IT
CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过分类变量精确地反向传播梯度是一项具有挑战性的任务，它出现在各个领域，例如训练离散潜变量模型。为此，我们提出了CARMS，分类随机变量的无偏估计的基础上多个相互负相关（共同对立）的样本。CARMS将REINFORCE与基于copula的抽样相结合，以避免重复样本并减少其方差，同时使用重要性采样保持估计量无偏。它推广了二元变量的ARMS对偶估计，这是两个类别的CARMS，以及LOORF/VarGrad，留一法REINFORCE估计，这是独立样本的CARMS。我们在生成式建模任务以及结构化输出预测任务的多个基准数据集上评估了CARMS，发现它优于竞争方法，包括强大的自我控制基线。代码是公开的。
2021-10-26 cs.LG stat.ML
Resampling methods for parameter-free and robust feature selection with mutual information
Université catholique de Louvain（鲁汶大学）；INRIA（法国国家信息与自动化研究所）
将互信息准则与前向特征选择策略相结合，在所选特征子集的最优性和计算时间之间提供了良好的折衷。然而，它需要设置互信息估计器的参数并确定何时停止前向过程。这两个选择很难做出，因为随着子集的维数增加，互信息的估计变得越来越不可靠。本文提出使用重新排序方法，K折交叉验证和排列测试，以解决这两个问题。该方法带来了关于估计量方差的信息，这些信息然后可以用于自动设置参数并计算阈值以停止前向过程。该过程说明了一个合成数据集以及现实世界的例子。
2007-09-23 cs.LG stat.AP
DIPHINE: Diffusion-based $Φ$-ID Neural Estimator
KAUST（卡塔尔科学与技术部）；EURECOM（欧雷康）
提出首个基于扩散模型的神经估计器 DIPHINE，用于计算连续非高斯动力系统的集成信息分解（$\Phi$ID），通过单个摊销网络联合估计所有互信息项，并利用 Möbius 逆变换恢复十六个原子。
2026-07-31 cs.LG
Image selective encryption analysis using mutual information in CNN based embedding space
IMT Nord Europe（IMT北欧分校）；Institut Mines-Télécom（矿业电信研究所）；Centre for Digital Systems（数字系统中心）
本文研究图像选择性加密中的信息泄露问题，提出利用互信息估计器（经验估计器和MINE框架）在深度学习、信息论与密码学交叉领域检测泄露，为图像信息泄露估计提供新方向。
2025-08-12 cs.CR cs.IT cs.LG
On the Properties and Estimation of Pointwise Mutual Information Profiles
ETH AI Center, ETH Zurich（苏黎世联邦理工学院ETH AI中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）；SIB Swiss Institute of Bioinformatics（瑞士SIB生物信息学研究所）；Department of Biosystems Science and Engineering, ETH Zurich（苏黎世联邦理工学院生物系统科学与工程系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
本文解析多元正态分布的点互信息轮廓，提出Bend and Mix模型族，用蒙特卡洛方法估计轮廓，并用于研究互信息估计器局限、神经评判器行为及异常值影响，最终实现基于模型的贝叶斯互信息估计。
2024-05-29 cs.IT cs.LG math.IT
Mutual Information Maximization in Graph Neural Networks
最近已经开发了用于图上的表示学习的各种图神经网络（GNN）框架。这些框架依赖于聚合和迭代方案来学习节点的表示。然而，在学习过程中，节点之间的信息不可避免地在该方案中丢失。为了减少损失，我们扩展了GNNs框架，通过探索互信息方法中的聚合和迭代方案。提出了一种新的方法，扩大正常的邻域在集结的GNNs，其目的是最大化互信息。基于几个基准数据集上进行的一系列实验，我们表明，所提出的方法提高了四种类型的图任务，包括监督和半监督图分类，图链接预测和图边缘生成和分类的最先进的性能。
2020-03-24 cs.CV cs.LG stat.ML
A Perspective on Neural Capacity Estimation: Viability and Reliability
最近，已经提出了几种使用深度神经网络从样本数据估计互信息的方法。这些估计器被称为神经互信息估计（NMIE）。NMIE与其他方法不同，因为它们是数据驱动的估计器。因此，它们有潜力在一大类容量问题上表现良好。为了测试各种NMIE的性能，需要建立一个包含容量估计的不同挑战的基准。这就是本文的目的。特别地，我们考虑三种用于基准测试的场景：i经典AWGN信道，ii信道连续输入光强度和峰值功率约束的AWGN信道，iii具有离散输出的信道，即，泊松通道。我们还考虑了扩展到多终端的情况下与iv的AWGN和光学MAC模型。我们认为，在这四种情况下，基准测试一定的NMIE提供了一个实质性的性能测试。本文研究了互信息神经估计器（MINE）、平滑互信息下界估计器（SMILE）和定向信息神经估计器（DINE）的性能。并提供对其他方法性能的见解。总结我们的基准测试结果，MINE提供了最可靠的性能。
2022-10-05 cs.IT cs.LG eess.SP
Mutual Information Estimation via $f$-Divergence and Data Derangements
University of Klagenfurt（克拉根福大学）
本文提出基于$f$-散度变分表示和错排的新颖判别式互信息估计器，在偏差/方差权衡上表现优异，并通过实验证明比现有神经估计器更准确、复杂度更低。
2024-11-11 cs.IT cs.LG eess.SP
MIST: Mutual Information Estimation Via Supervised Training
Université Grenoble Alpes（格拉诺布尔大学）；CNRS（国家科学研究中心）；Grenoble INP（格拉诺布尔研究所）；LIG（实验室）
提出一种基于神经网络的全数据驱动互信息估计器MIST，在大规模合成数据集上训练，采用二维注意力机制处理变长样本，并通过分位数回归量化不确定性，实验表明其性能优于传统方法且推理速度快。
2026-06-05 cs.IT cs.LG math.IT
A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation
University of Alberta（阿尔伯塔大学）；University of Hong Kong（香港大学）
本文提出基于狄利克雷过程后验有限表示的深度贝叶斯非参数互信息估计框架，通过正则化损失降低方差并提升收敛稳定性，在变分自编码器及三维CT图像生成中验证了其有效性。
2025-03-11 cs.LG stat.AP stat.CO
Roundtrip: A Deep Generative Neural Density Estimator
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
密度估计是统计学和机器学习中的一个基本问题。在这项研究中，我们提出了Roundtrip作为基于深度生成模型的通用神经密度估计器。Roundtrip保留了生成对抗网络（GANs）的生成能力，但也提供了密度值的估计。与以前的神经密度估计器不同，它对从潜在空间到数据空间的转换提出了严格的条件，Roundtrip允许使用更一般的映射。在一系列实验中，Roundtrip在各种密度估计任务中实现了最先进的性能。
2020-09-04 cs.LG stat.ME stat.ML
Sparse-penalized deep neural networks estimator under weak dependence
CY Cergy Paris Université（CY塞尔吉-巴黎大学）
本文研究$ψ$ -弱相依过程的非参数回归和分类问题。这种弱依赖结构比混合、关联、$\ldots$等条件更一般。提出了一种稀疏深度神经网络的惩罚估计方法。在非参数回归和二元分类问题中，我们建立了稀疏惩罚深度神经网络估计的超额风险的预言不等式。这些估计的超额风险的收敛速度也来自。仿真结果表明，所提出的估计总体上比非惩罚估计工作得更好。
2023-03-02 cs.LG math.ST stat.ML
A Reverse Jensen Inequality Result with Application to Mutual Information Estimation
Freie Universität Berlin（柏林自由大学）；University of Siegen（锡根大学）
Jensen不等式是在众多领域中广泛使用的工具，例如信息论和机器学习。它也可以用来推导其他标准不等式，如算术和几何平均数不等式或赫尔德不等式。在概率设置中，詹森不等式描述了凸函数和期望值之间的关系。在这项工作中，我们希望从不等式的相反方向来看待概率设置。我们表明，在最小的约束条件下，并与适当的缩放，詹森不等式可以逆转。我们相信，由此产生的工具可以为许多应用程序是有帮助的，并提供了一个变分估计的互信息，其中反向不等式导致一个新的估计具有优越的训练行为相比，目前的估计。
2021-11-12 cs.IT cs.LG math.IT
