Which Mutual-Information Representation Learning Objectives are Sufficient for Control?
University of California, Berkeley(加州大学伯克利分校)
互信息最大化提供了一个有吸引力的形式主义学习表示的数据。在强化学习(RL)的背景下,这种表示可以通过丢弃不相关和冗余的信息来加速学习,同时保留控制所需的信息。这些方法的大部分先前的工作已经解决了从高维观测的样本估计互信息的实际困难,而相对较少的是了解哪些互信息目标产生表示,从理论的角度来看是足够的RL。在本文中,我们形式化了用于学习和表示最优策略的状态表示的充分性,并通过这个镜头研究了几个流行的基于互信息的目标。令人惊讶的是,我们发现,这些目标中的两个可以产生不充分的代表性温和和共同的假设的MDP的结构。我们证实了我们的理论结果与实证实验的模拟游戏环境与视觉观察。
2021-06-14 cs.AI cs.LG
On Network Science and Mutual Information for Explaining Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学);Arm Inc.(安谋公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们提出了一种解释深度学习模型的新方法。通过将互信息与网络科学相结合,我们探索了信息如何在前馈网络中流动。我们表明,有效地近似互信息使我们能够创建一个信息度量,量化深度学习模型的任何两个神经元之间有多少信息流。为此,我们提出了NIF,神经信息流,一种用于编码信息流的技术,它暴露了深度学习模型内部并提供了特征属性。
2020-05-04 cs.LG stat.ML
Mutual information is copula entropy
Tsinghua University(清华大学)
证明了互信息实际上是负Copula熵,并在此基础上提出了一种互信息估计方法。
2008-08-06 cs.IT cs.LG math.IT
Better Long-Range Dependency By Bootstrapping A Mutual Information Regularizer
Borealis AI(北极光人工智能)
在这项工作中,我们开发了一种新的正则化,以提高学习的序列数据的长程依赖。应用于语言建模,我们的正则化表达的归纳偏见,序列变量应该有高的互信息,即使模型可能不会看到丰富的观察复杂的长期依赖。我们展示了如何“下一句预测(分类)”启发式可以从我们的互信息估计框架的原则性的方式,并进一步扩展到最大限度地提高序列变量的互信息。所提出的方法不仅有效地增加了学习模型下的段的互信息,但更重要的是,导致更高的可能性对holdout数据,并提高生成质量。代码发布于https://github.com/BorealisAI/BMI。
2020-02-23 cs.CL cs.LG stat.ML
Mutual Information in Community Detection with Covariate Information and Correlated Networks
研究了当节点标签存在协变量信息且观测到多个相关网络时的社区发现问题。我们提供了一个渐近上界的每个节点的互信息,以及一个启发式分析的多元性能指标称为MMSE矩阵。这些结果表明,表面上非常不同类型的信息的组合效应可以明确地在公式中的特点,涉及低维估计问题的加性高斯噪声。我们的分析得到了数值模拟的支持。
2019-12-11 cs.IT cs.LG math.IT
Rethinking Softmax with Cross-Entropy: Neural Network Classifier as Mutual Information Estimator
Australian National University(澳大利亚国立大学);Pohang University of Science and Technology(浦项科技大学)
互信息被广泛应用于学习观测值的潜在表示,而其在分类神经网络中的含义仍有待更好地解释。我们表明,优化分类神经网络的参数与softmax交叉熵是等价的最大化输入和标签之间的互信息的平衡数据假设。通过在人工数据集和真实数据集上的实验,我们表明softmax交叉熵可以近似地估计互信息。当应用于图像分类时,这种关系有助于近似输入图像和标签之间的逐点互信息,而无需修改网络结构。为此,我们提出了infoCAM,信息类激活图,突出显示区域的输入图像是最相关的一个给定的标签的基础上的差异信息。激活图有助于定位输入图像中的目标对象。通过两个真实世界数据集的半监督对象定位任务的实验,我们评估了我们的信息理论方法的有效性。
2020-09-17 cs.CV cs.LG stat.ML
High Mutual Information in Representation Learning with Symmetric Variational Inference
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research(谷歌研究院)
我们介绍了互信息机(MIM),一种新的表示学习的制定,使用联合分布的意见和潜在的状态在编码器/解码器框架。我们的关键原则是对称性和互信息,其中对称性鼓励编码器和解码器学习相同底层分布的不同因子分解,互信息鼓励学习下游任务的有用表示。我们的出发点是编码和解码联合分布之间的对称Jensen-Shannon散度,加上一个相互信息鼓励正则化。我们表明,这可以是有界的一个听话的交叉熵损失函数之间的真实模型和参数化的近似,并与此相关的极大似然框架。我们还将MIM与变分自编码器(VAE)联系起来,并证明MIM能够学习对称因子分解,具有高互信息,避免了后验崩溃。
2019-10-04 cs.IT cs.LG math.IT
NMINE: Normalized Mutual Information Neural Estimation
针对现有归一化互信息估计器对维度敏感、数值稳定性差的问题,本文提出NMINE神经估计器,结合MINE与MI-NEE方法,在1-8维高斯数据上精度优于KSG基线,为连续多维归一化依赖度量提供新方向。
2026-07-31 cs.LG
Estimating mutual information and multi--information in large networks
我们解决的实际问题,估计的信息关系,大型网络的特点。基于神经代码的分析方法,我们证明了互信息的可靠估计可以通过可管理的计算工作量来获得。同样的方法允许估计高阶,多信息项。这些想法通过对基因表达、金融市场和消费者偏好的分析得到了说明。在每一种情况下,信息论的措施与独立的,直观的措施,在系统中的基础结构。
2005-02-03 cs.AI cs.CV cs.IT
A Neural Difference-of-Entropies Estimator for Mutual Information
CAMaCS, University of Warwick(沃里克大学CAMaCS中心);Mathematics Institute, University of Warwick(沃里克大学数学学院)
本文提出一种基于归一化流和块自回归结构的神经熵差互信息估计器,在高维基准任务上改善了偏差-方差权衡。
2025-10-23 cs.IT cs.LG math.IT
VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors
KAIST(韩国科学技术院)
变分自编码器是一种用于学习复杂数据的潜在变量模型的可扩展方法。它采用了一个明确的目标,可以很容易地优化。然而,它并没有明确衡量学习表征的质量。我们提出了一个变分互信息最大化框架VAE来解决这个问题。它提供了一个目标,最大限度地提高潜在代码和观测之间的互信息。该目标作为一个正则化,迫使VAE不忽略潜在的代码,并允许一个选择它的特定组件是最翔实的观察。最重要的是,所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。
2020-05-28 cs.IT cs.LG math.IT
Mutual Information Scaling and Expressive Power of Sequence Models
Massachusetts Institute of Technology(麻省理工学院)
序列模型将概率分配给可变长度序列,例如自然语言文本。序列模型捕捉时间相关性的能力可以通过相关性和互信息的时间尺度来表征。在本文中,我们研究了循环神经网络(RNN)的互信息,包括长短期记忆和自我注意网络,如Transformers。通过对线性RNN的理论研究和对非线性RNN的实证研究相结合,我们发现它们的互信息随时间距离呈指数衰减。另一方面,Transformers可以更有效地捕获长距离互信息,使得它们在建模具有慢幂律互信息的序列(例如自然语言和股票价格)时是优选的。我们讨论这些结果与统计力学的联系。我们还指出了许多自然语言数据集的非均匀性问题。我们希望这项工作提供了一个新的视角来理解序列模型的表达能力,并为改进它们的体系结构提供新的思路。
2019-05-10 cond-mat.dis-nn cs.IT cs.LG
Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information
Rutgers University(罗格斯大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出了学习离散结构化表示从未标记的数据最大化之间的互信息的结构化的潜在变量和目标变量。在这种情况下,计算互信息是困难的。我们的关键技术贡献是一个对抗性的目标,可用于可追踪地估计互信息,假设只有交叉熵计算的可行性。我们开发了一个具体的实现,这个一般配方与马尔可夫分布的二进制编码。我们报告的关键和意想不到的结果,如变分先验的选择的目标的实际方面。我们将我们的模型应用于文档散列,并表明它优于基于离散和矢量量化变分自编码器的当前最佳基线。它还产生高度压缩的可解释表示。
2020-07-15 cs.IT cs.LG math.IT
Distribution of Mutual Information from Complete and Incomplete Data
互信息被广泛地用于描述分类随机变量的随机相关性。为了解决诸如描述值的可靠性之类的问题,必须考虑样本到人口的推理方法。本文讨论了互信息的后验分布,在贝叶斯框架下获得的二阶Dirichlet先验分布。精确的解析表达式的平均值,和解析近似的方差,偏度和峰度。这些近似有一个保证的精度水平为O(1/n^3),其中n是样本大小。在不完全样本的情况下,导出了均值和方差的主阶近似。导出的解析表达式允许互信息的分布被可靠地和快速地近似。事实上,可以用描述性互信息所需的相同复杂度来计算导出的表达式。这使得互信息的分布在许多应用中成为描述性互信息的具体替代,这将受益于移动到归纳侧。这些前瞻性的应用进行了讨论,其中之一,即特征选择,表现出显着更好的使用时,感应互信息。
2004-03-15 cs.AI cs.IT cs.LG
Sharpened Generalization Bounds based on Conditional Mutual Information and an Application to Noisy, Iterative Algorithms
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Element AI(Element AI公司)
Russo和J. Zou(2016)以及Xu和Raginsky(2017)的信息理论框架根据算法输出和训练样本之间的互信息提供了学习算法泛化误差的界限。在这项工作中,我们研究了Steinke和Zakynthinou(2020)的建议,通过引入包含训练样本作为随机子集的超级样本并计算超级样本的互信息条件来推理学习算法的泛化误差。我们首先表明,这些新的界限的基础上的条件互信息比那些基于无条件的互信息更紧。然后,我们介绍了更严格的界限,建立在“个别样本”的思想,布,S。Zou和Veeravalli(2019)以及Negrea等人的“数据依赖”思想。(2019),使用分解的互信息。最后,我们将这些界限的研究朗之万动力学算法,表明条件上的超级样本,使我们能够利用信息的优化轨迹,以获得更严格的界限的基础上的假设检验。
2020-10-23 cs.IT cs.LG math.IT
Maximum mutual information regularized classification
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));The Ohio State University(俄亥俄州立大学);The First Affiliated Hospital of Harbin Medical University(哈尔滨医科大学附属第一医院)
本文提出了一种新的模式分类方法,通过正则化分类器的学习,以最大化分类响应和真实类别标签之间的互信息。我们认为,与学习分类器,数据样本的真实类标签的不确定性,应尽可能多地知道其分类响应减少。降低的不确定性通过分类响应和真实类别标签之间的互信息来测量。为此,在学习线性分类器时,我们提出了最大化分类响应与训练样本的真实类标签之间的互信息,除了最小化分类误差和降低分类器复杂度。通过熵估计建立互信息模型,构造目标函数,并采用梯度下降法迭代优化。两个真实世界模式分类问题的实验表明,最大互信息正则化取得了显着的改善。
2014-09-27 cs.LG
Pairwise Adjusted Mutual Information
Technische Universität München(慕尼黑工业大学);Institut Polytechnique de Paris(巴黎综合理工学院)
用于量化两个聚类之间的相似性的公知度量是经调整的互信息。与互信息相比,引入了基于标签随机排列的校正项,防止了两个聚类偶然相似。不幸的是,这种调整使得度量在计算上昂贵。在本文中,我们提出了一种新的调整的基础上{pairwise}标签排列,而不是完整的标签排列。具体来说,我们考虑排列,其中只有两个样本,随机均匀选择,交换他们的标签。我们表明,相应的调整后的度量,这可以明确表示,行为类似于标准调整后的互信息评估聚类的质量,同时具有低得多的时间复杂度。这两个指标进行比较的质量和性能的实验的基础上合成和真实的数据。
2021-03-23 cs.LG
Mutual Information calculation on different appearances
本研究将互信息公式应用于不同模态的图像匹配以评估相似度,同时对比熵、信息增益方法的依赖关系测试效果,并探究环境对同一图像互信息的影响。
2024-07-10 cs.CV cs.GR cs.LG
Derivations of Normalized Mutual Information in Binary Classifications
这封信研究分类的基本问题-如何评估不同的分类器。虽然传统的性能指标,如准确率,通常用于分类器的选择或评估,基于信息的标准,如互信息,正在成为流行的特征/模型选择。在这项工作中,我们提出了评估分类器的归一化互信息(NI),这是新颖的,以及定义在一个紧凑的范围内的分类器评估。我们推导出二进制分类中归一化互信息与准确度、精确度和查全率的密切关系。通过探讨它们之间的关系,我们发现,NI实际上是一组非线性函数,具有协调的幂指数形式,每个性能指标。这些关系也可以用精确度和召回率,或者虚警和命中率(召回率)来表示。
2007-11-23 cs.IT cs.LG math.IT