On conditional Sibson's $α$-Mutual Information
在这项工作中,我们分析了如何定义一个有条件的版本Sibson的$α$ -互信息。可以提出几个这样的定义,它们都导致具有不同(但类似)业务意义的不同信息计量。我们将详细分析这样一个定义,计算它的封闭形式的表达式,并认可它的操作意义,同时也考虑一些应用。其他的定义也将被提及和比较。
2021-06-08 cs.IT math.IT math.PR
Uniform vs. Non-Uniform Coarse Quantization in Mutual Information Maximizing LDPC Decoding
近来,已经引入了执行互信息最大化信号处理的低分辨率LDPC解码器。然而,在变量和校验节点中的最佳量化需要昂贵的非均匀操作。相反,我们建议使用统一量化与一个简单的硬件结构,这减少了约一半的单个节点操作的复杂性,并大大缩短了解码延迟。我们的分析表明,由于对均匀量化的限制而导致的保留互信息的损失是非常小的。此外,与常规LDPC码的出错率仿真确认,与非均匀替代方案相比,均匀量化的解码器仅引起0.01 dB内的较小性能下降。由于复杂度的降低,特别是提出的3位解码器是一个有前途的候选人,以取代传统的4位解码器。
2022-11-13 cs.IT math.IT
Strong Asymptotic Composition Theorems for Mutual Information Measures
我们描述了增长的Sibson和Arimoto互信息和$α$ -最大泄漏,任何顺序,至少是统一的,之间的随机变量和一组不断增长的噪声,条件独立和identically分布的随机变量的观察。这些措施中的每一个都以指数方式快速增长到一个极限,该极限是阶数和测量相关的,指数是阶数和测量无关的。
2021-11-21 cs.IT math.IT
Curse of Slicing: Why Sliced Mutual Information is a Deceptive Measure of Statistical Dependence
Applied AI Institute(应用人工智能研究所);Institute of Numerical Mathematics, RAS(俄罗斯科学院数值数学研究所)
该研究指出切片互信息在衡量统计依赖性时存在欺骗性,易受数据操纵影响,且在某些情况下表现不如相关系数。
2025-12-09 cs.IT cs.LG math.IT
On dynamic mutual information for bivariate lifetimes
我们认为动态版本的互信息的寿命分布,重点是过去的生命期,剩余寿命和混合寿命在不同的时刻评估。这允许研究多组分系统,通过测量可能具有不同年龄的两个组分的条件寿命的依赖性。我们提供了一些界限,并调查互信息的剩余寿命内的时间转换指数模型(在无界和截断寿命的假设下)。此外,参考随机样本的顺序统计量,我们明确评估的最小值和最大值之间的互信息,在不同的时间检查的条件下,并表明它是分布自由。最后,我们开发了一种基于Copula的方法,旨在以另一种方式表达过去和剩余双变量寿命的动态互信息。
2016-05-07 cs.IT math.IT math.PR
Identifying statistical dependence in genomic sequences via mutual information estimates
理解和量化生物体中信息的表示和数量的问题已成为生物学研究的核心部分,因为它们可能是根本性进步的关键。在本文中,我们展示了使用信息理论工具的任务,确定部分的生物分子(DNA或RNA)的统计相关。我们开发了一种精确可靠的方法,基于互信息的概念,用于查找和提取统计和结构依赖关系。定义了一个简单的阈值函数,并探讨了其在量化生物片段之间的依赖关系的显着性水平中的应用。这些工具用于两个特定的应用程序。首先,鉴定玉米zmSRp32基因不同部分之间的相关性。在那里,我们发现zmSRp32中的5 '非翻译区与其可变剪接外显子之间存在显著的依赖性。这一观察结果可能表明存在至今未知的可变剪接机制或结构支架。其次,使用联邦调查局的联合DNA索引系统(CODIS)的数据,我们证明了我们的方法是特别适合的问题,发现短串联重复序列,在遗传分析的重要应用。
2007-10-26 cs.IT math.IT q-bio.GN
Formal Limitations on the Measurement of Mutual Information
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Rutgers University(罗格斯大学)
从有限的数据中测量互信息是困难的。最近的工作考虑变分方法最大化的下限。在本文中,我们证明了严重的统计局限性是固有的任何方法来衡量互信息。更具体地说,我们证明了任何分布自由的高置信下限互信息估计从N个样本不能大于O(ln N)。
2020-05-20 cs.IT cs.LG math.IT
Several Representations of $α$-Mutual Information and Interpretations as Privacy Leakage Measures
本文基于Rényi散度和条件Rényi熵,提出了$α$-互信息的新表示,并利用广义均值和增益函数解释其作为隐私泄露度量的意义,同时提出满足条件化降低熵的新型条件Rényi熵。
2025-04-30 cs.IT math.IT
Mutual Information Bounds via Adjacency Events
两个联合分布随机变量$X$和$Y$之间的互信息是联合分布$P_{XY},$的函数,有时难以处理或估计。$(X,Y)$的统计行为的一个粗略描述是由边缘分布$P_X, P_Y$和由联合分布引起的邻接关系给出的,其中如果$P(x,y)>0$,则$x$和$y$相邻。我们推导出这些实体的互信息的下界。通过将从$X$到$Y$的通道视为一组可能动作的概率分布来获得界限,其中动作确定任何可能输入的输出,并且是独立绘制的。我们还提供了另一种证明基于凸优化,产生一个一般更严格的约束。最后,我们推导出互信息的上界在动作和对$(X,Y)$之间的相邻事件,在这种情况下,一个动作$a$和一对$(x,y)$是相邻的,如果$y=a(x)$。作为一个例子,我们将我们的边界应用到二进制删除通道,并表明,对于特殊情况下的i.i.d.输入分布和删除概率的范围,我们的下限和上限都优于最好的已知的互信息的界限。
2016-09-08 cs.IT math.IT
Properties of Persistent Mutual Information and Emergence
持续互信息(PMI)是随机过程的一种复杂性度量。它与众所周知的复杂性度量有关,如超额熵或统计复杂性。从本质上讲,它是过剩熵的一种变化,因此它可以被解释为系统内部记忆的一种特定度量。PMI最早由Ball、Diakonova和MacKay于2010年提出,作为衡量(强势)崛起的指标。在本文中,我们定义的PMI数学和调查的关系,过剩熵和统计复杂性。特别是我们证明了过剩熵是PMI的一个上界。此外,我们展示了PMI的一些属性,并计算它明确的一些示例过程。我们还讨论了在何种程度上它是一个措施的出现,并比较它与其他方法用于正式出现。
2012-10-18 cs.IT math-ph math.IT
Cross Mutual Information
本文提出交叉互信息这一新度量,用于刻画一组样本中变量间依赖关系在另一组样本中的体现,并通过模拟研究验证其性质,探讨其与线性回归模型拟合度量的联系及在神经影像分析中的应用前景。
2025-07-21 cs.IT math.IT
Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers
Department of Electrical and Computer Engineering, University of Waterloo, Waterloo, Canada(滑铁卢大学电气与计算机工程系);The Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada(多伦多大学Edward S. Rogers Sr.电气与计算机工程系)
本文提出归一化条件互信息作为替代交叉熵损失,通过实验表明其在图像识别和全滑片成像任务中显著提升模型性能。
2026-01-18 cs.AI cs.CV cs.IT
Measurement Matrix Design for Phase Retrieval Based on Mutual Information
在相位恢复问题中,感兴趣的信号(SOI)的基础上的线性变换的幅度与加性噪声观察到的SOI重建。线性变换通常被称为测量矩阵。相位恢复的许多工作假设的测量矩阵是一个随机的高斯矩阵,其中,在无噪声的情况下,有足够多的测量,保证SOI和观测之间的变换的可逆性,直到一个固有的相位模糊。然而,在许多实际应用中,测量矩阵对应于底层物理设置,因此是确定性的,可能具有结构约束。在这项工作中,我们研究了确定性测量矩阵的设计,基于最大化的SOI和观测之间的互信息。我们的特征的测量矩阵的最优性的必要条件,并解析地获得在低信号噪声比制度的最佳矩阵。提出了设计一般测量矩阵和掩蔽傅立叶测量的实用方法。仿真测试表明,所提出的技术相比,随机高斯测量各种相位恢复算法实现的性能增益。
2017-09-24 cs.IT math.IT
Sliced Mutual Information: A Scalable Measure of Statistical Dependence
互信息(MI)是统计依赖性的基本度量,在信息论、统计学和机器学习中有无数的应用。虽然它具有许多理想的结构属性,估计高维MI从样本遭受的灾难的维数。出于对高维的统计可扩展性,本文提出了切片MI(SMI)作为依赖性的替代度量。SMI定义为一维随机投影之间MI项的平均值。我们发现,它保留了许多经典MI的结构特性,同时获得可扩展的计算和有效的估计样本。此外,与经典MI相反,SMI可以作为确定性转换的结果而增长。这使得能够通过在原始数据的处理函数上优化SMI来利用SMI进行特征提取,以识别其有用的表示。我们的理论是支持的独立性测试和特征提取,这表明潜在的收益SMI提供了超过经典MI的高维推理的数值研究。
2021-10-18 cs.IT math.IT
Estimating mutual information in high dimensions via classification error
神经成像中的多变量模式分析方法从根本上关注于研究人脑各个区域处理的信息的数量和类型;通常,分类准确性的估计用于量化信息。虽然广泛而强大的方法库可以应用于训练和评估分类器,但并不总是清楚如何使用分类性能的结果度量来得出科学结论:例如,用于评估大脑区域之间的冗余。解释分类性能的另一个混淆是错误率对分类任务获得的不同类别的数量和选择的依赖性。相反,互信息是独立于试验设计定义的量,并且具有用于比较分析的理想性质。不幸的是,在没有某种假设或先验的情况下,基于观测值估计互信息在高维中变得不可行。在本文中,我们构造了一个新的基于分类的估计的互信息的高维渐近的基础上。我们表明,在一个特定的限制制度,互信息是一个可逆的预期$k$类贝叶斯错误的函数。虽然该理论是基于一个大样本,高维的限制,我们通过模拟表明,我们提出的估计具有优越的性能,在中等维度的问题的替代品。
2016-10-10 cs.IT math.IT stat.ML
Correlation Detection and an Operational Interpretation of the Renyi Mutual Information
近年来,人们提出了一系列新的量子Renyi互信息和量子Renyi条件熵的度量,并对它们的一些数学性质进行了探讨。在这里,我们表明,Renyi互信息达到操作意义的复合假设检验的背景下,当零假设是一个固定的二分状态和备择假设由所有产品的状态,共享一个边际与零假设。这个假设检验问题自然发生在信道编码中,其中它对应于测试状态是给定量子信道的输出还是其输出与环境解耦的“无用”信道的输出。同样,我们建立了一个操作的解释Renyi条件熵通过选择一个替代假设,由产品的状态,最大限度地混合在一个系统。专门的经典概率分布,我们的结果也建立了一个操作的解释Renyi互信息和Renyi条件熵。
2016-10-19 cs.IT math-ph math.IT
On the Uniqueness of Binary Quantizers for Maximizing Mutual Information
我们考虑具有二进制输入X的通道被连续值噪声破坏,导致连续值输出Y。最佳二进制量化器用于将连续值输出Y转换为最终二进制输出Z,以最大化互信息I(X; Z)。我们证明了当信道条件密度比r(y)= P(Y=y| X=0)/ P(Y =y| X=1)是y的严格递增/递减函数,则具有单个阈值的量化器可以最大化互信息。此外,我们表明,一个最佳量化器(可能有多个阈值)是一个阈值向量的元素是所有的解决方案r(y)= r* 的一些常数r* > 0。有趣的是,最佳常数r* 是唯一的。该唯一性属性允许快速算法实现,诸如二分算法,以找到最佳量化器。我们的研究结果也证实了以前的一些结果,使用替代初等证明。我们给出了一些数值例子,将我们的结果应用到加性高斯噪声信道。
2020-01-07 cs.IR cs.IT eess.SP
Distribution of Mutual Information from Complete and Incomplete Data
互信息被广泛地用于描述分类随机变量的随机相关性。为了解决诸如描述值的可靠性之类的问题,必须考虑样本到人口的推理方法。本文讨论了互信息的后验分布,在贝叶斯框架下获得的二阶Dirichlet先验分布。精确的解析表达式的平均值,和解析近似的方差,偏度和峰度。这些近似有一个保证的精度水平为O(1/n^3),其中n是样本大小。在不完全样本的情况下,导出了均值和方差的主阶近似。导出的解析表达式允许互信息的分布被可靠地和快速地近似。事实上,可以用描述性互信息所需的相同复杂度来计算导出的表达式。这使得互信息的分布在许多应用中成为描述性互信息的具体替代,这将受益于移动到归纳侧。这些前瞻性的应用进行了讨论,其中之一,即特征选择,表现出显着更好的使用时,感应互信息。
2004-03-15 cs.AI cs.IT cs.LG
$α$-Mutual Information: A Tunable Privacy Measure for Privacy Protection in Data Sharing
McGill University(麦吉尔大学)
本文提出以$α$-互信息作为可调隐私度量,通过对抗深度学习框架优化数据发布,在图像和时间序列数据上验证其优于互信息基线,并增强对侧信息攻击的鲁棒性。
2023-10-27 cs.CR cs.IT cs.LG
FSMI: Fast computation of Shannon Mutual Information for information-theoretic mapping
1 Department of Electrical Engineering;Computer Science, MIT, Cambridge, MA, USA 2 Department of Aeronautics;Astronautics, MIT, Cambridge, MA, USA
探索任务嵌入在许多机器人应用中,例如搜索和救援以及太空探索。基于信息的探索算法旨在通过最大化信息理论度量(诸如地图和潜在的未来测量之间的互信息)来找到信息量最大的轨迹。不幸的是,大多数现有的基于信息的探索算法的计算困难的香农互信息度量评估的困扰。在本文中,我们考虑的基本问题,评估香农互信息之间的地图和距离测量。首先,我们考虑2D环境。我们提出了一种新的算法,称为快速香农互信息(FSMI)。该算法背后的关键见解是,某个积分可以解析计算,从而节省大量的计算。其次,我们考虑由高效数据结构表示的3D环境,例如,一个可压缩映射,使得测量值被行程长度编码(RLE)压缩。我们提出了一种新的算法,称为FSMI-RLE,有效地评估香农互信息的测量时,使用RLE压缩。对于FSMI和FSMI-RLE,我们还提出了对传感器噪声分布进行不同假设的变体,以进一步节省计算。我们在广泛的实验中评估所提出的算法。特别是,我们表明,所提出的算法优于现有的算法,计算香农互信息以及其他算法,计算柯西-施瓦茨二次互信息(CSQMI)。此外,我们证明了香农互信息的计算在一个三维地图上的第一次。
2019-05-06 cs.IT cs.RO math.IT
Quantifying synergistic mutual information
在预测单个目标随机变量时,量化随机变量之间的协同或协同作用是许多复杂系统中的重要问题。我们回顾了三个先前的信息理论措施的协同作用,并介绍了一种新的协同措施定义为整体之间的差异和工会的部分。我们应用所有四个措施对一套二进制电路,以证明我们的措施单独量化的直观概念的协同作用在所有的例子。我们表明,我们的措施的协同作用,独立的预测可以有积极的冗余信息。
2014-03-31 cs.IT math.IT q-bio.QM
Sibson $α$-Mutual Information and Its Variational Representations
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);American University of Beirut(贝鲁特美国大学)
本文综述并拓展Sibson α-互信息的研究,引入其变分表示,推导广义运输成本不等式等新结果并概述其多领域应用。
2026-08-13 cs.IT math.IT math.PR
Learning Channel Capacity with Neural Mutual Information Estimator Based on Message Importance Measure
本文提出基于消息重要性度量的互信息估计器MMIE及广义协作框架,通过生成器与判别器对抗训练同时学习最优码本和估计信道容量,实验表明其在准确性和稳定性上达到最先进水平。
2023-12-04 cs.IT eess.SP math.IT
Analytic Mutual Information in Bayesian Neural Networks
Samsung SDS Research America(三星SDS美国研究院)
贝叶斯神经网络在包括不确定性量化在内的许多应用问题中成功地设计和优化了一个鲁棒的神经网络模型。然而,随着贝叶斯神经网络最近的成功,对贝叶斯神经网络的信息理论理解仍处于早期阶段。互信息是贝叶斯神经网络中量化认知不确定性的不确定性度量的示例。尽管如此,还没有一个已知的分析公式来描述它,这是理解贝叶斯深度学习框架的基本信息度量之一。本文利用点过程熵的概念,推导了模型参数与预测输出之间的互信息的解析表达式。作为应用,我们讨论了Dirichlet分布的参数估计,并通过证明我们的解析公式可以在实践中进一步提高主动学习的性能,展示了它在主动学习不确定性度量中的实际应用。
2022-06-18 cs.IT cs.LG math.IT
On Sibson's $α$-Mutual Information
我们探讨了一个家庭的信息措施,源于雷尼的$α$ -分歧与$α<0$。特别是,我们扩展了Sibson的$α$ -互信息的定义,为负值的$α$,并显示这些对象的几个属性。此外,我们强调了这个家庭的信息措施是如何相关的功能不平等,可以在各种领域,包括下限的贝叶斯估计过程中的风险。
2022-02-08 cs.IT math.IT math.ST
TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions
Fritz Haber Institute of the Max Planck Society(马克斯·普朗克学会弗里茨·哈伯研究所);Humboldt-Universität zu Berlin(柏林洪堡大学)
相关特征的识别,即,决定过程或系统属性的驱动变量是分析具有大量变量的数据集的重要部分。量化这些特征的相关性的数学严格方法是互信息。互信息根据特征与感兴趣的属性的联合相互依赖性来确定特征的相关性。然而,互信息需要概率分布作为输入,这不能从连续分布(诸如像长度或能量的物理量)可靠地估计。在这里,我们介绍了总累积互信息(TCMI),相互依赖的相关性,扩展互信息的连续分布的基础上累积概率分布的随机变量的措施。TCMI是一种非参数的、鲁棒的和确定性的度量,其促进具有不同基数的特征集之间的比较和排名。TCMI诱导的排名允许特征选择,即,识别与感兴趣的属性在统计上非线性相关的变量集,考虑数据样本的数量以及变量集的基数。我们评估我们的措施与模拟数据的性能,比较其性能与类似的多变量依赖措施,并证明了我们的功能选择方法的有效性的一组标准数据集和材料科学中的一个典型场景。
2022-07-30 cs.IT cs.LG math.IT
MINT: Deep Network Compression via Mutual Information-based Neuron Trimming
EECS University of Michigan(密歇根大学EECS学院);CSE University of Maine(缅因大学计算机科学与工程学院)
大多数通过修剪进行深度神经网络压缩的方法要么使用过滤器的权重来评估过滤器的重要性,要么使用稀疏约束来优化替代目标函数。虽然这些方法提供了一种有用的方法来近似类似过滤器的贡献,但它们通常忽略层之间的依赖关系,或者解决比标准交叉熵更困难的优化目标。我们的方法,互信息为基础的神经元修剪(MINT),通过加强稀疏性的基础上相邻层的过滤器之间的关系的强度,跨每一对层,通过修剪接近深度压缩。该关系使用条件几何互信息来计算,该条件几何互信息使用基于图形的标准来评估过滤器之间交换的相似信息的量。在修剪网络时,我们确保保留的过滤器将大部分信息贡献给后续层,从而确保高性能。我们的新方法优于现有的国家的最先进的压缩通过修剪方法的标准基准为这项任务:MNIST,CIFAR-10,ILSVRC 2012,在各种网络架构。此外,我们还讨论了我们的修剪方法对对抗攻击的响应和与原始网络相比的校准统计数据之间的共同点。
2020-03-18 cs.CV cs.IT cs.LG
Estimating mutual information and multi--information in large networks
我们解决的实际问题,估计的信息关系,大型网络的特点。基于神经代码的分析方法,我们证明了互信息的可靠估计可以通过可管理的计算工作量来获得。同样的方法允许估计高阶,多信息项。这些想法通过对基因表达、金融市场和消费者偏好的分析得到了说明。在每一种情况下,信息论的措施与独立的,直观的措施,在系统中的基础结构。
2005-02-03 cs.AI cs.CV cs.IT
Submodular Combinatorial Information Measures with Applications in Machine Learning
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Washington(华盛顿大学);Tata Institute of Fundamental Research(塔塔基础研究院)
信息理论中的量,如熵和互信息,在机器学习中有许多用途。众所周知,这些熵量和次模性之间有很强的联系,因为一组随机变量上的熵是次模的。在本文中,我们研究了组合信息的措施,推广的独立性,(条件)熵,(条件)互信息,和总的相关性定义的(不一定是随机的)变量集。这些测度严格地推广了相应的熵测度,因为它们都是通过子模函数参数化的,子模函数本身严格地推广了熵。关键是,我们表明,不同于熵互信息一般,次模互信息实际上是次模的一个参数,持有其他固定的,为一大类次模函数的三阶偏导数满足非负性。这包括一些实际上有用的情况,如设施位置和集合覆盖函数。我们研究具体的子模块信息措施的实例,以及概率覆盖,图形切割,饱和覆盖函数,并看到他们都有数学直观和实用的表达式。关于应用程序,我们连接子模块(条件)互信息的最大化的问题,如基于互信息,基于查询,和隐私保护的总结-我们连接优化多组子模块互信息聚类和强大的分区。
2021-03-02 cs.DS cs.IT cs.LG