MIND: Inductive Mutual Information Estimation, A Convex Maximum-Entropy Copula Approach
KXY Technologies, Inc.(KXY科技公司)
我们提出了一种新的估计两个有序向量$x$和$y$之间的互信息。我们的方法是归纳的(而不是演绎的),因为它依赖于数据生成分布,仅通过一些非参数属性揭示数据中的关联,并且不需要有足够的数据来充分表征真正的联合分布$P_{x, y}$。具体来说,我们的方法包括(i)注意到$I\left(y; x\right) = I\left(u_y; u_x\right)$,其中$u_y$和$u_x$是$y$和$x$的copula一致对偶表示(即它们在概率积分变换下的图像),以及(ii)通过在$α_m = E\left[ϕ_m(u_y, u_x)\right]$类型的约束下求解copula密度空间上的最大熵问题来估计copula熵$h\left(u_y\right)$,$h\left(u_x\right)$和$h\left(u_y, u_x\right)$。我们证明了,只要约束是可行的,这个问题承认一个唯一的解决方案,它是在指数族,它可以通过解决凸优化问题学习。由此产生的估计,我们表示为MIND,是边缘不变的,总是非负的,无界的任何样本大小$n$,一致的,有MSE率$O(1/n)$,是更有效的数据比竞争的方法。除了互信息估计之外,我们还说明了我们的方法可以通过最大化假样本的Copula的熵来减轻GANs中的模式崩溃,我们将这种模型称为Copula熵正则化GAN(CER-GAN)。
2022-04-09 cs.IT cs.LG math.IT
Covariance-Based Hybrid Beamforming for Spectrally Efficient Joint Radar-Communications
联合雷达通信(JRC)被认为是部署下一代系统的关键技术,因为它有助于缓解射频(RF)频谱的拥塞,并利用相同的硬件资源实现双重功能。将JRC系统用于双重功能会在两种操作之间产生干扰,这需要在未来的标准化中解决。此外,可以通过部署混合波束成形来推进JRC系统,该混合波束成形实现比发射天线的数量更少数量的RF链。本文设计了一种鲁棒的混合波束形成器,通过RF链选择使互信息最大化来最小化JRC发射机的干扰。我们考虑一个加权的互信息的双功能JRC系统和实现一个共同的模拟波束形成器的操作。互信息最大化问题是一个非凸且难以求解的问题。将该问题简化为凸形式,并利用基于分式规划的Dinkelbach逼近进行求解.基于最优RF选择的方法的性能进行评估,与基线相比,其有效性通过数值结果推断。
2022-11-15 cs.IT eess.SP math.IT
Single-shot lossy compression: mutual information bounds
California Institute of Technology(加州理工学院)
本文提出通过互信息上界来优化数据压缩,证明在保真度约束下最小化互信息可作为数据最小描述长度的合理代理。
2026-02-07 cs.IT math.IT
Ribbons from Independence Structure: Hypercontractivity, $Φ$-Mutual Information, and Matrix $Φ$-Entropy
The Chinese University of Hong Kong(香港中文大学)
本文研究了基于独立结构的超收缩性与Φ-互信息,提出矩阵Φ-丝带及其性质,推导了非平凡点并计算了精确常数。
2026-01-26 cs.IT math.IT
The Mutual Information in Random Linear Estimation
我们认为,从噪声的线性随机高斯投影的知识,在压缩感知,稀疏叠加码或码分多址相关的问题,只是举几个信号的估计。已经有一些工程考虑这个问题的互信息使用启发式副本方法从统计物理。在这里,我们把这些考虑放在一个坚定的严格的基础上。首先,我们表明,使用Guerra型插值,副本公式产生一个上界的确切互信息。其次,对于许多相关的实际情况下,我们提出了一个逆下界的方法,使用空间耦合,状态演化分析和I-MMSE定理。这产生,特别是,一个单一的字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。
2016-09-06 cs.IT math-ph math.IT
Energy-Efficient Precoding for Multi-User Visible Light Communication with Confidential Messages
针对多用户可见光通信(VLC)系统,在物理层安全的背景下,设计了一种能量有效的预编码方案。设计问题是一个非凸分式规划问题,因此采用Dinkelbach算法和基于一阶Taylor近似的凸-凹规划(CCCP)来求解。数值结果显示了不同参数设置下的收敛性和性能。
2021-02-22 cs.IT eess.SP math.IT
Hard Clusters Maximize Mutual Information
Technical University of Munich(慕尼黑工业大学)
在本文中,我们研究互信息作为聚类的成本函数,并显示在哪些情况下很难,即,确定性,集群是最佳的。利用互信息的凸性,我们证明了信息瓶颈问题的某些公式可以通过硬集群来解决。类似地,硬聚类对于处理两个相关数据集的同时聚类的信息论联合聚类问题是最优的。如果两个数据集必须使用相同的聚类分配进行聚类,则硬聚类通常不是最佳的。我们指出有趣的和实际相关的特殊情况下,这个所谓的成对聚类问题,我们可以证明或有证据表明,硬集群是最佳的。因此,我们的研究结果表明,可以放松,否则组合硬聚类问题的实值优化问题具有相同的全局最优。
2016-08-17 cs.IR cs.IT cs.LG
Mutual Information Bounds via Adjacency Events
两个联合分布随机变量$X$和$Y$之间的互信息是联合分布$P_{XY},$的函数,有时难以处理或估计。$(X,Y)$的统计行为的一个粗略描述是由边缘分布$P_X, P_Y$和由联合分布引起的邻接关系给出的,其中如果$P(x,y)>0$,则$x$和$y$相邻。我们推导出这些实体的互信息的下界。通过将从$X$到$Y$的通道视为一组可能动作的概率分布来获得界限,其中动作确定任何可能输入的输出,并且是独立绘制的。我们还提供了另一种证明基于凸优化,产生一个一般更严格的约束。最后,我们推导出互信息的上界在动作和对$(X,Y)$之间的相邻事件,在这种情况下,一个动作$a$和一对$(x,y)$是相邻的,如果$y=a(x)$。作为一个例子,我们将我们的边界应用到二进制删除通道,并表明,对于特殊情况下的i.i.d.输入分布和删除概率的范围,我们的下限和上限都优于最好的已知的互信息的界限。
2016-09-08 cs.IT math.IT
A Reverse Jensen Inequality Result with Application to Mutual Information Estimation
Freie Universität Berlin(柏林自由大学);University of Siegen(锡根大学)
Jensen不等式是在众多领域中广泛使用的工具,例如信息论和机器学习。它也可以用来推导其他标准不等式,如算术和几何平均数不等式或赫尔德不等式。在概率设置中,詹森不等式描述了凸函数和期望值之间的关系。在这项工作中,我们希望从不等式的相反方向来看待概率设置。我们表明,在最小的约束条件下,并与适当的缩放,詹森不等式可以逆转。我们相信,由此产生的工具可以为许多应用程序是有帮助的,并提供了一个变分估计的互信息,其中反向不等式导致一个新的估计具有优越的训练行为相比,目前的估计。
2021-11-12 cs.IT cs.LG math.IT
A Deterministic Algorithm for the Capacity of Finite-State Channels
我们提出了两个经典的梯度上升法计算马尔可夫输入的有限状态信道的容量的修改版本。对于信道互信息在欧氏空间的一个紧凸子集中取值的情况,我们的算法在多项式时间内达到多项式精度,而且对于某些特殊的有限状态信道族,我们的算法在一定的技术条件下可以在多项式时间内达到指数精度.对于信道互信息可能不是强凹的情况,我们的第二种算法至少是局部收敛的。
2020-06-06 cs.IT math.IT
Information-Theoretic Bounds and Approximations in Neural Population Coding
Johns Hopkins University School of Medicine(约翰·霍普金斯大学医学院);China Electronics Technology Group Corporation(中国电子科技集团公司)
虽然香农互信息在许多学科中有着广泛的应用,但在实际应用中,由于维数灾难的存在,高维变量的互信息往往很难精确计算。本文主要研究神经种群编码中互信息的有效近似估计方法。对于大但有限的神经种群,我们推导出几个信息理论的渐近界和近似公式,在高维空间中仍然有效。我们证明,优化人口密度分布的基础上,这些近似公式是一个凸优化问题,允许有效的数值解。数值模拟结果表明,我们的渐近公式是高度准确的近似互信息的大神经种群。在特殊情况下,近似公式恰好等于真实的互信息。我们还讨论了变量变换和降维技术,以方便计算的近似。
2017-11-07 cs.IT cs.LG math.IT
Rendering Separoid Information: Rate-Distortion Reconstruction of Convex Apartness Scenes
Bahçeşehir University(巴切谢希尔大学)
将凸体的分离结构视为源信号,提出一种率失真框架,通过可微支撑函数实现软分离表示,并推导分离互信息的变分下界,实验表明从分离表可高精度恢复场景。
2026-06-18 cs.GR cs.IT math.IT
Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization
Virginia Tech(弗吉尼亚理工大学);Duke University(杜克大学);KAUST(阿卜杜拉国王科技大学);Amazon(亚马逊)
InfoNCE及其变体的成功应用推广了对比变分互信息(MI)估计在机器学习中的应用。虽然具有优越的稳定性,但这些估计器严重依赖于昂贵的大批量训练,并且为了减少方差而牺牲了边界的紧密性。为了克服这些局限性,我们重新审视流行的变分MI边界的数学从镜头的非规范化的统计建模和凸优化。我们的调查不仅产生了一个新的统一的理论框架,包括流行的变分MI界限,但也导致了一种新的,简单的,强大的对比MI估计命名为FLO。理论上,我们证明了FLO估计是紧的,并且在随机梯度下降下可证明收敛。从经验上讲,我们的FLO估计器克服了前人的局限性,学习效率更高。FLO的效用是使用一组广泛的基准测试,这也揭示了在实际MI估计的权衡验证。
2022-10-24 cs.AI cs.IT cs.LG
Mutual Information and Optimality of Approximate Message-Passing in Random Linear Estimation
我们认为,从噪声的线性随机高斯投影的知识的信号的估计。与此问题相关的几个例子是压缩感知、稀疏叠加码和码分多址。已经有一些工程考虑这个问题的互信息使用的副本方法从统计物理。在这里,我们把这些考虑放在一个坚定的严格的基础上。首先,我们表明,使用Guerra-Toninelli型插值,副本公式产生一个上界的确切互信息。其次,对于许多相关的实际情况下,我们提出了一个逆下界的方法,使用空间耦合,状态演化分析和I-MMSE定理。这产生了一个单字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。此外,我们证明了低复杂度的近似消息传递算法是最佳的所谓的硬相外,在这个意义上,它渐近达到最小均方误差。在这项工作中,空间耦合主要用作证明技术。然而,我们的结果也证明了空间耦合噪声线性随机高斯估计的两个重要特征。首先,没有算法上的困难阶段。这意味着对于这样的系统,近似消息传递总是达到最小均方误差。其次,在适当的限制下,这类系统的互信息与非耦合线性随机高斯估计的互信息相同。
2020-08-28 cond-mat.dis-nn cs.IT math-ph
Bottleneck Problems: Information and Estimation-Theoretic View
Harvard University(哈佛大学)
信息瓶颈(IB)和隐私漏斗(PF)是两个密切相关的优化问题,它们已经在机器学习、隐私算法的设计、容量问题(例如,格伯夫人引理),强数据处理不等式,等等。在这项工作中,我们首先调查IB和PF的功能特性,通过一个统一的理论框架。然后,我们将它们连接到三个信息理论的编码问题,即假设检验对独立性,噪声信源编码和依赖稀释。利用这些连接,我们证明了一个新的基数界的辅助变量在IB,使其计算更易于处理的离散随机变量。在第二部分中,我们介绍了一个一般的家庭的优化问题,称为\textit{bottleneck problems},取代互信息在IB和PF与其他概念的互信息,即$f$ -信息和Arimoto的互信息。然后,我们认为,不像IB和PF,这些问题导致容易解释的保证在各种推理任务的准确性和隐私的统计约束。虽然基本的优化问题是非凸的,我们开发了一种技术来评估瓶颈问题的封闭形式,等价地表示它们在某些功能的下凸或上凹包络。通过将这种技术应用到二元情况下,我们得到了几个瓶颈问题的封闭形式的表达式。
2020-11-12 cs.IT cs.LG math.IT
On the Subadditivity of Mutual f-Information
Dept. of Information Engineering, CUHK(香港中文大学信息工程系)
该研究解决互f-信息次可加性的开放问题,推导互f-信息次可加的充分条件,扩展变分(G,f)-信息的充分条件,得到次可加信息度量的显式类。
2026-10-16 cs.IT math.IT
Ensemble Estimation of Generalized Mutual Information with Applications to Genomics
互信息是随机变量之间相关性的度量,已成功地用于许多领域的无数应用中。超越经典Shannon互信息的广义互信息互信息度量在这些应用中也受到了很大的关注。在两种情况下,我们得到了两个多维随机变量$\mathbf{X}$和$\mathbf{Y}$之间一般互信息测度的基于核密度的插入式估计的均方误差收敛速度:1)$\mathbf{X}$和$\mathbf{Y}$是连续的; 2)$\mathbf{X}$和$\mathbf{Y}$可以有离散和连续分量的任意混合.使用导出的速率,我们提出了一个合奏估计这些信息的措施,称为GENIE通过采取加权和的插件估计与不同的带宽。当连续变量的条件密度足够光滑时,所得到的系综估计达到了$1/N$参数均方误差收敛速度。据我们所知,这是第一个非参数互信息估计已知的混合情况下,经常出现在应用程序(例如变量选择分类),以实现参数收敛速度。该估计器易于实现,它使用离线凸优化问题的解决方案和简单的插件估计器。一个中心极限定理也来自系综估计和极小极大率来自连续的情况下。我们证明了集成估计的混合情况下的模拟数据,并应用所提出的估计分析单细胞数据中的基因关系。
2021-07-29 cs.IT math.IT math.ST
Optimal measures and Markov transition kernels
研究测度的抽象最优化问题的最优解,这是信息论和统计物理中经典变分问题的推广.在经典问题中,信息和相对熵是使用Kullback-Leibler分歧定义的,因此最佳度量属于单参数指数族。这样一个族中的测度具有相互绝对连续的性质。在这里,我们表明,这一性质的特点是其他家庭的最佳积极措施,如果一个功能表示的信息有一个严格凸的对偶。最优概率测度的相互绝对连续性使我们能够严格区分确定性和非确定性马尔可夫转移核,它们在决策、估计、控制、通信和计算理论中起着重要作用。我们表明,确定性的过渡是严格的次优,除非信息资源与严格凸的对偶是无约束的。为了说明,我们构造了一个例子,与非确定性不同,任何确定性内核都具有负无限的预期效用(无限的预期误差)或传递无限的信息。
2012-09-05 cs.CC cs.IT math-ph