Generalized I-MMSE for K-User Gaussian Channels
本文将Guo,Shamai和Verdu [1]提出的互信息与最小均方误差(MMSE)之间的基本关系推广到K用户高斯信道。证明了多用户互信息对信噪比(SNR)的导数等于总MMSE加上一个关于多用户输入估计、信道和预编码矩阵的互相关的协方差项。我们揭示,这种关系是一个广义的I-MMSE与一个步骤的前瞻和回顾,适用于连续干扰消除(SIC)的解码过程。
2017-04-19 cs.IT math.IT
A Simple Proof of the Entropy-Power Inequality via Properties of Mutual Information
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来,但香农熵幂不等式(EPI)似乎是一个例外:EPI的可用信息论证明取决于使用Fisher信息(FI)或最小均方误差(MMSE)的微分熵的积分表示。在本文中,我们首先提出了一个统一的观点,证明通过FI和MMSE,表明它们本质上是相同的证明的双重版本,然后填补空白,提供一个新的,简单的证明EPI,这是完全基于互信息的属性和回避FI或MMSE表示。
2007-04-13 cs.IT math.IT
Coherent Fading Channels Driven by Arbitrary Inputs: Asymptotic Characterization of the Constrained Capacity and Related Information- and Estimation-Theoretic Quantities
我们考虑的渐近行为的平均最小均方误差(MMSE)和平均互信息在标量和矢量衰落相干信道的特征,其中接收机知道确切的衰落信道状态,但发射机只知道衰落信道分布,由一系列的输入。我们构建低的平均MMSE和平均互信息相干信道瑞利衰落,莱斯衰落或Nakagami衰落和离散输入(有限支持)或各种连续输入驱动的低的平均MMSE和高的渐近展开的贡献的新颖性的心脏。我们揭示了所谓的典型MMSE在标准加性高斯白噪声(AWGN)信道中的作用,在衰落相干信道中的平均MMSE和平均互信息的渐近行为的表征。我们还揭示了MMSE维度的连接和概括。能够构建这些非平凡展开式的最相关元素是实现估计和信息理论量的积分表示可以被视为具有单调变元的核的h变换:这使得能够使用一种新的积分渐近展开技术-梅林变换方法-不仅立即导致高,但是也可以是平均MMSE的低信噪比扩展,以及--通过I-MMSE关系--平均互信息的扩展。我们的结论与应用程序的结果的表征和优化的约束能力的银行的并行独立相干衰落信道驱动的任意离散输入。
2012-10-16 cs.IT math.IT
I-MMSE relations in random linear estimation and a sub-extensive interpolation method
考虑具有高斯测量矩阵和噪声的随机线性估计。可以在信噪比或测量速率的无穷小变化下计算互信息的无穷小变化。我们讨论了每个变化是如何与最小均方误差相关的,并推导出这两个变化是通过一个非常简单的恒等式直接连接的。其主要技术成分是一种新的插值方法--“次延拓插值法”。我们用它来提供一个新的证明I-MMSE关系最近发现的Reeves和Pfister [1]时,测量率是变化的。我们的证明清楚地表明,这种关系与最近在[2]中证明的另一个I-MMSE关系密切相关。可以直接验证,与互信息的两种类型的变化相关的恒等式确实与用于互信息的单字母副本对称公式一致,该公式首先由Tanaka [3]针对二进制信号导出,并且最近在[1,2,4,5]中更普遍地证明(通过独立的方法)。然而,我们的证明是独立的任何知识田中的公式。
2017-04-13 cond-mat.dis-nn cs.IT math.IT
The Geometry of Community Detection via the MMSE Matrix
社区发现的信息论极限已经被广泛研究了具有高水平对称性或同质性的网络模型。本文的贡献是研究更广泛的一类网络模型,允许不同社区的大小和行为的变化,从而更好地反映在现实世界的网络中观察到的行为。我们的研究结果表明,检测社区的能力,可以简洁地描述在矩阵的有效信噪比,提供了一个几何表示的不同社区之间的关系。此特征如下从矩阵版本的I-MMSE关系,并概括了在以前的工作中引入的有效标量信噪比的概念。我们提供了明确的公式渐近每节点互信息和上界的最小均方误差。理论结果得到了数值模拟的支持。
2019-07-04 cs.IT math.IT math.ST
$α$-Mutual Information for the Gaussian Noise Channel
University of Minnesota(明尼苏达大学);Qualcomm Flarion Technology, Inc.(高通Flarion技术有限公司)
本文研究了Sibson的$α$-互信息在加性高斯噪声信道中的应用,探讨了其在高斯噪声环境下的结构性质,并提出了$α$-I-MMSE关系及广义de Bruijn恒等式。
2026-08-20 cs.IT math.IT math.ST
A Generalized Expression for the Gradient of Mutual Information with the Application in Multiple Access Channels
采用泛函方法,推导了随机系统中互信息(MI)关于系统参数的梯度的一般表达式。该表达式涵盖了系统输入取决于系统参数的情况。作为一个应用,我们认为K-用户多址接入信道(MAC)的反馈,并利用所获得的结果来探索这些系统的行为方面的MI。将结果专门用于加性高斯噪声MAC,我们扩展了MI和最小均方误差(MMSE)关系,即,I-MMSE到具有反馈的K用户高斯MAC。在这个推导中,我们表明,MI的梯度可以分解成三个不同的部分,其中第一部分是MMSE项源自噪声,第二和第三部分分别反映了干扰和反馈的影响。然后,考虑到容量实现的傅立叶调制估计校正(F-MEC)策略的Kramer,我们展示了如何反馈补偿用户的干扰的破坏性影响的K用户对称高斯MAC。
2019-12-07 cs.IT math.IT
A Further Note on an Innovations Approach to Viterbi Decoding of Convolutional Codes
本文从互信息和均方误差的角度证明了SST Viterbi译码器中主译码器的软判决输入也被看作是新息。假设使用BPSK调制在AWGN信道上逐个符号地发送码序列。然后我们可以考虑信号模型,其中信号由信噪比(SNR)和等概率二进制输入组成。通过假设软决策输入到主解码器的创新,我们表明,在估计二进制输入的最小均方误差(MMSE)表示在主解码器的编码块的分布。结果表明,在高斯信道中,所得到的MMSE间接地满足已知的互信息与MMSE之间的关系。因此,推导出的MMSE是合理的,这反过来又意味着软判决输入到主解码器可以被视为创新。此外,我们看到输入-输出互信息与主解码器的编码块的分布有关。
2021-02-15 cs.IT math.IT
On the precoder design of flat fading MIMO systems equipped with MMSE receivers: a large system approach
研究了在双相关平坦衰落MIMO系统中,基于MMSE接收机的预编码器的设计,该预编码器能最大化系统的各态历经互信息(EMI)。假设信道的信道状态信息和二阶统计量分别在接收机侧和发射机侧可用。由于EMI的直接最大化需要使用非吸引力算法,因此建议优化最近引入的EMI的近似,当发射和接收天线的数量$t$和$r$以相同的速率收敛到$\infty$时获得该近似。建立了实际EMI与其近似值之间的相对误差为$O(\frac{1}{t^{2}})$项。证明了最优预编码器的左奇异特征向量与发射协方差矩阵的特征向量一致,其奇异值是某个最大化问题的解。数值实验表明,该预编码器提供的互信息接近于通过最大化真实EMI而获得的互信息,但是最大化近似的算法的计算量要小得多。
2009-11-02 cs.IT math.IT
Multiple Access Gaussian Channels with Arbitrary Inputs: Optimal Precoding and Power Allocation
在本文中,我们推导出新的封闭形式的梯度的互信息相对于任意参数的两用户多址接入信道(MAC)的表达式。推导出的关系式将互信息的导数和最小均方误差(MMSE)之间的基本关系推广到多用户系统。我们证明了互信息相对于信噪比(SNR)的导数等于MMSE加上由于干扰引起的协方差,量化的一个术语相对于多用户输入估计,信道和预编码矩阵的互相关。我们还推导出新的关系的梯度的条件和非条件互信息的MMSE。利用新的基本关系,我们研究的线性预编码和功率分配政策,最大化的互信息的两个用户MAC高斯信道的任意输入分布。我们表明,线性预编码器的最佳设计可以满足一个固定点方程作为一个函数的信道和特定的设置下的输入星座。我们还表明,在多用户设置中的非相互干扰引入一个术语的梯度的互信息的最佳传输策略,特别是最佳的预编码和功率分配的设计中起着根本性的作用,并解释了损失的数据率。因此,我们提供了一个新的解释的干扰相对于信道,功率和输入估计的主用户和用户。
2014-11-06 cs.IT math.IT
Statistical and computational phase transitions in spiked tensor estimation
我们认为张量因子分解使用生成模型和贝叶斯方法。我们严格计算的互信息,最小均方误差(MMSE),并揭示信息论相变。此外,我们研究了近似消息传递(AMP)的性能,并表明它在很大一组参数下实现了MMSE,并且因子分解在比之前认为的更广泛的区域内在算法上“容易”。然而,它存在一个“硬”区域,AMP无法达到MMSE,我们推测,没有多项式算法将提高AMP。
2017-12-16 cond-mat.dis-nn cs.IT math.IT
Certain Relations between Mutual Information and Fidelity of Statistical Estimation
我提出了几个新的互信息(MI)和统计估计误差的系统,可以被视为同时作为一个通信信道和输入参数的估计之间的关系。我首先推导出MI和费舍尔信息(FI)之间的二阶结果,该结果对于足够窄的先验信息是有效的,但任意通道。第二个关系式根据来自信道输出的输入参数的贝叶斯估计的最小均方误差(MMSE)来描述MI的下限,这对于任意信道和先验都是有效的。这样一个下界的存在,而扩展以前的工作有关MI FI是有效的,只有在渐近和高信噪比的限制,进一步阐明了信息和估计理论的保真度措施之间的基本联系。其余的关系,我目前的不平等和MI,FI之间的对应关系,和MMSE在滋扰参数的存在。
2010-10-07 cs.IT math.IT stat.AP
On MMSE Properties and I-MMSE Implications in Parallel MIMO Gaussian Channels
标量加性高斯噪声信道具有在给定信道输出的输入估计中的最小均方误差(MMSE)(假设对信道的高斯输入)与假设任意输入的MMSE之间的“单交叉点”属性。本文分三个阶段将结果推广到并行MIMO加性高斯信道:i)信道矩阵是单位矩阵,我们将高斯输入限制为高斯i.i.d.向量;元素“单交叉点”属性是相对于标量的(如标量的情况)。ii)信道矩阵是任意的,高斯输入限于独立的高斯输入。对于MMSE矩阵的每个对角元素,导出“单交叉点”属性。iii)允许高斯输入是任意高斯随机向量。一个“单一的交叉点”的属性推导出每个MMSE矩阵的特征值。这三个扩展,然后被翻译成新的信息论性质的互信息,使用估计理论和信息论之间的基本关系。最后一个阶段的结果也被转化为Fisher信息的一个新的属性。最后,所有三个扩展的信息论问题的适用性证明:香农的向量EPI的一个特殊情况下,证明的容量区域的并行退化MIMO广播信道(BC)下每天线功率约束和协方差约束下的逆证明,和协方差约束下的复合并行退化MIMO BC的容量区域的逆证明。
2012-03-26 cs.IT math.IT
MmWave Amplify-and-Forward MIMO Relay Networks with Hybrid Precoding/Combining Design
在本文中,我们考虑放大转发中继网络的毫米波系统,并提出了一种混合预编码器/组合器的设计方法。首先设计仅相位RF预编码/组合矩阵以支持多流传输,其中我们补偿信道的本征模的相位。然后,执行基带预编码器/组合器以实现最大的互信息。基于互信息的数据处理不等式,我们首先联合设计基带源和中继节点,使互信息在目的基带接收机之前最大化。提出的低复杂度的迭代算法的源和中继节点之间的等价性的基础上的互信息最大化和加权MMSE。在得到源节点和中继节点的最优预编码器和合并器后,在基带接收端实现MMSE-SIC滤波器,以保持互信息不变,从而得到整个中继系统的最优互信息。仿真结果表明,与文献中的其他算法相比,该算法以较低的复杂度获得了更好的性能。此外,我们也提出了一个稳健的联合收发器的设计不完美的信道状态信息。
2019-10-30 cs.IT eess.SP math.IT
Information, Estimation, and Lookahead in the Gaussian channel
本文研究了被加性高斯白噪声污染的连续时间信号的先行均方估计问题。我们表明,互信息率函数,即,作为信噪比(SNR)的函数的互信息率通常不确定具有固定有限前视的最小均方误差(MMSE),这与先前在文献中建立的分别具有0和无限前视(滤波和平滑误差)的特殊情况相反。我们还建立了一个新的期望身份下的广义观测模型,高斯信道有一个SNR跳跃在$t=0$,捕捉前瞻和SNR之间的权衡。进一步研究了一类连续时间平稳高斯-马尔可夫过程(Ornstein-Uhlenbeck过程)作为信道输入,并在有限前视和信噪比(SNR)条件下,明确刻画了最小均方误差(MMSE)的行为.具有前瞻性的MMSE示出以指数方式快速收敛到非因果误差,其中指数是非因果误差的倒数。我们扩展我们的结果的混合物的Ornstein-Uhlenbeck过程,并使用所获得的洞察力,目前的MMSE的下限和上限与前瞻一类平稳高斯输入过程,其频谱可以表示为混合物的Ornstein-Uhlenbeck频谱。
2013-02-08 cs.IT math.IT
High-SNR Asymptotics of Mutual Information for Discrete Constellations with Applications to BICM
在信噪比趋于无穷大的极限下,给出了标量加性高斯白噪声信道中任意离散输入与相应输出之间的互信息的渐近表达式.给出了在给定信道输出的情况下,通过估计信道输入所获得的符号错误概率(SEP)和最小均方误差(MMSE)的渐近表达式。结果表明,对于任何输入分布,给定输出的信道输入的条件熵,MMSE和SEP具有与高斯Q函数成比例的渐近行为。该Q函数的幅角仅取决于星座图的最小欧氏距离(MED)和信噪比,比例常数是MED和MED处星座点对概率的函数.将推导的表达式推广到比特交织编码调制(BICM)中,研究了广义互信息(GMI)的高信噪比特性.通过这些渐近表达式,证明了长期以来的猜想,格雷码是二进制标记,最大化的BICM-GMI在高信噪比。它进一步表明,对于任何等距星座的大小是2的幂,总是存在一个反格雷码给出最低的BICM-GMI在高信噪比。
2013-09-10 cs.IT math.IT
Mutual Information in Community Detection with Covariate Information and Correlated Networks
研究了当节点标签存在协变量信息且观测到多个相关网络时的社区发现问题。我们提供了一个渐近上界的每个节点的互信息,以及一个启发式分析的多元性能指标称为MMSE矩阵。这些结果表明,表面上非常不同类型的信息的组合效应可以明确地在公式中的特点,涉及低维估计问题的加性高斯噪声。我们的分析得到了数值模拟的支持。
2019-12-11 cs.IT cs.LG math.IT
Optimum estimation via gradients of partition functions and information measures: a statistical-mechanical perspective
为了继续最近关于高斯噪声中最小均方误差(MMSE)估计的统计-机械分析的工作,通过其与互信息的关系(I-MMSE关系),在这里,我们提出了最佳估计与某些信息度量(例如,信息密度和Fisher信息),其可以被看作是配分函数,因此可以使用统计力学技术进行分析。所提出的方法具有几个优点,最值得注意的是,其适用于一般源和信道,而不是I-MMSE关系及其仅适用于某些类别的信道(例如,加性高斯白噪声信道)。然后,我们证明了推导的条件均值估计和MMSE在几个例子。其中两个例子被证明可以推广到相当广泛的一类来源和渠道。对于这个类,所提出的方法产生一个近似的条件均值估计和MMSE公式,具有味道的一个字母的表达。我们还展示了我们的方法可以很容易地推广到不匹配的估计的情况。
2009-11-17 cs.IT math.IT
Statistical Physics of Signal Estimation in Gaussian Noise: Theory and Examples of Phase Transitions
我们考虑的问题,信号估计(去噪)从统计机械的角度来看,使用之间的关系的最小均方误差(MMSE),估计信号,和这个信号和它的噪声版本之间的互信息。本文件主要由两部分组成。在第一,我们得到几个重要的量在这个问题领域,如MMSE,微分熵,Fisher信息,自由能,和温度的广义概念之间的物理力学关系。我们还画出了与估计问题有关的某些关系与热力学和统计物理学中的平行关系之间的类比和差异。在本文的第二部分中,我们提供了几个应用实例,在那里我们演示了如何在统计物理学中习惯的某些分析工具,证明有用的MMSE的分析。在大多数这些例子中,相应的物理-力学系统由导致相变的强相互作用组成,这反过来又反映为MMSE行为中的不规则性和不连续性(类似于阈值效应)。
2008-12-29 cs.IT math.IT
Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来,但到目前为止,香农熵幂不等式(EPI)是一个例外:EPI的现有信息论证明取决于使用Fisher信息或最小均方误差(MMSE)的微分熵表示,这些信息论证明来自de Bruijn恒等式。在本文中,我们首先提出了一个统一的观点,这些证明,表明他们共享两个基本成分:1)数据处理参数应用于保协方差线性变换; 2)连续高斯扰动的路径上的积分。使用这些成分,我们开发了一个新的和简短的证明EPI通过一个互信息不等式,它取代了Stam和Blachman的Fisher信息不等式(PII)和不等式MMSE郭,Shamai和Verdú在早期的证明。该结果的优点是非常简单,因为它只依赖于互信息的基本属性。这些想法,然后推广到各种扩展版本的EPI:Zamir和Feder的广义EPI的线性变换的随机变量,高野和约翰逊的EPI的因变量,刘和Viswanath的协方差约束EPI,和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
An Information-Theoretic Analysis of Discrete-Time Control and Filtering Limitations by the I-MMSE Relationships
本文将 I-MMSE 关系扩展至带或不带反馈的离散时间 AWGN 信道,提出用于分析控制与滤波系统总信息率权衡及最优估计的新信息论框架。
2025-03-17 cs.IT cs.SY eess.SY
Replica Analysis for Generalized Linear Regression with IID Row Prior
不同于典型的独立同分布(IID)元素假设,本文研究了由线性混合空间和行映射通道构成的广义线性模型的IID行随机矩阵的估计.客观推理问题出现在许多工程领域,如无线通信,压缩传感,相位恢复。应用统计力学中的副本方法,分析了贝叶斯最优条件下的精确最小均方误差(MMSE)估计,得到了精确MMSE估计的副本对称解.同时,建立了目标模型与等效单矢量系统之间的输入输出互信息关系。为了估计信号,我们还提出了一个计算效率高的消息传递算法的期望传播(EP)的角度来看,并分析其动态。我们验证了所提出的算法的状态演化(SE)预测的渐近MSE完全匹配的精确MMSE估计预测的副本方法。这表明,如果存在唯一的不动点,则该算法可以获得最优的MSE误差。
2021-09-25 cs.IT math.IT
Information theoretic limits of learning a sparse rule
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);International Center for Theoretical Physics(国际理论物理中心)
我们考虑广义线性模型的制度,其中的非零分量的信号和可访问的数据点的数量是次线性的信号的大小。我们证明了一个变分公式的渐近互信息每个样本时,系统的大小增长到无穷大。这一结果使我们能够推导出一个表达式的最小均方误差(MMSE)的贝叶斯估计时,信号条目有一个离散的分布与有限的支持。我们发现,对于此类信号以及稀疏性和采样率的适当消失缩放,MMSE是非递增的分段常数。在特定情况下,MMSE甚至显示全或无相变,即,MMSE在临界采样率从其最大值急剧跳到零。全或无现象以前已经被证明发生在高维线性回归中。我们的分析超越了线性的情况下,并适用于学习一般激活函数的感知器的教师和学生的情况下的权重。特别是,我们讨论了一个全有或全无的现象的泛化误差与一组次线性的训练样本。
2020-10-27 cs.IT cs.LG math.IT
Efficient Optimization Techniques for RIS-aided Wireless Systems
本文的目的是开发简单的技术,以提高多用户RIS辅助无线系统的性能。具体来说,我们开发了一种新的技术称为\textit{channel separation},它提供了一个更好的理解如何RIS相位影响上行链路和速率和ZF和MMSE线性接收机的和速率。利用信道分离,我们提出了一个简单的迭代算法,以提高上行链路和速率和ZF和MMSE线性接收机的和速率时,离散RIS相位考虑。对于连续的RIS相位,我们推导出简单的封闭形式的解决方案,以提高上行链路的和速率,并减少MMSE组合器的总均方误差。后一个度量是一个易于处理的替代最大化ZF和MMSE的总和速率。数值模拟进行所有的优化技术和每种技术的有效性进行比较,一个完整的数值优化过程,即内点(IP)算法。
2022-09-12 cs.IT math.IT
The Mutual Information in Random Linear Estimation
我们认为,从噪声的线性随机高斯投影的知识,在压缩感知,稀疏叠加码或码分多址相关的问题,只是举几个信号的估计。已经有一些工程考虑这个问题的互信息使用启发式副本方法从统计物理。在这里,我们把这些考虑放在一个坚定的严格的基础上。首先,我们表明,使用Guerra型插值,副本公式产生一个上界的确切互信息。其次,对于许多相关的实际情况下,我们提出了一个逆下界的方法,使用空间耦合,状态演化分析和I-MMSE定理。这产生,特别是,一个单一的字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。
2016-09-06 cs.IT math-ph math.IT
Differential Properties of Information in Jump-diffusion Channels
本文提出基于跳变-扩散过程的信道建模,利用 Kramers-Moyal 等方程以级数和积分形式表示互信息,并扩展 de Bruijn 恒等式与 I-MMSE 关系以涵盖一般 Markov 过程。
2025-04-27 cs.IT math.IT
Asymptotic Performance of Linear Receivers in MIMO Fading Channels
线性接收机是一种有吸引力的低复杂度的替代多天线MIMO通信的最佳处理。在本文中,我们描述了两种不同的渐近制度的MIMO线性接收机的信息理论性能。对于固定数目的天线,我们调查的限制,在高信噪比制度的分集复用权衡(DMT)的错误概率。在此之后,我们的特点是固定的SNR在政权的大(但有限)数量的天线的错误概率。就DMT而言,我们报告一个负面的结果:我们表明,线性迫零(ZF)和线性最小均方误差(MMSE)接收器实现相同的DMT,这在很大程度上是次优的,即使在外编码和解码的情况下,跨天线进行。我们还提供了一个近似的定量分析的显着不同的行为的MMSE和ZF接收机在有限的速率和非渐近SNR,并表明,虽然ZF接收机实现差的多样性在任何有限的速率,MMSE接收机的误差曲线的斜率逐渐下降,随着编码速率的增加。当信噪比是固定的,天线的数量变得很大,我们表明,互信息在输出的MMSE或ZF线性接收机具有波动,收敛于高斯分布的随机变量,其均值和方差可以在封闭的形式。这种分析扩展到线性接收机的情况下,一个众所周知的结果,以前获得的最佳接收机。仿真结果表明,渐近分析准确地捕捉中断行为的系统,即使有一个中等数量的天线。
2009-02-19 cs.IT math.IT
On Compressive Sensing in Coding Problems: A Rigorous Approach
我们采取一个经典的稀疏采样噪声线性模型的信息论的角度来看,并提出了一个解析表达式的互信息,在各种通信/处理问题中起着核心作用。这样的表达式以前解决的边界,模拟和(非严格)的副本方法。互信息的表达基于[1]中使用的技术,解决了最小均方误差(MMSE)分析。使用这些表达式,我们专门研究了各种稀疏的线性通信模型,其中包括在不同的设置编码,也占多个接入信道和不同的窃听问题。对于这些,我们提供了单字母的表达式,并获得可实现的速率,捕捉这些及时的模型的通信/处理功能。
2014-03-24 cs.IT math.IT
Information Rates for Channels with Fading, Side Information and Adaptive Codewords
本文利用广义互信息(GMI)计算衰落信道的可达速率,对比了基于MMSE估计的正反向辅助信道模型,并分析了自适应码字、输出字母表划分及功率控制策略对容量和速率的影响。
2023-05-20 cs.IT math.IT
Matrix Inference in Growing Rank Regimes
本文研究加性高斯噪声下对称信号矩阵的推断问题,推导亚线性秩与线性秩两类增长秩情形下的互信息和MMSE,提出两种达MMSE下界的高效算法,揭示其与自由概率的联系,明确高低秩行为转变发生在线性尺度α=1处。
2024-07-15 cs.IT math.IT
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
University of Cambridge(剑桥大学)
本文为次线性稀疏度机制下的稀疏线性回归建立了精确的归一化互信息和MMSE渐近表达式,通过推广自适应插值方法并提出改进的AMP算法以严格分析了其状态演化,证明了传统线性假设对稀疏信号并非必要。
2023-04-08 cs.IT cs.LG math.IT
Fisher Information and Support Complexity of Gaussian Mixtures
Politecnico di Milano(米兰理工大学);Qualcomm Flarion Technology, Inc.(高通弗拉里昂科技有限公司)
该研究推导了高斯混合模型费希尔信息的多个下界,将其应用于有界高斯均值估计的最不利先验分析,并通过相关恒等式将费希尔信息不等式转化为MMSE和互信息的上界。
2026-10-16 cs.IT math.IT
Diversity of Linear Transceivers in MIMO AF Half-duplex Relaying Channels
在MIMO放大转发(AF)中继系统中,中继站和目的站之间的线性切换方案由于实现复杂度低而引起了人们的广泛兴趣。本文对线性迫零(ZF)和最小均方误差(MMSE)收发器的分集阶数进行了全面的分析。首先,我们得到了一个紧凑的封闭形式的表达分集复用折衷(DMT)通过严格的上限和下限。虽然我们的DMT分析准确地预测了ZF收发器的性能,但观察到MMSE收发器表现出复杂的速率相关行为,因此对于有限速率情况,通过DMT是非常不可预测的。其次,我们强调MMSE收发器的这种有趣的行为,并在所有有限速率的分集阶数的特征。这导致了一个封闭形式的表达的分集率权衡(DRT),揭示了分集,速率和天线的数量在每个节点之间的关系。我们的DRT分析补充我们以前的工作DMT,从而提供了一个完整的理解MIMO AF中继信道的线性交织方案的分集阶数。
2014-03-09 cs.IT math.IT
On the Distribution of SINR for Widely Linear MMSE MIMO Systems with Rectilinear or Quasi-Rectilinear Signals
虽然宽线性最小均方误差(WLMMSE)接收机已经成为多输入多输出(MIMO)无线系统的一个有吸引力的选择,但是仍然缺乏对其姿态检测信号与干扰加噪声比(SINR)的详细统计理解。为此,我们考虑在不相关的Rayleigh衰落信道上具有直线或准直线(QR)信号的WLMMSE MIMO传输系统,并研究具有$N_t$发射天线和$N_r$接收天线的任意天线配置的SINR的统计特性。我们首先推导出一个解析的概率密度函数(PDF)的信干噪比的第二类合流超几何函数,对于WLMMSE MIMO系统与任意的$N_r$和$N_t=2, 3$。对于实践中更一般的情况,即,$N_t>3$,我们求助于矩母函数,以获得近似的,但封闭的形式PDF在一些温和的条件下,这,正如预期的那样,更像高斯$2N_r-N_t$增加。因此,推导的PDF能够提供关键的见解WLMMSE MIMO接收机的中断概率,符号错误率,和分集增益,都在封闭的形式。特别地,它的分集增益和增益改善传统的LMMSE一个明确量化为$N_r-(N_t-1)/2$和$(N_t-1)/2$,分别。最后,蒙特卡洛模拟支持的分析。
2021-11-30 cs.IT math.IT
Mutual Information and Optimality of Approximate Message-Passing in Random Linear Estimation
我们认为,从噪声的线性随机高斯投影的知识的信号的估计。与此问题相关的几个例子是压缩感知、稀疏叠加码和码分多址。已经有一些工程考虑这个问题的互信息使用的副本方法从统计物理。在这里,我们把这些考虑放在一个坚定的严格的基础上。首先,我们表明,使用Guerra-Toninelli型插值,副本公式产生一个上界的确切互信息。其次,对于许多相关的实际情况下,我们提出了一个逆下界的方法,使用空间耦合,状态演化分析和I-MMSE定理。这产生了一个单字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。此外,我们证明了低复杂度的近似消息传递算法是最佳的所谓的硬相外,在这个意义上,它渐近达到最小均方误差。在这项工作中,空间耦合主要用作证明技术。然而,我们的结果也证明了空间耦合噪声线性随机高斯估计的两个重要特征。首先,没有算法上的困难阶段。这意味着对于这样的系统,近似消息传递总是达到最小均方误差。其次,在适当的限制下,这类系统的互信息与非耦合线性随机高斯估计的互信息相同。
2020-08-28 cond-mat.dis-nn cs.IT math-ph
Understanding the Limitations of Variational Mutual Information Estimators
Stanford University(斯坦福大学)
基于神经网络的变分方法在估计高维变量之间的互信息(MI)方面显示出了良好的前景。然而,由于对偏差/方差权衡的理解不足,它们在实践中可能难以使用。我们从理论上表明,在某些条件下,估计,如MINE表现出的方差,可以指数增长的真实金额的基础MI。我们还实证表明,现有的估计无法满足MI的基本自洽性质,如数据处理和独立下的可加性。基于变分方法的统一观点,我们开发了一个新的估计,侧重于方差减少。标准基准测试任务的实证结果表明,我们提出的估计具有改进的偏差方差权衡标准基准测试任务。
2020-03-24 cs.IT cs.LG math.IT
Understanding the limitation of Total Correlation Estimation Based on Mutual Information Bounds
该研究指出基于互信息界的总相关(TC)估计因重要性采样存在偏差放大问题,提出基于监督学习的校正模型,有效提升了TC估计精度并消除估计方差。
2023-04-26 cs.IT math.IT stat.ME
Understanding Probe Behaviors through Variational Bounds of Mutual Information
Carnegie Mellon University(卡内基梅隆大学)
该研究构建基于信息论的数学框架,将线性探针与互信息变分界关联以等价线性探针和微调,解释逐层性能凸性现象,提出表示优劣衡量标准,并在自监督语音模型上验证结论。
2023-12-15 cs.IT cs.LG eess.AS
Optimal Feedback Communication with Information Maximization and Distortion Minimization
研究通过带反馈信道传输实值源的最优方案,提出信息最大化与失真最小化的联合优化条件,并证明后验匹配方案在对称离散信道中同时实现两者最优。
2026-06-08 cs.IT cs.SY eess.SY
Analytic Mutual Information in Bayesian Neural Networks
Samsung SDS Research America(三星SDS美国研究院)
贝叶斯神经网络在包括不确定性量化在内的许多应用问题中成功地设计和优化了一个鲁棒的神经网络模型。然而,随着贝叶斯神经网络最近的成功,对贝叶斯神经网络的信息理论理解仍处于早期阶段。互信息是贝叶斯神经网络中量化认知不确定性的不确定性度量的示例。尽管如此,还没有一个已知的分析公式来描述它,这是理解贝叶斯深度学习框架的基本信息度量之一。本文利用点过程熵的概念,推导了模型参数与预测输出之间的互信息的解析表达式。作为应用,我们讨论了Dirichlet分布的参数估计,并通过证明我们的解析公式可以在实践中进一步提高主动学习的性能,展示了它在主动学习不确定性度量中的实际应用。
2022-06-18 cs.IT cs.LG math.IT
Replica Analysis of the Linear Model with Markov or Hidden Markov Signal Priors
University of Cambridge(剑桥大学)
本文采用统计物理中的复本方法,估计了信源为马尔可夫链或隐马尔可夫模型的线性模型的自由能、平均互信息与MMSE,证明其可解耦为带状态信息的单输入AWGN信道,且数值结果与现有算法结果高度吻合。
2023-07-25 cs.IT cs.LG math.IT
Mutual Information Scaling and Expressive Power of Sequence Models
Massachusetts Institute of Technology(麻省理工学院)
序列模型将概率分配给可变长度序列,例如自然语言文本。序列模型捕捉时间相关性的能力可以通过相关性和互信息的时间尺度来表征。在本文中,我们研究了循环神经网络(RNN)的互信息,包括长短期记忆和自我注意网络,如Transformers。通过对线性RNN的理论研究和对非线性RNN的实证研究相结合,我们发现它们的互信息随时间距离呈指数衰减。另一方面,Transformers可以更有效地捕获长距离互信息,使得它们在建模具有慢幂律互信息的序列(例如自然语言和股票价格)时是优选的。我们讨论这些结果与统计力学的联系。我们还指出了许多自然语言数据集的非均匀性问题。我们希望这项工作提供了一个新的视角来理解序列模型的表达能力,并为改进它们的体系结构提供新的思路。
2019-05-10 cond-mat.dis-nn cs.IT cs.LG
Reviewing Evolution of Learning Functions and Semantic Information Measures for Understanding Deep Learning
本文回顾语义信息测度与学习函数的演化,介绍语义信息G理论及率保真函数R(G),探讨其在深度学习中的应用,并指出结合语义信息理论可加速深度学习发展。
2023-05-23 cs.IT cs.LG math.IT
Understanding the Behaviour of the Empirical Cross-Entropy Beyond the Training Distribution
Mila(米拉)
机器学习理论主要集中在对来自与训练数据相同分布的样本的泛化。而更好地理解训练分布之外的泛化,其中观察到的分布变化对于实现更强大的泛化形式也非常重要。在本文中,我们试图通过信息度量的镜头来研究当样本的真实概率规律在训练和测试时可能不同时,特定架构的行为。我们的主要结果是,经验交叉熵和它的统计期望(相对于测试概率法测量)之间的测试差距可以有界的输入测试样本和相应的表示,在训练时获得的编码器之间的互信息的概率很高。这些理论性质的结果得到了数值模拟的支持,表明上述互信息代表了测试间隙,定性地捕捉了网络超参数的动态。
2019-05-28 cs.IT cs.LG math.IT
Higher-order mutual information reveals synergistic sub-networks for multi-neuron importance
Ghent University(根特大学);University of Bari(巴里大学)
量化哪些神经元对于训练好的神经网络的分类决策是重要的,这对于理解它们的内部工作是必不可少的。以前的工作主要归因于单个神经元的重要性。在这项工作中,我们研究了哪些组的神经元包含协同或冗余的信息,使用多变量互信息的方法称为O-信息。我们观察到,第一层是由冗余建议一般共享功能(即检测边缘),而最后一层是由协同指示本地类特定的功能(即概念)占主导地位。最后,我们表明O信息可用于多神经元重要性。这可以通过重新训练协同子网络来证明,这导致性能的最小变化。这些结果表明,我们的方法可以用于修剪和无监督的表示学习。
2022-11-08 cs.IT cs.LG math.IT
Data-driven Thermal Model Inference with ARMAX, in Smart Environments, based on Normalized Mutual Information
了解表征智能建筑中热动力学的模型对于其居住者的舒适度和能源优化非常重要。大量的研究试图利用热力学(物理)模型进行智能建筑控制,但由于间歇性环境干扰的随机性,这些方法仍然具有挑战性。本文提出了一种新的数据驱动的室内热模型推理方法,它结合了自回归移动平均与外生输入模型(ARMAX)和归一化互信息方案(NMI)。基于这种信息论的方法,NMI,室内温度和外源输入之间的因果依赖关系,明确获得作为指导的ARMAX模型,以找到主导输入。为了验证,我们使用三个数据集的基础上建立能源系统,我们比较我们的方法与自回归模型与外源输入(ARX),正则化ARMAX模型,状态空间模型。
2020-06-10 cs.IT cs.SY eess.SY
L$^2$M: Mutual Information Scaling Law for Long-Context Language Modeling
NSF AI Institute for Artificial Intelligence and Fundamental Interactions(NSF人工智能与基础相互作用研究院);Massachusetts Institute of Technology(麻省理工学院);Polytechnic University of Catalonia(加泰罗尼亚理工大学);Harvard University(哈佛大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出基于二分互信息缩放定律的通用理论框架,推导长上下文语言建模条件,并在Transformer和状态空间模型上验证,为高效长上下文架构设计提供原则性基础。
2025-10-24 cs.AI cs.CL cs.IT