Coherent Fading Channels Driven by Arbitrary Inputs: Asymptotic Characterization of the Constrained Capacity and Related Information- and Estimation-Theoretic Quantities
我们考虑的渐近行为的平均最小均方误差（MMSE）和平均互信息在标量和矢量衰落相干信道的特征，其中接收机知道确切的衰落信道状态，但发射机只知道衰落信道分布，由一系列的输入。我们构建低的平均MMSE和平均互信息相干信道瑞利衰落，莱斯衰落或Nakagami衰落和离散输入（有限支持）或各种连续输入驱动的低的平均MMSE和高的渐近展开的贡献的新颖性的心脏。我们揭示了所谓的典型MMSE在标准加性高斯白噪声（AWGN）信道中的作用，在衰落相干信道中的平均MMSE和平均互信息的渐近行为的表征。我们还揭示了MMSE维度的连接和概括。能够构建这些非平凡展开式的最相关元素是实现估计和信息理论量的积分表示可以被视为具有单调变元的核的h变换：这使得能够使用一种新的积分渐近展开技术-梅林变换方法-不仅立即导致高，但是也可以是平均MMSE的低信噪比扩展，以及--通过I-MMSE关系--平均互信息的扩展。我们的结论与应用程序的结果的表征和优化的约束能力的银行的并行独立相干衰落信道驱动的任意离散输入。
2012-10-16 cs.IT math.IT
A Generalized Expression for the Gradient of Mutual Information with the Application in Multiple Access Channels
采用泛函方法，推导了随机系统中互信息（MI）关于系统参数的梯度的一般表达式。该表达式涵盖了系统输入取决于系统参数的情况。作为一个应用，我们认为K-用户多址接入信道（MAC）的反馈，并利用所获得的结果来探索这些系统的行为方面的MI。将结果专门用于加性高斯噪声MAC，我们扩展了MI和最小均方误差（MMSE）关系，即，I-MMSE到具有反馈的K用户高斯MAC。在这个推导中，我们表明，MI的梯度可以分解成三个不同的部分，其中第一部分是MMSE项源自噪声，第二和第三部分分别反映了干扰和反馈的影响。然后，考虑到容量实现的傅立叶调制估计校正（F-MEC）策略的Kramer，我们展示了如何反馈补偿用户的干扰的破坏性影响的K用户对称高斯MAC。
2019-12-07 cs.IT math.IT
A Further Note on an Innovations Approach to Viterbi Decoding of Convolutional Codes
本文从互信息和均方误差的角度证明了SST Viterbi译码器中主译码器的软判决输入也被看作是新息。假设使用BPSK调制在AWGN信道上逐个符号地发送码序列。然后我们可以考虑信号模型，其中信号由信噪比（SNR）和等概率二进制输入组成。通过假设软决策输入到主解码器的创新，我们表明，在估计二进制输入的最小均方误差（MMSE）表示在主解码器的编码块的分布。结果表明，在高斯信道中，所得到的MMSE间接地满足已知的互信息与MMSE之间的关系。因此，推导出的MMSE是合理的，这反过来又意味着软判决输入到主解码器可以被视为创新。此外，我们看到输入-输出互信息与主解码器的编码块的分布有关。
2021-02-15 cs.IT math.IT
I-MMSE relations in random linear estimation and a sub-extensive interpolation method
考虑具有高斯测量矩阵和噪声的随机线性估计。可以在信噪比或测量速率的无穷小变化下计算互信息的无穷小变化。我们讨论了每个变化是如何与最小均方误差相关的，并推导出这两个变化是通过一个非常简单的恒等式直接连接的。其主要技术成分是一种新的插值方法--“次延拓插值法”。我们用它来提供一个新的证明I-MMSE关系最近发现的Reeves和Pfister [1]时，测量率是变化的。我们的证明清楚地表明，这种关系与最近在[2]中证明的另一个I-MMSE关系密切相关。可以直接验证，与互信息的两种类型的变化相关的恒等式确实与用于互信息的单字母副本对称公式一致，该公式首先由Tanaka [3]针对二进制信号导出，并且最近在[1，2，4，5]中更普遍地证明（通过独立的方法）。然而，我们的证明是独立的任何知识田中的公式。
2017-04-13 cond-mat.dis-nn cs.IT math.IT
Understanding Phase Transitions via Mutual Information and MMSE
理解和解决高维推理问题的能力对于现代数据科学至关重要。本文通过信息论的视角来研究高维推理问题，并将重点放在标准线性模型上，作为一个典型的例子，它既丰富到足以实用，又简单到足以进行严格的研究。特别是，该模型可以表现出相变，其中模型参数的任意小的变化可以引起估计质量的大的变化。对于这个模型，可以使用统计物理学中的复制方法来研究最优推理的性能，但是直到最近，人们还不知道得到的公式是否正确。在本章中，我们将介绍标准线性模型及其与信息论的联系。我们还描述了该模型的副本预测，并概述了作者最近的证明，它是准确的。
2019-07-03 cs.IT math.IT math.ST
On the precoder design of flat fading MIMO systems equipped with MMSE receivers: a large system approach
研究了在双相关平坦衰落MIMO系统中，基于MMSE接收机的预编码器的设计，该预编码器能最大化系统的各态历经互信息（EMI）。假设信道的信道状态信息和二阶统计量分别在接收机侧和发射机侧可用。由于EMI的直接最大化需要使用非吸引力算法，因此建议优化最近引入的EMI的近似，当发射和接收天线的数量$t$和$r$以相同的速率收敛到$\infty$时获得该近似。建立了实际EMI与其近似值之间的相对误差为$O(\frac{1}{t^{2}})$项。证明了最优预编码器的左奇异特征向量与发射协方差矩阵的特征向量一致，其奇异值是某个最大化问题的解。数值实验表明，该预编码器提供的互信息接近于通过最大化真实EMI而获得的互信息，但是最大化近似的算法的计算量要小得多。
2009-11-02 cs.IT math.IT
Multiple Access Gaussian Channels with Arbitrary Inputs: Optimal Precoding and Power Allocation
在本文中，我们推导出新的封闭形式的梯度的互信息相对于任意参数的两用户多址接入信道（MAC）的表达式。推导出的关系式将互信息的导数和最小均方误差（MMSE）之间的基本关系推广到多用户系统。我们证明了互信息相对于信噪比（SNR）的导数等于MMSE加上由于干扰引起的协方差，量化的一个术语相对于多用户输入估计，信道和预编码矩阵的互相关。我们还推导出新的关系的梯度的条件和非条件互信息的MMSE。利用新的基本关系，我们研究的线性预编码和功率分配政策，最大化的互信息的两个用户MAC高斯信道的任意输入分布。我们表明，线性预编码器的最佳设计可以满足一个固定点方程作为一个函数的信道和特定的设置下的输入星座。我们还表明，在多用户设置中的非相互干扰引入一个术语的梯度的互信息的最佳传输策略，特别是最佳的预编码和功率分配的设计中起着根本性的作用，并解释了损失的数据率。因此，我们提供了一个新的解释的干扰相对于信道，功率和输入估计的主用户和用户。
2014-11-06 cs.IT math.IT
Derivatives of entropy and the MMSE conjecture
本文通过精细组合分析推导出热流下熵的导数多项式的首项系数封闭公式，并据此为MMSE猜想提供新的充分条件，覆盖均匀分布和Rademacher分布等此前方法无法处理的案例。
2024-06-15 cs.IT math.IT math.PR
MMSE Bound for MIMO Channel
针对复值多输入多输出（MIMO）系统的性能评估，给出了最小均方误差（MMSE）的两个界的详细推导。特别地，下界是基于基因辅助MMSE估计器导出的，而上界是基于最大似然（ML）估计器导出的。利用互信息（MI）与MMSE之间的关系，导出了MI的两个界，并在此基础上讨论了高信噪比下平均MI的渐近行为。理论分析表明，随着信噪比的增加，平均MI将收敛到最大值，分集阶数与接收天线数相同。
2021-11-24 cs.IT eess.SP math.IT
On Communication through a Gaussian Channel with an MMSE Disturbance Constraint
本文考虑了一个发射机和两个接收机的高斯信道。目标是最大化受非预期/次级接收器处的干扰约束的预期/初级接收器处的通信速率。该干扰是根据向主接收机的传输对辅接收机造成的干扰的最小均方误差（MMSE）来测量的。本文提出了一个新的上限问题的最大化的互信息的MMSE约束。新的边界保持任何长度的向量输入，并恢复以前已知的限制（当向量输入的长度趋于无穷大）的表达，从工作的Bustin $\textit{et al.}$的关键技术新颖性是一个新的上界的MMSE。该界限允许将所有信噪比（SNR）值$\textit{below}$的MMSE限制在MMSE已知的某个SNR（其对应于干扰约束）。该界限补充了MMSE的“单交叉点性质”，该“单交叉点性质”将所有SNR值的MMSE上限限定为MMSE值已知的某个值$\textit{above}$。MMSE上限提供了相变现象的精细表征，该相变现象在向量输入的长度趋于无穷大的极限中表现为手头问题的MMSE的不连续性。对于大小为$n=1$的向量输入，借助于Dytso $\textit{et al.}$最近引入的混合输入技术，给出了在$O \left( \log \log \frac{1}{\sf MMSE} \right)$阶（其中${\sf MMSE}$是扰动约束）的加性间隙内的匹配下界
2016-03-24 cs.IT math.IT
On MMSE Properties and I-MMSE Implications in Parallel MIMO Gaussian Channels
标量加性高斯噪声信道具有在给定信道输出的输入估计中的最小均方误差（MMSE）（假设对信道的高斯输入）与假设任意输入的MMSE之间的“单交叉点”属性。本文分三个阶段将结果推广到并行MIMO加性高斯信道：i）信道矩阵是单位矩阵，我们将高斯输入限制为高斯i.i.d.向量;元素“单交叉点”属性是相对于标量的（如标量的情况）。ii）信道矩阵是任意的，高斯输入限于独立的高斯输入。对于MMSE矩阵的每个对角元素，导出“单交叉点”属性。iii）允许高斯输入是任意高斯随机向量。一个“单一的交叉点”的属性推导出每个MMSE矩阵的特征值。这三个扩展，然后被翻译成新的信息论性质的互信息，使用估计理论和信息论之间的基本关系。最后一个阶段的结果也被转化为Fisher信息的一个新的属性。最后，所有三个扩展的信息论问题的适用性证明：香农的向量EPI的一个特殊情况下，证明的容量区域的并行退化MIMO广播信道（BC）下每天线功率约束和协方差约束下的逆证明，和协方差约束下的复合并行退化MIMO BC的容量区域的逆证明。
2012-03-26 cs.IT math.IT
Information, Estimation, and Lookahead in the Gaussian channel
本文研究了被加性高斯白噪声污染的连续时间信号的先行均方估计问题。我们表明，互信息率函数，即，作为信噪比（SNR）的函数的互信息率通常不确定具有固定有限前视的最小均方误差（MMSE），这与先前在文献中建立的分别具有0和无限前视（滤波和平滑误差）的特殊情况相反。我们还建立了一个新的期望身份下的广义观测模型，高斯信道有一个SNR跳跃在$t=0$，捕捉前瞻和SNR之间的权衡。进一步研究了一类连续时间平稳高斯-马尔可夫过程（Ornstein-Uhlenbeck过程）作为信道输入，并在有限前视和信噪比（SNR）条件下，明确刻画了最小均方误差（MMSE）的行为.具有前瞻性的MMSE示出以指数方式快速收敛到非因果误差，其中指数是非因果误差的倒数。我们扩展我们的结果的混合物的Ornstein-Uhlenbeck过程，并使用所获得的洞察力，目前的MMSE的下限和上限与前瞻一类平稳高斯输入过程，其频谱可以表示为混合物的Ornstein-Uhlenbeck频谱。
2013-02-08 cs.IT math.IT
Certain Relations between Mutual Information and Fidelity of Statistical Estimation
我提出了几个新的互信息（MI）和统计估计误差的系统，可以被视为同时作为一个通信信道和输入参数的估计之间的关系。我首先推导出MI和费舍尔信息（FI）之间的二阶结果，该结果对于足够窄的先验信息是有效的，但任意通道。第二个关系式根据来自信道输出的输入参数的贝叶斯估计的最小均方误差（MMSE）来描述MI的下限，这对于任意信道和先验都是有效的。这样一个下界的存在，而扩展以前的工作有关MI FI是有效的，只有在渐近和高信噪比的限制，进一步阐明了信息和估计理论的保真度措施之间的基本联系。其余的关系，我目前的不平等和MI，FI之间的对应关系，和MMSE在滋扰参数的存在。
2010-10-07 cs.IT math.IT stat.AP
Pointwise Relations between Information and Estimation in Gaussian Noise
在高斯噪声存在下，信息和估计之间的许多经典和最近的关系可以被视为随机量的期望之间的恒等式。这些包括Guo等人的I-MMSE关系; Verdú的相对熵和失配估计关系; Duncan的因果估计和互信息之间的关系，以及Kadota等人将其扩展到反馈的存在; Guo等人的因果和非因果估计之间的关系，以及与之不匹配的韦斯曼我们免除的期望和探索的性质的逐点关系的相应的随机量。我们发现的逐点关系与原始期望恒等式一样简洁明了--并提供了相当深入的见解。作为我们的结果的说明，考虑邓肯的1970年的发现，即互信息等于因果MMSE在AWGN信道，这可以等价地表示为输入输出信息密度和一半的因果估计误差之间的差是一个零均值随机变量（不管信道输入的分布）。我们明确地描述了这个随机变量，而不仅仅是它的期望。经典的估计和信息理论的数量出现了新的和令人惊讶的作用。例如，这个随机变量的方差由因果MMSE给出（反过来，它等于邓肯结果的互信息）。
2012-05-01 cs.IT math.IT
The Replica-Symmetric Prediction for Compressed Sensing with Gaussian Matrices is Exact
本文考虑了i.i.d.的压缩感知的基本限制。信号分布和i.i.d.高斯测量矩阵它的主要贡献是一个严格的渐近互信息（MI）和最小均方误差（MMSE）在此设置的特征。在较温和的技术条件下，我们的结果表明，极限MI和MMSE等于从统计物理的副本方法预测的值。这解决了一个众所周知的问题，这个问题已经公开了十多年。
2016-07-08 cs.IT math.IT
Some Relations between Divergence Derivatives and Estimation in Gaussian channels
分析了在加性高斯白噪声信道下，对非高斯信号的估计的最小均方误差。首先，假设一个相当一般的时间连续信道模型，证明了在小信噪比q时信道输出的非高斯性。然后，假设通道输入的信号由N个窄带、相互独立的波的（归一化）和组成。它表明，如果N趋于无穷大，那么对于任何固定的q（无论多大），CMMSE和MMSE都以与N的倒数成比例的速率收敛到信号能量。最后，一个已知的结果MMSE在一维的情况下，对于小q，被用来表明，所有的前四项在泰勒展开的非高斯信道的输出等于零。
2010-02-03 cs.IT math.IT
High-SNR Asymptotics of Mutual Information for Discrete Constellations with Applications to BICM
在信噪比趋于无穷大的极限下，给出了标量加性高斯白噪声信道中任意离散输入与相应输出之间的互信息的渐近表达式.给出了在给定信道输出的情况下，通过估计信道输入所获得的符号错误概率（SEP）和最小均方误差（MMSE）的渐近表达式。结果表明，对于任何输入分布，给定输出的信道输入的条件熵，MMSE和SEP具有与高斯Q函数成比例的渐近行为。该Q函数的幅角仅取决于星座图的最小欧氏距离（MED）和信噪比，比例常数是MED和MED处星座点对概率的函数.将推导的表达式推广到比特交织编码调制（BICM）中，研究了广义互信息（GMI）的高信噪比特性.通过这些渐近表达式，证明了长期以来的猜想，格雷码是二进制标记，最大化的BICM-GMI在高信噪比。它进一步表明，对于任何等距星座的大小是2的幂，总是存在一个反格雷码给出最低的BICM-GMI在高信噪比。
2013-09-10 cs.IT math.IT
Optimum estimation via gradients of partition functions and information measures: a statistical-mechanical perspective
为了继续最近关于高斯噪声中最小均方误差（MMSE）估计的统计-机械分析的工作，通过其与互信息的关系（I-MMSE关系），在这里，我们提出了最佳估计与某些信息度量（例如，信息密度和Fisher信息），其可以被看作是配分函数，因此可以使用统计力学技术进行分析。所提出的方法具有几个优点，最值得注意的是，其适用于一般源和信道，而不是I-MMSE关系及其仅适用于某些类别的信道（例如，加性高斯白噪声信道）。然后，我们证明了推导的条件均值估计和MMSE在几个例子。其中两个例子被证明可以推广到相当广泛的一类来源和渠道。对于这个类，所提出的方法产生一个近似的条件均值估计和MMSE公式，具有味道的一个字母的表达。我们还展示了我们的方法可以很容易地推广到不匹配的估计的情况。
2009-11-17 cs.IT math.IT
MmWave Amplify-and-Forward MIMO Relay Networks with Hybrid Precoding/Combining Design
在本文中，我们考虑放大转发中继网络的毫米波系统，并提出了一种混合预编码器/组合器的设计方法。首先设计仅相位RF预编码/组合矩阵以支持多流传输，其中我们补偿信道的本征模的相位。然后，执行基带预编码器/组合器以实现最大的互信息。基于互信息的数据处理不等式，我们首先联合设计基带源和中继节点，使互信息在目的基带接收机之前最大化。提出的低复杂度的迭代算法的源和中继节点之间的等价性的基础上的互信息最大化和加权MMSE。在得到源节点和中继节点的最优预编码器和合并器后，在基带接收端实现MMSE-SIC滤波器，以保持互信息不变，从而得到整个中继系统的最优互信息。仿真结果表明，与文献中的其他算法相比，该算法以较低的复杂度获得了更好的性能。此外，我们也提出了一个稳健的联合收发器的设计不完美的信道状态信息。
2019-10-30 cs.IT eess.SP math.IT
Capacity and Normalized Optimal Detection Error in Gaussian Channels
对于矢量高斯信道，给出了信道容量与归一化最优检测误差（NODE）之间的精确微分关系。然后，这种C-NODE关系扩展到连续时间高斯信道上最近发现的连续时间线性时变信道的容量注水特性。在后一种情况下，C-NODE关系在性质上变得渐近。由于Guo等人将高斯信道中的互信息与估计理论的最小均方误差（MMSE）联系起来，因此在任一情况下，将C-NODE关系与I-MMSE关系进行比较。
2017-04-29 cs.IT math.IT
On the Minimum Mean $p$-th Error in Gaussian Noise Channels and its Applications
考虑了由加性高斯白噪声污染的观测值估计任意随机向量的问题，其中代价函数取最小平均$p$次误差（MMPE）.经典的最小均方误差（MMSE）是MMPE的一种特殊情况。几个界限，性质和应用的MMPE推导和讨论。最佳MMPE估计发现高斯和二进制输入分布。推导出MMPE作为输入分布、SNR和阶数$p$的函数的性质。特别是，它示出的MMPE是一个连续的函数的$p$和SNR。这些结果是可能的，鉴于插值和改变的措施界限上的MMPE。将所有SNR值{ \it above}的MMSE限制在某个值的“单交叉点性质”（SCPP）与I-MMSE关系一起是在信息论中导出逆证明的有力工具，在该值处MMSE是已知的。通过研究条件MMPE的概念，一个统一的证明（即，对于SCPP的任何$p$）。然后示出了与SCPP的互补界限，其将所有SNR值{下面的\it}的MMPE限制在某个值，在该值处MMPE是已知的。作为MMPE的第一个应用，提供了MMPE方面的条件微分熵上的界，然后产生由高斯噪声信道上的离散输入实现的互信息上的Ozarow-Wyner下界的泛化。作为第二个应用程序，MMPE示出，以改善先前的表征的相变现象，表现为，在限制的容量实现代码的长度走向无穷大，作为一个不连续的MMSE作为SNR的函数。作为最后的应用，MMPE被用来显示互信息的二阶导数的界限，收紧以前已知的界限。
2016-07-06 cs.IT math.IT
Statistical Physics of Signal Estimation in Gaussian Noise: Theory and Examples of Phase Transitions
我们考虑的问题，信号估计（去噪）从统计机械的角度来看，使用之间的关系的最小均方误差（MMSE），估计信号，和这个信号和它的噪声版本之间的互信息。本文件主要由两部分组成。在第一，我们得到几个重要的量在这个问题领域，如MMSE，微分熵，Fisher信息，自由能，和温度的广义概念之间的物理力学关系。我们还画出了与估计问题有关的某些关系与热力学和统计物理学中的平行关系之间的类比和差异。在本文的第二部分中，我们提供了几个应用实例，在那里我们演示了如何在统计物理学中习惯的某些分析工具，证明有用的MMSE的分析。在大多数这些例子中，相应的物理-力学系统由导致相变的强相互作用组成，这反过来又反映为MMSE行为中的不规则性和不连续性（类似于阈值效应）。
2008-12-29 cs.IT math.IT
Derivative of BICM Mutual Information
在这封信中，我们确定相应的比特交织编码调制系统的互信息的导数。导数如下作为编码调制集的最小均方误差函数的线性组合。结果发现应用于宽带体制的通信系统的分析和并行信道上的功率分配的设计。
2007-08-15 cs.IT math.IT
Estimation in Gaussian Noise: Properties of the Minimum Mean-Square Error
考虑由受高斯噪声污染的观测值估计任意随机变量的最小均方误差（MMSE）问题。MMSE可以被认为是信噪比（SNR）的函数以及（待估计的随机变量的）输入分布的函数。结果表明，在任何给定的SNR的MMSE是凹的输入分布。对于一个给定的输入分布，MMSE被发现是无穷可微的，在所有积极的SNR，实际上是一个真正的解析函数的SNR在温和的条件下。这些规律性结果的关键是，通过高斯通道的观察条件下的后验分布总是衰减至少与一些高斯密度一样快。此外，简单的表达式的前三个衍生物的MMSE相对于SNR。它还示出，作为SNR的函数，高斯输入的MMSE曲线和非高斯输入的MMSE曲线在所有SNR上最多交叉一次。这些属性导致简单的事实证明，高斯输入实现标量高斯窃听信道的保密能力和标量高斯广播信道的能力，以及一个简单的证明熵功率不等式的特殊情况下，其中一个变量是高斯。
2010-04-20 cs.IT math.IT
The Geometry of Community Detection via the MMSE Matrix
社区发现的信息论极限已经被广泛研究了具有高水平对称性或同质性的网络模型。本文的贡献是研究更广泛的一类网络模型，允许不同社区的大小和行为的变化，从而更好地反映在现实世界的网络中观察到的行为。我们的研究结果表明，检测社区的能力，可以简洁地描述在矩阵的有效信噪比，提供了一个几何表示的不同社区之间的关系。此特征如下从矩阵版本的I-MMSE关系，并概括了在以前的工作中引入的有效标量信噪比的概念。我们提供了明确的公式渐近每节点互信息和上界的最小均方误差。理论结果得到了数值模拟的支持。
2019-07-04 cs.IT math.IT math.ST
Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但到目前为止，香农熵幂不等式（EPI）是一个例外：EPI的现有信息论证明取决于使用Fisher信息或最小均方误差（MMSE）的微分熵表示，这些信息论证明来自de Bruijn恒等式。在本文中，我们首先提出了一个统一的观点，这些证明，表明他们共享两个基本成分：1）数据处理参数应用于保协方差线性变换; 2）连续高斯扰动的路径上的积分。使用这些成分，我们开发了一个新的和简短的证明EPI通过一个互信息不等式，它取代了Stam和Blachman的Fisher信息不等式（PII）和不等式MMSE郭，Shamai和Verdú在早期的证明。该结果的优点是非常简单，因为它只依赖于互信息的基本属性。这些想法，然后推广到各种扩展版本的EPI：Zamir和Feder的广义EPI的线性变换的随机变量，高野和约翰逊的EPI的因变量，刘和Viswanath的协方差约束EPI，和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
$α$-Mutual Information for the Gaussian Noise Channel
University of Minnesota（明尼苏达大学）；Qualcomm Flarion Technology, Inc.（高通Flarion技术有限公司）
本文研究了Sibson的$α$-互信息在加性高斯噪声信道中的应用，探讨了其在高斯噪声环境下的结构性质，并提出了$α$-I-MMSE关系及广义de Bruijn恒等式。
2026-08-20 cs.IT math.IT math.ST
Asymptotic Analysis of Double-Scattering Channels
我们考虑一个多输入多输出（MIMO）多址接入信道（MAC），其中每个发射机和接收机之间的信道由双散射信道模型建模。基于随机矩阵理论的新技术，我们推导出了最小均方误差（MMSE）检测器输出端的互信息、信噪干扰比（SINR）以及MMSE检测的和速率的确定性近似，这些近似在大系统极限下几乎肯定是紧的。此外，我们推导出渐近最优的传输协方差矩阵。我们的模拟结果表明，渐近分析提供了非常接近的近似现实系统的尺寸。
2011-05-10 cs.IT math.IT
Mutual Information in Community Detection with Covariate Information and Correlated Networks
研究了当节点标签存在协变量信息且观测到多个相关网络时的社区发现问题。我们提供了一个渐近上界的每个节点的互信息，以及一个启发式分析的多元性能指标称为MMSE矩阵。这些结果表明，表面上非常不同类型的信息的组合效应可以明确地在公式中的特点，涉及低维估计问题的加性高斯噪声。我们的分析得到了数值模拟的支持。
2019-12-11 cs.IT cs.LG math.IT
Information-Theoretic Limits for the Matrix Tensor Product
研究了随机矩阵的矩阵张量积的高维推理问题。这个问题概括了许多当代数据科学问题，包括稀疏主成分分析和协方差估计中使用的尖峰矩阵模型和网络分析中使用的随机块模型。主要结果是单字母公式（即，可以数值近似的解析表达式），用于在贝叶斯最优设置中的互信息和最小均方误差（MMSE），其中所有随机量的分布是已知的。我们提供了非渐近的界限，并表明我们的公式准确地描述了领先的顺序项的互信息和MMSE在高维制度的行数$n$和列数$d$规模与$d = O(n^α)$的一些$α< 1/20$。在技术方面，本文介绍了高维矩阵值信号分析的一些新技术。具体的贡献包括一个新的扩展的自适应插值方法，使用保序半正定插值路径，和方差之间的不平等的重叠和自由能是基于连续时间I-MMSE关系。
2020-12-03 cs.IT math.IT math.PR
Statistical and computational phase transitions in spiked tensor estimation
我们认为张量因子分解使用生成模型和贝叶斯方法。我们严格计算的互信息，最小均方误差（MMSE），并揭示信息论相变。此外，我们研究了近似消息传递（AMP）的性能，并表明它在很大一组参数下实现了MMSE，并且因子分解在比之前认为的更广泛的区域内在算法上“容易”。然而，它存在一个“硬”区域，AMP无法达到MMSE，我们推测，没有多项式算法将提高AMP。
2017-12-16 cond-mat.dis-nn cs.IT math.IT
Differential Properties of Information in Jump-diffusion Channels
本文提出基于跳变-扩散过程的信道建模，利用 Kramers-Moyal 等方程以级数和积分形式表示互信息，并扩展 de Bruijn 恒等式与 I-MMSE 关系以涵盖一般 Markov 过程。
2025-04-27 cs.IT math.IT
Asymptotic Performance of Linear Receivers in MIMO Fading Channels
线性接收机是一种有吸引力的低复杂度的替代多天线MIMO通信的最佳处理。在本文中，我们描述了两种不同的渐近制度的MIMO线性接收机的信息理论性能。对于固定数目的天线，我们调查的限制，在高信噪比制度的分集复用权衡（DMT）的错误概率。在此之后，我们的特点是固定的SNR在政权的大（但有限）数量的天线的错误概率。就DMT而言，我们报告一个负面的结果：我们表明，线性迫零（ZF）和线性最小均方误差（MMSE）接收器实现相同的DMT，这在很大程度上是次优的，即使在外编码和解码的情况下，跨天线进行。我们还提供了一个近似的定量分析的显着不同的行为的MMSE和ZF接收机在有限的速率和非渐近SNR，并表明，虽然ZF接收机实现差的多样性在任何有限的速率，MMSE接收机的误差曲线的斜率逐渐下降，随着编码速率的增加。当信噪比是固定的，天线的数量变得很大，我们表明，互信息在输出的MMSE或ZF线性接收机具有波动，收敛于高斯分布的随机变量，其均值和方差可以在封闭的形式。这种分析扩展到线性接收机的情况下，一个众所周知的结果，以前获得的最佳接收机。仿真结果表明，渐近分析准确地捕捉中断行为的系统，即使有一个中等数量的天线。
2009-02-19 cs.IT math.IT
On Compressive Sensing in Coding Problems: A Rigorous Approach
我们采取一个经典的稀疏采样噪声线性模型的信息论的角度来看，并提出了一个解析表达式的互信息，在各种通信/处理问题中起着核心作用。这样的表达式以前解决的边界，模拟和（非严格）的副本方法。互信息的表达基于[1]中使用的技术，解决了最小均方误差（MMSE）分析。使用这些表达式，我们专门研究了各种稀疏的线性通信模型，其中包括在不同的设置编码，也占多个接入信道和不同的窃听问题。对于这些，我们提供了单字母的表达式，并获得可实现的速率，捕捉这些及时的模型的通信/处理功能。
2014-03-24 cs.IT math.IT
Multi-Cell Processing with Limited Cooperation: A Novel Framework to Timely Designs and Reduced CSI Feedback with General Inputs
我们研究了有限协作的多小区处理（MCP）框架的最优功率分配和最优预编码。特别是，我们考虑两个基站（BS），最大限度地提高可实现的速率为两个用户连接到每个BS和共享信道状态信息（CSI）。我们提出了一种双向信道估计或预测过程。这种框架在反馈减少和可实现速率方面具有很好的效果，将系统从发射机处具有未知CSI的系统移动到通信两侧具有瞬时CSI的系统。我们推导出新的扩展之间的基本关系的梯度的互信息和MMSE的条件和非条件的互信息。利用这些关系，我们提供了最佳的功率分配和最佳的预编码设计相对于估计的信道和MMSE。所介绍的设计是最佳的多址（MAC）高斯相干时变衰落信道与一般的输入，可以专门用于多输入多输出（MIMO）信道的解码干扰。干扰对容量的影响通过互信息相对于干扰器的功率、信道和误差协方差的梯度来量化。我们提供了两种新颖的分布式MCP算法，其提供了用于UL和DL的最优功率分配和最优预编码的解决方案，具有双向信道估计以跟踪数据传输块上的信道变化。因此，我们提供了一种新的解决方案，允许有限的合作：从接收机到发射机的CSI反馈显着减少，并及时优化预编码和功率分配的设计。
2016-01-11 cs.IT math.IT
Information Rates for Channels with Fading, Side Information and Adaptive Codewords
本文利用广义互信息（GMI）计算衰落信道的可达速率，对比了基于MMSE估计的正反向辅助信道模型，并分析了自适应码字、输出字母表划分及功率控制策略对容量和速率的影响。
2023-05-20 cs.IT math.IT
Matrix Inference in Growing Rank Regimes
本文研究加性高斯噪声下对称信号矩阵的推断问题，推导亚线性秩与线性秩两类增长秩情形下的互信息和MMSE，提出两种达MMSE下界的高效算法，揭示其与自由概率的联系，明确高低秩行为转变发生在线性尺度α=1处。
2024-07-15 cs.IT math.IT
An Information-Theoretic Analysis of Discrete-Time Control and Filtering Limitations by the I-MMSE Relationships
本文将 I-MMSE 关系扩展至带或不带反馈的离散时间 AWGN 信道，提出用于分析控制与滤波系统总信息率权衡及最优估计的新信息论框架。
2025-03-17 cs.IT cs.SY eess.SY
Zero-SNR Analyticity of the Scalar MMSE Is Equivalent to Gaussianity
本文证明在平方指数矩条件下，标量MMSE在零信噪比处解析当且仅当输入为高斯分布，非高斯输入导致形式展开发散，并给出互信息类似判据。
2026-09-15 cs.IT cs.LG math.IT
Information theoretic limits of learning a sparse rule
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；International Center for Theoretical Physics（国际理论物理中心）
我们考虑广义线性模型的制度，其中的非零分量的信号和可访问的数据点的数量是次线性的信号的大小。我们证明了一个变分公式的渐近互信息每个样本时，系统的大小增长到无穷大。这一结果使我们能够推导出一个表达式的最小均方误差（MMSE）的贝叶斯估计时，信号条目有一个离散的分布与有限的支持。我们发现，对于此类信号以及稀疏性和采样率的适当消失缩放，MMSE是非递增的分段常数。在特定情况下，MMSE甚至显示全或无相变，即，MMSE在临界采样率从其最大值急剧跳到零。全或无现象以前已经被证明发生在高维线性回归中。我们的分析超越了线性的情况下，并适用于学习一般激活函数的感知器的教师和学生的情况下的权重。特别是，我们讨论了一个全有或全无的现象的泛化误差与一组次线性的训练样本。
2020-10-27 cs.IT cs.LG math.IT
The Mutual Information in Random Linear Estimation
我们认为，从噪声的线性随机高斯投影的知识，在压缩感知，稀疏叠加码或码分多址相关的问题，只是举几个信号的估计。已经有一些工程考虑这个问题的互信息使用启发式副本方法从统计物理。在这里，我们把这些考虑放在一个坚定的严格的基础上。首先，我们表明，使用Guerra型插值，副本公式产生一个上界的确切互信息。其次，对于许多相关的实际情况下，我们提出了一个逆下界的方法，使用空间耦合，状态演化分析和I-MMSE定理。这产生，特别是，一个单一的字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。
2016-09-06 cs.IT math-ph math.IT
An MSE Based Ttransfer Chart to Analyze Iterative Decoding Schemes
提出了一种称为均方误差（MSE）图的外部信息传递（EXIT）图的替代方案，该图使用与MSE相关的度量而不是互信息。利用互信息与最小均方误差（MMSE）之间的关系，得到了在对数似然比（LLR）为高斯信道时，任意码的码率与MSE与信噪比（SNR）的关系。利用这一结果，理论上的理由提供了设计级联码匹配的EXIT图的内部和外部解码器，当LLR是高斯的代码设计通常假设使用EXIT图。最后，对于AWGN信道的特殊情况下，它表明，任何容量实现码有一个退出曲线是平坦的。这将Ashikhmin等人的擦除通道的结果扩展到高斯通道。
2005-06-14 cs.IT math.IT
A Vector Generalization of Costa's Entropy-Power Inequality with Applications
考虑Costa的一个熵幂不等式，给出了一个带实半正定参数的自然向量推广.利用线性矢量高斯信道中互信息的导数与最小均方误差（MMSE）估计之间的基本关系，利用微扰方法证明了这个新的不等式.作为应用，从广义Costa EPI导出了一个新的极值熵不等式，并利用该不等式建立了具有分层保密消息的退化向量高斯广播信道的保密容量域.
2009-03-17 cs.IT math.IT
Information and estimation in Fokker-Planck channels
我们研究了时间演化系统中信息理论量和估计理论量之间的关系。我们专注于由一般随机微分方程定义的Fokker-Planck通道，并表明熵，KL散度和互信息的时间导数的特征在于估计理论量涉及适当的概括的Fisher信息。我们的结果极大地推广了De Bruijn恒等式和经典的I-MMSE关系。
2017-02-13 cs.IT math.IT math.ST
On The Minimum Mean-Square Estimation Error of the Normalized Sum of Independent Narrowband Waves in the Gaussian Channel
分析了在加性高斯白噪声（WGN）信道输出下信号估计的最小均方误差。假设通道输入的信号由N个窄带、相互独立的波的（归一化）和组成。它示出，如果N趋于无穷大，那么对于任何固定的信号能量噪声能量比（无论多大）的因果最小均方误差CMMSE和非因果最小均方误差MMSE收敛到信号能量的速率是成比例的1/N。
2006-01-28 cs.IT math.IT
Fisher Information and Support Complexity of Gaussian Mixtures
Politecnico di Milano（米兰理工大学）；Qualcomm Flarion Technology, Inc.（高通弗拉里昂科技有限公司）
该研究推导了高斯混合模型费希尔信息的多个下界，将其应用于有界高斯均值估计的最不利先验分析，并通过相关恒等式将费希尔信息不等式转化为MMSE和互信息的上界。
2026-10-16 cs.IT math.IT
A Training-Based Mutual Information Lower Bound for Large-Scale Systems
我们提供了一个互信息下界，可以用来分析模型的训练效果与未知参数。对于大规模的系统，我们表明，这个界限可以计算使用的条件熵函数的两个衍生物之间的差异。该界不需要对未知参数进行显式估计。我们提供了一个逐步计算边界的过程，并提供了一个示例应用程序。与已知的经典互信息界的比较。
2021-07-30 cs.IT math.IT
IT formulae for gamma target: mutual information and relative entropy
在本文中，我们介绍了新的Stein恒等式的伽玛目标分布，以及一个新的非线性信道专门设计的伽玛输入。从这两个成分，我们推导出一个明确的和简单的公式，该非线性信道的输入-输出互信息的导数相对于信道质量参数。这种关系使人想起加性高斯噪声信道的输入-输出互信息相对于信噪比的导数与最小均方误差之间的众所周知的联系。证明依赖于一个重新缩放版本的德布鲁因身份的伽马目标分布与随机表示的伽马特定的Fisher信息。最后，我们能够得到精确的界限和渐近的输入-输出互信息的非线性信道与伽玛输入。
2016-09-08 cs.IT math.IT math.PR
Convexity of Mutual Information along the Fokker-Planck Flow
本文将互信息沿热流和Ornstein-Uhlenbeck流的凸性结果推广到Fokker-Planck流，证明了一类Fokker-Planck方程经典解的存在唯一性，并给出互信息二阶导数，进而得到在足够强对数凹条件下互信息保持凸性的结论。
2025-01-24 cs.IT math.IT
On the precoder design of a wireless energy harvesting node in linear vector Gaussian channels with arbitrary input distribution
本文研究了一种工作在线性矢量高斯信道中的无线能量收集节点（WEHN），该信道具有任意分布的输入符号。在信道状态和收获能量的非因果知识下研究了沿N个独立信道接入最大化互信息的预编码策略（通常称为离线方法）。它示出，在每个信道使用，左奇异向量的预编码器是相等的Gram信道矩阵的特征向量。此外，通过最小均方误差（MMSE）矩阵的能量收集配置文件的预编码器的最佳奇异值的表达式。然后，考虑预编码器的右奇异向量被设置为单位矩阵的具体情况。在这种情况下，最佳的离线功率分配，命名为水星水流，推导出一个直观的图形表示。提出了两种计算水银水流解的最优离线算法，并对它们的计算复杂性进行了详尽的研究。此外，在线算法的设计，它只使用的因果知识的收获的能量和信道状态。最后，通过仿真对所获得的互信息进行了评估。
2013-01-28 cs.IT math.IT
Mutual Information and Optimality of Approximate Message-Passing in Random Linear Estimation
我们认为，从噪声的线性随机高斯投影的知识的信号的估计。与此问题相关的几个例子是压缩感知、稀疏叠加码和码分多址。已经有一些工程考虑这个问题的互信息使用的副本方法从统计物理。在这里，我们把这些考虑放在一个坚定的严格的基础上。首先，我们表明，使用Guerra-Toninelli型插值，副本公式产生一个上界的确切互信息。其次，对于许多相关的实际情况下，我们提出了一个逆下界的方法，使用空间耦合，状态演化分析和I-MMSE定理。这产生了一个单字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。此外，我们证明了低复杂度的近似消息传递算法是最佳的所谓的硬相外，在这个意义上，它渐近达到最小均方误差。在这项工作中，空间耦合主要用作证明技术。然而，我们的结果也证明了空间耦合噪声线性随机高斯估计的两个重要特征。首先，没有算法上的困难阶段。这意味着对于这样的系统，近似消息传递总是达到最小均方误差。其次，在适当的限制下，这类系统的互信息与非耦合线性随机高斯估计的互信息相同。
2020-08-28 cond-mat.dis-nn cs.IT math-ph
Lower Bounds and Approximations for the Information Rate of the ISI Channel
我们考虑离散时间符号间干扰（ISI）信道模型，加性高斯噪声和固定的i.i.d.。输入。在这种情况下，我们研究了Shamai和Laroia提出的表达式，作为应用MMSE-DFE接收机后输入-输出互信息的简化下界。一个低信噪比的扩展被用来证明，在一般条件下的约束不成立，并表征输入，它是特别不适合。一个这样的输入是用来构建一个反例，表明Shamai-Laroia表达式并不总是约束甚至可实现的信道速率，从而排除了自然放松的原始约束。然而，当SNR足够高时，这种放松的界限对于任何有限熵输入和ISI信道都是成立的。最后，新的简单的界限的可实现的速率证明，并与其他已知的界限。信息估计关系和估计理论界在建立我们的结果中起着关键作用。
2014-01-07 cs.IT math.IT
An Information Theoretic Charachterization of Channel Shortening Receivers
在线性信道上传输的数据的最佳数据检测总是可以通过维特比算法（VA）来实现。然而，在许多感兴趣的情况下，通道的存储器禁止VA的应用。在这种情况下，自70年代初以来研究的一种流行且概念简单的方法是首先对接收到的信号进行滤波以缩短信道的存储器，然后应用以较短存储器操作的VA。我们将其称为信道缩短（CS）接收机。虽然研究了近四十年，但对这种简单的接收器解决方案实际上在做什么的信息理论理解是不可用的。在本文中，我们将表明，一个优化的CS接收机正在实施的互信息的链式规则，但只有到接收机正在操作的缩短的内存。此外，我们将表明，用于分析从优化的CS接收器的随后可实现的速率的工具是完全相同的那些用于分析的最小均方误差（MMSE）接收器的可实现的速率。
2014-02-28 cs.IT math.IT
Precoding Methods for MISO Broadcast Channel with Delayed CSIT
最近的信息理论的结果表明，在多用户下行链路MIMO信道上的预编码与延迟的信道状态信息在发射机（CSIT）可能会导致数据率远远超过没有任何CSIT获得的数据率，即使在极端的情况下，当延迟的信道反馈是完全过时的反馈延迟超过信道相干时间。这个令人惊讶的结果是基于干扰重复和对准的思想，其允许接收器重建完全抵消干扰的信息符号，使其成为无限SNR范围中的最佳方案。在本文中，我们提出了一个类似的问题，但在有限的SNR下。我们提出了第一个预编码器的建设，它匹配以前的结果在无限的SNR，但达到了一个有用的权衡干扰对齐和信号增强在有限的SNR之间，允许在实际设置中的显着性能改善。本文提出了两种通用的预编码方法，通过虚拟MMSE和互信息优化，实现了信号增强和干扰对齐之间的折衷。仿真结果表明，由于这两个方面之间的妥协，实质性的改善。
2012-07-09 cs.IT math.IT
