The Replica-Symmetric Prediction for Compressed Sensing with Gaussian Matrices is Exact
本文考虑了i.i.d.的压缩感知的基本限制。信号分布和i.i.d.高斯测量矩阵它的主要贡献是一个严格的渐近互信息（MI）和最小均方误差（MMSE）在此设置的特征。在较温和的技术条件下，我们的结果表明，极限MI和MMSE等于从统计物理的副本方法预测的值。这解决了一个众所周知的问题，这个问题已经公开了十多年。
2016-07-08 cs.IT math.IT
Mutual Information in Rank-One Matrix Estimation
我们认为，从噪声和可能性的非线性元素的测量xxT，一个非常通用的问题，包含，例如随机2块模型，子矩阵本地化或随机矩阵的尖峰扰动的知识的n维向量x的估计。我们使用的插值方法提出的Guerra和Korada和Macris后来完善。我们证明了Bethe互信息（与Bethe自由能有关，并由Lebanon等人在非严格腔方法的基础上证明是精确的）总是给出精确互信息的上界.我们还提供了一个下界使用类似的技术。为了具体起见，我们说明了我们的研究结果的稀疏PCA问题，并观察到（a）我们的边界匹配的参数和（b），它存在一个区域中的光谱仍然没有信息的相变。虽然我们只给出了秩为1的对称矩阵估计的情况，但我们的证明技术很容易扩展到低秩对称矩阵或低秩对称张量估计
2016-03-28 cond-mat.dis-nn cs.IT math.IT
Understanding Phase Transitions via Mutual Information and MMSE
理解和解决高维推理问题的能力对于现代数据科学至关重要。本文通过信息论的视角来研究高维推理问题，并将重点放在标准线性模型上，作为一个典型的例子，它既丰富到足以实用，又简单到足以进行严格的研究。特别是，该模型可以表现出相变，其中模型参数的任意小的变化可以引起估计质量的大的变化。对于这个模型，可以使用统计物理学中的复制方法来研究最优推理的性能，但是直到最近，人们还不知道得到的公式是否正确。在本章中，我们将介绍标准线性模型及其与信息论的联系。我们还描述了该模型的副本预测，并概述了作者最近的证明，它是准确的。
2019-07-03 cs.IT math.IT math.ST
Distributed Differentially Private Mutual Information Ranking and Its Applications
互信息（MI）的计算有助于理解一对随机变量之间共享的信息量。基于MI排名的自动特征选择技术经常用于从大小超过PB、超过数百万特征和类的敏感数据集中提取信息。一系列的一对所有的MI计算可以级联产生n倍的MI结果，迅速查明信息的关系。这种从数十亿用户的数据集中快速确定最具信息量的关系的能力引起了隐私问题。在本文中，我们提出了分布式差分私有互信息（DDP-MI），一个隐私安全的快速批处理MI，在各种情况下，如特征选择，分割，排名和查询扩展。该分布式实现采用全局模型差分隐私进行保护，以提供针对各种隐私攻击的强有力保证。我们还表明，我们的DDP-MI可以大大提高MI计算的效率相比，标准的实现在一个大规模的公共数据集。
2020-09-22 cs.CR cs.DC cs.IT
Strong replica symmetry in high-dimensional optimal Bayesian inference
我们考虑通用的最优贝叶斯推理，即，信号重建模型的后验分布和所有的超参数是已知的。在一个标准的假设下的自由能的浓度，我们展示了如何复制对称性的浓度的所有multioverlaps的强烈意义上可以建立作为后果的Franz-de Sanctis身份，身份本身在当前的设置是通过一个新的扰动来自指数分布的“边观测”的信号。多重重叠的集中意味着后验分布渐近地具有由随机概率测度（或者，在二进制信号的情况下，非随机概率测度）编码的特别简单的结构。我们认为，这种强有力的控制模型应该是关键的推理问题的研究与底层稀疏的图形结构（纠错码，块模型等），特别是在严格推导副本对称公式的自由能和互信息在这种情况下。
2022-02-22 cond-mat.dis-nn cs.IT math-ph
Asymptotic mutual information in quadratic estimation problems over compact groups
Yale University（耶鲁大学）
本文研究了在紧凑群上进行二次估计问题中的渐近互信息，通过插值方法比较了信号-观测互信息与线性观测模型的差异，并在角/相同步中刻画了信息论极限。
2025-03-18 cs.IT math.IT math.ST
Performance of MMSE MIMO Receivers: A Large N Analysis for Correlated Channels
线性接收机被认为是一种有吸引力的低复杂度的替代多天线MIMO通信的最佳处理。在本文中，我们描述了MMSE MIMO接收机的性能在大天线数量的限制，在信道相关性的存在。使用副本的方法，我们推广我们的结果arXiv：0810.0883克罗内克积相关信道，并计算并行MMSE子信道的MIMO系统的互信息的渐近均值和方差。副本方法允许我们使用最佳接收机互信息和高斯输入的MMSE SIR之间的关系来计算MMSE子信道的SIR的联合矩。使用arXiv：0810.0883中讨论的方法，可以示出互信息在分布上收敛于高斯随机变量。我们的结果同意非常好的模拟，即使有一个中等数量的天线。
2009-02-20 cs.IT math.IT
The adaptive interpolation method for proving replica formulas. Applications to the Curie-Weiss and Wigner spike models
在这方面的贡献，我们给出了一个教学介绍新推出的自适应插值方法证明在一个简单而统一的方式副本公式贝叶斯最优推理问题。这种方法的许多方面已经可以在简单的居里-外斯自旋系统的水平上得到解释。这为这个似乎还不为人知的模型提供了一种新的求解方法。然后，我们将这种分析推广到一个范式推理问题，即秩一矩阵估计，也称为维格纳尖峰模型在统计。我们给了许多指针，最近的文献中，该方法已成功地应用。
2020-03-07 cond-mat.dis-nn cs.IT math-ph
The Layered Structure of Tensor Estimation and its Mutual Information
我们考虑秩一非对称张量估计，并推导出简单的互信息公式。我们从2阶问题开始，即矩阵分解。我们对待它完全在一个简单的方式比以前的证明使用一种新型的插值方法在[1]。然后，我们将展示如何利用张量估计的“层”中的结构，以便从2阶问题的公式的知识中获得3阶问题的互信息的公式，仍然使用相同的插值。我们的证明技术直截了当地概括，并允许严格获得的互信息在任何顺序的递归方式。
2018-11-27 cond-mat.dis-nn cs.IT math-ph
Mutual information, matroids and extremal dependencies
本文证明了拟阵的秩函数可用“互信息函数”表示当且仅当拟阵是二元拟阵。所考虑的互信息函数是测量多址信道（MAC）的输入（二进制均匀）和输出之间的信息量的函数。此外，它示出的MAC的互信息功能是整数值是“等同于”的线性确定性MAC，在这个意义上说，它基本上包含在输出没有更多的信息比一些线性形式的输入。这些笔记把重点放在连接之间的互信息泛函和秩函数在拟阵理论，而不假设先验知识对这两个问题。第一部分介绍了互信息泛函，第二部分介绍了拟阵理论的基本概念，第三部分将这两个主题联系起来。它还表明，熵拟阵在文献中研究对应的MAC拟阵的具体情况。
2010-12-21 cs.IT math.IT
Replica Analysis for Generalized Linear Regression with IID Row Prior
不同于典型的独立同分布（IID）元素假设，本文研究了由线性混合空间和行映射通道构成的广义线性模型的IID行随机矩阵的估计.客观推理问题出现在许多工程领域，如无线通信，压缩传感，相位恢复。应用统计力学中的副本方法，分析了贝叶斯最优条件下的精确最小均方误差（MMSE）估计，得到了精确MMSE估计的副本对称解.同时，建立了目标模型与等效单矢量系统之间的输入输出互信息关系。为了估计信号，我们还提出了一个计算效率高的消息传递算法的期望传播（EP）的角度来看，并分析其动态。我们验证了所提出的算法的状态演化（SE）预测的渐近MSE完全匹配的精确MMSE估计预测的副本方法。这表明，如果存在唯一的不动点，则该算法可以获得最优的MSE误差。
2021-09-25 cs.IT math.IT
Equivalence of Fixed-Rank and Rank-One Even-Order Symmetric Tensor Factorization
The University of Turin（都灵大学）；The University of Hong Kong（香港大学）
本文证明有限秩偶阶对称张量分解在贝叶斯最优设置下与秩一情形自由熵极限等价，通过信息论恒等式和复制对称性将多维变分公式约化为一维，并调整了基于特征值的方法以处理Hadamard幂。
2026-09-09 cs.IT math-ph math.IT
Mutual Information Density of Massive MIMO Systems over Rayleigh-Product Channels
针对Rayleigh积信道缺乏有限块长分析的问题，本文建立MID的渐近CLT，推导分组错误概率界及高低信噪比近似，揭示秩亏缺对大规模MIMO性能的影响。
2024-04-09 cs.IT math.IT math.ST
The adaptive interpolation method: A simple scheme to prove replica formulas in Bayesian inference
近年来，在贝叶斯推理问题中，证明副本预测对（渐近）互信息（或“自由能”）的有效性方面取得了重要进展。已经出现的证明技术似乎是相当普遍的，尽管它们是在个案的基础上制定的。不幸的是，所有这些计划的一个共同点是它们的技术水平相对较高。我们提出了一个新的证明方案，这是相当简单的相对于以前的。我们称之为自适应插值方法，因为它可以被视为Guerra和Toninelli在自旋眼镜背景下开发的插值方法的扩展，具有自适应的插值路径。为了说明我们的方法，我们展示了如何证明三个非平凡的推理问题的副本公式。第一个是对称秩一矩阵估计（或因式分解），这是这里考虑的最简单的问题，也是该方法详细介绍的问题。然后推广到对称张量估计和随机线性估计。我们相信，目前的方法具有更广泛的适用范围，也揭示了新的见解的原因，副本公式的有效性贝叶斯推理。
2018-10-27 cond-mat.dis-nn cs.IT math.IT
Replica Analysis of the Linear Model with Markov or Hidden Markov Signal Priors
University of Cambridge（剑桥大学）
本文采用统计物理中的复本方法，估计了信源为马尔可夫链或隐马尔可夫模型的线性模型的自由能、平均互信息与MMSE，证明其可解耦为带状态信息的单输入AWGN信道，且数值结果与现有算法结果高度吻合。
2023-07-25 cs.IT cs.LG math.IT
Stochastic Mutual Information Gradient Estimation for Dimensionality Reduction Networks
Northeastern University（东北大学）；Graz University of Technology（格拉茨技术大学）；Silicon Austria Labs（硅谷奥地利实验室）
特征排序和选择是判别式机器学习中监督降维的各种应用中广泛使用的方法。然而，存在显着的证据特征排名和选择算法的基础上，任何标准导致潜在的次优解决方案的类可分性。在这方面，我们介绍了新兴的信息理论特征转换协议作为端到端的神经网络训练方法。我们提出了一个降维网络（MMINet）的训练过程的基础上随机估计的互信息梯度。该网络将高维特征投影到输出特征空间上，其中特征的低维表示携带与其相关联的类标签的最大互信息。此外，我们制定的训练目标，估计非参数，没有分布假设。我们实验评估我们的方法与应用程序的高维生物数据集，并将其与传统的特征选择算法，形成一个特殊的情况下，我们的方法。
2021-05-01 cs.IT cs.LG math.IT
Mutual Information for the Stochastic Block Model by the Adaptive Interpolation Method
严格推导了稠密图下非对称两群随机块模型的互信息的单字母变分表达式。文献中的现有证明是间接的，因为它们涉及将模型映射到秩一矩阵估计问题，然后通过方法的组合（例如，内插、空腔、算法、空间耦合）。在这方面的贡献，我们提供了一个独立的直接方法，只使用最近推出的自适应插值方法。
2019-07-16 cond-mat.dis-nn cs.IT math.IT
TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions
Fritz Haber Institute of the Max Planck Society（马克斯·普朗克学会弗里茨·哈伯研究所）；Humboldt-Universität zu Berlin（柏林洪堡大学）
相关特征的识别，即，决定过程或系统属性的驱动变量是分析具有大量变量的数据集的重要部分。量化这些特征的相关性的数学严格方法是互信息。互信息根据特征与感兴趣的属性的联合相互依赖性来确定特征的相关性。然而，互信息需要概率分布作为输入，这不能从连续分布（诸如像长度或能量的物理量）可靠地估计。在这里，我们介绍了总累积互信息（TCMI），相互依赖的相关性，扩展互信息的连续分布的基础上累积概率分布的随机变量的措施。TCMI是一种非参数的、鲁棒的和确定性的度量，其促进具有不同基数的特征集之间的比较和排名。TCMI诱导的排名允许特征选择，即，识别与感兴趣的属性在统计上非线性相关的变量集，考虑数据样本的数量以及变量集的基数。我们评估我们的措施与模拟数据的性能，比较其性能与类似的多变量依赖措施，并证明了我们的功能选择方法的有效性的一组标准数据集和材料科学中的一个典型场景。
2022-07-30 cs.IT cs.LG math.IT
Optimization of sequences in CDMA systems: a statistical-mechanics approach
统计力学方法不仅可用于分析无线通信系统的宏观系统性能，而且可用于讨论无线通信系统的设计问题。本文讨论了码分多址（CDMA）系统中扩频序列的设计问题，作为一个例子，说明了统计力学方法的实用性。本文用复制方法分析了随机扩频CDMA信道输入输出之间的平均互信息，并讨论了以平均互信息作为优化度量的优化问题。它已被证明是最大化的平均互信息正交不变的随机Welch界相等（WBE）扩展序列。
2008-10-01 cs.IT math.IT
High-dimensional rank-one nonsymmetric matrix decomposition: the spherical case
研究了加性高斯白噪声下秩1非对称矩阵的估计问题。估计的矩阵可以写成两个向量的外积，我们来看看两个向量均匀分布在球体上的特殊情况。我们证明了一个复制对称公式的平均互信息之间的这些向量和观察在高维制度。这超出了以前的结果，认为向量的独立和相同的分布元素。所使用的方法可以扩展到秩一张量问题。
2020-04-15 cs.IT math-ph math.IT
Estimation in the spiked Wigner model: A short proof of the replica formula
我们考虑在低信噪比的情况下估计Wigner矩阵的秩一扰动的问题。这是一个简单的模型，用于高维的主成分分析。每个变量之间的互信息的尖峰和观察到的矩阵，或等效地，归一化的Kullback-Leibler之间的分歧种植和空模型是已知的收敛到所谓的{ \em复制对称}公式，其属性确定在这个模型中的估计的基本限制。我们在本说明中提供了一个简短而透明的证明这个公式，基于简单的执行高斯插值和标准的浓度测量参数。\emph{Franz-Parisi potential}，即在固定重叠处的自由熵，在我们的证明中起着重要的作用。此外，我们的证明可以直接推广到偶数阶的尖峰张量模型。
2018-06-14 cs.IT math.IT math.PR
A New Approach for Capacity Analysis of Large Dimensional Multi-Antenna Channels
本文研究了当发射天线和接收天线的数目以相同的速率收敛到无穷大时，相关MIMO瑞利信道的互信息的特性。利用Poincaré-Nash不等式和分部积分公式，严格证明了互信息收敛于一个高斯随机变量，并计算了其均值和方差.这些结果证实了以前的评估的基础上，强大的，但不严格的副本方法。它被认为是在本文中使用的工具是简单的，强大的，和通信工程界的利益。
2006-12-15 cs.IT math.IT math.PR
On Compressive Sensing in Coding Problems: A Rigorous Approach
我们采取一个经典的稀疏采样噪声线性模型的信息论的角度来看，并提出了一个解析表达式的互信息，在各种通信/处理问题中起着核心作用。这样的表达式以前解决的边界，模拟和（非严格）的副本方法。互信息的表达基于[1]中使用的技术，解决了最小均方误差（MMSE）分析。使用这些表达式，我们专门研究了各种稀疏的线性通信模型，其中包括在不同的设置编码，也占多个接入信道和不同的窃听问题。对于这些，我们提供了单字母的表达式，并获得可实现的速率，捕捉这些及时的模型的通信/处理功能。
2014-03-24 cs.IT math.IT
Estimating Conditional Transfer Entropy in Time Series using Mutual Information and Non-linear Prediction
我们提出了一个新的估计量来衡量时间序列的有向依赖。首先使用新的非均匀嵌入技术降低数据的维数，其中变量根据新信息量的加权和和以及变量提供的预测准确性的提高进行排名。然后，使用贪婪方法，以迭代的方式选择信息量最大的子集。当与使用现有的所选子集获得的预测准确度相比，排名最高的变量不能显著提高预测准确度时，算法终止。在模拟研究中，我们比较我们的估计现有的国家的最先进的方法在不同的数据长度和定向依赖强度。结果表明，所提出的估计有一个显着更高的精度比现有的方法，特别是对于困难的情况下，其中的数据是高度相关和耦合。此外，我们表明，由于瞬时耦合效应的有向依赖的错误检测低于现有的措施。我们还表明，所提出的估计真实颅内脑电图数据的适用性。
2020-11-27 cs.IT math.IT stat.ME
