Asymptotic Mutual Information for the Two-Groups Stochastic Block Model
我们开发了一个随机块模型,一个流行的统计模型的复杂网络的大规模结构的信息论的观点。从这样的模型生成的图$G$首先从有限字母表中随机分配顶点标签,然后根据端点的标签用边概率连接顶点。在对称两群模型的情况下,我们建立了一个明确的“单字母”的表征每顶点之间的互信息的顶点标签和图。互信息的明确表达是密切相关的估计理论量,并-特别是-揭示了一个相变的临界点社区发现。在临界点以下,每顶点互信息渐近地相同,就好像边是独立的一样。相应地,没有算法比随机猜测更好地估计分区。相反,在阈值以上,每顶点互信息严格小于独立边上界。在这种情况下,存在一个程序,估计顶点标签比随机猜测。
2015-07-30 cond-mat.stat-mech cs.IT math.IT
Dual-Domain Exponent of Maximum Mutual Information Decoding
针对MMI译码的错误指数,本文通过双域推导证明常组分码下其与最大似然译码一致,并扩展至联合信源信道编码,验证广义MMI译码达到最大后验概率译码的随机编码指数。
2025-07-24 cs.IT math.IT math.PR
Using time-delayed mutual information to discover and interpret temporal correlation structure in complex populations
本文讨论了如何计算和解释的时间延迟互信息的一个复杂的,离散的和稀疏的测量,可能是非平稳的人口的时间序列的未知组成和起源。用于此分析的主要工具是在总体上平均的时间延迟互信息与聚集总体的时间延迟互信息之间的比较(这里聚集意味着在实施任何统计估计之前将总体结合)。通过使用信息理论工具,一系列实际可实现的计算进行了详细说明,允许的平均和聚合的时间延迟的互信息进行解释。此外,这些计算也可用于了解人群中存在的同质性或异质性程度。为了证明所提出的方法可以用于几乎任何情况下,该方法被应用和演示的时间序列的葡萄糖测量从两个不同的亚群的个人从哥伦比亚大学医学中心电子健康记录库,揭示了人口的组成以及生理特征的图片。
2011-10-18 cs.IT math.DS math.IT
On the Capacity Achieving Covariance Matrix for Frequency Selective MIMO Channels Using the Asymptotic Approach
在这篇文章中,提出了一种用于评估频率选择性Rayleigh MIMO信道的容量实现输入协方差矩阵的算法。与平坦衰落瑞利情况相比,最佳输入协方差矩阵的特征向量没有封闭形式的表达式。传统上,特征向量和特征值都是数值计算的,相应的优化算法在计算上仍然要求非常高。在本文中,它是建议优化(w.r.t.输入协方差矩阵)Moustakas和Simon导出的平均互信息的大系统近似。这种渐近近似的有效性是澄清感谢高斯大随机矩阵方法。它示出的近似是一个严格的凹函数的输入协方差矩阵和平均互信息估计在argmax的近似等于信道的容量高达O(1/t)的术语,其中t是发射天线的数量。提出了一种基于迭代注水方案的最大化平均互信息逼近的算法,并研究了其收敛性。数值仿真结果表明,即使对于中等数量的发射和接收天线,新的方法提供了相同的结果作为直接最大化的平均互信息的方法。
2011-04-12 cs.IT math.IT
Asymptotic mutual information in quadratic estimation problems over compact groups
Yale University(耶鲁大学)
本文研究了在紧凑群上进行二次估计问题中的渐近互信息,通过插值方法比较了信号-观测互信息与线性观测模型的差异,并在角/相同步中刻画了信息论极限。
2025-03-18 cs.IT math.IT math.ST
Coherent Fading Channels Driven by Arbitrary Inputs: Asymptotic Characterization of the Constrained Capacity and Related Information- and Estimation-Theoretic Quantities
我们考虑的渐近行为的平均最小均方误差(MMSE)和平均互信息在标量和矢量衰落相干信道的特征,其中接收机知道确切的衰落信道状态,但发射机只知道衰落信道分布,由一系列的输入。我们构建低的平均MMSE和平均互信息相干信道瑞利衰落,莱斯衰落或Nakagami衰落和离散输入(有限支持)或各种连续输入驱动的低的平均MMSE和高的渐近展开的贡献的新颖性的心脏。我们揭示了所谓的典型MMSE在标准加性高斯白噪声(AWGN)信道中的作用,在衰落相干信道中的平均MMSE和平均互信息的渐近行为的表征。我们还揭示了MMSE维度的连接和概括。能够构建这些非平凡展开式的最相关元素是实现估计和信息理论量的积分表示可以被视为具有单调变元的核的h变换:这使得能够使用一种新的积分渐近展开技术-梅林变换方法-不仅立即导致高,但是也可以是平均MMSE的低信噪比扩展,以及--通过I-MMSE关系--平均互信息的扩展。我们的结论与应用程序的结果的表征和优化的约束能力的银行的并行独立相干衰落信道驱动的任意离散输入。
2012-10-16 cs.IT math.IT
Asymptotic Capacity and Optimal Precoding Strategy of Multi-Level Precode & Forward in Correlated Channels
我们分析了一个多级MIMO中继系统,其中多天线发射机通过几个中继级将数据发送到多天线接收机,也配备了多个天线。假设在每一跳中的相关衰落,每个中继接收由前一级发送的信号的衰落版本,对接收到的信号执行预编码并将其重传到下一级。使用自由概率理论,并假设在中继级的噪声功率-但不是在接收机-是可以忽略不计的,一个封闭形式的表达的端到端的渐近瞬时互信息推导出在所有级别的天线的数量以相同的速率增长大。这个渐近表达式被证明是独立的信道实现,只依赖于信道统计,也作为渐近值的端到端的平均互信息。我们还提供了最大化渐近互信息的预编码矩阵的最佳奇异向量:由预编码矩阵的奇异向量表示的最佳发送方向在信道相关矩阵的特征向量上对齐,因此它们可以仅使用信道矩阵的已知统计来确定,并且不依赖于特定的信道实现。
2008-03-07 cs.IT math.IT
Concavity of Mutual Information Rate for Input-Restricted Finite-State Memoryless Channels at High SNR
我们考虑一个有限状态无记忆信道的独立同分布。信道状态和输入马尔可夫过程支持的混合有限型约束。讨论了输出隐马尔可夫链的熵率的渐近性质,并推导出在高信噪比下,这种信道的互信息率关于输入马尔可夫过程的参数是凹的.原则上,该方法的结果使得能够很好地数值逼近这种信道的最大互信息速率和容量。
2010-07-27 cs.IT math.IT
Asymptotic Capacity and Optimal Precoding in MIMO Multi-Hop Relay Networks
分析了多跳中继系统,其中由多天线源发送的数据由连续的多天线中继器中继,直到它到达多天线目的地。假设在每一跳处的相关衰落,每个中继从前一级接收信号的衰落版本,执行线性预编码并将其重传到下一级。使用自由概率理论,并假设在中继水平的噪声功率-但不是在目的地-是可以忽略不计的,渐近瞬时端到端互信息的封闭形式的表达式推导出在所有级别的天线的数量越来越大。这样得到的确定性表达式独立于信道实现,而仅取决于信道统计。此外,它还用作平均端到端互信息的渐近值。最后给出了在各级天线数目有限的情况下,使平均互信息最大化的预编码矩阵的最优奇异向量。结果表明,最优预编码奇异向量与信道相关矩阵的特征向量对齐。因此,可以仅使用已知的信道统计来确定它们。由于最优预编码奇异向量与系统规模无关,因此它们在渐近状态下也是最优的。
2009-05-29 cs.IT math.IT
Asymptotics of Transmit Antenna Selection: Impact of Multiple Receive Antennas
考虑具有$N_\mathrm{t}$发射天线和$N_\mathrm{r}$接收天线的衰落高斯MIMO信道。发射机选择对应于最强信道的$L_\mathrm{t}$天线。对于这种设置,我们研究了当$N_\mathrm{t}$变大时输入输出互信息的分布。我们表明,对于任何$N_\mathrm{r}$和$L_\mathrm{t}$,输入输出互信息的分布是准确地近似的高斯分布,其均值增长大,其方差收敛到零。我们的分析表明,在大的限制,应用Jensen不等式得到的互信息的期望值和相应的上限之间的差距,收敛到一个常数,它只取决于$N_\mathrm{r}$和$L_\mathrm{t}$。该结果将信道硬化的范围扩展到具有多个接收和选择的发射天线的天线选择的一般情况。虽然分析给出了大系统的限制,我们的数值研究表明,即使天线的数量并不大的近似分布的鲁棒性。
2017-04-27 cs.IT math.IT
On the capacity achieving covariance matrix for Rician MIMO channels: an asymptotic approach
确定了相干块衰落相关MIMO莱斯信道的实现容量的输入协方差阵。在这种情况下,最佳输入协方差阵的特征向量没有封闭形式的表达式。本文在发射和接收天线数收敛于$+\infty$的渐近条件下,对平均互信息进行了近似计算。提供了与相应的大系统近似的精度有关的新结果。提出了一个有吸引力的优化算法,我们建立,它产生一个有效的方法来计算容量实现协方差阵的平均互信息。最后,数值模拟结果表明,即使对于中等数量的发射和接收天线,新的方法提供了相同的结果,直接最大化的平均互信息的方法,而更有计算吸引力。
2010-07-09 cs.IT math.IT math.PR
Differential Privacy as a Mutual Information Constraint
差分隐私是一个精确的数学约束,旨在确保数据库中的各个信息片段的隐私,即使在查询正在回答有关聚合。直觉上,人们必须接受差分隐私能保证什么和不能保证什么。例如,该定义可以防止一个强大的对手知道数据库中除了一个条目之外的所有条目,从而进一步推断最后一个条目。这一强对抗假设可能被忽略,导致对差分隐私的隐私保证的误解。在这里,我们给出了一个等价的定义隐私使用的互信息,使一些差分隐私的微妙之处。互信息差分隐私在其强度方面实际上夹在$ε$ -差分隐私和$(ε,δ)$ -差分隐私之间。与以前使用无条件互信息的作品相比,差分隐私从根本上与条件互信息相关,伴随着数据库分布的最大化。除了对差分隐私给出一个更简单、更直观的定义外,使用互信息的概念优势在于,它的属性已经被很好地理解了。差分隐私的几个属性很容易验证的互信息替代,如合成定理。
2016-08-12 cs.CR cs.IT math.IT
On the Capacity Achieving Covariance Matrix for Frequency Selective MIMO Channels Using the Asymptotic Approach
在这篇文章中,提出了一种用于评估频率选择性Rayleigh MIMO信道的容量实现输入协方差矩阵的算法。与平坦衰落瑞利情况相比,最佳输入协方差矩阵的特征向量没有封闭形式的表达式。传统上,特征向量和特征值都是数值计算的,相应的优化算法在计算上仍然非常苛刻。在本文中,它是建议优化(w.r.t.输入协方差矩阵)Moustakas和Simon导出的平均互信息的大系统近似。提出了一种基于迭代注水方案的算法,并研究了其收敛性。数值仿真结果表明,即使对于中等数量的发射和接收天线,新的方法提供了相同的结果作为直接最大化的平均互信息的方法。
2010-07-06 cs.IT math.IT
Estimation and Confidence Intervals for Mutual Information: Issues in Convergence for Non-Normal Distributions
该研究针对正态与非正态双变量数据,对比多种互信息经验估计器的估计值与置信区间,发现非线性可逆变换、分布非正态性会影响估计精度与收敛性,甚至出现置信区间不含真值的情况,并提出了精度提升策略。
2024-09-23 cs.IT math.IT
Approximations of Shannon Mutual Information for Discrete Variables with Applications to Neural Population Coding
虽然Shannon互信息得到了广泛的应用,但对于许多实际问题,包括神经种群编码问题,其有效计算往往是困难的。基于Fisher信息的渐近公式有时提供对互信息的精确近似,但是这种方法限于连续变量,因为Fisher信息的计算需要关于编码变量的导数。本文考虑了基于Kullback-Leibler散度和Rényi散度的互信息的信息论界和近似。我们提出了几个信息度量近似香农互信息的神经种群编码的上下文中。虽然我们的渐近公式都适用于离散变量,但无论编码变量是离散的还是连续的,其中一个都具有一致的性能和高精度。我们进行了数值模拟,并证实我们的近似公式是高度准确的近似之间的互信息的刺激和反应的一个大的神经种群。这些近似公式可能为信息论在许多实际和理论问题中的应用带来潜在的方便。
2019-03-04 cs.IT math.IT math.ST
Fixed-Composition Shuffle Asymptotics in the Full-Support Gaussian Regime
针对二进制输入、固定有限输出字母表且全支持的本地随机化器,研究混洗隐私放大,推导内部固定组成下的协方差和Fisher常数,并证明精确似然比恒等式和回归分解,得到Jensen-Shannon散度和平滑散度的渐近公式。
2026-06-23 cs.IT math.IT
Information-Theoretic Bounds and Approximations in Neural Population Coding
Johns Hopkins University School of Medicine(约翰·霍普金斯大学医学院);China Electronics Technology Group Corporation(中国电子科技集团公司)
虽然香农互信息在许多学科中有着广泛的应用,但在实际应用中,由于维数灾难的存在,高维变量的互信息往往很难精确计算。本文主要研究神经种群编码中互信息的有效近似估计方法。对于大但有限的神经种群,我们推导出几个信息理论的渐近界和近似公式,在高维空间中仍然有效。我们证明,优化人口密度分布的基础上,这些近似公式是一个凸优化问题,允许有效的数值解。数值模拟结果表明,我们的渐近公式是高度准确的近似互信息的大神经种群。在特殊情况下,近似公式恰好等于真实的互信息。我们还讨论了变量变换和降维技术,以方便计算的近似。
2017-11-07 cs.IT cs.LG math.IT
Mutual Information in Community Detection with Covariate Information and Correlated Networks
研究了当节点标签存在协变量信息且观测到多个相关网络时的社区发现问题。我们提供了一个渐近上界的每个节点的互信息,以及一个启发式分析的多元性能指标称为MMSE矩阵。这些结果表明,表面上非常不同类型的信息的组合效应可以明确地在公式中的特点,涉及低维估计问题的加性高斯噪声。我们的分析得到了数值模拟的支持。
2019-12-11 cs.IT cs.LG math.IT
Mutual Information Rate of Gaussian and Truncated Gaussian Inputs on Intensity-Driven Signal Transduction Channels
本文研究了强度驱动信号转导信道上高斯输入的互信息率,推导了其渐近表达式、近似数值解及闭式上下界,并通过仿真验证了分析的准确性。
2023-06-27 cs.IT math.IT q-bio.QM
Parametric and structure-aware information theory for multi-scale analysis of composition
Mathematical Institute, University of Oxford(牛津大学数学研究所);Institute for New Economic Thinking, University of Oxford(牛津大学新经济思维研究所);Complexity Science Hub Vienna(维也纳复杂科学中心)
本文提出了一种敏感于底层领域几何结构的概率分布发散度,用于在合成聚类任务中恢复隐藏模式,并在经济地理和生态学中展示了其应用。
2026-10-06 cs.IT math.IT physics.soc-ph
On the Ergodic Mutual Information of Keyhole MIMO Channels With Finite-Alphabet Inputs
本文研究了具有有限字母表输入信号的锁孔多输入多输出信道的各态历经互信息(EMI)。首先研究了单流传输的EMI,考虑了在发送端有和没有信道状态信息的情况。然后,推导出的结果被扩展到多流传输的场景。在高信噪比(SNR)的制度进行渐近分析。高SNR EMI收敛到一个常数,其收敛速度由分集阶数决定。在此基础上,讨论了小孔效应对电磁干扰的影响。数值模拟验证了分析结果。
2022-09-09 cs.IT eess.SP math.IT
Estimating Mutual Information by Local Gaussian Approximation
从样本中估计互信息(MI)是统计学、机器学习和数据分析中的基本问题。最近研究表明,一类流行的非参数MI估计对强相依变量的表现非常差,并且具有与真实MI呈指数级的样本复杂性。这种不希望的行为是由于依赖于这些估计的局部均匀性的基础(和未知的)概率密度函数。在这里,我们提出了一种新的半参数估计的互信息,在每个样本点,密度是{ \em局部}近似的高斯分布。我们证明了估计量是渐近无偏的。我们还表明,建议的估计有一个优越的性能相比,几个基线,并能够准确地测量关系的强度超过许多数量级。
2016-02-17 cs.IT math.IT physics.data-an
On the Saddle-point Solution and the Large-Coalition Asymptotics of Fingerprinting Games
研究了一个合谋者数量和合谋渠道未知的指纹博弈。编码器将指纹嵌入到主机序列中,并为解码器提供追溯盗版副本到共谋者的能力。指纹容量最近被推导为一系列最小博弈的极限值,互信息作为它们的支付函数。然而,这些游戏一般不承认鞍点解决方案,是非常难以解决的数字。在这里,在所谓的Boneh-Shaw标记假设下,我们将容量重新表示为单个两人零和博弈的值,并表明它是通过鞍点解实现的。如果最大联盟的大小是k和指纹字母表是二进制的,我们表明,容量随k二次衰减。此外,我们还严格证明了渐近容量为1/(k^2 2ln 2),证实了我们早先的猜想:Tardos选择的反正弦分布渐近地最大化了互信息支付函数,而交错攻击使之最小化.
2011-04-19 cs.CR cs.IT math.IT
IT formulae for gamma target: mutual information and relative entropy
在本文中,我们介绍了新的Stein恒等式的伽玛目标分布,以及一个新的非线性信道专门设计的伽玛输入。从这两个成分,我们推导出一个明确的和简单的公式,该非线性信道的输入-输出互信息的导数相对于信道质量参数。这种关系使人想起加性高斯噪声信道的输入-输出互信息相对于信噪比的导数与最小均方误差之间的众所周知的联系。证明依赖于一个重新缩放版本的德布鲁因身份的伽马目标分布与随机表示的伽马特定的Fisher信息。最后,我们能够得到精确的界限和渐近的输入-输出互信息的非线性信道与伽玛输入。
2016-09-08 cs.IT math.IT math.PR
Random Matrix Systems with Block-Based Behavior and Operator-Valued Models
研究了多天线信道中渐近各向同性互信息的估计模型。使用块为基础的动力学和角度多样性的系统,我们得出了什么可以被认为是操作值版本的克罗内克相关模型。该模型比经典模型更灵活,因为它既包含了任意信道相关性,又包含了由渐近天线方向图产生的相关性。利用算子值自由概率工具建立了系统渐近各向同性互信息的计算方法。一个特殊的情况下,我们认为,在显式柯西变换和所有的计算是用对角矩阵,这使得实现更简单,更有效。
2014-07-16 cs.IT math.IT math.PR
Capacity of Differential versus Non-Differential Unitary Space-Time Modulation for MIMO channels
差分酉空时调制(DUSTM)及其早期的非差分对应物USTM允许高吞吐量MIMO通信,而发射机或接收机完全不拥有信道状态信息(CSI)。对于各向同性随机酉输入,我们得到了精确的封闭形式的表达的概率密度的DUSTM接收信号,这使得直接的Monte Carlo评估其互信息。我们比较了DUSTM和USTM的性能,通过数值计算的互信息,并通过分析低和高信噪比的渐近表达式。在我们的比较中,等效酉空时信号的符号持续时间都等于T,接收天线的数量N也等于T。对于DUSTM,发射天线的数量被方案约束为M = T/2,而USTM没有这样的约束。如果DUSTM和USTM在高SNR下利用相同数量的发射天线,则以比特/秒/Hz表示的差分和非差分方案的归一化互信息渐近相等,其中差分方案执行得稍微好一些,而在低SNR下,DUSTM的归一化互信息渐近为USTM的归一化互信息的两倍。相反,如果USTM利用最佳数量的发射天线,则USTM可以在足够低的SNR下胜过DUSTM。
2005-12-12 cond-mat.stat-mech cs.IT math-ph
Mutual information for low-rank even-order symmetric tensor estimation
考虑有限秩对称张量分解的统计模型,证明了当张量为偶数阶时,其渐近互信息的单字母变分表达式。证明应用自适应插值方法最初发明的秩一分解。在这里,我们展示了如何将自适应插值扩展到有限秩和偶数阶张量。这就需要新的非平凡的想法,在目前的分析文献。我们还强调证明不足时,处理奇数阶张量。
2020-09-23 cond-mat.dis-nn cs.IT math-ph
Doubly minimized Petz and sandwiched Renyi mutual information: Operational interpretation from binary quantum state discrimination
ETH Zurich(苏黎世联邦理工学院)
本文研究了二元量子态鉴别问题,证明了双重最小化Petz Renyi互信息决定直接指数,而sandwiched Renyi互信息决定强反向指数,扩展了经典分布结果到量子领域。
2026-04-05 cs.IT math.IT quant-ph