Asymptotic mutual information in quadratic estimation problems over compact groups
Yale University（耶鲁大学）
本文研究了在紧凑群上进行二次估计问题中的渐近互信息，通过插值方法比较了信号-观测互信息与线性观测模型的差异，并在角/相同步中刻画了信息论极限。
2025-03-18 cs.IT math.IT math.ST
Low-Signal-Energy Asymptotics of Capacity and Mutual Information for the Discrete-Time Poisson Channel
推导出离散时间泊松信道中互信息的低信号能量渐近的第一项，并与容量的渐近表达式进行比较。在存在非零加性噪声（泊松噪声或几何噪声）的情况下，互信息在零信号能量处是凹的，并且在零容量处不能获得每比特的最小能量。与信号能量成比例的固定信号星座不能达到每比特的最小能量。当存在加性泊松噪声时，每比特的最小能量为零，并且当存在平均值$\ew$的加性几何噪声时，每比特的最小能量为$\ew\log 2$。
2008-08-20 cs.IT math.IT
Strong Asymptotic Composition Theorems for Mutual Information Measures
我们描述了增长的Sibson和Arimoto互信息和$α$ -最大泄漏，任何顺序，至少是统一的，之间的随机变量和一组不断增长的噪声，条件独立和identically分布的随机变量的观察。这些措施中的每一个都以指数方式快速增长到一个极限，该极限是阶数和测量相关的，指数是阶数和测量无关的。
2021-11-21 cs.IT math.IT
On Hidden Markov Processes with Infinite Excess Entropy
研究了过去和未来之间的互信息为无穷大的平稳隐马尔可夫过程。假设可观测状态的数目是有限的，而隐状态的数目是可数无穷的。在此假设下，我们证明了隐马尔可夫过程的块互信息的上界是由隐状态分布的尾部指数所决定的幂律。此外，我们展示了三个过程的例子。前面考虑的第一个例子是非遍历的，块之间的互信息由块长度的对数限定。第二个例子也是非遍历的，但是块之间的互信息服从幂律。第三个例子服从幂律，并且是遍历的。
2012-11-21 cs.IT math.IT
MIMO Beamforming Design towards Maximizing Mutual Information in Wireless Sensor Network
本文研究了在具有噪声观测和多天线的相干无线传感器网络中，以最大化互信息为目标的联合波束形成器设计。利用加权最小均方误差和块坐标上升（BCA）框架，我们提出了两个新的和有效的方法：批量模式BCA和循环多块BCA。现有的批处理模式方法需要严格的条件，如对角信道矩阵和正定二阶矩阵，因此不适用于我们的问题。我们的匹配模式BCA克服了以前的限制，通过一般的二阶锥规划形成，并表现出很强的收敛性，我们已经严格证明。现有的多块方法依赖于数值求解器来处理子问题，并且一些方法仅在高信噪比下才表现出良好的性能。利用凸的情况下的信赖域子问题的凸性，我们的多块BCA显着降低了复杂性，并通过提供一个解析表达式的能量保持最优解增强了以前的结果。分析和仿真证实了所提出的方法的优点。
2015-11-11 cs.IT math.IT
Asymptotic Mutual Information Statistics of Separately-Correlated Rician Fading MIMO Channels
在存在Rician衰落和空间相关的情况下，需要精确表征MIMO系统的互信息以评估无线通信信道的吞吐量。在这里，我们提出了一种渐近的方法，允许近似的互信息的分布为高斯分布，以提供平均可达速率和中断概率。更精确地说，当发射天线和接收天线的数目渐近增长且它们的比率接近一个有限常数时，推导了分离相关莱斯衰落MIMO信道的互信息的均值和方差。推导是基于副本的方法，广泛用于理论物理的渐近技术，最近，在通信（CDMA和MIMO）系统的性能分析。副本方法允许以相对简单的方式分析非常困难的系统情况，尽管一些作者指出其假设并不总是严格的。意识到这一点，我们强调的关键假设在这种情况下，非常类似的假设在技术文献中使用的副本方法在其渐近分析。至于有关的互信息的高斯分布的收敛性，它表明，它持有一些温和的技术条件下，这相当于假设的空间相关结构没有渐近占主导地位的本征模。渐近方法的准确性进行评估，提供了相当数量的数值结果。它示出的近似是非常准确的，在各种各样的系统设置，即使当发射和接收天线的数量是小到几个单位。
2007-12-24 cs.IT math.IT
Asymptotic Average Mutual Information Over Finite Input Mixture Gamma Distributed Channels
本文建立了一个统一的分析框架来研究高信噪比下有限输入信号驱动的混合伽马（MG）分布式衰落信道的渐近平均互信息（AMI）。研究发现，随着平均信噪比的增加，AMI收敛到某个常数，其收敛速度（ROC）由编码增益和分集阶数决定。此外，推导出的结果被用来研究一个银行的并行衰落信道具有有限的输入的渐近最优功率分配策略。建议在高信噪比区域，具有较低编码增益或分集阶数的子信道应被分配更多的功率。最后，数值结果提供了配合的理论分析。
2021-11-24 cs.IT eess.SP math.IT
Weak recovery, hypothesis testing, and mutual information in stochastic block models and planted factor graphs
本研究证明稀疏随机块模型中弱恢复与检测任务除临界点外等价，给出检测不可行时的高效低次最优检验，还证明渐近互信息在弱恢复阈值处存在相变，且结果可推广至超图块模型与植入因子图。
2025-02-21 cs.IT cs.SI math.CO
Asymptotic Mutual Information Analysis for Double-scattering MIMO Channels: A New Approach by Gaussian Tools
双散射信道下多输入多输出（MIMO）系统的渐近互信息（MI）分析已经取得了令人满意的结果，但其均值、方差和分布的收敛速度尚未得到文献的证明。本文利用大随机矩阵理论（RMT），给出了MI的中心极限理论（CLT），并利用高斯工具导出了均值和方差的封闭近似。首次证明了均值、方差和特征函数的收敛速度为O（1/N），其中N为发射天线数。此外，有效散射体的数量的平均值和方差的影响进行了研究，在中高信噪比制度与一些有趣的物理见解。所提出的评估框架可用于其他系统在双散射信道下的渐近性能分析。
2023-01-17 cs.IT math.IT
High-SNR Asymptotics of Mutual Information for Discrete Constellations with Applications to BICM
在信噪比趋于无穷大的极限下，给出了标量加性高斯白噪声信道中任意离散输入与相应输出之间的互信息的渐近表达式.给出了在给定信道输出的情况下，通过估计信道输入所获得的符号错误概率（SEP）和最小均方误差（MMSE）的渐近表达式。结果表明，对于任何输入分布，给定输出的信道输入的条件熵，MMSE和SEP具有与高斯Q函数成比例的渐近行为。该Q函数的幅角仅取决于星座图的最小欧氏距离（MED）和信噪比，比例常数是MED和MED处星座点对概率的函数.将推导的表达式推广到比特交织编码调制（BICM）中，研究了广义互信息（GMI）的高信噪比特性.通过这些渐近表达式，证明了长期以来的猜想，格雷码是二进制标记，最大化的BICM-GMI在高信噪比。它进一步表明，对于任何等距星座的大小是2的幂，总是存在一个反格雷码给出最低的BICM-GMI在高信噪比。
2013-09-10 cs.IT math.IT
Mutual Information Density of Massive MIMO Systems over Rayleigh-Product Channels
针对Rayleigh积信道缺乏有限块长分析的问题，本文建立MID的渐近CLT，推导分组错误概率界及高低信噪比近似，揭示秩亏缺对大规模MIMO性能的影响。
2024-04-09 cs.IT math.IT math.ST
Approximations of Shannon Mutual Information for Discrete Variables with Applications to Neural Population Coding
虽然Shannon互信息得到了广泛的应用，但对于许多实际问题，包括神经种群编码问题，其有效计算往往是困难的。基于Fisher信息的渐近公式有时提供对互信息的精确近似，但是这种方法限于连续变量，因为Fisher信息的计算需要关于编码变量的导数。本文考虑了基于Kullback-Leibler散度和Rényi散度的互信息的信息论界和近似。我们提出了几个信息度量近似香农互信息的神经种群编码的上下文中。虽然我们的渐近公式都适用于离散变量，但无论编码变量是离散的还是连续的，其中一个都具有一致的性能和高精度。我们进行了数值模拟，并证实我们的近似公式是高度准确的近似之间的互信息的刺激和反应的一个大的神经种群。这些近似公式可能为信息论在许多实际和理论问题中的应用带来潜在的方便。
2019-03-04 cs.IT math.IT math.ST
Mixing, Ergodic, and Nonergodic Processes with Rapidly Growing Information between Blocks
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
我们构建混合过程在一个无限的字母表和遍历过程在一个有限的字母表的长度$n$的相邻块之间的香农互信息增长$n^β$，其中$β\in(0,1)$。这些过程是在自然语言建模的背景下引入的非遍历Santa Fe过程的修改。后两个过程的互信息率是相同的，本文也建立了这一关系。作为一个辅助结果，证明了混合过程的无穷直积也是混合的。
2011-11-22 cs.CL cs.IT math.IT
Generalized Mutual Information
互信息是信息论的基本组成部分之一。然而，它只被定义为快速衰减的尾巴上的两个随机元素的可数联合字母表的分布。联合字母表上所有分布的一般类上的互信息的无界性阻止了其潜在的效用被充分实现。这实际上是信息论基础上的一个需要填补的空白。本文提出了一个广义互信息族，它的所有成员（1）除了Shannon定义的互信息外，对联合可数字母表上两个随机元素的每一个分布都有严格的定义;（2）具有有限Shannon互信息的所有效用。
2019-07-11 cs.IT math.IT
Random Matrix Systems with Block-Based Behavior and Operator-Valued Models
研究了多天线信道中渐近各向同性互信息的估计模型。使用块为基础的动力学和角度多样性的系统，我们得出了什么可以被认为是操作值版本的克罗内克相关模型。该模型比经典模型更灵活，因为它既包含了任意信道相关性，又包含了由渐近天线方向图产生的相关性。利用算子值自由概率工具建立了系统渐近各向同性互信息的计算方法。一个特殊的情况下，我们认为，在显式柯西变换和所有的计算是用对角矩阵，这使得实现更简单，更有效。
2014-07-16 cs.IT math.IT math.PR
Permutation Excess Entropy and Mutual Information between the Past and Future
我们解决过剩熵，这是平稳时间序列的复杂性的措施，从有序的角度来看。证明了有限状态平稳遍历马氏过程序空间中两个相邻半无限块之间的置换过剩熵等于互信息。这一结果可能为复杂性和预期之间的关系提供新的线索。
2011-12-12 cs.IT math.IT nlin.CD
A Neural Difference-of-Entropies Estimator for Mutual Information
CAMaCS, University of Warwick（沃里克大学CAMaCS中心）；Mathematics Institute, University of Warwick（沃里克大学数学学院）
本文提出一种基于归一化流和块自回归结构的神经熵差互信息估计器，在高维基准任务上改善了偏差-方差权衡。
2025-10-23 cs.IT cs.LG math.IT
Asymptotic FRESH Properizer for Block Processing of Improper-Complex Second-Order Cyclostationary Random Processes
研究了离散时间（DT）非理想复二阶循环平稳（SOCS）随机过程的块处理问题。特别地，感兴趣的是找到能够实现计算上高效的接近最优的后处理的预处理操作。首先提出了一种可逆的线性共轭线性算子DT频率偏移（FRESH）性质化子。结果表明，DT FRESH properizer转换DT不正确复杂的SOCS随机过程输入到一个等价的DT正确复杂的SOCS随机过程输出，通过使用的信息，只有关于输入的周期。然后提出了一个可逆的LCL块处理算子，称为渐近FRESH properizer，它模仿DT FRESH properizer的操作，但处理DT非正常复杂SOCS随机过程的有限个连续样本。结果表明，渐近FRESH性质化器的输出不是真的，而是渐近真的，并且当块大小趋于无穷大时，其频域协方差矩阵收敛于一个具有对角块的高结构块矩阵.两个代表性的估计和检测问题，证明渐近最优的低复杂度后处理器可以很容易地设计利用这些渐近二阶性能的输出的渐近FRESH properizer。
2013-04-27 cs.IT math.IT
Minimizing couplings in renormalization by preserving short-range mutual information
统计力学中的重整化与信息论之间的联系是直观的，但令人满意的理论处理仍然难以捉摸。最近，Koch-Janusz和Ringel提出通过最小化长程互信息的损失来选择经典晶格系统的实空间重整化映射[Nat. Phys. 14，578（2018）]。这种技术的成功部分与重整化哈密顿量中长程耦合的最小化有关[Lenggenhager等人，版本X 10，011037（2020）]。我们表明，为了最大限度地减少这些耦合的重整化映射应该，有点违反直觉，而不是选择，以尽量减少块和它的边界之间的短程互信息的损失。此外，前面的最小化是这种方法的放松，这表明，保持远程物理和消除短程耦合的目标是以一种非平凡的方式相关。
2021-07-02 cond-mat.stat-mech cs.IT math.IT
On the Capacity Achieving Covariance Matrix for Frequency Selective MIMO Channels Using the Asymptotic Approach
在这篇文章中，提出了一种用于评估频率选择性Rayleigh MIMO信道的容量实现输入协方差矩阵的算法。与平坦衰落瑞利情况相比，最佳输入协方差矩阵的特征向量没有封闭形式的表达式。传统上，特征向量和特征值都是数值计算的，相应的优化算法在计算上仍然要求非常高。在本文中，它是建议优化（w.r.t.输入协方差矩阵）Moustakas和Simon导出的平均互信息的大系统近似。这种渐近近似的有效性是澄清感谢高斯大随机矩阵方法。它示出的近似是一个严格的凹函数的输入协方差矩阵和平均互信息估计在argmax的近似等于信道的容量高达O（1/t）的术语，其中t是发射天线的数量。提出了一种基于迭代注水方案的最大化平均互信息逼近的算法，并研究了其收敛性。数值仿真结果表明，即使对于中等数量的发射和接收天线，新的方法提供了相同的结果作为直接最大化的平均互信息的方法。
2011-04-12 cs.IT math.IT
Coherent Fading Channels Driven by Arbitrary Inputs: Asymptotic Characterization of the Constrained Capacity and Related Information- and Estimation-Theoretic Quantities
我们考虑的渐近行为的平均最小均方误差（MMSE）和平均互信息在标量和矢量衰落相干信道的特征，其中接收机知道确切的衰落信道状态，但发射机只知道衰落信道分布，由一系列的输入。我们构建低的平均MMSE和平均互信息相干信道瑞利衰落，莱斯衰落或Nakagami衰落和离散输入（有限支持）或各种连续输入驱动的低的平均MMSE和高的渐近展开的贡献的新颖性的心脏。我们揭示了所谓的典型MMSE在标准加性高斯白噪声（AWGN）信道中的作用，在衰落相干信道中的平均MMSE和平均互信息的渐近行为的表征。我们还揭示了MMSE维度的连接和概括。能够构建这些非平凡展开式的最相关元素是实现估计和信息理论量的积分表示可以被视为具有单调变元的核的h变换：这使得能够使用一种新的积分渐近展开技术-梅林变换方法-不仅立即导致高，但是也可以是平均MMSE的低信噪比扩展，以及--通过I-MMSE关系--平均互信息的扩展。我们的结论与应用程序的结果的表征和优化的约束能力的银行的并行独立相干衰落信道驱动的任意离散输入。
2012-10-16 cs.IT math.IT
Spatially Coupled Codes with Sub-Block Locality: Joint Finite Length-Asymptotic Design Approach
具有子块局部性的SC-LDPC码可以在比完整码块小得多的子块级别上被局部解码，从而提供对编码信息的快速访问。相同的代码也可以使用整个代码块进行全局解码，以提高数据可靠性。在本文中，我们追求这样的代码从有限长度和渐近透镜的分析和设计。这种混合方法很少应用于设计SC码，但它有利于优化代码图的局部和全局性能。我们提出的框架包括两个步骤：1）设计的本地代码的阈值和循环计数，和2）设计的耦合的本地代码的最佳循环计数的全球设计。
2020-05-27 cs.IT math.IT
Asymptotic Capacity and Optimal Precoding Strategy of Multi-Level Precode & Forward in Correlated Channels
我们分析了一个多级MIMO中继系统，其中多天线发射机通过几个中继级将数据发送到多天线接收机，也配备了多个天线。假设在每一跳中的相关衰落，每个中继接收由前一级发送的信号的衰落版本，对接收到的信号执行预编码并将其重传到下一级。使用自由概率理论，并假设在中继级的噪声功率-但不是在接收机-是可以忽略不计的，一个封闭形式的表达的端到端的渐近瞬时互信息推导出在所有级别的天线的数量以相同的速率增长大。这个渐近表达式被证明是独立的信道实现，只依赖于信道统计，也作为渐近值的端到端的平均互信息。我们还提供了最大化渐近互信息的预编码矩阵的最佳奇异向量：由预编码矩阵的奇异向量表示的最佳发送方向在信道相关矩阵的特征向量上对齐，因此它们可以仅使用信道矩阵的已知统计来确定，并且不依赖于特定的信道实现。
2008-03-07 cs.IT math.IT
Concavity of Mutual Information Rate for Input-Restricted Finite-State Memoryless Channels at High SNR
我们考虑一个有限状态无记忆信道的独立同分布。信道状态和输入马尔可夫过程支持的混合有限型约束。讨论了输出隐马尔可夫链的熵率的渐近性质，并推导出在高信噪比下，这种信道的互信息率关于输入马尔可夫过程的参数是凹的.原则上，该方法的结果使得能够很好地数值逼近这种信道的最大互信息速率和容量。
2010-07-27 cs.IT math.IT
On the capacity achieving covariance matrix for Rician MIMO channels: an asymptotic approach
确定了相干块衰落相关MIMO莱斯信道的实现容量的输入协方差阵。在这种情况下，最佳输入协方差阵的特征向量没有封闭形式的表达式。本文在发射和接收天线数收敛于$+\infty$的渐近条件下，对平均互信息进行了近似计算。提供了与相应的大系统近似的精度有关的新结果。提出了一个有吸引力的优化算法，我们建立，它产生一个有效的方法来计算容量实现协方差阵的平均互信息。最后，数值模拟结果表明，即使对于中等数量的发射和接收天线，新的方法提供了相同的结果，直接最大化的平均互信息的方法，而更有计算吸引力。
2010-07-09 cs.IT math.IT math.PR
Asymptotic Capacity and Optimal Precoding in MIMO Multi-Hop Relay Networks
分析了多跳中继系统，其中由多天线源发送的数据由连续的多天线中继器中继，直到它到达多天线目的地。假设在每一跳处的相关衰落，每个中继从前一级接收信号的衰落版本，执行线性预编码并将其重传到下一级。使用自由概率理论，并假设在中继水平的噪声功率-但不是在目的地-是可以忽略不计的，渐近瞬时端到端互信息的封闭形式的表达式推导出在所有级别的天线的数量越来越大。这样得到的确定性表达式独立于信道实现，而仅取决于信道统计。此外，它还用作平均端到端互信息的渐近值。最后给出了在各级天线数目有限的情况下，使平均互信息最大化的预编码矩阵的最优奇异向量。结果表明，最优预编码奇异向量与信道相关矩阵的特征向量对齐。因此，可以仅使用已知的信道统计来确定它们。由于最优预编码奇异向量与系统规模无关，因此它们在渐近状态下也是最优的。
2009-05-29 cs.IT math.IT
On the Second-Order Statistics of the Instantaneous Mutual Information in Rayleigh Fading Channels
本文研究了时变瑞利衰落信道中，在一般非各向同性散射环境下，瞬时互信息的二阶统计量。具体而言，首先在单输入单输出（SISO）系统中的自相关函数，相关系数，电平交叉率，和瞬时互信息的平均中断持续时间进行了研究。封闭形式的精确表达式推导，以及准确的近似在低和高信噪比制度。然后，将所得结果推广到多输入单输出和单输入多输出系统，以及采用正交空时分组码传输的多输入多输出系统。蒙特卡罗模拟提供了验证分析结果的准确性。结果进一步揭示了瞬时互信息在移动衰落信道中的动态行为。
2006-03-08 cs.IT math.IT
Neural Estimation of Information Leakage for Secure Communication System Design
针对窃听信道安全通信，提出基于变分对比对数比上界和伯努利专家混合的神经互信息估计器，可准确量化泄漏并扩展块长度至255，用于设计通用哈希族。
2025-08-07 cs.IT math.IT
Capacity of Differential versus Non-Differential Unitary Space-Time Modulation for MIMO channels
差分酉空时调制（DUSTM）及其早期的非差分对应物USTM允许高吞吐量MIMO通信，而发射机或接收机完全不拥有信道状态信息（CSI）。对于各向同性随机酉输入，我们得到了精确的封闭形式的表达的概率密度的DUSTM接收信号，这使得直接的Monte Carlo评估其互信息。我们比较了DUSTM和USTM的性能，通过数值计算的互信息，并通过分析低和高信噪比的渐近表达式。在我们的比较中，等效酉空时信号的符号持续时间都等于T，接收天线的数量N也等于T。对于DUSTM，发射天线的数量被方案约束为M = T/2，而USTM没有这样的约束。如果DUSTM和USTM在高SNR下利用相同数量的发射天线，则以比特/秒/Hz表示的差分和非差分方案的归一化互信息渐近相等，其中差分方案执行得稍微好一些，而在低SNR下，DUSTM的归一化互信息渐近为USTM的归一化互信息的两倍。相反，如果USTM利用最佳数量的发射天线，则USTM可以在足够低的SNR下胜过DUSTM。
2005-12-12 cond-mat.stat-mech cs.IT math-ph
Asymptotics of Transmit Antenna Selection: Impact of Multiple Receive Antennas
考虑具有$N_\mathrm{t}$发射天线和$N_\mathrm{r}$接收天线的衰落高斯MIMO信道。发射机选择对应于最强信道的$L_\mathrm{t}$天线。对于这种设置，我们研究了当$N_\mathrm{t}$变大时输入输出互信息的分布。我们表明，对于任何$N_\mathrm{r}$和$L_\mathrm{t}$，输入输出互信息的分布是准确地近似的高斯分布，其均值增长大，其方差收敛到零。我们的分析表明，在大的限制，应用Jensen不等式得到的互信息的期望值和相应的上限之间的差距，收敛到一个常数，它只取决于$N_\mathrm{r}$和$L_\mathrm{t}$。该结果将信道硬化的范围扩展到具有多个接收和选择的发射天线的天线选择的一般情况。虽然分析给出了大系统的限制，我们的数值研究表明，即使天线的数量并不大的近似分布的鲁棒性。
2017-04-27 cs.IT math.IT
Conditional Mutual Information Neural Estimator
KTH Royal Institute of Technology（KTH皇家理工学院）
最近在通信系统中的几项工作已经提出在编码器和解码器的设计中利用神经网络的能力。在这种方法中，可以基于来自信道的聚合样本来定制这些块以最大化传输速率。在许多通信方案中，可实现的传输速率是由条件互信息项决定的，基于神经网络的信息理论量的估计是本文的重点。我们的结果是基于KL-发散的变分界限，与以前的一些工作相比，我们提供了一个数学上严格的下限。然而，额外的挑战，相对于无条件的互信息出现由于存在的条件密度函数，我们在这里解决。
2020-02-14 cs.IT cs.LG math.IT
Fundamental Inequalities and Identities Involving Mutual and Directed Informations in Closed-Loop Systems
给出了反馈系统中互信息和有向信息的几个新的恒等式和不等式。这种系统的内部块仅限于因果映射，但允许是非线性的，随机的和时变的。此外，所涉及的信号可以任意分布。利用反馈环内外信号间的互信息来约束反馈环内信号间的有向信息。这个基本结果有一个有趣的解释，作为信息流守恒定律。在此基础上，我们得到了一些新的身份和不等式，这使我们能够证明一些现有的信息不平等的限制性较低的假设。最后，我们建立了新的嵌套有向信息之间的关系内的反馈回路。这产生了一个新的和一般的数据处理不等式系统的反馈。
2013-01-28 cs.IT math.IT
Random linear under-determined systems with block-sparse solutions -- asymptotics, large deviations, and finite dimensions
本文考虑具有块稀疏解的随机线性欠定系统。此类系统的标准子变体，即完全相同类型的系统，没有额外的块结构要求，在过去十年中得到了广泛的普及。这当然首先是由于成功的数学表征的$\ell_1$优化技术，通常用于解决这样的系统，最初实现了在\cite{CRT,DOnoho06CS}和后来完善的\cite{DonohoPol,DonohoUnsigned,StojnicCSetam09,StojnicUpper10}。我们在\cite{StojnicCSetam09,StojnicUpper10}中取得的成功表征了标准稀疏解决方案系统，然后我们能够在一系列论文中复制\cite{StojnicCSetamBlock09,StojnicUpperBlock10,StojnicICASSP09block,StojnicJSTSP09}，而不是标准的$\ell_1$优化，我们利用其$\ell_2/\ell_1$变体作为更好地适合块稀疏解决方案的系统。所有这些结果最终解决了所谓的阈值/相变现象（自然假设渐近/大尺寸场景）。在这里，除了一些新的渐近考虑，我们还试图提高一点水平，远离渐近，并考虑有限维的情况。
2016-12-20 cs.IT math.IT math.OC
Mutual Information in Community Detection with Covariate Information and Correlated Networks
研究了当节点标签存在协变量信息且观测到多个相关网络时的社区发现问题。我们提供了一个渐近上界的每个节点的互信息，以及一个启发式分析的多元性能指标称为MMSE矩阵。这些结果表明，表面上非常不同类型的信息的组合效应可以明确地在公式中的特点，涉及低维估计问题的加性高斯噪声。我们的分析得到了数值模拟的支持。
2019-12-11 cs.IT cs.LG math.IT
Discriminative Mutual Information Estimation for the Design of Channel Capacity Driven Autoencoders
基于机器学习的最佳和高效通信系统的开发可能是超越5G通信技术的关键推动因素。在这个方向上，物理层设计最近已经在深度学习框架下重新制定，其中自动编码器范式将整个通信系统视为端到端编码-解码问题。给定损失函数，自编码器在特定信道模型下联合学习编码和解码最优块。由于通信中的性能通常是指可达到的速率和信道容量，信道输入和输出之间的互信息可以被包括在端到端训练过程中，因此，其估计变得至关重要。在本文中，我们提出了一组新的歧视性互信息估计，我们讨论了如何利用它们来设计容量接近码，并最终估计信道容量。
2021-11-15 cs.IT eess.SP math.IT
Transceiver Pair Designs for Multiple Access Channels under Fixed Sum Mutual Information using MMSE Decision Feedback Detection
在本文中，我们考虑的联合设计的多址多输入多输出（MIMO）系统的收发机具有符号间干扰（ISI）信道。我们考虑的系统配备了最小均方误差（MMSE）判决反馈（DF）检测器。传统上，该系统的发射机设计基于每个用户的发射功率或信号干扰噪声比（SINR）的约束。在这里，我们探索了一个新的视角，并研究了收发器的设计，这是基于一个固定的总和互信息的约束，并最大限度地减少MMSE判决反馈检测的均方误差的算术平均值。对于这个优化问题，得到一个封闭形式的解决方案，并实现当且仅当平均和互信息均匀分布在每个活动的子信道。同时，假设所有先前的用户信号都已被完美地检测，则当前检测到的用户的互信息均匀地分布在该用户的块信号内的每个单独的符号上。
2008-05-15 cs.IT math.IT
The Asymptotic Bit Error Probability of LDPC Codes for the Binary Erasure Channel with Finite Iteration Number
我们考虑使用低密度奇偶校验（LDPC）码和置信传播（BP）解码的二进制擦除信道（BEC）上的通信。对于无限块长度的比特错误概率通过密度演化已知，并且众所周知，对于有限块长度$n$和对于无限块长度在有限迭代次数下的比特错误概率之间的差是渐进的$α/n$，其中$α$是取决于度分布、迭代次数和擦除概率的特定常数。我们的主要结果是导出一个计算正则系综的$α$的有效算法。使用$α$的近似对于$(2,r)$ -正则系综是精确的，即使在小块长度下也是如此。
2008-01-23 cs.IT math.IT
Finite-State Mutual Dimension
2004年，Dai、Lathrop、Lutz和Mayordomo定义并研究了序列$S \in Σ^\infty$的有限状态维数（算法维数的有限状态版本），2018年，Case和Lutz定义并研究了两个序列$S \in Σ^\infty$和$T \in Σ^\infty$之间的相互（算法）维数。本文给出了字母表$Σ$上两个序列$S \in Σ^\infty$和$T \in Σ^\infty$之间的上下有限态互维数$mdim_{FS}(S:T)$和$Mdim_{FS}(S:T)$的定义.直观地，序列$S \in Σ^\infty$的有限状态维数表示包含在$S$内的有限状态信息的密度，而两个序列$S \in Σ^\infty$和$T \in Σ^\infty$之间的有限状态互维数表示由$S$和$T$共享的有限状态信息的密度。因此，“有限状态互维”可以被看作是互维的“有限状态”版本和有限状态维的“互”版本。本研究的主要结果如下。首先，我们表明，有限状态的互维，使用信息无损有限状态压缩机定义，具有预期的互信息的措施的所有属性。其次，我们证明了有限状态互维数可以用块互信息率来表征。最后给出了两个正规序列实现$mdim_{FS}(S:T) = Mdim_{FS}(S:T) = 0$的充要条件。
2021-09-29 cs.CC cs.IT math.IT
Information-Theoretic Bounds and Approximations in Neural Population Coding
Johns Hopkins University School of Medicine（约翰·霍普金斯大学医学院）；China Electronics Technology Group Corporation（中国电子科技集团公司）
虽然香农互信息在许多学科中有着广泛的应用，但在实际应用中，由于维数灾难的存在，高维变量的互信息往往很难精确计算。本文主要研究神经种群编码中互信息的有效近似估计方法。对于大但有限的神经种群，我们推导出几个信息理论的渐近界和近似公式，在高维空间中仍然有效。我们证明，优化人口密度分布的基础上，这些近似公式是一个凸优化问题，允许有效的数值解。数值模拟结果表明，我们的渐近公式是高度准确的近似互信息的大神经种群。在特殊情况下，近似公式恰好等于真实的互信息。我们还讨论了变量变换和降维技术，以方便计算的近似。
2017-11-07 cs.IT cs.LG math.IT
PIR Codes with Short Block Length
本文研究了私有信息检索码。在$k$ -PIR码中，$s$信息比特以这样的方式编码，即每个信息比特具有$k$相互不相交的恢复集。在此范例下的主要问题是在给定$s$和$k$的值的情况下最小化编码位的数目，其中此值由$P(s,k)$表示。本工作的主要重点是分析$P(s,k)$的$s$和$k$的大范围参数。特别是，我们改进了一些现有的结果，这个值。
2020-01-10 cs.IT math.CO math.IT
Mutual information for low-rank even-order symmetric tensor estimation
考虑有限秩对称张量分解的统计模型，证明了当张量为偶数阶时，其渐近互信息的单字母变分表达式。证明应用自适应插值方法最初发明的秩一分解。在这里，我们展示了如何将自适应插值扩展到有限秩和偶数阶张量。这就需要新的非平凡的想法，在目前的分析文献。我们还强调证明不足时，处理奇数阶张量。
2020-09-23 cond-mat.dis-nn cs.IT math-ph
