Information-Theoretic Bounds and Approximations in Neural Population Coding
Johns Hopkins University School of Medicine（约翰·霍普金斯大学医学院）；China Electronics Technology Group Corporation（中国电子科技集团公司）
虽然香农互信息在许多学科中有着广泛的应用，但在实际应用中，由于维数灾难的存在，高维变量的互信息往往很难精确计算。本文主要研究神经种群编码中互信息的有效近似估计方法。对于大但有限的神经种群，我们推导出几个信息理论的渐近界和近似公式，在高维空间中仍然有效。我们证明，优化人口密度分布的基础上，这些近似公式是一个凸优化问题，允许有效的数值解。数值模拟结果表明，我们的渐近公式是高度准确的近似互信息的大神经种群。在特殊情况下，近似公式恰好等于真实的互信息。我们还讨论了变量变换和降维技术，以方便计算的近似。
2017-11-07 cs.IT cs.LG math.IT
On the Distribution of MIMO Mutual Information: An In-Depth Painlevé Based Characterization
本文建立在我们最近的工作，计算的矩生成函数的MIMO互信息正是在一个Painlevé V微分方程。通过利用这个关键的分析工具，我们提供了一个深入的表征足够大（但有限）的天线数量的互信息分布。特别是，我们得到系统的高阶累积量的封闭形式的扩展。这些结果产生了相当多的新的见解，如提供了一个技术解释，为什么众所周知的高斯近似是相当强大的大SNR的情况下，不平等的天线阵列，而它强烈偏离相等的天线阵列。此外，通过借鉴我们的高阶累积量展开，我们采用Edgeworth展开技术，提出了一个改进的高斯近似，这是一个非常准确的封闭形式表征的互信息分布，无论是周围的平均值和中等偏差到尾部（高斯近似失败显着）。对于更强的偏差的Edgeworth展开变得笨拙，我们采用鞍点方法和渐近积分工具，建立新的分析特征，这是非常简单和准确的。基于这些结果，我们还恢复关键的良好建立的属性的尾部分布，包括多样性复用权衡。
2013-01-21 cs.IT math.IT
On the Capacity Achieving Covariance Matrix for Frequency Selective MIMO Channels Using the Asymptotic Approach
在这篇文章中，提出了一种用于评估频率选择性Rayleigh MIMO信道的容量实现输入协方差矩阵的算法。与平坦衰落瑞利情况相比，最佳输入协方差矩阵的特征向量没有封闭形式的表达式。传统上，特征向量和特征值都是数值计算的，相应的优化算法在计算上仍然要求非常高。在本文中，它是建议优化（w.r.t.输入协方差矩阵）Moustakas和Simon导出的平均互信息的大系统近似。这种渐近近似的有效性是澄清感谢高斯大随机矩阵方法。它示出的近似是一个严格的凹函数的输入协方差矩阵和平均互信息估计在argmax的近似等于信道的容量高达O（1/t）的术语，其中t是发射天线的数量。提出了一种基于迭代注水方案的最大化平均互信息逼近的算法，并研究了其收敛性。数值仿真结果表明，即使对于中等数量的发射和接收天线，新的方法提供了相同的结果作为直接最大化的平均互信息的方法。
2011-04-12 cs.IT math.IT
Concavity of Mutual Information Rate for Input-Restricted Finite-State Memoryless Channels at High SNR
我们考虑一个有限状态无记忆信道的独立同分布。信道状态和输入马尔可夫过程支持的混合有限型约束。讨论了输出隐马尔可夫链的熵率的渐近性质，并推导出在高信噪比下，这种信道的互信息率关于输入马尔可夫过程的参数是凹的.原则上，该方法的结果使得能够很好地数值逼近这种信道的最大互信息速率和容量。
2010-07-27 cs.IT math.IT
On the Exact Distribution of Mutual Information of Two-user MIMO MAC Based on Quotient Distribution of Wishart Matrices
提出了块瑞利衰落信道下两用户MIMO MAC网络互信息（MI）的概率密度函数（PDF）和累积分布函数（CDF）的精确计算方法。由于MI依赖于两个Wishart矩阵的商，因此到目前为止PDF和CDF已经进行了数值计算，并且没有可用的商的封闭形式。我们得到的PDF和CDF的极端（最小/最大）特征值的精确结果。在商系综结果的基础上，通过Laplace变换和直接积分商系综特征值的联合概率密度函数，给出了互信息概率密度函数和互信息概率密度函数的精确计算方法。此外，我们的推导也提供了应用高斯近似方法，这是比较容易实现的参数。我们表明，近似匹配的确切结果非常好的中断概率，即CDF，高于10%。然而，该近似也可以用于具有相对小的误差的1%中断概率。我们应用推导出的表达式来分析增加接收天线对接收机性能的影响。通过假设在发射机处没有信道知识并且在接收机处连续解码，第一用户的容量增加并且中断概率随着额外的天线而降低，如预期的那样。
2016-01-13 cs.IT math.IT
Stopping Criteria for Iterative Decoding based on Mutual Information
本文从互信息的角度研究迭代译码的停止准则。我们引入了新的迭代停止规则的基础上的编码位和解码器软输出之间的互信息的近似。第一类型停止规则直接在近似的互信息上设置用于终止解码的阈值。可以根据预期的比特出错率来调整阈值。第二种算法采用了与著名的交叉熵停止规则相似的策略，即对每次迭代后得到的简单度量与第一次迭代后得到的简单度量之比应用固定的阈值。与几种常用的停止规则相比，新方法具有更高的效率。
2013-02-06 cs.IT math.IT
Distribution of Mutual Information from Complete and Incomplete Data
互信息被广泛地用于描述分类随机变量的随机相关性。为了解决诸如描述值的可靠性之类的问题，必须考虑样本到人口的推理方法。本文讨论了互信息的后验分布，在贝叶斯框架下获得的二阶Dirichlet先验分布。精确的解析表达式的平均值，和解析近似的方差，偏度和峰度。这些近似有一个保证的精度水平为O（1/n^3），其中n是样本大小。在不完全样本的情况下，导出了均值和方差的主阶近似。导出的解析表达式允许互信息的分布被可靠地和快速地近似。事实上，可以用描述性互信息所需的相同复杂度来计算导出的表达式。这使得互信息的分布在许多应用中成为描述性互信息的具体替代，这将受益于移动到归纳侧。这些前瞻性的应用进行了讨论，其中之一，即特征选择，表现出显着更好的使用时，感应互信息。
2004-03-15 cs.AI cs.IT cs.LG
Informational Divergence Approximations to Product Distributions
基于非标准化的信息发散，精确地近似产品分布所需的最小速率被证明是一个互信息。这个结果包含了Wyner关于公共信息的结果和Han-Verdú关于可分解性的结果。该结果还扩展到源分布未知但熵已知的情况。
2013-05-13 cs.IT math.IT
On the Second-Order Statistics of the Instantaneous Mutual Information in Rayleigh Fading Channels
本文研究了时变瑞利衰落信道中，在一般非各向同性散射环境下，瞬时互信息的二阶统计量。具体而言，首先在单输入单输出（SISO）系统中的自相关函数，相关系数，电平交叉率，和瞬时互信息的平均中断持续时间进行了研究。封闭形式的精确表达式推导，以及准确的近似在低和高信噪比制度。然后，将所得结果推广到多输入单输出和单输入多输出系统，以及采用正交空时分组码传输的多输入多输出系统。蒙特卡罗模拟提供了验证分析结果的准确性。结果进一步揭示了瞬时互信息在移动衰落信道中的动态行为。
2006-03-08 cs.IT math.IT
Mutual Information of Wireless Channels and Block-Jacobi Ergodic Operators
本文研究了随机多天线多径信道的香农互信息，在一般情况下，信道的冲激响应是一个各态历经的平稳过程，假定接收端是可用的。从这个观点来看，信道可以用一个遍历自伴块雅可比算子来表示，它在许多方面都接近随机薛定谔算子的块形式。然后，互信息与该算符的所谓态密度相关。在本文中，它表明，在最弱的信道假设下，互信息可以表示在一个矩阵值随机过程耦合的信道过程。这允许在该一般设置中的互信息的数值近似。此外，进一步假设信道脉冲响应是马尔可夫过程，则根据另一个相关的马尔可夫过程获得大信噪比状态中的互信息偏移的表示。这推广了Levy~ \emph{et.al.}以前的结果.它还说明了如何互信息表达式，这些表达式是密切相关的随机矩阵理论预测可以恢复在大的维度制度。
2019-05-08 cs.IT math.IT
Hypothesis Testing under Mutual Information Privacy Constraints in the High Privacy Regime
假设检验是一种统计推断框架，用于确定给定数据集的一组可能分布中的真实分布。隐私限制可能要求数据的管理者或受访者自己只有在应用随机隐私机制后才能与测试共享数据。这项工作认为，互信息（MI）的隐私度量测量泄漏。此外，受Alfreff-Stein引理的启发，选择输出（由隐私机制产生）的分布对之间的相对熵作为效用度量。对于这些指标，目标是找到二元和多元假设测试的最佳隐私-效用权衡（PUT）以及相应的最佳隐私机制。重点是高隐私制度，欧几里得信息理论近似的二进制和多进制的PUT问题。近似问题的解决方案澄清了基于MI的隐私度量与其可能性成反比地保留源符号的隐私。
2017-04-26 cs.IT math.IT
Hypothesis Testing in the High Privacy Limit
Neyman-Pearson形式主义下的二元假设检验是一种统计推断框架，用于区分由两种不同来源分布产生的数据。隐私限制可能要求数据的管理者或数据应答者自己仅在应用随机化隐私机制之后才与测试共享数据。使用互信息作为隐私度量和输出（后随机化）源类的两个分布之间的相对熵作为效用度量（由Alfreff-Stein引理激发），这项工作的重点是找到一个最佳的机制，最大化所选择的效用函数，同时确保两个源分布的互信息为基础的泄漏是有界的。针对高隐私机制，提出了一种折衷问题的欧氏信息论（E-IT）近似。它示出的E-IT近似的解决方案是独立的字母表的大小，并澄清了一个互信息为基础的隐私度量保持其可能性成反比的源符号的隐私。
2016-07-02 cs.IT math.IT
Channel-Statistics-Based Hybrid Precoding for Millimeter-Wave MIMO Systems With Dynamic Subarrays
研究了有限字母输入的毫米波多输入多输出系统的混合预编码设计。毫米波MIMO系统采用具有动态子阵列的部分连接混合预编码架构，其中每个射频（RF）链连接到天线的动态子集。我们考虑利用统计和/或混合信道状态信息（CSI）的模拟和数字预编码器的设计，其涉及解决理论上极其困难的问题：首先，设计RF链上的天线的最优划分是组合优化问题，其最优解需要对所有天线划分解进行穷举搜索;第二，毫米波MIMO信道下的平均互信息缺乏封闭形式的表达式，计算量过大;第三，给定天线划分的混合预编码问题相对于模拟和数字预编码器是非凸的。为了解决这些问题，本研究首先提出了一个简单的标准和相应的低复杂度的算法来设计的天线使用统计CSI的最佳划分。然后推导出平均互信息的下界及其近似值，与直接计算平均互信息相比，大大降低了计算复杂性。此外，它还表明，与一个恒定的位移的下限提供了一个非常准确的近似平均互信息。本文进一步提出利用下界近似作为开发基于流形的梯度上升算法的低复杂度和准确的替代方案，以找到接近最佳的模拟和数字预编码器。数值结果表明，我们提出的算法优于现有的混合预编码算法。
2019-02-12 cs.IT math.IT
Asymptotic Mutual Information Analysis for Double-scattering MIMO Channels: A New Approach by Gaussian Tools
双散射信道下多输入多输出（MIMO）系统的渐近互信息（MI）分析已经取得了令人满意的结果，但其均值、方差和分布的收敛速度尚未得到文献的证明。本文利用大随机矩阵理论（RMT），给出了MI的中心极限理论（CLT），并利用高斯工具导出了均值和方差的封闭近似。首次证明了均值、方差和特征函数的收敛速度为O（1/N），其中N为发射天线数。此外，有效散射体的数量的平均值和方差的影响进行了研究，在中高信噪比制度与一些有趣的物理见解。所提出的评估框架可用于其他系统在双散射信道下的渐近性能分析。
2023-01-17 cs.IT math.IT
On the capacity achieving covariance matrix for Rician MIMO channels: an asymptotic approach
确定了相干块衰落相关MIMO莱斯信道的实现容量的输入协方差阵。在这种情况下，最佳输入协方差阵的特征向量没有封闭形式的表达式。本文在发射和接收天线数收敛于$+\infty$的渐近条件下，对平均互信息进行了近似计算。提供了与相应的大系统近似的精度有关的新结果。提出了一个有吸引力的优化算法，我们建立，它产生一个有效的方法来计算容量实现协方差阵的平均互信息。最后，数值模拟结果表明，即使对于中等数量的发射和接收天线，新的方法提供了相同的结果，直接最大化的平均互信息的方法，而更有计算吸引力。
2010-07-09 cs.IT math.IT math.PR
Precoded Polar Product Decoder Based on Soft-Output SCL Decoding and Maximization of Generalized Mutual Information
本文针对预编码极化乘积码的迭代译码，提出结合码本概率软消息生成与广义互信息最大化系数缩放的优化方法，并利用外信息SCL译码器进行密度演化分析，显著提升了纠错性能且能准确预测译码阈值。
2025-08-28 cs.IT math.IT
Channel Dependent Mutual Information in Index Modulations
互信息是用于执行链路自适应的度量，其允许实现接近容量的速率。自适应传输模式的计算是通过使用信噪比和互信息之间的映射来实现的。由于互信息计算的高度复杂性，该过程通过蒙特卡洛模拟离线执行，其结果存储在查找表中。然而，在诸如空间调制或极化调制的索引调制中，这是不可行的，因为星座和互信息是信道相关的，并且如果信道是时变的，则需要在每个时刻计算该度量。在本文中，我们提出了不同的近似，以获得一个简单的封闭形式的表达式，允许计算在每个时刻的互信息，从而使可行的链路自适应。
2018-07-25 cs.ET cs.IT eess.SP
High Mutual Information in Representation Learning with Symmetric Variational Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们介绍了互信息机（MIM），一种新的表示学习的制定，使用联合分布的意见和潜在的状态在编码器/解码器框架。我们的关键原则是对称性和互信息，其中对称性鼓励编码器和解码器学习相同底层分布的不同因子分解，互信息鼓励学习下游任务的有用表示。我们的出发点是编码和解码联合分布之间的对称Jensen-Shannon散度，加上一个相互信息鼓励正则化。我们表明，这可以是有界的一个听话的交叉熵损失函数之间的真实模型和参数化的近似，并与此相关的极大似然框架。我们还将MIM与变分自编码器（VAE）联系起来，并证明MIM能够学习对称因子分解，具有高互信息，避免了后验崩溃。
2019-10-04 cs.IT cs.LG math.IT
On the precoder design of flat fading MIMO systems equipped with MMSE receivers: a large system approach
研究了在双相关平坦衰落MIMO系统中，基于MMSE接收机的预编码器的设计，该预编码器能最大化系统的各态历经互信息（EMI）。假设信道的信道状态信息和二阶统计量分别在接收机侧和发射机侧可用。由于EMI的直接最大化需要使用非吸引力算法，因此建议优化最近引入的EMI的近似，当发射和接收天线的数量$t$和$r$以相同的速率收敛到$\infty$时获得该近似。建立了实际EMI与其近似值之间的相对误差为$O(\frac{1}{t^{2}})$项。证明了最优预编码器的左奇异特征向量与发射协方差矩阵的特征向量一致，其奇异值是某个最大化问题的解。数值实验表明，该预编码器提供的互信息接近于通过最大化真实EMI而获得的互信息，但是最大化近似的算法的计算量要小得多。
2009-11-02 cs.IT math.IT
Asymptotic Mutual Information Statistics of Separately-Correlated Rician Fading MIMO Channels
在存在Rician衰落和空间相关的情况下，需要精确表征MIMO系统的互信息以评估无线通信信道的吞吐量。在这里，我们提出了一种渐近的方法，允许近似的互信息的分布为高斯分布，以提供平均可达速率和中断概率。更精确地说，当发射天线和接收天线的数目渐近增长且它们的比率接近一个有限常数时，推导了分离相关莱斯衰落MIMO信道的互信息的均值和方差。推导是基于副本的方法，广泛用于理论物理的渐近技术，最近，在通信（CDMA和MIMO）系统的性能分析。副本方法允许以相对简单的方式分析非常困难的系统情况，尽管一些作者指出其假设并不总是严格的。意识到这一点，我们强调的关键假设在这种情况下，非常类似的假设在技术文献中使用的副本方法在其渐近分析。至于有关的互信息的高斯分布的收敛性，它表明，它持有一些温和的技术条件下，这相当于假设的空间相关结构没有渐近占主导地位的本征模。渐近方法的准确性进行评估，提供了相当数量的数值结果。它示出的近似是非常准确的，在各种各样的系统设置，即使当发射和接收天线的数量是小到几个单位。
2007-12-24 cs.IT math.IT
On the Information Loss of the Max-Log Approximation in BICM Systems
本文研究BICM中max-log近似的信息损失，证明除Gray标记对称4-PAM外均有损失，并提出无需修改解码器即可达到的协调GMI，刻画信道对称化与混合保持MI的条件。
2016-01-21 cs.IT math.IT
Neural Estimators for Conditional Mutual Information Using Nearest Neighbors Sampling
KTH Royal Institute of Technology（瑞典皇家理工学院）
从一组样本中估计互信息（MI）或条件互信息（CMI）是一个长期存在的问题。在该领域中的最近的工作路线已经利用了人工神经网络的近似能力，并且已经显示出对传统方法的改进。这种新方法的一个重要挑战是，给定原始数据集，需要获得一个不同的集合，其中样本根据特定的产品密度函数分布。这在估算CMI时尤其具有挑战性。在本文中，我们引入了一种基于k个最近邻（k-NN）的新技术来执行重采样并推导样本平均值的高置信度浓度界。然后，该技术被用来训练一个神经网络分类器和CMI估计相应。我们提出了三个估计使用这种技术，并证明他们的一致性，使它们之间的比较和类似的方法在文献中，并通过实验表明改进估计CMI的精度和方差的估计。
2020-12-30 cs.IT cs.LG math.IT
On the Linear Precoder Design for MIMO Channels with Finite-Alphabet Inputs and Statistical CSI
本文研究了线性预编码器的设计，最大化的平均互信息的多输入多输出信道与有限的字母输入和统计信道状态信息已知的发射机。这种线性预编码器的设计是一个重要的开放问题，是非常难以解决的：第一，平均互信息缺乏封闭形式的表达，涉及复杂的计算;第二，预编码器的优化问题是非凹的。本研究探索了这一问题的解决方案，并做出了以下贡献：1）推导出平均互信息的封闭形式下界。该算法在低信噪比和高信噪比下均达到渐近最优，并且在恒定位移的情况下，能精确逼近平均互信息; 2）揭示了预编码器的最优结构，并提出了一种统一的两步迭代算法。数值算例表明了算法的收敛性和有效性。与传统的预编码方法相比，本文提出的线性预编码方法具有显著的性能增益。
2011-09-06 cs.IT math.IT
Generalizing Geometric Partition Entropy for the Estimation of Mutual Information in the Presence of Informative Outliers
本文推广几何划分熵至d维空间，提出划分交集近似实现快速互信息估计，并纳入信息性离群值影响，应用于混沌系统同步分析。
2024-11-08 cs.IT math.IT nlin.CD
Differentiable Information Bottleneck for Deterministic Multi-view Clustering
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）
提出可微信息瓶颈（DIB）方法，利用归一化核Gram矩阵直接拟合互信息，训练确定性多视图神经网络并结合三元组一致性发现机制，在6个基准上优于13个基线方法。
2024-03-23 cs.IT cs.LG math.IT
Mutual Information Analysis for Factor Graph-based MIMO Iterative Detections through Error Functions
本文针对基于因子图的MIMO迭代检测收敛性分析不足的问题，提出误差函数辅助分析（EF-AA）机制，精确计算互信息并揭示收敛迭代次数与信噪比性能界限。
2023-07-04 cs.IT eess.SP math.IT
Distribution of Mutual Information
具有联合概率t_ij的两个随机变量i和j的互信息通常用于学习贝叶斯网以及许多其他领域。机会t_ij通常通过经验采样频率n_ij/n来估计，从而导致互信息的点估计I（n_ij/n）。为了回答像“I（n_ij/n）与零一致吗？或者“真实的互信息比点估计大得多的概率是多少？“我们必须超越点估计。在贝叶斯框架中，可以通过利用包括关于t的先验信息的（二阶）先验分布p（t）来回答这些问题。根据先验p（t），可以计算后验p（t| n），由此得到分布p（I| n）的互信息。我们得到可靠的和快速计算的近似p（I| n）。我们专注于均值，方差，偏度，峰度和非信息先验。对于平均值，我们也给出了精确的表达式。数值问题和有效性的范围进行了讨论。
2001-12-15 cs.AI cs.IT math.IT
k-Sliced Mutual Information: A Quantitative Study of Scalability with Dimension
切片互信息（SMI）被定义为随机变量的一维随机投影之间的互信息（MI）项的平均值。它作为一个替代措施的依赖经典MI，保留其许多属性，但更可扩展到高维。然而，SMI本身及其估计速率如何依赖于环境维度的定量表征，这对于理解可伸缩性至关重要，仍然是模糊的。这项工作提供了一个多方面的帐户SMI的依赖尺寸，在一个更广泛的框架称为$k$ -SMI，它认为预测到$k$维子空间。使用一个新的结果在2-Wasserstein度量的微分熵的连续性，我们得到尖锐的界上的误差的Monte Carlo（MC）为基础的估计$k$ -SMI，明确依赖于$k$和周围的尺寸，揭示它们的相互作用与样本的数量。然后，我们将MC积分器与神经估计框架相结合，以提供端到端的$k$ -SMI估计器，并建立最佳收敛速度。我们还探讨了人口$k$ -SMI的渐近维数的增长，提供高斯近似的结果与适当的时刻范围内衰减的残差。通过设置$k=1$，我们的所有结果都可以应用于SMI。我们的理论进行了验证与数值实验，并适用于切片InfoGAN，这完全提供了一个全面的定量帐户的可扩展性问题的$k$，包括SMI作为一个特殊的情况下，当$k=1$。
2022-10-14 cs.IT math.IT stat.ML
Conditional independence testing based on a nearest-neighbor estimator of conditional mutual information
条件独立性检验是因果发现的基础问题，在非线性和高维依赖的情况下是一项特别具有挑战性的任务。本文提出了一种基于条件互信息和局部置换方案的连续数据全非参数检验方法。通过最近邻方法，测试也有效地适应非光滑分布，由于强非线性依赖。数值实验表明，即使对于小样本量和高维条件集，该测试也能可靠地模拟零分布。该测试比基于核的测试更好地校准，利用零分布的分析近似，特别是对于非光滑密度，并达到相同或更高的功率水平。将局部置换方案与核测试相结合导致更好的校准，但在功率方面受到影响。对于较小的样本量和较低的维度，如果排列方案是（并行地）并行化的，则测试比基于随机傅立叶特征的核测试更快，但是运行时间随着样本量和维度而更急剧地增加。因此，需要更多的理论研究来解析地近似零分布，并加快对更大样本量的估计。
2017-09-05 cs.IT math.IT stat.ME
Almost Perfect Privacy for Additive Gaussian Privacy Filters
我们研究的最大互信息的一个随机变量$Y$（代表非私人信息）显示通过加性高斯信道时，保证只有$ε$位的信息被泄露的随机变量$X$（代表私人信息），与$Y$。用$g_ε(X,Y)$表示这个量，我们表明，对于完美的隐私，即，对于任意一对绝对连续的随机变量$ε=0$，我们得到了$g_0(X,Y)=0$，然后导出了小的$ε$的$g_ε(X,Y)$的二阶近似。这种近似被证明是有关的强数据处理不等式的联合分布$P_{XY}$在适当的条件下的互信息。接下来，出于对数据隐私的操作解释，我们制定了隐私效用权衡在相同的设置使用估计理论的数量，并获得明确的界限$ε$是足够小的时候，这个权衡使用的近似公式推导出$g_ε(X,Y)$。
2016-08-13 cs.CR cs.IT math.IT
Mutual Information Density of Massive MIMO Systems over Rayleigh-Product Channels
针对Rayleigh积信道缺乏有限块长分析的问题，本文建立MID的渐近CLT，推导分组错误概率界及高低信噪比近似，揭示秩亏缺对大规模MIMO性能的影响。
2024-04-09 cs.IT math.IT math.ST
Achievable Information Rates for Fiber Optics: Applications and Computations
本文讨论了光纤通信的可达信息速率。结果表明，互信息和广义互信息等互信息是编码光学系统的良好设计指标。将AIR的理论预测与包括低奇偶密度校验（LDPC）和极化码的现代码的性能进行比较。文中还讨论了两种不同的计算方法：Monte-Carlo积分法和Gauss-Hermite积分法。封闭形式的准备使用这种计算的近似提供了任意星座和多维AWGN信道。讨论了在光学实验和模拟中的大气折射率的计算。
2017-12-21 cs.IT eess.SP math.IT
Least Dependent Component Analysis Based on Mutual Information
我们建议使用互信息（MI）的精确估计来找到线性混合信号中最不相关的分量。一方面，这似乎导致更好的盲源分离比任何其他目前可用的算法。另一方面，与“独立”分量分析（ICA）的其他实现（其中一些基于MI的粗略近似）相比，它具有以下优点：MI的数值可以用于：（i）估计输出分量之间的残差依赖性;（ii）通过将成对MI与重新混合分量的MI进行比较来估计输出的可靠性;（iii）根据剩余的相互依赖性对输出进行聚类。对于MI估计，我们使用最近提出的基于k-近邻的算法。对于时间序列，我们将其与延迟嵌入相结合，以考虑非平凡的时间相关性。经过几次人工数据的测试，我们将得到的MILCA（基于互信息的最小依赖分量分析）算法应用于真实世界的数据集，孕妇的心电图。MILCA算法的软件实现可在http://www.fz-juelich.de/nic/cs/software上免费获得
2004-09-28 cs.IT math.IT physics.comp-ph
A Mutual Information Lower Bound for Multimodal Regression Active Learning
Graduate Group on Applied Mathematics & Computational Science（应用数学与计算科学研究生组）；Department of Computer and Information Science（计算机与信息科学系）；University of Pennsylvania（宾夕法尼亚大学）；Department of Mechanical Engineering and Applied Mechanics（机械工程与应用力学系）
本文提出多模态回归主动学习的互信息下界方法，通过两个索引框架区分epistemic和aleatoric不确定性，证明其在数据集增长时趋于零，且在多模态系统基准中优于其他基线方法。
2026-05-14 cs.CE cs.IT cs.LG
Scalable Infomin Learning
University of Cambridge（剑桥大学）；Rutgers University（罗格斯大学）；Imperial College London（伦敦帝国理工学院）；Alan Turing Institute（艾伦·图灵研究所）
信息学习的任务旨在学习具有高实用性的表示，同时不提供关于指定目标的信息，后者通过最小化表示和目标之间的互信息来实现。它有广泛的应用，从训练公平的预测模型对受保护的属性，无监督学习与解开表示。最近关于信息学习的工作主要使用对抗训练，其涉及训练神经网络来估计互信息或其代理，因此速度缓慢且难以优化。借鉴切片技术的最新进展，我们提出了一种新的信息学习方法，它使用了一种新的代理度量互信息。我们进一步推导出一个准确的和分析计算近似这个代理度量，从而消除了需要构建基于神经网络的互信息估计。算法公平性、解纠缠表示学习和领域自适应实验表明，该方法能够在有限的时间预算下有效地去除不需要的信息。
2023-02-21 cs.AI cs.IT cs.LG
Linear Noise Approximation of Intensity-Driven Signal Transduction Channels
生化信号转导，一种形式的分子通信，可以使用图形马尔可夫通道与输入调制的过渡率建模。这样的信道模型是强非高斯的。在本文中，我们使用线性噪声近似来构建一类新的高斯加性白噪声通道，捕获完全和部分观察到的强度驱动的信号转导的基本特征。当对输入信号敏感的信道状态转换是直接可观察的时，高频信息比低频信息更有效地转换，并且每带宽的互信息率（频谱效率）显著大于敏感转换和可观察转换不相交时的互信息率。当可观察到的和隐藏的转换都是输入敏感的，我们观察到超加性增加频谱效率。
2019-08-28 cs.IT math.IT q-bio.QM
Area laws and tensor networks for maximally mixed ground states
本文证明了一般哈密顿量基态空间最大混合态的互信息面积律，并在一维有能隙系统中给出带对数修正的界，同时展示了张量网络（MPO）近似的高效性。
2025-06-23 cond-mat.other cs.CC cs.IT
Categorical Feature Compression via Submodular Optimization
Google Research（谷歌研究院）；Yale University（耶鲁大学）
在大数据时代，从具有非常大的词汇表的分类特征（例如，2800万用于Criteo点击预测数据集）已经成为机器学习研究人员和从业者的实际挑战。我们设计了一个高度可扩展的词汇压缩算法，旨在最大限度地提高压缩分类功能和目标二进制标签之间的互信息，我们还表明，它的解决方案是保证在一个$1-1/e \approx 63\%$因素的全局最优解。为了实现这一点，我们引入了一种新的重新参数化的互信息的目标，我们证明是submodular，并设计了一个数据结构来查询子模块功能的摊销$O(\log n )$时间（其中$n$是输入词汇量）。我们完整的算法被证明是在$O(n \log n )$时间内运行的。此外，我们设计了一个分布式的实现，其中的查询数据结构被分解在$O(k)$机器，使每台机器只需要$O(\frac n k)$空间，同时仍然保持近似保证，并只使用对数轮的计算。我们还提供了简单的替代启发式压缩方法的分析，以证明他们不能实现任何近似保证。使用大规模的Criteo学习任务，我们在保留互信息方面表现出更好的性能，并且与其他基线方法相比，还验证了竞争性学习性能。
2019-04-30 cs.AI cs.DS cs.IT
Unifying Approaches in Active Learning and Active Sampling via Fisher Information and Information-Theoretic Quantities
University of Oxford（牛津大学）
最近提出的数据子集选择方法，即主动学习和主动采样，使用Fisher信息，Hessians，基于梯度的相似性矩阵和梯度长度来估计数据对于模型训练的信息量。这些不同的方法是否有联系，如果有，是如何联系的？我们重新审视贝叶斯最优实验设计的基本原理，并表明这些最近提出的方法可以被理解为近似的信息理论量：其中，预测和模型参数之间的互信息，称为预期信息增益或BALD在机器学习，和收购候选人和测试样本的预测之间的互信息，称为预期预测信息增益。我们开发了一套全面的近似使用Fisher信息和观察到的信息，并得出一个统一的框架，连接看似不同的文献。虽然贝叶斯方法通常被视为独立于非贝叶斯方法，但在各种非贝叶斯目标中表达的有时模糊的“信息量”概念导致了相同的信息量，原则上，Lindley（1956）和MacKay（1992）已经知道了。
2022-11-06 cs.AI cs.IR cs.IT
