Convexity of mutual information along the Ornstein-Uhlenbeck flow
我们研究了互信息的凸性作为时间的函数沿流动的Ornstein-Uhlenbeck过程。我们证明了如果初始分布是强对数凹的，那么互信息最终是凸的，即，在所有大的时间里都是凸的。特别地，如果初始分布与目标高斯度量相比是足够强的对数凹的，则互信息总是时间的凸函数。我们还证明了，如果初始分布是有界的或有有限的四阶矩和Fisher信息，那么互信息最终是凸的。最后，我们给出了反例来说明互信息在小时间内可以是非凸的。
2018-07-31 cs.IT math.IT
A note on the unbiased estimation of mutual information
互信息的估计值通常是有偏的。然而，在度量空间的Kozachenko-Leonenko估计量（一种最近邻估计量）的情况下，可以显式计算偏差。
2021-05-18 cs.IT math.IT
Generalized Mutual Information
互信息是信息论的基本组成部分之一。然而，它只被定义为快速衰减的尾巴上的两个随机元素的可数联合字母表的分布。联合字母表上所有分布的一般类上的互信息的无界性阻止了其潜在的效用被充分实现。这实际上是信息论基础上的一个需要填补的空白。本文提出了一个广义互信息族，它的所有成员（1）除了Shannon定义的互信息外，对联合可数字母表上两个随机元素的每一个分布都有严格的定义;（2）具有有限Shannon互信息的所有效用。
2019-07-11 cs.IT math.IT
Data Privacy and Utility Trade-Off Based on Mutual Information Neural Estimator
在大数据和物联网（IoT）时代，数据所有者需要在不安全的环境中与预期接收者共享大量数据，这就提出了用户隐私和数据效用之间的权衡问题。通过基于互信息的隐私漏斗来促进隐私效用权衡。然而，在样本量小或分布函数未知的情况下，准确地表征互信息是具有挑战性的。在这篇文章中，我们提出了一个隐私漏斗的基础上互信息神经估计器（MINE），以优化隐私效用权衡估计互信息。与传统的计算互信息的方法不同，我们使用MINE来估计它，MINE以训练的方式获得估计的互信息，确保估计结果尽可能精确。我们采用估计的互信息作为隐私和效用的度量，然后形成一个问题，通过训练一个神经网络，而估计的隐私话语小于一个阈值，以优化数据效用。仿真结果还表明，从MINE估计的互信息工作得很好，近似的互信息，即使在有限数量的样本，量化隐私泄漏和数据效用保留，以及优化隐私效用权衡。
2021-12-17 cs.IT math.IT
On the complexity of graphs (networks) by information content, and conditional (mutual) information given other graphs
该报告涉及图的信息内容，可选地以一个或多个背景、“公知”图为条件。它描述了一种算法来估计这一信息的内容，并包括一些基于化合物的例子。
2020-08-04 cs.IT math.IT
Cumulant Expansion of Mutual Information for Quantifying Leakage of a Protected Secret
在典型的情况下，当信号噪声比是小的，与给定的保护程度的密码实现的信息泄漏进行评估。这是解决扩展Kullback-Leibler分歧，熵，和互信息的时刻/累积量。
2021-02-04 cs.IT math.IT
Information Aging through Queues: A Mutual Information Perspective
在本文中，我们提出了一种新的措施的新鲜度的信息，它使用之间的互信息的实时源值和交付的样本在接收端量化的新鲜度的信息中包含的样本。因此，接收信息的“老化”可以被解释为上述互信息随着年龄增长而减少的过程。此外，我们考虑一个抽样问题，在马尔可夫源的样本，并通过一个队列发送到接收器。为了优化信息的新鲜度，我们研究了最大化时间平均期望互信息的最优采样策略。证明了最优抽样策略是阈值策略，并准确地找到了最优阈值。具体地，一旦条件互信息项减小到阈值，则获取新的样本，并且该阈值等于正被最大化的时间平均期望互信息的最优值。数值结果比较不同的抽样政策。
2018-06-16 cs.IT math.IT
Mutual information, matroids and extremal dependencies
本文证明了拟阵的秩函数可用“互信息函数”表示当且仅当拟阵是二元拟阵。所考虑的互信息函数是测量多址信道（MAC）的输入（二进制均匀）和输出之间的信息量的函数。此外，它示出的MAC的互信息功能是整数值是“等同于”的线性确定性MAC，在这个意义上说，它基本上包含在输出没有更多的信息比一些线性形式的输入。这些笔记把重点放在连接之间的互信息泛函和秩函数在拟阵理论，而不假设先验知识对这两个问题。第一部分介绍了互信息泛函，第二部分介绍了拟阵理论的基本概念，第三部分将这两个主题联系起来。它还表明，熵拟阵在文献中研究对应的MAC拟阵的具体情况。
2010-12-21 cs.IT math.IT
Shannon Meets Carnot: Mutual Information Via Thermodynamics
在这方面的贡献，高斯通道表示为一个等效的热系统，允许表达其输入-输出互信息的热力学量。这种对互信息的热力学描述是基于$2^{nd}$热力学定律的推广，并为郭-沙迈-韦尔杜定理提供了另一种证明，给出了这一非凡定理与最基本的自然定律--热力学定律之间的有趣联系。
2008-06-19 cs.IT math.IT
Kalman Filter from the Mutual Information Perspective
卡尔曼滤波器是一种最佳线性无偏状态估计器。从贝叶斯估计的角度来看，这也是可以理解的。本文首次从互信息的角度对卡尔曼滤波器进行了详细的推导。然后我们将这个结果推广到Rényi互信息互信息。最后得出结论，卡尔曼滤波器的量测更新是最小化动态系统状态不确定性的关键步骤。
2021-01-04 cs.IT math.IT
Mutual information in nonlinear communication channel. Preliminary analytical results in large SNR and small nonlinearity limit
将微扰理论应用于加性高斯噪声下非线性薛定谔方程（NLSE）描述的非线性通信信道的互信息的路径积分表示，分析了大信噪比（$\mathrm{SNR}$）和小非线性下互信息的解析表达式.我们对非线性参数中的互信息的所有可能的修正进行了分类，并证明了在最终的结果中，$\mathrm{SNR}$项中的所有奇异性都消失了。分析结果还表明，对$\mathrm{SNR}$中首阶互信息的Shannon贡献的修正是非线性参数平方的阶数.在进一步的研究中，我们概述了这些修正的计算方法。
2016-08-18 cs.IT math.IT
Approximations of Shannon Mutual Information for Discrete Variables with Applications to Neural Population Coding
虽然Shannon互信息得到了广泛的应用，但对于许多实际问题，包括神经种群编码问题，其有效计算往往是困难的。基于Fisher信息的渐近公式有时提供对互信息的精确近似，但是这种方法限于连续变量，因为Fisher信息的计算需要关于编码变量的导数。本文考虑了基于Kullback-Leibler散度和Rényi散度的互信息的信息论界和近似。我们提出了几个信息度量近似香农互信息的神经种群编码的上下文中。虽然我们的渐近公式都适用于离散变量，但无论编码变量是离散的还是连续的，其中一个都具有一致的性能和高精度。我们进行了数值模拟，并证实我们的近似公式是高度准确的近似之间的互信息的刺激和反应的一个大的神经种群。这些近似公式可能为信息论在许多实际和理论问题中的应用带来潜在的方便。
2019-03-04 cs.IT math.IT math.ST
A Tight Lower Bound on the Mutual Information of a Binary and an Arbitrary Finite Random Variable in Dependence of the Variational Distance
本文提出了一种数值方法，它找到了二元随机变量与任意有限个具有联合分布的随机变量之间的互信息的下界，其中联合分布的变分距离不大于已知值。该下界可应用于具有置信区间的互信息估计。
2013-01-28 cs.IT math.IT
Probability Mass Exclusions and the Directed Components of Pointwise Mutual Information
本文研究了如何从一个随机变量的事件提供逐点互信息从另一个变量通过概率质量排除事件。我们首先介绍概率质量图，它提供了一个直观的表示如何通过排除将先验分布转换为后验分布。借助这些图表，我们确定了两种不同类型的概率质量排除-即信息和错误信息排除。然后，由Fano的推导逐点互信息的动机，我们提出了四个假设，旨在将逐点互信息分解成两个独立的信息成分：一个非负项与信息排除和一个非正项与错误信息排除。这产生了一个新的衍生物的逐点互信息到熵分量的熟悉的分解。最后，我们讨论的相关性，考虑信息的概率质量排除正在进行的努力分解多元信息。
2018-04-10 cs.IT math.IT
A Mutual Information Approach to Calculating Nonlinearity
本文提出了一种新的度量两个变量之间非线性相关性的方法，即利用互信息来分析相关性的线性和非线性分量。这种技术，它给出了一个精确的值的比例线性依赖，然后与另一种常见的测试线性，布洛克，德歇和Scheinkman（BDS）测试进行比较。
2015-11-29 cs.IT math.IT
Lower Bounds on Mutual Information for Linear Codes Transmitted over Binary Input Channels, and for Information Combining
该研究强化了线性码均匀输入下BSC互信息的Samordnitsky下界，还推导了一般输入分布与信道下多次传输互信息的新下界。
2024-01-26 cs.IT math.IT
Confidence Intervals for the Mutual Information
通过将具有固定变分距离的两个联合概率分布之间的互信息差的绝对值的界和真实联合概率分布与经验联合概率分布之间的变分距离的最大偏差的概率的界相结合，建立了两个有限字母表随机变量的互信息的置信区间.与以前的结果不同，这些区间不需要对分布和样本量进行任何假设。
2013-01-28 cs.IT math.IT
Mutual Information Optimally Local Private Discrete Distribution Estimation
考虑具有局部$ε$ -差分隐私的统计学习（例如离散分布估计），其在局部保护每个数据提供者的隐私，我们的目标是在隐私约束下优化统计数据效用。具体来说，我们研究了最大化提供者的数据和它的私有视图之间的互信息，并给出了确切的互信息界以及一个可实现的机制：$k$ -子集机制的结果。该互信息优化机制随机输出具有精细概率分配的原始数据域的大小$k$子集，其中$k$随隐私级别$ε$和数据域大小$d$而变化。从互信息的角度分析了现有局部私有机制的局限性，提出了一种有效的离散分布估计的$k$ -子集机制的实现，并证明了其优于现有方法的最优性保证.
2016-07-27 cs.IT math.IT
Mutual Information of Wireless Channels and Block-Jacobi Ergodic Operators
本文研究了随机多天线多径信道的香农互信息，在一般情况下，信道的冲激响应是一个各态历经的平稳过程，假定接收端是可用的。从这个观点来看，信道可以用一个遍历自伴块雅可比算子来表示，它在许多方面都接近随机薛定谔算子的块形式。然后，互信息与该算符的所谓态密度相关。在本文中，它表明，在最弱的信道假设下，互信息可以表示在一个矩阵值随机过程耦合的信道过程。这允许在该一般设置中的互信息的数值近似。此外，进一步假设信道脉冲响应是马尔可夫过程，则根据另一个相关的马尔可夫过程获得大信噪比状态中的互信息偏移的表示。这推广了Levy~ \emph{et.al.}以前的结果.它还说明了如何互信息表达式，这些表达式是密切相关的随机矩阵理论预测可以恢复在大的维度制度。
2019-05-08 cs.IT math.IT
Calculation of mutual information for nonlinear communication channel at large SNR
使用路径积分技术，我们研究的互信息的通信信道建模的非线性薛定谔方程加性高斯噪声。非线性薛定谔方程是非线性物理学的基本模型之一，它有着广泛的应用，包括光纤通信--互联网的支柱。在大信噪比（$\mathrm{SNR}$）下，我们通过路径积分来表示互信息，这便于非线性的微扰展开。在小噪声和小非线性的限制下，我们解析地导出了信道的互信息的第一非零非线性校正。
2016-07-05 cs.IT math.IT
On Finite-Time Mutual Information
Shannon-Hartley定理可以在信号观测时间无限长的情况下精确计算信道容量。然而，有限时间互信息的计算，这仍然是未知的，是必不可少的指导实际通信系统的设计。本文研究了有限时间观测窗内两个相关高斯过程之间的互信息。我们首先推导出有限时间互信息通过提供一个极限表达式。然后，我们数值计算的互信息在一个单一的有限时间窗口。我们发现，在有限的时间窗口内，每秒传输的比特数可以超过整个时间轴上平均的互信息，这被称为双平均现象。进一步，利用迹类算子的Mercer展开，推导了典型信号自相关情形下的有限时间互信息公式，揭示了有限时间互信息问题与算子理论之间的联系.最后，我们解析地证明了在这种典型情况下的平均值的存在性，并证明了它与香农容量的兼容性。
2022-04-24 cs.IT math.IT
Optimal input signal distribution and per-sample mutual information for nondispersive nonlinear optical fiber channel at large SNR
本文研究了在中等功率区具有大$\mathrm{SNR}$（信噪比）的加性高斯白噪声的非色散非线性光纤信道模型。利用费曼路径积分技术，我们第一次找到了最佳的输入信号分配最大化的信道的每样本互信息。最佳输入信号分布的发现允许我们改进先前已知的信道容量的估计。针对高斯、半高斯和修改的高斯输入信号分布计算输出信号熵、条件熵和每样本互信息。我们明确地表明，在中等功率制度的最佳输入信号分布的每样本互信息大于高斯和半高斯输入信号分布的每样本互信息。
2016-05-05 cs.IT math.IT
Convexity of Mutual Information along the Fokker-Planck Flow
本文将互信息沿热流和Ornstein-Uhlenbeck流的凸性结果推广到Fokker-Planck流，证明了一类Fokker-Planck方程经典解的存在唯一性，并给出互信息二阶导数，进而得到在足够强对数凹条件下互信息保持凸性的结论。
2025-01-24 cs.IT math.IT
Mutual Information Rate -- Linear Noise Approximation and Exact Computation
本文利用可精确计算互信息率的 PWS 方法，评估高斯近似在离散线性及非线性连续扩散系统中的失效条件与偏差。
2025-08-28 cs.IT math.IT physics.bio-ph
Derivative of BICM Mutual Information
在这封信中，我们确定相应的比特交织编码调制系统的互信息的导数。导数如下作为编码调制集的最小均方误差函数的线性组合。结果发现应用于宽带体制的通信系统的分析和并行信道上的功率分配的设计。
2007-08-15 cs.IT math.IT
Concavity of Mutual Information Rate for Input-Restricted Finite-State Memoryless Channels at High SNR
我们考虑一个有限状态无记忆信道的独立同分布。信道状态和输入马尔可夫过程支持的混合有限型约束。讨论了输出隐马尔可夫链的熵率的渐近性质，并推导出在高信噪比下，这种信道的互信息率关于输入马尔可夫过程的参数是凹的.原则上，该方法的结果使得能够很好地数值逼近这种信道的最大互信息速率和容量。
2010-07-27 cs.IT math.IT
Estimating Mutual Information by Local Gaussian Approximation
从样本中估计互信息（MI）是统计学、机器学习和数据分析中的基本问题。最近研究表明，一类流行的非参数MI估计对强相依变量的表现非常差，并且具有与真实MI呈指数级的样本复杂性。这种不希望的行为是由于依赖于这些估计的局部均匀性的基础（和未知的）概率密度函数。在这里，我们提出了一种新的半参数估计的互信息，在每个样本点，密度是{ \em局部}近似的高斯分布。我们证明了估计量是渐近无偏的。我们还表明，建议的估计有一个优越的性能相比，几个基线，并能够准确地测量关系的强度超过许多数量级。
2016-02-17 cs.IT math.IT physics.data-an
Mutual information matrices are not always positive semi-definite
对于离散随机变量X_1，...，X_n构造一个n × n矩阵。在（i，j）项中，我们放入X_i和X_j之间的互信息I（X_i;X_j）。特别地，在（i，i）项中，我们放入X_i的熵H（X_i）=I（X_i;X_i）。该矩阵称为（X_1，...，X_n）的半正定性。本文给出了该猜想的反例，并证明了该猜想对至多三个随机变量成立。
2013-07-25 cs.IT math.IT
Stopping Criteria for Iterative Decoding based on Mutual Information
本文从互信息的角度研究迭代译码的停止准则。我们引入了新的迭代停止规则的基础上的编码位和解码器软输出之间的互信息的近似。第一类型停止规则直接在近似的互信息上设置用于终止解码的阈值。可以根据预期的比特出错率来调整阈值。第二种算法采用了与著名的交叉熵停止规则相似的策略，即对每次迭代后得到的简单度量与第一次迭代后得到的简单度量之比应用固定的阈值。与几种常用的停止规则相比，新方法具有更高的效率。
2013-02-06 cs.IT math.IT
Single-shot lossy compression: mutual information bounds
California Institute of Technology（加州理工学院）
本文提出通过互信息上界来优化数据压缩，证明在保真度约束下最小化互信息可作为数据最小描述长度的合理代理。
2026-02-07 cs.IT math.IT
A Simple Proof of the Entropy-Power Inequality via Properties of Mutual Information
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但香农熵幂不等式（EPI）似乎是一个例外：EPI的可用信息论证明取决于使用Fisher信息（FI）或最小均方误差（MMSE）的微分熵的积分表示。在本文中，我们首先提出了一个统一的观点，证明通过FI和MMSE，表明它们本质上是相同的证明的双重版本，然后填补空白，提供一个新的，简单的证明EPI，这是完全基于互信息的属性和回避FI或MMSE表示。
2007-04-13 cs.IT math.IT
Information-Theoretic Bounds and Approximations in Neural Population Coding
Johns Hopkins University School of Medicine（约翰·霍普金斯大学医学院）；China Electronics Technology Group Corporation（中国电子科技集团公司）
虽然香农互信息在许多学科中有着广泛的应用，但在实际应用中，由于维数灾难的存在，高维变量的互信息往往很难精确计算。本文主要研究神经种群编码中互信息的有效近似估计方法。对于大但有限的神经种群，我们推导出几个信息理论的渐近界和近似公式，在高维空间中仍然有效。我们证明，优化人口密度分布的基础上，这些近似公式是一个凸优化问题，允许有效的数值解。数值模拟结果表明，我们的渐近公式是高度准确的近似互信息的大神经种群。在特殊情况下，近似公式恰好等于真实的互信息。我们还讨论了变量变换和降维技术，以方便计算的近似。
2017-11-07 cs.IT cs.LG math.IT
Data-Driven Estimation Of Mutual Information Between Dependent Data
我们考虑的问题，估计相关数据之间的互信息，在许多科学和工程应用中的一个重要问题。本文提出了一种数据驱动的非参数互信息估计方法。我们的解决方案的主要新颖之处在于将数据转换到频域，使问题易于处理。我们定义了一个新的度量-频率中的互信息-使用Cramér的谱表示来检测和量化两个随机过程之间的依赖性。我们的解决方案计算作为频率的函数的互信息，以估计随时间变化的相关数据之间的互信息。我们验证其性能的线性和非线性模型。此外，作为我们的解决方案的一部分估计的频率中的互信息也可以用于推断数据中的交叉频率耦合。
2017-03-07 cs.IT math.IT stat.ME
Mutual Information Bounds for Lossy Common Information
本文研究了Gray-Wyner网络中目标间互信息的界限，区分了Wyner和Gács-Körner的损失共同信息，并推广了无损情况的结果。
2025-12-03 cs.IT eess.SP math.IT
A Tight Upper Bound on Mutual Information
我们推导出一个严格的模糊度（条件熵）的下限，或等价的信号变量和通道输出之间的互信息的严格上限。边界是在联合分布的信号和最大后验解码（最可能的信号给定的通道输出）。作为我们推导的一部分，我们描述了信号，信道输出和解码，最大限度地减少歧义和最大限度地提高互信息的分布的关键属性。这项工作解决了数据分析中的一个问题，其中信号和解码之间的互信息有时被用来下界信号和信道输出之间的互信息。我们的结果提供了一个相应的上限。
2019-01-11 cs.IT math.IT q-bio.NC
A Practical Consideration on Convex Mutual Information
在本文中，我们专注于凸互信息，这是发现在最低级别分裂的多级编码方案与加性高斯白噪声（AWGN）信道上的通信。理论分析表明，在凸区域内，通信可达速率不一定低于互信息。此外，仿真结果作为证据。
2021-05-24 cs.IT eess.SP math.IT
FSMI: Fast computation of Shannon Mutual Information for information-theoretic mapping
1 Department of Electrical Engineering；Computer Science, MIT, Cambridge, MA, USA 2 Department of Aeronautics；Astronautics, MIT, Cambridge, MA, USA
探索任务嵌入在许多机器人应用中，例如搜索和救援以及太空探索。基于信息的探索算法旨在通过最大化信息理论度量（诸如地图和潜在的未来测量之间的互信息）来找到信息量最大的轨迹。不幸的是，大多数现有的基于信息的探索算法的计算困难的香农互信息度量评估的困扰。在本文中，我们考虑的基本问题，评估香农互信息之间的地图和距离测量。首先，我们考虑2D环境。我们提出了一种新的算法，称为快速香农互信息（FSMI）。该算法背后的关键见解是，某个积分可以解析计算，从而节省大量的计算。其次，我们考虑由高效数据结构表示的3D环境，例如，一个可压缩映射，使得测量值被行程长度编码（RLE）压缩。我们提出了一种新的算法，称为FSMI-RLE，有效地评估香农互信息的测量时，使用RLE压缩。对于FSMI和FSMI-RLE，我们还提出了对传感器噪声分布进行不同假设的变体，以进一步节省计算。我们在广泛的实验中评估所提出的算法。特别是，我们表明，所提出的算法优于现有的算法，计算香农互信息以及其他算法，计算柯西-施瓦茨二次互信息（CSQMI）。此外，我们证明了香农互信息的计算在一个三维地图上的第一次。
2019-05-06 cs.IT cs.RO math.IT
Mutual information is copula entropy
Tsinghua University（清华大学）
证明了互信息实际上是负Copula熵，并在此基础上提出了一种互信息估计方法。
2008-08-06 cs.IT cs.LG math.IT
Smooth Max-Information as One-Shot Generalization for Mutual Information
我们研究了光滑最大信息的形式性质，这是从最大相对熵导出的von Neumann互信息的推广。最近的工作表明它在单次信道编码、量子率失真理论和量子多体系统物理中是一个有用的量。最大信息可以用多种方式定义。我们证明了不同的平滑定义基本上是等价的（对数项的平滑参数）。这些等价关系使我们能够导出新的链规则的最大信息的最小和最大熵，从而扩展了光滑熵形式主义的互信息。
2013-08-27 cs.IT math.IT quant-ph
Differential Privacy as a Mutual Information Constraint
差分隐私是一个精确的数学约束，旨在确保数据库中的各个信息片段的隐私，即使在查询正在回答有关聚合。直觉上，人们必须接受差分隐私能保证什么和不能保证什么。例如，该定义可以防止一个强大的对手知道数据库中除了一个条目之外的所有条目，从而进一步推断最后一个条目。这一强对抗假设可能被忽略，导致对差分隐私的隐私保证的误解。在这里，我们给出了一个等价的定义隐私使用的互信息，使一些差分隐私的微妙之处。互信息差分隐私在其强度方面实际上夹在$ε$ -差分隐私和$(ε,δ)$ -差分隐私之间。与以前使用无条件互信息的作品相比，差分隐私从根本上与条件互信息相关，伴随着数据库分布的最大化。除了对差分隐私给出一个更简单、更直观的定义外，使用互信息的概念优势在于，它的属性已经被很好地理解了。差分隐私的几个属性很容易验证的互信息替代，如合成定理。
2016-08-12 cs.CR cs.IT math.IT
Formal Limitations on the Measurement of Mutual Information
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Rutgers University（罗格斯大学）
从有限的数据中测量互信息是困难的。最近的工作考虑变分方法最大化的下限。在本文中，我们证明了严重的统计局限性是固有的任何方法来衡量互信息。更具体地说，我们证明了任何分布自由的高置信下限互信息估计从N个样本不能大于O（ln N）。
2020-05-20 cs.IT cs.LG math.IT
On dynamic mutual information for bivariate lifetimes
我们认为动态版本的互信息的寿命分布，重点是过去的生命期，剩余寿命和混合寿命在不同的时刻评估。这允许研究多组分系统，通过测量可能具有不同年龄的两个组分的条件寿命的依赖性。我们提供了一些界限，并调查互信息的剩余寿命内的时间转换指数模型（在无界和截断寿命的假设下）。此外，参考随机样本的顺序统计量，我们明确评估的最小值和最大值之间的互信息，在不同的时间检查的条件下，并表明它是分布自由。最后，我们开发了一种基于Copula的方法，旨在以另一种方式表达过去和剩余双变量寿命的动态互信息。
2016-05-07 cs.IT math.IT math.PR
Individually Conditional Individual Mutual Information Bound on Generalization Error
我们提出了一个新的信息理论界的泛化误差的基础上相结合的错误分解技术Bu等。和条件互信息（CMI）的建设Steinke和Zakynthinou。在以前的工作中，Haghifam等人。提出了一个不同的界限结合上述两种技术，我们称之为条件个人互信息（CIMI）界。然而，在一个简单的高斯设置中，CMI和CIMI界限都比Bu等人的更差。这一观察促使我们提出了新的界限，它克服了这个问题，减少条件互信息中的条件项。在建立这个界的过程中，建立了一个条件解耦引理，这也导致了一个有意义的二分法和这些信息论界之间的比较。
2020-12-29 cs.IT math.IT stat.ML
Investigation of Alternative Measures for Mutual Information
互信息$I(X;Y)$是信息论中的一个有用的定义，用于估计随机变量$Y$关于随机变量$X$持有多少信息。定义互信息的一种方式是通过比较$X$和$Y$的联合分布与通过KL-发散的边缘的乘积。如果两个分布彼此接近，则几乎没有$X$从$Y$泄漏，因为两个变量接近于独立。在离散设置中，互信息具有$Y$揭示关于$X$的多少比特的良好解释，并且如果$I(X;Y)=H(X)$（$X$的香农熵），则$X$被完全揭示。然而，在连续的情况下，我们没有同样的推理。例如，在连续情况下，互信息可以是无限的。这一事实使我们能够尝试不同的度量或分歧来定义互信息。在本文中，我们正在评估不同的度量或分歧，如Kullback-Liebler（KL）分歧，Wasserstein距离，Jensen-Shannon分歧和总变异距离，以形成替代的互信息在连续的情况下。我们部署不同的方法来估计或约束这些指标和分歧，并评估其性能。
2022-04-13 cs.CR cs.IT math.IT
The Mutual information of LDGM codes
我们提供了匹配的上界和下界的互信息在噪声重构的奇偶检验码，从而证明了一个长期存在的猜想Montanari [IEEE Transactions on信息论2005]。除了将Abbe和Montanari [Theory of Computing 2015]的先验集中结果扩展到奇校验度的情况之外，我们精确地确定了任意度分布的代码集合的简化公式，从而捕获了广泛的一类容量接近代码。
2017-07-26 cs.IT math.IT math.PR
Estimating mutual information for spike trains: a bird song example
本文以斑胸草雀为例，利用仅需数据点距离而无需坐标的Kozachenko-Leonenko估计器估计脉冲列互信息，发现脉冲信息内容不随歌声推进而减少。
2023-09-14 cs.IT math.IT q-bio.NC
Derivations of Normalized Mutual Information in Binary Classifications
这封信研究分类的基本问题-如何评估不同的分类器。虽然传统的性能指标，如准确率，通常用于分类器的选择或评估，基于信息的标准，如互信息，正在成为流行的特征/模型选择。在这项工作中，我们提出了评估分类器的归一化互信息（NI），这是新颖的，以及定义在一个紧凑的范围内的分类器评估。我们推导出二进制分类中归一化互信息与准确度、精确度和查全率的密切关系。通过探讨它们之间的关系，我们发现，NI实际上是一组非线性函数，具有协调的幂指数形式，每个性能指标。这些关系也可以用精确度和召回率，或者虚警和命中率（召回率）来表示。
2007-11-23 cs.IT cs.LG math.IT
Canalizing Boolean Functions Maximize the Mutual Information
生物布尔网络的信息处理能力是近年来信息论研究的热点。量化这种能力的一种度量是公知的互信息。使用傅立叶分析，我们表明，渠化功能最大化的输入变量和功能的结果之间的互信息。我们证明我们的结果为布尔函数均匀分布以及产品分布的输入变量。
2012-11-05 cs.IT math.IT nlin.AO
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$，并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明，如果统计模型具有亚高斯得分函数，那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界，并得到了高斯均值估计的紧前常数。然后，我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
Mutual Information in Community Detection with Covariate Information and Correlated Networks
研究了当节点标签存在协变量信息且观测到多个相关网络时的社区发现问题。我们提供了一个渐近上界的每个节点的互信息，以及一个启发式分析的多元性能指标称为MMSE矩阵。这些结果表明，表面上非常不同类型的信息的组合效应可以明确地在公式中的特点，涉及低维估计问题的加性高斯噪声。我们的分析得到了数值模拟的支持。
2019-12-11 cs.IT cs.LG math.IT
Mutual Information for the Stochastic Block Model by the Adaptive Interpolation Method
严格推导了稠密图下非对称两群随机块模型的互信息的单字母变分表达式。文献中的现有证明是间接的，因为它们涉及将模型映射到秩一矩阵估计问题，然后通过方法的组合（例如，内插、空腔、算法、空间耦合）。在这方面的贡献，我们提供了一个独立的直接方法，只使用最近推出的自适应插值方法。
2019-07-16 cond-mat.dis-nn cs.IT math.IT
Channel Dependent Mutual Information in Index Modulations
互信息是用于执行链路自适应的度量，其允许实现接近容量的速率。自适应传输模式的计算是通过使用信噪比和互信息之间的映射来实现的。由于互信息计算的高度复杂性，该过程通过蒙特卡洛模拟离线执行，其结果存储在查找表中。然而，在诸如空间调制或极化调制的索引调制中，这是不可行的，因为星座和互信息是信道相关的，并且如果信道是时变的，则需要在每个时刻计算该度量。在本文中，我们提出了不同的近似，以获得一个简单的封闭形式的表达式，允许计算在每个时刻的互信息，从而使可行的链路自适应。
2018-07-25 cs.ET cs.IT eess.SP
Transmitting quantum information by superposing causal order of mutually unbiased measurements
两个量子测量一个接一个地顺序作用，如果它们相互无偏，将导致编码在输入量子态中的信息的完全去除。我们发现，如果两个连续测量的顺序可以叠加，那么在输入中编码的信息仍然可以保留在输出状态中。
2019-09-28 cs.IT gr-qc math.IT
High Mutual Information in Representation Learning with Symmetric Variational Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们介绍了互信息机（MIM），一种新的表示学习的制定，使用联合分布的意见和潜在的状态在编码器/解码器框架。我们的关键原则是对称性和互信息，其中对称性鼓励编码器和解码器学习相同底层分布的不同因子分解，互信息鼓励学习下游任务的有用表示。我们的出发点是编码和解码联合分布之间的对称Jensen-Shannon散度，加上一个相互信息鼓励正则化。我们表明，这可以是有界的一个听话的交叉熵损失函数之间的真实模型和参数化的近似，并与此相关的极大似然框架。我们还将MIM与变分自编码器（VAE）联系起来，并证明MIM能够学习对称因子分解，具有高互信息，避免了后验崩溃。
2019-10-04 cs.IT cs.LG math.IT
