Returning to Shannon's Original Meaning
本文重新审视香农理论，指出遍历性是信道容量的必要组成部分，并否定了广义信道容量定义及“慢衰落信道严格香农容量为零”的流行观点。
2024-10-02 cs.IT math.IT
Shannon Information and Kolmogorov Complexity
我们比较了香农信息和Kolmogorov复杂性的基本理论，在何种程度上，他们有一个共同的目的，以及他们是根本不同的。我们讨论并联系这两种理论的基本概念：香农熵与柯尔莫哥洛夫复杂度，两者与通用编码的关系，香农互信息与柯尔莫哥洛夫（“算法”）互信息，概率充分统计与算法充分统计（与香农理论中的有损压缩相对于柯尔莫哥洛夫理论中的有意义信息有关），以及率失真理论与Kolmogorov结构函数。部分材料以前曾出现在印刷品中，分散在各种出版物中，但这是第一次全面系统的比较。最后提到的关系是新的。
2004-10-01 cs.IT math.IT
Generalized Mutual Information
互信息是信息论的基本组成部分之一。然而，它只被定义为快速衰减的尾巴上的两个随机元素的可数联合字母表的分布。联合字母表上所有分布的一般类上的互信息的无界性阻止了其潜在的效用被充分实现。这实际上是信息论基础上的一个需要填补的空白。本文提出了一个广义互信息族，它的所有成员（1）除了Shannon定义的互信息外，对联合可数字母表上两个随机元素的每一个分布都有严格的定义;（2）具有有限Shannon互信息的所有效用。
2019-07-11 cs.IT math.IT
Smooth Rényi Entropy of Ergodic Quantum Information Sources
我们证明了平均光滑Renyi熵率将接近平稳、遍历信源的熵率，它等于经典信源的Shannon熵率和量子信息信源的冯诺伊曼熵率。
2007-04-26 cs.IT math.IT quant-ph
Mutual Information of Wireless Channels and Block-Jacobi Ergodic Operators
本文研究了随机多天线多径信道的香农互信息，在一般情况下，信道的冲激响应是一个各态历经的平稳过程，假定接收端是可用的。从这个观点来看，信道可以用一个遍历自伴块雅可比算子来表示，它在许多方面都接近随机薛定谔算子的块形式。然后，互信息与该算符的所谓态密度相关。在本文中，它表明，在最弱的信道假设下，互信息可以表示在一个矩阵值随机过程耦合的信道过程。这允许在该一般设置中的互信息的数值近似。此外，进一步假设信道脉冲响应是马尔可夫过程，则根据另一个相关的马尔可夫过程获得大信噪比状态中的互信息偏移的表示。这推广了Levy~ \emph{et.al.}以前的结果.它还说明了如何互信息表达式，这些表达式是密切相关的随机矩阵理论预测可以恢复在大的维度制度。
2019-05-08 cs.IT math.IT
Ergodic Classical-Quantum Channels: Structure and Coding Theorems
我们考虑遍历因果经典量子信道（cq-信道），另外有一个衰减的输入记忆。在第一部分中，我们研究了遍历cq-信道的一些结构性质，并给出了遍历性的等价条件。第二部分证明了输入记忆衰减的因果遍历cq信道的弱逆编码定理。我们的证明是基于对cq通道引入联合输入输出态的可能性和Shannon-McMillan定理对遍历量子态的应用。在文章的最后一部分，它是如何显示这个结果意味着一类因果遍历量子信道的经典容量的编码定理。
2009-02-16 cs.IT math-ph math.IT
Shannon Shakes Hands with Chernoff: Big Data Viewpoint On Channel Information Measures
Shannon熵是信息论最重要的理论基础，在通信等领域有着广泛的应用。Renyi熵和Baroff信息是另外两种应用广泛的信息度量。互信息反映了输出变量和输入变量之间的关系，是衡量信道信息的有效指标。在本文中，我们重新审视这些渠道信息的措施，在大数据的观点，通过ACE算法。仿真结果表明，Shannon互信息和Dauff互信息互信息对信道参数的分解结果基本一致。从这个意义上说，香农与巴格夫握手，因为它们是相同信息量的不同度量。我们还提出了一个猜想，即存在信道信息的性质，它只取决于信道参数。
2017-01-12 cs.IT math.IT
An axiomatic characterization of mutual information
我们的特点互信息作为唯一的映射顺序对随机变量满足一组公理类似的法捷耶夫的香农熵的表征。然而，在我们的表征中有一个新的公理，它没有香农熵的类似物，基于马尔可夫三角形的概念，它可以被认为是条件熵起作用的通信信道的组成。我们的证明是坐标自由的，在这个意义上，没有出现在我们的计算中。
2022-11-29 cs.IT math.IT math.PR
The Semantic Information Method for Maximum Mutual Information and Maximum Likelihood of Tests, Estimations, and Mixture Models
对于所有可能的Shannon信道或不确定的假设选择规则，求解最大互信息（MMI）或最大似然（ML）是非常困难的，因此必须使用迭代法。根据陆晨光（1993）提出的语义互信息（SMI）和R（G）函数（其中R（G）是信息率失真函数R（D）的推广，G是SMI的下限），我们可以得到一种新的求解检验、估计和混合模型的MMI和ML的迭代算法。SMI由平均对数归一化似然定义。通过语义贝叶斯推理，由真值函数和先验信息生成似然函数。一组真值函数构成语义通道。将语义信道与Shannon信道相互匹配，得到最大化Shannon互信息和平均对数似然的Shannon信道。这种迭代算法称为通道匹配算法或CM算法。收敛性可以用R（G）函数直观地解释和证明。测试、估计和混合模型的几个迭代示例表明，CM算法的计算很简单（可以在Excel文件中演示）。对于大多数随机示例，收敛的迭代次数接近5。对于混合模型，CM算法与EM算法相似，但与标准EM算法相比，CM算法具有更好的收敛性和更大的应用潜力。
2017-06-24 cs.IT math.IT
Semantic Channel and Shannon's Channel Mutually Match for Multi-Label Classification
一组转移概率函数形成香农通道，而一组真值函数形成语义通道。标签学习是让语义通道匹配Shannon通道，标签选择是让Shannon通道匹配语义通道。信道匹配（CM）算法被提供用于多标签分类。该算法遵循最大语义信息准则，与最大似然准则和正则化最小二乘准则兼容。当样本量很大时，可以利用第三类贝叶斯定理直接将Shannon通道转换为语义通道;当样本量很大时，可以利用采样分布训练带参数的真值函数。标签可以是一些原子标签的布尔函数。为了简化学习，我们可以只获得一些原子标签的真值函数。对于一个给定的标签，实例分为三种（积极，消极，不清楚），而不是在流行的研究中的两种，这样的问题与二元相关性是避免的。对于每个实例，分类器选择具有最多语义信息或最丰富内涵的复合标签。作为一种预测模型，语义通道不随实例的先验概率分布（源）而改变。当源发生变化时，它仍然有效。分类器随信源的变化而变化，从而克服了类不平衡问题。研究表明，老年人口的增加会改变“老”的量词，并推动“老”的语义演变。介绍了未知实例分类的CM迭代算法。
2018-05-02 cs.IT cs.LG math.IT
On the Ergodic Mutual Information of Keyhole MIMO Channels With Finite-Alphabet Inputs
本文研究了具有有限字母表输入信号的锁孔多输入多输出信道的各态历经互信息（EMI）。首先研究了单流传输的EMI，考虑了在发送端有和没有信道状态信息的情况。然后，推导出的结果被扩展到多流传输的场景。在高信噪比（SNR）的制度进行渐近分析。高SNR EMI收敛到一个常数，其收敛速度由分集阶数决定。在此基础上，讨论了小孔效应对电磁干扰的影响。数值模拟验证了分析结果。
2022-09-09 cs.IT eess.SP math.IT
The dimension of ergodic random sequences
设μ是Cantor空间上的可计算遍历平移不变测度。提供了一个建设性的证明Shannon-McMillan-Breiman定理，V 'yugin证明，如果一个序列x是马丁-洛夫随机w.r.t.则x的强有效维数Dim（x）等于μ的熵。它的有效维数dim（x）是否也等于熵是一个问题。本文对这一问题进行了探讨，给出了肯定的答案.在证明的关键一步是在扩展最近的结果Birkhoff的遍历定理马丁-洛夫随机序列。
2011-07-21 cs.IT math.IT
Quantum Reverse Shannon Theorem Simplified
本文简化了量子反向香农定理的证明，通过推导光滑最大信息量的可加性上界，消除了后选择技术，提供了更清晰的理解模拟量子信道资源成本的方法。
2025-10-08 cs.IT math-ph math.IT
Higher-Order Interactions and Their Duals Reveal Synergy and Logical Dependence beyond Shannon-Information
针对香农信息论无法区分部分本质不同系统、高阶互信息推广无共识的问题，该研究证明无模型高阶相互作用是布尔代数上惊奇度的莫比乌斯反演，提出其对偶形式，可唯一识别香农信息相同的不同逻辑门、分布与因果动力学。
2023-05-08 cond-mat.stat-mech cs.IT math.IT
A Variational Characterization of $H$-Mutual Information and its Application to Computing $H$-Capacity
该研究提出$H$-互信息的变分表征，并基于此设计交替优化算法以计算$H$-容量，拓展了这类广义信息泄露度量的计算方法。
2024-06-20 cs.IT math.IT
Finite-Resolution Information from Collision Statistics
School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院）
本文利用低阶Rényi熵近似Shannon熵和互信息，通过插值误差界和有限样本估计误差分析，揭示了有限碰撞矩下确定性信息损失与估计误差的权衡。
2026-05-31 cs.IT math.IT
Ergodic MIMO Mutual Information: Twenty Years After Emre Telatar
在Emre Telatar在1999年的著名工作（迄今为止有14274次引用）中，示出了具有SNR $1/t$的$m\times n$ MIMO瑞利信道矩阵$\mathbf{H}$的互信息\begin{equation*} \mathrm{I} = \ln\det\left( \mathbf{I}_m + \frac{1}{t} \mathbf{HH}^{\dagger} \right) \end{equation*}的期望值可以表示为涉及Laguerre多项式的积分。我们表明，在这项工作中，Telatar的积分表示可以明确评估的形式\begin{equation*} \mathbb{E}\!\left[\mathrm{I}\right]=\sum_{k=0}^{n+m-3}a_{k}t^{k}+\rm e^{t}~\text{Ei}(-t)\sum_{k=0}^{n+m-2}b_{k}t^{k},, \end{equation*}，其中$\text{Ei}(-t)$是指数积分和$a_{k}$，$b_{k}$是已知的常数，不依赖于$t$的有限总和。令人惊讶的是，对这个经典信息论问题的重新兴趣来自量子信息论的最新发展。
2019-01-19 cs.IT math.IT
Ergodic Mutual Information and Outage Probability for SIM-Assisted Holographic MIMO Communications
University of Hertfordshire（赫特福德大学）；National Technical University of Athens（雅典国立技术大学）
针对SIM辅助全息MIMO系统，利用大随机矩阵理论推导遍历互信息分布和中断概率闭式解，并采用梯度下降法优化，仿真验证性能优于传统MIMO和单层方案，且算法比AO更快。
2025-10-23 cs.IT math.IT
Extremal Relations Between Shannon Entropy and $\ell_α$-Norm
本文研究了$n$元概率向量$n \ge 2$的香农熵和$\ell_α$范数之间的关系.更准确地说，我们调查的紧界的$\ell_α$ -范数与一个固定的香农熵，反之亦然。作为结果的应用，我们得到了Shannon熵与由$\ell_α$ -范数确定的几个信息测度之间的紧界，例如，Rényi熵、Tsallis熵、$R$ -范数信息和一些多样性指数。此外，我们将这些结果应用于均匀聚焦通道。然后，我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
2016-01-28 cs.IT math.IT
Mixing, Ergodic, and Nonergodic Processes with Rapidly Growing Information between Blocks
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
我们构建混合过程在一个无限的字母表和遍历过程在一个有限的字母表的长度$n$的相邻块之间的香农互信息增长$n^β$，其中$β\in(0,1)$。这些过程是在自然语言建模的背景下引入的非遍历Santa Fe过程的修改。后两个过程的互信息率是相同的，本文也建立了这一关系。作为一个辅助结果，证明了混合过程的无穷直积也是混合的。
2011-11-22 cs.CL cs.IT math.IT
On Finite-Time Mutual Information
Shannon-Hartley定理可以在信号观测时间无限长的情况下精确计算信道容量。然而，有限时间互信息的计算，这仍然是未知的，是必不可少的指导实际通信系统的设计。本文研究了有限时间观测窗内两个相关高斯过程之间的互信息。我们首先推导出有限时间互信息通过提供一个极限表达式。然后，我们数值计算的互信息在一个单一的有限时间窗口。我们发现，在有限的时间窗口内，每秒传输的比特数可以超过整个时间轴上平均的互信息，这被称为双平均现象。进一步，利用迹类算子的Mercer展开，推导了典型信号自相关情形下的有限时间互信息公式，揭示了有限时间互信息问题与算子理论之间的联系.最后，我们解析地证明了在这种典型情况下的平均值的存在性，并证明了它与香农容量的兼容性。
2022-04-24 cs.IT math.IT
Isomorphism between Maximum Lyapunov Exponent and Shannon's Channel Capacity
我们证明了可计算动力系统的最大李雅普诺夫指数同构于香农通信模型中无噪声、无记忆信道的最大容量。这种同构性使得李雅普诺夫指数可以用信息论的简化术语来理解，而不是用混沌理论中的传统定义。这项工作提供了一个桥梁之间的基础物理学和信息论的两个领域的互利。研究结果表明，机器学习和其他信息理论方法可以成功地应用于物理模拟的核心。
2018-01-25 cond-mat.stat-mech cs.IT math.IT
Agentic Information Theory: Ergodicity and Intrinsic Semantics of Information Processes
该研究面向具备记忆的智能体在复杂环境中的时间行为构建信息理论，提出并探究智能体与刺激交互时产生的信息过程，给出香农信息测度时间序列的遍历性与语义基础结果。
2025-07-31 cond-mat.stat-mech cs.IT cs.MA
Investigation of Alternative Measures for Mutual Information
互信息$I(X;Y)$是信息论中的一个有用的定义，用于估计随机变量$Y$关于随机变量$X$持有多少信息。定义互信息的一种方式是通过比较$X$和$Y$的联合分布与通过KL-发散的边缘的乘积。如果两个分布彼此接近，则几乎没有$X$从$Y$泄漏，因为两个变量接近于独立。在离散设置中，互信息具有$Y$揭示关于$X$的多少比特的良好解释，并且如果$I(X;Y)=H(X)$（$X$的香农熵），则$X$被完全揭示。然而，在连续的情况下，我们没有同样的推理。例如，在连续情况下，互信息可以是无限的。这一事实使我们能够尝试不同的度量或分歧来定义互信息。在本文中，我们正在评估不同的度量或分歧，如Kullback-Liebler（KL）分歧，Wasserstein距离，Jensen-Shannon分歧和总变异距离，以形成替代的互信息在连续的情况下。我们部署不同的方法来估计或约束这些指标和分歧，并评估其性能。
2022-04-13 cs.CR cs.IT math.IT
Negative Shannon Information Hides Networks
Southwest Jiaotong University（西南交通大学）；International Cooperation Research Center of China（中国国际合作研究中心）
为了刻画经典概率分布的不确定性信息，定义了Shannon信息.作为一种不确定性度量，它通常被认为是正的。由于多拟阵公理，这适用于来自两个随机变量的任何信息量。然而，在有限维空间中，对于两个以上的随机变量，为什么会有负的信息是未知的。我们首先表明，负三方香农互信息意味着特定的贝叶斯网络表示其联合分布。然后，我们表明，从一般的三方贝叶斯网络量子实现的负香农信息。这提供了一个独立于设备的负香农信息的见证。最后将结果推广到一般网络。目前的结果显示了新的见解，从非香农信息不等式的网络兼容性。
2022-12-11 cs.AI cs.IT cs.SI
Enhancing Secrecy Rate Region for Recent Messages for a Slotted Multiple Access Wiretap Channel to Shannon Capacity Region
安全约束导致窃听通道中出现\textit{rate-loss}。在本文中，我们提出了一种编码方案的两个用户的多址接入信道与窃听（MAC-WT），以前的消息被用作一个关键，以提高保密率的两个用户，直到我们实现通常的容量区域的多址接入信道（MAC）没有窃听（香农容量区域）。利用该方案，到目前为止，在最近的过去传输的所有消息相对于窃听者的所有信息是安全的。为了实现这一目标，我们引入秘密密钥缓冲区的用户，以及在合法的接收器（鲍勃）。最后，我们考虑一个衰落的MAC-WT，并表明这种编码/解码方案，我们可以实现衰落的MAC（遍历意义上）的容量区域。
2017-01-15 cs.CR cs.IT math.IT
Feature selection in machine learning: Rényi min-entropy vs Shannon entropy
Inria（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；Università di Siena（锡耶纳大学）
在机器学习的上下文中，特征选择是将高度预测的特征与那些可能不相关或冗余的特征分离的过程。信息论已经被认为是用于该任务的有用概念，因为预测能力源于相关性，即，特征和标签之间的互信息。许多文献中的特征选择算法都采用了基于Shannon熵的互信息。在本文中，我们探讨了使用Rényi最小熵代替的可能性。特别是，我们提出了一个算法的基础上的概念，最近已通过在安全和隐私领域的条件Rényi最小熵，这是严格相关的贝叶斯错误。我们证明，在一般情况下，这两种方法是不可比的，在这个意义上，我们表明，我们可以构建数据集上的Rényi算法比相应的Shannon算法的性能更好，和数据集上的情况是相反的。然而，在实践中，当考虑真实数据的数据集时，似乎基于Rényi的算法往往优于另一种算法。我们已经在BASEHOCK，SEMEION和GISETTE数据集上进行了几次实验，在所有这些实验中，我们确实观察到基于Rényi的算法给出了更好的结果。
2020-01-27 cs.IT cs.LG math.IT
Diagrammatics of information
本文提出香农熵的图解视角，将其与信息论和互信息关联，并给出5项二重对数形变为4项无穷小二重对数的两个完整证明。
2025-02-04 cs.IT math-ph math.IT
The fitness value of information
生物学家以不同的方式测量信息。神经生物学家和生物信息学的研究人员经常使用信息论的方法来测量信息，如香农熵或互信息。行为生物学家和进化生态学家更常使用决策理论的措施，如信息的价值，评估信息对决策者的价值。在这里，我们表明，这两种措施是密切相关的生物进化的背景下。我们提出了一个简单的模型，在一个不确定的环境中的进化，并计算达尔文的健身，这是可能的环境状态的信息的增加。这种适应度的增加--信息的适应度值--是香农互信息和决策理论信息值的合成。此外，我们表明，在某些情况下，响应于线索的适应度值是完全相等的线索和环境之间的互信息。总的来说，环境的香农熵似乎没有考虑到生物体的适应性，但却给信息的适应性值规定了一个上限。
2005-10-03 cs.IT math.IT q-bio.NC
Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中，我们提出了一个新的信息理论为基础的泛化误差上限适用于监督学习的情况。我们表明，我们的一般界可以专门在各种以前的界限。我们还表明，在某些条件下，我们的一般界限可以专门化为一个新的界限，该界限涉及建模训练样本集的随机变量和建模假设的另一个随机变量之间的Jensen-Shannon信息。我们还证明了在一定条件下，我们的界可以比基于互信息的界更紧。
2021-01-08 cs.IT math.IT math.ST
Sparse Signal Processing with Linear and Nonlinear Observations: A Unified Shannon-Theoretic Approach
我们推导出基本的样本复杂性界恢复稀疏和结构化信号的线性和非线性观测模型，包括稀疏回归，组测试，多元回归和缺失功能的问题。一般来说，稀疏信号处理问题可以用下面的马尔可夫性质来表征。我们给出一组$N$变量$X_1,X_2,\ldots,X_N$，并且存在与预测结果$Y$相关的未知变量子集$S \subset \{1,\ldots,N\}$。更具体地说，当$Y$以$\{X_n\}_{n\in S}$为条件时，它有条件地独立于其他变量$\{X_n\}_{n \not \in S}$。我们的目标是从变量$X$和相关结果$Y$的样本中识别$S$集。我们把这个问题描述为有噪声的信道编码问题的一个版本。使用渐近信息理论分析，我们建立了互信息公式，成功地恢复显着的变量所需的样本数提供了充分和必要的条件。这些互信息表达式统一了线性和非线性观测的条件。然后，我们计算上述模型的样本复杂度界，基于互信息表达式，以证明我们的结果在一般稀疏信号处理模型的适用性和灵活性。
2016-08-25 cs.IT cs.LG math.IT
Continuity of mutual entropy in the large signal-to-noise ratio limit
本文讨论了香农提出的熵幂不等式（EPI）的证明问题，EPI是分析高斯信道信息传输的一个重要工具。我们分析了连续性的输入和输出信号的互熵在一个加性无记忆信道，并讨论了假设下，熵功率不等式成立。
2013-04-02 cs.IR cs.IT math.IT
Mutual information in nonlinear communication channel. Preliminary analytical results in large SNR and small nonlinearity limit
将微扰理论应用于加性高斯噪声下非线性薛定谔方程（NLSE）描述的非线性通信信道的互信息的路径积分表示，分析了大信噪比（$\mathrm{SNR}$）和小非线性下互信息的解析表达式.我们对非线性参数中的互信息的所有可能的修正进行了分类，并证明了在最终的结果中，$\mathrm{SNR}$项中的所有奇异性都消失了。分析结果还表明，对$\mathrm{SNR}$中首阶互信息的Shannon贡献的修正是非线性参数平方的阶数.在进一步的研究中，我们概述了这些修正的计算方法。
2016-08-18 cs.IT math.IT
Hilberg Exponents: New Measures of Long Memory in the Process
本文研究了平稳测度或通用码的互信息的幂律增长率。速率被称为希尔伯格指数，并且为每个度量和每个代码定义了四个这样的量：两个随机指数和两个预期指数。对于条件算法互信息，出现了一个特别有趣的情况。在这种情况下，随机Hilberg指数几乎必然是遍历源上的常数，并且受期望的Hilberg指数的约束。这个性质是香农-麦克米伦-布莱曼定理的“二阶”类似物，在没有引用遍历定理的情况下证明。它通过Shannon-Fano编码和Barron不等式传递到潜在概率测度的Hilberg指数。此外，期望的Hilberg指数可以链接到不同的通用代码。也就是说，如果一个代码优于另一个，则前者的预期Hilberg指数大于后者。本文的结论是由某些来源，如混合伯努利过程和圣达菲过程的Hilberg指数的评价。
2015-07-21 cs.IT math.IT
A Simple Proof of the Entropy-Power Inequality via Properties of Mutual Information
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但香农熵幂不等式（EPI）似乎是一个例外：EPI的可用信息论证明取决于使用Fisher信息（FI）或最小均方误差（MMSE）的微分熵的积分表示。在本文中，我们首先提出了一个统一的观点，证明通过FI和MMSE，表明它们本质上是相同的证明的双重版本，然后填补空白，提供一个新的，简单的证明EPI，这是完全基于互信息的属性和回避FI或MMSE表示。
2007-04-13 cs.IT math.IT
Risk-Aware Information Theory
EECS, School of Engineering, UQTR, Canada（魁北克大学特鲁瓦河分校工程学院）；TIMADIE, Paris, France（巴黎TIMADIE）
提出用expectile替代期望的risk-aware信息论，定义expectile熵、散度和互信息，揭示其在风险寻求下的负散度及与经典互信息的分离，为多用户系统内生速率区域和风险敏感通信奠定基础。
2026-06-24 cs.GT cs.IT math.IT
Parsings of Stationary Processes, Stopping Times and the Fundamental Pointwise Convergence Theorems of Ergodic Theory
本文引入平稳过程的单词集合解析概念及渐近分析框架，结合解析观察（基于定制停止时间的集合），从较弱的依概率收敛版本推导出逐点遍历定理与香农-麦克米兰-布莱曼定理。
2025-02-12 cs.IT math.CO math.DS
Explicit Entropic Constructions for Coverage, Facility Location, and Graph Cuts
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文通过显式熵构造证明了实践中常用的子模函数如覆盖、设施选址和图割目标可精确表示为香农熵，建立了组合信息度量与经典信息论的联系。
2026-01-19 cs.IT math.CO math.IT
Convex Split Lemma without Inequalities
本文用碰撞互信息替代最大互信息，将凸分解引理从不等式改进为等式，获得更紧的量子信源编码可达界，并给出仅依赖 Rényi 熵的通用平滑最大互信息上界。
2025-02-15 cs.IT math-ph math.IT
On the Polarization of Rényi Entropy
现有的极化理论主要关注Shannon信息测度，如Shannon熵和互信息，以及一些相关的测度，如Bhattacharyya参数。在这项工作中，我们将极化理论扩展到更一般的信息测度，即雷尼熵。我们的研究表明，在不同阶数的条件Rényi熵下，同一个合成子信道可能呈现相反的极值状态。这一结果揭示了更多的微观尺度上的极化现象（概率对），而不是在平均尺度上的见解。
2019-07-15 cs.IT math.IT
On Dependence Measures Based on $f$-Divergence and $Φ$-Entropy
Department of Information Engineering（信息工程系）；The Chinese University of Hong Kong（香港中文大学）
本文研究基于$\Phi$-散度和$\Phi$-熵的依赖度量，提出最大-$\Phi$-互信息并推广至矩阵形式，建立微积分规则并应用于无信号盒布线。
2026-10-22 cs.IT math.IT
Max-Sliced Mutual Information
Ben-Gurion University（本-古里安大学）；Cornell University（康奈尔大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出最大切片互信息（mSMI），通过最大化高维变量低维投影间的互信息推广 CCA，并给出神经估计器、非渐近误差界及多任务实验验证。
2023-09-28 cs.IT cs.LG math.IT
Quantifying High-order Interdependencies via Multivariate Extensions of the Mutual Information
本文介绍了一种模型不可知论的方法来研究统计协同效应，这是一种涌现形式，其中大尺度的模式无法从较低尺度追溯。我们的框架利用香农的互信息的各种多元扩展，并引入O-信息作为一个度量能够表征协同和冗余主导的系统。我们开发的O-信息的关键分析属性，并研究它如何涉及到其他指标的高阶相互作用的统计力学和神经科学文献。最后，作为一个概念的证明，我们使用建议的框架，探索巴洛克音乐乐谱统计协同的相关性。
2019-02-28 cs.IT math.IT q-bio.NC
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$，并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明，如果统计模型具有亚高斯得分函数，那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界，并得到了高斯均值估计的紧前常数。然后，我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
Identifying the Information Gain of a Quantum Measurement
我们表明，量子经典通道，即，量子测量，可以渐近模拟的经典通信量等于测量的量子互信息，如果足够的共享随机性是可用的。该结果将用于固定独立同分布输入的Winter测量压缩定理[Winter，CMP 244（157），2004]推广到任意输入，更重要的是，它将测量的量子互信息识别为通过执行它而获得的信息，与执行它的输入状态无关。我们的结果是一个推广的经典反向香农定理量子经典通道。从这个意义上说，它可以被看作是量子到经典信道的量子反向香农定理，但是纠缠辅助和量子通信分别被共享随机性和经典通信所取代。该证明基于用于“经典相干态”的新颖的一次性状态合并协议以及用于量子信道的后选择技术，并且其使用针对量子反向香农定理开发的技术[Berta等人，CMP 306（579），2011]。
2013-03-18 cs.IT math.IT quant-ph
Signal Shaping for BICM at Low SNR
研究了比特交织编码调制（BICM）系统在低信噪比（SNR）下的互信息，即BICM容量，在宽带领域。引入了一种新的依赖于比特概率的线性变换。这种变换被用来证明某些BICM系统与均匀和非均匀输入分布之间的渐近等价性。使用已知的结果BICM系统具有均匀的输入分布，我们完全表征的组合的输入字母表，输入分布，和二进制标记，实现香农限-1.59 dB。主要结论是BICM系统在低信噪比下达到香农限当且仅当它可以表示为超立方体的零均值线性投影，这与均匀输入分布的条件相同。因此，除了几何整形所提供的之外，概率整形没有提供额外的自由度来优化BICM系统的低SNR互信息。数值结果证实了这些分析结论，同时也表明，对于固定的输入字母表，BICM的概率成形可以改善低信噪比和中等信噪比范围内的互信息，优于任何具有均匀输入分布的编码调制系统。
2012-09-13 cs.IT math.IT
Sensing Mutual Information with Random Signals in Gaussian Channels: Bridging Sensing and Communication Metrics
本文利用随机矩阵理论推导随机信号下感知互信息的显式表达式，建立其与传统感知度量的联系，并用于优化预编码，统一感知与通信性能度量。
2024-02-06 cs.IT eess.SP math.IT
The Channel Capacity of Channelrhodopsin and Other Intensity-Driven Signal Transduction Receptors
生物系统通过无数的途径接收来自周围环境的信号。在本文中，我们将信号转导描述为一个通信系统：信号转导受体在这个系统中充当接收器，并且可以建模为有限状态马尔可夫链，其转移率由输入信号决定。利用这个一般模型，我们给出了离散时间内IID输入下的互信息，并得到了连续时间极限下的互信息。我们表明，互信息具有简洁的封闭形式的表达与明确的物理意义。我们还给出了一个充分条件下，实现香农容量与IID输入。我们用三个例子来说明我们的结果：光门控视紫红质-2（ChR 2）受体;配体门控烟碱乙酰胆碱（ACh）受体;和配体门控钙调素（CaM）受体。特别是，我们表明，IID能力的ChR 2受体等于其香农容量。最后，我们讨论了如果只能观察到每个状态的某些属性，例如离子通道是打开还是关闭，结果如何变化。
2019-01-24 cs.IT math.IT q-bio.MN
A Generalized Information Formula as the Bridge between Shannon and Popper
从经典信息量公式出发，推导出一个与逻辑概率和模糊集有关的广义信息量公式。新的信息测度非常符合波普尔的知识进化准则。与平方误差准则相比，信息准则不仅反映了命题本身的误差，而且反映了命题所描述事件的特殊性。逻辑概率越小的命题，其评价值越高.本文介绍了如何根据广义信息准则从众多预测或句子中选择一个预测或句子进行预测和语言翻译。为了数据压缩和提高通信效率，对经典信息论中的率失真理论进行了改进，用广义互信息准则代替了失真（即平均误差）准则。从图像通信中的码率-保真度函数得到了一些有趣的结论。并对如何完善波普尔的理论进行了探讨。
2007-07-24 cs.AI cs.IT math.IT
Rényi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations
我们研究量子雷尼熵量，特别是那些来自“三明治”的分歧。这种发散是雷尼提出的量子相对熵的几种概括之一。我们可以根据这种分歧定义量子条件熵和互信息的雷尼推广，它们继承了许多理想的性质。然而，这些量缺乏香农和冯诺依曼对应量的一些方便结构。我们试图弥合这一差距，建立发散不等式的有效组合Rényi秩序复制链和分解规则的香农和冯诺伊曼熵。虽然弱一般，这些不等式恢复等价时，雷尼参数趋于一。为此，我们提出了Rényi互信息分解规则，Rényi条件熵三方链规则和更一般的二分比较的一种新方法。这些结果的推导依赖于一个新的复杂的插值方法一般空间的线性算子。这些新的比较使我们能够使用到目前为止只适用于香农和冯诺伊曼熵熵的技术。因此，我们可以直接应用它们来推导雷尼熵的不确定关系。因此，我们建立了一个家庭的Rényi信息排斥关系，并提供进一步的推广和改进，这个和其他已知的关系，包括Rényi二分不确定性关系。
2021-06-19 cs.IT math.IT quant-ph
Information Decomposition Diagrams Applied beyond Shannon Entropy: A Generalization of Hu's Theorem
本研究将随机变量与联合运算视为作用于信息函数的幺半群，证明了Hu定理的推广形式，其适用于多种信息度量，还揭示了柯尔莫哥洛夫交互复杂度与香农交互信息的渐近一致性，搭建了算法与经典信息论的桥梁。
2025-02-12 cs.IT math.IT
Permutation Excess Entropy and Mutual Information between the Past and Future
我们解决过剩熵，这是平稳时间序列的复杂性的措施，从有序的角度来看。证明了有限状态平稳遍历马氏过程序空间中两个相邻半无限块之间的置换过剩熵等于互信息。这一结果可能为复杂性和预期之间的关系提供新的线索。
2011-12-12 cs.IT math.IT nlin.CD
Methods for Estimating Neural Information
本文研究了单个神经元Shannon信息估计的非平凡问题，描述了估计神经元输入与输出间互信息的三种关键方法，并提供了相关扩展阅读文献。
2022-12-20 cs.IT math.IT q-bio.NC
Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning
Inria（法国国家信息与自动化研究所）
本文通过推导JSD与KLD之间的新下界，揭示了JSD基于信息最大化与互信息之间的关系，并展示了其在表示学习中的应用和有效性。
2026-03-17 cs.IT cs.LG math.IT
