On a Variational Definition for the Jensen-Shannon Symmetrization of Distances based on the Information Radius
我们广义的詹森-香农发散考虑一个变分的定义，从而扩展了西布森的信息半径的概念。变分定义适用于任何任意距离，并产生另一种定义距离的詹森-香农对称化的方法。当变分优化被进一步约束为属于指定的概率测度族时，我们得到了相对Jensen-Shannon发散和对称化，推广了信息投影的概念.最后，我们讨论这些变分詹森-香农分歧和多样性指数的聚类和量化任务的概率措施，包括统计混合物的应用。
2021-04-02 cs.IT math.IT
Shannon Shakes Hands with Chernoff: Big Data Viewpoint On Channel Information Measures
Shannon熵是信息论最重要的理论基础，在通信等领域有着广泛的应用。Renyi熵和Baroff信息是另外两种应用广泛的信息度量。互信息反映了输出变量和输入变量之间的关系，是衡量信道信息的有效指标。在本文中，我们重新审视这些渠道信息的措施，在大数据的观点，通过ACE算法。仿真结果表明，Shannon互信息和Dauff互信息互信息对信道参数的分解结果基本一致。从这个意义上说，香农与巴格夫握手，因为它们是相同信息量的不同度量。我们还提出了一个猜想，即存在信道信息的性质，它只取决于信道参数。
2017-01-12 cs.IT math.IT
Shannon Information and Kolmogorov Complexity
我们比较了香农信息和Kolmogorov复杂性的基本理论，在何种程度上，他们有一个共同的目的，以及他们是根本不同的。我们讨论并联系这两种理论的基本概念：香农熵与柯尔莫哥洛夫复杂度，两者与通用编码的关系，香农互信息与柯尔莫哥洛夫（“算法”）互信息，概率充分统计与算法充分统计（与香农理论中的有损压缩相对于柯尔莫哥洛夫理论中的有意义信息有关），以及率失真理论与Kolmogorov结构函数。部分材料以前曾出现在印刷品中，分散在各种出版物中，但这是第一次全面系统的比较。最后提到的关系是新的。
2004-10-01 cs.IT math.IT
Information-Theoretical Analysis of Two Shannon's Ciphers
我们描述了广义运行密钥密码，并将其应用于分析两个香农的方法。特别地，我们提出了一些估计的密码含糊度和正确的解密的概率没有密钥。
2016-05-01 cs.CR cs.IT math.IT
On the role of MMSE estimation in approaching the information-theoretic limits of linear Gaussian channels: Shannon meets Wiener
我们讨论了为什么MMSE估计出现在基于格的计划接近线性高斯信道的容量，并评论其性质。
2004-09-26 cs.IT math.IT
Shannon entropy for intuitionistic fuzzy information
Research Center for Electronics and Information Technology（电子与信息技术研究中心）；Valahia University（瓦拉几亚大学）
本文将Shannon模糊熵推广到直觉模糊熵。首先给出了一个新的直觉模糊信息距离和相似度计算公式。然后，我们构建了信息特征，如得分，确定性和不确定性的措施。引入了护送模糊信息的概念。然后，利用护送模糊信息，得到了直觉模糊信息的Shannon公式.应该强调的是，直觉模糊信息的香农熵验证了直觉模糊不确定性的四个定义条件。它的两个组成部分的措施也被确定：模糊性（模糊性）和不完整性（无知）。
2018-07-06 cs.AI cs.IT math.IT
The Relation Between Bayesian Fisher Information and Shannon Information for Detecting a Change in a Parameter
我们得到的性能估计的性能相关的检测任务的理想观察员之间的连接。具体来说，我们将展示如何香农信息的任务，检测参数的变化是相关的Fisher信息和贝叶斯Fisher信息。我们之前已经证明，这个香农信息通过积分变换与同一任务的最小错误概率相关。然后，我们通过Ziv-Zakai不等式从最小误差概率和包围均方误差开始，然后通过van Trees不等式从估计量的包围均方误差和贝叶斯Fisher信息开始，最后通过这里的工作从贝叶斯Fisher信息和检测任务的香农信息开始。
2019-01-31 cs.IT math.IT physics.data-an
Tutorial on Quantum Error Correction for 2024 Quantum Information Knowledge (QuIK) Workshop
本文为2024年QuIK研讨会提供量子计算与量子纠错基础知识的简要回顾，并附有大量参考文献供深入探究。
2024-07-17 cs.IT math.IT quant-ph
Shannon Meets Carnot: Mutual Information Via Thermodynamics
在这方面的贡献，高斯通道表示为一个等效的热系统，允许表达其输入-输出互信息的热力学量。这种对互信息的热力学描述是基于$2^{nd}$热力学定律的推广，并为郭-沙迈-韦尔杜定理提供了另一种证明，给出了这一非凡定理与最基本的自然定律--热力学定律之间的有趣联系。
2008-06-19 cs.IT math.IT
A Brief Introduction to Shannon's Information Theory
本文是对香农信息论的简要介绍。主要介绍了信息量、香农熵和信道容量的概念。所有这些概念都是在一个完全组合的味道。一些文献中通常没有涉及的问题也在这里讨论。特别是，我们表明，似乎我们可以定义不同的信道容量，这使我们能够潜在地在一个固定的足够长的时间内发送更多的消息。然而，对于携带有限数量的字母的信道，不幸的是，信道容量保持与香农极限相同。
2021-04-23 cs.IT math.CO math.IT
Non-Shannon Information Inequalities in Four Random Variables
任何关于三个或更少随机变量的无约束信息不等式都可以写成香农不等式I（A;B）的线性组合|C）>= 0。这种不等式有时被称为“香农”不等式。在1998年，Zhang和Yeung给出了第一个关于四个变量的“非香农”信息不等式的例子。他们的技术是添加两个具有特殊性质的辅助变量，然后将香农不等式应用于扩大的列表。这里我们将证明张杨不等式实际上可以从一个辅助变量导出。然后，我们使用相同的基本技术添加辅助变量，以获得许多其他的非香农不等式的四个变量。我们的列表包括徐，王，孙发现的不等式，但它绝不是详尽无遗的。此外，得到的一些不等式可能被更强的不等式所取代，这些不等式尚未被发现。事实上，我们证明了张杨不等式是其中之一，被取代。我们还提出了几个无限族的不等式。这个列表包括一些，但不是所有的无限家庭发现马图斯。然后我们将描述这些不等式告诉我们关于熵空间的额外信息。这将包括一个猜想的最大可能失败的英格尔顿的不等式。最后，我们将提出一个应用程序的非香农不等式的网络编码。我们将展示这些不等式如何在找到可以流经称为Vamos网络的特定网络的信息的界限时有用。
2011-04-18 cs.IT math.IT
Information Theoretic Security for Side-Channel Attacks to the Shannon Cipher System
研究了Shannon密码系统的侧信道攻击。为了对Shannon密码系统进行侧信道攻击，我们将其看作是通过来自两个分布式传感器的编码数据进行的信号估计。这可以用公式表示为Ahlswede、Körner（1975）和Wyner（1975）提出并研究的一个辅助信源编码问题。我们进一步研究所提出的问题，得到新的保密界。我们的结果是由Watanabe和Oohama（2012）在有界存储evasdropper上获得的结果与Oohama（2015）为一个助手信源编码问题建立的指数强逆定理的耦合导出的。
2019-01-18 cs.IT math.IT
Extremal Relations Between Shannon Entropy and $\ell_α$-Norm
本文研究了$n$元概率向量$n \ge 2$的香农熵和$\ell_α$范数之间的关系.更准确地说，我们调查的紧界的$\ell_α$ -范数与一个固定的香农熵，反之亦然。作为结果的应用，我们得到了Shannon熵与由$\ell_α$ -范数确定的几个信息测度之间的紧界，例如，Rényi熵、Tsallis熵、$R$ -范数信息和一些多样性指数。此外，我们将这些结果应用于均匀聚焦通道。然后，我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
2016-01-28 cs.IT math.IT
Extracting analytic proofs from numerically solved Shannon-type Inequalities
一类信息不等式，称为香农型不等式（STI），可以通过一个名为ITIP的计算机软件证明。在以前的工作中，我们已经展示了如何利用这种技术，傅立叶-Motzkin消除算法的信息论不等式。在这里，我们提供了一个算法提取信息不等式的\emph{analytic}证明。通过求解一个最优化问题证明了Shannon型不等式。我们将展示如何提取数字解决信息不等式的\emph{formal}证明。这种证明可能会变得有用时，不等式是隐含的几个约束，由于PMF，证明是不容易的。更复杂的情况是，由于PMF的约束和统计模型产生的其他约束，不等式成立。这种情况包括信息理论容量区域、率失真函数和无损压缩率。首先给出了Shannon型信息不等式的形式定义。然后，我们审查的优化问题的最佳解决方案，以及如何提取的证明，是可读的用户。
2017-07-06 cs.IT math.IT
Negative Shannon Information Hides Networks
Southwest Jiaotong University（西南交通大学）；International Cooperation Research Center of China（中国国际合作研究中心）
为了刻画经典概率分布的不确定性信息，定义了Shannon信息.作为一种不确定性度量，它通常被认为是正的。由于多拟阵公理，这适用于来自两个随机变量的任何信息量。然而，在有限维空间中，对于两个以上的随机变量，为什么会有负的信息是未知的。我们首先表明，负三方香农互信息意味着特定的贝叶斯网络表示其联合分布。然后，我们表明，从一般的三方贝叶斯网络量子实现的负香农信息。这提供了一个独立于设备的负香农信息的见证。最后将结果推广到一般网络。目前的结果显示了新的见解，从非香农信息不等式的网络兼容性。
2022-12-11 cs.AI cs.IT cs.SI
Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中，我们提出了一个新的信息理论为基础的泛化误差上限适用于监督学习的情况。我们表明，我们的一般界可以专门在各种以前的界限。我们还表明，在某些条件下，我们的一般界限可以专门化为一个新的界限，该界限涉及建模训练样本集的随机变量和建模假设的另一个随机变量之间的Jensen-Shannon信息。我们还证明了在一定条件下，我们的界可以比基于互信息的界更紧。
2021-01-08 cs.IT math.IT math.ST
FSMI: Fast computation of Shannon Mutual Information for information-theoretic mapping
1 Department of Electrical Engineering；Computer Science, MIT, Cambridge, MA, USA 2 Department of Aeronautics；Astronautics, MIT, Cambridge, MA, USA
探索任务嵌入在许多机器人应用中，例如搜索和救援以及太空探索。基于信息的探索算法旨在通过最大化信息理论度量（诸如地图和潜在的未来测量之间的互信息）来找到信息量最大的轨迹。不幸的是，大多数现有的基于信息的探索算法的计算困难的香农互信息度量评估的困扰。在本文中，我们考虑的基本问题，评估香农互信息之间的地图和距离测量。首先，我们考虑2D环境。我们提出了一种新的算法，称为快速香农互信息（FSMI）。该算法背后的关键见解是，某个积分可以解析计算，从而节省大量的计算。其次，我们考虑由高效数据结构表示的3D环境，例如，一个可压缩映射，使得测量值被行程长度编码（RLE）压缩。我们提出了一种新的算法，称为FSMI-RLE，有效地评估香农互信息的测量时，使用RLE压缩。对于FSMI和FSMI-RLE，我们还提出了对传感器噪声分布进行不同假设的变体，以进一步节省计算。我们在广泛的实验中评估所提出的算法。特别是，我们表明，所提出的算法优于现有的算法，计算香农互信息以及其他算法，计算柯西-施瓦茨二次互信息（CSQMI）。此外，我们证明了香农互信息的计算在一个三维地图上的第一次。
2019-05-06 cs.IT cs.RO math.IT
Advances in Shannon-Based Communications and Computations Approaches to Understanding Information Processing in the Brain
本文是对最近发表的呼吁参与研究主题[1]的补充，该主题是为了纪念香农1948年开创性论文75周年[2]。在这里，我们包括一些关键和相关文献的引用，这些文献反映了我们对拟议主题的意见/观点，并作为潜在提交的指导。
2022-03-17 cs.IT math.IT q-bio.NC
Shannon information and integrated information: message and meaning
本研究对比香农信息论与整合信息理论（IIT），指出IIT将意义视为整合信息并以因果结构刻画，提出意义通信需收发双方因果结构相似，为理解意识与意义的信息机制提供新视角。
2024-12-14 cs.IT math.IT q-bio.NC
Information Decomposition Diagrams Applied beyond Shannon Entropy: A Generalization of Hu's Theorem
本研究将随机变量与联合运算视为作用于信息函数的幺半群，证明了Hu定理的推广形式，其适用于多种信息度量，还揭示了柯尔莫哥洛夫交互复杂度与香农交互信息的渐近一致性，搭建了算法与经典信息论的桥梁。
2025-02-12 cs.IT math.IT
Quantum Shannon theory with superpositions of trajectories
香农的信息理论建立在信息载体是经典系统的假设之上。它的量子对应物，量子香农理论，探索了当信息载体是量子系统时出现的新的可能性。传统上，量子香农理论关注的是信息载体的内部状态是量子的，而它们的轨迹是经典的。在这里，我们提出了第二个层次的量子化的信息及其在时空中的传播被量子力学处理。该框架说明了一些例子，展示了一些违反直觉的现象发生时，信息同时通过多个传输线。
2019-05-29 cs.IT math-ph math.IT
An information-theoretic proof of the Shannon-Hagelbarger theorem
本文利用高斯自由场理论，以信息论方法证明了Shannon-Hagelbarger定理，即有效电阻是边电阻的凹函数，并推广至交叉有效电阻矩阵的行列式。
2024-02-06 cs.DM cs.IT math.CO
Index Coding Capacity: How far can one go with only Shannon Inequalities?
干扰对齐的角度是用来确定最简单的情况下（对齐图中的边缘的最小可能数量，不超过2个干扰消息在任何目的地）的索引编码问题，其中非香农信息不等式是必要的容量表征。特别是，这包括第一个已知的多个单播（每个消息一个目的地）索引编码问题的例子，其中非香农信息不等式是必要的。最简单的多单播示例在对齐图中具有7条边和11条消息。最简单的多组播（每个消息多个目的地）示例在对齐图中有6条边，6条消息和10个接收者。对于最简单的多点单播和多点组播情况，仅基于Shannon不等式的最佳外界为$\frac{2}{5}$，利用Zhang-Yeung非Shannon型信息不等式将其收紧为$\frac{11}{28}$，利用Ingleton不等式证明了线性容量为$\frac{5}{13}$.相反，识别索引编码问题的最小挑战性方面允许将已解决的索引编码问题的类别扩展到（但不包括）这些实例。
2013-03-27 cs.IT math.IT
Utility and Privacy of Data Sources: Can Shannon Help Conceal and Reveal Information?
私有信息从无数大型集中式可搜索数据存储库中“泄漏”（无意中或通过恶意设计）的问题推动了对分析框架的需求，该分析框架明确量化私有数据的安全程度（隐私），同时仍为多个合法信息消费者提供有用的利益（实用程序）。率失真理论被证明是开发这样的框架的自然选择，该框架包括以下内容：数据源的建模，开发独立于应用的效用和隐私度量，量化效用-隐私权衡而不管数据源的类型或提供隐私的方法，开发用于处理外部知识问题的边信息模型，研究了多查询数据源的连续泄露问题。
2010-02-06 cs.IT math.IT
Symmetry in Shannon's Noiseless Coding Theorem
陈述香农的无噪编码定理的各种作者，包括原来的，审查和澄清。关于这个定理的传统陈述往往不清楚它何时适用。介绍了一种新的符号，并阐明了应用领域。检查的界限定理导致一个新的对称重述。证明了推广的上界是一个可达上界，从而使定理具有对称性，并说明了信息熵与Gibbs和Boltmann的物理熵的关系。因此，香农熵的研究与物理学密切相关，并且存在信息的物理理论。本文是试图澄清这些关系的开始。
2010-10-29 cs.IT math.IT
Statistical Complexity and Fisher-Shannon Information. Applications
本章介绍了复杂性的统计度量和Fisher-Shannon信息积，并讨论了它们的性质。这些措施是基于香农信息之间的相互作用，或它的一个功能，和一个系统的可访问状态的集合从等概率分布的分离，即不平衡或费舍尔信息，分别。在离散和连续系统中的不同应用。其中一些与量子系统有关，从原型系统如H原子，谐振子和方阱到其他系统如He类离子，胡克原子或只是周期表。在所有这些，这些统计指标显示出一个有趣的行为，能够辨别和突出这些系统的一些构象特性。
2012-01-12 cs.IT math.IT nlin.CD
Multivariate Dependence Beyond Shannon Information
准确地确定依赖结构对于发现系统的因果组织是至关重要的。我们最近表明，转移熵失败的一个关键方面，这-测量信息流-由于其合并的二元和多元的关系。我们扩展这一观察表明，这是真实的所有这些香农信息措施时，用于分析多变量依赖关系。这具有广泛的意义，特别是当使用信息来表达复杂系统中嵌入的组织和机制时，包括将复杂网络理论与信息论结合起来的新兴努力。在这里，我们并不认为信息论的任何方面是错误的。相反，它的绝大多数信息措施根本不足以确定联合概率分布内的有意义的依赖结构。因此，这样的信息措施是不足以发现内在的因果关系。最后，我们证明了这种分布存在于任意一组变量中。
2016-09-08 cond-mat.stat-mech cs.IT math.IT
Shannon Information Entropy in Heavy-ion Collisions
介绍了C.E. Shannon信息熵是一种基于信息熵的方法，它从本质上量化了具有特定分布的量的信息，基于信息熵的方法在物理学等许多科学领域得到了深入的发展。重离子碰撞（HIC）过程的动力学特性使得核物质及其演化的研究变得困难和复杂，Shannon信息熵理论可以为理解这一物理现象提供新的方法和观测量。为了更好地理解HIC的过程，简要介绍了典型模型的主要特点，包括量子分子动力学模型、热力学模型和统计模型等。收集了Shannon信息论在HIC中的典型应用，包括强子碰撞分支过程中的混沌行为、HIC中的液-气相变以及丰中子系统HIC中产生的中等质量碎片的等压差标度现象。尽管目前在重离子碰撞物理中的应用还比较简单，但它将有助于我们探索一些关键问题。建议进一步发展核反应模型中的信息熵方法，并发展新的分析方法来研究HIC中核物质的性质，特别是动力学系统的演化。
2018-01-07 cs.IT math.IT nucl-th
Codes approaching the Shannon limit with polynomial complexity per information bit
我们认为，在各种低功耗应用中出现的极端噪声信道的代码。首先研究了任意维数$m\rightarrow\infty.$的奇偶检验为3的简单LDPC型码。这些码形成调制方案：它们改善了任意$SNR>$ $-6$ dB（每信息比特）的原始信道输出，并随着$SNR$的增长，在未编码调制上获得$3$ dB。然而，它们在输出误码率（BER）上也有一个下限，而与它们的长度无关。紧的下限和上限，这是几乎相同的仿真结果，然后获得在任何SNR的BER。我们还研究了一种组合方案，该方案将$m$信息比特分成$b$块，并使用一些极化码来保护每个块。解码在极化码和LDPC码之间来回移动，每次使用更高速率的极化码。对于足够大的常数$b$和$m\rightarrow\infty$，该设计在任意接近香农极限-1.59 dB的任何SNR处产生消失的BER。与其他现有设计不同，该方案具有每个信息比特的$m\ln m$阶的多项式复杂度。
2021-01-25 cs.IT math.IT
Information-Theoretic Approaches to Differential Privacy
本教程研究差分隐私和各种信息理论的措施之间的关系，通过使用几个选择性的文章。特别是，我们提出了这些连接可以提供新的解释，在信息理论框架中部署差分隐私的系统中的隐私保证。为此，本教程提供了对现有文献的广泛总结，这些文献利用信息理论的度量和工具，如互信息，最小熵，Kullback-Leibler散度和率失真函数，用于在各种设置中量化和表征差分隐私。
2023-03-28 cs.IT math.IT
Graph Guessing Games and non-Shannon Information Inequalities
Riis为了研究多个单播网络编码问题，引入了有向图的猜测游戏。在一个猜谜游戏中，玩家掷一般化的骰子，并可以看到一些其他的结果，这取决于一个潜在的有向图的结构。他们后来同时猜测自己死亡的结果。他们的目标是找到一个策略，使他们都猜对的概率最大化。最优策略的性能通过有向图的猜测数来衡量。Christofides和Markström研究了无向图的猜测数，并定义了一个他们认为是最优的策略。本文的主要结果之一是对这一猜想的一个反证。到目前为止，计算图的猜测数的主要工具是信息论不等式。在本文中，我们表明，香农的信息不等式，特别适用于广泛的图形类，是不足以计算的猜测数。最后，我们提出了一些更有趣的问题，其中一些我们可以回答，一些我们留下的开放问题。
2014-11-02 cs.IT math.IT
Correlated Source Coded Sequences with Compromised Channel and Source Symbols using Shannon's Cipher System
相关源存在于通信系统中，其中协议确保存在一些用于源传输的预定信息。在这里，两个相关的源跨信道与窃听者进行调查，并完全保密的条件时，一些信道信息和一些源数据符号（预定信息）已被窃听确定。在这种情况下，对手可以获得比仅窃听链接更多的信息，因此可以确定更多关于特定来源的信息。这种情况适合窃听者可以访问某些预先存在的信息的应用程序。我们提供了这种情况下的信道和密钥速率的界限。此外，我们提供了一种方法来减少所需的密钥长度完美的保密性。
2014-11-05 cs.IT math.IT
K-trivial, K-low and MLR-low sequences: a tutorial
算法随机性和算法信息论的一个显著成就是发现了K-平凡集、K-低集和马丁-洛夫-随机低集的概念：三个不同的定义由于非常重要的原因而被证明是等价的。本文根据作者之一（L.B.）在Poncelet实验室（CNRS，莫斯科）在2014年，提供了这种等价性的证明和一些相关结果的阐述。我们假设读者熟悉算法信息论的基本概念。
2015-10-01 cs.IT math.IT math.LO
Physics of the Shannon Limits
我们提供了一个简单的物理解释，在热力学第二定律的背景下，信息不等式（a.k.a.）。吉布斯不等式，也等价于对数和不等式），断言两个概率分布之间的相对熵不能为负。由于这个不等式是数据处理定理（DPT）的基础，而DPT又是香农理论中大多数（如果不是全部）逆定理证明的核心，因此可以观察到，在概念上，信息论的基本极限的根源实际上可以归因于物理定律，特别是热力学第二定律，至少间接地，也是能量守恒定律。同样，从另一个方向来看：人们可以把第二定律看作是源于信息论原理。
2009-03-29 cs.IT math.IT
Shannon Information Theory Without Shedding Tears Over Delta \& Epsilon Proofs or Typical Sequences
本文首先讨论概率型（p-型）上的积分。在此基础上，本文重新审视了经典（非量子）Shannon信息论（SIT）的三个主要问题：无失真信源编码、信道编码和有失真信源编码。该文件证明了这3个问题中的每一个都是众所周知的常规结果。然而，这些结果的证明是不常规的。它们基于复积分技术（通过将最速下降法应用于p型积分而获得的近似值），而不是通常的delta & delta和典型的序列参数。本文的另一个非常规的特点是，我们充分利用经典贝叶斯网络（CB网）。本文展示了使用CB网进行经典SIT的一些好处。
2012-08-14 cs.IT math.IT quant-ph
Finite-Resolution Information from Collision Statistics
School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院）
本文利用低阶Rényi熵近似Shannon熵和互信息，通过插值误差界和有限样本估计误差分析，揭示了有限碰撞矩下确定性信息损失与估计误差的权衡。
2026-05-31 cs.IT math.IT
Information Measure Similarity Theory: Message Importance Measure via Shannon Entropy
在异常检测、安全系统等大数据应用场景中，罕见事件引起了人们的广泛关注。为了从概率的角度刻画稀有事件的重要性，提出了消息重要性度量（MIM）作为一种语义分析工具。与Shannon熵相似，MIM在信息处理中有其特殊的功能，其中MIM的参数$\varpi$起着至关重要的作用。实际上，参数$\varpi$支配MIM的性质，基于此，MIM具有三个工作区域，其中对应的参数分别满足$ 0 \le \varpi \le 2/\max\{p(x_i)\}$、$\varpi > 2/\max\{p(x_i)\}$和$\varpi < 0$。此外，在$ 0 \le \varpi \le 2/\max\{p(x_i)\}$的情况下，MIM和Shannon熵在信息压缩和传输方面具有相似性，这为信息论提供了一个新的视角。本文首先构建了一个具有消息重要性度量的系统模型，提出了消息重要性损失的概念，丰富了信息处理策略。此外，我们提出了消息重要性损失容量来衡量信息的重要性收获在传输。此外，提出了消息重要性失真函数，给出了基于消息重要性测度的信息压缩的上界。此外，研究了信息重要性损失约束下的比特率传输问题，拓宽了Shannon信息论的适用范围。
2019-01-04 cs.IT math.IT math.ST
Uncertainty principle, Shannon-Nyquist sampling and beyond
Donoho和Stark已经证明，在短于时频不确定性极限的时间间隔内精确确定性地恢复丢失的信息是可能的。我们从物理学的角度分析了这种信号恢复机制，并表明，著名的香农-奈奎斯特采样定理，这是信号处理的基本原理，也基本上使用相同的机制。基于傅立叶分析的信息论背景下的不确定性关系提供了区分Shannon-Nyquist采样和压缩感知的标准。利用香农-奈奎斯特采样的思想，给出了一个类似于多诺霍-斯塔克公式的新信号恢复公式，在该公式中，发生了低于不确定限的信息的涂抹以及指定带宽的信息的恢复。我们还讨论了从低于量子力学中坐标和动量的不确定极限的域中恢复状态，并表明在原则上，状态恢复通过假设理想的测量程序来工作。在亚测不准域中恢复丢失的信息，意味着在这样一个小的域中信息的丢失并不是致命的，这符合我们对不确定原理的普遍理解，尽管它的精确恢复是我们在量子力学中不习惯的。不确定原理提供了一个普适的采样准则，涵盖了经典的Shannon-Nyquist采样定理和量子力学测量。
2015-04-07 cs.IT math.IT quant-ph
Media-Based Modulation for Future Wireless Systems: A Tutorial
无线革命已经开始，具体的愿景，总体目标，以及第五代（5G）无线网络的第一个正式3GPP版本。尽管发展了几种现代通信技术，但自从现代数字通信时代开始以来，我们主要通过改变正弦载波信号的幅度、相位或频率来传递信息，这具有固有的缺点。另一方面，索引调制（IM）提供了一种传输数字信息的替代维度：相应通信系统构建块的索引。基于媒体的调制（MBM）是IM家族中最新和最重要的成员之一，它通过改变可重构天线（RA）的远场辐射方向图来实现信息的传输，并提供了一个全新的信息传输维度：通过接收信号的独特特征实现无线信道本身的衰落。本文的目的是从广泛的通信工程的角度，通过讨论MBM技术的最新进展以及可能的有趣的研究方向，阐明这一有前途的前沿。
2018-11-21 cs.IT math.IT
Approximations of Shannon Mutual Information for Discrete Variables with Applications to Neural Population Coding
虽然Shannon互信息得到了广泛的应用，但对于许多实际问题，包括神经种群编码问题，其有效计算往往是困难的。基于Fisher信息的渐近公式有时提供对互信息的精确近似，但是这种方法限于连续变量，因为Fisher信息的计算需要关于编码变量的导数。本文考虑了基于Kullback-Leibler散度和Rényi散度的互信息的信息论界和近似。我们提出了几个信息度量近似香农互信息的神经种群编码的上下文中。虽然我们的渐近公式都适用于离散变量，但无论编码变量是离散的还是连续的，其中一个都具有一致的性能和高精度。我们进行了数值模拟，并证实我们的近似公式是高度准确的近似之间的互信息的刺激和反应的一个大的神经种群。这些近似公式可能为信息论在许多实际和理论问题中的应用带来潜在的方便。
2019-03-04 cs.IT math.IT math.ST
Isomorphism between Maximum Lyapunov Exponent and Shannon's Channel Capacity
我们证明了可计算动力系统的最大李雅普诺夫指数同构于香农通信模型中无噪声、无记忆信道的最大容量。这种同构性使得李雅普诺夫指数可以用信息论的简化术语来理解，而不是用混沌理论中的传统定义。这项工作提供了一个桥梁之间的基础物理学和信息论的两个领域的互利。研究结果表明，机器学习和其他信息理论方法可以成功地应用于物理模拟的核心。
2018-01-25 cond-mat.stat-mech cs.IT math.IT
Breaking through the classical Shannon entropy limit: A new frontier through logical semantics
本文首次对具备逻辑演绎推理能力的通信系统进行香农式分析，证明该能力可显著提升通信效率，并主张语义信息理论应纳入演绎推理以充分释放语义潜力。
2024-12-31 cs.IT math.IT
Proposal new area of study by connecting between information theory and Weber-Fechner law
粗略地说，信息论处理的是通过互联网等渠道传输的数据。现代信息论通常被认为是由香农在1948年的开创性论文《通信的数学理论》中创立的。“香农的信息论公式在通信工程师中立即取得了成功。香农用数学的方法定义了一个信道上传输的信息量。信息量并不意味着数据符号的数量。它取决于数据符号的出现概率。同时，心理物理学是研究心理事件和物理事件之间的定量关系，或者更具体地说，是研究感觉和产生感觉的刺激之间的定量关系。似乎香农的信息论与德国科学家和哲学家费希纳建立的心理物理学没有关系。在这里，我令人惊讶地指出，两个领域是可以结合起来的。因此，我们能够用数学的方法来测量对物理刺激的感知，这适用于韦伯-费希纳定律。我将定义新熵的概念。因此，新的领域将开始生活。
2010-03-24 cs.IT math.IT
Reflections on Shannon Information: In search of a natural information-entropy for images
Nontrivialzeros Research（非平凡零点研究所）
如何将香农的原始信息熵扩展到更高的维度并不明显，并且已经尝试了许多不同的方法。我们取代英文文本符号序列最初用于说明理论的离散，带限信号。利用香农后来的采样理论，我们得到了一个新的和对称的版本的二阶熵在一维。新的理论然后自然地延伸到2D和更高的维度，其中自然地我们意味着简单，对称，各向同性和简约。简单性产生于香农的联合熵等式和不等式的梯度（del）向量场图像体现的标量图像的二阶关系的直接应用。通过使用Papoulis的广义采样扩展将矢量数据率减半来保证简约性。新的2D熵度量，我们称之为delentropy，由一个可计算的概率密度函数（我们称之为deldensity）支撑。deldensity捕获底层空间图像结构和像素同现。它实现了这一点，因为每个标量图像像素值是非局部相关的整个梯度向量场。deldensity和delentropy都是非常容易处理的，并产生许多有趣的联系和有用的不等式。新的措施明确定义了一个可实现的编码算法和相应的重建。初步测试表明，delentropy与传统的基于强度的直方图熵和无损图像编码器（GIF，PNG，WEBP，JP 2K-LS和JPG-LS）的压缩数据率相比，对于选择的图像。对称的方法可以应用到更高的维度和图像的复杂性措施的问题。
2016-09-05 cs.CV cs.IT math.IT
On essentially conditional information inequalities
在1997年，Z.Zhang和R.W.Yeung发现了第一个非Shannon型的四变量条件信息不等式的例子。这个熵的线性不等式被称为条件（或约束），因为它只在所涉及的熵满足某些线性方程的条件下成立。后来，同一作者和其他研究人员发现了几个不符合香农熵不等式的无条件信息不等式。本文证明了某些非Shannon型条件不等式是“本质”条件的，即，它们不能延伸到任何无条件的不平等。证明了一个新的关于Shannon熵的本质条件信息不等式，并讨论了关于Kolmogorov复杂性的条件信息不等式。
2011-09-26 cs.DM cs.IT math.IT
A Semantic Generalization of Shannon's Information Theory and Applications
Intelligence Engineering and Mathematics Institute, Liaoning Technical University（辽宁工程技术大学智能工程与数学研究院）；School of Computer Engineering and Applied Mathematics, Changsha University（长沙大学计算机工程与应用数学学院）
本文提出以真值函数构成语义信道、用语义约束替代失真约束的G理论，统一语义信息测度，并展示其在通信、机器学习、控制、贝叶斯确证、投资组合及统计物理原理中的应用。
2025-05-06 cs.AI cs.IT cs.LG
Shannon information storage in noisy phase-modulated fringes and fringe-data compression by phase-shifting algorithms
光学相位调制条纹图案通常以XXY像素和8位/像素（或更高）灰度级数字化。数字化的8比特/像素是原始数据比特，而不是香农信息比特。在这里，我们表明，嘈杂的条纹图案存储少得多的香农信息比容量的数字化相机。这意味着高信噪比（S/N）相机可能会浪费大部分比特/像素的噪声。例如，人们不会使用智能手机相机进行高质量的相位计量，因为它们的图像（S/N）较低。然而，智能手机存储高分辨率（1200万像素）图像，正如我们在这里所展示的，图像的信息存储取决于其带宽和（S/N）。测量信息的标准形式是香农熵H和香农容量定理（Shannon capacity theorem，SCT）。根据SCT，低（S/N）图像可以用较大的条纹带宽来补偿，以获得高信息相位测量。因此，尽管数字化低（S/N）条纹图像，宽带宽的条纹可以给出高质量的相位。大多数现实生活中的图像是冗余的，它们具有像素值变化不大的平滑区域，并且数据压缩算法对于图像传输/存储至关重要。香农容量定理用于衡量竞争的图像压缩算法。在这里，我们表明，相位调制的相移条纹是高度相关的，因此，相移算法（PSA）可以用作条纹数据压缩器。因此，PSA可以将大量相移条纹压缩成单个复值图像。这在星载光学/雷达相位遥测中是重要的，其中下行链路受到巨大距离和低功率下行链路的严重限制。也就是说，代替发送M个相移条纹，仅发送相位解调信号作为压缩感知数据。
2017-11-08 cs.IT eess.SP math.IT
A Note on the Shannon Entropy of Short Sequences
对于长度为L符号的源序列，我们建议使用一个更现实的值，以通常的基准代码字母的数量由源字母。我们的想法是基于一个量词的信息波动的源，F（U），它对应于第二个中心矩的随机变量，测量的信息内容的源符号。通过这种方法还提供了典型序列的另一种解释。
2018-07-07 cs.IT math.IT stat.ME
Introduction to Logical Entropy and its Relationship to Shannon Entropy
我们生活在信息时代。克劳德·香农，作为信息时代之父，给了我们一个量化“信息量”的通信理论，但是，正如他所指出的，“没有定义信息本身的概念。“逻辑熵提供了这个定义。逻辑熵是基于区别、差异、可解释性和多样性的信息概念的自然度量。它是一个集合上划分的区别的（归一化）定量度量-就像布尔-拉普拉斯逻辑概率是集合子集元素的归一化定量度量一样。划分和子集是数学上的对偶概念--所以划分的逻辑在这个意义上与通常的子集布尔逻辑是对偶的，因此得名“逻辑熵”。“划分的逻辑熵有一个简单的解释，即在两个独立的抽取中从底层集合中获得区别或dit（不同块中的元素）的概率。香农熵也是基于这种信息作为区别的概念;它是需要连接的二进制分区（位）的平均最小数量，以使给定分区具有所有相同的区别。因此，所有的概念简单，联合，条件，和互逻辑熵可以转化为相应的概念香农熵的一个统一的非线性dit-bit变换。最后，逻辑熵自然地线性化到相应的量子概念。应用于一个状态的可观测量的量子逻辑熵是在该状态上的可观测量的两个独立投影测量中获得两个不同本征值的概率。关键词：逻辑熵，香农熵，分区，最大熵，量子逻辑熵，冯诺依曼熵
2021-12-03 cs.IT math.IT quant-ph
A Generalized Information Formula as the Bridge between Shannon and Popper
从经典信息量公式出发，推导出一个与逻辑概率和模糊集有关的广义信息量公式。新的信息测度非常符合波普尔的知识进化准则。与平方误差准则相比，信息准则不仅反映了命题本身的误差，而且反映了命题所描述事件的特殊性。逻辑概率越小的命题，其评价值越高.本文介绍了如何根据广义信息准则从众多预测或句子中选择一个预测或句子进行预测和语言翻译。为了数据压缩和提高通信效率，对经典信息论中的率失真理论进行了改进，用广义互信息准则代替了失真（即平均误差）准则。从图像通信中的码率-保真度函数得到了一些有趣的结论。并对如何完善波普尔的理论进行了探讨。
2007-07-24 cs.AI cs.IT math.IT
Resource Allocation for Simultaneous Wireless Information and Power Transfer Systems: A Tutorial Overview
在过去的十年中，由于低功率电子技术和无线通信技术的显著进步，同步无线信息和功率传输（SWIPT）已经成为连接和充电电池有限设备的实用且有前途的解决方案。为了实现所承诺的潜力，先进的资源分配设计在揭示、理解和利用利用射频（RF）信号用于无线充电和通信的双重用途的内在速率-能量权衡方面起着决定性作用。在本文中，我们从资源分配设计的角度提供了SWIPT的全面教程概述。介绍了基本概念、系统结构和RF能量收集（EH）模型。特别是，三种常用的EH模型，即线性EH模型，非线性饱和EH模型，和基于非线性电路的EH模型的特点和讨论。然后，对于一个典型的无线系统设置，我们建立了一个广义的资源分配设计框架，其中包括传统的资源分配设计问题的特殊情况。随后，我们详细说明了相关的工具，从优化理论和利用它们来解决有代表性的资源分配设计问题的SWIPT系统，并没有完善的信道状态信息（CSI）在发射机上，分别。还强调了相关的技术挑战和见解。此外，我们讨论了几个有前途和令人兴奋的未来研究方向的资源分配设计SWIPT系统交织在一起的尖端通信技术，如智能反射表面，无人机，移动边缘计算，联邦学习，和机器学习。
2021-10-14 cs.IT eess.SP math.IT
Quantum Reverse Shannon Theorem Simplified
本文简化了量子反向香农定理的证明，通过推导光滑最大信息量的可加性上界，消除了后选择技术，提供了更清晰的理解模拟量子信道资源成本的方法。
2025-10-08 cs.IT math-ph math.IT
Shannon meets Myerson: Information Extraction from a Strategic Sender
我们研究的设置，接收器必须设计一份问卷，以恢复一系列的符号已知的战略发送器，其效用可能不激励兼容。我们允许接收者选择问卷中的替代方案的可能性，从而将序列的各个组成部分联系起来。我们表明，尽管战略发送器和信道中的噪声，接收器可以恢复指数许多序列，但指数许多序列是不可恢复的，即使是最好的策略。我们定义恢复序列数目的增长率为信息抽取能力。香农容量的推广，它表征所需的通信资源的最佳数量。我们推导出的界限，导致在许多情况下的信息抽取能力的准确评估。我们的研究结果形成了一个新的，不合作的通信制度，涉及一个战略发件人的基石。
2022-09-15 cs.GT cs.IT cs.SY
The Shannon's mutual information of a multiple antenna time and frequency dependent channel: an ergodic operator approach
考虑随机非中心多天线无线电传输信道。假设信道的确定性部分本身是频率选择性的，并且随机多径部分由遍历平稳向量过程表示。在希尔伯特空间$l^2({\mathbb Z})$中，可以将具有所谓的积分态密度（IDS）的随机遍历自伴算子与该信道相关联。该信道的每个接收天线的香农互信息则与$\log$函数关于IDS的积分一致。在本文中，它表明，当在发射机和接收机的天线的数量趋于无穷大，在相同的速率，每个接收天线的互信息往往是一个数量，可以识别，事实上，是密切相关的随机矩阵方法内获得的。这个结果可以通过分析在大量天线的情况下IDS的Stieltjes变换的行为来获得。
2015-04-03 cs.IT math-ph math.IT
