Equivalence of Two Proof Techniques for Non-Shannon-type Inequalities
我们比较了两种不同的技术证明非香农型信息不等式。第一个是最初的张杨方法，通常被称为复制/粘贴引理/技巧。利用复制引理得到了第一个条件和无条件非Shannon型不等式。第二种技术首先出现在Makarychev等人的论文[7]中，并且基于Ahlswede和Körner作品中的编码引理。本文首先强调平衡不等式的重要性，并给出了一个关于Shannon型不等式的Chan定理的简单证明。我们比较了基于单一技术的各种证明系统的能力。
2013-02-13 cs.IT math.IT math.PR
Linear rank inequalities on five or more variables
向量空间的子空间的秩满足所有由熵满足的线性不等式（包括标准的香农不等式）和一个由英格尔顿提出的附加不等式。众所周知，香农不等式和英格尔顿不等式生成的所有线性秩不等式最多可达四个变量，但它一直是一个悬而未决的问题，是否额外的不等式适用于五个或更多变量的情况。在这里，我们列出了24个不等式，连同香农和英格尔顿不等式，产生所有的线性秩不等式的五个变量。我们还给出了一个部分列表的线性秩不等式的六个变量和一般的结果，产生这样的不平等的任意数量的变量，我们证明，基本上有新的不等式在每个数量的变量超过4（结果也证明最近由Kinser）。
2010-07-20 cs.IT math.IT
Inequalities Revisited
本文提出将信息论中用于发现Shannon熵非香农型约束的形式化方法应用于信息论之外的数学不等式，并以此重新审视了AM-GM、Markov和Cauchy-Schwarz三个基本不等式，为发现新约束提供了新视角。
2025-02-28 cs.IT math.IT
Graph Guessing Games and non-Shannon Information Inequalities
Riis为了研究多个单播网络编码问题，引入了有向图的猜测游戏。在一个猜谜游戏中，玩家掷一般化的骰子，并可以看到一些其他的结果，这取决于一个潜在的有向图的结构。他们后来同时猜测自己死亡的结果。他们的目标是找到一个策略，使他们都猜对的概率最大化。最优策略的性能通过有向图的猜测数来衡量。Christofides和Markström研究了无向图的猜测数，并定义了一个他们认为是最优的策略。本文的主要结果之一是对这一猜想的一个反证。到目前为止，计算图的猜测数的主要工具是信息论不等式。在本文中，我们表明，香农的信息不等式，特别适用于广泛的图形类，是不足以计算的猜测数。最后，我们提出了一些更有趣的问题，其中一些我们可以回答，一些我们留下的开放问题。
2014-11-02 cs.IT math.IT
How to Use Undiscovered Information Inequalities: Direct Applications of the Copy Lemma
我们讨论了线性规划技术，有助于推断推论的非经典不等式香农熵。我们专注于复制引理的直接应用。这些应用涉及隐含的一些（已知或未知）非经典的普遍不等式的香农熵，虽然我们没有得到这些不等式明确。为了减少这些问题的计算复杂性，我们广泛地使用对称性的考虑。我们提出了两个使用这些技术的例子：我们提供了一个规模减小的形式推理的最佳已知的边界的英格尔顿得分（最初证明由Doughnesses \emph{et al.}明确派生的非香农型不等式），并提高了下界的最佳信息比的秘密共享方案的访问结构的基础上的Vamos拟阵。
2019-07-03 cs.IT math.IT
On essentially conditional information inequalities
在1997年，Z.Zhang和R.W.Yeung发现了第一个非Shannon型的四变量条件信息不等式的例子。这个熵的线性不等式被称为条件（或约束），因为它只在所涉及的熵满足某些线性方程的条件下成立。后来，同一作者和其他研究人员发现了几个不符合香农熵不等式的无条件信息不等式。本文证明了某些非Shannon型条件不等式是“本质”条件的，即，它们不能延伸到任何无条件的不平等。证明了一个新的关于Shannon熵的本质条件信息不等式，并讨论了关于Kolmogorov复杂性的条件信息不等式。
2011-09-26 cs.DM cs.IT math.IT
Information Inequalities for Five Random Variables
Rényi Institute（雷尼研究所）；UTIA, Prague（布拉格 UTIA）
本文通过改进的最大熵方法，推导出五变量非香农熵不等式，并证明其为熵不等式，用于描述多变量信息理论中的熵区域结构。
2026-03-03 cs.IT math.IT
On Divergence-Power Inequalities
给出了平稳随机过程在时间离散和带限时间连续两种情况下的（EPI-Shannon型）散度-幂不等式（DPI）的表达式。新的表达式将独立过程之和的发散率、每个过程的个体发散率以及它们的功率谱密度联系起来。所有的发散都是在具有相同二阶统计量的过程和高斯过程之间，并且假设是有限的。香农熵功率不等式EPI的一个新的证明，基于发散和因果最小均方误差（CMMSE）在高斯信道与大信噪比之间的关系，也示出。
2006-09-08 cs.IT math.IT
What do Shannon-type Inequalities, Submodular Width, and Disjunctive Datalog have to do with one another?
研究通过Shannon流不等式证明序列指导PANDA算法，为析取Datalog规则建立输出规模界限，精确匹配次模宽度，并统一信息论与数据库理论间的联系。
2023-12-23 cs.DB cs.DS cs.IT
Entropy Inequalities and Gaussian Comparisons
我们建立了一个一般类的熵不等式，高斯比较的简洁形式。主要结果统一了Shannon-Stam不等式、Brunn-Minkowski不等式、Zamir-Feder不等式、Brascamp-Lieb和Barthe不等式、Anantharam-Jog-Nair不等式等许多经典和新近的结果.
2022-06-28 cs.IT math.IT
Graph Entropy, Network Coding and Guessing games
我们介绍了有向图的（私有）熵（在新的网络编码意义上）以及许多相关概念。我们证明了一个有向图的熵与它的猜测数相同，并且可以用顶点数减去图的最短索引码的大小从下有界。我们表明，每个特定的多个单播网络的网络编码的可解性是完全确定的熵（以及由最短的索引代码）的有向图，通过识别每个源节点与每个相应的目标节点发生。香农信息不等式可以用来计算图的熵的上界以及计算最小索引码的大小。最近，一些新的所谓的非香农型信息不等式族已被发现。它已被证明，存在通信网络的能力严格小于所需的可解性，但这一事实不能使用香农的经典信息不等式。基于这一结果，我们表明，存在图的熵，不能只使用香农的经典信息不等式计算，并表明，更好的估计，可以通过使用某些非香农型信息不等式。
2007-11-27 cs.IT math.CO math.IT
Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search
University of California, Berkeley（加州大学伯克利分校）
本文通过微调小规模语言模型并结合引导束搜索，自动化证明香农型熵不等式，在含10-15个变量的测试集上达到85%的证明成功率。
2026-06-04 cs.IT cs.LG math.IT
Simple inequalities for weighted entropies
提出了一些不等式的加权熵，镜像的标准（香农）熵和相关量的性质。
2015-10-09 cs.IT math.IT math.PR
Entropic Inequalities and Marginal Problems
边际问题是问某组随机变量的给定边际分布族是否来自这些变量的联合分布。在这里，我们指出，存在这样一个联合分布强加了非平凡的条件已经在水平上的香农熵的给定的边缘。这些熵不等式是联合分布存在的必要（但不是充分）准则。对于每一个边际问题，这样的香农型熵不等式的列表可以通过傅立叶-Motzkin消除计算，我们提供了一个软件接口，傅立叶-Motzkin求解器这样做。对于给定边值的超图是圈图的情形，我们给出了所有相关熵不等式分类问题的完全解析解，并利用这一结果来约束随机过程中相关性的衰减.此外，我们表明，香农型不等式的微分熵是不相关的连续变量的边际问题，非香农型不等式，在离散和连续的情况下。与其他方法相比，我们的一般框架很容易适应的情况下，一个有额外的（条件）的独立性要求的联合分布，如在图形模型的情况下。最后，我们列出一系列悬而未决的问题。补充文章讨论了量子非定域性和上下文的应用。
2012-09-26 cs.IT math.IT math.PR
On Characterization of Entropic Vectors at the Boundary of Almost Entropic Cones
熵域是信息论的一个基本对象。熵区域的外边界由称为基本不等式的香农型不等式的最小集合定义，也称为香农区域。本文主要讨论三个随机变量在Shannon区域边界上的熵点的特征。香农区域的固有面形成了它的边界。我们给出了新的外边界的熵区域在某些方面，并显示由明确的建设的分布，现有的内边界的熵区域在某些方面是不紧。
2020-05-21 cs.IT math.IT
Rényi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations
我们研究量子雷尼熵量，特别是那些来自“三明治”的分歧。这种发散是雷尼提出的量子相对熵的几种概括之一。我们可以根据这种分歧定义量子条件熵和互信息的雷尼推广，它们继承了许多理想的性质。然而，这些量缺乏香农和冯诺依曼对应量的一些方便结构。我们试图弥合这一差距，建立发散不等式的有效组合Rényi秩序复制链和分解规则的香农和冯诺伊曼熵。虽然弱一般，这些不等式恢复等价时，雷尼参数趋于一。为此，我们提出了Rényi互信息分解规则，Rényi条件熵三方链规则和更一般的二分比较的一种新方法。这些结果的推导依赖于一个新的复杂的插值方法一般空间的线性算子。这些新的比较使我们能够使用到目前为止只适用于香农和冯诺伊曼熵熵的技术。因此，我们可以直接应用它们来推导雷尼熵的不确定关系。因此，我们建立了一个家庭的Rényi信息排斥关系，并提供进一步的推广和改进，这个和其他已知的关系，包括Rényi二分不确定性关系。
2021-06-19 cs.IT math.IT quant-ph
Information inequalities and Generalized Graph Entropies
在这篇文章中，我们讨论的问题，建立网络结构评估的信息措施之间的关系。两种类型的熵为基础的措施，即香农熵和它的推广，雷尼熵已被认为是这项研究。我们的主要结果涉及建立正式的关系，在隐式不等式的形式，这两种措施时，定义的图。此外，我们还陈述和证明了连接经典的基于划分的图熵和基于功能的熵测度的不等式。此外，对特殊的图类，还导出了几个显式不等式。
2012-02-25 cs.IT math.IT
On the Non-robustness of Essentially Conditional Information Inequalities
我们证明了两个关于Shannon熵的基本条件线性不等式（包括Zhang-Yeung'97条件不等式）对渐近熵点不成立。这意味着这些不等式在很强的意义上是非稳健的。这一结果提出了问题的意义，这些不等式和它们的使用在面向实践的应用程序的有效性。
2012-07-23 cs.IT math.IT math.PR
Inequalities for space-bounded Kolmogorov complexity
Shannon信息论和算法信息论之间存在一种平行性。特别地，相同的线性不等式对于随机变量的元组的香农熵和字符串的元组的柯尔莫哥洛夫复杂度是成立的（Hammer等人，1997），以及子群的大小和集合的投影（Chan，Yeung，Romashchenko，Shen，Vereshchagin，1998- 2002）。这种并行性始于Kolmogorov-Levin公式（1968），用于对数精度的字符串对的复杂性。Longpré（1986）证明了这个公式在空间有界复杂性中的一个版本。本文利用Sipser技巧证明了Longpré结果的一个改进版本，使其具有更紧的空间界.然后，使用这个空间界，我们表明，每个线性不等式是真实的复杂性或熵，也是真实的空间有界的柯尔莫哥洛夫复杂性与多项式空间开销。
2022-09-09 cs.IT math.IT math.LO
Rényi Entropy Power Inequalities via Normal Transport and Rotation
在最近证明香农熵幂不等式（EPI）之后，提出了一个用于推导雷尼熵的各种EPI的综合框架，该框架使用正常密度的传输参数和旋转变量的变化。简单的参数给出恢复以前已知的Rényi EPIs和导出新的，通过统一的乘法形式与常数c和以前的作品与指数α的修改。特别是，对数凹密度，我们得到了一个简单的运输证明的一个尖锐的熵界。
2018-08-22 cs.IT math.IT
Conditions for equality and stability in Shannon's and Tao's entropy power inequalities
本文在仅假设微分熵存在的条件下刻画 Shannon EPI 的等号条件，并证明其弱收敛意义下的定性稳定性及 Tao 离散 EPI 的定量稳定性。
2025-09-27 cs.IT math.IT math.PR
Symmetries in Linear Programming for Information Inequalities
我们研究了秘密共享方案的性质，其中一个随机的秘密值被转换成共享分布在几个参与者中，这样的方式，只有合格的参与者组可以恢复的秘密值。我们改进了几个具体的秘密共享问题的份额大小的下界。为此，我们使用非香农型信息不等式的方法回到Z。Zhang和R.W.杨我们采用和扩展的线性规划技术，允许应用新的信息不平等间接，甚至没有写下来明确。为了降低线性规划问题的复杂性，我们广泛地使用对称性的考虑。
2022-02-08 cs.IT math.IT
Generalizations of Fano's Inequality for Conditional Information Measures via Majorization Theory
Fano不等式是信息论中最基本、最普遍、最重要的工具之一。利用优控制理论，将Fano不等式推广到包含Shannon和Rényi的信息测度的广义信息测度上.当专门为这些措施，它恢复和推广的经典不等式。推导的关键是构造一个适当的条件分布，在可数无限字母表上诱导出所需的边际分布。的建设是基于无限维版本的伯克霍夫定理证明Révész [数学学报。1962，3，188{ \textendash }198]，并且保持期望的边缘分布的约束类似于概率论中的耦合。利用我们关于Shannon和Rényi信息测度的Fano型不等式，我们还研究了当错误概率为零时Shannon和Rényi的模糊序列的渐近行为.这种渐近行为通过Fano不等式提供了渐近均分性质（AEP）的一个新的表征。
2020-08-01 cs.IT math.IT
Nested Inequalities Among Divergence Measures
在本文中，我们考虑了一个不等式有11个已知的分歧措施。这个不等式包括的措施，如：Jeffryes-Kullback-Leiber J-分歧，詹森-香农分歧（Burbea-Rao，1982年），算术-几何平均分歧（Taneja，1995年），Hellinger歧视，对称卡方分歧，三角歧视等所有这些措施是众所周知的文献中的信息论和统计。这一系列的11项措施还包括Kumar和Johnson（2005年）以及Jain和Srivastava（2007年）提出的措施。三个措施所产生的由于一些平均分歧也出现在这个不等式。基于非负的差异所产生的，由于这个单一的不等式的11个措施，我们已经把超过40个发散措施嵌套或顺序的形式。还介绍了反向不等式的思想。
2012-05-05 cs.IT math.IT
Conditional Information Inequalities for Entropic and Almost Entropic Points
我们研究条件线性信息不等式，即，香农熵的线性不等式，适用于熵满足某些线性约束的分布。证明了某些条件信息不等式不能推广到任何无条件线性不等式。这些条件不等式中的一些对几乎熵点成立，而另一些则不成立。我们还讨论了Kolmogorov复杂性的条件信息不等式的一些对应形式。
2013-08-16 cs.DM cs.IT math.IT
A simple proof of the group-theoretic Zhang-Yeung inequality
University of Copenhagen（哥本哈根大学）
本文利用初等群论和计数方法，为有限群子群基数的群论Zhang-Yeung不等式提供了直接且简单的证明，解决了该领域长期存在的开放问题。
2026-09-29 cs.IT math.IT
Reflections on Shannon Information: In search of a natural information-entropy for images
Nontrivialzeros Research（非平凡零点研究所）
如何将香农的原始信息熵扩展到更高的维度并不明显，并且已经尝试了许多不同的方法。我们取代英文文本符号序列最初用于说明理论的离散，带限信号。利用香农后来的采样理论，我们得到了一个新的和对称的版本的二阶熵在一维。新的理论然后自然地延伸到2D和更高的维度，其中自然地我们意味着简单，对称，各向同性和简约。简单性产生于香农的联合熵等式和不等式的梯度（del）向量场图像体现的标量图像的二阶关系的直接应用。通过使用Papoulis的广义采样扩展将矢量数据率减半来保证简约性。新的2D熵度量，我们称之为delentropy，由一个可计算的概率密度函数（我们称之为deldensity）支撑。deldensity捕获底层空间图像结构和像素同现。它实现了这一点，因为每个标量图像像素值是非局部相关的整个梯度向量场。deldensity和delentropy都是非常容易处理的，并产生许多有趣的联系和有用的不等式。新的措施明确定义了一个可实现的编码算法和相应的重建。初步测试表明，delentropy与传统的基于强度的直方图熵和无损图像编码器（GIF，PNG，WEBP，JP 2K-LS和JPG-LS）的压缩数据率相比，对于选择的图像。对称的方法可以应用到更高的维度和图像的复杂性措施的问题。
2016-09-05 cs.CV cs.IT math.IT
Information Inequalities for Joint Distributions, with Interpretations and Applications
本文基于任意子集联合熵给出联合熵的上下界，推广香农链式法则等经典结果，并揭示其与次模函数、组合数学、矩阵理论、假设检验及多学科的联系。
2009-08-03 cs.IT math.CO math.IT
Fourier-Motzkin Elimination Software for Information Theoretic Inequalities
我们提供在MATLAB中实现的开源软件，该软件执行傅里叶-莫茨金消除（FME）并删除由于香农型不等式（STI）而冗余的约束。FME通常用于信息理论背景中以简化速率区域，例如，取消辅助费率。然而，偶尔，程序变得繁琐，这使得无错误的手写推导成为一项难以捉摸的任务。一些计算机软件已经通过利用自动FME过程来规避这个困难。然而，这样的软件的输出通常包括由于信息理论属性而无效的约束。通过引入STI（一类可通过计算机程序证明的信息不等式）的概念，我们的算法基于非负性、链式规则和概率质量函数分解去除了这些冗余约束.这份通讯首先说明了该计划的能力，然后审查STI的贡献，以确定冗余的限制。
2016-10-13 cs.IT math.IT
Negative Shannon Information Hides Networks
Southwest Jiaotong University（西南交通大学）；International Cooperation Research Center of China（中国国际合作研究中心）
为了刻画经典概率分布的不确定性信息，定义了Shannon信息.作为一种不确定性度量，它通常被认为是正的。由于多拟阵公理，这适用于来自两个随机变量的任何信息量。然而，在有限维空间中，对于两个以上的随机变量，为什么会有负的信息是未知的。我们首先表明，负三方香农互信息意味着特定的贝叶斯网络表示其联合分布。然后，我们表明，从一般的三方贝叶斯网络量子实现的负香农信息。这提供了一个独立于设备的负香农信息的见证。最后将结果推广到一般网络。目前的结果显示了新的见解，从非香农信息不等式的网络兼容性。
2022-12-11 cs.AI cs.IT cs.SI
The information-theoretic meaning of Gagliardo--Nirenberg type inequalities
Gagliardo-Nirenberg不等式是由Gagliardo和Nirenberg在50年代后期独立证明的插值不等式。近年来，它们与信息论和非线性扩散方程的理论方面的联系允许获得其中一些最佳形式，通过恢复尖锐常数和显式形式的优化器。本文根据这些最新的研究成果，综述了Shannon型熵、扩散方程和一类Shannon型不等式之间的主要联系。
2018-10-01 cs.IT math-ph math.FA
Proving Information Inequalities and Identities with Symbolic Computation
证明Shannon信息测度的线性不等式和恒等式（可能带有线性约束）是信息论中的一个重要问题。为此，ITIP和其他变体算法已经开发和实现，这都是基于解决线性规划（LP）。具体地，通过求解两个LP来验证身份$f = 0$，一个LP用于$f \ge 0$，一个LP用于$f \le 0$。在本文中，我们开发了一套算法，可以实现的符号计算。基于这些算法，设计了线性信息不等式和恒等式的验证过程。与基于LP的算法相比，我们的程序可以产生分析证明，既人类可验证的和免费的数值错误。我们的程序在计算上也更有效。对于约束不等式，通过利用问题的代数结构，可以显著减小需要求解的LP的大小。对于恒等式，不需要求解两个LP，可以直接验证恒等式，只需很少的计算。
2022-02-06 cs.IT math.IT
Equality cases in the Anantharam-Jog-Nair inequality
Anantharam，Jog和Nair最近将Shannon-Stam不等式和Brascamp-Lieb不等式的熵形式统一到一个共同的不等式下.他们没有解决极值化和极值化子的特征问题。这两个问题都在本文中得到解决。
2022-06-23 cs.IT math.IT
Sharp Rogers--Shephard Inequalities for Rényi Entropy
School of Mathematics, Shandong University（山东大学数学学院）；School of Mathematical Sciences, University of Science and Technology of China（中国科学技术大学数学科学学院）
该研究建立Rényi微分熵的加权Sharp Rogers–Shephard不等式，解决熵Rogers–Shephard猜想，确定等号成立条件及临界阶，通过加权凸交集与指数提升完成证明。
2026-10-14 cs.IT math.IT math.MG
Entropic Isoperimetric and Cramér--Rao Inequalities for Rényi--Fisher Information
本文定义热流下的Rényi–Fisher信息，建立尖锐Rényi熵等周与广义Cramér–Rao不等式，并给出含缩放因子的Rényi熵功率不等式。
2025-06-11 cs.IT math.IT math.PR
Bounds on Guessing Numbers and Secret Sharing Combining Information Theory Methods
本文开发了结合非经典香农熵不等式的计算机辅助证明方法，应用于秘密共享和帽子猜测游戏，通过线性规划和对称性改进下界和上界。
2023-10-18 cs.IT math.IT
On Dependence Measures Based on $f$-Divergence and $Φ$-Entropy
Department of Information Engineering（信息工程系）；The Chinese University of Hong Kong（香港中文大学）
本文研究基于$\Phi$-散度和$\Phi$-熵的依赖度量，提出最大-$\Phi$-互信息并推广至矩阵形式，建立微积分规则并应用于无信号盒布线。
2026-10-22 cs.IT math.IT
An Automated Theorem Proving Framework for Information-Theoretic Results
我们提出了一个通用的自动化定理证明框架，能够在统一的框架下自动发现、简化和证明网络信息论中的内边界和外边界，推导信息理论量的属性（例如Wyner和Gács-Körner公共信息），以及发现非香农型不等式。我们的实现成功地生成了El Gamal和Kim的《网络信息论》一书第1-14章中56个定理中的32个定理的证明。我们的框架是基于存在信息不等式的概念，它提供了一个公理化的框架，在信息论的广泛的问题。
2022-07-11 cs.IT math.IT
Forward and Reverse Entropy Power Inequalities in Convex Geometry
熵幂不等式在信息论和概率论中起着重要的作用，它可以被看作是Brunn-Minkowski不等式的一个类似物。出于这种连接凸几何的动机，我们调查各种最近的发展，不仅为香农-玻尔兹曼熵，而且更普遍的雷尼熵的正向和反向熵功率不等式。在这个过程中，我们讨论了几何泛函分析中一些经典不等式的所谓泛函（或积分）和概率（或熵）类似物之间的联系
2016-12-24 cs.IT math.FA math.IT
Erasing Classical Memory with Quantum Fluctuations: Shannon Information Entropy of Reverse Quantum Annealing
在三个超导量子退火器上通过逆向量子退火实验，利用磁畴壁分布的Shannon信息熵，研究了量子涨落导致的经典记忆丢失与保留的转变，确立了探测量子涨落与记忆相互作用的通用探针。
2025-09-13 cond-mat.stat-mech cond-mat.str-el cs.IT
Information Inequalities via Submodularity and a Problem in Extremal Graph Theory
本文在第一部分中给出了一种统一的方法，用于导出满足次/超模性质的集函数的不等式族。它适用于这种方法的信息不等式与香农信息措施的推导。连接所考虑的方法的广义版本的希勒引理，和其他相关的结果在文献中被认为是。其中一些信息不等式是新的，并且以一种简单而统一的方式再现了已知的结果（如推广的Han不等式）。在第二部分中，本文应用推广的韩氏不等式分析了极图理论中的一个问题。本文从信息论的角度出发，对该问题进行了分析，得到了广义和精化的界。本文的两个部分是为了独立访问的读者。
2022-04-28 cs.IT math.CO math.IT
Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但到目前为止，香农熵幂不等式（EPI）是一个例外：EPI的现有信息论证明取决于使用Fisher信息或最小均方误差（MMSE）的微分熵表示，这些信息论证明来自de Bruijn恒等式。在本文中，我们首先提出了一个统一的观点，这些证明，表明他们共享两个基本成分：1）数据处理参数应用于保协方差线性变换; 2）连续高斯扰动的路径上的积分。使用这些成分，我们开发了一个新的和简短的证明EPI通过一个互信息不等式，它取代了Stam和Blachman的Fisher信息不等式（PII）和不等式MMSE郭，Shamai和Verdú在早期的证明。该结果的优点是非常简单，因为它只依赖于互信息的基本属性。这些想法，然后推广到各种扩展版本的EPI：Zamir和Feder的广义EPI的线性变换的随机变量，高野和约翰逊的EPI的因变量，刘和Viswanath的协方差约束EPI，和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
Convex Split Lemma without Inequalities
本文用碰撞互信息替代最大互信息，将凸分解引理从不等式改进为等式，获得更紧的量子信源编码可达界，并给出仅依赖 Rényi 熵的通用平滑最大互信息上界。
2025-02-15 cs.IT math-ph math.IT
An information-theoretic proof of Nash's inequality
我们表明，信息理论的香农的熵功率，被称为熵功率，可以卓有成效地证明尖锐形式的不等式。特别地，熵功率的平方包含对数Sobolev不等式和带sharp常数的Nash不等式。
2012-07-12 cs.IT math-ph math.FA
On Data-Processing and Majorization Inequalities for $f$-Divergences with Applications
本文主要研究$f$ -分歧的数据处理和优控不等式的推导及其在信息论和统计中的应用。为了便于材料的获取，首先介绍了主要结果，但没有证明，其次是定理的例证，进一步相关的分析结果，解释和信息理论的应用。一个应用程序是指列表解码的性能分析，无论是固定的或可变的列表大小，一些较早的界限上的列表解码错误概率再现在一个统一的方式，并获得新的界限，并举例说明数字。另一个应用是关于近似的概率质量函数的质量的研究，由汤斯顿树的叶子引起的，由等概率分布。进一步分析了有限长Tunstall码的压缩率，以证明其与无记忆平稳离散信源的香农熵的接近程度。几乎所有的分析都归入附录，构成了这份手稿的主要部分。
2019-11-06 cs.IT math.IT math.PR
Stabilizer information inequalities from phase space distributions
随机变量集合的香农熵受到许多约束，最著名的例子是单调性和强次可加性。要决定这些“信息论定律”中的哪一条也受到多体量子态的冯诺伊曼熵的尊重，仍然是一个悬而未决的问题。在这篇文章中，我们考虑这个难题的玩具版本，通过分析稳定态的冯诺伊曼熵。我们发现稳定态的冯诺伊曼熵满足经典情形下的所有平衡信息不等式。我们的论点是建立在这样一个事实上，即稳定态有一个经典的模型，由离散的维格纳函数提供：维格纳函数的相空间熵直接对应于状态的冯诺伊曼熵，这使我们能够减少到经典的情况。我们的结果有一个自然的对应多模高斯态，这揭示了一些建设的一般性质。我们还讨论了我们的结果的关系，林登，Ruskai和冬季最近的工作。
2013-06-17 cs.IT math-ph math.IT
A Simple Proof of the Entropy-Power Inequality via Properties of Mutual Information
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但香农熵幂不等式（EPI）似乎是一个例外：EPI的可用信息论证明取决于使用Fisher信息（FI）或最小均方误差（MMSE）的微分熵的积分表示。在本文中，我们首先提出了一个统一的观点，证明通过FI和MMSE，表明它们本质上是相同的证明的双重版本，然后填补空白，提供一个新的，简单的证明EPI，这是完全基于互信息的属性和回避FI或MMSE表示。
2007-04-13 cs.IT math.IT
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$，并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明，如果统计模型具有亚高斯得分函数，那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界，并得到了高斯均值估计的紧前常数。然后，我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
Relations Between Work and Entropy Production for General Information-Driven, Finite-State Engines
我们考虑一个系统模型的一般有限状态机（棘轮），同时与三种水库相互作用：一个热水库，一个工作水库，和一个信息水库，后者被认为是一个运行的数字磁带的符号顺序与机器相互作用。正如在早期的工作中所展示的那样，这个有限状态机可以作为一个恶魔（具有记忆），它以增加信息库的熵为代价，创造了从热库到功库的净能量流（从而提取有用功）。在很少的假设下，我们提出了一个简单的推导家庭的不等式，涉及工作提取与熵产生。根据不同的观点，这些不等式可以被看作是可提取功的上限或熵产生的下限。许多这些界限是相对容易计算，他们是紧的意义上，平等可以接近任意密切。在它们的基本形式中，这些不等式适用于任何有限数量的循环（并且不仅是渐近的），并且适用于一般的输入信息序列（可能相关），其不一定被假定为甚至是平稳的。几个已知的结果作为特例得到。
2016-11-07 cond-mat.stat-mech cs.IT math.IT
