Equivalence of Two Proof Techniques for Non-Shannon-type Inequalities
我们比较了两种不同的技术证明非香农型信息不等式。第一个是最初的张杨方法,通常被称为复制/粘贴引理/技巧。利用复制引理得到了第一个条件和无条件非Shannon型不等式。第二种技术首先出现在Makarychev等人的论文[7]中,并且基于Ahlswede和Körner作品中的编码引理。本文首先强调平衡不等式的重要性,并给出了一个关于Shannon型不等式的Chan定理的简单证明。我们比较了基于单一技术的各种证明系统的能力。
2013-02-13 cs.IT math.IT math.PR
Linear rank inequalities on five or more variables
向量空间的子空间的秩满足所有由熵满足的线性不等式(包括标准的香农不等式)和一个由英格尔顿提出的附加不等式。众所周知,香农不等式和英格尔顿不等式生成的所有线性秩不等式最多可达四个变量,但它一直是一个悬而未决的问题,是否额外的不等式适用于五个或更多变量的情况。在这里,我们列出了24个不等式,连同香农和英格尔顿不等式,产生所有的线性秩不等式的五个变量。我们还给出了一个部分列表的线性秩不等式的六个变量和一般的结果,产生这样的不平等的任意数量的变量,我们证明,基本上有新的不等式在每个数量的变量超过4(结果也证明最近由Kinser)。
2010-07-20 cs.IT math.IT
Inequalities Revisited
本文提出将信息论中用于发现Shannon熵非香农型约束的形式化方法应用于信息论之外的数学不等式,并以此重新审视了AM-GM、Markov和Cauchy-Schwarz三个基本不等式,为发现新约束提供了新视角。
2025-02-28 cs.IT math.IT
Graph Guessing Games and non-Shannon Information Inequalities
Riis为了研究多个单播网络编码问题,引入了有向图的猜测游戏。在一个猜谜游戏中,玩家掷一般化的骰子,并可以看到一些其他的结果,这取决于一个潜在的有向图的结构。他们后来同时猜测自己死亡的结果。他们的目标是找到一个策略,使他们都猜对的概率最大化。最优策略的性能通过有向图的猜测数来衡量。Christofides和Markström研究了无向图的猜测数,并定义了一个他们认为是最优的策略。本文的主要结果之一是对这一猜想的一个反证。到目前为止,计算图的猜测数的主要工具是信息论不等式。在本文中,我们表明,香农的信息不等式,特别适用于广泛的图形类,是不足以计算的猜测数。最后,我们提出了一些更有趣的问题,其中一些我们可以回答,一些我们留下的开放问题。
2014-11-02 cs.IT math.IT
How to Use Undiscovered Information Inequalities: Direct Applications of the Copy Lemma
我们讨论了线性规划技术,有助于推断推论的非经典不等式香农熵。我们专注于复制引理的直接应用。这些应用涉及隐含的一些(已知或未知)非经典的普遍不等式的香农熵,虽然我们没有得到这些不等式明确。为了减少这些问题的计算复杂性,我们广泛地使用对称性的考虑。我们提出了两个使用这些技术的例子:我们提供了一个规模减小的形式推理的最佳已知的边界的英格尔顿得分(最初证明由Doughnesses \emph{et al.}明确派生的非香农型不等式),并提高了下界的最佳信息比的秘密共享方案的访问结构的基础上的Vamos拟阵。
2019-07-03 cs.IT math.IT
On essentially conditional information inequalities
在1997年,Z.Zhang和R.W.Yeung发现了第一个非Shannon型的四变量条件信息不等式的例子。这个熵的线性不等式被称为条件(或约束),因为它只在所涉及的熵满足某些线性方程的条件下成立。后来,同一作者和其他研究人员发现了几个不符合香农熵不等式的无条件信息不等式。本文证明了某些非Shannon型条件不等式是“本质”条件的,即,它们不能延伸到任何无条件的不平等。证明了一个新的关于Shannon熵的本质条件信息不等式,并讨论了关于Kolmogorov复杂性的条件信息不等式。
2011-09-26 cs.DM cs.IT math.IT
Information Inequalities for Five Random Variables
Rényi Institute(雷尼研究所);UTIA, Prague(布拉格 UTIA)
本文通过改进的最大熵方法,推导出五变量非香农熵不等式,并证明其为熵不等式,用于描述多变量信息理论中的熵区域结构。
2026-03-03 cs.IT math.IT
On Divergence-Power Inequalities
给出了平稳随机过程在时间离散和带限时间连续两种情况下的(EPI-Shannon型)散度-幂不等式(DPI)的表达式。新的表达式将独立过程之和的发散率、每个过程的个体发散率以及它们的功率谱密度联系起来。所有的发散都是在具有相同二阶统计量的过程和高斯过程之间,并且假设是有限的。香农熵功率不等式EPI的一个新的证明,基于发散和因果最小均方误差(CMMSE)在高斯信道与大信噪比之间的关系,也示出。
2006-09-08 cs.IT math.IT
What do Shannon-type Inequalities, Submodular Width, and Disjunctive Datalog have to do with one another?
研究通过Shannon流不等式证明序列指导PANDA算法,为析取Datalog规则建立输出规模界限,精确匹配次模宽度,并统一信息论与数据库理论间的联系。
2023-12-23 cs.DB cs.DS cs.IT
Entropy Inequalities and Gaussian Comparisons
我们建立了一个一般类的熵不等式,高斯比较的简洁形式。主要结果统一了Shannon-Stam不等式、Brunn-Minkowski不等式、Zamir-Feder不等式、Brascamp-Lieb和Barthe不等式、Anantharam-Jog-Nair不等式等许多经典和新近的结果.
2022-06-28 cs.IT math.IT
Graph Entropy, Network Coding and Guessing games
我们介绍了有向图的(私有)熵(在新的网络编码意义上)以及许多相关概念。我们证明了一个有向图的熵与它的猜测数相同,并且可以用顶点数减去图的最短索引码的大小从下有界。我们表明,每个特定的多个单播网络的网络编码的可解性是完全确定的熵(以及由最短的索引代码)的有向图,通过识别每个源节点与每个相应的目标节点发生。香农信息不等式可以用来计算图的熵的上界以及计算最小索引码的大小。最近,一些新的所谓的非香农型信息不等式族已被发现。它已被证明,存在通信网络的能力严格小于所需的可解性,但这一事实不能使用香农的经典信息不等式。基于这一结果,我们表明,存在图的熵,不能只使用香农的经典信息不等式计算,并表明,更好的估计,可以通过使用某些非香农型信息不等式。
2007-11-27 cs.IT math.CO math.IT
Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search
University of California, Berkeley(加州大学伯克利分校)
本文通过微调小规模语言模型并结合引导束搜索,自动化证明香农型熵不等式,在含10-15个变量的测试集上达到85%的证明成功率。
2026-06-04 cs.IT cs.LG math.IT
Simple inequalities for weighted entropies
提出了一些不等式的加权熵,镜像的标准(香农)熵和相关量的性质。
2015-10-09 cs.IT math.IT math.PR
Entropic Inequalities and Marginal Problems
边际问题是问某组随机变量的给定边际分布族是否来自这些变量的联合分布。在这里,我们指出,存在这样一个联合分布强加了非平凡的条件已经在水平上的香农熵的给定的边缘。这些熵不等式是联合分布存在的必要(但不是充分)准则。对于每一个边际问题,这样的香农型熵不等式的列表可以通过傅立叶-Motzkin消除计算,我们提供了一个软件接口,傅立叶-Motzkin求解器这样做。对于给定边值的超图是圈图的情形,我们给出了所有相关熵不等式分类问题的完全解析解,并利用这一结果来约束随机过程中相关性的衰减.此外,我们表明,香农型不等式的微分熵是不相关的连续变量的边际问题,非香农型不等式,在离散和连续的情况下。与其他方法相比,我们的一般框架很容易适应的情况下,一个有额外的(条件)的独立性要求的联合分布,如在图形模型的情况下。最后,我们列出一系列悬而未决的问题。补充文章讨论了量子非定域性和上下文的应用。
2012-09-26 cs.IT math.IT math.PR
On Characterization of Entropic Vectors at the Boundary of Almost Entropic Cones
熵域是信息论的一个基本对象。熵区域的外边界由称为基本不等式的香农型不等式的最小集合定义,也称为香农区域。本文主要讨论三个随机变量在Shannon区域边界上的熵点的特征。香农区域的固有面形成了它的边界。我们给出了新的外边界的熵区域在某些方面,并显示由明确的建设的分布,现有的内边界的熵区域在某些方面是不紧。
2020-05-21 cs.IT math.IT
The minimal set of Ingleton inequalities
假设使用线性网络码,Ingleton-LP界是多播容量区域的外界。的界限的计算上进行的多面体锥通过采取的基本(香农型)不等式和Ingleton不等式引起的半空间的交集。本文通过得到最小的Ingleton不等式集,简化了该锥的刻画。因此,计算Ingleton-LP界所需的工作量可以大大减少。
2008-02-19 cs.IT math.IT
Rényi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations
我们研究量子雷尼熵量,特别是那些来自“三明治”的分歧。这种发散是雷尼提出的量子相对熵的几种概括之一。我们可以根据这种分歧定义量子条件熵和互信息的雷尼推广,它们继承了许多理想的性质。然而,这些量缺乏香农和冯诺依曼对应量的一些方便结构。我们试图弥合这一差距,建立发散不等式的有效组合Rényi秩序复制链和分解规则的香农和冯诺伊曼熵。虽然弱一般,这些不等式恢复等价时,雷尼参数趋于一。为此,我们提出了Rényi互信息分解规则,Rényi条件熵三方链规则和更一般的二分比较的一种新方法。这些结果的推导依赖于一个新的复杂的插值方法一般空间的线性算子。这些新的比较使我们能够使用到目前为止只适用于香农和冯诺伊曼熵熵的技术。因此,我们可以直接应用它们来推导雷尼熵的不确定关系。因此,我们建立了一个家庭的Rényi信息排斥关系,并提供进一步的推广和改进,这个和其他已知的关系,包括Rényi二分不确定性关系。
2021-06-19 cs.IT math.IT quant-ph
On the Non-robustness of Essentially Conditional Information Inequalities
我们证明了两个关于Shannon熵的基本条件线性不等式(包括Zhang-Yeung'97条件不等式)对渐近熵点不成立。这意味着这些不等式在很强的意义上是非稳健的。这一结果提出了问题的意义,这些不等式和它们的使用在面向实践的应用程序的有效性。
2012-07-23 cs.IT math.IT math.PR
Inequalities for space-bounded Kolmogorov complexity
Shannon信息论和算法信息论之间存在一种平行性。特别地,相同的线性不等式对于随机变量的元组的香农熵和字符串的元组的柯尔莫哥洛夫复杂度是成立的(Hammer等人,1997),以及子群的大小和集合的投影(Chan,Yeung,Romashchenko,Shen,Vereshchagin,1998- 2002)。这种并行性始于Kolmogorov-Levin公式(1968),用于对数精度的字符串对的复杂性。Longpré(1986)证明了这个公式在空间有界复杂性中的一个版本。本文利用Sipser技巧证明了Longpré结果的一个改进版本,使其具有更紧的空间界.然后,使用这个空间界,我们表明,每个线性不等式是真实的复杂性或熵,也是真实的空间有界的柯尔莫哥洛夫复杂性与多项式空间开销。
2022-09-09 cs.IT math.IT math.LO
A Numerical Study on the Wiretap Network with a Simple Network Topology
在本文中,我们研究了一个简单的窃听网络的安全问题,该网络由一个源节点S,一个目的节点D和一个中间节点R组成。中间节点经由一组无噪声并行信道连接源节点和目的地节点,所述信道的大小分别为$n_1$和$n_2$。消息$M$将从S发送到D。网络中的信息可能被一组窃听者窃听。窃听器无法相互通信。每个窃听器可以访问一个子集的渠道,称为窃听集。所有被选中的窃听装置组成一个窃听模式。在S处生成随机密钥$K$,并且采用关于$(M, K)$的编码方案来保护$M$。我们在D处定义两个解码类:在类I中,仅需要恢复$M$,而在类II中,需要恢复$M$和$K$两者。我们的目标是最小化$H(K)/H(M)$ {对于一个给定的窃听模式}下的完美保密约束。我们要解决的第一个问题是,在这个简单的网络上,路由是否是最优的。通过列举I/II类$(3,3)$网络上的所有窃听模式,并利用Shannon型不等式的力量,我们发现在所有窃听模式的一小部分$<2\%$中,路由所隐含的边界和Shannon型不等式所隐含的边界之间存在差距。我们调查的第二个问题是:对于存在间隙的其余窃听模式,什么是$\min H(K)/H(M)$?我们研究了一些简单的窃听模式,发现它们的香农边界(即,Shannon型不等式引起的下界)可以通过线性码来实现,这意味着即使对于($3$,$3$)网络,路由也是不够的。对于一些复杂的窃听模式,我们研究了线性编码方…
2016-01-15 cs.IT math.IT
Conditions for equality and stability in Shannon's and Tao's entropy power inequalities
Statistical Laboratory, DPMMS, University of Cambridge, Centre for Mathematical Sciences(剑桥大学DPMMS统计实验室数学科学中心)
本文在仅假设微分熵存在的条件下刻画 Shannon EPI 的等号条件,并证明其弱收敛意义下的定性稳定性及 Tao 离散 EPI 的定量稳定性。
2025-09-27 cs.IT math.IT math.PR
Generalizations of Fano's Inequality for Conditional Information Measures via Majorization Theory
Fano不等式是信息论中最基本、最普遍、最重要的工具之一。利用优控制理论,将Fano不等式推广到包含Shannon和Rényi的信息测度的广义信息测度上.当专门为这些措施,它恢复和推广的经典不等式。推导的关键是构造一个适当的条件分布,在可数无限字母表上诱导出所需的边际分布。的建设是基于无限维版本的伯克霍夫定理证明Révész [数学学报。1962,3,188{ \textendash }198],并且保持期望的边缘分布的约束类似于概率论中的耦合。利用我们关于Shannon和Rényi信息测度的Fano型不等式,我们还研究了当错误概率为零时Shannon和Rényi的模糊序列的渐近行为.这种渐近行为通过Fano不等式提供了渐近均分性质(AEP)的一个新的表征。
2020-08-01 cs.IT math.IT
Nested Inequalities Among Divergence Measures
在本文中,我们考虑了一个不等式有11个已知的分歧措施。这个不等式包括的措施,如:Jeffryes-Kullback-Leiber J-分歧,詹森-香农分歧(Burbea-Rao,1982年),算术-几何平均分歧(Taneja,1995年),Hellinger歧视,对称卡方分歧,三角歧视等所有这些措施是众所周知的文献中的信息论和统计。这一系列的11项措施还包括Kumar和Johnson(2005年)以及Jain和Srivastava(2007年)提出的措施。三个措施所产生的由于一些平均分歧也出现在这个不等式。基于非负的差异所产生的,由于这个单一的不等式的11个措施,我们已经把超过40个发散措施嵌套或顺序的形式。还介绍了反向不等式的思想。
2012-05-05 cs.IT math.IT
Conditional Information Inequalities for Entropic and Almost Entropic Points
我们研究条件线性信息不等式,即,香农熵的线性不等式,适用于熵满足某些线性约束的分布。证明了某些条件信息不等式不能推广到任何无条件线性不等式。这些条件不等式中的一些对几乎熵点成立,而另一些则不成立。我们还讨论了Kolmogorov复杂性的条件信息不等式的一些对应形式。
2013-08-16 cs.DM cs.IT math.IT
Fourier-Motzkin Elimination Software for Information Theoretic Inequalities
我们提供在MATLAB中实现的开源软件,该软件执行傅里叶-莫茨金消除(FME)并删除由于香农型不等式(STI)而冗余的约束。FME通常用于信息理论背景中以简化速率区域,例如,取消辅助费率。然而,偶尔,程序变得繁琐,这使得无错误的手写推导成为一项难以捉摸的任务。一些计算机软件已经通过利用自动FME过程来规避这个困难。然而,这样的软件的输出通常包括由于信息理论属性而无效的约束。通过引入STI(一类可通过计算机程序证明的信息不等式)的概念,我们的算法基于非负性、链式规则和概率质量函数分解去除了这些冗余约束.这份通讯首先说明了该计划的能力,然后审查STI的贡献,以确定冗余的限制。
2016-10-13 cs.IT math.IT
The information-theoretic meaning of Gagliardo--Nirenberg type inequalities
Gagliardo-Nirenberg不等式是由Gagliardo和Nirenberg在50年代后期独立证明的插值不等式。近年来,它们与信息论和非线性扩散方程的理论方面的联系允许获得其中一些最佳形式,通过恢复尖锐常数和显式形式的优化器。本文根据这些最新的研究成果,综述了Shannon型熵、扩散方程和一类Shannon型不等式之间的主要联系。
2018-10-01 cs.IT math-ph math.FA
Equality cases in the Anantharam-Jog-Nair inequality
Anantharam,Jog和Nair最近将Shannon-Stam不等式和Brascamp-Lieb不等式的熵形式统一到一个共同的不等式下.他们没有解决极值化和极值化子的特征问题。这两个问题都在本文中得到解决。
2022-06-23 cs.IT math.IT
Sharp Rogers--Shephard Inequalities for Rényi Entropy
School of Mathematics, Shandong University(山东大学数学学院);School of Mathematical Sciences, University of Science and Technology of China(中国科学技术大学数学科学学院)
该研究建立Rényi微分熵的加权Sharp Rogers–Shephard不等式,解决熵Rogers–Shephard猜想,确定等号成立条件及临界阶,通过加权凸交集与指数提升完成证明。
2026-10-14 cs.IT math.IT math.MG
Entropic Isoperimetric and Cramér--Rao Inequalities for Rényi--Fisher Information
本文定义热流下的Rényi–Fisher信息,建立尖锐Rényi熵等周与广义Cramér–Rao不等式,并给出含缩放因子的Rényi熵功率不等式。
2025-06-11 cs.IT math.IT math.PR
On Dependence Measures Based on $f$-Divergence and $Φ$-Entropy
Department of Information Engineering(信息工程系);The Chinese University of Hong Kong(香港中文大学)
本文研究基于$\Phi$-散度和$\Phi$-熵的依赖度量,提出最大-$\Phi$-互信息并推广至矩阵形式,建立微积分规则并应用于无信号盒布线。
2026-10-22 cs.IT math.IT
Forward and Reverse Entropy Power Inequalities in Convex Geometry
熵幂不等式在信息论和概率论中起着重要的作用,它可以被看作是Brunn-Minkowski不等式的一个类似物。出于这种连接凸几何的动机,我们调查各种最近的发展,不仅为香农-玻尔兹曼熵,而且更普遍的雷尼熵的正向和反向熵功率不等式。在这个过程中,我们讨论了几何泛函分析中一些经典不等式的所谓泛函(或积分)和概率(或熵)类似物之间的联系
2016-12-24 cs.IT math.FA math.IT
Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来,但到目前为止,香农熵幂不等式(EPI)是一个例外:EPI的现有信息论证明取决于使用Fisher信息或最小均方误差(MMSE)的微分熵表示,这些信息论证明来自de Bruijn恒等式。在本文中,我们首先提出了一个统一的观点,这些证明,表明他们共享两个基本成分:1)数据处理参数应用于保协方差线性变换; 2)连续高斯扰动的路径上的积分。使用这些成分,我们开发了一个新的和简短的证明EPI通过一个互信息不等式,它取代了Stam和Blachman的Fisher信息不等式(PII)和不等式MMSE郭,Shamai和Verdú在早期的证明。该结果的优点是非常简单,因为它只依赖于互信息的基本属性。这些想法,然后推广到各种扩展版本的EPI:Zamir和Feder的广义EPI的线性变换的随机变量,高野和约翰逊的EPI的因变量,刘和Viswanath的协方差约束EPI,和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
The Preisach Extremum Stack is a Shannon-Minimal Sufficient Statistic for Rate-Independent Functionals
Metrology and Biomedical Engineering Institute, Faculty of Mechatronics, Warsaw University of Technology(华沙理工大学机械学院计量与生物医学工程研究所)
本文证明Preisach极值堆是率无关泛函的Shannon最小充分统计量,并给出信息论推论和在线维护算法。
2026-06-03 cs.DS cs.IT math.IT
On the Shannon Covers of Certain Irreducible Constrained Systems of Finite Type
在自动机理论文献中,Crochemore、Meclosi和Restivo的一个构造给出了有限型约束系统(FTCS)的一个表示,该系统是确定性的,并且具有相对较少的状态。因此,这种构造是确定FTCS的最小确定性表示(称为香农覆盖)的一个很好的起点。我们详细分析了Crochemore-Mingsi-Restivo(CMR)建设的情况下,禁止的单词定义的FTCS的列表的大小最多为两个。我们表明,如果FTCS是不可约的,那么一个不可约的介绍系统可以很容易地通过删除规定的几个国家从CMR介绍。通过研究这种不可约表示中状态的跟随集,我们能够在某些情况下明确地确定香农覆盖。特别是,我们的研究结果表明,CMR建设直接产生的香农覆盖的情况下,一个不可约的FTCS正好有一个禁止字,但这不是一般的情况下,FTCS的两个禁止字。
2006-04-26 cs.DM cs.IT math.IT
Minimal Joint Entropy and Order-Preserving Couplings
本文研究了具有给定边缘的联合分布的Shannon熵的极值问题。证明了最小熵耦合必须是保序的,而最大熵耦合则是独立的。请注意,在这个意义上,我们将熵解释为系统无序的度量。
2022-06-08 cs.IT math.IT math.PR
The structure of Renyi entropic inequalities
研究了多体量子态边缘的α-Renyi熵的普遍不等式。这与香农熵和冯诺伊曼熵(α =1)的问题类似,后者已知满足几个非平凡不等式,如强次可加性。令人有些惊讶的是,我们发现,当0<alpha<1时,唯一的不等式是非负性:换句话说,任何分配给n个非空子集的非负数集合都可以被量子态的2^n-1个边缘的alpha熵任意地很好地近似。对于alpha>1,我们类似地证明不存在非平凡的齐次(特别是不存在线性)不等式。另一方面,已知存在进一步的非线性且实际上非均匀的不等式来界定一般量子态的α熵。最后,我们还处理的情况下,Renyi熵限制在经典状态(即概率分布),除了非负性也受到单调性。对于不同于0和1的α,我们证明这是唯一的另一个齐次关系。
2012-12-07 cs.IT math-ph math.IT