Equivalence of Two Proof Techniques for Non-Shannon-type Inequalities
我们比较了两种不同的技术证明非香农型信息不等式。第一个是最初的张杨方法，通常被称为复制/粘贴引理/技巧。利用复制引理得到了第一个条件和无条件非Shannon型不等式。第二种技术首先出现在Makarychev等人的论文[7]中，并且基于Ahlswede和Körner作品中的编码引理。本文首先强调平衡不等式的重要性，并给出了一个关于Shannon型不等式的Chan定理的简单证明。我们比较了基于单一技术的各种证明系统的能力。
2013-02-13 cs.IT math.IT math.PR
Linear rank inequalities on five or more variables
向量空间的子空间的秩满足所有由熵满足的线性不等式（包括标准的香农不等式）和一个由英格尔顿提出的附加不等式。众所周知，香农不等式和英格尔顿不等式生成的所有线性秩不等式最多可达四个变量，但它一直是一个悬而未决的问题，是否额外的不等式适用于五个或更多变量的情况。在这里，我们列出了24个不等式，连同香农和英格尔顿不等式，产生所有的线性秩不等式的五个变量。我们还给出了一个部分列表的线性秩不等式的六个变量和一般的结果，产生这样的不平等的任意数量的变量，我们证明，基本上有新的不等式在每个数量的变量超过4（结果也证明最近由Kinser）。
2010-07-20 cs.IT math.IT
Inequalities Revisited
本文提出将信息论中用于发现Shannon熵非香农型约束的形式化方法应用于信息论之外的数学不等式，并以此重新审视了AM-GM、Markov和Cauchy-Schwarz三个基本不等式，为发现新约束提供了新视角。
2025-02-28 cs.IT math.IT
Graph Guessing Games and non-Shannon Information Inequalities
Riis为了研究多个单播网络编码问题，引入了有向图的猜测游戏。在一个猜谜游戏中，玩家掷一般化的骰子，并可以看到一些其他的结果，这取决于一个潜在的有向图的结构。他们后来同时猜测自己死亡的结果。他们的目标是找到一个策略，使他们都猜对的概率最大化。最优策略的性能通过有向图的猜测数来衡量。Christofides和Markström研究了无向图的猜测数，并定义了一个他们认为是最优的策略。本文的主要结果之一是对这一猜想的一个反证。到目前为止，计算图的猜测数的主要工具是信息论不等式。在本文中，我们表明，香农的信息不等式，特别适用于广泛的图形类，是不足以计算的猜测数。最后，我们提出了一些更有趣的问题，其中一些我们可以回答，一些我们留下的开放问题。
2014-11-02 cs.IT math.IT
How to Use Undiscovered Information Inequalities: Direct Applications of the Copy Lemma
我们讨论了线性规划技术，有助于推断推论的非经典不等式香农熵。我们专注于复制引理的直接应用。这些应用涉及隐含的一些（已知或未知）非经典的普遍不等式的香农熵，虽然我们没有得到这些不等式明确。为了减少这些问题的计算复杂性，我们广泛地使用对称性的考虑。我们提出了两个使用这些技术的例子：我们提供了一个规模减小的形式推理的最佳已知的边界的英格尔顿得分（最初证明由Doughnesses \emph{et al.}明确派生的非香农型不等式），并提高了下界的最佳信息比的秘密共享方案的访问结构的基础上的Vamos拟阵。
2019-07-03 cs.IT math.IT
On essentially conditional information inequalities
在1997年，Z.Zhang和R.W.Yeung发现了第一个非Shannon型的四变量条件信息不等式的例子。这个熵的线性不等式被称为条件（或约束），因为它只在所涉及的熵满足某些线性方程的条件下成立。后来，同一作者和其他研究人员发现了几个不符合香农熵不等式的无条件信息不等式。本文证明了某些非Shannon型条件不等式是“本质”条件的，即，它们不能延伸到任何无条件的不平等。证明了一个新的关于Shannon熵的本质条件信息不等式，并讨论了关于Kolmogorov复杂性的条件信息不等式。
2011-09-26 cs.DM cs.IT math.IT
Information Inequalities for Five Random Variables
Rényi Institute（雷尼研究所）；UTIA, Prague（布拉格 UTIA）
本文通过改进的最大熵方法，推导出五变量非香农熵不等式，并证明其为熵不等式，用于描述多变量信息理论中的熵区域结构。
2026-03-03 cs.IT math.IT
On Divergence-Power Inequalities
给出了平稳随机过程在时间离散和带限时间连续两种情况下的（EPI-Shannon型）散度-幂不等式（DPI）的表达式。新的表达式将独立过程之和的发散率、每个过程的个体发散率以及它们的功率谱密度联系起来。所有的发散都是在具有相同二阶统计量的过程和高斯过程之间，并且假设是有限的。香农熵功率不等式EPI的一个新的证明，基于发散和因果最小均方误差（CMMSE）在高斯信道与大信噪比之间的关系，也示出。
2006-09-08 cs.IT math.IT
What do Shannon-type Inequalities, Submodular Width, and Disjunctive Datalog have to do with one another?
研究通过Shannon流不等式证明序列指导PANDA算法，为析取Datalog规则建立输出规模界限，精确匹配次模宽度，并统一信息论与数据库理论间的联系。
2023-12-23 cs.DB cs.DS cs.IT
Graph Entropy, Network Coding and Guessing games
我们介绍了有向图的（私有）熵（在新的网络编码意义上）以及许多相关概念。我们证明了一个有向图的熵与它的猜测数相同，并且可以用顶点数减去图的最短索引码的大小从下有界。我们表明，每个特定的多个单播网络的网络编码的可解性是完全确定的熵（以及由最短的索引代码）的有向图，通过识别每个源节点与每个相应的目标节点发生。香农信息不等式可以用来计算图的熵的上界以及计算最小索引码的大小。最近，一些新的所谓的非香农型信息不等式族已被发现。它已被证明，存在通信网络的能力严格小于所需的可解性，但这一事实不能使用香农的经典信息不等式。基于这一结果，我们表明，存在图的熵，不能只使用香农的经典信息不等式计算，并表明，更好的估计，可以通过使用某些非香农型信息不等式。
2007-11-27 cs.IT math.CO math.IT
Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search
University of California, Berkeley（加州大学伯克利分校）
本文通过微调小规模语言模型并结合引导束搜索，自动化证明香农型熵不等式，在含10-15个变量的测试集上达到85%的证明成功率。
2026-06-04 cs.IT cs.LG math.IT
Simple inequalities for weighted entropies
提出了一些不等式的加权熵，镜像的标准（香农）熵和相关量的性质。
2015-10-09 cs.IT math.IT math.PR
Entropic Inequalities and Marginal Problems
边际问题是问某组随机变量的给定边际分布族是否来自这些变量的联合分布。在这里，我们指出，存在这样一个联合分布强加了非平凡的条件已经在水平上的香农熵的给定的边缘。这些熵不等式是联合分布存在的必要（但不是充分）准则。对于每一个边际问题，这样的香农型熵不等式的列表可以通过傅立叶-Motzkin消除计算，我们提供了一个软件接口，傅立叶-Motzkin求解器这样做。对于给定边值的超图是圈图的情形，我们给出了所有相关熵不等式分类问题的完全解析解，并利用这一结果来约束随机过程中相关性的衰减.此外，我们表明，香农型不等式的微分熵是不相关的连续变量的边际问题，非香农型不等式，在离散和连续的情况下。与其他方法相比，我们的一般框架很容易适应的情况下，一个有额外的（条件）的独立性要求的联合分布，如在图形模型的情况下。最后，我们列出一系列悬而未决的问题。补充文章讨论了量子非定域性和上下文的应用。
2012-09-26 cs.IT math.IT math.PR
On Characterization of Entropic Vectors at the Boundary of Almost Entropic Cones
熵域是信息论的一个基本对象。熵区域的外边界由称为基本不等式的香农型不等式的最小集合定义，也称为香农区域。本文主要讨论三个随机变量在Shannon区域边界上的熵点的特征。香农区域的固有面形成了它的边界。我们给出了新的外边界的熵区域在某些方面，并显示由明确的建设的分布，现有的内边界的熵区域在某些方面是不紧。
2020-05-21 cs.IT math.IT
Rényi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations
我们研究量子雷尼熵量，特别是那些来自“三明治”的分歧。这种发散是雷尼提出的量子相对熵的几种概括之一。我们可以根据这种分歧定义量子条件熵和互信息的雷尼推广，它们继承了许多理想的性质。然而，这些量缺乏香农和冯诺依曼对应量的一些方便结构。我们试图弥合这一差距，建立发散不等式的有效组合Rényi秩序复制链和分解规则的香农和冯诺伊曼熵。虽然弱一般，这些不等式恢复等价时，雷尼参数趋于一。为此，我们提出了Rényi互信息分解规则，Rényi条件熵三方链规则和更一般的二分比较的一种新方法。这些结果的推导依赖于一个新的复杂的插值方法一般空间的线性算子。这些新的比较使我们能够使用到目前为止只适用于香农和冯诺伊曼熵熵的技术。因此，我们可以直接应用它们来推导雷尼熵的不确定关系。因此，我们建立了一个家庭的Rényi信息排斥关系，并提供进一步的推广和改进，这个和其他已知的关系，包括Rényi二分不确定性关系。
2021-06-19 cs.IT math.IT quant-ph
On the Non-robustness of Essentially Conditional Information Inequalities
我们证明了两个关于Shannon熵的基本条件线性不等式（包括Zhang-Yeung'97条件不等式）对渐近熵点不成立。这意味着这些不等式在很强的意义上是非稳健的。这一结果提出了问题的意义，这些不等式和它们的使用在面向实践的应用程序的有效性。
2012-07-23 cs.IT math.IT math.PR
Inequalities for space-bounded Kolmogorov complexity
Shannon信息论和算法信息论之间存在一种平行性。特别地，相同的线性不等式对于随机变量的元组的香农熵和字符串的元组的柯尔莫哥洛夫复杂度是成立的（Hammer等人，1997），以及子群的大小和集合的投影（Chan，Yeung，Romashchenko，Shen，Vereshchagin，1998- 2002）。这种并行性始于Kolmogorov-Levin公式（1968），用于对数精度的字符串对的复杂性。Longpré（1986）证明了这个公式在空间有界复杂性中的一个版本。本文利用Sipser技巧证明了Longpré结果的一个改进版本，使其具有更紧的空间界.然后，使用这个空间界，我们表明，每个线性不等式是真实的复杂性或熵，也是真实的空间有界的柯尔莫哥洛夫复杂性与多项式空间开销。
2022-09-09 cs.IT math.IT math.LO
Conditions for equality and stability in Shannon's and Tao's entropy power inequalities
本文在仅假设微分熵存在的条件下刻画 Shannon EPI 的等号条件，并证明其弱收敛意义下的定性稳定性及 Tao 离散 EPI 的定量稳定性。
2025-09-27 cs.IT math.IT math.PR
On the role of MMSE estimation in approaching the information-theoretic limits of linear Gaussian channels: Shannon meets Wiener
我们讨论了为什么MMSE估计出现在基于格的计划接近线性高斯信道的容量，并评论其性质。
2004-09-26 cs.IT math.IT
Conditional Information Inequalities for Entropic and Almost Entropic Points
我们研究条件线性信息不等式，即，香农熵的线性不等式，适用于熵满足某些线性约束的分布。证明了某些条件信息不等式不能推广到任何无条件线性不等式。这些条件不等式中的一些对几乎熵点成立，而另一些则不成立。我们还讨论了Kolmogorov复杂性的条件信息不等式的一些对应形式。
2013-08-16 cs.DM cs.IT math.IT
The Shannon-McMillan Theorem for Ergodic Quantum Lattice Systems
我们制定和证明量子香农-麦克米伦定理。该定理证明了n维格子上平移不变遍历量子自旋系统的冯诺依曼熵的重要性：熵给出了大盒子上系统本征向量的本质数的对数。一维的情况下，覆盖量子信源，是编码定理的基础。
2002-11-20 cs.DS cs.IT math-ph
Data compression with low distortion and finite blocklength
本文考虑有损信源编码的$n$维无记忆源，并显示了一个显式近似的最小信源编码率维持超过失真的概率$d$不大于$ε$，这是简单的比已知的色散为基础的近似。我们的方法从著名的经典结果中得到启发，该结果表明率失真函数的香农下限在极限$d \to 0$中变得很紧。我们制定了一个抽象版本的香农下界，恢复经典的香农下界和率失真函数本身作为特殊情况。同样，我们表明，一个非渐近版本的抽象香农下界恢复所有以前已知的非渐近转换。给出了精确达到Shannon下界的一个充分必要条件。它表明，只要满足该条件，速率色散函数是简单地由源的熵。值得注意的是，所有有限字母源与平衡失真措施满足该条件的范围内的低失真。大多数连续源都违反了这一条件。尽管如此，我们表明，格量化器密切接近非渐近香农下界，提供的源密度是足够光滑和失真是低的。这意味着即使在有限的$n$上，精细的多维晶格覆盖在率失真意义上也是接近最优的。的可扩展性证明技术是基于一个新的约束格量化器的输出熵的差分熵的源，格细胞的大小和平滑参数的源密度。该技术避免了通常的随机编码参数和简化假设的抖动信号的存在。
2017-02-25 cs.IT math.IT
Sharp Rogers--Shephard Inequalities for Rényi Entropy
School of Mathematics, Shandong University（山东大学数学学院）；School of Mathematical Sciences, University of Science and Technology of China（中国科学技术大学数学科学学院）
该研究建立Rényi微分熵的加权Sharp Rogers–Shephard不等式，解决熵Rogers–Shephard猜想，确定等号成立条件及临界阶，通过加权凸交集与指数提升完成证明。
2026-10-14 cs.IT math.IT math.MG
Bounds on Guessing Numbers and Secret Sharing Combining Information Theory Methods
本文开发了结合非经典香农熵不等式的计算机辅助证明方法，应用于秘密共享和帽子猜测游戏，通过线性规划和对称性改进下界和上界。
2023-10-18 cs.IT math.IT
On Data-Processing and Majorization Inequalities for $f$-Divergences with Applications
本文主要研究$f$ -分歧的数据处理和优控不等式的推导及其在信息论和统计中的应用。为了便于材料的获取，首先介绍了主要结果，但没有证明，其次是定理的例证，进一步相关的分析结果，解释和信息理论的应用。一个应用程序是指列表解码的性能分析，无论是固定的或可变的列表大小，一些较早的界限上的列表解码错误概率再现在一个统一的方式，并获得新的界限，并举例说明数字。另一个应用是关于近似的概率质量函数的质量的研究，由汤斯顿树的叶子引起的，由等概率分布。进一步分析了有限长Tunstall码的压缩率，以证明其与无记忆平稳离散信源的香农熵的接近程度。几乎所有的分析都归入附录，构成了这份手稿的主要部分。
2019-11-06 cs.IT math.IT math.PR
The structure of Renyi entropic inequalities
研究了多体量子态边缘的α-Renyi熵的普遍不等式。这与香农熵和冯诺伊曼熵（α =1）的问题类似，后者已知满足几个非平凡不等式，如强次可加性。令人有些惊讶的是，我们发现，当0<alpha<1时，唯一的不等式是非负性：换句话说，任何分配给n个非空子集的非负数集合都可以被量子态的2^n-1个边缘的alpha熵任意地很好地近似。对于alpha>1，我们类似地证明不存在非平凡的齐次（特别是不存在线性）不等式。另一方面，已知存在进一步的非线性且实际上非均匀的不等式来界定一般量子态的α熵。最后，我们还处理的情况下，Renyi熵限制在经典状态（即概率分布），除了非负性也受到单调性。对于不同于0和1的α，我们证明这是唯一的另一个齐次关系。
2012-12-07 cs.IT math-ph math.IT
