Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但到目前为止，香农熵幂不等式（EPI）是一个例外：EPI的现有信息论证明取决于使用Fisher信息或最小均方误差（MMSE）的微分熵表示，这些信息论证明来自de Bruijn恒等式。在本文中，我们首先提出了一个统一的观点，这些证明，表明他们共享两个基本成分：1）数据处理参数应用于保协方差线性变换; 2）连续高斯扰动的路径上的积分。使用这些成分，我们开发了一个新的和简短的证明EPI通过一个互信息不等式，它取代了Stam和Blachman的Fisher信息不等式（PII）和不等式MMSE郭，Shamai和Verdú在早期的证明。该结果的优点是非常简单，因为它只依赖于互信息的基本属性。这些想法，然后推广到各种扩展版本的EPI：Zamir和Feder的广义EPI的线性变换的随机变量，高野和约翰逊的EPI的因变量，刘和Viswanath的协方差约束EPI，和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
Directed Data-Processing Inequalities for Systems with Feedback
我们提出了新的数据处理不等式的互信息和有向信息的反馈系统。这种系统的内部块仅限于因果映射，但允许是非线性的，随机的和时变的。这些块可以例如表示源编码器、解码器或甚至通信信道。此外，所涉及的信号可以任意分布。我们的第一个主要结果涉及相互和定向信息，可以解释为信息流守恒定律。我们的第二个主要结果是一对数据处理不等式（一个是另一个的条件版本）之间的嵌套对完全在闭环随机序列。我们的第三个主要结果是介绍和表征的概念，在环（ITL）传输速率的信道编码的情况下，消息是内部的循环。有趣的是，在这种情况下，与消息的熵相关联的传输速率和基于最大化消息和输出之间的互信息的信道容量的传统概念被证明是不够的。相反，如我们所示，ITL传输速率是唯一的速率概念，当且仅当这样的ITL速率不超过从消息到解码消息的相应的定向信息速率时，信道码达到零错误概率。我们应用我们的数据处理不等式表明，可实现的（在通常的信道编码意义上）ITL传输速率的上确界的上确界的有向信息速率在整个通信信道。此外，我们提出了一个例子，在这个上限达到。最后...
2021-03-25 cs.IT math.IT
Sibson $α$-Mutual Information and Its Variational Representations
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
本文综述并拓展Sibson α-互信息的研究，引入其变分表示，推导广义运输成本不等式等新结果并概述其多领域应用。
2026-08-13 cs.IT math.IT math.PR
Randomness Conservation Inequalities; Information and Independence in Mathematical Theories
Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
该文发展柯尔莫哥洛夫算法复杂性理论，修改随机性定义满足守恒不等式，可定义单个无限序列中的互信息等概念，并将其应用于多领域，通过特定假设简化了相关理论。
2026-07-28 cs.CC cs.IT math.IT
A Simple Proof of the Entropy-Power Inequality via Properties of Mutual Information
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但香农熵幂不等式（EPI）似乎是一个例外：EPI的可用信息论证明取决于使用Fisher信息（FI）或最小均方误差（MMSE）的微分熵的积分表示。在本文中，我们首先提出了一个统一的观点，证明通过FI和MMSE，表明它们本质上是相同的证明的双重版本，然后填补空白，提供一个新的，简单的证明EPI，这是完全基于互信息的属性和回避FI或MMSE表示。
2007-04-13 cs.IT math.IT
Convex Split Lemma without Inequalities
本文用碰撞互信息替代最大互信息，将凸分解引理从不等式改进为等式，获得更紧的量子信源编码可达界，并给出仅依赖 Rényi 熵的通用平滑最大互信息上界。
2025-02-15 cs.IT math-ph math.IT
Two Proofs of the Fisher Information Inequality via Data Processing Arguments
利用互信息和条件方差的数据处理不等式，给出了Fisher信息不等式的两种新的证明。
2006-04-07 cs.IT math.IT
Rényi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations
我们研究量子雷尼熵量，特别是那些来自“三明治”的分歧。这种发散是雷尼提出的量子相对熵的几种概括之一。我们可以根据这种分歧定义量子条件熵和互信息的雷尼推广，它们继承了许多理想的性质。然而，这些量缺乏香农和冯诺依曼对应量的一些方便结构。我们试图弥合这一差距，建立发散不等式的有效组合Rényi秩序复制链和分解规则的香农和冯诺伊曼熵。虽然弱一般，这些不等式恢复等价时，雷尼参数趋于一。为此，我们提出了Rényi互信息分解规则，Rényi条件熵三方链规则和更一般的二分比较的一种新方法。这些结果的推导依赖于一个新的复杂的插值方法一般空间的线性算子。这些新的比较使我们能够使用到目前为止只适用于香农和冯诺伊曼熵熵的技术。因此，我们可以直接应用它们来推导雷尼熵的不确定关系。因此，我们建立了一个家庭的Rényi信息排斥关系，并提供进一步的推广和改进，这个和其他已知的关系，包括Rényi二分不确定性关系。
2021-06-19 cs.IT math.IT quant-ph
On Sibson's $α$-Mutual Information
我们探讨了一个家庭的信息措施，源于雷尼的$α$ -分歧与$α<0$。特别是，我们扩展了Sibson的$α$ -互信息的定义，为负值的$α$，并显示这些对象的几个属性。此外，我们强调了这个家庭的信息措施是如何相关的功能不平等，可以在各种领域，包括下限的贝叶斯估计过程中的风险。
2022-02-08 cs.IT math.IT math.ST
Sumset and Inverse Sumset Inequalities for Differential Entropy and Mutual Information
Freiman、Plünnecke和Ruzsa的和集和逆和集理论给出了两个离散集合$A,B$的和集$A+B=\{a+b\;;\;a\in A,\,b\in B\}$的基数与原始集合$A,B$的基数（或更精细的结构）之间的界限。例如，Ruzsa的和差界表明，$|A+B|\,|A|\,|B|\leq|A-B|^3$，其中差集$A-B= \{a-b\;;\;a\in A,\,b\in B\}$。将连续随机变量$X$的微分熵$h(X)$解释为$X$的有效支撑的大小（的对数），本文的主要贡献是这些结果的一系列自然信息论类似物。例如，对于任意一对独立的连续随机变量$X$和$Y$，Ruzsa和差界就变成了新的不等式$h(X+Y)+h(X)+h(Y)\leq 3h(X-Y)$。我们的结果包括微分熵版本的Ruzsa的三角形不等式，Plünnecke-Ruzsa不等式，和Balog-Szemerédi-Gowers引理。同时，我们给出了Freiman-Green-Ruzsa逆和集定理的微分熵形式，它可以看作是熵幂不等式的定量逆.这些结果的大多数版本的离散熵$H(X)$最近证明了陶，严重依赖于一个强大的，功能形式的子模块属性的$H(X)$。由于微分熵是{ \em not}函数次模的，在连续的情况下，许多相应的离散证明失败，在许多情况下，需要大量新的证明策略。我们发现，自然取代离散功能子模块的基本属性，是…
2012-06-03 cs.IT math.CO math.IT
Entropy inequalities and exponential decay of correlations for unique Gibbs measures on trees
在A.巴克豪斯湾Gerencsér和V.Harangi等人证明了树上独立同分布随机过程的因子服从某些几何驱动的不等式。特别地，两个顶点之间共享的互信息呈指数衰减，并且这种衰减有明确的界限。在这篇文章中，我们证明了所有这些不等式都可以逐字翻译为由唯一吉布斯测度驱动的过程的因子的设置。因此，我们表明，相关性指数衰减树上的唯一吉布斯措施。
2019-04-28 cs.IT math.DS math.IT
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$，并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明，如果统计模型具有亚高斯得分函数，那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界，并得到了高斯均值估计的紧前常数。然后，我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
A Generalized Erasure Channel in the Sense of Polarization for Binary Erasure Channels
二进制擦除通道（BEC）的极坐标变换可以用其他BEC精确地近似。Arıkan提出，BEC的极化码可以通过使用其有用的特性来有效地构造。本文提出了一类新的任意输入广义擦除信道，它可以用与BEC相同的信道模型精确地近似于极坐标变换。主要结果之一是所提出的信道的极坐标变换的递推公式。在研究中，我们使用$α$ -互信息来评估极坐标变换。特别地，当输入字母表大小是素数幂时，我们检查以下内容：（i）在一步极坐标变换之后所提出的信道的$α$ -互信息的平均值的不等式，以及（ii）在无限数量的极坐标变换中所提出的信道的$α$ -互信息的极化的确切比例。
2016-04-15 cs.IT math.IT
On Dependence Measures Based on $f$-Divergence and $Φ$-Entropy
Department of Information Engineering（信息工程系）；The Chinese University of Hong Kong（香港中文大学）
本文研究基于$\Phi$-散度和$\Phi$-熵的依赖度量，提出最大-$\Phi$-互信息并推广至矩阵形式，建立微积分规则并应用于无信号盒布线。
2026-10-22 cs.IT math.IT
Tighter Information-Theoretic Generalization Bounds via a Novel Class of Change of Measure Inequalities
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
本文提出基于数据处理不等式的一类新测度变换不等式，涵盖f-散度、Rényi散度和α-互信息，并应用于泛化误差、PAC-Bayes、差分隐私和数据记忆化，得到更紧的保证。
2026-05-26 cs.IT cs.LG math.IT
Strong Data Processing Inequalities for Input Constrained Additive Noise Channels
本文通过非线性强数据处理不等式，量化了加噪减少可用信息的直观观察。考虑随机变量$W\to X\to Y$构成一个马尔可夫链，其中$Y=X+Z$具有$X$和$Z$实值、独立和$X$在$L_p$ -范数中有界.证明了当$t>0$有一个其支撑与其自身平移不相交的密度时，$I(W;Y) \le F_I(I(W;X))$有$F_I(t)<t$.一个相关的问题是表征对于何种耦合$(W,X)$，交互信息$I(W;Y)$接近最大可能。为此，我们表明，为了饱和的信道，即$I(W;Y)$接近容量，这是强制性的，$I(W;X)\to\infty$（在适当的条件下的信道）。这个结果的一个关键成分是反卷积引理，它表明卷积后的总变差距离限制了卷积前的Kolmogorov-Smirnov距离。对于加性高斯噪声信道中具有二次代价约束的特殊情况，给出了其上界。这些界限被证明是顺序最优的。对于这种情况下，简化的证明提供利用高斯特定的工具，如信息和估计（I-MMSE）和Talagrand的信息传输不等式之间的连接。
2017-11-18 cs.IT math.IT
A Reverse Jensen Inequality Result with Application to Mutual Information Estimation
Freie Universität Berlin（柏林自由大学）；University of Siegen（锡根大学）
Jensen不等式是在众多领域中广泛使用的工具，例如信息论和机器学习。它也可以用来推导其他标准不等式，如算术和几何平均数不等式或赫尔德不等式。在概率设置中，詹森不等式描述了凸函数和期望值之间的关系。在这项工作中，我们希望从不等式的相反方向来看待概率设置。我们表明，在最小的约束条件下，并与适当的缩放，詹森不等式可以逆转。我们相信，由此产生的工具可以为许多应用程序是有帮助的，并提供了一个变分估计的互信息，其中反向不等式导致一个新的估计具有优越的训练行为相比，目前的估计。
2021-11-12 cs.IT cs.LG math.IT
Neural Computation of Capacity Region of Memoryless Multiple Access Channels
本文提供了一个数值计算框架的无记忆多址接入信道（MAC）的可达速率区与一个连续的字母表从数据。特别是，我们使用最近的结果变分下界互信息和KL-发散计算MAC的速率区域的边界，使用一组参数化的神经网络的功能。我们的方法依赖于一个变分的下限KL-散度和上界KL-散度的基础上的f-散度不等式。与以前的工作，计算估计的互信息，这是既不是一个下限，也不是一个上限，我们的方法估计的下限互信息。我们的数值结果表明，该方法提供了更紧密的估计相比，基于MINE的估计在大信噪比，同时计算更有效。最后，我们将所提出的方法应用于光强度MAC，并获得了一个新的可实现的速率边界比以前的作品更紧。
2021-05-10 cs.IT math.IT
Certain Relations between Mutual Information and Fidelity of Statistical Estimation
我提出了几个新的互信息（MI）和统计估计误差的系统，可以被视为同时作为一个通信信道和输入参数的估计之间的关系。我首先推导出MI和费舍尔信息（FI）之间的二阶结果，该结果对于足够窄的先验信息是有效的，但任意通道。第二个关系式根据来自信道输出的输入参数的贝叶斯估计的最小均方误差（MMSE）来描述MI的下限，这对于任意信道和先验都是有效的。这样一个下界的存在，而扩展以前的工作有关MI FI是有效的，只有在渐近和高信噪比的限制，进一步阐明了信息和估计理论的保真度措施之间的基本联系。其余的关系，我目前的不平等和MI，FI之间的对应关系，和MMSE在滋扰参数的存在。
2010-10-07 cs.IT math.IT stat.AP
Parity Oblivious d-Level Random Access Codes and Class of Noncontextuality Inequalities
量子基础中的一个基本结果是Kochen-Specker no-go定理。对于量子理论，不可行定理排除了一类隐变量模型的可能性，其中值归属是上下文无关的。最近，上下文的概念已被推广到不同的操作程序，它已被证明，混合量子态的制备上下文可以是一个有用的资源，在信息处理任务称为奇偶不经意复用。在这里，我们介绍了一类新的信息处理任务，即d级奇偶不经意的随机存取码，并获得在任何准备非上下文理论执行这样的任务的成功概率的界限。这些界限构成了对任意d值的非上下文不等式。当d=3时，利用一组相互不对称的偏置基，我们证明了相应的非上下文束缚被量子理论破坏.我们还证明了对其他一些更高的d值的不等式的量子破坏。这揭示了更高层次量子系统的准备上下文的操作有用性。
2016-07-19 cs.IT math.IT quant-ph
An Information-Theoretic Route to Isoperimetric Inequalities via Heat Flow and Entropy Dissipation
本文提出基于热流下熵耗散的等周不等式信息论方法，将扩散视作含噪信道推导互信息衰减与边界测度的关联，证明欧氏等周不等式并拓展至黎曼流形场景，搭建几何分析与信息论的联系。
2025-11-19 cs.IT math.AP math.DG
Beyond Mutual Information: Extension Profiles and Shape Functions of Random Variable Pairs
研究有限值随机变量对(X,Y)的扩展轮廓，通过辅助变量W刻画联合分布的结构性质，引入形状函数并建立上下界，揭示与非香农信息不等式、Gács–Körner公共信息和谱图论的联系。
2026-10-21 cs.IT math.IT
Fisher Information and Support Complexity of Gaussian Mixtures
Politecnico di Milano（米兰理工大学）；Qualcomm Flarion Technology, Inc.（高通弗拉里昂科技有限公司）
该研究推导了高斯混合模型费希尔信息的多个下界，将其应用于有界高斯均值估计的最不利先验分析，并通过相关恒等式将费希尔信息不等式转化为MMSE和互信息的上界。
2026-10-16 cs.IT math.IT
Local Privacy, Data Processing Inequalities, and Statistical Minimax Rates
在一个隐私模型下，即使从统计学家那里，数据仍然是私有的，我们研究了隐私保证和所产生的统计估计的效用之间的权衡。我们证明了信息理论的数量，包括互信息和Kullback-Leibler分歧，这取决于隐私保证的界限。当结合标准的极大极小技术，包括Le Cam，Fano和Assouad方法，这些不平等允许在本地隐私约束下的统计率的精确表征。我们提供了几个典型的家庭的问题：平均估计，参数估计在固定设计回归，多项式概率估计，和非参数密度估计的治疗。对于所有这些家庭，我们提供的下限和上界，匹配常数因子，并展示新的（最佳）隐私保护机制和计算效率的估计，实现界限。
2014-08-27 cs.CR cs.IT math.IT
Flow Decomposition
研究了一般网络的解码转发可达域。该地区面临着根本性的紧张局势，其中节点以牺牲其他节点为代价而单独受益。该地区的复杂性取决于解决这一紧张局势的所有方式。两组约束定义了解码转发区域的外边界：第一，传统的互信息不等式隐含的一个中继信道，第二，因果关系约束，确保节点只转发消息，他们已经解码。流分解的框架被引入到显示这些约束也是足够的。流分解提供了一种操纵规则解码前向方案的方法，而没有长的编码延迟和对反向解码的双向通信的限制。定义流分解的两种结构是流和图层。流指定对来自每个源的消息进行编码的节点（即，路由）和编码延迟。layout指定在通道中的特定节点处解码的消息。我们专注于两种类型的流：层次流，树状路由，和全播流，其中每个路由覆盖所有节点。对于任意类型的流和任何速率向量满足互信息约束在一个特定的节点，我们证明了有等价的流和一个分层，满足互信息和因果关系的约束。在单独的工作中，我们表明，只有相互信息的约束是活跃的层次流的通道，这意味着可实现的区域具有最小的复杂性。在具有全投流的通道中，可达区域是可计算的。
2022-08-25 cs.IT math.IT
A New Upper Bound on the Binary Deletion Channel Capacity
本文证明二进制删除信道容量在删除概率 $d\ge 13/20$ 时满足 $C(d)\le (1-d)/4$，通过六比特上下文描述长度与势函数望远镜求和给出上界，并附带有限块修正与Lean形式化验证。
2026-09-17 cs.IT math.IT
From asymptotic hypothesis testing to entropy inequalities
本论文主要研究量子信息理论中的渐近假设检验与熵不等式之间的关系。在论文的第一部分中，我们重点讨论了假设检验。我们考虑两个主要的设置;可以在优化测量的同时固定量子态，或者通过优化状态来固定测量并评估其辨别能力。在前一种情况下，我们证明了一个复合量子Stein引理。我们还讨论了这是如何给几个感兴趣的数量的操作解释。对于后者，我们给出了最佳渐近误差率在几个对称和非对称设置，并讨论这些速率的性质和例子。在第二部分中，重点转移到熵不等式。我们从可恢复性不等式开始。利用证明复合Stein引理的工具，我们给出了条件量子互信息（CQMI）的一个加强的下界。接下来，我们通过假设检验对恢复的相对熵给出了一个可操作的解释。然后，我们讨论了最近的一些反例，这表明恢复的相对熵是不是一个下界的CQMI;我们提供了更多的反例，其中一些系统是经典的。然后，我们转向一种看似不同类型的熵不等式，称为信息组合的界限。利用一个特殊的可恢复性不等式，我们给出了一个下界，并推测了最优的上下界。此外，我们讨论了我们的界限的有限块长度行为的极化码的影响。最后，我们讨论了高斯态的Renyi- $2$熵不等式，通过利用它们的log-det不等式来找到几个量的可恢复性相关的界限。我们将其应用到高斯可操纵性和纠缠措施，证明他们的一夫一妻制和其他几个功能。
2018-12-12 cs.IT math-ph math.IT
Strong data-processing inequalities for channels and Bayesian networks
数据处理不等式，即马尔可夫链$U \to X \to Y$的$I(U;Y) \le I(U;X)$，一直是信息论和许多其他学科中证明不可能（逆）结果的首选方法。这个不等式的各种通道相关的改进（称为强数据处理不等式，或SDPI）已经提出了经典和最近。在本说明中，我们首先调查已知的结果有关的各种概念的收缩为一个单一的通道。然后我们考虑基本的扩展：给定贝叶斯网络中每个组成通道的SDPI，如何生成端到端SDPI？我们的方法是基于（提取）埃文斯-舒尔曼方法，这是证明了三种不同的SDPI，即通常的Ahslwede-Gács型收缩系数（互信息），Dobrushin的收缩系数（总变差），最后的$F_I$曲线（最好的非线性SDPI为一个给定的通道）。由此产生的收缩系数的界限被解释为网站渗透的概率。作为一个例子，我们演示了如何获得SDPI的$n$ -字母无记忆通道与反馈给定的SDPI为$n=1$。最后，我们讨论了一个简单的观察等价的线性SDPI和比较擦除通道（在这个意义上的“少噪音”的顺序）。这导致了Samorodnitsky（2015）的一个奇怪不等式的简单证明，并揭示了信息如何在无记忆通道的输入子集中传播。
2016-07-28 cs.IT math.IT math.ST
Analysis of k-Nearest Neighbor Distances with Application to Entropy Estimation
一致地估计熵和互信息对于许多机器学习应用是重要的。Kozachenko-Leonenko（KL）估计量（Kozachenko & Leonenko，1987）是一种广泛使用的多变量连续随机变量熵的非参数估计量，也是Kraskov等人（2004）的互信息估计量的基础，可能是该设置中最广泛使用的互信息估计量。尽管这些估计的实际重要性，主要的理论问题，他们的有限样本行为仍然开放。本文证明了KL估计的偏差和方差的有限样本界，表明对于某些类光滑函数，它达到了极小极大收敛速度。在证明这些界限，我们分析有限样本行为的k-最近邻（k-NN）距离统计（KL估计的基础上）。我们得到的k-NN距离的浓度不等式和一般的期望界的k-NN距离的统计，这可能是有用的其他k-NN方法的分析。
2016-07-21 cs.IT math.IT math.ST
Application of information-percolation method to reconstruction problems on graphs
在本文中，我们提出了一种方法，证明不可能的结果的基础上应用强数据处理不等式估计互信息的变量集之间形成一定的马尔可夫随机场。最终的结果是，两个“远”（由图距离测量）变量之间的互信息是由同一图上的键渗流问题中的开放路径的存在概率所限定的。此外，更强的界限可以通过建立互信息比较结果与擦除模型在同一个图上，与擦除概率由收缩系数。作为应用，我们证明了我们的方法给出了部分恢复随机高斯矩阵秩一扰动的尖锐阈值（尖峰Wigner模型），给出了组同步噪声水平的最佳上界（由Abbe和Boix同时获得），并建立了随机块模型上的社区发现的新的不可能结果，其中$k$社区.
2020-05-21 cs.IT math.IT math.PR
Sharp Rogers--Shephard Inequalities for Rényi Entropy
School of Mathematics, Shandong University（山东大学数学学院）；School of Mathematical Sciences, University of Science and Technology of China（中国科学技术大学数学科学学院）
该研究建立Rényi微分熵的加权Sharp Rogers–Shephard不等式，解决熵Rogers–Shephard猜想，确定等号成立条件及临界阶，通过加权凸交集与指数提升完成证明。
2026-10-14 cs.IT math.IT math.MG
Characterizing Dependence of Samples along the Langevin Dynamics and Algorithms via Contraction of $Φ$-Mutual Information
本文研究了连续空间采样马尔可夫链中样本间依赖性的衰减速度，通过证明沿整个轨迹成立强数据处理不等式，得出在强对数凹目标分布下样本间 $Φ$-互信息呈指数级收缩至零的结论。
2025-06-26 cs.IT math.IT math.ST
Generalization Error Bounds Via Rényi-, $f$-Divergences and Maximal Leakage
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
在这项工作中，在某种联合分布下事件的概率是有界的，通过测量它与边际的乘积（这通常更容易分析）以及两个随机变量之间的相关性来衡量。这些结果在自适应数据分析中找到应用，其中引入了多个依赖关系，并且在学习理论中，它们可以用于限制学习算法的泛化误差。根据Sibson互信息、$α-$分歧、Hellinger分歧和$f-$分歧给出了边界。特别感兴趣的情况是最大泄漏（或无穷阶的Sibson互信息），因为该测量对后处理是鲁棒的并且自适应地合成。相应的界可以看作是经典界的推广，如Hoeffding不等式和McDiarmid不等式，对于相依随机变量的情况。
2020-10-21 cs.IT cs.LG math.IT
A unified framework for information-theoretic generalization bounds
University of Illinois（伊利诺伊大学）
本文提出基于测度变换与 Orlicz 空间不等式的概率去相关引理，并结合对称化、耦合和链式技术，构建统一框架以推导期望和高概率信息论泛化界。
2023-12-06 cs.IT cs.LG math.IT
Bottleneck Problems: Information and Estimation-Theoretic View
Harvard University（哈佛大学）
信息瓶颈（IB）和隐私漏斗（PF）是两个密切相关的优化问题，它们已经在机器学习、隐私算法的设计、容量问题（例如，格伯夫人引理），强数据处理不等式，等等。在这项工作中，我们首先调查IB和PF的功能特性，通过一个统一的理论框架。然后，我们将它们连接到三个信息理论的编码问题，即假设检验对独立性，噪声信源编码和依赖稀释。利用这些连接，我们证明了一个新的基数界的辅助变量在IB，使其计算更易于处理的离散随机变量。在第二部分中，我们介绍了一个一般的家庭的优化问题，称为\textit{bottleneck problems}，取代互信息在IB和PF与其他概念的互信息，即$f$ -信息和Arimoto的互信息。然后，我们认为，不像IB和PF，这些问题导致容易解释的保证在各种推理任务的准确性和隐私的统计约束。虽然基本的优化问题是非凸的，我们开发了一种技术来评估瓶颈问题的封闭形式，等价地表示它们在某些功能的下凸或上凹包络。通过将这种技术应用到二元情况下，我们得到了几个瓶颈问题的封闭形式的表达式。
2020-11-12 cs.IT cs.LG math.IT
Degree-Four Vector-Coordinate SoS Cannot Detect the MUB Upper Bound
通过构造四次伪期望，证明向量坐标的平方和松弛在四次度下无法排除超过d+1个互 unbiased 基的存在，而投影坐标的Gram形式在四次度即可恢复上界。
2026-06-15 cs.IT math.CO math.IT
Markov Categories and Entropy
本研究将马尔可夫范畴框架与信息论定量概念结合，通过增广马尔可夫范畴刻画信息论定量特性，基于范畴的确定性概念定义熵，可复原多种经典熵并给出广义熵的概念性定义。
2023-10-25 cs.IT cs.LO math.CT
Rényi squashed entanglement, discord, and relative entropy differences
在[Berta等人，J. Math.Phys.56，022205（2015）]，我们最近提出了$ABC$上三重态的条件量子互信息的Renyi推广（其中$C$是条件系统），它们被证明满足一些对原始量成立的性质，例如非负性，对偶性，以及相对于系统$B$上的局部运算的单调性（将其保留为开放以表明Renyi量相对于系统$A$上的局部运算是单调的）。在此，我们定义了基于Renyi条件量子互信息的Renyi压缩纠缠和Renyi量子不和谐，并详细研究了这些量。假设Renyi条件量子互信息对于$A$和$B$两个系统的局域操作都是单调的，我们证明了Renyi压缩纠缠和Renyi量子不协调满足各自的原始冯诺伊曼熵基量的许多性质.在我们之前的工作中[Berta等人，Phys.Rev.A91，022333（2015）]中，我们还详细描述了获得任何量子信息测度的Renyi推广的过程，该量子信息测度等于具有从集合$\{-1,0,1\}$中选择的系数的冯诺伊曼熵的线性组合。在这里，我们将这个过程扩展到包括相对熵的差异。利用推广的过程和Renyi推广在Renyi参数下的单调性，我们讨论了诸如相对熵的单调性、相对熵的联合凸性和Holevo界等著名不等式的潜在余项.
2015-09-18 cs.IT math-ph math.IT
