Concavity of Tsallis Entropy and Tsallis Entropy Power along Heat Flow
Technical University of Munich（慕尼黑工业大学）
研究热流下Tsallis熵的演化，证明在任意维度中Tsallis熵的凹性，并推广到Tsallis熵幂，包括Shannon熵幂和Costa EPI作为端点。
2026-06-15 cs.IT math.IT
Reversals of Rényi Entropy Inequalities under Log-Concavity
我们建立了一个离散模拟的Rényi熵比较，由于Bobkov和Madiman。对于整数上的对数凹变量，最小熵在通常的香农熵的log e内。此外，我们还研究了Madiman和Kontoyannis研究的熵Rogers-Shephard不等式，并在连续和离散情形下对某些参数建立了一个尖锐的Rényi形式
2020-05-21 cs.IT math.IT math.PR
A proof of the Shepp-Olkin entropy concavity conjecture
我们证明了Shepp-Olkin猜想，它指出独立Bernoulli随机变量之和的熵在单个随机变量的参数中是凹的。我们的证明是以前提出的同一作者，解决了单调的情况下（其中所有的参数同时增加）的猜想参数的改进。事实上，我们表明，单调的情况下是最坏的情况下，使用仔细分析的概率质量函数的导数的性质。我们提出了一个推广的Shepp和Olkin的原始猜想，考虑Renyi和Tsallis熵。
2015-03-05 cs.IT math.IT math.PR
Log-concavity, ultra-log-concavity, and a maximum entropy property of discrete compound Poisson measures
给出了复合泊松分布在非负整数上的一类自然概率测度内具有最大熵的充分条件.最近，作者之一[O。约翰逊，{ \em Stoch. Proc. Appl.}，2007]使用半群方法证明泊松在所有具有固定均值的超对数凹分布中具有最大熵。我们表明，通过一个非平凡的扩展，这个半群的方法，自然模拟的泊松最大熵属性仍然有效，如果复合泊松分布考虑是对数凹的，但它失败的一般。建立了复合二项测度族的一个并行的最大熵结果。复合分布是对数凹的充分条件进行了讨论和组合学的应用进行了检查，新的界限推导出的熵的基数随机独立集在无爪图，并连接到梅森猜想拟阵。目前的结果主要是出于希望提供一个复合泊松近似和相关的极限定理的信息理论基础，类似于相应的发展中心极限定理和泊松近似。我们的研究结果还表明，一些概率方法和组合的概念的对数和超对数的新的联系，他们增加了越来越多的工作探索的应用程序的最大熵特征的问题，在离散数学。
2011-09-27 cs.IT math.CO math.IT
Several Representations of $α$-Mutual Information and Interpretations as Privacy Leakage Measures
本文基于Rényi散度和条件Rényi熵，提出了$α$-互信息的新表示，并利用广义均值和增益函数解释其作为隐私泄露度量的意义，同时提出满足条件化降低熵的新型条件Rényi熵。
2025-04-30 cs.IT math.IT
Recursive overlap Bernoulli distributions and an entropy concavity conjecture
Technical University of Braunschweig（布伦瑞克工业大学）
本文提出递归重叠伯努利分布族，插值于二项分布与非重叠乘积分布，推导矩公式并猜想熵凹性，在极端情形证明并数值支持。
2026-09-23 cs.IT math.DS math.IT
Concavity of entropy under thinning
在Johnson（2007）和Yu（2008）的工作基础上，我们证明了熵是关于细化操作T_a的凹函数。也就是说，如果X和Y是Z+上具有超对数凹概率质量函数的独立随机变量，则H（T_aX + T_{1-a} Y）>= aH（X）+（1-a）H（Y），0 <= a <= 1，其中H表示离散熵.这是不等式（h表示微分熵）h（sqrt（a）X + sqrt{1-a} Y）>= a h（X）+（1-a）h（Y），0 <= a <= 1的离散模拟，其对具有有限方差的连续X和Y成立，并且等价于香农熵幂不等式。因此，我们建立了Shepp和Olkin（1981）猜想的一个特例.
2009-04-08 cs.IT math.IT
On the entropy and log-concavity of compound Poisson measures
动机，部分，希望开发一个信息理论基础的复合泊松近似极限定理（类似于相应的发展中心极限定理和简单的泊松近似），这项工作探讨了充分条件下，复合泊松分布具有最大熵的自然类的概率措施的非负整数。我们表明，自然模拟的泊松最大熵属性仍然有效，如果考虑的措施是对数凹的，但它失败的一般。建立了复合二项测度族的一个并行极大熵结果。证明主要是基于思想相关的半群方法介绍了最近的工作约翰逊的泊松家庭。给出了复合分布为对数凹分布的充分条件，并给出了具体的例子说明上述结果。
2008-05-27 cs.IT math.IT math.PR
An information-theoretic proof of Nash's inequality
我们表明，信息理论的香农的熵功率，被称为熵功率，可以卓有成效地证明尖锐形式的不等式。特别地，熵功率的平方包含对数Sobolev不等式和带sharp常数的Nash不等式。
2012-07-12 cs.IT math-ph math.FA
The Convexity and Concavity of Envelopes of the Minimum-Relative-Entropy Region for the DSBS
本文证明了对于双对称二元分布，最小相对熵区域的下增包络和上增包络分别是凸的和凹的。我们还证明了最小相对熵区域的另一个函数是凹的。这两个信封和这个功能以前被用来刻画强小集扩张问题和强Brascamp-Lieb不等式的最佳指数。本文的结果结合Yu，Anantharam，and Chen（2021）导出的强小集扩张定理和Yu（2021）导出的强Brascamp-Lieb不等式，肯定了Ordentlich-Polyanski-Shayevitz关于强小集扩张的猜想（2019）和Polyanskiy关于强Brascamp-Lieb不等式的猜想（2016）。本文的证明是基于函数的凸性与其拉格朗日对偶的极小点集的凸性之间的等价性。
2021-06-07 cs.IT math.IT math.PR
A generalization of Costa's Entropy Power Inequality
本文的目的是研究熵插值的香农熵幂，从而推广了Costa的熵幂定理。我们将提供两个独立的证明：前者通过$Γ$ -演算，因此适用于更抽象的框架;后者具有显式的余项，让人想起[20]，允许我们描述等式的情况。
2020-12-22 cs.IT math.FA math.IT
Near-Gaussian counterexamples to the Ball-Nayar-Tkocz entropy concavity conjecture
Fudan University（复旦大学）
通过构造非对称对数凹密度，证明Ball-Nayar-Tkocz熵凹性猜想在无对称假设时失败，核心方法利用高斯扰动和端点展开分析。
2026-09-15 cs.IT math.IT math.PR
Quantum Stein's lemma revisited, inequalities for quantum entropies, and a concavity theorem of Lieb
基于量子假设检验中的Stein引理，我们通过一个初等运算论证导出了量子相对熵的单调性。对于后者，我们提出了一个简单而简短的证明，只需要大数定律。量子相对熵的联合凸性也得到了证明，从而得到了Tropp对Lieb定理的一个自包含的初等版本，根据该定理，映射tr（exp（h+log a））在自伴h的正算子上在a中是凹的。
2012-03-21 cs.IT math-ph math.IT
The Differential Entropy of Mixtures: New Bounds and Applications
混合分布被广泛地用作从机器学习到通信工程到物理学的不同领域中的建模工具，并且获得概率分布的熵的界限在许多这些应用中具有根本重要性。本文给出了熵熵亏损的精确界限，熵亏损是混合物的熵与组成成分的熵的加权和之间的差。朝着建立上下限的可调赤字，结果是在自己的权利的重要性。为了得到非平凡的上界，发展了斜发散的性质，引入了“斜”$f$ -发散的概念，得到了一个逆Pinsker不等式和一个Jensen-Shannon发散的上界.推导出互补下界，并特别注意对应于连续和离散随机变量独立求和的情况。几个应用的界限划定，包括加性噪声信道的互信息，计算热力学，和功能不等式。
2020-04-22 cs.IT math.IT math.PR
Maximizing R{é}nyi Entropy over the Transportation Polytope: Structure and Algorithm
Aix Marseille Univ, CNRS, AMSE（艾克斯-马赛大学，法国国家科学研究中心，经济与社会研究所）
本文提出了一种在边际约束下最大化熵的构造方法，通过显式耦合构造和迭代算法实现精确解。
2026-10-30 cs.IT math.IT math.ST
t-Entropy: A New Measure of Uncertainty with Some Applications
熵的概念在信息论、统计学和机器学习中起着重要的作用，本文介绍了一种新的熵度量，称为t-熵，它利用了反正切函数的性质。我们分析表明，建议的t-熵满足突出的公理性质的熵测度。我们演示了应用所提出的熵测度的图像的多级阈值。我们还提出了熵损失作为衡量两个概率分布之间的分歧，这导致了参数统计推断的背景下，强大的估计。数学上分析了估计量的相合性和渐近崩溃点。最后，我们展示了t-熵在特征加权数据聚类中的应用。
2021-05-05 cs.IT math.IT
Monotonicity, thinning and discrete versions of the Entropy Power Inequality
我们考虑独立离散随机变量之和的熵，类似于香农的熵幂不等式，其中等式对法线成立。在我们的例子中，无限可除性表明，等式应该适用于泊松变量。我们表明，一些自然的类似物的熵功率不等式实际上并不成立，但提出了一个替代的制定，并始终保持。香农熵幂不等式的许多证明的关键是熵在连续随机变量标度上的行为。我们认为Rényi稀疏离散随机变量的操作起着类似于缩放的作用，并给出了超对数凹随机变量的熵在稀疏上的行为的一个清晰的界。在Artstein，Ball，Barthe和Naor建立的单调性结果的基础上，我们证明了一个更强的熵幂不等式，这意味着我们的离散熵幂不等式的一个加强形式.
2010-07-15 cs.IT math.IT
Discrete versions of the transport equation and the Shepp-Olkin conjecture
我们引入一个框架来考虑整数值随机变量的运输问题。我们引入权系数，使我们能够在梯度流设置的运输问题的特点，并形成我们引入的离散版本的Benamou-Brenier公式的基础。此外，我们使用这些系数来说明一种新形式的加权对数。这些结果被用来证明单调情况下的Shepp-Olkin熵猜想。
2016-02-22 cs.IT math.IT math.PR
Exponential Quantum Tsallis Havrda Charvat Entropy of Type Alpha
熵是信息论及其许多应用研究中的一个关键度量。Campbell首次认识到当样本空间为均匀分布时，香农熵的指数即为样本空间的大小。本文引入了一个称为指数Tsallis Havrda Charvat熵的量，并讨论了它的一些性质。进一步给出了指数Tsallis Havrda Charvat熵在量子信息论中的应用，称之为指数量子Tsallis Havrda Charvat熵，它具有非负性、连续性和非线性等重要性质。证明了投影测量不会降低量子态的量子熵，并给出了纯态系综下的量子指数熵的一个上界。
2015-11-04 cs.IT math-ph math.IT
The Sharp Rényi and Tsallis Threshold in the Shepp--Olkin Concavity Problem
本研究精确确定了 Rényi 和 Tsallis 熵在 Shepp-Olkin 凹性问题中的联合凹性阈值，证明其通用范围恰为 $0<q\leq 1$，并给出了严格的数学证明。
2026-09-24 cs.IT math.IT math.PR
On the Complete Monotonicity of Rényi Entropy
Nankai University（南开大学）；Beijing Normal University（北京师范大学）
本文研究了 Rényi 熵沿热流的完全单调性，证实了特定阶数下高达 4 阶导数的该性质，并扩展了 Tsallis 熵的相关结果，提出了关于所有阶数 Tsallis 熵完全单调性的猜想。
2025-11-01 cs.IT math.IT
Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但到目前为止，香农熵幂不等式（EPI）是一个例外：EPI的现有信息论证明取决于使用Fisher信息或最小均方误差（MMSE）的微分熵表示，这些信息论证明来自de Bruijn恒等式。在本文中，我们首先提出了一个统一的观点，这些证明，表明他们共享两个基本成分：1）数据处理参数应用于保协方差线性变换; 2）连续高斯扰动的路径上的积分。使用这些成分，我们开发了一个新的和简短的证明EPI通过一个互信息不等式，它取代了Stam和Blachman的Fisher信息不等式（PII）和不等式MMSE郭，Shamai和Verdú在早期的证明。该结果的优点是非常简单，因为它只依赖于互信息的基本属性。这些想法，然后推广到各种扩展版本的EPI：Zamir和Feder的广义EPI的线性变换的随机变量，高野和约翰逊的EPI的因变量，刘和Viswanath的协方差约束EPI，和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
Rényi Bounds on Information Combining
信息组合的界限是熵不等式，它决定了一组随机变量的信息或熵在以某些规定的方式组合时如何变化。这样的界限在信息论，特别是在编码和香农理论中起着重要的作用。可以说，最基本的信息组合是两个二进制随机变量的相加，即CNOT门，并且在研究置信传播和极性编码时，所得到的量是基本的。在这项工作中，我们将推广到雷尼熵的概念。我们给出了条件Rényi熵组合后的最优界，基于一定的凸性或非凸性，并讨论了当这个属性确实成立。由于没有普遍同意的条件雷尼熵的定义，我们认为四个不同的版本从文献。最后，我们讨论了这些界的应用程序的极化码下的Rényi熵的极化。
2020-04-29 cs.IT math.IT
Concave Aspects of Submodular Functions
University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Washington（华盛顿大学）
次模函数是一类特殊的集合函数，它推广了信息论中的熵、互信息等量[1]。次模函数具有次梯度和次微分[2]，并且允许多项式时间算法用于最小化，这两者都是凸函数的基本特征。子模函数也显示类似于的符号。次模函数极大化虽然是NP困难的，但它具有常数因子逼近保证，并且由模函数组成的凹函数是次模函数。在本文中，我们试图提供一个更完整的子模块性与子模块性之间的关系。我们刻画了与上界相关的超微分和多面体，并利用超微分给出了次模极大化的最优性条件。本文是我们较长的预印本[3]的简洁和较短的版本。
2020-06-27 cs.DM cs.IT cs.LG
Rényi divergence-based uniformity guarantees for $k$-universal hash functions
University of Maryland, College Park（马里兰大学帕克分校）；Georgia Institute of Technology（佐治亚理工学院）
本文基于Rényi散度，研究了k-通用哈希函数的均匀性保证，证明了通过α-Rényi散度度量的随机性转换和提取方法。
2025-10-07 cs.CR cs.IT math.IT
Entropy power inequalities for qudits
香农熵幂不等式（EPI）可以被看作是连续随机变量的熵函数在标度加法规则下的一种表述：$$f(\sqrt{a}\,X + \sqrt{1-a}\,Y) \ge a f(X) + (1-a) f(Y) \quad \forall \, a \in [0,1].$$这里，$X$和$Y$是连续随机变量，函数$f$是微分熵或熵幂。柯尼希和史密斯[arXiv：1205.3409]以及德帕尔马、马里和乔万内蒂[arXiv：1402.0404]在连续变量量子系统中得到了这些不等式的量子类似物，其中$X$和$Y$被玻色子场取代，加法规则是具有transmitted $a$的分束器对这些场的作用。在本文中，我们类似地建立了一类$d$能级量子系统（即qudits）的EPI类似物。这些不等式的基本加法规则由量子通道给出，该量子通道取决于参数$a \in [0,1]$，并且就像具有transmittance $a$的分束器的有限维模拟，将两个量子点的产物状态转换为单个量子点状态。我们将此通道称为部分交换通道，因为当$a$从0变为1时，其输出在输入中的两个qudit的状态之间进行插值的特定方式。我们得到类似的香农的EPI，不仅为冯诺伊曼熵和熵功率的输出，这样的通道，但对于一个更大的类的功能以及。这个类包括Rényi熵和次熵。我们还证明了量子模拟的熵光子数不等式（EPnI）。最后，对于部分交换通道的子类，其中一…
2016-04-18 cs.IT math-ph math.IT
