Concavity of Tsallis Entropy and Tsallis Entropy Power along Heat Flow
Technical University of Munich(慕尼黑工业大学)
研究热流下Tsallis熵的演化,证明在任意维度中Tsallis熵的凹性,并推广到Tsallis熵幂,包括Shannon熵幂和Costa EPI作为端点。
2026-06-15 cs.IT math.IT
Thinning, Entropy and the Law of Thin Numbers
Renyi对离散随机变量的“细化”操作是对连续随机变量的缩放操作的自然离散模拟。在信息理论的背景下,特别是在连接与泊松近似结果相关的信息理论不等式的细化的性质进行了研究。经典的二项式到泊松收敛(有时称为“小数定律”)被视为离散分布卷积的稀疏极限定理的特殊情况。收敛速度提供了这个限制,并建立非渐近界。这种发展在某种程度上与高斯不等式的发展相平行,导致了中心极限定理的信息论版本。特别是,一个“细化马尔可夫链”的介绍,并显示它发挥类似的作用,连接到熵功率不等式的Ornstein-Uhlenbeck过程。
2009-06-03 cs.IT math.IT math.PR
On the analogue of the concavity of entropy power in the Brunn-Minkowski theory
Costa和Cover在{ \it On the similarity of the entropy power inequality and Brunn-Minkowski inequality}(IEEE Trans. Inform. Theory 30(1984),no. 6,837-839)可测集的外部平行体积的$\frac{1}{n}$ -熵作为熵功率的熵的模拟。我们研究了这个猜想,并研究了它与几何不等式的关系。
2013-02-25 cs.IT math.FA math.IT
Reversals of Rényi Entropy Inequalities under Log-Concavity
我们建立了一个离散模拟的Rényi熵比较,由于Bobkov和Madiman。对于整数上的对数凹变量,最小熵在通常的香农熵的log e内。此外,我们还研究了Madiman和Kontoyannis研究的熵Rogers-Shephard不等式,并在连续和离散情形下对某些参数建立了一个尖锐的Rényi形式
2020-05-21 cs.IT math.IT math.PR
The concavity of Rènyi entropy power
我们与p阶Rényi熵的熵功率的定义,这是香农熵功率的自然扩展,并表现出良好的行为沿解的p-非线性热方程$R^n$。我们证明了求解这类方程的一般概率密度的Rényi熵幂总是时间的凹函数,而它对应于Barenblatt源型解具有线性行为。然后我们证明了p阶非线性扩散的概率密度的p阶Rényi熵幂是时间的凹函数。这一结果将Costa的香农熵幂不等式推广到了Rényi熵。
2012-08-05 cs.IT math.FA math.IT
A proof of the Shepp-Olkin entropy concavity conjecture
我们证明了Shepp-Olkin猜想,它指出独立Bernoulli随机变量之和的熵在单个随机变量的参数中是凹的。我们的证明是以前提出的同一作者,解决了单调的情况下(其中所有的参数同时增加)的猜想参数的改进。事实上,我们表明,单调的情况下是最坏的情况下,使用仔细分析的概率质量函数的导数的性质。我们提出了一个推广的Shepp和Olkin的原始猜想,考虑Renyi和Tsallis熵。
2015-03-05 cs.IT math.IT math.PR
Recursive overlap Bernoulli distributions and an entropy concavity conjecture
Technical University of Braunschweig(布伦瑞克工业大学)
本文提出递归重叠伯努利分布族,插值于二项分布与非重叠乘积分布,推导矩公式并猜想熵凹性,在极端情形证明并数值支持。
2026-09-23 cs.IT math.DS math.IT
Log-concavity, ultra-log-concavity, and a maximum entropy property of discrete compound Poisson measures
给出了复合泊松分布在非负整数上的一类自然概率测度内具有最大熵的充分条件.最近,作者之一[O。约翰逊,{ \em Stoch. Proc. Appl.},2007]使用半群方法证明泊松在所有具有固定均值的超对数凹分布中具有最大熵。我们表明,通过一个非平凡的扩展,这个半群的方法,自然模拟的泊松最大熵属性仍然有效,如果复合泊松分布考虑是对数凹的,但它失败的一般。建立了复合二项测度族的一个并行的最大熵结果。复合分布是对数凹的充分条件进行了讨论和组合学的应用进行了检查,新的界限推导出的熵的基数随机独立集在无爪图,并连接到梅森猜想拟阵。目前的结果主要是出于希望提供一个复合泊松近似和相关的极限定理的信息理论基础,类似于相应的发展中心极限定理和泊松近似。我们的研究结果还表明,一些概率方法和组合的概念的对数和超对数的新的联系,他们增加了越来越多的工作探索的应用程序的最大熵特征的问题,在离散数学。
2011-09-27 cs.IT math.CO math.IT
On the entropy and log-concavity of compound Poisson measures
动机,部分,希望开发一个信息理论基础的复合泊松近似极限定理(类似于相应的发展中心极限定理和简单的泊松近似),这项工作探讨了充分条件下,复合泊松分布具有最大熵的自然类的概率措施的非负整数。我们表明,自然模拟的泊松最大熵属性仍然有效,如果考虑的措施是对数凹的,但它失败的一般。建立了复合二项测度族的一个并行极大熵结果。证明主要是基于思想相关的半群方法介绍了最近的工作约翰逊的泊松家庭。给出了复合分布为对数凹分布的充分条件,并给出了具体的例子说明上述结果。
2008-05-27 cs.IT math.IT math.PR
The Convexity and Concavity of Envelopes of the Minimum-Relative-Entropy Region for the DSBS
本文证明了对于双对称二元分布,最小相对熵区域的下增包络和上增包络分别是凸的和凹的。我们还证明了最小相对熵区域的另一个函数是凹的。这两个信封和这个功能以前被用来刻画强小集扩张问题和强Brascamp-Lieb不等式的最佳指数。本文的结果结合Yu,Anantharam,and Chen(2021)导出的强小集扩张定理和Yu(2021)导出的强Brascamp-Lieb不等式,肯定了Ordentlich-Polyanski-Shayevitz关于强小集扩张的猜想(2019)和Polyanskiy关于强Brascamp-Lieb不等式的猜想(2016)。本文的证明是基于函数的凸性与其拉格朗日对偶的极小点集的凸性之间的等价性。
2021-06-07 cs.IT math.IT math.PR
A concavity property for the reciprocal of Fisher information and its consequences on Costa's EPI
证明了对数凹概率密度$X$在${\bf{R}}^n$中的Fisher信息的倒数在$t$中相对于高斯噪声$Z_t = N(0, tI_n)$是凹的.作为这个结果的副产品,我们表明,在${\bf{R}}^n$的对数凹概率密度$X$的熵功率的三阶导数是非负的$t$相对于添加高斯噪声$Z_t$。对于对数凹密度,这改进了著名的Costa的熵功率的非线性性质。
2014-10-10 cs.IT math-ph math.IT
Thinning, photonic beamsplitting, and a general discrete entropy power inequality
许多部分成功的尝试已经取得了最自然的离散变量版本香农的熵功率不等式(EPI)。我们开发了一个公理化的框架,从中我们推导出的自然形式的离散变量EPI和相关的熵单调性的离散变量中心极限定理。在这个离散EPI中,几何分布,它具有最大的熵在所有离散分布与给定的平均值,假设一个角色类似于香农的EPI中的高斯分布。$X$的熵功率被定义为具有熵$H(X)$的几何随机变量的平均值。我们构造的关键是两个离散随机变量$X$和$Y$与$η\in (0, 1)$的Lieb标度加法$X \boxplus_ηY$的离散变量版本。我们讨论的关系,我们的离散EPI与最近的工作,余和约翰逊谁开发了一个EPI的限制类的随机变量,具有超对数凹(ULC)分布。即使我们离开开放的证明上述自然形式的离散EPI,我们表明,这种离散EPI适用于任意离散分布的变量时,熵功率重新定义为$e^{H(X)}$在类比连续版本。最后,我们证明了我们的离散EPI是尚未证明的熵光子数不等式(EPNI)的一个特例,它承担了类似于香农的EPI的高斯玻色子(量子)信道的容量证明的作用。
2016-05-25 cs.IT math.IT quant-ph
An information-theoretic proof of Nash's inequality
我们表明,信息理论的香农的熵功率,被称为熵功率,可以卓有成效地证明尖锐形式的不等式。特别地,熵功率的平方包含对数Sobolev不等式和带sharp常数的Nash不等式。
2012-07-12 cs.IT math-ph math.FA
Near-Gaussian counterexamples to the Ball-Nayar-Tkocz entropy concavity conjecture
Fudan University(复旦大学)
通过构造非对称对数凹密度,证明Ball-Nayar-Tkocz熵凹性猜想在无对称假设时失败,核心方法利用高斯扰动和端点展开分析。
2026-09-15 cs.IT math.IT math.PR
Similarity-Sensitive Entropy under Representation Change and Inference
本文提出一种测度论框架,研究概率律在相似性核下的不确定性度量,并推导表示变化和推理操作下的数据处理不等式,同时给出条件熵理论及凹性反例。
2026-11-16 cs.IT math.IT math.PR
Log-concavity and discrete degrees of freedom
该研究提出离散对数凹序列的自由度概念,证明固定方差下几何分布最小化离散对数凹随机变量的无穷阶Rényi熵,且固定整数均值下Poisson分布最大化超对数凹随机变量取均值的概率。
2023-05-06 cs.IT math.IT math.PR
Conditional Fisher-Information Central Limit Theorems under Log-Concavity with Information-Theoretic Consequences
本文证明对数凹性下条件Fisher信息中心极限定理,并由此推出条件熵收敛及互信息斜率趋于高斯基准等推论。
2026-09-09 cs.IT math.IT math.PR
Quantum Stein's lemma revisited, inequalities for quantum entropies, and a concavity theorem of Lieb
基于量子假设检验中的Stein引理,我们通过一个初等运算论证导出了量子相对熵的单调性。对于后者,我们提出了一个简单而简短的证明,只需要大数定律。量子相对熵的联合凸性也得到了证明,从而得到了Tropp对Lieb定理的一个自包含的初等版本,根据该定理,映射tr(exp(h+log a))在自伴h的正算子上在a中是凹的。
2012-03-21 cs.IT math-ph math.IT
A generalization of Costa's Entropy Power Inequality
本文的目的是研究熵插值的香农熵幂,从而推广了Costa的熵幂定理。我们将提供两个独立的证明:前者通过$Γ$ -演算,因此适用于更抽象的框架;后者具有显式的余项,让人想起[20],允许我们描述等式的情况。
2020-12-22 cs.IT math.FA math.IT
The Differential Entropy of Mixtures: New Bounds and Applications
混合分布被广泛地用作从机器学习到通信工程到物理学的不同领域中的建模工具,并且获得概率分布的熵的界限在许多这些应用中具有根本重要性。本文给出了熵熵亏损的精确界限,熵亏损是混合物的熵与组成成分的熵的加权和之间的差。朝着建立上下限的可调赤字,结果是在自己的权利的重要性。为了得到非平凡的上界,发展了斜发散的性质,引入了“斜”$f$ -发散的概念,得到了一个逆Pinsker不等式和一个Jensen-Shannon发散的上界.推导出互补下界,并特别注意对应于连续和离散随机变量独立求和的情况。几个应用的界限划定,包括加性噪声信道的互信息,计算热力学,和功能不等式。
2020-04-22 cs.IT math.IT math.PR
Concentration inequalities for log-concave sequences
本文通过凸序中的主次关系,为满足精确对数凹度的随机变量推导出集中不等式、矩界和熵界,并改进了现有文献中的结果。
2026-02-17 cs.IT math.IT math.PR
Dimension-free Information Concentration via Exp-Concavity
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Laboratory for Information and Inference Systems (LIONS)(信息与推理系统实验室)
概率测度的信息集中在学习理论中有重要的意义。最近,人们发现,一个对数凹分布的信息内容集中在他们的微分熵,虽然与环境尺寸的不愉快的依赖。在这项工作中,我们证明了如果对数凹分布的势是指数凹的,这是在线和统计学习中快速率的核心概念,那么信息的集中度可以进一步提高到仅取决于指数凹参数,因此,它可以是维度无关的。我们证明的核心是方差Brascamp-Lieb不等式的一个新颖而简单的应用。在学习理论的背景下,我们的信息集中结果立即意味着许多先前的边界仅在预期中保持的高概率结果。
2018-02-26 cs.IT cs.LG math.IT
Discrete versions of the transport equation and the Shepp-Olkin conjecture
我们引入一个框架来考虑整数值随机变量的运输问题。我们引入权系数,使我们能够在梯度流设置的运输问题的特点,并形成我们引入的离散版本的Benamou-Brenier公式的基础。此外,我们使用这些系数来说明一种新形式的加权对数。这些结果被用来证明单调情况下的Shepp-Olkin熵猜想。
2016-02-22 cs.IT math.IT math.PR
Entropy Jumps for Radially Symmetric Random Vectors
我们建立了一个定量的约束熵跳相关的独立,同分布(IID)的径向对称随机向量的维数大于1的总和。按照通常的方法,我们首先考虑类似的Fisher信息耗散问题,然后沿着Ornstein-Uhlenbeck半群积分,得到一个熵不等式。在离开以前的工作,我们呼吁Desvillettes和Villani的结果熵生产相关的朗道方程。这避免了强的规则性假设,例如存在谱隙和密度的对数,但以牺牲径向对称为代价。作为应用,我们给出了径向对称函数的高斯对数Sobolev不等式亏损的一个定量估计。
2016-11-03 cs.IT math.IT math.PR
Monotonic Convergence in an Information-Theoretic Law of Small Numbers
在离散情况下,得到了类似于熵中心极限定理(Barron 1986; Artstein et al. 2004)的“熵增加到最大值”的结果。这涉及细化操作和泊松极限。对于一般离散分布,证明了相对熵的单调收敛性,对于特殊的超对数凹分布,证明了Shannon熵的单调增加性.总的来说,我们扩展了Kontoyiannis等人(2005)和Harremoës等人探索的信息论中心极限定理和小数定律之间的相似性。(2007,2008)。证明中的成分包括凸性、优控制和随机序。
2009-05-24 cs.IT math.IT math.PR
The Sharp Rényi and Tsallis Threshold in the Shepp--Olkin Concavity Problem
本研究精确确定了 Rényi 和 Tsallis 熵在 Shepp-Olkin 凹性问题中的联合凹性阈值,证明其通用范围恰为 $0<q\leq 1$,并给出了严格的数学证明。
2026-09-24 cs.IT math.IT math.PR
Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来,但到目前为止,香农熵幂不等式(EPI)是一个例外:EPI的现有信息论证明取决于使用Fisher信息或最小均方误差(MMSE)的微分熵表示,这些信息论证明来自de Bruijn恒等式。在本文中,我们首先提出了一个统一的观点,这些证明,表明他们共享两个基本成分:1)数据处理参数应用于保协方差线性变换; 2)连续高斯扰动的路径上的积分。使用这些成分,我们开发了一个新的和简短的证明EPI通过一个互信息不等式,它取代了Stam和Blachman的Fisher信息不等式(PII)和不等式MMSE郭,Shamai和Verdú在早期的证明。该结果的优点是非常简单,因为它只依赖于互信息的基本属性。这些想法,然后推广到各种扩展版本的EPI:Zamir和Feder的广义EPI的线性变换的随机变量,高野和约翰逊的EPI的因变量,刘和Viswanath的协方差约束EPI,和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
Variational Representations related to Quantum Rényi Relative Entropies
本文主要研究与量子Rényi相对熵有关的矩阵对称范数函数的变分表示。具体地,利用赫尔德不等式和Young不等式,得到了函数(A,B)\mapsto \normmm{(B^{q/2}K^*A^pKB^{q/2})^s}在对称范数下的变分表示.这些变分表达式使迹函数(A,B)\mapsto \tr(B^{q/2}K^*A^pKB^{q/2})^s的凸性/凸性的证明更加清楚.
2020-06-19 cs.IT math.FA math.IT
On Strong Data-Processing and Majorization Inequalities with Applications to Coding Problems
这项工作提供了数据处理和优化不等式的$f$ -分歧,它认为他们的一些应用程序的编码问题。这项工作还提供了一个离散随机变量的函数的Rényi熵与有限个可能的值,其中所考虑的功能是不是一对一的紧界,和他们的推导是基于优化和Schur-Schurt的Rényi熵。$f$ -发散不等式的一个应用是指列表解码的性能分析,无论是固定的或可变的列表大小,列表解码错误概率上的一些早期的界限,在一个统一的方式再现,并获得新的界限,并举例说明数字。另一个应用是关于近似的概率质量函数,这是由汤斯顿树的叶子,由等概率分布的质量的研究。进一步分析了有限长Tunstall码的压缩率,以证明其与无记忆平稳离散信源的香农熵的接近程度。考虑到Rényi熵的严格界和Campbell的工作,导出了离散无记忆信源的无损数据压缩的非渐近界.
2021-03-31 cs.IT math.IT
Concave Aspects of Submodular Functions
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Washington(华盛顿大学)
次模函数是一类特殊的集合函数,它推广了信息论中的熵、互信息等量[1]。次模函数具有次梯度和次微分[2],并且允许多项式时间算法用于最小化,这两者都是凸函数的基本特征。子模函数也显示类似于的符号。次模函数极大化虽然是NP困难的,但它具有常数因子逼近保证,并且由模函数组成的凹函数是次模函数。在本文中,我们试图提供一个更完整的子模块性与子模块性之间的关系。我们刻画了与上界相关的超微分和多面体,并利用超微分给出了次模极大化的最优性条件。本文是我们较长的预印本[3]的简洁和较短的版本。
2020-06-27 cs.DM cs.IT cs.LG
New Brunn--Minkowski and functional inequalities via convexity of entropy
Technion - Israel Institute of Technology(以色列理工学院);Michigan State University(密歇根州立大学)
本文研究了测度的凹性与相对熵的凸性之间的联系,证明了新的中心星形体的Brunn-Minkowski不等式,并通过Gaussian相对熵的凸性得到新的函数不等式。
2026-03-20 cs.IT math.IT math.MG
Active Trajectory Estimation for Partially Observed Markov Decision Processes via Conditional Entropy
在本文中,我们考虑的问题,控制部分可观察的马尔可夫决策过程(POMDP),以积极估计其状态轨迹在一个固定的水平线与最小的不确定性。我们提出了一种新的主动平滑问题,其目标是直接最小化平滑熵,即条件熵的(联合)状态轨迹分布的关注在固定区间贝叶斯平滑。我们的配方与以前的积极的方法,最小化的条件熵的贝叶斯滤波器提供的(边际)状态估计的总和。通过建立一种新的形式的平滑熵的POMDP的信念(或信息)状态,我们表明,我们的主动平滑问题可以重新表述为一个(完全观察到的)马尔可夫决策过程的价值函数,是凹的信念状态。的值函数的插值是特别重要的,因为它使我们的主动平滑问题的近似解使用分段线性函数近似与标准POMDP求解器。我们说明了我们的主动平滑问题的近似解决方案在模拟和比较其性能的替代方法的基础上最小化边际状态估计的不确定性。
2021-04-04 cs.IT cs.SY eess.SY
Higher Order Derivatives in Costa's Entropy Power Inequality
设$X$为任意连续型随机变量,$Z$为均值为零且方差为单位的独立高斯型随机变量.对于$t~>~0$,Costa证明了$e^{2h(X+\sqrt{t}Z)}$在$t$中是凹的,其中证明取决于$h(X+\sqrt{t}Z)$的一阶和二阶导数。具体地,这两个导数是有符号的,即,$\frac{\partial}{\partial t}h(X+\sqrt{t}Z) \geq 0$和$\frac{\partial^2}{\partial t^2}h(X+\sqrt{t}Z) \leq 0$。本文证明了$h(X+\sqrt{t}Z)$的三阶导数是非负的,这意味着Fisher信息$J(X+\sqrt{t}Z)$在$t$中是凸的.进一步证明了$h(X+\sqrt{t}Z)$的四阶导数是非正的。在前四阶导数之后,我们对$h(X+\sqrt{t}Z)$作了两个证明:第一个证明是,如果$n$是奇数,则$\frac{\partial^n}{\partial t^n} h(X+\sqrt{t}Z)$在$t$中是非负的,否则是非正的;第二个证明是,$\log J(X+\sqrt{t}Z)$在$t$中是凸的。第一个猜想可以在完全单调函数的上下文中重新表述:$J(X+\sqrt{t}Z)$在$t$中是完全单调的。第一个猜想的历史可以追溯到McKean在1966年研究的一个数学物理问题。除了这些结果,我们提供了一个…
2015-08-04 cs.IT math.IT
The entropy per coordinate of a random vector is highly constrained under convexity conditions
本文证明任意对数凹随机向量的每坐标熵与同最大密度正态随机变量之差至多1/2,并推广到凸或双曲概率测度,给出超平面猜想的信息论表述及相关熵界应用。
2010-12-24 cs.IT math.FA math.IT
Log-Concave Polynomials I: Entropy and a Deterministic Approximation Algorithm for Counting Bases of Matroids
本文给出了一个确定性多项式时间$2^{O(r)}$ -近似算法,用于求给定秩$r$的拟阵的基个数和任意两个秩$r$的拟阵的公共基个数.据我们所知,这是第一个非平凡的确定性近似算法,适用于任意拟阵。基于Azar,Broder和Frieze [ABF 94]的下界,这几乎是假设Oracle访问拟阵的独立集的最佳可能结果。在我们的结果中有两个主要成分:首先,我们建立在Adiprasito,Huh和Katz [AHK 15]以及Huh和Wang [HW 17]关于组合霍奇理论的最新结果基础上,导出拟阵和对数凹多项式之间的联系。我们期望在近似算法中的几个新的应用将在将来从这种联系中得到。形式上,我们证明了任何拟阵的基的多元生成多项式是对数凹的正正交函数。对于第二个成分,我们开发了一个通用的框架近似计数离散问题,凸优化的基础上。这种联系是通过熵的次可加性来实现的。对于拟阵,我们证明了一个近似的超可加性的熵保持依赖于相应的多项式的对数。
2018-11-05 cs.DS cs.IT math.CO
Entropy power inequalities for qudits
香农熵幂不等式(EPI)可以被看作是连续随机变量的熵函数在标度加法规则下的一种表述:$$f(\sqrt{a}\,X + \sqrt{1-a}\,Y) \ge a f(X) + (1-a) f(Y) \quad \forall \, a \in [0,1].$$这里,$X$和$Y$是连续随机变量,函数$f$是微分熵或熵幂。柯尼希和史密斯[arXiv:1205.3409]以及德帕尔马、马里和乔万内蒂[arXiv:1402.0404]在连续变量量子系统中得到了这些不等式的量子类似物,其中$X$和$Y$被玻色子场取代,加法规则是具有transmitted $a$的分束器对这些场的作用。在本文中,我们类似地建立了一类$d$能级量子系统(即qudits)的EPI类似物。这些不等式的基本加法规则由量子通道给出,该量子通道取决于参数$a \in [0,1]$,并且就像具有transmittance $a$的分束器的有限维模拟,将两个量子点的产物状态转换为单个量子点状态。我们将此通道称为部分交换通道,因为当$a$从0变为1时,其输出在输入中的两个qudit的状态之间进行插值的特定方式。我们得到类似的香农的EPI,不仅为冯诺伊曼熵和熵功率的输出,这样的通道,但对于一个更大的类的功能以及。这个类包括Rényi熵和次熵。我们还证明了量子模拟的熵光子数不等式(EPnI)。最后,对于部分交换通道的子类,其中一…
2016-04-18 cs.IT math-ph math.IT