加权熵的熵幂不等式
Entropy-power inequality for weighted entropy
摘要:
我们分析了一个类似的熵权不等式的加权熵。
英文摘要:
We analyse an analog of the entropy-power inequality for the weighted entropy.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。
Entropy-power inequality for weighted entropy
Yuri Suhov, Salimeh Yasaei Sekeh, Mark Kelbert
我们分析了一个类似的熵权不等式的加权熵。
We analyse an analog of the entropy-power inequality for the weighted entropy.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。
继续探索
Prove Costa's Entropy Power Inequality and High Order Inequality for Differential Entropy with Semidefinite Programming
Costa熵幂不等式是Shannon熵幂不等式的一个重要推广.与Costa的熵幂不等式和McKean于1966年提出的一个猜想有关,Cheng-Geng最近证明了$D(m,n): (-1)^{m+1}(\partial^m/\partial^m t)H(X_t)\ge0$,其中$X_t$是Costa熵幂不等式中的$n$维随机变量,$H(X_t)$是$X_t$的微分熵. Costa证明了$D(1,n)$和$D(2,n)$是Costa熵幂不等式的结果。Cheng-Geng证明了$D(3,1)$和$D(4,1)$。本文给出了半定规划下$D(m,n)$和Costa熵权不等式的一个系统的证明过程。利用基于此过程的软件包,我们证明了$D(3,n)$对于$n=2,3,4$,并给出了Costa熵幂不等式的一个新的证明.我们还表明,与目前已知的限制,$D(5,1)$和$D(4,2)$不能证明的过程。
On an Inequality of Karlin and Rinott Concerning Weighted Sums of i.i.d. Random Variables
本文给出了独立同分布随机变量加权和的熵比较结果。
On the entropy power inequality for the Rényi entropy of order [0,1]
利用反向Young不等式的一个精确形式,以及Fradelizi,Madiman和Wang的Rényi熵比较结果,当Rényi参数属于$(0,1)$时,得到了对数凹随机向量的Rényi熵幂不等式.此外,估计被证明是尖锐的绝对常数。
A Quantitative Entropy Power Inequality for Dependent Random Vectors
本文提出了一种针对依赖随机向量的熵功率不等式定量版本,适用于联合密度为对数超模ular的随机向量。
Variants of the Entropy Power Inequality
对于Rényi熵和幂$α\geq (r+1)/2$,得到了熵幂不等式的推广形式$N_r^α(X+Y) \geq N_r^α(X) + N_r^α(Y)$,在$\mathbb{R}^n$中有任意独立的和数$X$和$Y$.
The entropy power inequality (EPI) and the Brascamp-Lieb inequality (BLI) are fundamental inequalities concerning the differential entropies of linear transformations of random vectors. The EPI provides lower bounds for the differential entropy of linear transformations of random vectors with independent components. The BLI, on the other hand, provides upper bounds on the differential entropy of a random vector in terms of the differential entropies of some of its linear transformations. In this paper, we define a family of entropy functionals, which we show are subadditive. We then establish …
Error Bounds on a Mixed Entropy Inequality
受比特重置操作中熵减少的评估相关的熵计算的启发,作者研究了涉及两个独立随机变量(一个连续变量和另一个离散变量)的熵不等式的缺陷。在连续随机变量是高斯的情况下,我们得到了强的定量界的赤字不等式。更明确地表明,赤字的衰减是次高斯相对于高斯变量的标准偏差的倒数。更重要的是,直到理性的条件下,这些结果被证明是尖锐的。
Beyond the entropy power inequality, via rearrangements
证明了一个关于独立随机向量之和的Rényi微分熵的下界。对于Boltzmann-Shannon熵的特殊情况,该下界优于熵幂不等式给出的下界。讨论了熵权不等式的几个应用,包括经典熵权不等式的一个新证明和一个涉及Lévy过程对称化的熵不等式。
An extension of the Ky Fan inequality
本文的目的是分析[11]中提出的加权KyFan不等式。给出了一些指数加权函数的数值模拟。我们表明,在几种情况下和类型的例子,可以意味着改进的标准KyFan不等式。
We prove a quantitative form of the celebrated Ball's theorem on cube slicing in $\mathbb{R}^n$ and obtain, as a consequence, equality cases in the min-entropy power inequality. Independently, we also give a quantitative form of Khintchine's inequality in the special case $p=1$.
Yet Another Proof of the Entropy Power Inequality
给出了熵幂不等式的另一个简单证明,它避免了在高斯扰动路径上的积分,也避免了使用具有锐常数或Rényi熵的Young不等式.证明是基于一个简单的变化的变量,是正式相同的一维和几个维度,并很容易解决平等的情况。
Optimal Transportation to the Entropy-Power Inequality
我们提出了一个简单的证明熵功率不等式使用最佳运输参数,它采取了一个简单的变量变化的形式。同样的论点产生了一个反向不等式,涉及一个条件微分熵,它有自己的利益。它也可以以各种方式推广。等式的情况下,很容易捕获这种方法和证明是形式上相同的一维和多维。
A new entropy power inequality for integer-valued random variables
熵幂不等式(EPI)给出了两个独立实值随机变量之和的微分熵关于个体熵的下界。离散随机变量的EPI版本已经得到了特殊的分布族,其中微分熵被离散熵取代,但没有普遍的不等式(超越平凡的)。最近,当$X,X'$是独立同分布时,熵函数的和集理论提供了一个尖锐的不等式$H(X+X')-H(X)\geq 1/2 -o(1)$。高熵值本文给出了不等式$H(X+X')-H(X) \geq g(H(X))$,其中$X,X'$是任意独立同分布的.整数值随机变量,其中$g$是$\mR_+$上满足$g(0)=0$的泛严格正函数。扩展到不同分布的随机变量和条件熵也得到了。
Monotonicity, thinning and discrete versions of the Entropy Power Inequality
我们考虑独立离散随机变量之和的熵,类似于香农的熵幂不等式,其中等式对法线成立。在我们的例子中,无限可除性表明,等式应该适用于泊松变量。我们表明,一些自然的类似物的熵功率不等式实际上并不成立,但提出了一个替代的制定,并始终保持。香农熵幂不等式的许多证明的关键是熵在连续随机变量标度上的行为。我们认为Rényi稀疏离散随机变量的操作起着类似于缩放的作用,并给出了超对数凹随机变量的熵在稀疏上的行为的一个清晰的界。在Artstein,Ball,Barthe和Naor建立的单调性结果的基础上,我们证明了一个更强的熵幂不等式,这意味着我们的离散熵幂不等式的一个加强形式.
An Exact Upper Bound on the $L^p$ Lebesgue Constant and The $\infty$-Rényi Entropy Power Inequality for Integer Valued Random Variables
本文证明了$p\ge 2$的$L^p$勒贝格常数(即Dirichlet核的$L^p$范数)的一个精确渐近上界.作为应用,我们还证明了一个新的整数值随机变量的$\infty $熵幂不等式的意义.
The Entropy Power Inequality with quantum conditioning
条件熵幂不等式是信息论中的一个基本不等式,它描述了当两个条件独立的向量值随机变量为高斯分布时,它们的条件熵之和最小。我们证明了条件系统是量子的情况下的条件熵功率不等式。证明是基于热半群和推广的Stam不等式的存在下的量子条件。带量子条件的熵幂不等式将成为量子信息学的一个重要工具,在量子纠缠辅助下的分布式信源编码协议中有着广泛的应用。
Equality in the Matrix Entropy-Power Inequality and Blind Separation of Real and Complex sources
矩阵版本的熵幂不等式的实或复系数和变量证明使用运输参数,很容易解决的平等的情况下。最后给出了在盲源提取中的应用。
We provide a simple proof of a curious inequality for the binary entropy function, an inequality that has been used in two different contexts. In the 1980's, Boppana used this entropy inequality to prove lower bounds on Boolean formulas. More recently, the inequality was used to achieve major progress on Frankl's union-closed sets conjecture. Our proof of the entropy inequality uses basic differential calculus.
A Vector Generalization of Costa's Entropy-Power Inequality with Applications
考虑Costa的一个熵幂不等式,给出了一个带实半正定参数的自然向量推广.利用线性矢量高斯信道中互信息的导数与最小均方误差(MMSE)估计之间的基本关系,利用微扰方法证明了这个新的不等式.作为应用,从广义Costa EPI导出了一个新的极值熵不等式,并利用该不等式建立了具有分层保密消息的退化向量高斯广播信道的保密容量域.
A strengthened entropy power inequality for log-concave densities
我们证明,在密度为对数凹的情况下,香农熵-幂不等式存在一个加强版本。在这种情况下,事实上,人们可以扩展Blachman-Stam参数,以获得关于热半群的香农熵泛函的二阶导数的尖锐不等式。
Comment on the Equality Condition for the I-MMSE Proof of Entropy Power Inequality
建立了熵幂不等式(EPI)的I-MMSE证明中的等式条件。这是通过建立EPI两侧之间赤字的精确表达式来完成的。有趣的是,通过与著名的柯西函数方程建立联系,建立了等式的必要条件。
Rényi entropy power inequality and a reverse
本文件具有双重意义。在第一部分中,我们给出了最近在\cite{BM16}中得到的Rényi熵幂不等式(EPI)的一个改进。证明很大程度上遵循\cite{DCT91}中采用具有尖锐常数的杨氏卷积不等式的方法。在第二部分中,我们研究了Rényi EPI的可逆性,并在两种情况下证实了\cite{BNT15, MMX16}中的一个猜想。各种$p$次平均机构凸几何的连接也进行了探讨。
We establish a general class of entropy inequalities that take the concise form of Gaussian comparisons. The main result unifies many classical and recent results, including the Shannon-Stam inequality, the Brunn-Minkowski inequality, the Zamir-Feder inequality, the Brascamp-Lieb and Barthe inequalities, the Anantharam-Jog-Nair inequality, and others.
A multivariate generalization of Costa's entropy power inequality
证明了Costa熵幂不等式的一个简单的多元形式。特别是,它表明,如果独立的白高斯噪声被添加到一个任意的多元信号,所得到的随机变量的熵功率是一个多维凹函数的信号的组件的个别方差。作为一个副作用,我们还给出了一个表达式的Hessian矩阵的熵和熵功率函数的方差的信号分量,这是一个有趣的结果本身。
A Massey-like inequality is any useful lower bound on guessing entropy in terms of the computationally scalable Shannon entropy. The asymptotically optimal Massey-like inequality is determined and further refined for finite-support distributions. The impact of these results are highlighted for side-channel attack evaluation where guessing entropy is a key metric. In this context, the obtained bounds are compared to the state of the art.
An Entropy Power Inequality for Discrete Random Variables
令$\mathsf{N}_{\rm d}\left[X\right]=\frac{1}{2π{\rm e}}{\rm e}^{2\mathsf{H}\left[X\right]}$表示离散随机变量$X$的熵功率,其中$\mathsf{H}\left[X\right]$表示$X$的离散熵。本文证明了对于两个独立的离散随机变量$X$和$Y$,熵幂不等式$\mathsf{N}_{\rm d}\left[X\right]+\mathsf{N}_{\rm d}\left[Y\right]\leq 2 \mathsf{N}_{\rm d}\left[X+Y\right]$成立,并且它可以是紧的.证明背后的基本思想是使用适当设计的连续随机变量扰动离散随机变量。然后将连续熵幂不等式应用于扰动随机变量之和,并对所得下界进行优化。
The Discounted Least Information Theory of Entropy (DLITE) is a new information measure that quantifies the amount of entropic difference between two probability distributions. It manifests multiple critical properties both as an information-theoretic quantity and as metric distance. In the report, we provide a proof of the triangular inequality of DLITE's cube root ($\sqrt[3]{DL}$), an important property of a metric, along with alternative proofs for two additional properties.
Strengthening the Entropy Power Inequality
当其中一个随机和项为高斯分布时,我们加强了熵幂不等式。我们的加强是紧密相连的高斯通道的强数据处理的概念,并概括了(向量扩展)科斯塔的EPI。这导致了一个新的反向熵功率不等式,并作为推论,锐化Stam的不等式有关熵功率和Fisher信息。应用网络信息论,包括一个简短的自包含的证明率区域的两个编码器的二次高斯信源编码问题。我们的论点是基于弱收敛和技术采用耿和奈尔建立高斯最优性通过旋转不变性,其根源追溯到一个“加倍技巧”,已成功地用于研究的功能不等式。
A noisy entropy inequality for boolean functions by Samorodnitsky is applied to binary codes. It is shown that a binary code that achieves capacity on the binary erasure channel admits optimal list size for list decoding on some binary symmetric channels (in a regime where this optimal list size is exponentially large).
The conditional Entropy Power Inequality for bosonic quantum systems
证明了高斯量子系统的条件熵幂不等式。这个基本不等式确定了分束器输出的最小量子条件冯诺依曼熵或所有输入状态之间的压缩的最小量子条件冯诺依曼熵,其中两个输入在给定存储器的情况下是有条件独立的,并且具有给定的量子条件熵。我们还证明了,对于两个输入的量子条件熵的任何一对值,由条件熵幂不等式给出的输出的量子条件熵的最小值是由一个合适的量子高斯输入态序列渐近实现的。我们的条件熵幂不等式的证明是基于量子条件Fisher信息的一个新的Stam不等式和热半群演化下量子条件熵的普适渐近行为的确定。分束器和压缩是量子光学的核心元件,可以模拟电磁信号的衰减、放大和噪声。这个条件熵幂不等式在量子信息和量子密码学中有着重要的意义。在它的许多可能的应用程序有一个新的不确定性关系的条件Wehrl熵的证明。
Weighted Approach to General Entropy Function
加权熵的定义允许容易地计算度量的混合的熵。本文研究了一般熵函数的加权形式的等价定义问题。我们证明了在著名的Shannon熵、Rényi熵和Tsallis熵所满足的合理条件下,每个熵函数都可以等价地用加权的方式定义.作为推论,我们展示了如何使用加权形式来计算混合测度的Tsallis熵。
The Entropy Power Inequality and Mrs. Gerber's Lemma for Abelian Groups of Order 2^n
香农熵幂不等式可以被看作是表征两个具有固定微分熵的独立随机变量之和所能达到的最小微分熵。熵幂不等式在解决信息论中的许多问题中起着关键作用。因此,研究离散随机变量的类似不等式的存在性是很有趣的。本文得到了取值于2^n阶阿贝尔群的随机变量的熵幂不等式,即对于这样的群G,我们明确地刻画了函数f_G(x,y)给出了两个独立的G值随机变量之和的最小熵,它们的熵分别为x和y.因此,在这种情况下,在这个不等式中达到极值的随机变量是高斯的类似物,并且这些也是确定的。证明了f_G(x,y)对固定的y在x上是凸的,并且,通过对称性,对固定的x在y上是凸的。这是一个推广到2^n阶阿贝尔群的结果称为格伯夫人引理。
Weighted Approach to Rényi Entropy
α阶Rényi熵是熵的一般度量。在本文中,我们推导出估计的Rényi熵的混合源的熵的单源。这些关系允许计算任意阶混合测度的雷尼熵维数。获得这些结果的关键是我们的加权Rényi熵的新定义。证明了加权熵与经典Rényi熵是等价的。
Entropy power inequality for a family of discrete random variables
当随机变量具有密度时,熵幂不等式(EPI)总是成立的。没有太多的工作已经做了,以确定离散分布的不等式成立的微分熵取代离散熵。Harremoës和Vignat表明,它适用于对(B(m,p),B(n,p)),m,n \in \mathbb{N},(其中B(n,p)是一个二项分布,n次试验,每次成功概率为p),p = 0.5。本文将不等式成立的二项分布的集合作了相当大的扩展,特别是确定了n_0(p)使得对所有m,n \geq n_0(p),EPI对(B(m,p),B(n,p))成立.我们进一步表明,EPI持有的离散随机变量,可以表示为n个独立的相同分布(IID)的离散随机变量的和大n。
The Entropy Photon-Number Inequality and its Consequences
确定电磁波的最终经典信息承载能力需要量子力学分析,以正确地解释这些波的玻色子性质。最近的工作已经建立了玻色子单用户,广播和窃听信道的容量定理,在两个最小输出熵的假设下。尽管有大量积累的证据支持这些假设的有效性,但它们尚未得到证实。在这里,我们表明,前面的最小输出熵矩阵是一个熵光子数不等式的简单后果,这是从经典信息论的熵功率不等式(EPI)的一个简化的量子力学模拟。
Aim of this short note is to study Shannon's entropy power along entropic interpolations, thus generalizing Costa's concavity theorem. We shall provide two proofs of independent interest: the former by $Γ$-calculus, hence applicable to more abstract frameworks; the latter with an explicit remainder term, reminiscent of [20], allowing us to characterize the case of equality.
We give bounds on the difference between the weighted arithmetic mean and the weighted geometric mean. These imply refined Young inequalities and the reverses of the Young inequality. We also study some properties on the difference between the weighted arithmetic mean and the weighted geometric mean. Applying the newly obtained inequalities, we show some results on the Tsallis divergence, the Rényi divergence, the Jeffreys-Tsallis divergence and the Jensen-Shannon-Tsallis divergence.
The conditional entropy power inequality for quantum additive noise channels
证明了量子加性噪声信道的量子条件熵幂不等式。这个不等式下界的量子条件熵的输出的加性噪声信道的输入状态和噪声的量子条件熵时,它们是有条件地独立的内存。我们还表明,这个条件熵功率不等式是最优的,在这个意义上,我们可以通过选择一个合适的序列的高斯输入状态渐近实现平等。我们应用条件熵功率不等式找到一个数组的信息理论的不平等的条件熵,这是类似的不平等已经建立在无条件的设置。此外,我们还基于熵幂不等式给出了量子Ornstein-Uhlenbeck半群收敛速度的一个简单证明。
Capacity of the Bosonic Wiretap Channel and the Entropy Photon-Number Inequality
确定电磁波的最终经典信息承载能力需要量子力学分析,以正确地解释这些波的玻色子性质。最近的工作已经建立了玻色子单用户和广播信道的容量定理,在两个最小输出熵的假设下。尽管有大量积累的证据支持这些假设的有效性,但它们尚未得到证实。在本文中,它表明,第二个猜想足以证明玻色子窃听信道的经典容量,这反过来也将证明量子容量的有损玻色子信道。前面的最小输出熵矩阵是熵光子数不等式(EPnI)的简单结果,EPnI是经典信息论中熵功率不等式(EPI)的量子力学模拟。
Generalized Talagrand Inequality for Sinkhorn Distance using Entropy Power Inequality
本文利用最优传输的无穷小位移凸性和熵功率不等式,证明了HWI型不等式并导出两个Talagrand型不等式,将Sinkhorn距离下的高斯Talagrand不等式推广至强对数凹情形。
Finite p-groups, entropy vectors and the Ingleton inequality for nilpotent groups
本文利用群论和群的熵向量研究了有限、有向、无环、多源、多汇网络的容量/熵域。在n个随机变量集合的熵向量与从有限群及其n个子群中得到的某个可群特征化向量之间存在一一对应。我们正在寻找幂零群特征熵向量,并证明它们也都是阿贝尔群特征,因此它们满足英格尔顿不等式。众所周知,不是所有的熵向量都可以从阿贝尔群中得到,所以我们的结果意味着,为了得到更多的奇异熵向量,我们必须至少去可溶群或更大的幂零类。这个结果还暗示了有界类的幂零群满足Ingleton不等式,这取决于群的阶。
On some special cases of the Entropy Photon-Number Inequality
我们发现,熵光子数不等式(EPnI)持有的输入状态之一是真空状态和其他输入状态的几个候选人,其中包括的情况下,当状态的本征向量的数量状态,只有两个非零本征值或具有任意数量的非零本征值,但高熵状态。我们还讨论了条件,如果满足,将导致这些结果的扩展。
On the analogue of the concavity of entropy power in the Brunn-Minkowski theory
Costa和Cover在{ \it On the similarity of the entropy power inequality and Brunn-Minkowski inequality}(IEEE Trans. Inform. Theory 30(1984),no. 6,837-839)可测集的外部平行体积的$\frac{1}{n}$ -熵作为熵功率的熵的模拟。我们研究了这个猜想,并研究了它与几何不等式的关系。
An information-theoretic proof of Nash's inequality
我们表明,信息理论的香农的熵功率,被称为熵功率,可以卓有成效地证明尖锐形式的不等式。特别地,熵功率的平方包含对数Sobolev不等式和带sharp常数的Nash不等式。
Generalized Bayesian Cramér-Rao Inequality via Information Geometry of Relative $α$-Entropy
相对$α$ -熵是相对熵的Rényi类比,在信息论问题中非常突出。最近的信息几何调查这个数量已经使推广的Cramér-Rao不等式,它提供了一个下界的估计方差的护送的基本参数概率分布。然而,这一框架在贝叶斯框架中仍然没有得到检验。本文提出了一种基于相对$α$ -熵的广义黎曼度量,得到了一个推广的Bayesian Cramér-Rao不等式.这建立了从基础分布的无偏估计量开始的$α$ -护送分布的无偏估计量的方差的下限。我们表明,在极限情况下,当熵的顺序接近统一,这个框架减少到传统的贝叶斯Cramér-Rao不等式。此外,在没有先验的情况下,相同的框架产生确定性的Cramér-Rao不等式。
We study quantum computation relations on unital finite-dimensional CAR $C^{*}$-algebras. We prove an entropy power inequality (EPI) in a fermionic setting, which presumably will permit understanding the capacities in fermionic linear optics. Similar relations to the bosonic case are shown, and alternative proofs of known facts are given. Clifford algebras and the Grassmann representation can thus be used to obtain mathematical results regarding coherent fermion states.
扫码添加微信好友,提出您的宝贵建议 👇
💡 备注请填写:网站反馈
发表机构由 AI 从论文文本抽取,如发现错误,欢迎反馈修正建议。