Extended inequalities for weighted Renyi entropy involving generalized Gaussian densities
本文对加权Renyi熵进行了分析,导出了加权情形下的几个不等式。利用所提出的$α$阶广义导子和($α$ ; p)阶加权Fisher信息,给出了矩熵、Fisher信息和Cramer-Rao不等式在广义高斯密度下的推广形式.
2015-10-15 cs.IT math.IT math.PR
Results on the solutions of maximum weighted Renyi entropy problems
在本文中,遵循标准的论点,最大Renyi熵问题的加权情况下进行了分析。证明了在一定的权函数约束下,Student-r和Student-t分布使加权Renyi熵最大化.进一步,导出了Hadamard不等式的一个推广形式.
2015-10-26 cs.IT math.IT math.PR
On Weighted Mathai-Haubold Entropy Measures
Ranaghat College(拉纳加特学院);University of Kalyani(卡利亚尼大学)
本文提出加权Mathai-Haubold熵及其残差和过去版本,研究性质,发展老化类别,讨论不等式,引入非参数估计量并用蒙特卡洛模拟评估性能。
2026-09-09 cs.IT math.IT stat.ME
On relative weighted entropies with central moments weight functions
在文献[1]的基础上,本文研究了含有中心矩权函数的相对加权熵。我们比较标准的相对熵的加权情况下,在两个特定形式的高斯分布。作为应用,提出了加权偏差信息准则。
2015-06-22 cs.IT math.IT math.PR
Weighted information and entropy rates
具有值$x$和概率-质量/密度函数$f$的随机变量$X$的加权熵$H^{\rm w}_ϕ(X)=H^{\rm w}_ϕ(f)$被定义为加权信息$I^{\rm w}_ϕ(x)=-ϕ(x)\log\,f(x)$的平均值${\mathbb E} I^{\rm w}_ϕ(X)$。这里,$x\mapstoϕ(x)\in{\mathbb R}$是指示结果$x$的“值”的给定权重函数(WF)。对于由随机过程${\mathbf{X}}=(X_i,i\in{\mathbb Z})$产生的$n$分量随机向量${\mathbf{X}}_0^{n-1}=(X_0,\ldots ,X_{n-1})$,加权信息$I^{\rm w}_{ϕ_n}({\mathbf x}_0^{n-1})$和加权熵$H^{\rm w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$类似地定义为WF $ϕ_n({\mathbf x}_0^{n-1})$。基于加法和乘法形式(分别为$ϕ_n({\mathbf x}_0^{n-1})=\sum\limits_{i=0}^{n-1}φ (x_i)$和$ϕ_n({\mathbf x}_0^{n-1})=\prod\limits_{i=0}^{n-1}φ (x_i)$)考虑了两种类型的WF $ϕ_n$。重点研究了${\mathbf{X}}$的相关参数--加权熵和加权信息的${\it …
2016-12-29 cs.IT math.IT math.PR
Basic inequalities for weighted entropies
加权熵的概念考虑了不同结果的值,即,通过权重函数使熵依赖于上下文。在本文中,我们建立了一些简单的不等式的加权熵(一般以及特定),反映类似的标准(香农)熵和相关量的界限。所需的假设是根据权重函数的各种期望来编写的。例子有涉及正定矩阵行列式的加权Ky Fan不等式和加权Hadamard不等式,以及涉及加权Fisher信息矩阵的加权Cramér-Rao不等式。
2016-01-14 cs.IT math.IT math.PR
The Quality of Information: A Weighted Entropy Approach to Near-Optimal Mastermind
本文提出了一种基于加权熵的Mastermind解决方案,通过遗传算法优化发现可解释的权重模式,实现接近理论最优的性能。
2025-11-17 cs.GT cs.IT math.IT
Weakly weighted generalised quasi-metric spaces and semilattices
出于最近的应用熵理论在动力系统中,我们推广的概念介绍了马修斯和定义弱加权和分量弱加权(广义)准度量。然后,我们系统化,并扩展到充分的一般性,这些对象之间的对应关系和其他结构所产生的理论计算机科学和动力学。特别是,我们研究了弱部分度量的对应关系,如果基础空间是一个半格,不变(广义)准度量满足下降路径条件,并严格单调半(-co-)估值。最后,我们讨论,广义拟度量半格的自同态,一个广义的已知的内在半格熵和半群熵。
2022-12-16 cs.IT math.DS math.GN
On an Inequality of Karlin and Rinott Concerning Weighted Sums of i.i.d. Random Variables
本文给出了独立同分布随机变量加权和的熵比较结果。
2009-09-23 cs.IT math.IT math.PR
On double truncated (interval) WCRE and WCE
文献[3]中引入了系统失效时间可预测性的加权累积熵度量。利用双截尾(区间)累积残差和过去熵的性质,给出了加权形式下的几个界和断言。
2015-08-27 cs.IT math.IT math.PR
Rényi divergence-based uniformity guarantees for $k$-universal hash functions
University of Maryland, College Park(马里兰大学帕克分校);Georgia Institute of Technology(佐治亚理工学院)
本文基于Rényi散度,研究了k-通用哈希函数的均匀性保证,证明了通过α-Rényi散度度量的随机性转换和提取方法。
2025-10-07 cs.CR cs.IT math.IT
Asymptotic behaviour of weighted differential entropies in a Bayesian problem
我们考虑一个贝叶斯问题的成功概率估计的一系列条件独立的试验与二进制的结果。研究了$n$条件独立试验后$x$成功的后验概率密度函数微分熵的渐近行为,当$n \to \infty$ .结果表明,在适当的归一化后,$x \sim n$和$x$ $\sim n^β$($0<β<1$)的极限分布为高斯分布,标准化RV的微分熵收敛于标准高斯随机变量的微分熵.当$x$或$n-x$为常数时,微分熵的极限分布不是高斯分布,但仍能显式地求出微分熵的渐近性。然后假设人们有兴趣知道硬币是否公平,并且对于大的$n$,对真实频率感兴趣。为此,当需要强调频率$γ$时,使用在\cite{Belis1968}中引入的加权微分熵的概念。结果表明,所建议的形式的权重并不改变香农熵、Renyi熵、Tsallis熵和Fisher熵的渐近形式,但改变了常数。加权Fisher信息中的主项被改变为某个常数,该常数取决于真实频率与我们想要强调的值之间的距离。第三部分给出了Rao-Cramér不等式、Bhattacharyya不等式和Kullback不等式的加权形式。该结果被应用于上述贝叶斯问题。对于一类特殊的权函数,得到了这些不等式的渐近形式。
2015-07-29 cs.IT math.IT math.ST
Maximum Entropy Weighted Independent Set Pooling for Graph Neural Networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
在本文中,我们提出了一种新的池层图神经网络的基础上最大化之间的互信息池图和输入图。由于最大互信息是很难计算的,我们采用的香农容量的一个图作为归纳偏见,我们的池化方法。更确切地说,我们表明,池化层的输入图可以被视为一个嘈杂的通信信道的表示。对于这样的信道,发送属于图的独立集的符号产生可靠且无差错的信息传输。我们表明,达到最大的互信息是相当于找到一个最大的重量独立集的图的权重传达熵内容。通过这种通信理论的观点,我们提供了一个独特的角度来提出的问题,图池作为最大限度地提高信息传输速率在一个嘈杂的通信信道,实现了一个图神经网络。我们评估我们的方法,称为最大熵加权独立集池(MEWISPool),对图分类任务和最大独立集的组合优化问题。实验结果表明,我们的方法取得了国家的最先进的和竞争力的结果图分类任务和最大独立集问题在几个基准数据集。
2021-07-03 cs.AI cs.IT cs.LG
Rényi divergences as weighted non-commutative vector valued $L_p$-spaces
我们证明了Araki和Masuda的加权非交换向量值$L_p$ -空间[Araki \& Masuda,Publ.Res.Inst.Math.Sci.,18:339(1982)]对应于具有参数$α= \frac{p}{2}$的夹层Rényi发散的代数推广。利用复插值理论,我们在von Neumann代数的框架下证明了这些发散的各种基本性质,包括$α$中的一个数据处理不等式和单调性.因此,我们也给出了相应的有限维性质的新的证明。我们讨论了极限情况$α\to \{\frac{1}{2},1,\infty\}$导致负的对数Uhlmann的保真度,Umegaki的相对熵,和最大相对熵,分别。作为一个贡献,可能是独立的兴趣,我们得到了一个Riesz-Thorin定理Araki-Masuda $L_p$ -空间和Araki-Lieb-Thirring不等式的状态冯诺依曼代数。
2018-07-22 cs.IT math-ph math.IT