Fisher-type information involving higher order derivatives
该研究探讨含高阶导数的Fisher型信息的基本性质,并用其分析概率密度性质、推导Stam型不等式,为相关信息论与概率研究提供理论支撑。
2024-12-13 cs.IT math.IT
Extended inequalities for weighted Renyi entropy involving generalized Gaussian densities
本文对加权Renyi熵进行了分析,导出了加权情形下的几个不等式。利用所提出的$α$阶广义导子和($α$ ; p)阶加权Fisher信息,给出了矩熵、Fisher信息和Cramer-Rao不等式在广义高斯密度下的推广形式.
2015-10-15 cs.IT math.IT math.PR
Hermite-Fisher bounds and stability for min-entropy power inequalities
University of Crete(克里特大学);Carnegie Mellon University(卡内基梅隆大学)
本文结合变分原理与正交化 Hermite 多项式,推导相对 Fisher 信息的显式下界,并建立所有维度最小熵幂不等式的定量稳定性结果。
2026-09-21 cs.IT math.FA math.IT
On a (β,q)-generalized Fisher information and inequalities involving q-Gaussian distributions
在本文中,我们想提请注意一个可能的广义Fisher信息,适合在非广延热统计的形式主义。这种广义Fisher信息被定义为$\mathbb{R}^{n}.$上的密度。正如最大Rényi或Tsallis熵服从椭圆矩约束是广义q-高斯,我们证明了广义Fisher信息的最小化也导致广义q-高斯。这就产生了一个广义的Cramér-Rao不等式。此外,我们表明,广义Fisher信息自然弹出一个简单的不等式,连接广义熵,广义Fisher信息和椭圆矩。最后,给出了一个推广的Stam不等式.在这一系列结果中,极值函数是广义q-高斯函数。因此,这些结果补充了经典的广义q-高斯的特征,并引入了广义Fisher信息作为一种新的信息测度在非广延热统计。
2013-01-17 cond-mat.stat-mech cs.IT math-ph
Dual Loomis-Whitney inequalities via information theory
我们建立了一个几何体的体积和表面积的下界,使用其沿不同方向的切片的大小。本文第一部分利用熵的广义次可加性性质结合对数凹随机变量的熵界得到了凸体的体积界。在第二部分中,我们研究了Fisher信息的一个新概念,我们称之为$L_1$ -Fisher信息,并证明了$L_1$ -Fisher信息的某些超加性性质导致了多凸集的表面积的下界。
2019-01-21 cs.IT math.IT math.PR
Through and beyond moments, entropies and Fisher information measures: new informational functionals and inequalities
本文提出上矩和下Fisher度量两类新信息泛函,推广重要信息不等式并建立最优常数,应用于经典信息乘积的尖锐上界及Hausdorff矩问题。
2025-05-27 cs.IT math-ph math.IT
Reweighted information inequalities
Courant Institute School, New York University(纽约大学柯朗数学科学研究所)
本文建立了一种混合分布的log-Sobolev和传输-信息不等式变体,通过重新加权解释了非log-凹测度的Fisher信息界,并解释了Langevin蒙特卡洛方法在多模分布分析中的现象。
2026-03-13 cs.IT math.IT math.PR
Fisher information under local differential privacy
我们开发的数据处理不等式,描述如何从统计样本的Fisher信息可以缩放与隐私参数$\varepsilon$下的本地差分隐私约束。这些界限在统计模型分数分布的一般条件下是有效的,并且它们阐明了在哪些条件下对$\varepsilon$的依赖性是线性的、二次的或指数的。我们展示了这些不等式如何暗示了高斯位置模型和离散分布估计的私人估计的最优下界的所有级别的隐私$\varepsilon>0$。我们进一步将这些不等式应用到稀疏Bernoulli模型中,并证明了具有顺序匹配平方$\ell^2$误差的隐私机制和估计。
2020-05-21 cs.IT math.IT math.ST
Entropic versions of Bergström's and Bonnesen's inequalities
该研究构建了熵幂和Fisher信息下的Bergström与Bonnesen不等式类似形式,强化了高维下的Fisher信息卷积不等式与熵幂不等式,还原并推广了原有Bergström不等式的证明,同时刻画了熵Bonnesen不等式的等号条件。
2025-01-17 cs.IT math.FA math.IT
The fractional Fisher information and the central limit theorem for stable laws
提出了一种新的信息论方法来研究稳定律的中心极限定理。主要的新颖性是相对分数Fisher信息的概念,它的股票的经典之一,包括Blachman-Stam型不等式的大部分属性。这些不等式将$n$独立随机变量和的分数Fisher信息与包含随机变量的$n-1$的子集上的和中所包含的信息相关联。由此,得到了稳定律中心极限定理中相对分数Fisher信息单调性的简单证明,并给出了一个显式的衰减率。
2015-04-27 cs.IT math-ph math.IT
New sharp inequalities involving non-relative, relative and cross informational functionals with some remarkable minimizers of generalized Gaussian and Beta types
Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯国王大学);Data, Complex Networks and Cybersecurity Research Institute, Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯国王大学数据、复杂网络与网络安全研究所)
该研究通过特定不等式推导出几个新的尖锐信息不等式,包括连接雷尼熵幂等的类似斯坦姆不等式等,这些不等式均尖锐,类似斯坦姆不等式极小值有时是高斯等概率密度对,类矩不等式极小值是广义贝塔分布概率密度。
2026-07-10 cs.IT math.IT
On the discrete Fisher information
该研究探讨Fisher信息的离散类似物,利用离散Laplacian算子构造得分函数及信息的离散类似物,为离散场景下建立信息论不等式提供自然框架。
2026-10-15 cs.IT math.IT math.PR
Functional inequalities for Boolean entropy
Univ Toulouse, INSA Toulouse, CNRS, IMT, Toulouse, France(图卢兹大学,图卢兹国立理工学院,法国国家科学研究中心,数学研究所)
本文基于布尔熵定义了布尔费舍尔信息,并研究其在布尔中心极限定理中的单调性,同时建立了相关函数不等式及新的Berry-Esseen型界。
2026-02-26 cs.IT math.IT math.OA
A Unifying Variational Perspective on Some Fundamental Information Theoretic Inequalities
本文提出了一种统一的变分方法来证明和推广一些基本的信息论不等式。基本的信息论结果,如最大化的微分熵,最小化的Fisher信息(Cramér-Rao不等式),最坏的加性噪声引理,熵功率不等式(EPI),和极值熵不等式(EEI)被解释为功能性问题,并证明变分的框架内。几个应用程序和可能的扩展所提出的结果进行了简要介绍。
2016-02-04 cs.IT math.IT
On weighted Fisher information matrix properties
本文讨论了Fisher信息矩阵的加权性质,并利用约化权函数讨论了Fisher信息矩阵的不等式和界。特别地,给出了文[6]中建立的Fisher信息不等式的一个推广形式.此外,随着推广的De-Bruijn的身份,我们提供了新的解释的熵功率。
2016-01-29 cs.IT math.IT math.PR
On the philosophy of Cramér-Rao-Bhattacharya Inequalities in Quantum Statistics
对于有限能级量子系统的任意参数态族,我们将Fisher映射空间联系起来,并引入Cramér-Rao-Bhattacharya张量和Fisher信息形式的自然概念。这使我们抽象的Cramér-Rao-Bhattacharya下界的协方差阵的任何有限数量的参数函数的无偏估计。包括一些说明性的例子。在各种模技术假设下,我们的方法可应用于无限能级量子系统以及Borel空间上的古典概率分布的参数族。
2009-07-13 cs.IT math.IT math.PR
Entropic Inequalities and Limit Theorems in Boolean Probability
该研究针对布尔概率领域,证明了布尔费希尔信息的分数Stam不等式、布尔独立随机变量和的熵功率不等式,建立了布尔中心极限定理中Barron熵收敛的类似结论,推导了相关渐近公式并给出尖锐性例子,方法基于柯西变换的Nevanlinna表示。
2026-10-14 cs.IT math.IT math.PR
Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来,但到目前为止,香农熵幂不等式(EPI)是一个例外:EPI的现有信息论证明取决于使用Fisher信息或最小均方误差(MMSE)的微分熵表示,这些信息论证明来自de Bruijn恒等式。在本文中,我们首先提出了一个统一的观点,这些证明,表明他们共享两个基本成分:1)数据处理参数应用于保协方差线性变换; 2)连续高斯扰动的路径上的积分。使用这些成分,我们开发了一个新的和简短的证明EPI通过一个互信息不等式,它取代了Stam和Blachman的Fisher信息不等式(PII)和不等式MMSE郭,Shamai和Verdú在早期的证明。该结果的优点是非常简单,因为它只依赖于互信息的基本属性。这些想法,然后推广到各种扩展版本的EPI:Zamir和Feder的广义EPI的线性变换的随机变量,高野和约翰逊的EPI的因变量,刘和Viswanath的协方差约束EPI,和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
Information-Theoretic Inequalities on Unimodular Lie Groups
在信息论中使用的经典不等式,如de Bruijn、Fisher和Kullback的不等式,是从概率论在欧氏空间中的设置延续到单模李群的设置。这些群包含在左移和右移下不变的积分测度,这意味着即使在非交换的情况下,它们也具有欧几里得空间的许多有用特征。在实际工程中,旋转群和欧几里得运动群是最令人感兴趣的单模李群,适用于这些李群的信息论的发展开辟了研究与不规则或随机投影方向的图像重建、移动机器人的信息收集、卫星姿态控制、细菌趋化性和信息处理有关的问题的潜力。几个定义从欧几里德的情况下,李群,包括费舍尔信息矩阵,和类似的不平等,在经典的信息论推导和陈述的形式,15个小定理。在所有这样的不等式中,随机变量的加法被群积所取代,并且采用了概率密度卷积的适当推广。
2009-06-01 cs.IT math-ph math.IT
Basic inequalities for weighted entropies
加权熵的概念考虑了不同结果的值,即,通过权重函数使熵依赖于上下文。在本文中,我们建立了一些简单的不等式的加权熵(一般以及特定),反映类似的标准(香农)熵和相关量的界限。所需的假设是根据权重函数的各种期望来编写的。例子有涉及正定矩阵行列式的加权Ky Fan不等式和加权Hadamard不等式,以及涉及加权Fisher信息矩阵的加权Cramér-Rao不等式。
2016-01-14 cs.IT math.IT math.PR
Fundamental Inequalities and Identities Involving Mutual and Directed Informations in Closed-Loop Systems
给出了反馈系统中互信息和有向信息的几个新的恒等式和不等式。这种系统的内部块仅限于因果映射,但允许是非线性的,随机的和时变的。此外,所涉及的信号可以任意分布。利用反馈环内外信号间的互信息来约束反馈环内信号间的有向信息。这个基本结果有一个有趣的解释,作为信息流守恒定律。在此基础上,我们得到了一些新的身份和不等式,这使我们能够证明一些现有的信息不平等的限制性较低的假设。最后,我们建立了新的嵌套有向信息之间的关系内的反馈回路。这产生了一个新的和一般的数据处理不等式系统的反馈。
2013-01-28 cs.IT math.IT
Fisher Information and Support Complexity of Gaussian Mixtures
Politecnico di Milano(米兰理工大学);Qualcomm Flarion Technology, Inc.(高通弗拉里昂科技有限公司)
该研究推导了高斯混合模型费希尔信息的多个下界,将其应用于有界高斯均值估计的最不利先验分析,并通过相关恒等式将费希尔信息不等式转化为MMSE和互信息的上界。
2026-10-16 cs.IT math.IT
Entropies, cross-entropies and Rényi divergence: sharp three-term inequalities for probability density functions
Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯大学);Data, Complex Networks and Cybersecurity Research Institute, Universidad Rey Juan Carlos(数据、复杂网络与网络安全研究所,雷乌斯·胡安·卡洛斯大学)
本文推导了概率密度函数的尖锐三项不等式,涉及雷尼熵、散度和交叉熵,并展示了其在信息功能界中的应用。
2026-03-09 cs.IT math.IT
Information Measures, Inequalities and Performance Bounds for Parameter Estimation in Impulsive Noise Environments
最近的研究发现,许多信道都受到加性噪声的影响,这种噪声本质上是脉冲性的,最好用重尾对称α稳定分布来解释。与标准高斯环境相比,处理脉冲噪声环境增加了复杂性:α稳定概率密度函数具有无限二阶矩,并且具有有限二阶矩的随机变量空间的“漂亮”希尔伯特空间结构及其工具和方法都丢失了。在估计理论中,量化估计量性能的经典工具与有限方差变量的假设密切相关。在α稳定的环境中,诸如均方误差和克拉美-拉奥界的表达式因此是有问题的。在这项工作中,我们解决了脉冲噪声环境中的参数估计问题,并开发了适合于α稳定和重尾噪声环境的新工具,这些工具与高斯设置中采用的标准工具相一致,即广义“功率”测量和广义Fisher信息。我们推广已知的信息不等式中常用的高斯背景下:的de Bruijn的身份,数据处理不等式,Fisher信息不等式,等周不等式熵和Cramer-Rao界。此外,我们推导出具有稳定分量的独立和的微分熵的上界。最后,新的“功率”的措施是用来摆脱一些光的加性α-稳定的噪声信道容量的设置,概括了线性平均功率约束的AWGN信道。我们的理论研究结果与数值评估的各种数量和界限,使用开发的{ \em Matlab}软件包。
2016-10-06 cs.IT math.IT
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$,并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明,如果统计模型具有亚高斯得分函数,那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界,并得到了高斯均值估计的紧前常数。然后,我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
Stein's density approach and information inequalities
我们提供了一个新的视角斯坦的所谓的密度方法,通过引入一个新的运营商和特征类,这是有效的一个更广泛的家庭的概率分布的真正的线。我们证明了这个算子的一个初等因式分解性质,并提出了一个新的Stein恒等式,我们用它来推导信息不等式,我们称之为\emph{generalized Fisher information distance}。我们提供了明确的界限上的常数出现在这些不等式的几个重要的情况。我们的结论与我们的结果和已知的结果之间的比较,在高斯的情况下,从而改善了几个已知的不等式文献。
2013-04-04 cs.IT math.IT math.PR
Generalized Entropy Power Inequalities and Monotonicity Properties of Information
本文提出新的Fisher信息与熵功率不等式族,将独立随机变量之和的信息与任意子集和的信息相关联,并据此简洁证明了中心极限定理中信息的单调性。
2007-07-02 cs.IT math.IT math.PR
On multidimensional generalized Cramér-Rao inequalities, uncertainty relations and characterizations of generalized $q$-Gaussian distributions
在目前的工作中,我们展示了如何推广的Cramér-Rao不等式的参数估计,在最近的一篇论文中,可以扩展到多维的情况下,一般规范$\mathbb{R}^{n}$,并在更广泛的范围内。作为特例,我们得到了一个新的多维Cramér-Rao不等式,它是由广义$q$ -Gaussian分布饱和的.我们还给出了另一个相关的Cramér-Rao不等式,对于一般范数,它也被这些分布饱和。最后,我们从这些Cramér-Rao不等式中导出了不确定性关系。这些不确定性关系涉及的时刻计算的护送分布,我们表明,这些关系中的一些是饱和的广义$q$ -高斯分布。这些结果介绍了扩展版本的Fisher信息,新的Cramér-Rao不等式,和新的广义$q$ -高斯分布,这是重要的物理和数学的几个领域的特征。
2013-02-24 cond-mat.stat-mech cs.IT math-ph
Mixing Time of the Proximal Sampler in Relative Fisher Information via Strong Data Processing Inequality
Yale University(耶鲁大学)
本文研究了强对数凹目标分布下 Proximal Sampler 算法的混合时间,通过建立高斯信道的强数据处理不等式,证明了相对 Fisher 信息的指数收敛速率及高精度迭代复杂度保证。
2025-06-28 cs.IT cs.LG math.IT