Fisher-type information involving higher order derivatives
该研究探讨含高阶导数的Fisher型信息的基本性质,并用其分析概率密度性质、推导Stam型不等式,为相关信息论与概率研究提供理论支撑。
2024-12-13 cs.IT math.IT
Extended inequalities for weighted Renyi entropy involving generalized Gaussian densities
本文对加权Renyi熵进行了分析,导出了加权情形下的几个不等式。利用所提出的$α$阶广义导子和($α$ ; p)阶加权Fisher信息,给出了矩熵、Fisher信息和Cramer-Rao不等式在广义高斯密度下的推广形式.
2015-10-15 cs.IT math.IT math.PR
Hermite-Fisher bounds and stability for min-entropy power inequalities
University of Crete(克里特大学);Carnegie Mellon University(卡内基梅隆大学)
本文结合变分原理与正交化 Hermite 多项式,推导相对 Fisher 信息的显式下界,并建立所有维度最小熵幂不等式的定量稳定性结果。
2026-09-21 cs.IT math.FA math.IT
On a (β,q)-generalized Fisher information and inequalities involving q-Gaussian distributions
在本文中,我们想提请注意一个可能的广义Fisher信息,适合在非广延热统计的形式主义。这种广义Fisher信息被定义为$\mathbb{R}^{n}.$上的密度。正如最大Rényi或Tsallis熵服从椭圆矩约束是广义q-高斯,我们证明了广义Fisher信息的最小化也导致广义q-高斯。这就产生了一个广义的Cramér-Rao不等式。此外,我们表明,广义Fisher信息自然弹出一个简单的不等式,连接广义熵,广义Fisher信息和椭圆矩。最后,给出了一个推广的Stam不等式.在这一系列结果中,极值函数是广义q-高斯函数。因此,这些结果补充了经典的广义q-高斯的特征,并引入了广义Fisher信息作为一种新的信息测度在非广延热统计。
2013-01-17 cond-mat.stat-mech cs.IT math-ph
Dual Loomis-Whitney inequalities via information theory
我们建立了一个几何体的体积和表面积的下界,使用其沿不同方向的切片的大小。本文第一部分利用熵的广义次可加性性质结合对数凹随机变量的熵界得到了凸体的体积界。在第二部分中,我们研究了Fisher信息的一个新概念,我们称之为$L_1$ -Fisher信息,并证明了$L_1$ -Fisher信息的某些超加性性质导致了多凸集的表面积的下界。
2019-01-21 cs.IT math.IT math.PR
Through and beyond moments, entropies and Fisher information measures: new informational functionals and inequalities
本文提出上矩和下Fisher度量两类新信息泛函,推广重要信息不等式并建立最优常数,应用于经典信息乘积的尖锐上界及Hausdorff矩问题。
2025-05-27 cs.IT math-ph math.IT
Reweighted information inequalities
Courant Institute School, New York University(纽约大学柯朗数学科学研究所)
本文建立了一种混合分布的log-Sobolev和传输-信息不等式变体,通过重新加权解释了非log-凹测度的Fisher信息界,并解释了Langevin蒙特卡洛方法在多模分布分析中的现象。
2026-03-13 cs.IT math.IT math.PR
Fisher information under local differential privacy
我们开发的数据处理不等式,描述如何从统计样本的Fisher信息可以缩放与隐私参数$\varepsilon$下的本地差分隐私约束。这些界限在统计模型分数分布的一般条件下是有效的,并且它们阐明了在哪些条件下对$\varepsilon$的依赖性是线性的、二次的或指数的。我们展示了这些不等式如何暗示了高斯位置模型和离散分布估计的私人估计的最优下界的所有级别的隐私$\varepsilon>0$。我们进一步将这些不等式应用到稀疏Bernoulli模型中,并证明了具有顺序匹配平方$\ell^2$误差的隐私机制和估计。
2020-05-21 cs.IT math.IT math.ST
Entropic versions of Bergström's and Bonnesen's inequalities
该研究构建了熵幂和Fisher信息下的Bergström与Bonnesen不等式类似形式,强化了高维下的Fisher信息卷积不等式与熵幂不等式,还原并推广了原有Bergström不等式的证明,同时刻画了熵Bonnesen不等式的等号条件。
2025-01-17 cs.IT math.FA math.IT
The fractional Fisher information and the central limit theorem for stable laws
提出了一种新的信息论方法来研究稳定律的中心极限定理。主要的新颖性是相对分数Fisher信息的概念,它的股票的经典之一,包括Blachman-Stam型不等式的大部分属性。这些不等式将$n$独立随机变量和的分数Fisher信息与包含随机变量的$n-1$的子集上的和中所包含的信息相关联。由此,得到了稳定律中心极限定理中相对分数Fisher信息单调性的简单证明,并给出了一个显式的衰减率。
2015-04-27 cs.IT math-ph math.IT
On the discrete Fisher information
该研究探讨Fisher信息的离散类似物,利用离散Laplacian算子构造得分函数及信息的离散类似物,为离散场景下建立信息论不等式提供自然框架。
2026-10-15 cs.IT math.IT math.PR
Functional inequalities for Boolean entropy
Univ Toulouse, INSA Toulouse, CNRS, IMT, Toulouse, France(图卢兹大学,图卢兹国立理工学院,法国国家科学研究中心,数学研究所)
本文基于布尔熵定义了布尔费舍尔信息,并研究其在布尔中心极限定理中的单调性,同时建立了相关函数不等式及新的Berry-Esseen型界。
2026-02-26 cs.IT math.IT math.OA
A Unifying Variational Perspective on Some Fundamental Information Theoretic Inequalities
本文提出了一种统一的变分方法来证明和推广一些基本的信息论不等式。基本的信息论结果,如最大化的微分熵,最小化的Fisher信息(Cramér-Rao不等式),最坏的加性噪声引理,熵功率不等式(EPI),和极值熵不等式(EEI)被解释为功能性问题,并证明变分的框架内。几个应用程序和可能的扩展所提出的结果进行了简要介绍。
2016-02-04 cs.IT math.IT
On weighted Fisher information matrix properties
本文讨论了Fisher信息矩阵的加权性质,并利用约化权函数讨论了Fisher信息矩阵的不等式和界。特别地,给出了文[6]中建立的Fisher信息不等式的一个推广形式.此外,随着推广的De-Bruijn的身份,我们提供了新的解释的熵功率。
2016-01-29 cs.IT math.IT math.PR
On the philosophy of Cramér-Rao-Bhattacharya Inequalities in Quantum Statistics
对于有限能级量子系统的任意参数态族,我们将Fisher映射空间联系起来,并引入Cramér-Rao-Bhattacharya张量和Fisher信息形式的自然概念。这使我们抽象的Cramér-Rao-Bhattacharya下界的协方差阵的任何有限数量的参数函数的无偏估计。包括一些说明性的例子。在各种模技术假设下,我们的方法可应用于无限能级量子系统以及Borel空间上的古典概率分布的参数族。
2009-07-13 cs.IT math.IT math.PR
Entropic Inequalities and Limit Theorems in Boolean Probability
该研究针对布尔概率领域,证明了布尔费希尔信息的分数Stam不等式、布尔独立随机变量和的熵功率不等式,建立了布尔中心极限定理中Barron熵收敛的类似结论,推导了相关渐近公式并给出尖锐性例子,方法基于柯西变换的Nevanlinna表示。
2026-10-14 cs.IT math.IT math.PR
Information Theoretic Proofs of Entropy Power Inequalities
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来,但到目前为止,香农熵幂不等式(EPI)是一个例外:EPI的现有信息论证明取决于使用Fisher信息或最小均方误差(MMSE)的微分熵表示,这些信息论证明来自de Bruijn恒等式。在本文中,我们首先提出了一个统一的观点,这些证明,表明他们共享两个基本成分:1)数据处理参数应用于保协方差线性变换; 2)连续高斯扰动的路径上的积分。使用这些成分,我们开发了一个新的和简短的证明EPI通过一个互信息不等式,它取代了Stam和Blachman的Fisher信息不等式(PII)和不等式MMSE郭,Shamai和Verdú在早期的证明。该结果的优点是非常简单,因为它只依赖于互信息的基本属性。这些想法,然后推广到各种扩展版本的EPI:Zamir和Feder的广义EPI的线性变换的随机变量,高野和约翰逊的EPI的因变量,刘和Viswanath的协方差约束EPI,和科斯塔的熵功率的ESTA不等式。
2010-08-24 cs.IT math.IT
Information-Theoretic Inequalities on Unimodular Lie Groups
在信息论中使用的经典不等式,如de Bruijn、Fisher和Kullback的不等式,是从概率论在欧氏空间中的设置延续到单模李群的设置。这些群包含在左移和右移下不变的积分测度,这意味着即使在非交换的情况下,它们也具有欧几里得空间的许多有用特征。在实际工程中,旋转群和欧几里得运动群是最令人感兴趣的单模李群,适用于这些李群的信息论的发展开辟了研究与不规则或随机投影方向的图像重建、移动机器人的信息收集、卫星姿态控制、细菌趋化性和信息处理有关的问题的潜力。几个定义从欧几里德的情况下,李群,包括费舍尔信息矩阵,和类似的不平等,在经典的信息论推导和陈述的形式,15个小定理。在所有这样的不等式中,随机变量的加法被群积所取代,并且采用了概率密度卷积的适当推广。
2009-06-01 cs.IT math-ph math.IT
Fisher Information and Support Complexity of Gaussian Mixtures
Politecnico di Milano(米兰理工大学);Qualcomm Flarion Technology, Inc.(高通弗拉里昂科技有限公司)
该研究推导了高斯混合模型费希尔信息的多个下界,将其应用于有界高斯均值估计的最不利先验分析,并通过相关恒等式将费希尔信息不等式转化为MMSE和互信息的上界。
2026-10-16 cs.IT math.IT
The Gaussian data assumption does not always lead to the largest Cramér-Rao bound
本文指出高斯分布并不总能产生最大的CRB,仅在特定条件下成立,如FIM中均值和协方差参数解耦且无噪声参数时。非高斯分布可能产生更大的CRB。
2026-11-17 cs.IT eess.SP
Information Measures, Inequalities and Performance Bounds for Parameter Estimation in Impulsive Noise Environments
最近的研究发现,许多信道都受到加性噪声的影响,这种噪声本质上是脉冲性的,最好用重尾对称α稳定分布来解释。与标准高斯环境相比,处理脉冲噪声环境增加了复杂性:α稳定概率密度函数具有无限二阶矩,并且具有有限二阶矩的随机变量空间的“漂亮”希尔伯特空间结构及其工具和方法都丢失了。在估计理论中,量化估计量性能的经典工具与有限方差变量的假设密切相关。在α稳定的环境中,诸如均方误差和克拉美-拉奥界的表达式因此是有问题的。在这项工作中,我们解决了脉冲噪声环境中的参数估计问题,并开发了适合于α稳定和重尾噪声环境的新工具,这些工具与高斯设置中采用的标准工具相一致,即广义“功率”测量和广义Fisher信息。我们推广已知的信息不等式中常用的高斯背景下:的de Bruijn的身份,数据处理不等式,Fisher信息不等式,等周不等式熵和Cramer-Rao界。此外,我们推导出具有稳定分量的独立和的微分熵的上界。最后,新的“功率”的措施是用来摆脱一些光的加性α-稳定的噪声信道容量的设置,概括了线性平均功率约束的AWGN信道。我们的理论研究结果与数值评估的各种数量和界限,使用开发的{ \em Matlab}软件包。
2016-10-06 cs.IT math.IT
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$,并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明,如果统计模型具有亚高斯得分函数,那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界,并得到了高斯均值估计的紧前常数。然后,我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
Stein's density approach and information inequalities
我们提供了一个新的视角斯坦的所谓的密度方法,通过引入一个新的运营商和特征类,这是有效的一个更广泛的家庭的概率分布的真正的线。我们证明了这个算子的一个初等因式分解性质,并提出了一个新的Stein恒等式,我们用它来推导信息不等式,我们称之为\emph{generalized Fisher information distance}。我们提供了明确的界限上的常数出现在这些不等式的几个重要的情况。我们的结论与我们的结果和已知的结果之间的比较,在高斯的情况下,从而改善了几个已知的不等式文献。
2013-04-04 cs.IT math.IT math.PR
Learning What Matters: Adaptive Information-Theoretic Objectives for Robot Exploration
Luddy School of Informatics, Computing, and Engineering(信息学、计算与工程学院)
本文提出Quasi-Optimal Experimental Design方法,通过Fisher信息矩阵分析和参数方向选择,提升机器人探索效率,实验证明在导航和操作任务中性能提升显著。
2026-05-12 cs.AI cs.IT cs.LG
Generalized Entropy Power Inequalities and Monotonicity Properties of Information
本文提出新的Fisher信息与熵功率不等式族,将独立随机变量之和的信息与任意子集和的信息相关联,并据此简洁证明了中心极限定理中信息的单调性。
2007-07-02 cs.IT math.IT math.PR
Mixing Time of the Proximal Sampler in Relative Fisher Information via Strong Data Processing Inequality
Yale University(耶鲁大学)
本文研究了强对数凹目标分布下 Proximal Sampler 算法的混合时间,通过建立高斯信道的强数据处理不等式,证明了相对 Fisher 信息的指数收敛速率及高精度迭代复杂度保证。
2025-06-28 cs.IT cs.LG math.IT
Finite-Temperature de Bruijn Identities: Fisher Information as the Spectral Gap of Blahut--Arimoto Dynamics
本文通过 Blahut-Arimoto 动力学的谱理论,发现 Fisher 信息与谱隙的关系,推导出有限温度 de Bruijn 恒等式,将经典恒等式推广到有限温度情形。
2026-06-02 cs.IT math.IT
Certain Relations between Mutual Information and Fidelity of Statistical Estimation
我提出了几个新的互信息(MI)和统计估计误差的系统,可以被视为同时作为一个通信信道和输入参数的估计之间的关系。我首先推导出MI和费舍尔信息(FI)之间的二阶结果,该结果对于足够窄的先验信息是有效的,但任意通道。第二个关系式根据来自信道输出的输入参数的贝叶斯估计的最小均方误差(MMSE)来描述MI的下限,这对于任意信道和先验都是有效的。这样一个下界的存在,而扩展以前的工作有关MI FI是有效的,只有在渐近和高信噪比的限制,进一步阐明了信息和估计理论的保真度措施之间的基本联系。其余的关系,我目前的不平等和MI,FI之间的对应关系,和MMSE在滋扰参数的存在。
2010-10-07 cs.IT math.IT stat.AP
Limits on classical communication from quantum entropy power inequalities
几乎所有的现代通信系统都依赖于电磁场作为信息传输的手段,并且发现这些系统的容量是具有重要实际意义的问题。加性高斯白噪声(AWGN)信道通常是这类系统的一个很好的近似描述,其容量由一个简单的公式给出。然而,当量子效应很重要时,估计容量变得困难:已知下限,但缺少类似的上限。我们提出了强大的新的量子加性噪声信道的经典容量的上限,包括量子类似物的AWGN信道。我们的主要技术工具是量子熵功率不等式,它控制两个量子信号在分束器处结合时的熵产生。它的证明涉及到熵产生率和量子费舍尔信息之间的新联系,并使用量子扩散将任意状态平滑到高斯。
2012-05-22 cs.IT math-ph math.IT
Limits on Parameter Estimation of Quantum Channels
本论文的目的是建立一个理论框架来研究量子信道的参数估计。我们研究的任务,估计未知参数编码在一个通道中的顺序设置。顺序策略是多次使用通道的最常用方法。我们的目标是建立估计误差的下界(称为Cramer-Rao界)。我们开发的边界是普遍适用的;即,它们适用于所有允许的量子动力学。我们考虑使用催化剂,以提高功率的信道估计策略。这被称为摊销。用于参数估计的信道功率由其Fisher信息确定。因此,我们研究了催化剂量子态可以通过定义摊销的Fisher信息来增强信道的Fisher信息。我们建立我们的界限证明,对于某些Fisher信息量,催化剂状态不提高性能的顺序估计协议相比,并行的。专业术语称之为摊销崩溃。我们使用它来建立边界时,估计一个参数,或同时多个参数。我们的边界普遍适用,我们也把它们作为优化问题。对于单参数情形,我们利用对称对数导数(SLD)Fisher信息和右对数导数(RLD)Fisher信息建立了一般量子信道的界。同时估计多个参数的任务比单参数情况更复杂,因为Cramer-Rao界采用矩阵不等式的形式。我们建立了一个标量Cramer-Rao界的多参数信道估计使用RLD Fisher信息。对于单参数和多参数估计,我们提供了一个不去的条件,所谓的海森堡标度使用我们的RLD为基础的界限。
2022-01-05 cs.IT math-ph math.IT