An Interpretation of the Moore-Penrose Generalized Inverse of a Singular Fisher Information Matrix
证明了在非贝叶斯参数估计问题中,如果Fisher信息矩阵是奇异的,则未知参数的无偏估计不存在。Cramer-Rao界(CRB),一个流行的工具来下界的无偏估计的方差,似乎不适用于这种情况。本文证明了奇异矩阵的Moore-Penrose广义逆可以解释为在所有最小约束函数的选择中方差最小的CRB。这一结果保证了当矩阵奇异时,应用矩阵的Moore-Penrose广义逆作为协方差下界的逻辑正确性.此外,该结果可作为约束函数和无偏估计联合设计的性能界。
2012-08-06 cs.IT math.IT math.ST
Information Lower Bounds for Robust Mean Estimation
本文研究稳健均值估计的误差下界,利用 Fisher 信息及非参数极小化结果,统一给出参数、半参数与非参数情形下的紧下界及小错误概率最优估计量。
2024-03-04 cs.IT math.IT math.ST
A Pessimistic Approximation for the Fisher Information Measure
考虑了信号处理系统内在质量的确定问题,该问题与未知确定性参数$θ$的推断有关。虽然Fisher信息度量$F(θ)$形成了用于这样的问题的经典工具,但是在各种情况下信息度量的直接计算可能变得困难。在非线性测量系统的估计理论性能分析中,似然函数的形式会给信息测度$F(θ)$的计算带来挑战。在没有统计系统模型的封闭形式表达式的情况下,根本不可能进行$F(θ)$的分析推导。基于Cauchy-Schwarz不等式,我们导出了一个替代信息测度$S(θ)$ .它提供了Fisher信息$F(θ)$的下界,并具有用手头系统模型的均值、方差、偏度和峰度进行评估的性质。这些实体通常表现出良好的数学易处理性,或者可以通过校准设置中的真实世界测量以低复杂度确定。通过各种例子,我们表明,$S(θ)$提供了一个很好的保守近似$F(θ)$和概述不同的估计理论问题,所提出的信息界是有用的。
2018-05-27 cs.IT eess.SP math.IT
Fisher Information and Support Complexity of Gaussian Mixtures
Politecnico di Milano(米兰理工大学);Qualcomm Flarion Technology, Inc.(高通弗拉里昂科技有限公司)
该研究推导了高斯混合模型费希尔信息的多个下界,将其应用于有界高斯均值估计的最不利先验分析,并通过相关恒等式将费希尔信息不等式转化为MMSE和互信息的上界。
2026-10-16 cs.IT math.IT
Fisher information distance: a geometrical reading
本文是一个强几何方法的费舍尔距离,这是一个衡量两个概率分布函数之间的相异性。Fisher距离以及其他发散度量也用于许多应用中,以建立适当的数据平均值。主要目的是扩大范围的可能的解释和关系的Fisher距离及其相关的几何的应用前景。它侧重于统计模型的正常概率分布函数,并利用连接与经典的双曲几何推导出封闭形式的Fisher距离在几种情况下。与著名的库尔贝克-莱布勒散度措施的连接也被设计。
2014-01-10 cs.IT math-ph math.IT
Quantum parameter estimation via dispersive measurement in circuit QED
研究了电路量子电动力学中的量子参数估计问题。基于Metropolis Hastings(MH)算法和Markov chain Monte Carlo(MCMC)积分,提出了一种新的由未知参数估计的随机主方程计算Fisher信息的算法。这里,Fisher信息以对数似然函数的形式表示,并进一步由MCMC积分近似。数值结果表明,Fisher信息的单次演化可以逼近量子费舍尔信息.在短时间内的系综演化中也观察到了同样的现象。这些结果证明了该算法的有效性。
2017-10-03 cs.IT math.IT quant-ph
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$,并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明,如果统计模型具有亚高斯得分函数,那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界,并得到了高斯均值估计的紧前常数。然后,我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
An exact computer-assisted lower bound for Fisher-information convexity along the two-dimensional heat flow
The Indian Institute of Science(印度科学学院);Universiti Teknologi Malaysia(马来西亚理工大学)
该研究针对二维热流上Fisher信息的微分不等式,构造精确平方和证书得到其凸性的通用下界,结合傅里叶/高斯包络构造给出尖锐常数的区间估计,初始测度无额外假设。
2026-10-16 cs.IT hep-th math.IT
Fisher information under local differential privacy
我们开发的数据处理不等式,描述如何从统计样本的Fisher信息可以缩放与隐私参数$\varepsilon$下的本地差分隐私约束。这些界限在统计模型分数分布的一般条件下是有效的,并且它们阐明了在哪些条件下对$\varepsilon$的依赖性是线性的、二次的或指数的。我们展示了这些不等式如何暗示了高斯位置模型和离散分布估计的私人估计的最优下界的所有级别的隐私$\varepsilon>0$。我们进一步将这些不等式应用到稀疏Bernoulli模型中,并证明了具有顺序匹配平方$\ell^2$误差的隐私机制和估计。
2020-05-21 cs.IT math.IT math.ST
Schrödinger encounters Fisher and Rao: a survey
在这篇短文中,我们回顾了半正定矩阵值测度的非交换Fisher-Rao空间上的动力学薛定谔问题。该演示文稿是为了是独立的,我们讨论了特别是与高斯最优输运,熵和量子Fisher信息的连接。
2022-01-19 cs.IT math.FA math.IT
Through and beyond moments, entropies and Fisher information measures: new informational functionals and inequalities
本文提出上矩和下Fisher度量两类新信息泛函,推广重要信息不等式并建立最优常数,应用于经典信息乘积的尖锐上界及Hausdorff矩问题。
2025-05-27 cs.IT math-ph math.IT
The Right Complexity Measure in Locally Private Estimation: It is not the Fisher Information
我们确定了基本的权衡统计效用和隐私的本地隐私模型中的数据是保密的,甚至从统计学家,私人估计和学习问题的发展\emph{local minimax risk}提供特定的实例边界。与基于最坏情况(极大极小)误差的方法相比,这是保守的,这使我们能够评估个别问题实例的难度,并描述在私人估计和推理中适应的可能性。我们的主要研究结果表明,局部模的连续性的估计相对于变化距离-而不是中央的海林格距离经典统计-表征收敛速度下的许多概念的隐私,包括差分隐私和放松的局部私人估计。作为这些结果的后果,我们确定了一种替代私人估计的Fisher信息,给出了一个更细致入微的理解的挑战,自适应性和最优性。
2020-09-29 cs.IT math.IT math.ST
Statistical Complexity and Fisher-Shannon Information. Applications
本章介绍了复杂性的统计度量和Fisher-Shannon信息积,并讨论了它们的性质。这些措施是基于香农信息之间的相互作用,或它的一个功能,和一个系统的可访问状态的集合从等概率分布的分离,即不平衡或费舍尔信息,分别。在离散和连续系统中的不同应用。其中一些与量子系统有关,从原型系统如H原子,谐振子和方阱到其他系统如He类离子,胡克原子或只是周期表。在所有这些,这些统计指标显示出一个有趣的行为,能够辨别和突出这些系统的一些构象特性。
2012-01-12 cs.IT math.IT nlin.CD
Ensuring Privacy with Constrained Additive Noise by Minimizing Fisher Information
University of Melbourne(墨尔本大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文研究了在受限加性噪声下如何响应线性或非线性查询以保护数据库中个体条目的隐私,通过最小化Fisher信息矩阵的迹来提升隐私保护,并与差分隐私方法进行比较。
2018-08-28 cs.IT cs.SY eess.SY