Fisher information and the central limit theorem
本文建立了独立同分布和的相对Fisher信息距离到正态分布类的Edgester-type展开式。满足矩条件的随机变量。利用卷积中Fisher信息的性质研究了中心极限定理的有效性。
2012-04-30 math.PR math.ST stat.TH
Rates of Fisher information convergence in the central limit theorem for nonlinear statistics
提出一种新方法，通过构造得分函数的新表示，定量估计非线性统计量中心极限定理中的Fisher信息距离，并给出二次型等显式收敛速率，且无需Poincaré常数有限。
2024-09-20 math.PR math.ST stat.TH
Fisher Information inequalities and the Central Limit Theorem
给出了中心极限定理中Fisher信息和相对熵收敛速率为O（1/n）的条件.我们使用L2空间中的投影理论和庞加莱不等式，以更好地理解Barron和Brown的结果所隐含的Fisher信息的减少。我们表明，如果标准化的Fisher信息变得有限，那么它收敛到零。
2003-07-04 math.PR math.ST stat.TH
Bootstrap test procedure for variance components in nonlinear mixed effects models in the presence of nuisance parameters and a singular Fisher Information Matrix
针对非线性混合效应模型中方差分量检验的边界和Fisher信息矩阵奇异问题，提出收缩参数Bootstrap程序，该程序一致且易于应用，模拟显示小样本性能优于渐近方法且更稳健。
2024-05-24 stat.ME
Fisher information and asymptotic normality in system identification for quantum Markov chains
本文讨论了混合量子马尔可夫链的耦合常数$θ$的估计问题。对于链的输出的重复测量，我们证明了结果的时间平均具有渐近正态（高斯）分布，并给出了其均值和方差的显式表达式。特别是，我们得到一个简单的估计$θ$的经典Fisher信息可以优化不同的选择测量的观测值。然后，我们表明，量子态的输出与系统一起，本身是渐近高斯和计算其量子费舍尔信息，它设置了一个绝对界的估计误差。在一个简单的例子中比较了经典和量子Fisher信息。在$θ=0$附近，我们发现量子费舍尔信息的输出大小是二次的而不是线性的，并且Fisher信息渐近地局域在系统中，而输出与参数无关.
2011-06-22 math.ST quant-ph stat.TH
Quantiled conditional variance, skewness, and kurtosis by Cornish-Fisher expansion
本文提出基于 Cornish-Fisher 展开和条件分位数回归的 QCM 方法，同时估计条件方差、偏度与峰度，兼具 n^{-1/2} 一致性，并在模拟与汇率应用中验证有效。
2023-06-06 econ.EM stat.ME
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$，并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明，如果统计模型具有亚高斯得分函数，那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界，并得到了高斯均值估计的紧前常数。然后，我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
Fisher Efficient Inference of Intractable Models
University of Bristol（布里斯托大学）；The Alan Turing Institute（艾伦·图灵研究所）；Tokyo Institute of Technology（东京工业大学）；RIKEN（理化学研究所）
极大似然估计具有许多优良的性质。例如，极大似然估计解的渐近方差满足渐近Cram{é}r-Rao下界（效率界），这是一个无偏估计量的最小可能方差。然而，获得这样的MLE解需要计算似然函数，由于密度模型的归一化项，该似然函数可能不容易处理。本文从库尔贝克-莱布勒散度最小化准则出发，通过密度比估计和Stein算子，导出了判别似然估计（DLE）.研究了利用DLE进行模型推理的问题。我们证明了它的一致性，并证明了在较弱的正则条件下，它的解的渐近方差可以达到与有效界相等的效果。我们还提出了一个双重制定的DLE，可以很容易地优化。数值研究验证了我们的渐近定理，我们给出了一个例子，其中DLE成功地估计了使用预训练的深度神经网络构建的棘手模型。
2019-11-01 cs.LG stat.ML
Fisher transformation based Confidence Intervals of Correlations in Fixed- and Random-Effects Meta-Analysis
相关系数的元分析是整合许多横向和纵向研究设计结果的重要技术。汇总估计值中的不确定性通常在置信区间的帮助下进行评估，该置信区间可以作为关于潜在相关性的双侧假设的假设检验。构建主效应的置信区间的标准方法是Hedges-Olkin-Vevea Fisher-z（HOVz）方法，该方法基于Fisher-z变换。然而，既往研究的结果（Field，2005; Hafdahl和Williams，2009）表明，在随机效应模型中，HOVz置信区间的性能可能不令人满意。为此，我们提出了改进的HOVz方法，这是基于增强方差估计的主效应估计。为了研究固定效应和随机效应荟萃分析模型中新置信区间的覆盖范围，我们进行了广泛的模拟研究，并将其与已建立的方法进行比较。数据是通过截尾正态和β分布模型生成的。结果表明，我们新提出的置信区间基于Knapp-Hartung型方差估计量或稳健异方差一致三明治估计量结合积分z-to-r变换（Hafdahl，2009），在大多数情况下，特别是在更合适的β分布模拟模型中，提供了比现有方法更准确的覆盖率。
2020-09-03 stat.ME
Generalized Estimators, Slope, Efficiency, and Fisher Information Bounds
点估计量可能不存在，不需要是唯一的，并且它们的分布不是参数不变的。广义估计量提供的分布是参数不变的，唯一的，并存在时，点估计不存在。当估计量有偏时，使用方差比较点估计量不太有用。定义了平方斜率$Λ$，它可用于比较点估计量和广义估计量，并且不受偏倚的影响。Fisher信息$I$和方差是根本不同的量：后者定义在一个不需要属于一个族的分布上，而前者不能在没有分布族$M$的情况下定义。Fisher信息和$Λ$是相似的量，因为两者都是在切丛$T\!M$上定义的，$I$提供了一个上界$Λ\le I$，适用于所有样本量-不需要渐近性。使用$Λ$而不是方差比较估计量支持Fisher的主张，即即使在小样本中，$I$也提供了一个界限。$Λ$ -效率的定义，扩展了基于方差的无偏估计的效率。虽然由斜率定义，但$Λ$ -效率只是$ρ^{2}$，即估计量与评分函数之间相关性的平方。
2022-11-03 math.ST stat.TH
Non-parametric estimation of Fisher information from real data
费舍尔信息矩阵是一种广泛使用的测量方法，其应用范围从统计推断、信息几何、实验设计到生物系统中临界性的研究。然而，没有普遍接受的非参数算法来估计它从实际数据。在这个快速的沟通，我们展示了如何准确地估计费舍尔信息的非参数的方式。我们还开发了一个数值程序，以尽量减少误差，通过选择的有限差分格式计算的衍生物的定义中的费舍尔信息的间隔。我们的方法使用最近发表的“密度估计使用场论”算法来计算连续密度的概率密度函数。我们使用正态分布的费舍尔信息来验证我们的方法，并作为一个例子，我们计算了二维伊辛模型中的费舍尔信息矩阵的温度分量，并表明它服从预期的热容关系，因此在正确的临界温度相变峰值。
2015-07-07 physics.comp-ph stat.CO
A randomization-based perspective of analysis of variance: a test statistic robust to treatment effect heterogeneity
在有限总体环境中考虑了Neyman原假设（无平均治疗效应）的Fisher随机化检验，该环境与两种以上治疗的完全随机化实验相关。从理论和计算两方面对使用$F$统计量进行此类检验的后果进行了检查，并认为在治疗效应异质性下，在Fisher随机化检验中使用$F$统计量可能会严重增加内曼原假设下的I型错误。提出了一种替代的检验统计量，导出了它在Fisher和Neyman原假设下的渐近分布，并证明了它的优点。
2017-07-24 math.ST stat.ME stat.TH
Revisiting the Behrens-Fisher Problem: Validity-First Optimality
Purdue University（普渡大学）
本文通过推断模型框架重新审视 Behrens-Fisher 问题，提出一种圆柱形二维预测随机集，并证明在保持精确有限样本有效性的无先验方法中，该区间估计最短。
2026-06-05 math.ST stat.TH
A unified approach to the Behrens-Fisher problem
Fariborz Maseeh Department of Mathematics and Statistics, Portland State University（波特兰州立大学法里博兹·马西赫数学与统计学系）
本文提出统一框架研究两样本贝赫伦-费希尔问题，推导出经典检验统计量的零分布表达式，通过梅林-巴恩斯因子分解将二维积分转化为单轮廓积分，揭示超几何结构的形成及尾部分析方法。
2026-04-18 math.ST stat.TH
Non singularity of the asymptotic Fisher information matrix in hidden Markov models
本文考虑了隐状态空间不一定有限的参数隐马尔可夫模型。给出了极限Fisher信息矩阵可逆的一个充要条件。
2005-11-25 math.ST stat.TH
Fisher Information Matrix of General Stable Distributions Close to the Normal Distribution
研究了一般稳定分布的Fisher信息矩阵的性质。DuMouchel（1975，1983）证明了特征指数α的Fisher信息在α接近2时趋于无穷大。Nagaev和Shkol'nik（1988）做了更详细的分析，并导出了对称情形下当α接近2时，α发散到无穷大的Fisher信息矩阵的渐近行为。本文推广了他们的工作，通过详细研究一般稳定分布的密度及其得分函数的性质，得到了当α趋于2时，其Fisher信息矩阵的性质。阐明了4 × 4 Fisher信息矩阵关于位置μ、尺度σ、特征指数α和偏度参数β的极限值。
2005-02-26 math.ST stat.TH
On the loss of Fisher information in some multi-object tracking observation models
即使在感兴趣的概率分布相对于基础空间上的自然参考测量不是绝对连续的情况下，Fisher信息的概念也是有用的。在多目标跟踪统计模型的背景下提供了这种扩展是有用的实际例子。在不引入参考测度的情况下定义Fisher信息后，我们提供了一些广泛使用的多目标跟踪观测模型中Fisher信息丢失的非常简洁的证明。
2018-03-26 math.ST stat.TH
The Bezoutian and Fisher's information matrix of an ARMA process
本文给出了Bezout矩阵的一些性质，并将平稳ARMA过程的Fisher信息矩阵与Bezout矩阵联系起来。通过在状态空间中实现白噪声过程关于参数的导数来解释一些性质。的Fisher信息矩阵的因式分解的产品中的因素，涉及相关的AR和MA多项式的Bezout矩阵的推导。通过这种分解，我们可以刻画Fisher信息矩阵的奇异性。
2005-05-11 math.ST stat.TH
Fisher information matrix of binary time series
分析分类相关时间序列数据的常用方法是以过去数据作为协变量输入来拟合广义线性模型（GLM）。对短时间序列长度进行推断仍然存在挑战。通过将历史数据视为协变量输入，使用经验Fisher信息计算的GLM参数估计值的标准误差不能充分考虑数据中的自相关性。为了克服这一严重的限制，我们推导出精确的条件Fisher信息矩阵的一般logistic自回归模型的内生协变量的任何系列长度$T$。此外，我们还开发了一个迭代计算公式，允许相对容易地实现所提出的估计。我们的模拟研究表明，置信区间使用精确的Fisher信息矩阵往往比那些利用经验Fisher信息矩阵窄，同时保持I型差错率在或低于标称水平。此外，我们建立了确切的Fisher信息矩阵的方法，T趋于无穷大，渐近Fisher信息矩阵先前推导出的二值时间序列数据。开发的精确条件Fisher信息矩阵应用于一个队列的准妈妈呼吸率的时间序列数据，发现它提供更窄的置信区间的科学利益的功能，并导致更大的统计功率相比，经验Fisher信息矩阵。
2018-10-21 math.ST stat.TH
A Laplace equation approach to the Behrens--Fisher problem
Fariborz Maseeh Department of Mathematics and Statistics, Portland State University（波特兰州立大学法里博尔兹·马西赫数学与统计学系）
针对两独立正态样本方差未知且不等的情况，提出偏微分方程公式，通过正交分解和球面楔概率将分布问题转化为拉普拉斯-狄利克雷边值问题，导出累积分布函数和概率密度的精确有限样本表示，并得到尾部分布展开。
2026-06-19 math.ST stat.TH
Ultimate limit on learning non-Markovian behavior: Fisher information rate and excess information
Beyond Institute for Theoretical Science（超越理论科学研究所）
该研究推导了从时间序列学习随机过程参数的基本极限，给出非马尔可夫过程下Fisher信息率的闭式解及模型方差下界，揭示信息率收敛的弛豫时间尺度与熵率的一致性。
2023-10-06 cs.LG math.ST physics.data-an
An Interpretation of the Moore-Penrose Generalized Inverse of a Singular Fisher Information Matrix
证明了在非贝叶斯参数估计问题中，如果Fisher信息矩阵是奇异的，则未知参数的无偏估计不存在。Cramer-Rao界（CRB），一个流行的工具来下界的无偏估计的方差，似乎不适用于这种情况。本文证明了奇异矩阵的Moore-Penrose广义逆可以解释为在所有最小约束函数的选择中方差最小的CRB。这一结果保证了当矩阵奇异时，应用矩阵的Moore-Penrose广义逆作为协方差下界的逻辑正确性.此外，该结果可作为约束函数和无偏估计联合设计的性能界。
2012-08-06 cs.IT math.IT math.ST
Properties of using Fisher information gain for Bayesian design of experiments
贝叶斯决策理论的方法设计的实验涉及指定一个设计（所有可控变量的值），以最大限度地提高预期的效用函数（预期的响应和参数的分布）。对于大多数常见的效用函数，期望效用很少以封闭形式可用，并且需要计算上昂贵的近似，然后需要在所有可能的设计的空间上最大化。这阻碍了贝叶斯方法在实际应用中找到试验设计。然而，最近，一个新的实用程序称为费舍尔信息增益已被提出。由此产生的预期Fisher信息增益降低到Fisher信息矩阵的迹的先验期望。由于Fisher信息通常以封闭形式提供，这显著简化了最优设计的近似和随后的识别。在本文中，它表明，指数族模型，最大化的预期Fisher信息增益是等价于最大化的一个替代的目标函数在降维空间，简化甚至进一步识别的最优设计。然而，如果该函数没有足够的全局最大值，则使预期Fisher信息增益最大化的设计会导致不可识别性。
2021-09-23 math.ST stat.TH
Contribution to the theory of Pitman estimators
本文证明了由总体F（x-θ）的固定大小样本构造θ的Pitman估计（最小方差同变估计）的方差的新的不等式。这些不等式与经典的Fisher信息的Stam不等式密切相关，它在小样本中的模拟，以及一个强大的方差下降不等式。唯一需要的条件是F的有限方差;甚至不假设F的绝对连续性。作为小样本的主要不等式的推论，人们获得了Fisher信息的已知性质的替代证明，以及有趣的新观察结果，例如基于大小为n的样本的Pitman估计量的方差在n中单调减少。推广的结果多项式版本的Pitman估计和多元位置参数。此外，搜索的不等式之一的等式条件的表征导致柯西型函数方程的独立随机变量，和一个有趣的新的行为，其解决方案进行了说明。
2013-02-13 math.ST stat.TH
Pearson information-based lower bound on Fisher information
Fisher信息矩阵在参数推断和系统设计问题的分析中起着重要的作用。然而，在许多情况下，统计数据分布及其相关的信息矩阵要么是未知的，要么是难以处理的。因此，我们有兴趣在这个问题上发展有用的下界。在本课程讲稿中，我们将根据力矩约束推导出这样一个界。我们称之为皮尔逊信息矩阵（PIM），并将其与错误指定的数据分布的属性。最后，我们证明了逆PIM与最优加权广义矩量法的渐近协方差阵一致。
2016-11-23 math.ST stat.TH
One-parameter generalised Fisher information matrix: One random variable
对于单随机变量的情形，我们提出了广义Fisher信息或Fisher信息的单参数扩展类。这种新形式的Fisher信息是从标准Fisher信息和变分原理之间的有趣联系以及拉格朗日量的非唯一性得到的。还导出了推广的Cramér-Rao不等式。有趣的是，除了标准的Fisher信息之外，整个Fisher信息层次结构都不遵循可加性规则。从两参数Kullback-Leibler散度出发，得到了完整的Fisher信息序列。此外，对于单随机变量但参数多估计的情况，该思想可直接推广到单参数广义Fisher信息矩阵的求法。给出了Fisher信息矩阵的层次结构。通过正态分布研究了层次中前两个矩阵的几何意义。有趣的一点是，这前两个Fisher矩阵在正态分布的同一统计流形上给出了不同的曲率性质。
2022-08-24 math-ph math.MP math.ST
Necessary and Sufficient Condition for Nonsingular Fisher Information Matrix in ARMA Models
证明了ARMA模型的费舍尔信息矩阵非奇异的充要条件是模型不冗余，即自回归多项式和滑动平均多项式不具有公共根.
2016-11-04 math.ST stat.AP stat.TH
A note on insufficiency and the preservation of Fisher information
Kagan and Shepp（2005，Amer. Statistist.）提出了一个优雅的混合模型的例子，其中不充分的统计保留费舍尔信息。本文利用二次平均值中可微性的规律性，为他们观察到的现象提供了另一种解释。一些连接与Le Cam的理论收敛的实验注意到。
2012-04-20 math.PR math.ST stat.TH
Finite-Sample Symmetric Mean Estimation with Fisher Information Rate
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文针对对称均值估计问题，给出了基于Fisher信息的有限样本保证，证明在样本量 $n > \log \frac{1}δ$ 时，可实现接近方差为 $\frac{1}{n \mathcal I_r}$ 的次高斯收敛，其性能基本匹配已知分布设定下的有限样本保证。
2023-06-28 cs.IT cs.LG math.IT
Inequalities for quantum Fisher information
2003年，Luo证明了Wigner-Yanase信息与$SLD$ -信息之间的一个不等式.本文证明了Luo不等式是一个一般不等式的特殊情况，该不等式对任何正则量子费舍尔信息都成立。此外，我们表明，这个一般的不等式是一个后果的Kubo-Ando不等式，指出任何矩阵的平均值大于调和平均值，小于算术平均值。
2007-02-16 math-ph math.MP math.ST
Cramér-Rao-type Bound and Stam's Inequality for Discrete Random Variables
连续随机变量的方差和熵功率分别通过Cramér-Rao界和Stam不等式由Fisher信息的倒数下界。本文引入了离散随机变量的Fisher信息，导出了离散随机变量的Cramér-Rao型界和离散Stam不等式.
2019-05-19 cs.IT math.IT math.PR
Probability Density Functions from the Fisher Information Metric
我们展示了空间不相交的概率密度函数的乘积与其Fisher信息度量张量之和之间的一般关系。然后，我们利用这一结果给出了一种方法来构造概率密度函数的任意黎曼Fisher信息度量张量。我们还注意到，这种构造是非常不受约束的，只依赖于概率密度函数的某些连续性和它们的域的选择对称性。
2015-04-13 cs.IT math.DG math.IT
RLD Fisher Information Bound for Multiparameter Estimation of Quantum Channels
本文研究量子信道多参数估计的基本极限，证明RLD Fisher信息值的链式法则不等式，指出摊销无法提升其值，进而得出有限时多参数设置中海森堡标度不可达的结论。
2021-07-28 cs.IT math-ph math.IT
