Variance Estimation for Tree Order Restricted Models
本文讨论了几个正态总体的共同方差的树序约束均值估计。我们讨论了当总体数趋于无穷大时方差的最大似然估计量的渐近性质。我们考虑了几种情况下的各种顺序的样本量和方差的最大似然估计可能是或可能不是一致的或渐近正态的。
2014-07-23 math.ST stat.TH
Smoothed functional average variance estimation for dimension reduction
基于密度核估计和回归核估计,提出了一种估计函数平均方差估计(FAVE)的方法,用于估计函数半参数回归模型的EDR空间.一致性的结果,然后建立的估计的利益运营商,和EDR空间的方向。仿真研究表明,所提出的方法以及传统的。
2018-11-21 math.ST stat.TH
Estimation of the $l_2$-norm and testing in sparse linear regression with unknown variance
本文研究了方差未知的稀疏线性回归的$l_2$ -范数和平方$l_2$ -范数的估计问题,以及在$l_2$分离的稀疏替代下回归参数为零的假设检验问题.我们建立了这三个问题的最优估计率(分别为检验率)。
2020-10-26 math.ST stat.TH
On estimation of the noise variance in high-dimensional linear models
考虑了线性回归模型中未知噪声方差的恢复问题。为了估计滋扰(一个向量的回归系数),我们使用一个家庭的谱正则的最大似然估计。噪声估计基于平方误差的自适应归一化。我们推导出所提出的方法的浓度的上界周围的理想估计(零滋扰的情况下)。
2017-11-25 math.ST stat.TH
Use of Auxiliary Information in Variance Estimation
在辅助特征的总体方差已知的情况下,给出了有限总体总体方差的一类比率型估计。推导了均方误差的渐近表达式,并与已有的一些估计量的均方误差进行了比较。进行了实证研究,以说明性能的构造估计比别人。
2013-09-02 math.ST stat.TH
The RKHS Approach to Minimum Variance Estimation Revisited: Variance Bounds, Sufficient Statistics, and Exponential Families
再生核希尔伯特空间(RKHS)的数学理论为最小方差估计(MVE)问题提供了强有力的工具。在这里,我们扩展了经典的RKHS为基础的分析MVE在几个方向。我们开发了一个几何公式的五个已知的下界的估计方差(Barankin界,Cramer-Rao界,约束Cramer-Rao界,Bhattacharyya界,Hammersley-Chapman-Robbins界)的正交投影到一个子空间的RKHS与一个给定的MVE问题。我们表明,在温和的条件下,Barankin界(估计方差的最紧可能的下界)是参数向量的下连续函数。我们还表明,RKHS与MVE问题保持不变,如果观察是由一个充分统计量取代。最后,对于符合指数型分布族的MVE问题,我们推导出新的封闭形式的估计方差的下界,并表明,减少参数集的最小可实现的方差不变。
2013-11-26 math.ST stat.TH
Trimming and likelihood: Robust location and dispersion estimation in the elliptical model
在椭圆模型中,通常使用位置和分散的鲁棒估计,以通过基于相关的马哈拉诺比斯距离修剪椭球外的数据来获得未污染的且具有高度代表性的子样本。在这里,我们分析一些一个(或$k$)步骤的最大似然估计计算的子样本获得这样的程序。我们介绍了不同的模型,自然产生的丢弃的数据可以被处理的方式,导致截断或审查的可能性,以及基于一个唯一的离群值疏失误差模型的可能性。结果的存在性,唯一性,鲁棒性和渐近性质的建议估计。一个值得注意的事实是,所提出的估计量通常保持初始(鲁棒)估计量的崩溃点,但它们可以提高初始估计量的收敛速度,因为我们的估计量始终以速率$n^{1/2}$收敛,而与初始估计量的收敛速率无关。
2008-11-04 math.ST stat.TH
Asymptotic Moments Matching to Uniformly Minimum Variance Unbiased Estimation under Ewens Sampling Formula
Ewens抽样公式是与正整数的随机划分有关的分布。在本研究中,我们研究了分布下参数估计的非存在解问题。在此基础上,利用Ewens抽样公式,得到了一致最小方差无偏估计量的一阶矩和二阶矩匹配估计量。蒙特卡洛模拟研究进行评估的效率所产生的估计。
2021-05-24 math.ST stat.TH
Stochastic approximation method for kernel sliced average variance estimation
本研究将随机逼近方法用于切片平均方差估计(SAVE),证明所得估计量渐近正态且根n相合,实验验证其比已有核方法速度更快,为递归估计提供高效方案。
2024-06-22 math.ST stat.TH
Optimal variance estimation without estimating the mean function
本文研究了残差方差估计中的最小二乘估计。我们证明了配对观测值的均方差是渐近正态分布的。我们进一步证明,通过简单的最小二乘法,将这些配对观测值的均方差回归到配对协变量之间的平方距离上,得到的方差估计不仅渐近正态且根$n$相容,而且估计方差达到最优界.我们还证明了最小二乘估计的优势,与现有的方法相比,在二阶渐近性质。
2013-12-11 math.ST stat.TH
Flexible results for quadratic forms with applications to variance components estimation
本文给出了二次型的一致浓度界和有限样本多元正态逼近结果,并讨论了线性随机效应模型中方差分量估计的一些应用。随机效应模型和方差分量估计是统计学中的经典问题,有着完善的渐近理论。然而,我们的有限样本结果二次型提供了额外的灵活性,可以轻松分析非标准设置中的随机效应模型,这在现代应用中变得越来越重要(例如基因组学)。例如,除了在经典的线性随机效应模型中推导出新的方差分量估计量的非渐近界之外,我们还在具有相关随机效应的线性模型中给出了方差分量估计量的浓度界。我们的一般浓度界是Hanson-Wright不等式的统一版本。本文中的主要正规近似结果是使用Reinert和Röllin(2009)的嵌入技术和多元Stein的可交换对方法导出的。
2015-09-15 math.ST stat.TH
Local Whittle estimation of high-dimensional long-run variance and precision matrices
这项工作开发的非渐近理论估计的长期方差矩阵及其逆,所谓的精度矩阵,为高维时间序列的依赖结构,包括长期依赖的一般假设下。估计涉及收缩技术,阈值和惩罚版本的经典多元本地Whittle估计。结果确保一致的估计,在一个双渐近制度的组件时间序列的数量允许增长的样本量,只要真正的模型参数是稀疏的。关键技术结果是真实模型参数周围长期方差矩阵的局部Whittle估计的集中不等式。特别是,它同时处理进入底层模型的记忆参数的估计。提出了新的算法所考虑的程序,并提供了模拟研究和数据应用。
2022-12-28 math.ST stat.TH
Variance reduction for estimation of Shapley effects and adaptation to unknown input distribution
Shapley效应是全局敏感性指数:它们量化模型中每个输入变量对输出变量的影响。在这项工作中,我们提出了新的估计这些敏感性指数。当输入分布是已知的,我们调查已经存在的估计,并建议一个新的具有较低的方差。然后,当输入的分布是未知的,我们扩展这些估计。最后,我们给出了本文所研究的估计量的渐近性质。
2020-02-13 math.ST stat.TH
Efficient estimation of partially linear additive Cox models and variance estimation under shape restrictions
本文针对右删失数据提出带形状约束的可加部分线性Cox模型,证明其形状约束最大偏似然估计量的理论性质,提出数据拆分方差估计法,实验验证该方法在模型误设或风险非光滑时更具优势。
2024-07-09 math.ST stat.TH
Variance estimation in nonparametric regression via the difference sequence method
考虑一个均值函数和方差函数均未知的高斯非参数回归问题。本文给出了方差函数的一类基于差分的核估计。最佳的收敛速度是均匀的广泛的功能类和带宽的充分特点,渐近正态性也成立。我们还表明,适当的渐近公式,我们的估计达到极大极小率。
2007-12-06 math.ST stat.TH
Bagging cross-validated bandwidth selection in nonparametric regression estimation with applications to large-sized samples
交叉验证是非参数回归估计中一种常用的带宽选择方法。然而,这种技术有两个显著的缺点:(i)所选带宽的大的可变性,以及(ii)对于非常大的样本量,不能在合理的时间内提供结果。为了克服这些问题,装袋交叉验证带宽进行了分析。该方法包括计算有限数量的子样本的交叉验证带宽,然后将平均平滑参数重新缩放到原始样本量。在随机设计回归模型下,得到了Nadaraya-Watson估计量的留一交叉验证带宽的偏差和方差的二阶渐近表达式.随后,渐近偏差和方差和极限分布推导出袋装交叉验证选择器。子样本数量和子样本大小的适当选择导致装袋交叉验证选择器依分布收敛的$n^{-1/2}$速率,优于留一交叉验证的速率$n^{-3/10}$。在与COVID-19大流行相关的真实数据集上进行的几次模拟和演示显示了我们的建议的行为以及与留一交叉验证相比在统计效率和计算时间方面更好的性能。
2021-05-10 math.ST stat.AP stat.CO
Online estimation of the asymptotic variance for averaged stochastic gradient algorithms
随机梯度算法由于能够在高维空间中高效、在线地处理大样本数据而受到越来越多的研究。本文首先在一般希尔伯特空间中对这些估计及其平均形式建立了一个中心极限定理。此外,由于具有渐近正态性的估计往往是不可用的估计的渐近方差,我们引入了一个新的递归算法估计这最后一个,我们建立了几乎必然的收敛速率,以及它的收敛速率在二次均值。最后给出了估计逻辑斯谛回归参数和估计几何分位数的两个例子。
2017-10-16 math.ST stat.TH
Adaptive variance function estimation in heteroscedastic nonparametric regression
本文研究了异方差非参数回归中自适应方差函数估计的小波阈值方法。一个数据驱动的估计器构造通过应用小波阈值的平方一阶差的观察。我们表明,方差函数估计是近最佳自适应平滑的均值和方差函数。估计器实现最佳的自适应收敛速率下的逐点平方误差同时在一个范围内的平滑类。该估计也是自适应在一个对数因子的极大极小风险下的全球平均集成平方误差在一个集合的空间非齐次函数类。数值实现和模拟结果进行了讨论。
2008-10-27 math.ST stat.TH
Consistent Estimation of Residual Variance with Random Forest Out-Of-Bag Errors
在回归模型中估计残差方差的问题在机器学习社区中受到的关注相对较少。然而,在许多实际应用中,估计是主要的兴趣,例如,作为构建预测区间的主要步骤。在这里,我们考虑这个问题的随机森林。其中,协变量和响应变量之间的函数关系通过后者的加权和来建模。然而,在树构造过程中构造的权重中涉及依赖结构,使得模型在数学分析中变得复杂。在L2-相容随机森林模型下,给出了基于随机森林的残差方差估计,并证明了它们的相合性。
2018-12-15 math.ST stat.TH
Effect of mean on variance function estimation in nonparametric regression
研究了非参数回归中方差函数的估计,并给出了极小极大收敛速率。我们特别感兴趣的是未知均值对方差函数估计的影响。我们的研究结果表明,与通常的做法相反,它是不可取的基础上的残差的方差函数的估计从最佳估计的平均值时,平均函数是不光滑的。相反,它是更可取的使用估计的平均值最小偏差。另一方面,当均值函数非常光滑时,我们的数值结果表明,基于残差的方法性能更好,但并不比基于一阶差分的估计量好。此外,我们的渐近结果还纠正了Hall和Carroll [J. Roy.中央集权主义者Soc.Ser.B51(1989)3- 14]。
2008-04-04 math.ST stat.TH
Optimal shrinkage estimation of mean parameters in family of distributions with quadratic variance
本文讨论了一类具有二次方差函数的分布族中均值参数的同时推断问题。首先,我们引入了一类半参数/参数收缩估计,并建立其渐近最优性。两个具体的情况下,位置-尺度家庭和自然指数家庭的二次方差函数,然后详细研究。我们进行了全面的模拟研究,比较所提出的方法与现有的收缩估计的性能。我们还将该方法应用于实际数据,并取得了令人鼓舞的结果。
2016-03-30 math.ST stat.TH
Variance estimation and asymptotic confidence bands for the mean estimator of sampled functional data with high entropy unequal probability sampling designs
对于具有高熵的固定大小抽样设计,众所周知,Horvitz-Thompson估计量的方差可以通过Hájek公式近似。这种渐近方差近似的有趣之处在于它只涉及统计单元的一阶包含概率。当研究的变量是函数时,我们推广了这个方差公式,并证明了在一般的个体轨迹和抽样设计的规律性条件下,我们可以得到均值函数的Horvitz-Thompson估计的方差函数的一致收敛估计。给出了拒绝抽样法收敛到真方差函数的速度。我们推导出,在抽样设计的熵的条件下,它是可能的,通过模拟高斯过程的方差函数由哈耶克公式,建立的置信带的覆盖范围是渐近的期望的。最后,建议的方差估计的准确性进行评估,在一个星期内每半小时测量的电力消耗数据的样本。
2013-06-28 math.ST stat.TH
Neyman Jackknife: Design-Based Variance Estimation for Causal Inference under Interference
Stanford University(斯坦福大学)
本文提出Neyman Jackknife框架,提供一种通用方法,用于在存在干扰的情况下保守估计因果推断中的变异数。该方法在经典设置中恢复与Neyman估计器和Newey-West HAC方差估计器相关的估计器,并通过数值实验表明其性能可与专门设计的基准方法相媲美。
2026-04-27 math.ST stat.ME stat.TH
Nonparametric Estimation of Variance Function for Functional Data
本文研究均值函数未知时函数型数据方差函数的非参数估计。我们得到的核估计的平方残差的基础上的渐近结果。与有限维情形类似,我们的渐近结果表明未知均值函数的光滑性对收敛速度有影响。仿真结果表明,基于残差的估计量比基于响应的条件二阶矩的估计量有更好的性能。
2008-12-14 math.ST stat.ME stat.TH
Equivariant Variance Estimation for Multiple Change-point Model
本文针对多变点模型提出等变方差估计框架,刻画了等变无偏二次方差估计器的集合,并建立了相应的极小极大理论。
2023-11-16 math.ST stat.ME stat.TH
Mean and variance estimation in high-dimensional heteroscedastic models with non-convex penalties
尽管异方差(非常数样本方差)在统计数据集中很普遍,但在高维统计文献中,它在很大程度上被忽略了。最近,研究表明,Lasso可以适应异方差误差,只需进行微小的算法修改(Belloni等人,2012; Gautier and Tsybakov,2013).本文研究了高维稀疏参数下的线性均值模型和对数线性方差模型的异方差回归问题。在这项工作中,我们提出了估计方差后Lasso时尚,其次是加权最小二乘均值估计。这些步骤使用了Fan和Li(2001)中的非凸罚分,这使我们能够证明后Lasso方差和均值参数估计的预言性质。我们用实验来加强我们的理论发现。
2014-10-30 math.ST stat.ME stat.TH
Robust variance estimation and inference for causal effect estimation
我们考虑一个纵向数据结构,包括基线协变量、随时间变化的治疗变量、中间时间依赖协变量和可能的不定常结果。先前的研究表明,在这种情况下,使用经验影响函数估计渐近线性估计量的方差会导致反保守估计,并增加正违规的幅度,导致覆盖率差和不受控制的I型错误。在本文中,我们提出了两种替代方法估计这些估计量的方差:(i)一个强大的方法,直接针对的影响函数的方差作为一个反事实的平均结果,和(ii)一个非参数的自助方法,理论上是有效的,降低了计算成本,从而增加了在非参数设置使用复杂的机器学习算法的可行性。这些方法的性能进行了比较,经验影响函数在不同水平的积极违规和治疗效果大小的模拟。
2018-10-06 math.ST stat.ME stat.TH
Variance Estimation and Confidence Intervals from High-dimensional Genome-wide Association Studies Through Misspecified Mixed Model Analysis
我们研究了全基因组关联研究(GWAS)误指定混合模型分析的遗传效应特征参数的方差估计和相关置信区间。以往的研究表明,尽管模型误指定,某些数量的遗传利益是可估计的,这些数量的相合估计量,可以得到使用限制极大似然(REML)方法下误指定的线性混合模型。然而,这样的REML估计的渐近方差是复杂的,并没有准备好被实现为实际使用。在本文中,我们开发了实用和计算方便的方法来估计这样的渐近方差和构建相关的置信区间。基于蒙特卡罗模拟和实际数据应用,对所提出的方法的性能进行了经验评估。
2021-01-17 math.ST stat.ME stat.TH
Jackknife variance estimation for common mean estimators under ordered variances and general two-sample statistics
具有共同均值但可能不同的有序方差的样本出现在各个领域,例如实验室间实验、现场研究或传感器数据分析。有序方差下的共同均值估计量通常采用随机权重,这取决于样本均值和无偏方差估计量。当样本估计量与序约束一致或不一致时,它们采取不同的形式,这使得甚至基本的分析(例如估计其方差)变得复杂。我们建议使用折刀,其一致性是建立一般光滑的两样本统计引起的连续Gâteux或Fréchet可微泛函,更一般地说,渐近线性两样本统计,使我们能够研究一大类常见的均值估计。进一步证明了所考虑的共同均值估计满足一个中心极限定理(CLT)。我们调查的准确性所产生的置信区间的模拟和说明的方法,通过分析几个数据集。
2019-01-29 math.ST stat.AP stat.TH
Jackknife Variance Estimation for Hájek-Dominated Generalized U-Statistics
University of Wisconsin -- Madison(威斯康星大学麦迪逊分校)
针对一类广义U统计量,证明Jackknife方差估计量的比率相合性,并应用于两尺度分布最近邻回归估计器,在更弱条件下得到一致方差估计。
2026-06-15 math.ST stat.ML stat.TH
Variance Estimation for Weighted Average Treatment Effects
本文针对观察性研究中加权平均处理效应的方差估计,提出后加权自助法并推广野自助法,以避免阳性违反、提高效率,并通过模拟和NHANES数据给出实用建议。
2025-09-10 math.ST stat.ME stat.TH
Subsampling Extremes: From Block Maxima to Smooth Tail Estimation
我们研究了一个新的估计的尾部指数的分布在Frechet域的吸引力,自然产生的计算子样本最大值。该估计量等价于在具有两个顺序统计量的Hill估计量上取U-统计量。该估计量与Hill估计量相比具有多个优点。特别是,它具有作为阈值k的函数的渐近平滑样本路径,使其比Hill估计量稳定得多。估计器还承认一个简单直观的阈值选择规则,不需要拟合二阶模型。多元分析杂志,130,2014
2014-10-19 math.ST stat.ME stat.TH
Simultaneous Bandwidths Determination for DK-HAC Estimators and Long-Run Variance Estimation in Nonparametric Settings
我们考虑双核异方差和自相关一致(DK-HAC)估计的数据相关的同时带宽的推导。除了对经典HAC估计的滞后自协方差进行通常的平滑外,DK-HAC估计还对时间方向进行平滑。我们得到的最佳带宽,共同最小化的全球渐近MSE标准和讨论之间的权衡偏差和方差平滑滞后自协方差和随着时间的推移。与Andrews(1991)的MSE结果不同,我们建立了非平稳性如何影响偏差-方差权衡。我们使用插件方法为DK-HAC估计器构建数据相关带宽,并将其与Casini(2021)的DK-HAC估计器进行比较,Casini(2021)使用从顺序MSE标准获得的数据相关带宽。前者在大小控制方面表现更好,特别是对于平稳和接近平稳的数据。最后,我们考虑长期方差估计,假设该序列是一个非参数估计的函数,而不是一个半参数估计,享有通常的T^(1/2)收敛速度。因此,我们也建立了一致的长期方差估计在非参数参数估计设置的有效性。
2021-02-26 econ.EM math.ST stat.TH
High-Dimensional Variance Estimation for the Generalized Regression Estimator
McGill University(麦吉尔大学)
研究调查抽样中高维情形下广义回归估计器的方差估计问题,推导常用方差估计器高维渐近偏差的新理论结果,证明在合适假设下交叉验证方差估计器自然渐近无偏。
2026-07-08 math.ST stat.ME stat.TH
Prediction and estimation of random variables with infinite mean or variance
在本文中,我们提出了一个随机变量的最优预测,具有无穷的均值或无穷的方差。该方法包括变换随机变量,使得变换后的变量具有有限均值和有限方差。所提出的预测量是一个广义的算术平均,它类似于效用理论中的确定性价格的概念。通常,变换由双射的参数族组成,在这种情况下,可以选择参数以最小化变换坐标中的预测误差。研究了该预测量估计量的统计性质,给出了估计量的置信区间。使用模拟和真实数据的程序的性能进行说明。
2023-03-26 math.ST stat.ME stat.TH
Stable Policy Learning
Harvard University(哈佛大学);University of Mannheim(曼海姆大学)
本文研究策略学习如何平衡预期福利与抽样风险,提出策略投票袋装法,通过跨子样本平均投票保持福利并降低风险,并给出严格理论界限。
2026-09-18 cs.LG econ.EM math.ST
Greedy Variance Estimation for the LASSO
最近的研究结果证明了LASSO算法和相关算法对噪声线性回归的极大极小最优性。然而,这些结果往往依赖于效率低下的方差估计器或比LASSO本身更慢的优化。我们提出了一个有效的估计噪声方差的高维线性回归,比LASSO更快,只需要$p$矩阵向量乘法。在设计矩阵满足约束等距性的条件下,证明了该估计具有良好的收敛速率。在实践中,我们的估计器可以非常好地扩展到高维,高度并行化,并且只会产生适度的偏差。
2019-03-14 cs.IT math.IT math.ST
Convergent estimators of variance of a spatial mean in the presence of missing observations
本文研究了存在缺失观测时空间均值方差的截断估计量,证明了其收敛性仅依赖于底层场有限的一阶和二阶矩,并在均匀加权下利用组合数学和第二类Stirling数求解估计量。
2023-04-09 math.ST stat.AP stat.ME
Multifidelity variance reduction for pick-freeze Sobol index estimation
许多数学模型涉及输入参数,这些参数并不精确已知。全局灵敏度分析旨在确定其不确定性对感兴趣数量(模型输出)的变异性影响最大的参数。用于量化每个输入变量对输出的影响的统计工具之一是Sobol敏感性指数,该指数可以使用对输出的评估的大样本来估计。我们提出了一种方差减少技术,基于输出的快速近似的可用性,这可以使显着的计算节省时,输出是昂贵的评估。
2013-03-25 math.ST stat.AP stat.CO
Maximum sampled conditional likelihood for informative subsampling
University of Connecticut(康涅狄格大学);Iowa State University(爱荷华州立大学)
子采样是在计算资源有限的情况下从海量数据集中提取信息的一种有效方法。在从全部数据中提取子样本之后,大多数可用的方法使用逆概率加权(IPW)目标函数来估计模型参数。IPW估计器没有充分利用所选子样本中的信息。在本文中,我们建议使用基于采样数据的最大采样条件似然估计(MSCLE)。我们建立了MSCLE的渐近正态性,并证明了它的渐近方差协方差阵在包括IPW估计在内的一类渐近无偏估计中是最小的.我们进一步讨论了L-最优子采样概率的渐近结果,并说明了广义线性模型的估计过程。数值实验提供了评估所提出的方法的实际性能。
2022-10-09 cs.IT cs.LG math.IT
Near-Optimal Mean Estimation with Unknown, Heteroskedastic Variances
本文针对未知异方差高斯数据的共同均值估计问题,提出一种直观高效且在信号子集模型下达到近最优误差的算法,将所需方差有界样本数从 Ω̃(n^{1/2}) 降至 Õ(n^{1/4}),并推广到多维情形。
2023-12-05 cs.DS math.ST stat.ML
On The Variance of Schatten $p$-Norm Estimation with Gaussian Sketching Matrices
本文研究高斯随机向量下 Schatten $p$-范数估计的方差,针对 Kong 和 Valiant 提出的估计量给出方差计算方法,并得到比已有结果更紧的界。
2024-10-21 cs.NA math.NA math.PR