Small Area Predictors with Dual Shrinkage of Means and Variances
本文研究了具有随机离差的Fay-Herriot型区域水平模型中的小区域估计问题,该模型模拟了抽样误差随区域变化的情况。由此产生的贝叶斯估计缩小了均值和方差,但需要数值计算来提供估计。本文提出了一种封闭形式的近似经验贝叶斯(AEB)估计。模型参数采用矩量法估计,AEB的均方误差采用单参数自助法估计。文中还给出了均方误差的基准估计量和二阶无偏估计量。
2015-07-29 stat.ME
Shrinkage Estimation of the Frechet Mean in Lie groups
非欧几里得空间中的数据在科学和工程的许多领域中经常遇到。例如,在机器人学中,姿态传感器捕获方位,方位是李群的元素。近年来,一些研究人员报道了在非线性空间中设计参数估计算法时考虑李群几何的方法。最大似然估计(MLE)是非常常用的,这是众所周知的统计领域,斯坦的收缩估计占主导地位的MLE在均方意义上假设的意见是从一个正常的人口。在本文中,我们提出了一种新的收缩估计驻留在李群,具体地说,交换或紧李群的数据。本文提出的关键理论结果是:(i)斯坦引理及其证明李群,(ii)证明的优势,建议收缩估计MLE交换和紧李群。我们提出的收缩估计和收缩估计多机器人定位的应用程序的优势模拟研究的例子。
2021-11-30 math.ST stat.TH
An Empirical Bayes Approach to Shrinkage Estimation on the Manifold of Symmetric Positive-Definite Matrices
James-Stein估计量是多元正态均值的估计量,在平方误差损失下优于极大似然估计量(MLE)。最初的工作激发了人们对开发各种问题的收缩估计器的极大兴趣。然而,流形值数据的收缩估计的研究很少。本文给出了定义在$N \times N$对称正定矩阵流形上的对数正态分布参数的收缩估计。对于这个流形,我们选择对数欧几里德度量作为它的黎曼度量,因为它易于计算并且在应用中被广泛使用。通过在损失函数中使用对数欧几里德距离,我们导出了一个解析形式的收缩估计,并证明了它在一个大类估计中是渐近最优的,包括MLE,这是数据的样本Fréchet均值。我们通过几个模拟数据实验证明了所提出的收缩估计的性能。此外,我们应用收缩估计进行统计推断扩散磁共振成像问题。
2020-10-27 math.ST stat.TH
Shrinkage estimation of rate statistics
本文提出了一种简单的基于贝叶斯方法的比率收缩估计。我们的重点是犯罪率作为一个激励的例子。估计器根据城镇规模将每个城镇的观测犯罪率缩小到全国平均犯罪率。通过实际的模拟,我们证实,所提出的估计优于极大似然估计的全球风险。我们还表明,它具有更好的覆盖性能。
2018-10-17 stat.AP
Shrinkage estimation with a matrix loss function
考虑估计具有常方差的独立正态分布观测的n × p矩阵的均值的n × p矩阵,其中估计量的性能使用p × p矩阵二次误差损失函数来判断。一个矩阵版本的James-Stein估计提出,取决于一个调谐常数。当n大于或等于3时,对于某些调谐常数的选择,它将主导通常的极大似然估计。该结果也扩展到其他收缩估计量和设置。
2011-01-18 math.ST stat.TH
Distance Shrinkage and Euclidean Embedding via Regularized Kernel Estimation
虽然从噪声观测中恢复欧几里得距离矩阵是实践中的常见问题,但这在多大程度上可以做到这一点仍然是未知的。为了填补这一空白,我们研究了一个简单的距离矩阵估计的基础上,所谓的正则化核估计。我们表明,这样的估计可以简单地应用一个常数量的收缩所有观察到的成对距离的特点。这一事实使我们能够建立估计的风险界限,这意味着随着对象数量的增加,真实距离可以在平均意义上一致地估计。此外,这样的特征表明,一个有效的算法来计算距离矩阵估计,作为一种替代通常的二阶锥规划已知的规模以及大型问题。数值实验和可视化的Vpu蛋白质序列的多样性,从最近的HIV-1研究的应用程序进一步证明了所提出的方法的实用价值。
2014-09-17 math.ST stat.ME stat.ML
Stein-Rule Shrinkage for Stochastic Gradient Estimation in High Dimensions
Department of Statistics Faculty of Mathematical Sciences(统计学系数学科学学院);Division of Computer Science Department of Applied Mathematics Faculty of Mathematical Sciences(计算机科学系应用数学系数学科学学院)
本文提出SR-Adam算法,通过Stein规则收缩改进高维随机梯度估计,在大规模学习中实现更优的性能。
2026-02-06 cs.AI cs.LG math.ST
Shrinkage for Covariance Estimation: Asymptotics, Confidence Intervals, Bounds and Applications in Sensor Monitoring and Finance
当将协方差阵向单位矩阵的(倍数)收缩时,协方差阵的迹自然地作为单位目标的最佳缩放因子出现。迹线也出现在其他情况下,例如当测量矩阵的大小或不确定性的量时。特别感兴趣的是当协方差阵的维数很大时的情况。当维数大于样本量时,就会出现样本协方差阵奇异的问题。另一个问题是,通常估计必须基于相关的时间序列数据。我们研究了高维时间序列模型的迹函数的估计,其中维数可以随着样本量的增长而增长-没有任何约束。基于最近的结果,我们调查的轨迹,这也使我们能够提出的收缩协方差估计的下限和上限,以及预测的方差的界限的置信区间。此外,我们提供了一个新的结果处理收缩对对角线的目标。我们调查的准确性的置信区间的模拟研究,这表明良好的性能,并分析三个股票市场的数据集,以说明建议的界限,其中的尺寸(股票数量)之间的$32$和$475$。特别是,我们将结果应用到投资组合优化和确定的风险与方差最小化的投资组合的界限。
2018-09-03 math.ST stat.AP stat.ME
Shrinkage Estimation for the Diagonal Multivariate Exponential Families
研究了一类协协方差阵的对角元是均值参数的某个二次函数的多元分布均值参数的收缩估计。这类分布包括对角多元自然指数族。我们提出了两类半参数收缩估计的均值和相应的风险构造无偏估计。我们建立了这些收缩估计的渐近一致性和收敛速度下的平方误差损失的$n$,样本量,和$p$,尺寸,趋于无穷大。接下来,我们将这些结果专门用于对角多元自然指数族,这些自然指数族已被分类为由正态分布、泊松分布、伽玛分布、多项式分布、负多项式分布和混合分布组成。我们建立了我们的估计的一致性,在正常的,伽玛,负多项式的情况下,条件是$p n^{-1/3} (\log{n})^{4/3} \to 0$,并在泊松和多项式的情况下,如果$p n^{-1/2} \to 0$,作为$n,p \to \infty$。模拟研究提供了我们的估计的性能进行评估,我们说明,在伽马和泊松的情况下,我们的估计实现比最大似然估计的风险更低,从而证明了我们的估计的优越性,在最大似然估计。
2022-07-01 math.ST stat.TH
High dimensional discriminant rules with shrinkage estimators of the covariance matrix and mean vector
线性判别分析(LDA)是解决大维数、小样本分类问题的一种典型方法。基于协方差阵和均值向量的不同类型的估计量,存在各种类型的LDA方法。在本文中,我们考虑基于非参数方法的收缩方法。对于精度矩阵,研究了基于稀疏结构或数据分裂的方法。关于均值向量的估计,采用非参数经验贝叶斯(NPEB)方法和非参数极大似然估计(NPMLE)方法,也分别称为f-建模和g-建模。分析了基于协方差阵和均值向量联合估计策略的线性判别规则的性能。特别是,该研究提出了NPEB方法的性能的理论结果,并与以前的研究进行了比较。利用不同的协方差阵和均值向量结构进行了仿真研究,以评估本文所讨论的方法。此外,还提供了基因表达和EEG数据等实际数据示例
2023-03-05 math.ST stat.ME stat.TH
Adaptable Fingerprinting with Nonlinear Shrinkage for Climate Change Detection and Attribution under Variance Heterogeneity
Department of Mathematics and Statistics, Auburn University(奥本大学数学与统计系)
该研究针对气候变化检测归因的高维场景,提出非线性收缩自适应指纹法,联合估计缩放与变异性膨胀因子,提升估计精度与置信区间性能,在气温数据应用中获更优归因结果。
2026-08-14 stat.AP stat.ME
Adapting to general quadratic loss via singular value shrinkage
本研究提出多变量高斯序列模型下的自适应估计方法,通过奇异值收缩估计量适应未知光滑性与任意二次损失,实现多变量Sobolev椭球上的极小极大自适应估计。
2023-12-21 math.ST stat.TH
Think before you shrink: Alternatives to default shrinkage methods can improve prediction accuracy, calibration and coverage
虽然收缩在高维环境中是必不可少的,但它在低维回归预测中的应用一直存在争议。它减少了方差,通常会提高预测精度。然而,它也不可避免地引入偏差,这可能会损害预测性能的其他两个度量:校准和置信区间的覆盖。大部分的批评源于使用标准的收缩方法,如套索和脊与一个单一的,交叉验证的惩罚。我们的目标是表明,现成的替代品可以大大提高预测性能,在准确性,校准或覆盖范围。对于线性回归,我们使用一个大的,相当典型的流行病学数据集的小样本分裂来说明这一点。我们发现,协变量组的差分岭惩罚的使用可能会提高预测精度,而校准和覆盖范围受益于额外的收缩的处罚。在逻辑设置中,我们应用外部模拟来证明局部收缩改善了全局收缩的校准,同时提供了比其他解决方案更好的预测准确性,如Firth的校正。通过使用\texttt{mgcv}和\texttt{r-stan}的示例实现,包括多个惩罚的估计,可以容易地获得替代收缩方法的益处。共享大型数据集的合成副本以实现再现性。
2023-01-24 stat.AP stat.ME
Approximate Risk Minimization Over Shrinking-Thresholding Rules in Normal Mean Estimation
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
该研究为正态均值估计中的收缩阈值规则构建近似风险最小化框架,推导最优条件,得到估计器NOMAD,发展相关理论并扩展框架到相关观测及线性回归,提供了统一的基于风险的框架。
2026-07-08 math.ST stat.AP stat.ME
Polynomials shrinkage estimators of a multivariate normal mean
在这项工作中,多元正态均值的估计不同类的收缩估计进行了研究。与平衡损失函数相关的风险被用来比较两个估计量。我们首先考虑估计,推广詹姆斯-斯坦估计,并表明,这些估计占主导地位的最大似然估计(MLE),因此是极大极小,当收缩函数满足一定条件。然后,我们对待估计的多项式形式,并证明增加的次数的多项式,使我们能够建立一个更好的估计,从一个先前构建的。
2021-07-29 math.ST stat.TH
Markov adaptive Pólya trees and multi-resolution adaptive shrinkage in nonparametric modeling
我们引入了一个分层的非参数模型的基础上的多分辨率变换的概率分布的概率测度。该模型允许将变化量的收缩应用于不同尺度的数据特征和/或样本空间中不同位置处的数据特征,并且变化的收缩水平局部地适应于数据的经验行为。此外,该模型的分层设计-通过潜在的马尔可夫树结构-允许在设置自适应收缩水平时跨位置和尺度借用信息。在该模型下,使用共轭层次模型的一般配方进行有效的推理。我们说明了工作的模型在密度估计和评估其性能,通过模拟下的几个示意性的情况下精心设计的各种应用程序的代表。我们比较其性能的几个国家的最先进的非参数模型-波利亚树,可选的波利亚树,和Dirichlet过程混合法线。此外,我们建立了几个重要的理论性质的模型,包括绝对连续性,全非参数,后验一致性。
2015-03-28 math.ST stat.ME stat.TH
Stein Shrinkage and Second-Order Efficiency for semiparametric estimation of the shift
考虑了在高斯白噪声中观测到的未知对称周期函数$f$的位移估计问题。利用分块Stein方法,引入了数据驱动惩罚的惩罚轮廓似然,使得对称对称中心的估计量被定义为惩罚轮廓似然的最大化者.该估计具有的优点是独立的功能类的信号$f$ SI假设属于,此外,被证明是半参数自适应和有效的。此外,所提出的估计的风险扩展的二阶项被证明至少表现以及使用单调平滑滤波器的最佳可能的估计的风险的二阶项。在温和的假设下,该估计被证明是二阶minimax尖锐自适应在整个规模的Sobolev球光滑$β>1$。因此,这些结果扩展了那些\cite{DGT},其中二阶渐近极小极大性证明的估计依赖于功能类包含$f$和$β\geq 2$是必需的。
2007-02-26 math.ST stat.TH
Honest confidence sets for high-dimensional regression by projection and shrinkage
在非参数回归中,构造置信集的诚实性问题产生了。虽然非参数估计中的最优率可以用来构造尖锐的置信集,但在估计光滑度后,置信水平往往会严重下降。类似地,对于高维回归,稀疏估计的预言不等式可以用来构造尖锐的置信集。然而,稀疏度本身是未知的,需要估计,导致诚实问题。为了解决这个问题,我们开发了一种新的方法来构建诚实的信心集稀疏高维线性回归。我们构造的关键思想是将信号分为强组和弱组,然后分别为每组构造置信集。这是通过投影和收缩方法实现的,后者通过Stein估计和相关的Stein无偏风险估计来实现。我们的置信集是诚实的,在整个参数空间没有任何稀疏约束,而其直径适应最佳速率的$n^{-1/4}$时,真正的参数确实是稀疏的。通过广泛的数值比较,我们证明了我们的方法优于其他竞争对手,具有有限样本的大利润,包括基于底层模型的真正稀疏性的Oracle方法。
2019-05-03 math.ST stat.ME stat.TH
Double shrinkage priors for a normal mean matrix
本文针对Frobenius损失下正态均值矩阵估计,提出两种双重收缩先验,在奇异值收缩基础上增加标量或列向收缩,改进广义贝叶斯估计器并降低风险,同时给出预测密度的平行结果。
2024-04-18 math.ST stat.TH
From Minimax Shrinkage Estimation to Minimax Shrinkage Prediction
在一个显着的一系列文件开始于1956年,查尔斯斯坦设置阶段的未来发展的极小极大收缩估计的多元正态平均二次损失。最近,平行的发展已经看到了Kullback-Leibler风险下的多元正态预测密度的极小极大收缩估计的出现。我们在这里描述这些平行强调贝叶斯程序和推导的超调和条件的minimaxity以及进一步发展的新的minimax收缩预测密度估计,包括多个收缩估计,经验贝叶斯估计,正常的线性模型回归估计和非参数回归估计的重点。
2012-03-26 stat.ME
Optimal shrinkage estimation in heteroscedastic hierarchical linear models
该研究针对存在线性预测变量的异方差分层回归场景,提出基于无偏风险估计的参数与半参数收缩估计量,证明其均方误差下的渐近最优性,经模拟与真实数据验证效果良好。
2015-03-21 stat.ME
Optimal High-Dimensional Shrinkage Covariance Estimation for Elliptical Distributions
本文给出了一个最优收缩样本协方差阵(SCM)估计器,它适用于高维问题和从一个非指定的椭圆对称分布采样时。具体来说,我们推导出最佳(oracle)收缩参数,获得最小的均方误差(MMSE)之间的收缩SCM和真正的协方差阵从椭圆分布采样时。随后,我们展示了如何在随机矩阵理论下一致地估计预言收缩参数。仿真结果表明,所提出的估计的优势,由于Ledoit和Wolf(2004)的传统收缩SCM估计。建议收缩SCM估计往往提供了显着更好的性能比Ledoit-Wolf估计,并具有的优点,即一致性保证在整个类的椭圆分布有限的四阶矩。
2017-06-30 stat.ME
Compositional Covariance Shrinkage and Regularised Partial Correlations
本研究针对高维成分数据的协方差估计问题,利用对数比率不相关成分构建定制收缩目标,提出偏相关估计方法,经模拟和单细胞基因表达数据验证,还解析推导了闭合性诱导的偏相关,代码数据开源。
2023-05-04 stat.AP stat.ME
Shrinkage Methods for Treatment Choice
Graduate School of Economics and Management, Tohoku University(东北大学经济学研究科和管理学研究科);Center for Spatial Information Science, The University of Tokyo(东京大学空间信息科学中心)
本研究提出一种基于收缩估计的治疗选择规则,通过最小化最大遗憾上界选择收缩因子,在CATE空间正确或错误设定下均表现良好,且最大遗憾可严格小于CES和合并规则。
2025-10-07 econ.EM math.ST stat.TH
A shrinkage estimation for large dimensional precision matrices using random matrix theory
本文提出了精度矩阵的一种新的岭型收缩估计。导出了渐近最优收缩系数和理论损失。基于随机矩阵理论的渐近结果,对收缩系数进行了数据驱动的估计。新的估计量具有简单的显式公式,是分布自由的,适用于观测维数大于样本量的情况。此外,无需对总体协方差阵或精密度矩阵的结构进行假设。最后,进行数值研究,以检查性能的新估计和现有的方法,为广泛的设置。
2019-09-03 stat.ME
Bayesian Fusion Estimation via t-Shrinkage
收缩先验在许多数据分析中取得了很大的成功,但其应用主要集中在稀疏参数的贝叶斯建模。在这项工作中,我们将贝叶斯收缩模型的高维参数,拥有一个未知的块结构。我们建议在此之前进行重尾收缩,例如,$t$先验,并且这样的融合先验将使连续的差异朝向零收缩,因此引起后阻滞。与传统的基于Laplace融合先验的贝叶斯融合套索算法相比,$t$融合先验具有更强的收缩效应和良好的后验一致性。仿真研究和实际数据分析表明,$t$融合具有优于频率论融合估计和贝叶斯拉普拉斯融合先验的性能。将这种$t$融合策略进一步发展,进行贝叶斯聚类分析,仿真结果表明,该算法比经典Dirichlet过程建模具有更好的后验分布收敛性。
2018-12-27 stat.ME
Robust Shrinkage Estimation of High-dimensional Covariance Matrices
我们解决了椭圆分布样本的高维协方差估计,这也被称为球不变随机向量(SIRV)或复合高斯过程。具体来说,我们考虑收缩方法,适用于高维问题的少量样本(大$p$小$n$)。我们从一个经典的稳健协方差估计器[Tyler(1987)]开始,该估计器在椭圆分布族中是分布自由的,但在$n<p$时不适用。使用收缩系数,我们正则化泰勒的不动点迭代。我们证明了,对于所有的$n$和$p$,建议的不动点迭代收敛到一个唯一的极限,而不管初始条件。接下来,我们提出了一个简单的,封闭的形式和数据依赖的收缩系数,这是基于最小的均方误差框架的选择。仿真结果表明,该方法具有较低的估计误差,对重尾样本具有较好的鲁棒性。最后,作为一个现实世界中的应用程序,我们展示了所提出的技术的活动/入侵检测使用无线传感器网络的背景下的性能。
2010-09-27 stat.ME
Non-parametric shrinkage mean estimation for quadratic loss functions with unknown covariance matrices
本文在已知二次损失函数和未知协方差阵的情况下,提出了总体均值的收缩估计。新的估计量是非参数的,因为它不假设数据的特定参数分布,也不需要关于总体协方差阵的先验信息。分析结果的改进建议的收缩估计,并得到一些相应的渐近性质。最后,我们通过广泛的模拟研究和实际数据分析证明了所提出的方法比现有方法的实际改进。关键词:高维数据;收缩估计;大$p$小$n$ ; $U$ -统计量。
2014-11-06 stat.ME
R-NL: Covariance Matrix Estimation for Elliptical Distributions based on Nonlinear Shrinkage
本文提出R-NL方法,将Tyler稳健估计与非线性收缩结合,用于椭圆分布协方差矩阵估计,兼具对重尾和高维的稳健性,并通过理论收敛性证明、模拟和实证验证了其优越性能。
2023-05-03 stat.ME
Bayesian Variable Selection and Estimation Based on Global-Local Shrinkage Priors
本文研究了具有全局-局部收缩先验的线性回归模型的贝叶斯变量选择问题。我们提出了一个变量选择程序,选择一个变量,如果后验均值的比例,相应的系数的普通最小二乘估计大于$1/2$。在正交设计的假设下,证明了当局部参数具有多项式尾先验时,该方法具有预言性质,即可以同时获得变量选择的一致性和最优估计率.然而,如果相反,指数尾先验被用于局部参数,所提出的方法不具有预言属性。
2016-05-25 stat.ME
Bounds for the weight of external data in shrinkage estimation
元分析框架中的收缩估计可用于促进信息的动态借用。这个框架可以用来根据以前的数据分析一项新的研究,这些数据可能在设计上有所不同(例如,随机对照试验(RCT)和临床登记)。我们展示了如何常见的研究权重出现在效果和收缩估计,以及如何将这些推广到贝叶斯荟萃分析的情况下。接下来,我们开发简单的方法来计算权重的界限,以便可以先验地评估外部证据的贡献。这些考虑因素的说明和讨论使用数值的例子,包括应用程序在治疗克雅氏病和胎儿监护,以防止发生代谢性酸中毒。目标研究对所得估计值的贡献显示为有界。因此,对证据容易被外部数据淹没的担忧在很大程度上是没有根据的。
2020-11-18 stat.ME
Tuning-Free Covariance-Aware Sequential Shrinkage for Multi-Source Estimation
College of Business, City University of Hong Kong(香港城市大学商学院);Stern School of Business, New York University(纽约大学斯特恩商学院);Department of IEOR and Data Science Institute, Columbia University(哥伦比亚大学工业工程与运筹学系及数据科学研究所);Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
提出一种免调参的协方差感知收缩框架,利用协方差信息构造收缩方向,通过序贯算法逐步收缩至各源数据,在温和条件下渐近达到最优风险,并推广至一般光滑M估计问题。
2026-09-22 stat.ME
Post Selection Shrinkage Estimation for High Dimensional Data Analysis
在高维数据环境中,$p\gg n$,许多惩罚正则化方法进行了研究,同时变量的选择和估计。然而,由于弱效应协变量的存在,许多现有的变量选择方法,包括Lasso及其衍生方法,无法区分弱贡献和无贡献的协变量。因此,仅基于选定协变量的子集模型的预测可能是低效的。在本文中,我们提出了一个后选择收缩估计策略,以提高选择子集模型的预测性能。这种后选择收缩估计器(PSE)是数据自适应的,并且通过在所选择的候选子集的方向上收缩后选择加权脊估计器来构造。在渐近分布二次风险准则下,分析了其预测性能。我们表明,建议后选择PSE表现优于后选择加权岭估计。更重要的是,它显著提高了从大多数现有的Lasso型变量选择方法中选择的任何候选子集模型的预测性能。通过仿真研究和实际数据分析,证明了后选择PSE的相对性能。
2016-03-23 stat.ME
Global-local shrinkage priors for modeling random effects in multivariate spatial small area estimation
Hiroshima University(广岛大学);Chiba University(千叶大学)
本文提出一种基于全局-局部先验的多变量空间小区域估计模型,通过灵活收缩随机效应和引入空间依赖性,提高估计效率与鲁棒性。
2026-09-01 stat.ME
Shrinkage Tuning Parameter Selection in Precision Matrices Estimation
最近的文献提供了许多计算和建模方法的协方差阵估计的惩罚高斯图模型,但相对较少的研究已经进行了调整参数的选择。本文试图通过关注使用惩罚似然方法估计稀疏精度矩阵时的收缩参数选择问题来填补这一空白。在这方面,以前的方法通常使用K折交叉验证。在本文中,我们首先推导出的广义近似交叉验证调整参数的选择,这不仅是一个更有效的计算替代,但也实现了更小的误差率模型拟合相比,留一交叉验证。为了在精度矩阵中选择非零项的一致性,我们采用了贝叶斯信息准则,该准则可证明地可以识别高斯模型中的非零条件相关性。我们的模拟表明,这两个建议的选择器相比,留一交叉验证,十倍交叉验证和赤池信息准则的一般优越性。
2009-09-07 stat.ME
On Improved Loss Estimation for Shrinkage Estimators
令$X$是具有分布$P_θ$的随机向量,其中$θ$是未知参数。当在损失函数$L(θ,φ)$下通过某种估计量$φ(X)$估计$θ$时,经典决策理论主张,如果这样的决策规则对于频率论风险$R(θ,φ)$具有合适的性质,则应该使用这样的决策规则。然而,在观测$X=x$之后,在实践中出现了这样的情况,即$φ$应伴随其损失评估$L(θ,φ(x))$,这是不可观测的,因为$θ$是未知的。这种评估的常用方法是考虑通过估计量$δ$(称为损失估计量)估计$L(θ,φ(x))$。我们提出了一个简要的发展损失估计的设置,其中的分布背景是正常的,其扩展的情况下,基本分布是球对称的实质性的重点。我们的概述涵盖了改进的最小二乘损失估计,但主要集中在收缩估计。贝叶斯估计也被认为是与无偏估计的比较。
2012-03-22 stat.ME
Bayesian Covariance Estimation for Multi-group Matrix-variate Data
针对小样本多组矩阵变量数据协方差估计的方法选择难题,提出可同时实现跨组合并收缩与组内Kronecker结构收缩的分层先验,在语音识别等场景验证了效用。
2024-03-07 stat.ME
Optimal shrinkage covariance matrix estimation under random sampling from elliptical distributions
本文考虑了当样本量小于或不大于数据的维数时估计高维(HD)协方差阵的问题。本文提出了一种正则化的样本协方差阵(RSCM)估计器,它可以应用于常见的稀疏数据问题。建议的RSCM估计是基于未知的最佳(oracle)收缩参数,产生最小均方误差(MMSE)之间的RSCM和真正的协方差阵的数据是从一个未指定的椭圆对称分布采样时的估计。我们提出了两种变体的RSCM估计不同的方法,他们估计的基础球度参数中涉及的理论最佳收缩参数。建议RSCM估计的性能进行了评估与数值模拟研究。特别是当样本量较低时,建议的RSCM估计量通常比Ledoit和Wolf(2004)的传统RSCM估计量有显著改善。我们进一步评估所提出的估计在分类和投资组合优化问题与真实数据的性能,其中所提出的方法能够优于基准方法。
2018-08-30 stat.ME
On Bayesian wavelet shrinkage estimation of nonparametric regression models with stationary errors
本文提出一种基于零点质量与逻辑分布混合的贝叶斯规则,用于平稳误差非参数回归模型的小波收缩,其表现优于标准软阈值规则且对信噪比变化不敏感。
2024-04-22 stat.ME
Large-Scale Shrinkage Estimation under Markovian Dependence
我们考虑的问题,同时估计的序列的相关参数,产生的隐马尔可夫模型。基于观察噪声污染的观测向量从这样的序列模型,我们考虑同时估计的所有参数,而不管其隐藏状态下的平方误差损失。我们研究了统计收缩的作用,以改善这些相关参数的估计。由于对未知的底层隐马尔可夫模型的分布特性完全不可知,我们开发了一种新型的非参数收缩算法。我们所提出的方法优雅地结合了基于\textit{Tweedie}的非参数收缩思想,有效地估计马尔可夫依赖下的隐藏状态。基于广泛的数值实验,我们建立优越的性能,我们提出的算法相比,非收缩的最先进的参数以及隐马尔可夫模型中使用的非参数算法。我们提供了我们的方法的决策理论属性,并表现出其增强的功效,流行的收缩方法下建立的独立。我们展示了我们的方法在真实世界数据集上的应用,用于分析时间依赖的社会和经济指标,如搜索趋势和失业率,以及估计空间依赖的拷贝数变异。
2020-03-12 stat.ME stat.ML
Optimal Shrinkage Estimation of Fixed Effects in Linear Panel Data Models
针对现有收缩估计量需强分布假设才能提升精度的问题,提出无需分布假设、在一类收缩估计量中均方误差最优的固定效应估计量,支持时变与序列相关固定效应,还给出了提前一期的预测方法。
2025-09-05 econ.EM stat.ME
Shrinkage estimation of large covariance matrices using multiple shrinkage targets
协方差矩阵的线性收缩估计量--由样本协方差阵的加权平均值和预先指定的收缩目标矩阵定义--在分析高通量分子数据时很受欢迎。然而,它们的业绩在很大程度上取决于目标矩阵的适当选择。本文介绍了一类更灵活的线性收缩估计,可以容纳多个收缩目标矩阵,直接占目标选择的不确定性。这是在共轭贝叶斯框架内完成的,这在计算上是有效的。使用模拟和真实数据,我们表明,该估计是不太敏感的目标误指定,可以优于国家的最先进的(非参数)单目标线性收缩估计。使用来自癌症蛋白质组图谱的蛋白质表达数据,我们说明了如何将多个先验信息来源(从30多种不同的癌症类型中获得)纳入所提出的多目标线性收缩估计器中。特别是,它表明,目标特定的权重可以提供洞察癌症类型之间的差异和相似性。用于该方法的软件可以在http://github.com/HGray384/TAS作为R包免费获得。
2018-09-21 stat.AP stat.ME
Unified implementation and comparison of Bayesian shrinkage methods for treatment effect estimation in subgroups
Data Science and Analytics, Roche, Basel, Switzerland(罗氏,巴塞尔);Clinical Statistics and Analytics, Bayer BCC AG, Basel, Switzerland(拜耳 BCC AG,巴塞尔);Indivi AG, Basel, Switzerland(Indivi AG,巴塞尔)
本文比较了单向和全局收缩方法在连续、二分类、计数和时间到事件终点中的表现,证明收缩方法在均方误差和识别非有效亚组方面优于传统方法。
2026-08-31 stat.ME
Core Shrinkage Covariance Estimation for Matrix-variate Data
随机矩阵的可分离协方差模型提供了矩阵行与列之间的协方差的简约描述,并允许以非常小的样本量进行基于似然的推断。然而,在许多应用中,精确可分性的假设不太可能得到满足,并且使用可分离模型的数据分析可能会忽略或歪曲数据中的重要依赖模式。在这篇文章中,我们提出了一个折衷的可分离和非结构化的协方差估计。我们展示了如何设置的协方差阵可以唯一参数化的一组可分离的协方差阵和一个互补的“核心”协方差阵,其中的核心可分离的协方差阵的单位矩阵。该参数化定义了协方差阵的克罗内克核分解。通过经验Bayes方法对样本协方差阵的核进行收缩,得到了一个能适应总体协方差阵可分性的估计量.
2022-07-25 stat.ME
Shrinkage Estimation in Multilevel Normal Models
这篇评论追溯了理论的演变,开始时查尔斯斯坦在1955年[在Proc。数学统计学家可能吧I(1956)197- 206,Univ. California Press]表明,使用来自$k\ge3$正常群体的每个单独的样本均值来估计其自身的群体平均值$k\ge3$可以对每个可能的$μ=(μ_1,...,μ_k)'$均匀地改进。主要估计量,这里称为“模型I极大极小”,可以通过向任何常数向量收缩样本均值来找到。Stein等人基于随机效应模型(此处为“模型II”)作为后验均值推导出可容许的极小极大收缩估计量,其中$μ_i$值具有其自身的分布。第2节集中在图2,它组织了未知的II级超参数的广泛类别的先验,这些超参数已被证明在“等方差情况下”产生可容许的模型I极大极小收缩估计。“在II级方差上放置一个平坦的先验在这类方差中是独一无二的,因为它具有标度不变性和共轭性,并且它在$μ_i$上引入了Stein的调和先验(SHP)。
2012-03-26 stat.ME
Least Squares and Shrinkage Estimation under Bimonotonicity Constraints
在本文中,我们描述了有效的集类型的算法,最小化的光滑函数一般顺序约束下,一个重要的情况下,双单调的r-由-s矩阵的集合上的功能。这些算法可以用于例如经由最小二乘法或最小绝对偏差(的平滑近似)来估计双单色调回归函数。另一个应用是图像去噪中的收缩估计,或者更一般地,在以合适的基础表示数据之后具有两个有序因子的回归问题,该基础由{1,.,r}x{1,.,s}。各种数值例子说明我们的方法。
2009-01-26 stat.CO stat.ME
Designing Experiments Toward Shrinkage Estimation
我们考虑如何利用越来越多的观察数据来改进随机对照试验(RCT)的设计。我们试图设计一个前瞻性随机对照试验,目的是使用经验贝叶斯估计量来缩小我们试验的因果估计量,使其接近从观察性研究中获得的因果估计量。我们问:我们如何设计实验以更好地补充这种环境下的观察性研究?我们建议使用一个估计,缩小RCT因果估计的每个组成部分向其观测对应的一个因素成比例的方差。首先,我们证明了这个估计的风险可以通过数值积分有效地计算。然后,我们提出了算法,以确定最佳分配的单位层(最好的“设计”)。我们考虑三种选择:奈曼分配;一种是“朴素”设计,假设观察性研究中没有未测量的混杂因素;另一种是“防御性”设计,解释了我们从观察性研究中获得的不完美的参数估计值,以及未测量的混杂因素。我们也结合敏感性分析的结果,以建立护栏的设计,使我们的实验可以合理地分析有和没有收缩。我们证明了这些试验设计的优越性与一个罕见的,二元结果的模拟研究,涉及因果推断。
2022-04-14 stat.ME
Lasso Regression: Estimation and Shrinkage via Limit of Gibbs Sampling
套索的应用是支持在高维设置,只有少数的回归系数被认为是非零的。此外,高维Lasso估计的统计性质通常是在预测变量之间的相关性有界的假设下证明的。在这种情况下,坐标方式的方法,最常见的手段计算套索解决方案,以及在存在低到中等的多重共线性。然而,随着稀疏性的降低和多重共线性的增加,坐标算法的计算速度降低。出于这些限制,我们提出了新的“确定性贝叶斯套索”算法计算套索解决方案。该算法是通过考虑限制版本的贝叶斯套索。确定性贝叶斯套索的性能随着稀疏性的降低和多重共线性的增加而提高,并且可以大幅提高计算速度。一个严格的理论分析表明,(1)确定性贝叶斯套索算法收敛到套索解,(2)它导致了一个表示的套索估计,显示它如何实现两个$\ell_1$和$\ell_2$类型的收缩同时。还提供了与其他算法的连接。确定性贝叶斯套索算法的好处,然后说明模拟和真实数据。
2015-01-06 stat.ME
Mixed Models and Shrinkage Estimation for Balanced and Unbalanced Designs
收缩估计,经验贝叶斯和混合效应模型之间的已知连接进行了探讨,并应用于平衡和不平衡的设计,其中的响应是相关的。作为一个例子,一个混合模型提出了预测结果的英超联赛,考虑到主客场球队的影响。从拟合混合线性模型获得的经验最佳线性无偏预测的基础上的结果进行比较,充分利用先验信息从上一个赛季的贝叶斯预测。
2021-11-04 stat.AP stat.CO stat.ME
Small Area Shrinkage Estimation
公共和私营部门都日益感到需要进行小面积估计,以便制定其战略计划。现在人们普遍认识到,由于标准误和变异系数很大,直接小面积调查的估计数非常不可靠。这背后的原因是,调查通常是为了在比小区域更高的地理水平上达到特定的准确度。由于缺乏额外资源,几乎必须使用同样的数据来进行小面积的估计。例如,如果一项调查旨在估计一个州的人均收入,则需要使用相同的调查数据来为该州的县、县以下和人口普查部门提供类似的估计。因此,小面积估计必然需要明确的,或至少是隐含的,使用模型来连接这些地区。通过从类似的邻近地区“借用力量”,发现了改进的小面积估计。
2012-03-23 stat.ME
Dynamically borrowing strength from another study through shrinkage estimation
元分析方法可用于合并来自不同信息来源的证据。通常,正态-正态分层模型(NNHM)包括随机效应以解释研究间异质性,用于此类分析。同样的建模框架不仅可以用于导出组合估计,还可以用于通过导出收缩估计来从另一个研究中借用特定研究的强度。例如,一项小规模的随机对照试验可以得到一项非随机研究的支持,例如临床登记研究。这在罕见疾病的背景下特别有吸引力。我们证明,荟萃分析仍然是有意义的,在这个极端的两个研究设置,如使用最近的试验和临床登记的克雅氏病。在贝叶斯随机效应荟萃分析中推导收缩估计值可能会大大改善给定的估计值,即使仅基于单个额外的估计值,同时考虑到研究之间的潜在效应异质性。或者,可以通过模型规范等效地进行推断,该模型规范不需要共同的总体平均参数,但考虑了一项研究中的处理效应以及研究之间的效果差异。所提出的方法是相当普遍适用于结合不同类型的证据,例如来自荟萃分析或个别研究。这种更普遍的设置的应用提供了在儿童肝移植后的免疫抑制。
2018-12-04 stat.ME
Shrinkage Algorithms for MMSE Covariance Estimation
我们解决的协方差估计的意义下,最小均方误差(MMSE)的高斯样本。具体来说,我们考虑收缩的方法,这是适合于高维问题的样本数量少(大p小n)。首先,我们改进的Ledoit-Wolf(LW)方法的条件下,充分统计量。通过Rao-Blackwell定理,这产生了一个新的估计称为RBLW,其均方误差优于高斯变量的LW。其次,为了进一步减少估计误差,我们提出了一种迭代的方法,近似千里眼收缩估计。这种迭代方法的收敛性的建立和封闭形式的表达式的限制,这是被称为Oracle逼近收缩(OAS)估计。RBLW和OAS估计器都具有简单的表达式,并且易于实现。虽然这两种方法是从不同的角度发展起来的,但它们的结构在特定的常数下是相同的。RBLW估计证明优于LW方法。数值模拟表明,OAS的方法可以执行甚至比RBLW更好,特别是当n远小于p。我们还证明了这些技术的自适应波束形成的背景下的性能。
2009-07-27 stat.CO stat.ME
On a Class of Shrinkage Priors for Covariance Matrix Estimation
我们提出了一类灵活的模型,基于均匀分布的尺度混合构造收缩先验的协方差阵估计。这类新的先验比传统的常规先验尺度混合具有许多优点,包括其在表征先验密度方面的简单性和灵活性。我们还展示了一个简单的,易于实现的吉布斯采样器的后验模拟,从而导致在高维问题的有效估计。我们首先讨论了这种新方法的理论和计算细节,然后将基本模型扩展到一类新的多元条件自回归模型,用于分析多元面积数据。所提出的空间模型灵活地表征空间和结果的相关性结构在一个吸引人的计算成本。合成和真实世界的数据组成的例子表明,这个新的框架的实用性方面的稳健估计,以及提高预测性能。
2011-10-06 stat.CO stat.ME
Flexible Shrinkage Estimation in High-Dimensional Varying Coefficient Models
研究了基于B样条基展开的高维变系数模型中的变量选择和常系数辨识问题。这两个目标可以被认为是某种类型的模型选择问题,我们表明,他们可以通过一个双收缩策略。我们将自适应组Lasso惩罚应用于涉及不同数量协变量的模型中,这些协变量可能远大于样本量,但我们假设相关变量的数量小于通过模型稀疏性获得的样本量。这种所谓的超高维度设置在我们在这里考虑的半参数模型中特别具有挑战性,并且以前没有处理过。在适当的条件下,我们证明了在变量选择和常数系数识别方面的一致性,以及常数系数的预言性质。即使在零系数和常系数先验已知的情况下,我们的结果似乎是新的,因为它减少到半变系数模型(a.k.a.部分线性变系数模型)。我们还从理论上证明了半参数BIC型准则在这个高维背景下的一致性,扩展了以前的几个结果。通过蒙特卡罗方法研究了估计量的有限样本性质。
2010-08-13 stat.ME