Shrinkage Estimation of the Frechet Mean in Lie groups
非欧几里得空间中的数据在科学和工程的许多领域中经常遇到。例如，在机器人学中，姿态传感器捕获方位，方位是李群的元素。近年来，一些研究人员报道了在非线性空间中设计参数估计算法时考虑李群几何的方法。最大似然估计（MLE）是非常常用的，这是众所周知的统计领域，斯坦的收缩估计占主导地位的MLE在均方意义上假设的意见是从一个正常的人口。在本文中，我们提出了一种新的收缩估计驻留在李群，具体地说，交换或紧李群的数据。本文提出的关键理论结果是：（i）斯坦引理及其证明李群，（ii）证明的优势，建议收缩估计MLE交换和紧李群。我们提出的收缩估计和收缩估计多机器人定位的应用程序的优势模拟研究的例子。
2021-11-30 math.ST stat.TH
A Shrinkage Likelihood Ratio Test for High-Dimensional Subgroup Analysis with a Logistic-Normal Mixture Model
针对现有亚组存在性检验的分布难解、无法处理高维属性的局限，提出基于Logistic-Normal混合模型的收缩似然比检验，通过收缩不可识别参数恢复卡方渐近性，适配高维场景。
2025-03-19 math.ST stat.ME stat.TH
Lower Bounds and a Near-Optimal Shrinkage Estimator for Least Squares using Random Projections
在这项工作中，我们认为使用随机投影的确定性优化作为一个统计估计问题，其中从估计器的预测和真正的解决方案之间的平方距离是误差度量。在近似解决一个大规模的最小二乘问题，使用高斯草图，我们表明，草图的解决方案有一个条件高斯分布的真正的解决方案作为其平均值。首先，紧最坏情况下的误差下界与显式常数推导出任何估计使用高斯草图，和经典草图是最佳无偏估计。对于有偏估计量，下界也包含了关于真解的先验知识。其次，我们使用James-Stein估计器，推导出一个改进的估计器，用于使用高斯草图的最小二乘解。该估计的期望误差的上界，这是小于的任何给定的数据的经典高斯草图解决方案的错误。当已知真实解的SNR较小且数据矩阵条件良态时，上界和下界匹配。经验上，该估计器在模拟和真实数据集上实现了较小的误差，并且也适用于其他常见的草图绘制方法。
2020-06-15 cs.IT math.IT math.OC
Shrinkage Methods for Treatment Choice
本研究提出一种基于收缩估计的治疗选择规则，通过最小化最大遗憾上界选择收缩因子，在CATE空间正确或错误设定下均表现良好，且最大遗憾可严格小于CES和合并规则。
2025-10-07 econ.EM math.ST stat.TH
Shrinkage Estimation for the Diagonal Multivariate Exponential Families
研究了一类协协方差阵的对角元是均值参数的某个二次函数的多元分布均值参数的收缩估计。这类分布包括对角多元自然指数族。我们提出了两类半参数收缩估计的均值和相应的风险构造无偏估计。我们建立了这些收缩估计的渐近一致性和收敛速度下的平方误差损失的$n$，样本量，和$p$，尺寸，趋于无穷大。接下来，我们将这些结果专门用于对角多元自然指数族，这些自然指数族已被分类为由正态分布、泊松分布、伽玛分布、多项式分布、负多项式分布和混合分布组成。我们建立了我们的估计的一致性，在正常的，伽玛，负多项式的情况下，条件是$p n^{-1/3} (\log{n})^{4/3} \to 0$，并在泊松和多项式的情况下，如果$p n^{-1/2} \to 0$，作为$n,p \to \infty$。模拟研究提供了我们的估计的性能进行评估，我们说明，在伽马和泊松的情况下，我们的估计实现比最大似然估计的风险更低，从而证明了我们的估计的优越性，在最大似然估计。
2022-07-01 math.ST stat.TH
Assessing One-Dimensional Cluster Stability by Extreme-Point Trimming
Group of Applied Mathematics and Computational Biology, Ecole Normale Supérieure, PSL University（应用数学与计算生物学组，巴黎高等师范大学，巴黎大学）；Churchill College, Cambridge University（剑桥大学切尔维尔学院）
本研究提出基于极值点截断的直径收缩率方法，推导均匀与高斯分布下的收缩解析表达式，构建的分类规则在小样本/含噪场景准确率优于似然比检验，还可无需调参验证一维聚类稳定性。
2025-08-29 cs.LG math.PR stat.AP
Stein-Rule Shrinkage for Stochastic Gradient Estimation in High Dimensions
Department of Statistics Faculty of Mathematical Sciences（统计学系数学科学学院）；Division of Computer Science Department of Applied Mathematics Faculty of Mathematical Sciences（计算机科学系应用数学系数学科学学院）
本文提出SR-Adam算法，通过Stein规则收缩改进高维随机梯度估计，在大规模学习中实现更优的性能。
2026-02-06 cs.AI cs.LG math.ST
Data enriched linear regression
我们提出了一个线性回归方法，利用第二个可能有偏见的数据集，可能会大得多的小数据集上的预测。我们的方法将线性回归拟合到两个数据集，同时惩罚这两个模型所做预测之间的差异。由此产生的算法是一个收缩的方法类似于那些在小面积估计。我们发现了一个Stein型发现高斯响应：当模型有5个或更多的系数和10个或更多的误差自由度，它变得不允许只使用小的数据集，无论有多大的偏见。我们还提出了插件和基于AICc的方法来调整我们的惩罚参数。我们的大多数结果使用$L_2$惩罚，但我们得到的公式$L_1$惩罚估计时，该模型是专门的位置设置。普通Stein收缩提供了一个不容许的结果，只有3个或更多的系数，但我们发现，我们的收缩方法通常产生低得多的平方误差，在少至5或10个维度时，偏差是小的，基本上相当于平方误差时，偏差是大的。
2014-12-17 stat.ME
Data driven extreme value distribution estimation: Derivation of the Mean Integrated Squared Error, optimal bandwidth selection and stability conditions
Data Lab Hell GmbH（Data Lab Hell 有限公司）
本文提出了一种数据驱动的极值分布估计器，推导了其均方误差，用于计算最优带宽并建立了带宽优化过程的稳定性条件。
2026-05-20 math.ST stat.ME stat.TH
Linear Shrinkage Convexification of Penalized Linear Regression With Missing Data
针对含缺失数据的惩罚线性回归中协方差矩阵非正定、损失函数非凸的问题，提出线性收缩正定（LPD）修正方法，通过修改协方差矩阵实现凸化，理论证明其收敛性并在GDSC数据集验证了有效性。
2025-04-18 stat.ME
C-SURE: Shrinkage Estimator and Prototype Classifier for Complex-Valued Deep Learning
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Peking University（北京大学）
James-Stein（JS）收缩估计量是一种有偏估计量，它能捕获高斯随机向量的均值，虽然它在均方误差（MSE）方面优于极大似然估计量（MLE），但在流形值数据上的推广还没有取得很大的进展。我们提出了C-SURE，一种新的Stein的无偏风险估计（SURE）的JS估计的复值数据的流形上，理论上证明了最佳的MLE。适应复值SurReal分类器的架构，我们进一步将C-SURE纳入原型卷积神经网络（CNN）分类器。我们将C-SURE与SurReal以及复值MSTAR和RadioML数据集上的实值基线进行了比较。C-SURE比SurReal更准确和鲁棒，并且对于相同的原型分类器，收缩估计器总是优于MLE。像SurReal一样，C-SURE要小得多，在MSTAR（RadioML）上的实际值基线上表现优于基线大小的1%（3%）
2020-06-22 cs.LG stat.ML
The Shrinkage Variance Hotelling $T^2$ Test for Genomic Profiling Studies
设计的基因表达微阵列实验，包括几个处理水平，每个水平的重复数，通过应用简单的测试组差异在每个基因水平进行分析。基因水平的统计数据进行排序，并考虑到多重性的重要基因的选择标准。需要注意的是，真正的信号（基因真的过度表达或表达不足）与相当大的第一类错误信号“竞争”。当具有非常小的倍数变化的基因被足够小的方差补偿以产生大的检验统计量时，可能发生排序列表顶部附近的假阳性。围绕这一警告的第一次尝试之一是“微阵列显著性分析（SAM）”的发展，它使用了一个修改的t型统计阈值对它的排列分布。修改后的t统计量的关键创新是每个基因的标准误增加了一个常数，以稳定得到的检验统计量的变异系数。从那时起，一些作者提出了使用收缩方差估计与t型，更一般地说，方差分析类型测试在基因水平。我们的新方法提出了使用收缩方差Hotelling T平方统计量，其中每个基因的样本协方差阵被替换为从所有基因中借用强度的收缩估计。它表明，新的统计量保持F-分布下的零，增加了自由度的分母。这类检验的优点是（i）灵活性，因为可以进行一系列假设检验;（ii）更充分地享受上述早期创新的收益。本文总结了我们的研究结果，并提出了一个模拟研究基准的新统计对另一个最近提出的统计。
2017-12-07 stat.ME
Penalized bias reduction in extreme value estimation for censored Pareto-type data, and long-tailed insurance applications
重尾分布随机截尾数据的尾估计问题受到越来越多的关注，例如在精算统计中的应用。极值指数的可用估计量的偏差可能很大，并强烈依赖于删失量。我们回顾了现有的估计，提出了一个新的偏差减少估计，并显示如何收缩估计可以帮助保持控制下的MSE。提出了一种构造置信区间的Bootstrap算法。我们比较这些新的建议与现有的估计，通过模拟。最后，我们对长尾汽车保险投资组合进行了详细的研究，该投资组合通常具有很强的删失。
2017-05-18 stat.ME
Adaptable Fingerprinting with Nonlinear Shrinkage for Climate Change Detection and Attribution under Variance Heterogeneity
Department of Mathematics and Statistics, Auburn University（奥本大学数学与统计系）
该研究针对气候变化检测归因的高维场景，提出非线性收缩自适应指纹法，联合估计缩放与变异性膨胀因子，提升估计精度与置信区间性能，在气温数据应用中获更优归因结果。
2026-08-14 stat.AP stat.ME
Least Squares and Shrinkage Estimation under Bimonotonicity Constraints
在本文中，我们描述了有效的集类型的算法，最小化的光滑函数一般顺序约束下，一个重要的情况下，双单调的r-由-s矩阵的集合上的功能。这些算法可以用于例如经由最小二乘法或最小绝对偏差（的平滑近似）来估计双单色调回归函数。另一个应用是图像去噪中的收缩估计，或者更一般地，在以合适的基础表示数据之后具有两个有序因子的回归问题，该基础由{1，.，r}x{1，.，s}。各种数值例子说明我们的方法。
2009-01-26 stat.CO stat.ME
Minimax and Adaptive Inference in Nonparametric Function Estimation
自1956年Stein的开创性论文以来，收缩在参数和非参数推断中发挥了重要作用。本文讨论了非参数函数估计中的极大极小性和自适应极大极小性。三个相互关联的问题，函数估计下的整体集成平方误差，估计下逐点平方误差，和非参数置信区间，被认为是。收缩是极小极大理论和适应理论发展的关键。虽然这三个问题是紧密相连的，极小极大理论有一些相似之处，适应理论是惊人的不同。例如，与自适应点估计形成鲜明对比的是，在许多常见的设置中，不存在适应底层函数的未知平滑度的非参数置信区间。这些理论的简要说明。讨论了这些问题之间的联系和区别，并通过实例加以说明。
2012-03-22 stat.ME
A Reduced-Bias Weighted least square estimation of the Extreme Value Index
在本文中，我们提出了一个减少偏差估计的EVI的Pareto型尾（重尾）分布。这是使用加权最小二乘法得出的。证明了该估计在二阶条件下是无偏的、相合的和渐近正态的。有限样本性质的估计进行了研究，通过模拟研究。结果表明，该方法在偏差和均方误差方面都优于已有的极值指数估计。此外，它产生估计的$γ>0$，是不太敏感的顶部-顺序统计量的数量，因此，可以用于选择一个最佳的尾部分数。建议的估计进一步说明使用实际的数据集从土壤化学和保险。
2022-04-10 math.ST stat.AP stat.ME
Pretest and Stein-Type Estimations in Quantile Regression Model
在本研究中，我们考虑分位数回归模型的初步检验和收缩估计策略。在经典的最小二乘估计（LSE）方法中，解释变量和被解释变量在坐标平面上的关系是用一条平均回归线来估计的。为了使用LSE，必须满足关于显示回归模型的白噪声过程的误差项的三个主要假设，也称为Gauss-Markov假设：（1）误差项具有零均值，（2）误差项的方差是常数，以及（3）误差之间的协方差是零，即，不存在自相关。然而，许多领域的数据，包括计量经济学、生存分析和生态学等，并没有提供这些假设。分位数回归是由Koenker首先提出来的，它弥补了经典回归分析的不足，并改进了最小二乘估计。摘要本研究的目的是借由使用预测试与收缩策略来改善分位数回归估计的效能。蒙特卡罗模拟研究，包括比较与分位数$L_1$ -型估计，如拉索，岭和弹性网络的设计，以评估估计的性能。为了说明的目的，给出了两个实际数据的例子。最后，我们得到了所建议的估计量的渐近结果
2017-09-06 math.ST stat.TH
Estimation of High-Dimensional Normal Means through Inferential Models
Purdue University（普渡大学）
针对高维正态均值估计问题，提出基于推断模型的无先验点估计类，利用广义概率积分变换和重加权Anderson-Darling统计量的有序均匀预测随机集，实现有效推断并解释Stein悖论。
2026-06-23 math.ST stat.ME stat.TH
Functional and variables selection in extreme value models for regional flood frequency analysis
本文针对区域洪水频率分析，提出结合贝叶斯P样条与分组马蹄先验的GEV模型，实现协变量非线性效应建模及功能与变量选择，并通过交叉验证证明其能降低未测站预测不确定性且保持校准性能。
2023-06-28 stat.AP stat.ME
Shrinkage linear regression for symbolic interval-valued variables
本文提出一种基于Ridge Regression、Lasso和Elastic Net的符号区间值变量收缩线性回归方法，改进了现有中心法及中心和范围法，在三个真实数据集上验证了其更优的预测性能。
2024-01-10 stat.ME
Unbiased Shrinkage Estimation
收缩估计通常以偏差为代价来减少方差。但是，当我们只关心模型的一些参数时，我证明了如果我们有关于协变量分布的额外信息，我们可以减少方差而不会产生偏差。在具有同方差正态噪声的线性回归模型中，考虑了与控制变量相关的冗余参数的收缩估计。对于至少三个控制变量和外源性治疗，我建立了标准的最小二乘估计是占主导地位的治疗效果的平方误差损失，即使在无偏估计，甚至当目标参数是低维的。在高维正态均值问题中，我通过James-Stein收缩的一个变体构造了支配估计。它可以被解释为一个不变的广义贝叶斯估计与一个无信息（不适当的）Jeffreys先验的目标参数。
2017-10-31 econ.EM math.ST stat.ME
Estimation in Weibull Distribution Under Progressively Type-I Hybrid Censored Data
本文研究了在渐进I型混合截尾下，寿命数据服从韦布尔分布时未知参数的估计问题。利用Newton-Raphson算法、EM算法和SEM算法得到了未知参数的最大似然估计。在此基础上，利用Tierney-Kadane方法和马尔可夫链Monte Carlo（MCMC）方法，分别在三种不同的损失函数，即平方误差损失（SEL）、线性指数损失（LINEX）和广义熵损失（GEL）下得到了贝叶斯估计.同时，给出了收缩预检验估计量。在不同的方案下进行了广泛的Monte Carlo模拟实验，以便使用均方误差，置信区间长度和覆盖概率来比较所列估计的性能。分别采用渐近正态性和MCMC样本获得置信区间和最大后验密度（HPD）区间。最后给出了一个实际数据的例子来说明该方法。最后，提出了一些结论性意见。
2019-11-11 math.ST stat.CO stat.TH
Consistency of Extreme Learning Machines and Regression under Non-Stationarity and Dependence for ML-Enhanced Moving Objects
RWTH Aachen University（亚琛工业大学）
分别由极限学习机进行监督学习。研究了具有随机权重的神经网络在非平稳空间-时间采样设计下的性能，该设计特别针对在非平稳空间环境中移动的自主对象收集和分析数据的设置。随机模型特别考虑到空间异质性和弱依赖性。作为有效的和计算成本低的学习方法（无约束）最小二乘法，岭回归和$\ell_s$ -惩罚最小二乘法（包括LASSO）进行了研究。最小二乘和岭回归估计的一致性和渐近正态性，以及相应的一致性结果的$\ell_s$ -罚款弱条件下。结果还涵盖了样本平方预测误差的界限。
2021-09-01 cs.LG math.ST stat.ML
On the effect of noise on fitting linear regression models
本研究探讨线性回归中噪声预测因子与噪声观测值的影响，揭示二者均引发双下降但效应相反，指出隐式收缩是双下降的驱动因素，并发现噪声观测值会使普通最小二乘估计有偏、岭回归或需负岭参数。
2024-08-15 math.ST stat.TH
Shrinkage estimators in zero-inflated Bell regression model with application
针对零膨胀 Bell 回归模型，本文提出融合参数信息的 Stein 型收缩估计量，证明其渐近性质，并通过模拟和真实数据验证其性能与实用性。
2024-03-01 math.ST stat.AP stat.CO
Fitted value shrinkage
提出一种具备设计矩阵可逆线性变换不变性的拟合值收缩惩罚最小二乘方法，推导最优调优参数并构建估计量，性能与岭惩罚最小二乘相当且计算成本相近。
2024-10-10 stat.ME
Optimal Shrinkage Estimation of Fixed Effects in Linear Panel Data Models
针对现有收缩估计量需强分布假设才能提升精度的问题，提出无需分布假设、在一类收缩估计量中均方误差最优的固定效应估计量，支持时变与序列相关固定效应，还给出了提前一期的预测方法。
2025-09-05 econ.EM stat.ME
Power Transformations of Relative Count Data as a Shrinkage Problem
在这里，我们展示了我们最近提出的信息几何方法的组成数据分析（CoDA）的应用。本申请涉及相对计数数据，例如，从测序实验中获得。首先，我们详细回顾了各种必要的概念，从基本的计数分布和它们的信息几何描述之间的联系贝叶斯统计和收缩使用的功率变换CoDA。然后，我们表明，供电，即，等价于单纯形上的标量乘，可以理解为单纯形的切空间上的收缩问题。在信息几何术语中，传统的收缩对应于沿着混合（或m-）测地线的优化，而幂（或者，正如我们所说的，指数收缩）可以沿着指数（或e-）测地线进行优化。虽然m-测地线对应于使用共轭先验的多项式计数的后验平均值，但e-测地线对应于后验的另一种参数化，其中先验和数据贡献由几何平均值而不是算术平均值加权。为了优化指数收缩参数，我们使用均方误差作为切空间上的成本函数。这只是与真实参数的期望平方艾奇逊距离。我们推导出一个解析解的基础上的三角洲方法，并通过模拟测试它的最小值。我们还讨论了指数收缩作为替代零插补的降维和数据规范化。
2023-02-20 math.ST stat.AP stat.ME
Log-F-penalized Conditional Logistic Regression for Sparse Data
Simon Fraser University（西蒙菲莎大学）
针对稀疏匹配病例对照研究中条件逻辑回归估计量偏差与收缩控制不足问题，提出log-F惩罚条件逻辑回归方法，其在模拟中表现出与Firth方法相当的置信区间覆盖率，且均方误差更低。
2026-08-03 stat.ME
Bayesian Shrinkage Estimation of Negative Multinomial Parameter Vectors
负多项分布是负二项分布的多元推广。本文考虑了在标准化平方误差损失下，基于负多项式变量的观测值估计未知概率矩阵的问题。首先，给出了收缩估计优于UMVU估计的一般充分条件，并构造了满足该条件的经验Bayes估计。其次，介绍了一种分层收缩先验，在一定条件下，一个相关的贝叶斯估计量在UMVU估计量中占主导地位，并对后验计算给出了一些说明。最后，通过模拟比较了收缩估计和UMVU估计。
2020-10-29 math.ST stat.ME stat.TH
Shrinkage Algorithms for MMSE Covariance Estimation
我们解决的协方差估计的意义下，最小均方误差（MMSE）的高斯样本。具体来说，我们考虑收缩的方法，这是适合于高维问题的样本数量少（大p小n）。首先，我们改进的Ledoit-Wolf（LW）方法的条件下，充分统计量。通过Rao-Blackwell定理，这产生了一个新的估计称为RBLW，其均方误差优于高斯变量的LW。其次，为了进一步减少估计误差，我们提出了一种迭代的方法，近似千里眼收缩估计。这种迭代方法的收敛性的建立和封闭形式的表达式的限制，这是被称为Oracle逼近收缩（OAS）估计。RBLW和OAS估计器都具有简单的表达式，并且易于实现。虽然这两种方法是从不同的角度发展起来的，但它们的结构在特定的常数下是相同的。RBLW估计证明优于LW方法。数值模拟表明，OAS的方法可以执行甚至比RBLW更好，特别是当n远小于p。我们还证明了这些技术的自适应波束形成的背景下的性能。
2009-07-27 stat.CO stat.ME
Bias Reduction in Instrumental Variable Estimation through First-Stage Shrinkage
两阶段最小二乘（2SLS）估计是已知的有偏时，其第一阶段的拟合差。我表明，更好的第一阶段预测可以减轻这种偏见。在带正态噪声的两阶段线性回归模型中，考虑了第一阶段工具变量系数估计中的收缩效应。对于至少四个工具变量和一个单一的内生回归，我建立了标准的2SLS估计是占主导地位的偏差。占主导地位的IV估计应用詹姆斯-斯坦型收缩在第一阶段的高维正态平均值问题，其次是控制功能的方法在第二阶段。它保持了结构辅助变量方程的不变性。
2017-10-31 econ.EM math.ST stat.ME
MIST: L0 Sparse Linear Regression with Momentum
大量的注意力已经被给予最小化的惩罚最小二乘准则估计稀疏解的大型线性方程组。惩罚负责诱导稀疏性，自然选择是所谓的$l_0$范数。在本文中，我们开发了一个Momentumized迭代收缩保持（MIST）算法最小化所产生的非凸准则，并证明其收敛到局部极小。在大数据集上的仿真结果表明，该方法的性能优于其他方法。
2015-03-19 stat.ML
Penalty, Shrinkage, and Preliminary Test Estimators under Full Model Hypothesis
本文考虑多元回归模型，在全模型假设下，分析比较了岭回归、LASSO、自适应LASSO、SCAD、弹性网等常用惩罚估计与最小二乘估计、约束估计、初步检验估计的性能，当参数空间的维数小于样本空间的维数时，证明了Stein型估计。我们发现，RR一致主导LSE，RE，PTE，SE和PRSE，而LASSO，aLASSO，SCAD和EN一致主导LSE。此外，据观察，惩罚估计量和斯坦型估计量都不占主导地位。
2015-03-24 math.ST stat.CO stat.ME
Bayesian Shrinkage Approaches to Unbalanced Problems of Estimation and Prediction on the Basis of Negative Multinomial Samples
在本文中，我们处理负多项式变量的估计和预测问题，特别是考虑不平衡的设置。首先，在标准化平方误差损失下，讨论了多个负多项式参数向量的估计问题，在适当的条件下，得到了一个新的优于UMVU估计的经验Bayes估计。其次，我们考虑了Kullback-Leibler发散下多个多项式表的联合预测密度的估计，得到了关于分层收缩先验的贝叶斯预测密度优于关于Jeffreys先验的贝叶斯预测密度的一个充分条件.第三，我们提出的贝叶斯估计和预测密度在模拟中提供了风险改善。最后讨论了负多项式变量的联合预测密度的估计问题。
2021-11-19 math.ST stat.ME stat.TH
Shrinkage Estimation of Higher Order Bochner Integrals
本文考虑高阶希尔伯特空间值Bochner积分在非参数情形下的收缩估计。我们提出的估计，收缩的$U$ -统计估计的Bochner积分对一个预先指定的目标元素在希尔伯特空间。根据退化的内核的$U$ -统计量，我们构建了一致的收缩估计与快速收敛速度，并开发Oracle不等式比较的风险的$U$ -统计量估计和它的收缩版本。令人惊讶的是，我们表明，收缩估计设计的假设完全退化的内核的$U$ -统计量是一个一致的估计，即使内核是不完全退化。这项工作包含并改进了Krikovich等人，2016年，JMLR和Zhou等人，2019年，JMVA，它只处理再生核希尔伯特空间中的均值元素和协方差算子估计。我们还专门我们的结果正常的均值估计，并表明，对于$d\ge 3$，该估计严格提高后，样本均值的均方误差。
2022-07-21 math.ST stat.ME stat.ML
Adaptive Regularization via Extreme Value Distributions for Gaussian Graphical Models
Vanderbilt University（范德堡大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对高斯图模型边选择中固定正则化参数不适应数据的问题，提出基于极值理论的数据自适应惩罚族，通过290个数据集和模拟验证，在保持特异性的同时提高敏感性，推荐Weibull惩罚。
2026-09-09 stat.ME
Optimal shrinkage estimation in heteroscedastic hierarchical linear models
该研究针对存在线性预测变量的异方差分层回归场景，提出基于无偏风险估计的参数与半参数收缩估计量，证明其均方误差下的渐近最优性，经模拟与真实数据验证效果良好。
2015-03-21 stat.ME
Optimal High-Dimensional Shrinkage Covariance Estimation for Elliptical Distributions
本文给出了一个最优收缩样本协方差阵（SCM）估计器，它适用于高维问题和从一个非指定的椭圆对称分布采样时。具体来说，我们推导出最佳（oracle）收缩参数，获得最小的均方误差（MMSE）之间的收缩SCM和真正的协方差阵从椭圆分布采样时。随后，我们展示了如何在随机矩阵理论下一致地估计预言收缩参数。仿真结果表明，所提出的估计的优势，由于Ledoit和Wolf（2004）的传统收缩SCM估计。建议收缩SCM估计往往提供了显着更好的性能比Ledoit-Wolf估计，并具有的优点，即一致性保证在整个类的椭圆分布有限的四阶矩。
2017-06-30 stat.ME
Linear shrinkage of sample covariance matrix or matrices under elliptical distributions: a review
本文综述了单总体和多总体椭圆分布下样本协方差矩阵的线性收缩方法，指出最优收缩系数仅取决于椭圆峰度和球形度等少数参数，并展示了其在投资组合优化中的应用。
2023-08-09 stat.ME
Regression Model With Elliptically Contoured Errors
对于误差服从椭圆等高分布（ECD）的回归模型，我们考虑了回归参数的最小二乘（LS）、限制LS（RLS）、预检验（PT）、Stein型收缩（S）和正规则收缩（PRS）估计。我们比较估计的二次风险，以确定五个估计的相对优势性质。
2012-03-20 math.ST stat.ME stat.TH
A Shrinkage Principle for Heavy-Tailed Data: High-Dimensional Robust Low-Rank Matrix Recovery
本文介绍了一个简单的原则，通过适当的收缩数据的强大的高维统计推断。这拓宽了高维技术的范围，将矩条件从次指数或次高斯分布减少到仅仅是有界的二阶或四阶矩。作为这一原则的一个例子，我们专注于稳健估计的低秩矩阵$Θ^*$从跟踪回归模型$Y=Tr (Θ^{*T}X) +ε$。它包括四个流行的问题：稀疏线性模型，压缩感知，矩阵完成和多任务回归。我们建议应用惩罚最小二乘法适当截断或收缩的数据。在响应仅满足有界$2+δ$矩条件下，所提出的鲁棒方法得到的估计量具有与以往文献相同的统计差错率.对于稀疏线性模型和多任务回归，我们进一步允许设计仅具有有界四阶矩，并再次通过适当收缩设计矩阵获得相同的统计率。作为副产品，当随机样本只有有界四阶矩时，我们给出了一个稳健的协方差阵估计，并建立了它在谱范数意义下的集中不等式。已经进行了大量的模拟来支持我们的理论。
2017-05-04 math.ST stat.ME stat.TH
M-estimators of scatter with eigenvalue shrinkage
一种流行的正则化（收缩）协方差估计是收缩样本协方差阵（SCM），它与SCM共享相同的特征向量集，但将其特征值向其总均值收缩。本文考虑了一种更一般的方法，其中SCM被散布矩阵的M-估计所取代，并提出了一种全自动的数据自适应方法来计算具有最小均方误差的最优收缩参数。我们的方法允许使用任何权重函数，如高斯，Huber的，或$t$的权重函数，所有这些都是常用的M-估计框架。我们的仿真例子表明，收缩M-估计的基础上提出的最佳调整结合强大的权重函数不松散的性能收缩SCM估计时，数据是高斯，但提供显着改善的性能时，数据是从重尾分布采样。
2020-02-12 stat.ME stat.ML
Nonparametric Stein-type Shrinkage Covariance Matrix Estimators in High-Dimensional Settings
估计协方差阵在变量数大于观测数的应用中是一项重要任务。估计高维协方差矩阵的收缩方法经常被用来规避样本协方差阵的限制。提出了一类新的非参数Stein型收缩协方差估计，其成员表示为样本协方差阵和预定可逆目标矩阵的凸线性组合.在Frobenius范数准则下，定义最佳凸线性组合的最佳收缩强度取决于不可观测的协方差阵，并且必须从数据中估计。一个简单而有效的估计过程，产生非参数和相合估计量的最佳收缩强度为三个流行的目标矩阵。在模拟中，建议斯坦型收缩协方差阵估计的基础上缩放的单位矩阵似乎是高达80%的效率比现有的极端高维设置。结肠癌数据集进行了分析，以证明所提出的估计的效用。一个经验法则的特设选择三个常用的目标矩阵的建议。
2014-11-03 stat.ME
Bayesian wavelet shrinkage for low SNR data based on the Epanechnikov kernel
针对低信噪比数据，提出一种基于Epanechnikov分布与零点质量混合先验的贝叶斯小波收缩规则，并验证了其统计性质及在模拟与真实EEG数据上的优越性。
2025-07-15 stat.ME
Improved Covariance Matrix Estimator using Shrinkage Transformation and Random Matrix Theory
SAP Labs（SAP实验室）
从样本协方差阵估计总体协方差矩阵是多变量分析中的一个主要难题。最近的协方差阵估计使用收缩变换或随机矩阵理论（RMT）的渐近结果。收缩技术有助于将极端相关值拉向某些目标值，而来自RMT的工具有助于去除SCM的噪声特征值。这两种技术都使用不同的方法来实现类似的目标，即去除噪声相关性并向SCM添加结构以克服偏差-方差权衡。在本文中，我们首先批判性地评估这两种技术的利弊，然后提出了一种改进的估计，利用两者的优点，通过采取最佳加权凸组合的协方差阵估计的改进收缩变换和RMT基于过滤器。它是一种广义估计器，可以通过执行超参数优化来适应各种数据集中不断变化的采样噪声条件。我们证明了这个估计的有效性的问题上设计一个金融投资组合的最小风险。我们之所以选择这个问题，是因为股票市场数据的复杂性质提供了极端条件来测试协方差估计量的稳健性。使用来自世界上最大的四个证券交易所的数据，我们表明，我们提出的估计优于现有的估计，在最大限度地减少样本外的投资组合的风险，从而更准确地预测人口统计。由于协方差分析是一个重要的统计工具，这种估计器可以用于广泛的机器学习，信号处理和高维模式识别应用。
2019-12-08 cs.LG eess.SP stat.ME
Multi-Target Shrinkage
Stein表明，多元样本均值优于“收缩”到一个恒定的目标向量。Ledoit和Wolf将这种方法推广到样本协方差阵，并提出了单位元的倍数作为收缩目标。在一个一般的框架中，独立于一个特定的估计，我们扩展收缩的概念，允许同时收缩一组目标。应用场景包括以下设置：（A）来自潜在相似分布的额外数据集，（B）非平稳性，（C）数据的自然分组或（D）可以作为目标的多个替代估计量。我们表明，这种多目标收缩可以转化为一个二次规划，并推导出条件下，估计的收缩强度产生最佳的预期平方误差的限制。以样本均值和样本协方差为例，给出了MTS最优性成立的条件。我们考虑两个渐近设置：大尺寸限制（LDL），其中的维数和观测的数量以相同的速率无穷大，和有限的观测大尺寸限制（FOLDL），其中只有维数无穷大，而观测的数量保持不变。然后，我们在广泛的模拟和现实世界的数据显示的有效性。
2014-12-05 stat.ME stat.ML
Shrinkage Estimators in Online Experiments
我们开发和分析经验贝叶斯斯坦型估计量，用于估计大规模在线实验中的因果效应。虽然在线实验通常被认为是区别于其大样本量，我们专注于治疗组的多样性。典型的分析实践是使用简单的均值差异（可能需要协变量调整），就好像所有治疗组都是独立的。在这项工作中，我们开发了一致的，小偏差，收缩估计这种设置。除了实现较低的均方误差，这些估计保留了重要的频率属性，如最合理的情况下覆盖。现代顺序实验和优化方法，如多臂强盗优化（治疗分配随着时间的推移适应先前的反应）受益于我们的收缩估计。经验贝叶斯下的探索更有效地集中在接近最优的武器，改善在不确定性下做出的决策。我们通过研究2017年4月至6月在Facebook上进行的17个大规模实验来证明这些特性。
2019-04-29 stat.ME
Robust Estimation and Shrinkage in Ultrahigh Dimensional Expectile Regression with Heavy Tails and Variance Heterogeneity
高维数据的重尾现象和异质性在各个科学领域中普遍存在，给经典统计方法带来了新的挑战。本文将非对称平方损失和huber型稳健技术相结合，提出了一种适用于高维重尾异质数据的稳健期望回归方法。与经典的huber方法不同，我们在两边引入了两个不同的调节参数来解释可能的不对称性，并允许它们发散以减少由鲁棒近似引起的偏差。在正则化框架中，我们采用了一般折叠凹罚函数，如SCAD或MCP罚函数来寻求偏差减少。我们研究了相应估计量的有限样本性质，并弄清楚我们的方法如何发挥其作用，以权衡估计精度对重尾分布。此外，注意到鲁棒非对称损失函数是处处可微的，基于我们的理论研究，我们提出了一个有效的一阶优化算法后，局部线性逼近的非凸问题。在不同分布下的仿真研究表明，我们的方法在系数估计，模型选择和异质性检测令人满意的性能。
2019-10-01 math.ST stat.ME stat.TH
Adaptive Monotone Shrinkage for Regression
我们开发了一个自适应单调收缩估计的回归模型具有以下特点：i）密集系数小，但重要的影响; ii）先验排序，表明可能的预测重要性的功能。我们捕捉这两个属性与经验贝叶斯估计，收缩系数单调相对于其预期的重要性。该估计量可以使用Pool-Adjacent-Violators算法的一个版本快速计算。我们表明，建议的单调收缩方法是有竞争力的类的所有贝叶斯估计，共享先验信息。我们进一步观察到，估计量也最大限度地减少斯坦的无偏风险估计。随着我们的关键结果，估计模仿甲骨文贝叶斯规则的顺序假设下，我们也证明了估计是稳健的。即使没有阶的假设，我们的估计模仿的最佳性能的一个大家庭的估计，包括最小二乘估计，常数- $λ$岭估计，James-Stein估计等所有的理论结果是非渐近的。仿真结果和文本处理模型的数据分析提供了支持的理论。
2015-05-07 stat.ME
Adaptive Experimental Design Using Shrinkage Estimators
Claremont McKenna College（克莱蒙特麦肯纳学院）；University of New South Wales（新南威尔士大学）
本文提出了一种基于Stein-like收缩估计器的自适应实验设计方法，通过共享治疗效果信息减少估计误差，提升因果估计效率。
2026-07-31 math.ST stat.ME stat.TH
Optimal shrinkage covariance matrix estimation under random sampling from elliptical distributions
本文考虑了当样本量小于或不大于数据的维数时估计高维（HD）协方差阵的问题。本文提出了一种正则化的样本协方差阵（RSCM）估计器，它可以应用于常见的稀疏数据问题。建议的RSCM估计是基于未知的最佳（oracle）收缩参数，产生最小均方误差（MMSE）之间的RSCM和真正的协方差阵的数据是从一个未指定的椭圆对称分布采样时的估计。我们提出了两种变体的RSCM估计不同的方法，他们估计的基础球度参数中涉及的理论最佳收缩参数。建议RSCM估计的性能进行了评估与数值模拟研究。特别是当样本量较低时，建议的RSCM估计量通常比Ledoit和Wolf（2004）的传统RSCM估计量有显著改善。我们进一步评估所提出的估计在分类和投资组合优化问题与真实数据的性能，其中所提出的方法能够优于基准方法。
2018-08-30 stat.ME
Shrinkage Estimation and Prediction for Joint Type-II Censored Data from Two Burr-XII Populations
本文针对两个2参数Burr-XII分布，在联合II型删失方案下应用线性和预检收缩估计技术进行参数估计与预测，并通过Monte Carlo模拟和真实数据集验证了方法性能。
2024-01-05 stat.AP stat.CO stat.ME
