Combining Observational and Experimental Datasets Using Shrinkage Estimators
我们考虑的问题相结合的数据从观测和实验来源，使因果关系的结论。这个问题越来越重要，因为现代已经在电子商务和电子健康等领域被动收集了大量观测数据集。这些数据可以用来补充实验数据，这往往是昂贵的获得。在Rosenman等人（2018）中，我们在假设测量了所有混杂因素的情况下考虑了这个问题。在这里，我们放松了不混淆的假设。为了获得具有理想性质的组合估计，我们利用Stein收缩文献的结果。我们的贡献是三方面的。首先，我们提出了一个通用的程序，在这种情况下，利用广义无偏风险估计的收缩估计。其次，我们开发了两个新的估计，证明有限样本条件下，他们有较低的风险比估计只使用实验数据，并表明，每个实现的概念渐近最优。第三，我们在敏感性分析中将我们的方法和结果联系起来，包括提出一种评估我们估计的可行性的方法。
2020-05-18 math.ST stat.ME stat.TH
Shrinkage estimators in zero-inflated Bell regression model with application
针对零膨胀 Bell 回归模型，本文提出融合参数信息的 Stein 型收缩估计量，证明其渐近性质，并通过模拟和真实数据验证其性能与实用性。
2024-03-01 math.ST stat.AP stat.CO
Shrinkage Estimation of Higher Order Bochner Integrals
本文考虑高阶希尔伯特空间值Bochner积分在非参数情形下的收缩估计。我们提出的估计，收缩的$U$ -统计估计的Bochner积分对一个预先指定的目标元素在希尔伯特空间。根据退化的内核的$U$ -统计量，我们构建了一致的收缩估计与快速收敛速度，并开发Oracle不等式比较的风险的$U$ -统计量估计和它的收缩版本。令人惊讶的是，我们表明，收缩估计设计的假设完全退化的内核的$U$ -统计量是一个一致的估计，即使内核是不完全退化。这项工作包含并改进了Krikovich等人，2016年，JMLR和Zhou等人，2019年，JMVA，它只处理再生核希尔伯特空间中的均值元素和协方差算子估计。我们还专门我们的结果正常的均值估计，并表明，对于$d\ge 3$，该估计严格提高后，样本均值的均方误差。
2022-07-21 math.ST stat.ME stat.ML
Multiple Observers Ranked Set Samples for Shrinkage Estimators
分级集抽样（RSS）被用作一种强大的数据收集技术，用于测量研究变量需要昂贵和/或繁琐的过程的情况，而抽样单元可以容易地分级（例如，骨质疏松症研究）。本文针对线性回归、随机约束回归和逻辑斯谛回归的系数估计中的共线性问题，提出了多观测站RSS数据下岭型和Liu型收缩估计.通过广泛的数值研究，我们表明，收缩方法与多观察员RSS的结果更有效的系数估计。开发的方法，最后应用到骨矿物质数据分析的骨疾病状态的妇女年龄在50岁及以上。
2021-10-15 math.ST stat.CO stat.ME
From Minimax Shrinkage Estimation to Minimax Shrinkage Prediction
在一个显着的一系列文件开始于1956年，查尔斯斯坦设置阶段的未来发展的极小极大收缩估计的多元正态平均二次损失。最近，平行的发展已经看到了Kullback-Leibler风险下的多元正态预测密度的极小极大收缩估计的出现。我们在这里描述这些平行强调贝叶斯程序和推导的超调和条件的minimaxity以及进一步发展的新的minimax收缩预测密度估计，包括多个收缩估计，经验贝叶斯估计，正常的线性模型回归估计和非参数回归估计的重点。
2012-03-26 stat.ME
Markov adaptive Pólya trees and multi-resolution adaptive shrinkage in nonparametric modeling
我们引入了一个分层的非参数模型的基础上的多分辨率变换的概率分布的概率测度。该模型允许将变化量的收缩应用于不同尺度的数据特征和/或样本空间中不同位置处的数据特征，并且变化的收缩水平局部地适应于数据的经验行为。此外，该模型的分层设计-通过潜在的马尔可夫树结构-允许在设置自适应收缩水平时跨位置和尺度借用信息。在该模型下，使用共轭层次模型的一般配方进行有效的推理。我们说明了工作的模型在密度估计和评估其性能，通过模拟下的几个示意性的情况下精心设计的各种应用程序的代表。我们比较其性能的几个国家的最先进的非参数模型-波利亚树，可选的波利亚树，和Dirichlet过程混合法线。此外，我们建立了几个重要的理论性质的模型，包括绝对连续性，全非参数，后验一致性。
2015-03-28 math.ST stat.ME stat.TH
Unbiased Shrinkage Estimation
收缩估计通常以偏差为代价来减少方差。但是，当我们只关心模型的一些参数时，我证明了如果我们有关于协变量分布的额外信息，我们可以减少方差而不会产生偏差。在具有同方差正态噪声的线性回归模型中，考虑了与控制变量相关的冗余参数的收缩估计。对于至少三个控制变量和外源性治疗，我建立了标准的最小二乘估计是占主导地位的治疗效果的平方误差损失，即使在无偏估计，甚至当目标参数是低维的。在高维正态均值问题中，我通过James-Stein收缩的一个变体构造了支配估计。它可以被解释为一个不变的广义贝叶斯估计与一个无信息（不适当的）Jeffreys先验的目标参数。
2017-10-31 econ.EM math.ST stat.ME
Self-Distillation is Optimal Among Spectral Shrinkage Estimators in Spiked Covariance Models
Department of Statistics, Harvard University（哈佛大学统计学系）；Department of Mathematics & Statistics, Boston University（波士顿大学数学与统计学系）
本文研究了自蒸馏在带噪协方差模型中的表现，证明了在谱收缩估计器中，s步自蒸馏在性能上最优，并展示了其在统计和机器学习中的优势。
2026-05-18 cs.LG math.ST stat.ME
High dimensional discriminant rules with shrinkage estimators of the covariance matrix and mean vector
线性判别分析（LDA）是解决大维数、小样本分类问题的一种典型方法。基于协方差阵和均值向量的不同类型的估计量，存在各种类型的LDA方法。在本文中，我们考虑基于非参数方法的收缩方法。对于精度矩阵，研究了基于稀疏结构或数据分裂的方法。关于均值向量的估计，采用非参数经验贝叶斯（NPEB）方法和非参数极大似然估计（NPMLE）方法，也分别称为f-建模和g-建模。分析了基于协方差阵和均值向量联合估计策略的线性判别规则的性能。特别是，该研究提出了NPEB方法的性能的理论结果，并与以前的研究进行了比较。利用不同的协方差阵和均值向量结构进行了仿真研究，以评估本文所讨论的方法。此外，还提供了基因表达和EEG数据等实际数据示例
2023-03-05 math.ST stat.ME stat.TH
Penalty, Shrinkage, and Preliminary Test Estimators under Full Model Hypothesis
本文考虑多元回归模型，在全模型假设下，分析比较了岭回归、LASSO、自适应LASSO、SCAD、弹性网等常用惩罚估计与最小二乘估计、约束估计、初步检验估计的性能，当参数空间的维数小于样本空间的维数时，证明了Stein型估计。我们发现，RR一致主导LSE，RE，PTE，SE和PRSE，而LASSO，aLASSO，SCAD和EN一致主导LSE。此外，据观察，惩罚估计量和斯坦型估计量都不占主导地位。
2015-03-24 math.ST stat.CO stat.ME
Bayesian Shrinkage Approaches to Unbalanced Problems of Estimation and Prediction on the Basis of Negative Multinomial Samples
在本文中，我们处理负多项式变量的估计和预测问题，特别是考虑不平衡的设置。首先，在标准化平方误差损失下，讨论了多个负多项式参数向量的估计问题，在适当的条件下，得到了一个新的优于UMVU估计的经验Bayes估计。其次，我们考虑了Kullback-Leibler发散下多个多项式表的联合预测密度的估计，得到了关于分层收缩先验的贝叶斯预测密度优于关于Jeffreys先验的贝叶斯预测密度的一个充分条件.第三，我们提出的贝叶斯估计和预测密度在模拟中提供了风险改善。最后讨论了负多项式变量的联合预测密度的估计问题。
2021-11-19 math.ST stat.ME stat.TH
System Reliability Estimation via Shrinkage
本文针对多组件相干可靠性系统，提出一种对组件级估计器应用收缩变换的非参数方法，在特定损失函数下提升了系统可靠性估计的效率。
2025-09-17 math.ST stat.ME stat.TH
Ledoit-Wolf linear shrinkage with unknown mean
本文在均值未知的 Kolmogorov 渐近框架下，将 Ledoit-Wolf 线性收缩估计推广到平移不变估计量，证明其收敛性质，并提出一个在实验中优于标准方法的新估计量。
2025-03-11 math.ST q-fin.ST stat.ME
Optimal Shrinkage Estimation of Fixed Effects in Linear Panel Data Models
针对现有收缩估计量需强分布假设才能提升精度的问题，提出无需分布假设、在一类收缩估计量中均方误差最优的固定效应估计量，支持时变与序列相关固定效应，还给出了提前一期的预测方法。
2025-09-05 econ.EM stat.ME
Optimal High-Dimensional Shrinkage Covariance Estimation for Elliptical Distributions
本文给出了一个最优收缩样本协方差阵（SCM）估计器，它适用于高维问题和从一个非指定的椭圆对称分布采样时。具体来说，我们推导出最佳（oracle）收缩参数，获得最小的均方误差（MMSE）之间的收缩SCM和真正的协方差阵从椭圆分布采样时。随后，我们展示了如何在随机矩阵理论下一致地估计预言收缩参数。仿真结果表明，所提出的估计的优势，由于Ledoit和Wolf（2004）的传统收缩SCM估计。建议收缩SCM估计往往提供了显着更好的性能比Ledoit-Wolf估计，并具有的优点，即一致性保证在整个类的椭圆分布有限的四阶矩。
2017-06-30 stat.ME
M-estimators of scatter with eigenvalue shrinkage
一种流行的正则化（收缩）协方差估计是收缩样本协方差阵（SCM），它与SCM共享相同的特征向量集，但将其特征值向其总均值收缩。本文考虑了一种更一般的方法，其中SCM被散布矩阵的M-估计所取代，并提出了一种全自动的数据自适应方法来计算具有最小均方误差的最优收缩参数。我们的方法允许使用任何权重函数，如高斯，Huber的，或$t$的权重函数，所有这些都是常用的M-估计框架。我们的仿真例子表明，收缩M-估计的基础上提出的最佳调整结合强大的权重函数不松散的性能收缩SCM估计时，数据是高斯，但提供显着改善的性能时，数据是从重尾分布采样。
2020-02-12 stat.ME stat.ML
Nonparametric Stein-type Shrinkage Covariance Matrix Estimators in High-Dimensional Settings
估计协方差阵在变量数大于观测数的应用中是一项重要任务。估计高维协方差矩阵的收缩方法经常被用来规避样本协方差阵的限制。提出了一类新的非参数Stein型收缩协方差估计，其成员表示为样本协方差阵和预定可逆目标矩阵的凸线性组合.在Frobenius范数准则下，定义最佳凸线性组合的最佳收缩强度取决于不可观测的协方差阵，并且必须从数据中估计。一个简单而有效的估计过程，产生非参数和相合估计量的最佳收缩强度为三个流行的目标矩阵。在模拟中，建议斯坦型收缩协方差阵估计的基础上缩放的单位矩阵似乎是高达80%的效率比现有的极端高维设置。结肠癌数据集进行了分析，以证明所提出的估计的效用。一个经验法则的特设选择三个常用的目标矩阵的建议。
2014-11-03 stat.ME
Robust regression based on shrinkage estimators
针对线性回归问题，提出了一种参数的鲁棒估计方法.它是基于收缩的概念，经常用于金融和以前研究的异常检测多变量数据。一个彻底的模拟研究进行调查：正常和重尾误差的效率，在污染下的鲁棒性，计算时间，仿射等方差和崩溃值的回归估计。两个经典的数据集经常使用的文献和一个真正的社会经济数据集的生活环境Deadly的地区在利物浦（英国），进行了研究。仿真结果和实际数据的例子表明，所提出的稳健估计回归的优点。
2019-05-08 stat.ME
Optimal shrinkage estimation in heteroscedastic hierarchical linear models
该研究针对存在线性预测变量的异方差分层回归场景，提出基于无偏风险估计的参数与半参数收缩估计量，证明其均方误差下的渐近最优性，经模拟与真实数据验证效果良好。
2015-03-21 stat.ME
Shrinkage estimation of large covariance matrices using multiple shrinkage targets
协方差矩阵的线性收缩估计量--由样本协方差阵的加权平均值和预先指定的收缩目标矩阵定义--在分析高通量分子数据时很受欢迎。然而，它们的业绩在很大程度上取决于目标矩阵的适当选择。本文介绍了一类更灵活的线性收缩估计，可以容纳多个收缩目标矩阵，直接占目标选择的不确定性。这是在共轭贝叶斯框架内完成的，这在计算上是有效的。使用模拟和真实数据，我们表明，该估计是不太敏感的目标误指定，可以优于国家的最先进的（非参数）单目标线性收缩估计。使用来自癌症蛋白质组图谱的蛋白质表达数据，我们说明了如何将多个先验信息来源（从30多种不同的癌症类型中获得）纳入所提出的多目标线性收缩估计器中。特别是，它表明，目标特定的权重可以提供洞察癌症类型之间的差异和相似性。用于该方法的软件可以在http://github.com/HGray384/TAS作为R包免费获得。
2018-09-21 stat.AP stat.ME
Adaptive Monotone Shrinkage for Regression
我们开发了一个自适应单调收缩估计的回归模型具有以下特点：i）密集系数小，但重要的影响; ii）先验排序，表明可能的预测重要性的功能。我们捕捉这两个属性与经验贝叶斯估计，收缩系数单调相对于其预期的重要性。该估计量可以使用Pool-Adjacent-Violators算法的一个版本快速计算。我们表明，建议的单调收缩方法是有竞争力的类的所有贝叶斯估计，共享先验信息。我们进一步观察到，估计量也最大限度地减少斯坦的无偏风险估计。随着我们的关键结果，估计模仿甲骨文贝叶斯规则的顺序假设下，我们也证明了估计是稳健的。即使没有阶的假设，我们的估计模仿的最佳性能的一个大家庭的估计，包括最小二乘估计，常数- $λ$岭估计，James-Stein估计等所有的理论结果是非渐近的。仿真结果和文本处理模型的数据分析提供了支持的理论。
2015-05-07 stat.ME
A Locally Adaptive Shrinkage Approach to False Selection Rate Control in High-Dimensional Classification
分类器的不确定性量化和错误控制在许多高后果决策场景中至关重要。我们提出了一个选择性的分类框架，提供了一个优柔寡断的选择，任何意见，不能与信心进行分类。错误选择率（FSR），定义为所有明确的分类中的错误分类的预期分数，提供了一个有用的错误率概念，权衡了一小部分的犹豫不决，更少的分类错误。我们开发了一类新的局部自适应收缩和选择（LASS）规则FSR控制的背景下，高维线性判别分析（LDA）。LASS易于分析，在稀疏和密集状态下都具有强大的性能。FSR控制的理论保证建立在没有强大的假设稀疏所需的现有理论在高维LDA。LASS的经验性能进行了研究，使用模拟和真实数据。
2022-10-09 math.ST stat.ME stat.TH
Shrinkage Estimators in Online Experiments
我们开发和分析经验贝叶斯斯坦型估计量，用于估计大规模在线实验中的因果效应。虽然在线实验通常被认为是区别于其大样本量，我们专注于治疗组的多样性。典型的分析实践是使用简单的均值差异（可能需要协变量调整），就好像所有治疗组都是独立的。在这项工作中，我们开发了一致的，小偏差，收缩估计这种设置。除了实现较低的均方误差，这些估计保留了重要的频率属性，如最合理的情况下覆盖。现代顺序实验和优化方法，如多臂强盗优化（治疗分配随着时间的推移适应先前的反应）受益于我们的收缩估计。经验贝叶斯下的探索更有效地集中在接近最优的武器，改善在不确定性下做出的决策。我们通过研究2017年4月至6月在Facebook上进行的17个大规模实验来证明这些特性。
2019-04-29 stat.ME
Robust $M$-Estimation of Scatter Matrices via Precision Structure Shrinkage
Joint Graduate School of Mathematics for Innovation, Kyushu University（九州大学数学创新联合研究生院）；Faculty of Mathematics, Kyushu University（九州大学数学学院）
本文提出了一种通过精度结构收缩改进散射矩阵M估计的鲁棒方法，解决了高维数据下估计性能下降的问题。
2026-02-17 math.ST stat.CO stat.ME
Regression Model With Elliptically Contoured Errors
对于误差服从椭圆等高分布（ECD）的回归模型，我们考虑了回归参数的最小二乘（LS）、限制LS（RLS）、预检验（PT）、Stein型收缩（S）和正规则收缩（PRS）估计。我们比较估计的二次风险，以确定五个估计的相对优势性质。
2012-03-20 math.ST stat.ME stat.TH
Shrinkage Estimators for Beta Regression Models
针对Beta回归模型中解释变量共线性影响参数估计的问题，本文从带logit链接函数的惩罚似然角度提出岭回归和LASSO收缩估计量，并通过模拟和实际数据验证了其性质。
2024-06-26 stat.AP stat.ME
Shrinkage MMSE estimators of covariances beyond the zero-mean and stationary variance assumptions
本文提出超越零均值和平稳方差假设的协方差收缩MMSE估计器，通过扩展正则化矩阵并引入置信权重提升鲁棒性，在天文检测中验证了其优越性。
2024-06-26 astro-ph.IM stat.ME
A shrinkage estimation for large dimensional precision matrices using random matrix theory
本文提出了精度矩阵的一种新的岭型收缩估计。导出了渐近最优收缩系数和理论损失。基于随机矩阵理论的渐近结果，对收缩系数进行了数据驱动的估计。新的估计量具有简单的显式公式，是分布自由的，适用于观测维数大于样本量的情况。此外，无需对总体协方差阵或精密度矩阵的结构进行假设。最后，进行数值研究，以检查性能的新估计和现有的方法，为广泛的设置。
2019-09-03 stat.ME
Non-parametric shrinkage mean estimation for quadratic loss functions with unknown covariance matrices
本文在已知二次损失函数和未知协方差阵的情况下，提出了总体均值的收缩估计。新的估计量是非参数的，因为它不假设数据的特定参数分布，也不需要关于总体协方差阵的先验信息。分析结果的改进建议的收缩估计，并得到一些相应的渐近性质。最后，我们通过广泛的模拟研究和实际数据分析证明了所提出的方法比现有方法的实际改进。关键词：高维数据;收缩估计;大$p$小$n$ ; $U$ -统计量。
2014-11-06 stat.ME
Improving Reliability of Subject-Level Resting-State fMRI Parcellation with Shrinkage Estimators
静息态功能磁共振成像（rsfMRI）的最新研究方向是将人脑细分为解剖学和功能上不同的感兴趣区域。例如，大脑分区通常用于定义连接研究中的网络节点。虽然推理传统上是在组级数据上进行的，但对单个主题数据的分割越来越感兴趣。然而，由于rsfMRI数据的低信噪比，加上通常较短的扫描长度，这是困难的。大量的大脑分割方法采用聚类，其开始于体素之间的相似性或距离的测量。这项工作的目标是提高重复性的单一主题parcellation使用收缩估计的这些措施，允许嘈杂的主题特定的估计“借用强度”在一个原则性的方式从一个更大的群体的主题。我们提出了几个经验贝叶斯收缩估计和收缩时，多个扫描的轮廓方法是不适用于每个主题。我们对原始体素间相关性估计进行收缩，并使用原始和收缩估计通过对体素进行聚类来产生包裹。我们所提出的方法是不可知的聚类方法的选择，可以用作任何聚类算法的预处理步骤。使用两个数据集-一个模拟的数据集，其中真正的包裹是已知的，是特定的主题和一个重测数据集组成的两个7分钟的rsfMRI扫描从20个主题-我们表明，包裹产生的收缩相关性估计有更高的可靠性和有效性比那些产生的原始估计。重测数据的应用表明，使用收缩估计增加了再现性的主题特定的包裹运动皮层高达30%。
2015-10-28 stat.ME
Optimal shrinkage covariance matrix estimation under random sampling from elliptical distributions
本文考虑了当样本量小于或不大于数据的维数时估计高维（HD）协方差阵的问题。本文提出了一种正则化的样本协方差阵（RSCM）估计器，它可以应用于常见的稀疏数据问题。建议的RSCM估计是基于未知的最佳（oracle）收缩参数，产生最小均方误差（MMSE）之间的RSCM和真正的协方差阵的数据是从一个未指定的椭圆对称分布采样时的估计。我们提出了两种变体的RSCM估计不同的方法，他们估计的基础球度参数中涉及的理论最佳收缩参数。建议RSCM估计的性能进行了评估与数值模拟研究。特别是当样本量较低时，建议的RSCM估计量通常比Ledoit和Wolf（2004）的传统RSCM估计量有显著改善。我们进一步评估所提出的估计在分类和投资组合优化问题与真实数据的性能，其中所提出的方法能够优于基准方法。
2018-08-30 stat.ME
Linear shrinkage of sample covariance matrix or matrices under elliptical distributions: a review
本文综述了单总体和多总体椭圆分布下样本协方差矩阵的线性收缩方法，指出最优收缩系数仅取决于椭圆峰度和球形度等少数参数，并展示了其在投资组合优化中的应用。
2023-08-09 stat.ME
Multivariate outlier detection based on a robust Mahalanobis distance with shrinkage estimators
基于收缩的概念，提出了一组用于多变量离群点检测的鲁棒马氏距离。稳健的强度和缩放因子被最佳地估计以定义收缩。研究了仿射等方差和击穿值等性质。通过与文献中的其他技术的比较，在模拟研究和真实数据集的性能的建议说明。当基础分布是重尾或偏态时的行为表明，当我们偏离常见的正态性假设时，该方法是适当的。在绝大多数情况下，所得到的高正确检测率和低错误检测率，以及显着更小的计算时间显示了我们的建议的优点。
2019-04-04 stat.ME
Error Propagation in Spectral Functionals of Shrinkage Covariance Estimators: Perturbation Bounds and Calibrated Inference
Chalmers University of Technology（查尔姆斯理工大学）
研究收缩协方差估计器谱泛函中的误差传播，通过推导特征子空间的零律、利用无分布方法校准测试等，证明尺度不变标量泛函的免疫性，给出高维无偏估计器，经模拟验证，用于总体未知时的诊断。
2026-07-08 math.ST q-fin.ST stat.CO
Sparse Laplacian Shrinkage with the Graphical Lasso Estimator for Regression Problems
本文考虑了预测变量间具有复杂相关结构的高维线性回归问题。我们提出了一个图约束正则化过程，命名为稀疏拉普拉斯收缩与图形套索估计（SLS-GLE）。该过程使用估计的精度矩阵来描述预测变量之间的条件依赖模式的具体信息，并鼓励回归模型和图模型的稀疏性。介绍了利用图信息的拉普拉斯二次罚函数，并详细讨论了利用精度矩阵构造拉普拉斯矩阵的优点。理论性质和数值比较表明，所提出的方法提高了模型的可解释性和估计精度。我们还将此方法应用于一个金融问题，并证明了所提出的程序是成功的资产选择。
2019-04-09 stat.ME
R-NL: Covariance Matrix Estimation for Elliptical Distributions based on Nonlinear Shrinkage
本文提出R-NL方法，将Tyler稳健估计与非线性收缩结合，用于椭圆分布协方差矩阵估计，兼具对重尾和高维的稳健性，并通过理论收敛性证明、模拟和实证验证了其优越性能。
2023-05-03 stat.ME
Liu-type Shrinkage Estimators for Mixture of Logistic Regressions: An Osteoporosis Study
针对混合逻辑回归模型中多重共线性导致最大似然估计不可靠的问题，本研究开发了岭估计器和Liu型估计器等收缩方法，数值研究及50岁及以上女性骨质疏松应用均证实该方法能提供更可靠的系数估计。
2023-09-07 stat.CO stat.ME
Small Area Predictors with Dual Shrinkage of Means and Variances
本文研究了具有随机离差的Fay-Herriot型区域水平模型中的小区域估计问题，该模型模拟了抽样误差随区域变化的情况。由此产生的贝叶斯估计缩小了均值和方差，但需要数值计算来提供估计。本文提出了一种封闭形式的近似经验贝叶斯（AEB）估计。模型参数采用矩量法估计，AEB的均方误差采用单参数自助法估计。文中还给出了均方误差的基准估计量和二阶无偏估计量。
2015-07-29 stat.ME
Ridge-Type Shrinkage Estimators in Low and High Dimensional Beta Regression Model with Application in Econometrics and Medicine
Beta回归模型在分析有界连续结果（如比例）时非常有用。众所周知，对于任何回归模型，多重共线性的存在会导致极大似然估计的性能变差。岭型估计已被提出来减轻多重共线性的不利影响。此外，当一些预测因子对结果具有不显著或弱的影响时，期望从这些预测因子恢复尽可能多的信息，而不是一起丢弃它们。本文提出了低维和高维β回归模型的岭型收缩估计，同时解决了上述两个问题。我们计算的偏差和方差的建议估计在封闭的形式，并使用蒙特卡罗模拟，以评估其性能。结果表明，在低维和高维数据中，所提出的估计的性能优于岭估计，丢弃弱或不显著的预测。最后，本文应用所提出的方法，从计量经济学和医学的两个真实数据。
2021-11-27 stat.AP stat.ME
Fixed support positive-definite modification of covariance matrix estimators via linear shrinkage
本文研究了协方差阵估计的正定性问题。对于高维数据，在包含稀疏性的真协方差阵的结构假设下，提出了许多正则化估计。它们被证明是渐近一致的和速率最优的估计真实的协方差阵及其结构。然而，他们中的许多人没有考虑估计量的PD性，并产生非PD估计。为了实现PD性，研究人员考虑对特征值进行额外的正则化（或约束），这使得渐近分析和计算更加困难。在本文中，我们提出了一个简单的修改正则化的协方差阵估计，使其PD，同时保持支持。我们重新审视线性收缩的思想，并建议采取第一阶段估计（正则化的协方差阵没有PD）和给定形式的对角矩阵之间的凸组合。所提出的修改，我们表示为FSPD（固定支持和正相关性）估计，保持第一阶段估计的渐近性质，如果收缩参数是仔细选择的。它有一个封闭的形式表达和它的计算是优化自由，不同于现有的PD稀疏估计。此外，FSPD是通用的，因为它可以应用于任何非PD矩阵，包括精度矩阵。FSPD估计与其他稀疏PD估计进行了数值比较，以了解其有限样本特性以及计算增益。它也适用于两个多变量程序依赖于协方差阵估计-线性极小极大分类问题和Markowitz投资组合优化问题-并显示出大大提高这两个程序的性能。
2017-04-28 stat.ME
Improved Covariance Matrix Estimator using Shrinkage Transformation and Random Matrix Theory
SAP Labs（SAP实验室）
从样本协方差阵估计总体协方差矩阵是多变量分析中的一个主要难题。最近的协方差阵估计使用收缩变换或随机矩阵理论（RMT）的渐近结果。收缩技术有助于将极端相关值拉向某些目标值，而来自RMT的工具有助于去除SCM的噪声特征值。这两种技术都使用不同的方法来实现类似的目标，即去除噪声相关性并向SCM添加结构以克服偏差-方差权衡。在本文中，我们首先批判性地评估这两种技术的利弊，然后提出了一种改进的估计，利用两者的优点，通过采取最佳加权凸组合的协方差阵估计的改进收缩变换和RMT基于过滤器。它是一种广义估计器，可以通过执行超参数优化来适应各种数据集中不断变化的采样噪声条件。我们证明了这个估计的有效性的问题上设计一个金融投资组合的最小风险。我们之所以选择这个问题，是因为股票市场数据的复杂性质提供了极端条件来测试协方差估计量的稳健性。使用来自世界上最大的四个证券交易所的数据，我们表明，我们提出的估计优于现有的估计，在最大限度地减少样本外的投资组合的风险，从而更准确地预测人口统计。由于协方差分析是一个重要的统计工具，这种估计器可以用于广泛的机器学习，信号处理和高维模式识别应用。
2019-12-08 cs.LG eess.SP stat.ME
Big Data Analysis Using Shrinkage Strategies
本文针对样本数小于预测变量数的高维多元回归模型，利用收缩策略有效地估计了回归系数。我们假设在稀疏线性模型中，一些预测因子对感兴趣的响应具有非常弱的影响。我们建议收缩估计比平常更多。具体来说，我们使用集成估计策略，在子模型和完整的模型和收缩的集成估计，通过纳入一个有界的可测函数的一些权重。所展示的双收缩估计量显著提高了从现有Lasso型变量选择方法中选择的子模型的预测性能。蒙特卡罗模拟研究以及眼睛数据和Riboavin数据的真实例子证实了估计器在高维回归模型中的优越性能。
2017-04-17 stat.ME
Shrinking the eigenvalues of M-estimators of covariance matrix
一种非常流行的正则化（收缩）协方差阵估计是收缩样本协方差阵（SCM），它与SCM共享相同的特征向量集，但将其特征值向SCM特征值的总均值收缩。本文提出了一种更一般的方法，即用散布矩阵的M-估计量代替SCM，并提出了一种全自动的数据自适应方法来计算最优收缩参数，使均方误差最小。我们的方法允许使用任何权重函数，如高斯，胡贝尔，泰勒，或t-权重函数，所有这些都是常用的M-估计框架。我们的仿真例子表明，收缩M-估计的基础上提出的最佳调整结合鲁棒权函数不松动的性能收缩SCM估计时，数据是高斯，但提供显着改善的性能时，数据是从一个未指定的重尾椭圆对称分布。最后，通过真实数据和模拟数据验证了该方法在实际应用中的有效性。
2020-10-28 stat.ME
On Improved Loss Estimation for Shrinkage Estimators
令$X$是具有分布$P_θ$的随机向量，其中$θ$是未知参数。当在损失函数$L(θ,φ)$下通过某种估计量$φ(X)$估计$θ$时，经典决策理论主张，如果这样的决策规则对于频率论风险$R(θ,φ)$具有合适的性质，则应该使用这样的决策规则。然而，在观测$X=x$之后，在实践中出现了这样的情况，即$φ$应伴随其损失评估$L(θ,φ(x))$，这是不可观测的，因为$θ$是未知的。这种评估的常用方法是考虑通过估计量$δ$（称为损失估计量）估计$L(θ,φ(x))$。我们提出了一个简要的发展损失估计的设置，其中的分布背景是正常的，其扩展的情况下，基本分布是球对称的实质性的重点。我们的概述涵盖了改进的最小二乘损失估计，但主要集中在收缩估计。贝叶斯估计也被认为是与无偏估计的比较。
2012-03-22 stat.ME
Unsupervised Liu-type Shrinkage Estimators for Mixture of Regression Models
在许多应用中（例如，医学研究），感兴趣的群体（例如，疾病状态）包括异质亚群。混合概率回归模型是将协变量信息引入总体异质性学习的最常用方法之一。尽管它的灵活性，该模型可能会导致不可靠的估计存在多重共线性问题。在本文中，我们开发了Liu型收缩方法，通过无监督学习方法来估计多重共线性模型的系数。所开发的方法的性能进行评估，通过分类和随机版本的期望最大化算法。数值研究表明，所提出的方法优于他们的岭和极大似然同行。最后，所开发的方法被应用于分析50岁及以上的妇女的骨矿物质数据。
2022-09-10 stat.ME
Shrinkage Algorithms for MMSE Covariance Estimation
我们解决的协方差估计的意义下，最小均方误差（MMSE）的高斯样本。具体来说，我们考虑收缩的方法，这是适合于高维问题的样本数量少（大p小n）。首先，我们改进的Ledoit-Wolf（LW）方法的条件下，充分统计量。通过Rao-Blackwell定理，这产生了一个新的估计称为RBLW，其均方误差优于高斯变量的LW。其次，为了进一步减少估计误差，我们提出了一种迭代的方法，近似千里眼收缩估计。这种迭代方法的收敛性的建立和封闭形式的表达式的限制，这是被称为Oracle逼近收缩（OAS）估计。RBLW和OAS估计器都具有简单的表达式，并且易于实现。虽然这两种方法是从不同的角度发展起来的，但它们的结构在特定的常数下是相同的。RBLW估计证明优于LW方法。数值模拟表明，OAS的方法可以执行甚至比RBLW更好，特别是当n远小于p。我们还证明了这些技术的自适应波束形成的背景下的性能。
2009-07-27 stat.CO stat.ME
Regularized Tyler's Scatter Estimator: Existence, Uniqueness, and Algorithms
本文考虑了最近受到广泛关注的椭圆分布的正则化泰勒散布估计。各种类型的收缩泰勒估计已被提出在文献中，并证明有效地工作在“小n大p”的情况下。然而，估计的存在性和唯一性没有得到深入研究，在某些情况下，算法可能无法收敛。在这项工作中，我们提供了一个一般性的结果，分析了一个家庭的收缩泰勒的估计，这定量地表明，正则化确实减少了估计所需的样本数和算法的收敛性的存在的充分条件的估计。对于两个具体的收缩泰勒估计，我们也证明了条件的必要性和估计是唯一的。最后，我们证明了这两个估计量实际上是等价的。基于优化-最小化框架推导了数值算法，并系统地分析了算法的收敛性。
2014-07-11 stat.ME
Non-linear shrinkage of the price return covariance matrix is far from optimal for portfolio optimisation
投资组合优化需要能够滤除估计噪声的复杂协方差估计器。非线性收缩是一种流行的估计器，它基于如何仅使用校准窗口中的数据计算Oracle特征值。与通常的看法相反，NLS对于投资组合优化不是最优的，因为当资产依赖结构是非平稳的时，NLS不能最小化正确的成本函数。相反，我们得出最佳目标。使用历史数据，我们量化了NLS可以改进的程度。我们的研究结果重新打开了如何建立协方差矩阵估计的投资组合优化在现实条件下的问题。
2022-10-13 math.OC q-fin.PM q-fin.ST
Bayesian Regularization for Graphical Models with Unequal Shrinkage
Department of Statistics, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计学系）
我们考虑一个贝叶斯框架估计高维稀疏精度矩阵，其中自适应收缩和稀疏性诱导的拉普拉斯先验的混合物。除了讨论我们的配方从贝叶斯的角度来看，我们调查的MAP（最大后验概率）估计从惩罚的可能性的角度来看，产生了一个新的非凸罚款近似的$\ell_0$罚款。最佳的误差率估计一致性的各种矩阵范数以及稀疏结构恢复的选择一致性的唯一MAP估计在温和的条件下。为了快速有效地计算，提出了一种期望最大化算法来计算精度矩阵的MAP估计和底层稀疏结构边缘上的（近似）后验概率。通过广泛的模拟研究和实际应用的呼叫中心数据，我们已经证明了我们的方法与现有的替代品相比，优良的性能。
2018-05-20 cs.LG math.ST stat.CO
Automatic Inference for Value-Added Regressions
本文研究了价值增加值回归中经验贝叶斯估计器的性质，指出正确建模异方差性可实现自动偏倚校正，从而提高推断效率。
2025-12-09 econ.EM stat.ME
Locally Adaptive Bayesian Isotonic Regression using Half Shrinkage Priors
本文提出一种基于半收缩先验的贝叶斯保序回归方法，通过全局-局部收缩先验和吉布斯采样，实现对目标函数局部突变的适应性估计，并验证了理论性质和实际效果。
2024-02-06 stat.ME
Adaptive Shrinkage with a Nonparametric Bayesian Lasso
本文提出非参数贝叶斯 Lasso，通过在收缩参数上放置 Dirichlet Process 先验扩展 spike-and-slab Lasso，实现自适应灵活的贝叶斯回归与变量选择，在系数恢复、变量选择和预测上优于现有方法。
2024-11-13 stat.ME
Locally adaptive smoothing with Markov random fields and shrinkage priors
我们提出了一个局部自适应非参数曲线拟合方法，在一个完全贝叶斯框架内操作。该方法使用收缩先验来诱导潜在趋势函数中k阶差异的稀疏性，从而提供局部自适应和全局控制的组合。使用收缩先验的法线表示的尺度混合，我们使我们的方法和k阶高斯马尔可夫随机场平滑之间的明确连接。我们称之为收缩先验马尔可夫随机场（SPMRF）的过程。我们使用哈密顿蒙特卡罗来近似模型参数的后验分布，因为这种方法在我们的模型所表现出的高维和强参数相关性的存在下提供了优越的性能。我们使用模拟数据比较了三种先验公式的性能，发现马蹄先验提供了偏差和精度之间的最佳折衷。我们将SPMRF模型应用于两个经常用于测试非参数方法的基准数据示例。我们发现，这种方法是足够灵活，以适应各种数据生成模型，并提供了自适应特性和计算的易处理性，使其成为一个有用的除了贝叶斯非参数工具箱。
2017-02-09 stat.ME
A Bayesian shrinkage estimator for transfer learning
针对正态均值和线性回归问题，提出两类先验分布的贝叶斯迁移学习方法，其中稀疏情况下的贝叶斯收缩估计量在合成数据和材料科学神经网络微调中均优于现有方法。
2024-06-05 stat.ME
