惩罚线性回归在高维统计中具有根本的重要性,并且已常规地用于对高维预测因子集的响应进行回归。在许多科学应用中,存在编码预测器的预测能力和稀疏结构的外部信息。在这篇文章中,我们提出了结构自适应弹性网(SA-Enet),它提供了一个新的框架,将潜在有用的边信息纳入惩罚回归。其基本思想是将外部信息转化为回归系数的不同惩罚强度。我们特别关注组和协变量依赖的结构,并研究由此产生的估计的风险属性。为此,我们将最近引入的用于分析近似消息传递算法的状态演化框架推广到SA-Enet框架。我们表明,有限样本的SA-Enet估计的风险是一致的状态演化方程预测的理论风险。我们的理论表明,具有信息组或协变量结构的SA-Enet可以优于Lasso,Adaptive Lasso,Sparse Group Lasso,加权弹性网和Graper。这一证据在我们的数值研究中得到了进一步证实。我们还证明了我们的方法对来自分子生物学和精准医学的白血病数据的有用性和优越性。
英文摘要:
Penalized linear regression is of fundamental importance in high-dimensional statistics and has been routinely used to regress a response on a high-dimensional set of predictors. In many scientific applications, there exists external information that encodes the predictive power and sparsity structure of the predictors. In this article, we propose the Structure Adaptive Elastic-Net (SA-Enet), which provides a new framework for incorporating potentially useful side information into a penalized regression. The basic idea is to translate the external information into different penalization strengths for the regression coefficients. We particularly focus on group and covariate-dependent structures and study the risk properties of the resulting estimator. To this, we generalize the state evolution framework recently introduced for the analysis of the approximate message-passing algorithm to the SA-Enet framework. We show that the finite sample risk of the SA-Enet estimator is consistent with the theoretical risk predicted by the state evolution equation. Our theory suggests that the SA-Enet with an informative group or covariate structure can outperform the Lasso, Adaptive Lasso, Sparse Group Lasso, Feature-weighted Elastic-Net, and Graper. This evidence is further confirmed in our numerical studies. We also demonstrate the usefulness and the superiority of our method for leukemia data from molecular biology and precision medicine.
Variable Selection for Survival Data with A Class of Adaptive Elastic Net Techniques
加速失效时间(AFT)模型已被证明在许多情况下是有用的,尽管重删失(例如在癌症存活中)和高维度(例如在微阵列数据中)导致模型拟合和模型选择的困难。我们提出了新的方法,删失数据的变量选择,AFT模型优化使用正则化加权最小二乘的基础上。正则化技术在两种建议的弹性网类型方法下使用L1和L2范数惩罚的混合。一种是自适应弹性网,另一种是加权弹性网。这些方法分别扩展了Ghosh(2007)和Hong and Zhang(2010)提出的原始方法。我们还扩展了这两个建议的方法,通过增加审查意见作为约束到他们的模型优化框架。这些方法在微阵列上进行了评估,并通过模拟进行了评估。我们比较了这些方法与其他六种变量选择技术的性能-三种通常用于删失数据,其他三种是用于高维数据的基于相关性的贪婪方法。
Adaptive elastic net and Separate Selection from Least Squares for ultra-high dimensional regression models
研究了超高维稀疏线性回归模型中自适应弹性网的渐近性质,提出了一种新的提高预测精度的方法--SSLS(Separate Selection from Least Squares)方法.此外,我们还证明了SSLS在理论和实证方面都具有优越的性能。本文证明了自适应弹性网选错变量的概率在很少的条件下可以指数衰减。不可表示条件或类似的约束在我们的证明中是不必要的。我们得到了精确的偏差和均方误差(MSE)的界限,这两者都依赖于参数的选择,也表明存在的自适应弹性网的渐近正态性的偏差。此外,仿真和实证部分都表明,惩罚最小二乘的预测精度需要进一步提高。因此,我们提出了SSLS来改善预测。本文采用自适应弹性网,先选取变量,将高维降维。在第二步中,基于OLS估计构造系数。我们发现,SSLS的偏差可以以指数速率衰减。而且,MSE衰减到零。最后,我们证明了SSLS的变量选择一致性蕴涵了SSLS的渐近正态性。仿真结果表明了SSLS、自适应弹性网和其它惩罚最小二乘算法的性能。实证部分结合其他方法研究了股票市场的指数跟踪问题。