This paper proposes a general adaptive procedure for budget-limited predictor design in high dimensions called two-stage Sampling, Prediction and Adaptive Regression via Correlation Screening (SPARCS). SPARCS can be applied to high dimensional prediction problems in experimental science, medicine, finance, and engineering, as illustrated by the following. Suppose one wishes to run a sequence of experiments to learn a sparse multivariate predictor of a dependent variable $Y$ (disease prognosis for instance) based on a $p$ dimensional set of independent variables $\mathbf X=[X_1,\ldots, X_p]^T$ (assayed biomarkers). Assume that the cost of acquiring the full set of variables $\mathbf X$ increases linearly in its dimension. SPARCS breaks the data collection into two stages in order to achieve an optimal tradeoff between sampling cost and predictor performance. In the first stage we collect a few ($n$) expensive samples $\{y_i,\mathbf x_i\}_{i=1}^n$, at the full dimension $p\gg n$ of $\mathbf X$, winnowing the number of variables down to a smaller dimension $l < p$ using a type of cross-correlation or regression coefficient screening. In the second stage we collect a larger number $(t-n)$ of cheaper samples of the $l$ variables that passed the screening of the first stage. At the second stage, a low dimensional predictor is constructed by solving the standard regression problem using all $t$ samples of the selected variables. SPARCS is an adaptive online algorithm that implements false positive control on the selected variables, is well suited to small sample sizes, and is scalable to high dimensions. We establish asymptotic bounds for the Familywise Error Rate (FWER), specify high dimensional convergence rates for support recovery, and establish optimal sample allocation rules to the first and second stages.
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
我们提出了一种新的稀疏性和聚类（SPARsity and Clustering，简称SPARMN）正则化器，它是对以前的八角形收缩和聚类回归算法（OSCAR）的改进，其中，所提出的正则化器由$K$稀疏约束和限制在$K$最大分量上的成对$\ell_{\infty}$范数组成。所提出的正则化是能够单独执行$K$ -稀疏性，并鼓励非零是相等的幅度。此外，它可以准确地对特征进行分组，而不会缩小它们的大小。事实上，OSCAR与OSCAR密切相关，因此前者的邻近算子可以基于后者的邻近算子有效地计算，从而允许使用邻近分裂算法来解决OSCAR正则化问题。在合成数据和基准乳腺癌数据上的实验表明，该方法是一种具有竞争力的群体稀疏诱导正则化回归和分类。
Factor-Augmented Regularized Model for Hazard Regression
高维数据的一个普遍特征是协变量之间的相关性，当协变量高度相关时，模型选择具有挑战性。为了对高维考克斯比例风险模型在协变量具有因子结构的情况下进行模型选择，提出了一种新的风险回归因子增广正则化模型（Factor-Augmented Regularized Model for Hazard Regression，FarmHazard），该模型建立在驱动协变量依赖的潜在因子之上，扩展了Cox模型.这个新的模型生成的程序，通过从高维协变量向量中学习因子和特质成分，然后将它们用作新的预测因子，分两步操作。Cox模型是一种广泛用于生存分析的半参数模型，其中删失数据和时间依赖性协变量带来了额外的技术挑战。在较弱的条件下证明了模型选择相合性和估计相合性。我们还开发了一个因子增广变量筛选程序来处理超高维问题中的强相关性。大量的模拟和真实数据实验表明，该方法具有良好的性能，在模型选择、样本外C指数和筛选等方面都优于其他方法.
Optimality of Graphlet Screening in High Dimensional Variable Selection
考虑一个线性回归模型，其中设计矩阵X具有n行和p列。我们假设（a）p比n大得多，（b）系数向量beta在只有一小部分坐标为非零的意义上是稀疏的，以及（c）格拉姆矩阵G = X ′ X在每行具有相对较少的大坐标（G的对角线被归一化为1）的意义上是稀疏的。G的稀疏性自然地导致了所谓的强依赖图（GOSD）的稀疏性。我们发现一个有趣的信号稀疏性和图形稀疏性之间的相互作用，这确保了在一个广泛的背景下，一组真正的信号分解成许多不同的小尺寸组件的GOSD，不同的组件是断开的。我们提出了Graphlet筛选（GS）作为一种新的变量选择方法，这是一个两阶段的筛选和清洁方法。GS的关键方法创新是使用GOSD来指导筛选和清洗。与计算成本为p^m的m变量蛮力筛选相比，GS在筛选中仅具有p的计算成本（高达一些多log（p）因子）。我们通过极大极小汉明距离来衡量任何变量选择过程的性能。我们表明，在一个非常广泛的类的情况下，GS实现了最佳的收敛速率的汉明距离。有些令人惊讶的是，众所周知的程序子集选择和套索是速率非最佳的，即使在非常简单的设置，甚至当他们的调谐参数是理想的设置。
