Post-Selection Inference for Sparse Estimation
本文综述了稀疏估计中模型选择后的选择性推断，涵盖Lasso、前向逐步法和LARS的多面体与截断分布，并介绍Lasso显著性检验和LARS间距检验。
2023-10-10 math.ST stat.ME stat.TH
A unified approach to model selection and sparse recovery using regularized least squares
模型选择和稀疏恢复是正则化方法研究的两个重要问题。我们研究的正则化方法的性质在这两个问题的统一框架下的正则化最小二乘凹罚。对于模型选择，我们建立条件下，正则化最小二乘估计享有非渐近性质，称为弱预言性质，其中的维数可以指数增长的样本量。对于稀疏恢复，我们提出了一个充分条件，确保稀疏解的可恢复性。特别是，我们通过考虑一个家庭的处罚，使一个光滑的同伦之间的$L_0$和$L_1$处罚的方法来解决这两个问题。我们还提出了用于稀疏恢复的顺序迭代重新加权平方（SIRS）算法。数值研究支持我们的理论结果，并证明了我们的模型选择和稀疏恢复的新方法的优势。
2009-09-03 math.ST stat.TH
Finite mixture regression: A sparse variable selection by model selection for clustering
考虑高维数据的有限混合高斯回归模型，其中协变量的数目可能远大于样本量。我们建议估计未知的条件混合密度的最大似然估计，1-惩罚最大似然估计选择的相关变量的限制。我们得到了一个具有Jensen-Kullback-Leibler型损失的估计量所满足的预言不等式。我们的预言不等式推导出一个一般的模型选择定理的最大似然估计的随机模型集合。我们可以推导出该准则的惩罚形状，这取决于随机模型集合的复杂性。
2014-09-04 math.ST stat.TH
Sparse Oracle Inequalities for Variable Selection via Regularized Quantization
我们给出了关于通过加权Lasso $k$ -均值算法结合量化和变量选择的过程的预言不等式。结果是来自一般家庭的权重，它可以调整到大小的变量以不同的方式的影响。此外，这些理论的保证证明，以适应相应的稀疏性的最佳码本，如果合适的。即使没有稀疏性假设的最佳码本，我们的程序被证明是接近稀疏近似的最佳码本，已经做了回归的广义线性模型。如果最佳码本有一个稀疏的支持，我们还表明，这种支持可以渐近恢复，给误分类概率的渐近上界。这些结果与高斯混合模型在任意维度的稀疏性假设的手段，这是基于模型的聚类的标准分布。
2016-07-06 math.ST stat.TH
Adaptive variable selection in nonparametric sparse additive models
我们考虑的问题，恢复一个未知的多元信号$f$中观察到的$d$维高斯白噪声模型的强度$\varepsilon$。我们假设$f$属于一类光滑函数${\cal F}^d\subset L_2([0,1]^d)$，并且具有由参数$s$确定的可加稀疏结构，参数$s$是对$f$有贡献的非零单变量分量的数量。我们感兴趣的情况下，当$d=d_\varepsilon \to \infty$作为$\varepsilon \to 0$和参数$s$保持“小”相对于$d$。有了这些假设，恢复问题就变成了确定哪些稀疏加性分量是非零的问题。试图重建的$f$的大多数非零组件，但不是所有的，我们在高维回归几乎全变量选择的问题。对于两种不同的选择${\cal F}^d$，我们建立的条件下，几乎完全的变量选择是可能的，并提供了一个程序，使几乎完全的变量选择。该程序在选择$f$的大多数非零分量方面做得最好（在渐近极大极小意义上）。此外，它是自适应的参数$s$。
2015-08-26 math.ST stat.TH
Sharp Variable Selection of a Sparse Submatrix in a High-Dimensional Noisy Matrix
我们观察到一个$N\times M$矩阵的独立，同分布的高斯随机变量的中心，除了元素的一些子矩阵的大小$n\times m$的平均值大于一些$a>0$。在$n/N$和$m/M$趋于0，而$n,\, m, \, N$和$M$趋于无穷大的意义上，子矩阵是稀疏的。我们考虑具有显著大均值的随机变量的选择问题。本文给出了$a$是$n,\, m,\,N$和$M$的函数的充分条件，并构造了一个一致相容的过程，以便进行尖锐的变量选择。我们还证明了极大极小下界的必要条件下，这是补充以前的条件。分离的必要条件和充分条件的临界值$a^*$是尖锐的（我们显示确切的常数）。我们注意到Butucea和Ingster（2012）给出的用于选择变量的临界值$a^*$与检测这种子矩阵存在的临界值之间存在差距。当$a^*$处于该间隙中时，可以进行一致的检测，但无法找到相应变量的一致选择器。
2013-03-22 math.ST stat.TH
Multivariate functional group sparse regression: functional predictor selection
在本文中，我们提出了方法的功能预测选择和光滑的功能系数估计同时在标量函数回归问题下的高维多元函数数据设置。特别是，我们开发了两种方法的功能组稀疏回归下的一般希尔伯特空间的无限维。我们证明了算法的收敛性和一致性的估计和选择（预言性质）在无限维Hilbert空间。仿真研究表明，该方法在函数系数的选择和估计方面都是有效的。功能磁共振成像（fMRI）的应用揭示了人类大脑中与ADHD和智商相关的区域。
2021-07-08 math.ST q-bio.NC stat.AP
Subset Selection with Shrinkage: Sparse Linear Modeling when the SNR is low
我们研究了一个看似意想不到的和相对较少理解的过拟合方面的基本工具稀疏线性建模-最佳子集选择，最大限度地减少残差平方和的非零系数的数量的约束。虽然最佳子集选择过程通常被认为是稀疏学习中的“金标准”，当信噪比（SNR）高时，其预测性能下降时，SNR低。特别是，它优于连续收缩方法，如岭回归和Lasso。我们调查的最佳子集选择在高噪声制度的行为，并提出了一种替代方法的基础上，正则化版本的最小二乘准则。我们提出的估计器（a）在很大程度上减轻了高噪声状态下最佳子集选择的预测性能差;（b）相对于通过岭回归和Lasso获得的最佳预测模型，表现良好，同时通常提供更稀疏的模型。我们进行了广泛的理论分析所提出的方法的预测性能，并提供其优越的预测性能相对于最佳子集选择时，噪声水平高的理由。我们的估计可以表示为混合整数二阶锥优化问题的解决方案，因此，适合现代计算工具从数学优化。
2022-01-08 math.OC math.ST stat.CO
Improving heritability estimation by a variable selection approach in sparse high dimensional linear mixed models
受神经解剖学应用的启发，我们提出了一种新的方法来估计遗传力，其对应于可以由遗传因素解释的表型方差的比例。估计神经解剖学特征的这个量是精神疾病研究中的一个基本挑战。由于表型变异可能只是由于一小部分可用的遗传信息，我们提出了一个估计的遗传力，可用于高维稀疏线性混合模型。我们的方法包括三个步骤。首先，进行变量选择阶段，以恢复遗传效应的支持-也称为因果变异-即找到真正解释表型变异的遗传效应。其次，我们提出了一个最大似然估计遗传力的策略，只考虑到因果遗传效应发现在第一步。第三，我们计算的标准误差和95%的置信区间与我们的遗传估计感谢非参数bootsrap方法。我们的主要贡献在于提供了一个估计的遗传力与标准误差大大小于的方法，没有变量选择时，遗传效应是非常稀疏的。由于真正的遗传结构在实践中是未知的，我们还提出了一个经验标准，允许用户决定是否适用于变量选择为基础的方法或不。我们说明了我们的方法的合成和真正的神经解剖数据来自Imagen项目的性能。我们还表明，我们的方法有一个非常低的计算负担，是非常有效的从统计的角度来看。
2016-06-08 math.ST stat.TH
Sparse-group SLOPE: adaptive bi-level selection with FDR-control
本文提出稀疏组SLOPE（SGS）方法，实现变量和组双层选择中的FDR控制，并通过近端算法拟合，在合成和真实数据上优于现有lasso和SLOPE模型。
2023-05-16 stat.ME
Selection of Sparse Vine Copulas in High Dimensions with the Lasso
我们提出了一种新的高维（d > 100）稀疏vine copula结构选择方法。目前的顺序贪婪方法的结构选择需要计算生成树在数百个维度和拟合的copula和他们的参数迭代整个结构选择过程。我们的方法使用藤蔓和结构方程模型（SEM）之间的连接。后者可以使用Lasso非常快速地估计，也是在非常高的维度上，以获得稀疏模型。因此，我们得到了一个结构估计独立于所选择的对copula和参数。此外，我们定义了新的概念的正则化路径的R-葡萄矩阵。它与稀疏的葡萄藤copula模型的独立copula的惩罚系数的结构方程模型。我们说明了我们的方法，并提供了许多数值例子。这些包括在高维的模拟和数据应用，显示出我们的方法的优越性，其他现有的方法。
2017-05-16 stat.ME
Sparse covariance thresholding for high-dimensional variable selection
在高维空间中，许多变量选择方法，如套索，往往受到样本协方差阵的过度变异性和秩不足的限制。协方差稀疏性是高维应用中的自然现象，例如微阵列分析、图像处理等，其中大量的预测因子是独立的或弱相关的。在本文中，我们提出了协方差阈值套索，一类新的回归方法，可以利用协方差稀疏性，以改善变量的选择。我们建立的理论结果，在随机设计的设置，相关的协方差稀疏变量选择。实际数据和仿真实例表明，我们的方法可以有效地提高变量选择性能。
2010-06-06 stat.ME
ControlBurn: Feature Selection by Sparse Forests
Cornell University（康奈尔大学）
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制，这降低了可解释性并使特征选择复杂化。在本文中，我们提出了ControlBurn，一个特征选择算法，使用加权LASSO为基础的特征选择方法修剪不必要的功能，从树系综，就像低强度火灾减少过度生长的植被。像线性LASSO一样，ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外，与基于迭代包装器的特征选择方法不同，该算法高效且仅需要一次训练迭代即可运行。我们表明，ControlBurn的性能大大优于特征选择方法，在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania（宾夕法尼亚大学）
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是，神经可加模型（NAM）为黑盒深度学习提供了可解释性，并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力，我们提出了稀疏神经添加模型（SNAM），该模型采用组稀疏正则化（例如Group LASSO），其中每个特征由子网络学习，该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性，采用新的技术来处理非参数真理，从而扩展了经典的稀疏线性模型，如LASSO，它只适用于参数真理。具体来说，我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$，和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM，类似于LASSO，可以有精确的支持恢复，即完美的特征选择，适当的正则化。此外，我们表明，SNAM可以很好地推广，并保持“可识别性”，恢复每个功能的效果。通过大量的实验验证了我们的理论，并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
Learning sparse gradients for variable selection and dimension reduction
University of California, Irvine（加州大学欧文分校）
变量选择和降维是两种常用的高维数据分析方法，但传统上被分开处理。在这里，我们提出了一个集成的方法，称为稀疏梯度学习（SGL），变量选择和降维通过学习梯度的预测函数直接从样本。通过对梯度施加稀疏约束，通过选择对应于非零偏导数的变量来实现变量选择，并且基于导出的稀疏经验梯度协方差阵的特征向量来提取有效维度。给出了误差分析的估计梯度收敛到真正的欧氏和流形设置。我们还开发了一个有效的前向-后向分裂算法来解决SGL问题，使得该框架实际上可扩展到中型或大型数据集。明确给出了SGL在变量选择和特征提取方面的实用性，并通过人工数据和真实世界的示例进行了说明。我们的方法的主要优点包括变量选择的线性和非线性预测，有效的降维与稀疏加载，和一个有效的算法，大p，小n的问题。
2010-07-01 cs.LG stat.ME stat.ML
SuRF: a New Method for Sparse Variable Selection, with Application in Microbiome Data Analysis
在本文中，我们提出了一个新的变量选择方法的回归和分类的目的。我们的方法，称为子采样排名向前选择（SuRF），是基于LASSO惩罚回归，子采样和向前选择方法。SuRF在所选模型的稀疏性和模型推理方面都比现有的变量选择方法具有重大优势。我们提供了一个R包，可以实现我们的方法的广义线性模型。我们将我们的方法应用于微生物组数据的分类问题，使用一种新的聚集方法来处理变量的特殊树状相关结构。现有的方法在进行分析之前任意选择一个先验的分类学水平，而通过将SuRF与这些聚集的变量相结合，我们能够在适当的分类学水平上识别关键的生物标志物，如数据所示。我们提出了在多个稀疏设置的模拟，以证明我们的方法比其他几个常用的现有方法在恢复真实的变量。我们将SuRF应用于两个微生物组数据集：一个关于结肠袋炎的预测，另一个用于识别来自两个健康个体的样本。我们发现，SuRF可以提供一个更好的或可比的预测与其他方法，同时控制假阳性率的变量选择。
2019-09-13 stat.ME
Sparse Variable Selection on High Dimensional Heterogeneous Data with Tree Structured Responses
针对高维异质数据中混杂因素导致Lasso假发现多的问题，提出树引导稀疏线性混合模型，利用响应间依赖关系进行变量选择，实验证明其ROC面积优于现有方法。
2024-04-19 stat.ME
Sparse twoblock dimension reduction for simultaneous compression and variable selection in two blocks of variables
本文提出稀疏双块降维方法，可同时对两组变量降维并剔除无信息变量，通过算法实现易用性，在模拟和化学计量学应用中性能优于稠密版本及多元偏最小二乘，提升多元因变量联合预测能力。
2024-11-26 stat.CO stat.ME
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications（电气通信大学）
针对高真实秩下降秩回归系数估计失效的问题，提出基于稀疏正则化与流形优化的同时秩与变量选择算法，实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Grouping effects of sparse CCA models in variable selection
University of Pennsylvania（宾夕法尼亚大学）
稀疏典型相关分析（SCCA）是一种双多变量关联模型，它可以找到两组变量的稀疏线性组合，这些变量彼此之间的相关性最大。除了标准的SCCA模型之外，简化的SCCA准则由于其计算简单而在文献中广泛使用，该准则最大化一对典型变量之间的互协方差而不是它们的互相关性。然而，这两个模型的解的行为/性质在理论上仍然未知。本文分析了标准SCCA模型和简化SCCA模型在变量选择上的分组效应。在高维环境中，变量通常形成具有高组内相关性和低组间相关性的组。我们的理论分析表明，对于分组变量选择，简化SCCA联合选择或取消选择一组变量在一起，而标准SCCA随机选择几个主导变量从每个相关组的相关变量。对人工合成数据和真实成像遗传学数据的实验结果验证了我们的理论分析结果。
2020-08-07 cs.LG stat.ME
Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient
DeepMind（深度思考）；Princeton University（普林斯顿大学）；University of Alberta（阿尔伯塔大学）
本文提出了一种基于稀疏线性函数逼近的高维批量强化学习（RL）的统计分析方法。当有大量的候选特征时，我们的结果揭示了这样一个事实，即稀疏感知方法可以使批量RL更具样本效率。我们首先考虑政策外的政策评估问题。为了评估一个新的目标政策，我们分析了一个Lasso拟合Q-评价方法，并建立了一个有限样本的误差界，没有多项式依赖于周围的维度。为了减少Lasso偏差，我们进一步提出了一个后模型选择估计，通过组Lasso选择的功能，适用于拟合Q-评价。在一个额外的信号强度假设下，我们推导出一个更清晰的依赖于实例的误差界，该误差界依赖于测量目标策略的数据分布和占用度量之间的分布失配的发散函数。此外，我们研究了批量策略优化的Lasso拟合Q-迭代，并根据相关特征的数量与数据协方差的受限最小特征值之间的比率建立了有限样本误差界。最后，我们补充的结果与minimax下限批处理数据的政策评估/优化，几乎匹配我们的上限。结果表明，具有良好的条件下的数据是至关重要的稀疏批量策略学习。
2020-11-08 cs.LG math.ST stat.ML
Sparse-group boosting -- Unbiased group and variable selection
本文提出稀疏组提升方法，通过同时使用逐分量和逐组梯度提升并调整自由度，实现组内与组间稀疏性，在模拟、基因和农业数据上相比逐分量提升具有更低变量选择偏差和更高预测能力。
2024-04-07 stat.ME stat.ML
Selection of variables and decision boundaries for functional data via bi-level selection
稀疏性诱导惩罚是变量选择的有用工具，对于数据为函数的回归设置也很有效。我们考虑的问题，不仅选择变量，而且决策边界的逻辑斯谛回归模型的功能数据，使用稀疏正则化。在惩罚似然法的框架下，利用稀疏群套索型惩罚对函数型逻辑斯谛回归模型进行估计，然后利用模型选择准则选择调整参数.通过对实际数据的分析，验证了该方法的有效性.
2017-02-13 stat.ME
Robust Lasso-Zero for sparse corruption and model selection with missing covariates
我们提出了鲁棒Lasso零，扩展的Lasso零方法，最初介绍了稀疏线性模型，稀疏腐败问题。我们给出了一个稍微简化的版本的估计，被称为judgeholded正义追求的参数的符号恢复理论保证。稳健Lasso-Zero用于协变量中缺失值的变量选择。除了不需要为协变量指定模型，也不需要估计它们的协方差阵或噪声方差之外，该方法具有处理非随机缺失值而不指定参数模型的巨大优势。数值实验和医学应用强调了鲁棒拉索零在这样的背景下，几乎没有可用的竞争对手的相关性。该方法易于使用，并在R库lass 0中实现。
2022-03-23 stat.AP stat.ME stat.ML
Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design
稀疏回归经常在不同的科学环境中作为特征选择方法。科学数据的一个普遍的方面，阻碍了特征选择和估计是预测特征之间的强相关性的存在。这些基本问题往往没有意识到的从业者，jeapordize从估计模型得出的结论。另一方面，稀疏诱导正则化回归（如Lasso）的理论结果在很大程度上通过渐近性解决了选择一致性的条件，而忽略了模型选择的问题，从而选择正则化参数。在这个数值研究中，我们解决这些问题，通过详尽的表征几个回归估计的性能，再加上一系列的模型选择策略。这些估计和选择标准进行了检查，在相关的回归问题与不同程度的信号噪声，非零模型系数的分布，和模型稀疏。我们的研究结果揭示了一个基本的权衡假阳性和假阴性控制在所有的回归估计和模型选择标准检查。此外，我们能够在数值上探索调制的信号-噪声比和频谱特性的设计协方差阵的所有考虑的算法的选择精度降低的过渡点。总的来说，我们发现，SCAD加上BIC或经验贝叶斯模型选择执行最好的功能选择在考虑的回归问题。
2021-03-23 stat.AP stat.ME
Sparse Group Selection Through Co-Adaptive Penalties
最近的工作集中在协变量数量非常大时进行线性回归的问题，可能大于样本量。为了便于实现这一点，一个有用的工具是假设模型可以通过仅涉及少量协变量的拟合来很好地近似-所谓的稀疏性假设，这导致了Lasso和其他方法。然而，在许多情况下，协变量可以被认为是结构化的，因为某些变量的选择有利于其他变量的选择-作为特殊情况，变量被组织成同时进入或离开模型的组。这种结构创建了不同形式的稀疏性。在本文中，我们提出了自适应Lasso拟合模型，以适应这种形式的“组稀疏”。自适应Lasso是快速和简单的计算，我们表明，它拥有理论优势的Lasso，表现良好的一组广泛的结论下，是非常有竞争力的经验模拟相比，以前建议的算法，如组Lasso和自适应Lasso。
2011-11-18 stat.ME
Sparse group variable selection for gene-environment interactions in the longitudinal study
高维纵向数据的惩罚变量选择作为考虑重复测量之间的相关性和提供额外的和必要的信息，以提高识别和预测性能，受到了广泛的关注。尽管取得了成功，但在纵向研究中，惩罚方法的潜力远未完全理解，以适应结构化稀疏。在本文中，我们开发了一个稀疏组惩罚方法进行双水平基因-环境（G $\times$ E）相互作用的研究下，重复测量表型。在二次推理函数（QIF）框架内，该方法可以实现同时识别群体和个体水平上的主效应和交互效应。仿真研究表明，所提出的方法优于主要竞争对手。在对儿童哮喘管理项目（Childhood Asthma Management Program，CAMP）哮喘数据的个案研究中，我们以高维SNP数据作为遗传因素，以纵向性状--一秒用力呼气量（Forced Expiratory Volume in one Second，FEV 1）作为表型，进行G $\times$ E研究。我们的方法导致改进的预测和识别的主要和相互作用的影响具有重要意义。
2021-07-18 stat.ME
The CDF penalty:sparse and quasi unbiased estimation in regression models
在高维回归建模中，预测变量中包含的候选协变量数量相当大，变量选择至关重要。在这项工作中，我们提出了一个新的惩罚，能够保证稀疏的变量选择，即完全为零的回归系数估计，和准无偏的“选定”的变量在高维回归模型的系数。仿真结果表明，我们的建议执行不差于它的竞争对手，同时始终确保解决方案是唯一的。
2022-12-16 stat.ME
Variable selection via fused sparse-group lasso penalized multi-state models incorporating molecular data
针对高维多状态模型的变量选择问题，提出融合稀疏组套索（FSGL）惩罚的Cox型回归方法，整合协变量效应成对差异惩罚与转移分组，适配ADMM算法优化，在模拟及AML数据中验证了其选择稀疏模型的有效性及相比全局套索的优势。
2024-11-26 stat.AP stat.ME
Sparse partial least squares for on-line variable selection in multivariate data streams
在本文中，我们提出了一个计算效率高的算法在线变量选择的多元回归问题，涉及高维数据流。该算法递归地提取偏最小二乘解的所有潜在因素，并为每个因素选择最重要的变量。这是通过只有一个稀疏奇异值分解，可以有效地更新在线和自适应的方式。基于人工数据流的仿真结果表明，该算法是能够选择重要的变量在动态设置中的相关结构之间的观察流是由一些隐藏的组件和每个变量的重要性随时间变化。我们还报告了我们的算法的应用程序的多变量版本的“增强型指数跟踪”的问题，使用金融数据流。该应用程序包括执行在线资产配置，目标是同时超越两个基准指数。
2009-02-08 stat.ME stat.ML
Forward variable selection for sparse ultra-high dimensional varying coefficient models
变系数模型在广泛的科学领域中有许多应用。在享受良好的可解释性的同时，它们还允许灵活地建模协变量的动态影响。但是，在大数据的新时代，当存在大量候选者时，选择相关变量是具有挑战性的。最近的一些工作都集中在这个重要的问题的稀疏性假设的基础上，他们受到一些限制，但是。我们引入了一个吸引人的前向变量选择过程。它根据平方和准则顺序选择重要变量，并采用基于EBIC或BIC的停止规则。显然，它是简单的实现和快速计算，它拥有许多其他理想的性质，从理论和数值的观点。在较弱的正则条件下，我们建立了EBIC或BIC作为停止准则时的严格选择相容性结果。值得注意的是，与现有方法不同，不需要额外的筛选步骤来确保选择一致性。即使正则条件不成立，我们的程序仍然是有用的，作为一个有效的筛选程序，在一个较低的限制设置。我们进行了模拟和实证研究，以显示我们的程序的有效性和实用性。
2014-10-24 stat.ME
Disjunct Support Spike and Slab Priors for Variable Selection in Regression under Quasi-sparseness
回归系数向量的稀疏性通常是期望的属性，因为除了其他益处之外，稀疏性提高了可解释性。在实践中，许多真正的回归系数可能小到可以忽略，但非零，我们称之为准稀疏。如在（Chipman等人，2001）可以被调整以忽略非常小的回归系数，并且因此在预测精度和可解释性之间提供折衷。然而，完全支持的尖峰和厚板先验导致不一致的贝叶斯因子，在这个意义上，任何两个模型的贝叶斯因子是有界的概率。这显然是贝叶斯假设检验的一个不希望的属性，我们希望增加样本量会导致有利于真实模型的贝叶斯因子增加。矩匹配先验（Johnson和Rossell，2012）可以解决这个问题，但不适合准稀疏设置，因为它们完全支持精确值0之外的值。作为一种补救措施，我们建议不连续的支持尖峰和平板先验，我们证明一致的贝叶斯因子在准稀疏设置，并显示实验快速增长的贝叶斯因子有利于真正的模型。模拟和真实数据上的几个实验证实了我们提出的方法在识别具有高效应大小的模型方面的有用性，同时比硬阈值更好地控制了误报。
2019-09-29 stat.AP stat.ME
Sparse Learning for Variable Selection with Structures and Nonlinearities
Université de Genève（日内瓦大学）
在这篇论文中，我们讨论了机器学习方法执行自动变量选择学习稀疏预测模型。在预测模型中促进稀疏性有多种原因。通过依赖于有限的输入变量集，模型自然地抵消了从有限的训练点集学习时普遍存在的过拟合问题。稀疏模型用于预测的成本更低，它们通常需要更低的计算资源，并且通过依赖较小的输入集可以降低数据汇集和存储的成本。稀疏模型也有助于更好地理解所研究的现象，因为它们比完整模型更容易解释。
2019-03-26 cs.LG stat.ML
Group selection and shrinkage: Structured sparsity for semiparametric additive models
针对统计与机器学习中的组结构稀疏问题，提出结合组子集选择与收缩、支持组任意重叠的结构化稀疏估计器，构建优化框架并给出误差界，在半参数可加建模等任务中表现更优，且提供grpsel开源实现。
2024-03-08 stat.ME stat.ML
Triple the gamma -- A unifying shrinkage prior for variance and variable selection in sparse state space and TVP models
时变参数（TVP）模型在捕获预测因子对结果变量的影响的逐渐变化方面非常灵活。然而，特别是当预测因子的数量很大时，存在过拟合和预测性能差的已知风险，因为一些预测因子的效果随时间推移是恒定的。我们提出了TVP模型中方差收缩的先验，称为三重伽玛。三重伽玛先验包含了许多以前提出的先验，如贝叶斯套索，双伽玛先验和马蹄先验。我们提出了理想的性能，这样的先验和贝叶斯模型平均方差选择的关系。三重伽玛先验的功能，然后说明在时变参数向量自回归模型的背景下，无论是模拟数据集和欧元区的一系列宏观经济变量。
2019-12-06 econ.EM stat.ME
CR-Lasso: Robust cellwise regularized sparse regression
针对逐单元异常值污染下的稀疏回归问题，提出 CR-Lasso，通过联合最小化回归损失与逐单元偏离度量实现稳健特征选择，并在模拟比较和骨密度真实数据中验证其竞争力。
2024-03-01 stat.CO stat.ME
Sparse higher order partial least squares for simultaneous variable selection, dimension reduction, and tensor denoising
针对高维张量场景下高阶偏最小二乘估计一致性无法保证的问题，提出可同步实现变量选择、降维与张量去噪的SHOPS回归方法，补全相关理论性质并通过实验与生物数据应用验证有效性。
2024-10-10 stat.AP stat.ME
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University（西安交通大学）；State Key Laboratory of Management and Control for Complex Systems（复杂系统管理与控制国家重点实验室）
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量，稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择，这通常具有很高的计算代价。近年来，提出了许多改进的近似子集选择方法。然而，非近似的子集选择方法却很少受到关注，而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题，给出了条件不相关性的计算公式。在此基础上，提出了一种有效的非近似子集选择方法，该方法不需要计算回归方程中的任何系数。通过该方法，稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大，因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Sparse-Group Boosting with Balanced Selection Frequencies: A Simulation-Based Approach and R Implementation
本文提出通过平衡基学习器选择频率来减少变量选择偏差的新框架，开发了R包sgboost实现稀疏组提升，并通过模拟验证其有效性，为高维分组数据建模提供实用工具。
2025-05-06 stat.AP stat.CO stat.ML
Exhaustive search for sparse variable selection in linear regression
本文提出了一种K稀疏穷举搜索（ES-K）方法和一种K稀疏近似穷举搜索（AES-K）方法，用于线性回归中变量的选择。通过这些方法，假设解释变量的最优组合是K-稀疏的，则对变量的K-稀疏组合进行了详尽的测试。通过收集穷尽计算ES-K的结果，可以将用于选择稀疏变量的各种近似方法概括为状态密度。有了这个态密度，我们可以比较不同的方法来选择稀疏变量，如松弛和采样。对于解释变量的组合爆炸是至关重要的大型问题，AES-K方法使状态密度有效地重建通过使用复制交换蒙特卡罗方法和多重直方图方法。将ES-K和AES-K方法应用于Ia型超新星的观测数据，证实了天文学上在预先给定适当K值的情况下的传统认识。然而，我们发现很难从数据中确定K。通过虚拟测量和分析，我们认为这是由于数据不足造成的。
2017-07-07 stat.ML
Probing for sparse and fast variable selection with model-based boosting
提出了一种基于模型梯度提升和随机变量置换的变量选择方法。基于模型的提升是一种在执行变量选择的同时拟合统计模型的工具。拟合的缺点在于需要对稍微改变的数据进行多个模型拟合（例如交叉验证或自举），以找到最佳的提升迭代次数并防止过拟合。在我们提出的方法中，我们使用真实变量的随机排列版本（所谓的影子变量）来增强数据集，并在将此类变量添加到模型中后立即停止逐步拟合。这允许在模型的单次拟合中选择变量，而不需要进一步的参数调整。我们表明，我们的探测方法可以与最先进的选择方法，如在高维分类基准的稳定性选择，并将其应用于基因表达数据的估计核黄素生产的枯草芽孢杆菌。
2017-02-15 stat.CO stat.ML
On the Optimality of Backward Regression: Sparse Recovery and Subset Selection
稀疏恢复和子集选择是信号处理、统计学和机器学习等领域的基本问题。在这里，我们专注于这些问题的一个重要的贪婪算法：向后逐步回归。我们提出了新的保证算法，提出了一个有效的，数值稳定的实现，并提出了逐步回归与替换（SRR），一个新的家庭的两阶段算法，采用前向和后向步骤的压缩感知问题。以前的工作向后算法已经证明了其最优的子集选择问题，提供与最优解是足够小的残差。然而，现有的剩余幅度的界限是NP-难计算。与此相反，我们的主要理论结果包括一个界，可以在多项式时间内计算，主要取决于最小的奇异值的矩阵，也扩展到幅度修剪的方法。此外，我们报告的数值实验突出了前向和后向贪婪算法之间的关键差异，并比较SRR对流行的两阶段算法的压缩感知。值得注意的是，SRR算法通常保持良好的稀疏恢复性能的相干字典。此外，特定的SRR算法具有优于子空间追踪的优势。
2021-06-06 cs.IT cs.NA math.IT
Bayesian Variable Selection for Globally Sparse Probabilistic PCA
稀疏版本的主成分分析（PCA）强加自己作为简单，但强大的方式选择相关功能的高维数据在一个无监督的方式。然而，当计算几个稀疏的主成分时，所选变量的解释是困难的，因为每个轴都有自己的稀疏模式，必须单独解释。为了克服这个缺点，我们提出了一个贝叶斯过程称为全局稀疏概率PCA（GSPPCA），允许获得几个稀疏的组件具有相同的稀疏模式。这允许从业者识别与描述数据相关的原始变量。为此，使用Roweis的概率解释的PCA和高斯先验的负载矩阵，我们提供了第一个精确的计算贝叶斯PCA模型的边际似然。为了避免离散模型选择的缺点，这个框架的一个简单的放松。它允许使用变分期望最大化算法找到模型的路径。精确的边际似然，然后在此路径上最大化。这种方法是真实的和合成的数据集上说明。特别是，使用未标记的微阵列数据，GSPPCA推断更多的相关基因子集比传统的稀疏PCA算法。
2016-09-20 stat.ML
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT（麻省理工学院）；Cornell（康奈尔大学）；Stanford（斯坦福大学）
ControlBurn是一个Python包，用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合，优先考虑具有少量特征的基函数，然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此，ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性：例如，它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径（任何数量的选定特征的预测误差）。对于较大的数据集，运行时在样本和特征的数量上线性缩放（最多为对数因子），并且包支持使用草图加速。此外，ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的：它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection
Air Force Engineering University（空军工程大学）；Northwestern Polytechnical University（西北工业大学）
在数据采掘领域，如何处理高维数据是一个不可避免的问题。无监督特征选择由于不依赖于标签而受到越来越多的关注。基于谱的无监督方法的性能取决于构造的相似性矩阵的质量，该矩阵用于描述数据的内在结构。然而，现实世界中的数据包含大量的噪声样本和特征，使得由原始数据构造的相似度矩阵不能完全可靠。更糟糕的是，随着样本数量的增加，相似度矩阵的大小迅速膨胀，使得计算成本显著增加。受主成分分析的启发，我们提出了一种简单有效的无监督特征选择方法，通过结合重建误差和$l_{2,p}$ -范数正则化。投影矩阵用于特征选择，通过在稀疏约束下最小化重建误差来学习。然后，我们提出了一个有效的优化算法来解决所提出的无监督模型，并从理论上分析了算法的收敛性和计算复杂性。最后，在真实数据集上的实验证明了该方法的有效性。
2020-12-29 cs.LG stat.ML
Supervised Discriminative Sparse PCA for Com-Characteristic Gene Selection and Tumor Classification on Multiview Biological Data
Harbin Institute of Technology（哈尔滨工业大学）；Qufu Normal University（曲阜师范大学）；Anhui University（安徽大学）
主成分分析（PCA）已被用于研究疾病的发病机制。为了提高经典PCA的可解释性，迄今为止已经提出了各种改进的PCA方法。其中，一个典型的方法是所谓的稀疏PCA，其重点是寻求稀疏负载。然而，这些方法的性能仍然是远远不能令人满意的，由于其使用无监督学习方法的限制，而且，在样本内的类歧义是高的。为了克服这个问题，本研究开发了一种新的PCA方法，这是被命名为监督判别稀疏PCA（SDSPCA）。该方法的主要创新点是将判别信息和稀疏性引入到PCA模型中。具体而言，与传统的稀疏PCA相比，它对负载施加稀疏性，在这里，稀疏分量被获得以表示数据。此外，通过线性变换，稀疏分量近似给定的标签信息。一方面，稀疏分量提高了传统PCA的可解释性，而另一方面，它们具有适用于分类目的的区分能力。提出了一种简单的算法，并给出了收敛性证明。SDSPCA已被应用于多视角生物数据的共同特征基因（com-characteristic gene）选择和肿瘤分类。通过大量、合理、有效的实验，验证了SDSPCA的稀疏性和分类性能，实验结果表明SDSPCA优于其他现有方法。
2019-05-28 cs.LG stat.ML
Naive Feature Selection: a Nearly Tight Convex Relaxation for Sparse Naive Bayes
UC Berkeley（加州大学伯克利分校）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）
本文提出稀疏朴素贝叶斯特征选择方法，通过 Shapley-Folkman 定理给出近乎紧的凸松弛界，在保持统计效果的同时实现比 LASSO 等方法快数个数量级的特征选择。
2025-03-12 cs.LG stat.ML
Sparse PCA with False Discovery Rate Controlled Variable Selection
Technische Universität Darmstadt（达姆施塔特工业大学）；Conservatoire National des Arts et Métiers（法国国立工艺学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出T-Rex PCA，利用错误发现率控制和终止随机实验选择器自动确定稀疏载荷向量支持集，无需调整稀疏性参数，在数值实验和股票市场数据中显著提升了变量选择性能。
2024-01-16 cs.LG stat.ML
Group Iterative Spectrum Thresholding for Super-Resolution Sparse Spectral Selection
最近，提出了基于稀疏性的超分辨率谱估计算法。然而，为了在现实世界的信号分析中实现足够高的分辨率，字典原子必须在频率上彼此接近，从而导致相干设计。目前流行的凸压缩感知方法在高相干性和大噪声的情况下失效。我们提出了一种新的正则化方法来处理模型的共线性，同时获得简约的频率选择。它利用了频率字典中正弦和余弦原子的配对结构。概率谱筛选也被开发用于高维快速计算。使用高维贝叶斯信息准则的数据重采样版本来确定正则化参数。实验结果表明，该算法在小样本量、高频率分辨率和低信噪比的情况下具有良好的性能和效率。
2013-07-29 stat.ML
Optimal variable selection in multi-group sparse discriminant analysis
本文考虑的问题，多组分类的设置中的变量数$p$是大于观察数$n$。在文献中已经提出了几种方法来解决这个问题，但是它们的变量选择性能要么是未知的，要么是次优的，在两组的情况下已知的结果。在这项工作中，我们使用Gaynanova等人的判别分析建议，为多组情况下相关变量的一致恢复提供了尖锐的条件，2014.我们实现的收敛速度，达到最佳缩放的样本量$n$，变量数$p$和稀疏水平$s$。这些速率明显快于多组情况下的最佳已知结果。此外，它们与两组情况下的最优极大极小利率相吻合。我们验证了我们的理论结果与数值分析。
2014-11-23 stat.ML
From STLS to Projection-based Dictionary Selection in Sparse Regression for System Identification
AI Institute in Dynamic Systems, Department of Mechanical Engineering, University of Washington（动态系统人工智能研究所，机械工程系，华盛顿大学）；Department of Mechanical Engineering, University of Hawai‘i at Mānoa（机械工程系，夏威夷大学马诺阿分校）；Departamento de Matemática e Computação, Faculdade de Ciências e Tecnologia, Universidade Estadual Paulista “Júlio de Mesquita Filho”（数学与计算系，科技学院，保罗斯州立大学“朱利奥·梅斯奎塔·弗洛雷斯”分校）
本文提出基于评分的字典选择方法，提升动态系统识别的准确性和可解释性，适用于SINDy算法的改进。
2025-12-16 cs.LG math.OC physics.comp-ph
Detection and Feature Selection in Sparse Mixture Models
我们认为高斯混合模型在高维和集中在检测和特征选择的孪生任务。在均值差异的稀疏性假设下，我们推导出信息界，并建立各种程序的性能，包括样本协方差阵的顶部稀疏特征值和其他基于矩的投影检验，如Malkovich和Afifi（1973）的偏度和峰度检验，以及我们在零值下能够更好地控制的其他变量。
2016-10-01 math.ST stat.ME stat.TH
Simultaneous sparse model selection and coefficient estimation for heavy-tailed autoregressive processes
提出了一种基于惩罚条件极大似然的重尾新息自回归过程的稀疏系数估计和自动模型选择方法.在新息过程的弱矩条件下，惩罚条件极大似然估计（PCMLE）满足强相合性、$O_P(N^{-1/2})$相合性和oracle性质，其中N是样本量.根据罚函数的弱条件，我们可以自由选择罚函数。比较了最小绝对收缩选择算子（LASSO）和平滑裁剪平均偏差（SCAD）两种罚函数。所提出的方法提供了一个基于分布的惩罚推理AR模型，这是特别有用的，当其他估计方法失败或执行厚尾新息的AR过程（见\cite{Resnick}）。仿真研究证实了我们的理论结果。最后，我们将我们的方法应用于美国消费品工业生产指数的历史价格数据，并获得了非常有前途的结果。
2013-09-21 math.ST stat.ME stat.TH
Hierarchical selection of variables in sparse high-dimensional regression
我们研究了一个具有大量相互作用变量的回归模型。我们考虑在两个假设下回归函数的特定近似：（i）在建议的基中存在回归函数的稀疏表示，（ii）在相应的主效应集之外没有相互作用。我们建议一个分层随机搜索程序的选择变量和它们的相互作用。我们表明，给定初始估计量，可以找到具有类似预测损失但具有较少非零坐标数量的估计量。
2008-01-08 math.ST stat.TH
