Consistent group selection in high-dimensional linear regression
在协变量可以自然分组的回归问题中，Lasso组是一种有吸引力的变量选择方法，因为它尊重数据中的分组结构。我们研究了当组数超过样本量时，高维环境下Lasso组的选择和估计性质。我们提供了充分条件，在此条件下，Lasso组选择一个模型，该模型的维数与具有高概率的基础模型相当，并且是估计一致的。但是，Lasso组通常不是选择一致的，并且倾向于选择在模型中不重要的组。为了改善选择结果，我们提出了一种自适应组Lasso方法，它是自适应Lasso的推广，需要一个初始估计。我们证明了在一定条件下，当Lasso群作为初始估计时，自适应Lasso群在群选择中是相容的。
2010-11-29 math.ST stat.TH
On the Distribution, Model Selection Properties and Uniqueness of the Lasso Estimator in Low and High Dimensions
通过利用定义估计量的最优化问题的结构，我们在低维和高维线性回归模型的上下文中推导出Lasso估计量的有限样本分布的表达式。在低维情况下，我们假设回归矩阵的满秩，并给出了累积分布函数和估计量的绝对连续部分的密度的表达式。我们的结果的情况下，正态分布的错误，但不取决于这个假设，可以很容易地推广。此外，我们建立了一个明确的公式之间的对应关系的Lasso和最小二乘估计。我们推导出类似的结果分布在高维不太明确的形式，我们在回归矩阵上没有任何假设。在这种情况下，我们还研究了Lasso的模型选择属性，并表明估计器可能只选择模型的一个子集，完全独立于观察到的响应向量。最后，我们提出了一个条件的唯一性的估计，这是必要的，以及充分的。
2020-02-14 math.ST stat.ME stat.TH
Sequential Lasso for feature selection with ultra-high dimensional feature space
我们提出了一种新的方法，顺序Lasso，在超高维特征空间的线性回归模型的特征选择。本文研究了序列Lasso算法的渐近性质，建立了其选择一致性。与其他顺序方法一样，Sequential Lasso的实现不受特征空间维数的限制。它比其他顺序方法具有优势。比较了序贯Lasso方法与其他序贯方法的仿真结果。
2011-07-14 stat.ME
Bayesian Variable Selection and Estimation for Group Lasso
本文重新访问贝叶斯群体套索，并使用穗和板坯先验组变量选择。在这个过程中，我们的模型与惩罚回归的连接被证明，并指出后中值阈值的作用。证明了在正交设计下，后验中位数估计对组变量的选择和估计具有预言性质，而当变量选择达到一致时，组Lasso估计具有次优的渐近估计率.接下来，我们考虑两个层次的选择问题，并提出了贝叶斯稀疏组选择再次与穗和板坯先验选择变量在组水平和组内。我们通过模拟证明，我们的尖峰和平板模型的后验中值估计具有优良的性能，无论是变量的选择和估计。
2015-12-03 math.ST stat.TH
Selective inference with unknown variance via the square-root LASSO
当噪声水平已知时，模型选择后的推理最近已经有了很多工作，然而，$σ$在实践中很少知道，并且在高维设置中其估计是困难的。在这项工作中，我们建议使用的平方根LASSO（也称为缩放LASSO）进行选择性的推断系数和噪声水平的同时。平方根LASSO具有选择合理的调谐参数是无标度的性质，即它不依赖于数据中的噪声水平。我们为选择后的系数提供有效的p值和置信区间，并估计模型特定方差。我们的估计比其他估计的$σ^2$在模拟中表现得更好。
2017-02-09 math.ST stat.ME stat.TH
Consistent selection via the Lasso for high dimensional approximating regression models
在这篇文章中，我们通过流行的Lasso方法研究回归模型中选择的一致性。在这里，我们离开传统的线性回归假设，并考虑近似的回归函数$f$与给定的字典的$M$功能的元素。一致性的目标是来自该字典的那些函数的索引集，这些函数在属于以$f$为中心且半径为$r_{n,M}^2$的$L_2$球的所有线性组合中实现对$f$的最简约近似。在这个框架中，我们表明，这个指标集的一致估计可以通过$\ell_1$惩罚最小二乘法，与数据相关的罚款和调整序列$r_{n,M}>\sqrt{\log(Mn)/n}$，其中$n$是样本量。我们的结果适用于任何$1\leq M\leq n^γ$，任何$γ>0$。
2008-05-21 math.ST stat.ME stat.TH
Approximate Post-Selective Inference for Regression with the Group LASSO
在使用LASSO组（或广义变体，如重叠、稀疏或标准化LASSO组）进行选择后，在没有对选择偏倚进行调整的情况下，对所选参数的推断是不可靠的。在惩罚高斯回归设置，现有的方法提供了选择事件，可以表示为线性不等式的数据变量的调整。然而，这样的表示，未能举行选择与集团LASSO和实质上阻碍了范围内的后续后选择推理。关键问题的推理兴趣-例如，推理的影响，选定的变量的结果-仍然没有答案。在本文中，我们开发了一个一致的，后选择，贝叶斯方法来解决现有的差距，通过推导出一个似然调整因子和近似值，消除偏见的选择组。在模拟数据和Human Connectome Project数据上的实验表明，我们的方法可以恢复所选组内参数的影响，同时只需付出很小的代价进行偏差调整。
2022-08-13 math.ST stat.ME stat.ML
Least squares after model selection in high-dimensional sparse models
在这篇文章中，我们研究后模型选择估计，适用于普通最小二乘（OLS）的第一步惩罚估计，典型的Lasso选择的模型。众所周知，Lasso可以以接近Oracle的速率估计非参数回归函数，因此很难改进。我们表明，OLS后Lasso估计执行至少以及Lasso的收敛速率方面，并具有较小的偏差的优势。值得注意的是，即使基于Lasso的模型选择“失败”，也会出现这种性能，因为它丢失了“真正”回归模型的一些组成部分。所谓“真”模型，我们指的是对预言机选择的非参数回归函数的最佳s维逼近。此外，如果基于Lasso的模型选择正确地包括“真”模型的所有分量作为子集，并且还实现了足够的稀疏性，则在收敛速度收敛速率严格更快的意义上，OLS post-Lasso估计量可以严格优于Lasso。在极端情况下，当Lasso完美地选择“真”模型时，OLS post-Lasso估计量成为oracle估计量。在我们的分析中，一个重要的成分是一个新的稀疏约束的维度选择的模型的Lasso，这保证了这个维度是在最多的相同的顺序作为“真正的”模型的维度。我们的速率结果是非渐近的，并在参数和非参数模型。此外，我们的分析不仅限于在第一步中作为选择器的Lasso估计器，而且还适用于任何其他估计器，例如，各种形式的阈值Lasso，具有良好的速率和良好的稀疏性。我们的分析涵盖了传统的阈值和一个新的实用，数据驱动的阈值方案，诱导额外的稀疏性保持…
2013-03-20 math.PR math.ST stat.ME
Uniformly Valid Confidence Sets Based on the Lasso
在固定维线性回归模型$p \leq n$中，基于Lasso估计，构造了未知参数向量的置信区域，该估计在有限样本下以及在渐近条件下，一致且精确地保持给定的置信区域.因此，我们量化估计的不确定性以及“后模型选择误差”的估计。更具体地说，在有限样本高斯误差和渐近的情况下，拉索估计被调整到执行保守的模型选择，我们推导出精确的公式，用于计算最小覆盖概率在整个参数空间的一大类形状的置信集，从而使有效的置信区域的建设在这些设置的基础上的拉索估计。文中还讨论了置信集形状的选择以及与基于最小二乘估计的置信椭圆的比较。此外，在调整Lasso估计器以实现一致的模型选择的情况下，我们给出了一个简单的置信区域，其最小覆盖概率收敛到1。最后，我们还处理未知误差方差的情况下，并提出了一些想法的扩展。
2018-05-14 math.ST stat.ME stat.TH
Regularization with the Smooth-Lasso procedure
我们考虑线性回归问题。我们提出了S-Lasso过程来估计未知的回归参数。该估计量在考虑连续协变量（或预测变量）之间的相关性的同时具有表示的稀疏性。该研究涵盖了$p\gg n$的情况，即协变量的数量远大于观察值的数量。在理论上，对于固定的$p$，我们建立了变量选择结果的渐近正态性和一致性。当$p\geq n$时，我们提供了变量选择一致性结果，并表明S-Lasso实现了稀疏不等式，即，根据oracle向量的非零分量的数量的界限。与其挑战者相比，S-Lasso似乎具有很好的变量选择特性。此外，我们提供了一个估计的有效自由度的S-Lasso估计。一项模拟研究表明，S-套索表现优于套索，就变量选择而言，特别是当连续的协变量之间存在高度相关性。这个过程似乎也是Elastic-Net的一个很好的挑战者（Zou和Hastie，2005）。
2008-10-15 math.ST stat.TH
Empirical Bayes Variable Selection with Lasso Statistics in the AMP Framework
Hebrew University of Jerusalem（希伯来大学）
本文在AMP框架中提出基于经验贝叶斯的最优变量选择方法，通过估计局部假发现率来改进Lasso统计量的使用，实现显著的功率提升。
2026-02-09 math.ST stat.TH
A short note on model selection by LASSO methods in a change-point model
2012年，《城市》（Ciua.变点模型中LASSO方法的模型选择，Stat.论文，2012年;（出版中）），作者考虑了一个线性回归模型，其中多个变点发生在未知时间。特别是，作者研究了LASSO型和自适应LASSO估计的渐近性质。虽然建立的结果似乎很有趣，我们指出了一些主要的错误，证明最重要的结果引用的文件。进一步给出了一个修正的结果和证明。
2014-03-07 stat.ME
The oracle property of the generalized outcome adaptive lasso
本文证明了高维因果推断变量选择方法 GOAL 具有神谕性质，并通过模拟表明其在处理共线性问题上优于 OAL。
2024-06-09 math.ST stat.ME stat.TH
Autoregressive Process Modeling via the Lasso Procedure
Lasso是线性模型的一个流行的模型选择和估计程序，具有良好的理论特性。本文研究了自回归时间序列模型的Lasso估计。我们采用了一个双渐近框架，最大滞后可能会增加与样本量。我们得出的理论结果建立各种类型的一致性。特别地，我们推导出自回归系数的Lasso估计是模型选择一致、估计一致和预测一致的条件。模拟研究结果的报告。
2008-05-08 math.ST stat.TH
Comparison of the LASSO and Integrative LASSO with Penalty Factors (IPF-LASSO) methods for multi-omics data: Variable selection with Type I error control
本文比较 LASSO 与 IPF-LASSO，并结合稳定性选择控制假阳性，评估模态特异惩罚参数在独立、相关高维组学数据及乳腺癌数据中的变量选择效果。
2024-04-03 stat.AP stat.ME
SIGLE: a valid procedure for Selective Inference with the Generalized Linear Lasso
本文针对广义线性 lasso 变量选择后的统计推断问题，提出 SIGLE 框架，通过基于模拟退火的条件采样方法，在稀疏逻辑回归等场景中实现比现有 PSI 方法更高效且有效的选择性推断。
2023-07-10 math.ST stat.ME stat.TH
Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso
在令人兴奋的新工作中，Bertsimas等人（2016）表明，回归建模中的经典最佳子集选择问题可以用公式表示为混合整数优化（MIO）问题。利用MIO算法的最新进展，他们证明了最佳子集选择现在可以在统计界认为可能的更大的问题规模上得到解决。他们提出了最佳子集选择与其他流行的变量选择程序，特别是套索和向前逐步选择的实证比较。令人惊讶的是，他们的模拟表明，最佳子集选择在预测准确性方面始终优于这两种方法。在这里，我们提出了一个扩展的模拟集，以揭示更多的这些比较。总结大致如下：（a）最佳子集选择和套索都不均匀地支配另一个，最佳子集选择通常在高信噪比（SNR）状态下表现得更好，套索在低SNR状态下表现得更好;（b）最佳子集选择和前向逐步始终表现得非常相似;（三）放松套索（实际上，Meinshausen，2007年定义的原始松弛估计器的简化版本）是总的赢家，在低SNR场景中表现得与套索一样好，以及在高SNR情况下的最佳子集选择。
2017-07-29 stat.CO stat.ME
Bayesian MI-LASSO for Variable Selection on Multiply-Imputed Data
Department of Biostatistics, Columbia University（哥伦比亚大学生物统计系）；Department of Statistics, Rutgers University（罗格斯大学统计系）
针对多重插补数据变量选择不一致问题，提出四种贝叶斯MI-LASSO模型及四步投影预测选择程序，模拟显示优于现有方法，并提供了R包BMIselect。
2026-11-06 stat.ME
Higher Order Refinements by Bootstrap in Lasso and other Penalized Regression Methods
从高维回归模型中选择重要协变量并去除不重要的协变量是一个长期存在的问题，因此在过去的二十年中受到了很多关注。选择正确的模型后，正确估计与重要协变量对应的现有参数也很重要。本着这种精神，Fan和Li（2001）提出了Oracle属性作为变量选择方法的一个理想特征。Oracle的性质有两个方面，一个是变量选择一致性（VSC），另一个是渐近正态性。Fan和Lv（2008）在保持VSC不变的同时，使另一部分变得更强，从而引入了强预言性质。本文研究了变结构控制中的惩罚回归技术，并对基于预言和强预言性质的惩罚回归技术进行了分类。我们表明，无论是残差和扰动自助法是二阶正确的任何惩罚估计，无论其类。最有趣的是Tibshirani（1996）提出的套索。虽然Lasso是VSC，但它不是渐近正态的，因此不能满足oracle性质。
2019-09-14 math.ST stat.ME stat.TH
High-dimensional graphs and variable selection with the Lasso
多元正态分布的逆协方差阵中的零元模式对应于变量之间的条件独立约束。协方差选择的目的是从数据中估计这些结构零点。我们表明，邻域选择与Lasso是一个计算上有吸引力的替代标准的协方差选择稀疏高维图。邻域选择分别估计图中每个节点的条件独立性限制，因此等价于高斯线性模型的变量选择。我们表明，建议的邻域选择方案是一致的稀疏高维图。一致性取决于罚参数的选择。最优预测的预言值不会导致一致的邻域估计。相反，控制错误地加入图的一些不同的连通性组件的概率，稀疏图的一致性估计实现（指数率），即使当变量的数量增长的观察的数量上升到一个任意的权力。
2006-08-01 math.ST stat.TH
Selection consistency of Lasso-based procedures for misspecified high-dimensional binary model and random regressors
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Warsaw University of Technology（华沙理工大学）
本文考虑了一般损失函数下二元响应的高维回归问题的随机预测变量的选择问题。重要的特殊情况是二元模型为半参数模型，并且在参数模型拟合下错误指定了响应函数。选择这样一个场景的目的是恢复支持的相关风险最小化的大概率。我们提出了一个两步选择过程，包括筛选和排序预测的Lasso方法，然后选择一个子集的预测，最小化相应的嵌套系列的模型的广义信息准则。我们证明的选择方法的条件下，允许更大的预测数量比观察的一致性。对于半参数情形，当随机预测变量的分布满足线性回归条件时，真实参数和估计参数是共线的，并且它们的公共支持度可以一致地确定。
2019-06-10 cs.LG math.ST stat.ME
Double shrunken selection operator
Tibshirani（1996）的最小绝对收缩和选择算子（LASSO）是一个突出的估计器，它选择重要的（在某种意义上）特征并删除不重要的特征。事实上，LASSO将大于噪声水平的特征缩小到零。在本文中，我们迫使LASSO收缩更多的提出了一个斯坦型收缩估计源自LASSO，即斯坦型LASSO。新提出的估计器在风险意义上具有良好的数值性能。在前列腺癌数据集的分析中，与LASSO相比，该估计的变体具有较小的相对MSE和预测误差。
2016-12-19 stat.ME
A Comparison of Hamming Errors of Representative Variable Selection Methods
Lasso是线性模型中变量选择的一种著名方法，但当变量之间存在中等或强相关性时，Lasso方法面临挑战。这激发了替代方法，例如使用非凸惩罚，添加岭正则化或进行后Lasso阈值处理。在本文中，我们比较了Lasso与其他5种方法：弹性网络，SCAD，向前选择，阈值Lasso和向前向后选择。假设回归系数是从两点混合数据中提取的，并且Gram矩阵是块对角矩阵，我们从理论上通过期望的Hamming误差来衡量它们的性能。通过推导海明误差的收敛率和相图，我们得到了有关不同方法利弊的有用结论。
2022-03-28 math.ST stat.TH
On the Peaking Phenomenon of the Lasso in Model Selection
我简要地报告了一些意想不到的结果，我优化Lasso的模型参数时获得的。在具有变化的观测变量比n=p的模拟中，我通常在过渡点n/p = 1处观察到测试误差曲线中的强峰值。这种峰值现象在涉及样本协方差阵求逆的场景中得到了很好的证明，正如我在本说明中所说明的，它也是Lasso峰值的来源。关键问题是Lasso惩罚的参数化（例如在当前的R包lars中），我提出了一个标准化Lasso参数的解决方案。
2009-04-28 stat.ME
Adaptive robust variable selection
高维重尾数据在各个科学领域中普遍存在，对现代统计分析提出了巨大的挑战。解决这个问题的一个自然过程是使用带有加权$L_1$ -惩罚的惩罚分位数回归，称为加权鲁棒Lasso（WR-Lasso），其中引入权重来改善由$L_1$ -惩罚引起的偏差问题。在维数随样本量呈指数增长的超高维情形下，我们研究了模型选择的预言性质，建立了WR-Lasso的渐近正态性.我们表明，只有温和的条件模型误差分布是必要的。我们的理论结果还表明，自适应选择的权向量是必不可少的WR-Lasso享受这些好的渐近性质。为了使WR-Lasso实际可行，我们提出了一个两步的过程，称为自适应鲁棒Lasso（AR-Lasso），其中在第二步中的权向量是基于$L_1$惩罚分位数回归估计从第一步。理论上证明了这两步过程具有预言性质和渐近正态性。数值研究表明，有利的有限样本性能的AR-套索。
2014-03-21 math.ST stat.TH
On the Distribution of the Adaptive LASSO Estimator
我们研究了自适应LASSO估计（Zou（2006））在有限样本和大样本极限下的分布。大样本分布的情况下，自适应LASSO估计进行调整，以执行保守的模型选择，以及调整结果一致的模型选择。我们表明，有限样本以及大样本分布通常是高度非正态的，无论选择的调谐参数。一致的收敛速度也得到了，并示出慢于$n^{-1/2}$的情况下，估计器进行调整，以执行一致的模型选择。特别是，这些结果质疑邹（2006）建立的自适应LASSO估计量的“预言”属性的统计相关性。此外，我们还给出了自适应LASSO估计的分布函数估计的一个不可能性结果，并用非正交回归的Monte Carlo研究补充了正交设计回归模型的理论结果.
2008-12-16 math.ST stat.ME stat.ML
Adaptive Lasso and group-Lasso for functional Poisson regression
高维Poisson回归已成为分析海量数据集的标准框架。在这项工作中，我们估计强度函数的泊松回归模型，通过使用字典的方法，它概括了经典的基础方法，结合一个Lasso或一组Lasso程序。选择取决于需要校准的惩罚权重。由于异方差性，在高斯框架下开发的标准方法不能直接应用于泊松模型。在这里，我们提供了数据驱动的Lasso和组Lasso来自适应泊松情况下的集中不等式的权重。我们表明，相关的Lasso和组Lasso程序理论上是最优的Oracle方法。模拟用于评估我们的程序的经验性能，并提供了新一代测序数据分析的原始应用程序。
2014-12-26 math.ST stat.ME stat.TH
Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression
本文研究了稀疏高维线性回归模型下Lasso+mLS和Lasso+Ridge的渐近性质：Lasso选择预测变量，然后用修正的最小二乘（mLS）或Ridge估计其系数.首先，我们提出了一个有效的推理过程的参数估计的基础上参数残差自助Lasso+mLS和Lasso+岭。其次，我们推导了Lasso+mLS和Lasso+Ridge的渐近无偏性。更具体地说，我们表明，他们的偏见以指数速度衰减，他们可以实现预言收敛速度$s/n$（其中$s$是非零回归系数的数量和$n$是样本量）的均方误差（MSE）。第三，我们证明了Lasso+mLS和Lasso+Ridge是渐近正态的。他们有一个预言性质，在这个意义上，他们可以选择真正的预测与概率收敛到1和非零参数的估计有相同的渐近正态分布，如果零参数是已知的。事实上，我们的分析并不局限于在选择阶段采用Lasso，而是适用于选择错误模型的概率呈指数衰减率的任何其他模型选择标准。
2014-01-12 math.ST stat.TH
Within Group Variable Selection through the Exclusive Lasso
许多数据集由具有固有组结构的变量组成。组选择问题已经得到了很好的研究，但在本文中，我们试图做相反的事情：我们的目标是在预测回归建模的背景下从每组中选择至少一个变量。这个问题是NP-困难的，但我们研究最严格的凸松弛：一个复合惩罚，是一个组合的$\ell_1$和$\ell_2$规范。我们所谓的Exclusive Lasso方法通过确保从每个组中选择至少一个变量来执行结构化变量选择。我们研究了我们的方法的统计特性，并开发了计算可扩展的算法，以适应独家套索。我们研究了我们的方法的有效性，通过模拟以及使用NMR光谱数据。在这里，我们使用Exclusive Lasso从生物样品中每个分子的可能化学位移字典中选择适当的化学位移。
2015-05-28 stat.ME
On Model Selection Consistency of Lasso for High-Dimensional Ising Models
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文从理论上分析了高维Ising模型中最小绝对收缩选择算子（Lasso）的模型选择一致性，包括有无后阈值处理。对于大小为$p$、节点度为$d$、耦合度为$θ_0$的随机正则（RR）图，严格证明了Lasso \textit{without post-thresholding}在整个顺磁相是模型选择一致的，且样本复杂性阶数$n=Ω{(d^3\log{p})}$与$\ell_1$ -正则化逻辑斯谛回归（$\ell_1$ -LogR）相同.这一结果与Meng、Obuchi和Kabashima 2021中使用统计物理学的非严格复制方法的猜想一致，从而用严格的证明对其进行了补充。对于一般的树型图，证明了在依赖条件和不相干条件的适当假设下，可以得到与RR图相同的结果。此外，我们提供了一个严格的证明模型选择一致性的Lasso后阈值一般树状图在顺磁阶段的依赖性和不相干条件没有进一步的假设。实验结果与理论分析相吻合。
2023-02-17 cs.LG math.ST stat.ML
Bolasso: model consistent Lasso estimation through the bootstrap
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院信息学实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
我们考虑用l1范数正则化的最小二乘线性回归问题，这个问题通常被称为Lasso。在本文中，我们提出了一个详细的渐近分析的模型一致性的Lasso。对于正则化参数的各种衰减，我们计算正确模型选择的概率的渐近等价（即，变量选择）。对于一个特定的速率衰减，我们表明，Lasso选择所有的变量，应该进入模型的概率趋于一个指数快速，而它选择所有其他变量的严格正概率。我们表明，这个属性意味着，如果我们运行的Lasso的几个自举复制一个给定的样本，然后交叉的Lasso自举估计的支持，导致一致的模型选择。这种新的变量选择算法，被称为Bolasso，相比其他线性回归方法的合成数据和数据集的UCI机器学习库。
2008-04-08 cs.LG math.ST stat.ML
Post-selection inference with HSIC-Lasso
在非线性和/或高维数据中检测有影响力的特征是机器学习中一项具有挑战性且日益重要的任务。因此，变量选择方法和选择后推理一样受到了广泛的关注。事实上，如果不考虑选择程序，所选特征可能存在重大缺陷。我们提出了一个选择性的推理过程，使用所谓的无模型的“HSIC-Lasso”的基础上的框架截断高斯结合多面体引理。然后，我们开发了一种算法，它允许低计算成本，并提供了一个选择的正则化参数。我们的方法的性能说明了人工和现实世界的数据为基础的实验，强调严格控制的I型错误，即使是小样本量。
2021-06-17 math.ST stat.ML stat.TH
The sparsity and bias of the Lasso selection in high-dimensional linear regression
Meinshausen和Buhlmann [Ann. Statistist. 34（2006）1436- 1462]表明，对于高斯图形模型中的邻域选择，在邻域稳定性条件下，LASSO是一致的，即使当变量的数量比样本量更高阶时。Zhao和Yu [（2006）J. Machine Learning Research 7 2541--2567]在线性回归的上下文中将邻域稳定性条件形式化为强不可表示条件。该论文表明，在这种条件下，LASSO精确地选择非零回归系数的集合，只要这些系数以一定的速率远离零。本文假设理想模型外的回归系数很小，但不一定为零。在稀疏Riesz条件下的设计变量的相关性，我们证明了LASSO选择一个模型的正确顺序的维度，控制的水平所确定的小回归系数和阈值偏差的贡献所选择的模型的偏差，并选择所有系数的更大的顺序比所选择的模型的偏差。此外，由于这种速率一致性的LASSO模型选择，它被证明是误差平方和的平均响应和$\ell_α$ -损失的回归系数收敛在最佳可能的速率在给定的条件下。我们的结果的一个有趣的方面是，变量的数量的对数可以是相同的顺序为某些随机相关设计的样本量。
2008-08-07 math.ST stat.TH
An l1-Oracle Inequality for the Lasso
在过去的几年里，套索吸引了许多作者的注意。虽然已经做了很多努力来证明，Lasso的行为就像一个变量选择过程的价格强（虽然不可避免的）假设这些变量的几何结构，少得多的注意力已经支付给Lasso作为正则化算法的性能分析。我们这里的第一个目的是在这个方向上提供一个概念上非常简单的结果。我们将证明，只要正则化参数选择得当，Lasso几乎和确定性Lasso一样有效。这个结果不需要任何假设，无论是对变量的结构还是对回归函数。我们的第二个目的是引入一个新的估计，特别适合于处理无限可数字典。该估计量被构造为Lasso估计量序列中的一个l0-惩罚估计量，该估计量序列与不断增长的截断字典的二元序列相关联。选择过程自动选择字典的最佳截断水平，以便在近似、l1正则化和稀疏性之间做出最佳权衡。从理论的角度来看，我们将提供一个预言不等式满足这个选定的Lasso估计。为Lasso和选定的Lasso估计量建立的Oracle不等式将使我们能够推导出在广泛的一类函数上的收敛速率，表明这些估计量至少与贪婪算法一样好。此外，我们将证明所选择的Lasso估计量的收敛速度是最佳的正交的情况下，从下面的极小极大风险的一些Besov机构的边界。最后，我们将在神经网络的具体框架下研究Lasso算法在无限不可数字典上的性能。本文所给出的所有预言不等式都是通过应用一个在一组非线性模型中选择模型的一般定理得到的，该定理是高斯浓度不等式的…
2010-07-27 math.ST stat.TH
Monotone Splines Lasso
本文研究高维数据的非参数可加回归模型中的变量选择和估计问题。近年来，人们提出了几种方法来建模非线性关系时，协变量的数量超过了观察的数量，通过使用样条基函数和组惩罚。响应的非线性{ \it单调}效应在许多情况下起着核心作用，特别是在医学和生物学中。我们构造单调样条套索（MS-套索）选择变量和估计的影响，使用单调样条（I-样条）。模型中的可加性分量由其I样条基函数展开表示，分量选择变为选择I样条基函数展开中的系数组。我们使用一个最近的程序，称为合作套索，选择符号相干组，即选择组的非负或非正系数。这导致选择对响应具有非线性单调递增或递减效应的重要协变量。我们还介绍了一个自适应版本的MS-套索，大大减少了偏见和假阳性选择的数量。我们比较了MS-套索和自适应MS-套索与其他现有的方法，在高维变量选择模拟和说明的方法在两个相关的基因组数据集。结果表明，自适应MS-lasso方法在估计和选择两方面均优于其他方法，可推荐用于高维单调回归。
2013-10-04 stat.ME
Robust Lasso-Zero for sparse corruption and model selection with missing covariates
我们提出了鲁棒Lasso零，扩展的Lasso零方法，最初介绍了稀疏线性模型，稀疏腐败问题。我们给出了一个稍微简化的版本的估计，被称为judgeholded正义追求的参数的符号恢复理论保证。稳健Lasso-Zero用于协变量中缺失值的变量选择。除了不需要为协变量指定模型，也不需要估计它们的协方差阵或噪声方差之外，该方法具有处理非随机缺失值而不指定参数模型的巨大优势。数值实验和医学应用强调了鲁棒拉索零在这样的背景下，几乎没有可用的竞争对手的相关性。该方法易于使用，并在R库lass 0中实现。
2022-03-23 stat.AP stat.ME stat.ML
"Pre-conditioning" for feature selection and regression in high-dimensional problems
我们考虑回归问题的预测的数量大大超过观察的数量。我们提出了一种变量选择的方法，首先估计的回归函数，产生一个“预处理”的响应变量。用于此初始回归的主要方法是监督主成分。然后，我们应用一个标准的程序，如前向逐步选择或LASSO的预处理的反应变量。在许多模拟和真实数据的例子中，这个两步过程优于向前逐步选择或通常的LASSO（直接应用于原始结果）。我们还表明，在一定的高斯潜变量模型下，应用LASSO的预条件响应变量是一致的预测和观察的数量增加。当观测噪声较大时，本文方法比LASSO方法能给出更精确的估计。我们说明我们的方法在一些实际问题上，包括生存分析与微阵列数据。
2007-03-28 math.ST stat.TH
Selective inference using randomized group lasso estimators for general models
本文针对一般分布与损失函数下的组 lasso 估计量开发了基于随机化的选择性推断方法，通过构建选择后似然进行参数估计与置信区域推断，并在真实数据与模拟中验证了其有效性。
2024-03-26 math.ST stat.ME stat.ML
Consistent Feature Selection for Analytic Deep Neural Networks
University of Delaware（特拉华大学）；Dalhousie University（达尔豪西大学）
特征选择是实现神经网络模型的可解释性和可解释性的最重要步骤之一，其目的是识别相关特征的子集。该领域的理论成果主要集中在预测方面的问题，几乎没有工作的特征选择一致性的深度神经网络由于模型的严重非线性和不可识别性。这种理论基础的缺乏使人们对深度学习在正确解释特征起核心作用的环境中的适用性产生了怀疑。在这项工作中，我们研究了解析深度网络的特征选择问题。我们证明了，对于广泛的一类网络，包括深度前馈神经网络，卷积神经网络，和一个主要的子类的剩余神经网络，自适应组Lasso选择过程与组Lasso作为基础估计是选择一致的。这项工作提供了进一步的证据，表明Group Lasso对于使用神经网络进行特征选择可能是低效的，并提倡使用Adaptive Group Lasso而不是流行的Group Lasso。
2020-10-16 cs.LG math.ST stat.ML
A critical review of LASSO and its derivatives for variable selection under dependence among covariates
我们研究了著名的LASSO回归作为一个变量选择器的局限性时，存在的协变量之间的依赖结构。我们用$n\geq p$分析了经典的情况，用$p>n$分析了高维的框架。分析了该方法在保证最优性方面的局限性以及在实际应用中的不便。这些缺点的例子显示通过广泛的模拟研究，利用不同的依赖方案。为了寻求改进，与LASSO衍生物和替代品进行了广泛的比较。最后，我们给出了一些关于什么程序在数据性质方面是最好的指导。
2020-12-21 stat.ME
Bayesian Adaptive Lasso with Variational Bayes for Variable Selection in High-dimensional Generalized Linear Mixed Models
本文介绍了一个完整的贝叶斯处理同时固定效应选择和参数估计的高维广义线性混合模型。该方法包括使用贝叶斯自适应Lasso惩罚信号级自适应收缩和快速变分贝叶斯方案估计后验模式的系数。与现有的方法相比，该方法具有自适应收缩参数的自动加入，不需要拉普拉斯近似步骤来积分出随机效应等优点。几个模拟和真实数据的例子说明了我们的方法的性能。该算法在R软件包glmmvb中实现，并可在线使用。
2016-08-30 stat.ME
Using LASSO for Variable Selection in Exponential Random Graph models
针对指数随机图模型（ERGM）的充分统计量设定问题，本文将LASSO惩罚估计方法引入网络数据分析，通过收缩参数至零实现模型选择，为网络模型提供了自动化的变量选择框架。
2024-09-12 stat.ME
The generalized hyperbolic family and automatic model selection through the multiple-choice LASSO
本文重新研究广义双曲分布族及其嵌套模型，提出多重选择LASSO惩罚方法，通过分层惩罚似然在GH族内同时实现模型选择与推断，并用模拟研究验证，提供R实现。
2023-07-11 stat.AP stat.CO stat.ME
Estimation And Selection Via Absolute Penalized Convex Minimization And Its Multistage Adaptive Applications
$\ell_1$惩罚方法，或Lasso，已经成为分析大型数据集的重要工具。Lasso在线性回归中得到了许多重要的结果，这些结果使人们对高维统计问题有了更深的理解。本文考虑了一般形式的凸损失函数的一类加权$\ell_1$ -惩罚估计，包括广义线性模型。我们研究的估计，预测，选择和稀疏性的加权$\ell_1$惩罚估计稀疏，高维设置的预测$p$的数量可以远远大于样本量$n$。Adaptive Lasso被认为是一种特殊情况。一个多阶段的方法开发应用自适应Lasso递归。我们提供了$\ell_q$预言不等式，一般的选择一致性定理，和上界的Lasso估计的维数。重要的模型，包括线性回归，逻辑斯谛回归和对数线性模型是用来说明一般结果的应用。
2011-12-29 math.ST stat.ML stat.TH
High-Dimensional Feature Selection by Feature-Wise Kernelized Lasso
Yahoo! Labs（雅虎实验室）；Tokyo Institute of Technology（东京工业大学）；Disney Research Pittsburgh（迪士尼匹兹堡研究院）；Carnegie Mellon University（卡内基梅隆大学）
监督特征选择的目标是找到负责预测输出值的输入特征的子集。最小绝对收缩和选择运算符（Lasso）允许基于输入特征和输出值之间的线性依赖性进行计算高效的特征选择。在本文中，我们考虑一个特征明智的内核Lasso捕获非线性输入输出依赖。我们首先表明，与特定的核函数的选择，非冗余功能与强统计依赖的输出值，可以发现在基于核的独立性措施。然后，我们表明，全局最优解可以有效地计算，这使得该方法可扩展到高维问题。通过对数千个特征的特征选择实验，证明了该方法的有效性.
2019-01-04 cs.AI stat.ME stat.ML
The LASSO Estimator: Distributional Properties
最小绝对收缩和选择算子（LASSO）是一种流行的同时估计和模型选择的技术。关于LASSO估计的大样本渐近分布性质已经有很多研究，但是众所周知，渐近结果可能会给出LASSO估计的实际有限样本行为的错误图像。对于正交模型的特殊情况，LASSO估计量的有限样本分布已经在前面进行了研究。本文的目的是推广高斯噪声中实线性测量模型的LASSO估计的有限样本分布性质。本文首先导出了LASSO估计的有限样本特征函数的表达式，然后利用Fourier切片定理得到了LASSO估计的线性变换的一维分量的边缘密度函数的近似表达式。
2016-07-02 math.ST stat.AP stat.TH
Variable Selection Incorporating Prior Constraint Information into Lasso
我们提出的变量选择过程中，将先验约束信息到套索。所提出的程序结合了样本和先验信息，并选择显着的变量的响应在一个较窄的区域中的真实参数所在。正确选择真实模型，提高了效率。所提出的方法可以通过多种约束二次规划方法来执行，并且可以通过最小二乘法或蒙特卡罗方法来找到初始估计。所提出的方法也具有良好的理论性质。此外，所提出的方法不仅用于线性模型，而且可以用于广义线性模型（{ \sl GLM}），Cox模型，分位数回归模型和许多其他的帮助下，王和冷（2007）的LSA，它改变了这些模型的近似线性模型。结合样本和先验约束信息的思想也可以用于其他修改的套索过程。一些例子用于说明的想法，将事先约束信息的变量选择过程。
2007-05-31 stat.ME
Selection of Sparse Vine Copulas in High Dimensions with the Lasso
我们提出了一种新的高维（d > 100）稀疏vine copula结构选择方法。目前的顺序贪婪方法的结构选择需要计算生成树在数百个维度和拟合的copula和他们的参数迭代整个结构选择过程。我们的方法使用藤蔓和结构方程模型（SEM）之间的连接。后者可以使用Lasso非常快速地估计，也是在非常高的维度上，以获得稀疏模型。因此，我们得到了一个结构估计独立于所选择的对copula和参数。此外，我们定义了新的概念的正则化路径的R-葡萄矩阵。它与稀疏的葡萄藤copula模型的独立copula的惩罚系数的结构方程模型。我们说明了我们的方法，并提供了许多数值例子。这些包括在高维的模拟和数据应用，显示出我们的方法的优越性，其他现有的方法。
2017-05-16 stat.ME
Sparse Group Selection Through Co-Adaptive Penalties
最近的工作集中在协变量数量非常大时进行线性回归的问题，可能大于样本量。为了便于实现这一点，一个有用的工具是假设模型可以通过仅涉及少量协变量的拟合来很好地近似-所谓的稀疏性假设，这导致了Lasso和其他方法。然而，在许多情况下，协变量可以被认为是结构化的，因为某些变量的选择有利于其他变量的选择-作为特殊情况，变量被组织成同时进入或离开模型的组。这种结构创建了不同形式的稀疏性。在本文中，我们提出了自适应Lasso拟合模型，以适应这种形式的“组稀疏”。自适应Lasso是快速和简单的计算，我们表明，它拥有理论优势的Lasso，表现良好的一组广泛的结论下，是非常有竞争力的经验模拟相比，以前建议的算法，如组Lasso和自适应Lasso。
2011-11-18 stat.ME
LASSO estimation for spherical autoregressive processes
本文的目的是研究一类球形函数自回归过程，以便引入和研究相应自回归核的LASSO（最小绝对收缩和选择算子）类型估计，该估计通过其谱分解定义在调和域中。证明了这些估计的一些重要性质，特别是一致性和预言不等式。
2020-07-03 math.PR math.ST stat.ME
Some Two-Step Procedures for Variable Selection in High-Dimensional Linear Regression
我们研究了高维变量选择问题，通过一些两个步骤的程序。首先，我们表明，给定一些好的初始估计，这是$\ell_{\infty}$ -一致的，但不一定变量选择一致的，我们可以应用非负Garrote，自适应Lasso或硬阈值的过程，以获得一个最终的估计，估计和变量选择一致。与Lasso不同，我们的结果不需要不可表示的条件，即使对于中度$p_n$也可能容易失败（Zhao和Yu，2007），并且它还允许$p_n$几乎与$\exp(n)$一样快地生长（对于硬阈值，对$p_n$没有限制）。我们还研究了岭回归可以用作初始估计的条件。我们证明了在放松的可识别条件下，岭估计是$\ell_{\infty}$ -相容的.当使用$p_n\le n$时，通常满足这样的条件，并且不需要相关和不相关协变量之间的部分正交性，而这是单变量回归所需的（Huang et al.，2008年）。我们的数值研究表明，当使用Lasso或Ridge作为初始估计量时，两步程序具有比使用单变量回归的Lasso或自适应Lasso更高的稀疏恢复率（Huang et al.，2008年）。
2008-10-09 math.ST stat.TH
Consistent feature selection for neural networks via Adaptive Group Lasso
University of Delaware（特拉华大学）；Dalhousie University（达尔豪斯大学）
在医学和工程科学中广泛使用深度学习的一个主要障碍是其可解释性。虽然神经网络模型是进行预测的强大工具，但它们通常很少提供有关哪些特征在影响预测准确性方面起重要作用的信息。为了克服这个问题，已经提出了许多用于利用神经网络学习的正则化过程以丢弃非重要特征。不幸的是，由于缺乏理论结果，人们对此类管道的适用性产生了怀疑。在这项工作中，我们提出并建立了一个理论保证使用自适应组套索选择重要功能的神经网络。具体来说，我们表明，我们的特征选择方法是一致的单输出前馈神经网络与一个隐藏层和双曲正切激活函数。我们证明了它的适用性，使用模拟和数据分析。
2021-12-03 cs.LG math.ST stat.ML
The Adaptive Lasso with Weighted IPW Factor and KRR Penalty Function
Beijing University of Technology（北京工业大学）
本文提出一种结合加权IPW因子与KRR惩罚的自适应Lasso，证明其具有Oracle性质，并通过数值模拟验证其性能接近极小极大最优。
2026-10-08 math.ST stat.TH
Stability Selection for Lasso, Ridge and Elastic Net Implemented with AFT Models
模型选择的不稳定性是包含大量协变量的数据集的主要问题。我们专注于稳定性的选择，这是用来作为一种技术，以提高变量的选择性能的选择方法的范围内，基于聚合的结果，应用选择程序的子样本的数据，其中的观察是受右删失。加速失效时间（AFT）模型已被证明在许多情况下是有用的，包括重删失（例如在癌症生存）和高维（例如在微阵列数据）。我们使用三种变量选择技术实现稳定性选择方法--Lasso、岭回归和弹性网应用于使用AFT模型的删失数据。我们比较了这些正则化技术的性能与稳定性选择方法与模拟研究和乳腺癌数据分析。结果表明，稳定性选择总是稳定的情况下选择的变量，并作为数据的尺寸增加的性能与稳定性选择的方法相比，没有稳定性选择的方法，不管协变量之间的共线性也提高了。
2016-04-25 stat.ME
