High-Dimensional Feature Selection by Feature-Wise Kernelized Lasso
Yahoo! Labs（雅虎实验室）；Tokyo Institute of Technology（东京工业大学）；Disney Research Pittsburgh（迪士尼匹兹堡研究院）；Carnegie Mellon University（卡内基梅隆大学）
监督特征选择的目标是找到负责预测输出值的输入特征的子集。最小绝对收缩和选择运算符（Lasso）允许基于输入特征和输出值之间的线性依赖性进行计算高效的特征选择。在本文中，我们考虑一个特征明智的内核Lasso捕获非线性输入输出依赖。我们首先表明，与特定的核函数的选择，非冗余功能与强统计依赖的输出值，可以发现在基于核的独立性措施。然后，我们表明，全局最优解可以有效地计算，这使得该方法可扩展到高维问题。通过对数千个特征的特征选择实验，证明了该方法的有效性.
2019-01-04 cs.AI stat.ME stat.ML
Bayesian MI-LASSO for Variable Selection on Multiply-Imputed Data
Department of Biostatistics, Columbia University（哥伦比亚大学生物统计系）；Department of Statistics, Rutgers University（罗格斯大学统计系）
针对多重插补数据变量选择不一致问题，提出四种贝叶斯MI-LASSO模型及四步投影预测选择程序，模拟显示优于现有方法，并提供了R包BMIselect。
2026-11-06 stat.ME
Improving Group Lasso for high-dimensional categorical data
即使对于中等数量的变量，稀疏建模或分类数据的模型选择也具有挑战性，因为编码一个类别或水平大致需要一个参数。Group Lasso是一种众所周知的用于选择连续或分类变量的高效算法，但与所选因子相关的所有估计值通常不同。因此，拟合的模型可能不是稀疏的，这使得模型解释困难。为了获得稀疏的解决方案的组套索，我们提出了以下两个步骤的过程：首先，我们降低数据的维数使用组套索，然后选择最终的模型，我们使用一个小家庭的模型，通过聚类水平的个别因素的信息标准。我们调查选择正确性的算法在稀疏的高维场景。我们还在合成数据集和真实数据集上测试了我们的方法，并表明它在预测精度或模型维度方面优于最先进的算法。
2022-11-11 stat.ME stat.ML
Double shrunken selection operator
Tibshirani（1996）的最小绝对收缩和选择算子（LASSO）是一个突出的估计器，它选择重要的（在某种意义上）特征并删除不重要的特征。事实上，LASSO将大于噪声水平的特征缩小到零。在本文中，我们迫使LASSO收缩更多的提出了一个斯坦型收缩估计源自LASSO，即斯坦型LASSO。新提出的估计器在风险意义上具有良好的数值性能。在前列腺癌数据集的分析中，与LASSO相比，该估计的变体具有较小的相对MSE和预测误差。
2016-12-19 stat.ME
On the Peaking Phenomenon of the Lasso in Model Selection
我简要地报告了一些意想不到的结果，我优化Lasso的模型参数时获得的。在具有变化的观测变量比n=p的模拟中，我通常在过渡点n/p = 1处观察到测试误差曲线中的强峰值。这种峰值现象在涉及样本协方差阵求逆的场景中得到了很好的证明，正如我在本说明中所说明的，它也是Lasso峰值的来源。关键问题是Lasso惩罚的参数化（例如在当前的R包lars中），我提出了一个标准化Lasso参数的解决方案。
2009-04-28 stat.ME
Exact post-selection inference, with application to the lasso
我们开发了一个通用的方法，有效的推理模型选择后。在我们的框架的核心是一个结果，其特征在于后选择估计的选择事件的条件下的分布。我们专门的方法来选择模型的套索，形成有效的置信区间为选定的系数和测试是否所有相关的变量已被包括在模型中。
2016-05-03 math.ST stat.ME stat.ML
Comparison of the LASSO and Integrative LASSO with Penalty Factors (IPF-LASSO) methods for multi-omics data: Variable selection with Type I error control
本文比较 LASSO 与 IPF-LASSO，并结合稳定性选择控制假阳性，评估模态特异惩罚参数在独立、相关高维组学数据及乳腺癌数据中的变量选择效果。
2024-04-03 stat.AP stat.ME
Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso
在令人兴奋的新工作中，Bertsimas等人（2016）表明，回归建模中的经典最佳子集选择问题可以用公式表示为混合整数优化（MIO）问题。利用MIO算法的最新进展，他们证明了最佳子集选择现在可以在统计界认为可能的更大的问题规模上得到解决。他们提出了最佳子集选择与其他流行的变量选择程序，特别是套索和向前逐步选择的实证比较。令人惊讶的是，他们的模拟表明，最佳子集选择在预测准确性方面始终优于这两种方法。在这里，我们提出了一个扩展的模拟集，以揭示更多的这些比较。总结大致如下：（a）最佳子集选择和套索都不均匀地支配另一个，最佳子集选择通常在高信噪比（SNR）状态下表现得更好，套索在低SNR状态下表现得更好;（b）最佳子集选择和前向逐步始终表现得非常相似;（三）放松套索（实际上，Meinshausen，2007年定义的原始松弛估计器的简化版本）是总的赢家，在低SNR场景中表现得与套索一样好，以及在高SNR情况下的最佳子集选择。
2017-07-29 stat.CO stat.ME
A Stable Lasso
Macquarie University（麦考瑞大学）；The University of Sydney（悉尼大学）
本文针对 Lasso 在相关预测变量下选择稳定性变差的问题，提出将基于相关性调整排序的加权方案集成到 Lasso 惩罚函数中以提升稳定性，并验证了其作为通用正则化选择稳定方案的潜力。
2026-10-20 stat.CO stat.ME stat.ML
Sélection de variables par le GLM-Lasso pour la prédiction du risque palustre
在这项研究中，我们提出了一个自动学习方法的变量选择基于Lasso在流行病学背景下。这种方法的目的之一是克服医学和流行病学专家对收集的数据进行预处理的问题。这些预处理包括重新编码一些变量和选择一些基于专业知识的交互。所提出的方法使用所有可用的解释变量，无需处理，并自动生成它们之间的所有相互作用。这导致高维。我们使用Lasso，这是高维变量选择的稳健方法之一。为了避免过度拟合，使用了两个水平的交叉验证。由于目标变量为帐户变量，且lasso估计量有偏，因此用lasso选择的变量通过GLM去偏，并用于预测疟疾主要传播媒介按蚊的分布。结果表明，只有少数气候和环境变量是与疟疾风险暴露相关的主要因素。
2015-09-09 stat.ML
Within Group Variable Selection through the Exclusive Lasso
许多数据集由具有固有组结构的变量组成。组选择问题已经得到了很好的研究，但在本文中，我们试图做相反的事情：我们的目标是在预测回归建模的背景下从每组中选择至少一个变量。这个问题是NP-困难的，但我们研究最严格的凸松弛：一个复合惩罚，是一个组合的$\ell_1$和$\ell_2$规范。我们所谓的Exclusive Lasso方法通过确保从每个组中选择至少一个变量来执行结构化变量选择。我们研究了我们的方法的统计特性，并开发了计算可扩展的算法，以适应独家套索。我们研究了我们的方法的有效性，通过模拟以及使用NMR光谱数据。在这里，我们使用Exclusive Lasso从生物样品中每个分子的可能化学位移字典中选择适当的化学位移。
2015-05-28 stat.ME
Estimating the Lasso's Effective Noise
在线性模型$Y = X β^* + \varepsilon$中，套索的大部分理论都取决于量$2 \| X^\top \varepsilon \|_{\infty} / n$，我们称之为套索的有效噪声。其中，有效噪声在套索的有限样本界限、套索的调谐参数的校准以及对参数向量$β^*$的推断中起重要作用。在本文中，我们开发了一个基于Bootstrap的估计的有效噪声的分位数。估计器是完全数据驱动的，也就是说，不需要任何额外的调优参数。我们装备我们的估计有限样本的保证，并将其应用于调整参数校准的套索和高维推理的参数向量$β^*$。
2022-01-21 stat.ME
Thresholded Adaptive Validation: Tuning the Graphical Lasso for Graph Recovery
Ruhr University Bochum（波鸿鲁尔大学）
许多机器学习算法都被公式化为正则化优化问题，但它们的性能取决于一个正则化参数，该参数需要根据手头的每个应用进行校准。在本文中，我们提出了一个通用的校准计划正则化优化问题，并将其应用到图形套索，这是一种方法的高斯图形建模。该方案配备了理论保证，并激励阈值流水线，可以提高图恢复。此外，在正则化路径上最多需要一个线搜索，校准方案在计算上比基于重新搜索的竞争方案更有效。最后，我们在模拟中表明，我们的方法可以大大提高其他方法的图恢复。
2021-03-30 cs.LG stat.ME stat.ML
Implicit Differentiation for Hyperparameter Tuning the Weighted Graphical Lasso
Univ Lyon, Ens Lyon, UCBL, CNRS, Inria, LIP（里昂大学、里昂高等师范学院、里昂第一大学、法国国家科学研究中心、法国国家信息与自动化研究所、里昂并行计算实验室）
本文提出基于一阶方法求解双层优化的框架与算法，用于调优加权 Graphical Lasso 超参数，并推导其解对正则化超参数的 Jacobian。
2023-07-05 cs.LG math.OC stat.ML
SMART Fine-tuning Factor Augmented Neural Lasso
Department of Operations Research and Financial Engineering（运筹学与金融工程系）
本文提出了一种结合预训练源模型作为增强特征的残差调优框架（SMART），用于高维非参数回归中的变量选择问题，通过引入低秩因子结构和残差调优分解，实现了协变量和后验偏移的联合处理，并推导了最小最大最优的超额风险界。
2026-05-17 cs.LG stat.ME stat.ML
ET-Lasso: A New Efficient Tuning of Lasso-type Regularization for High-Dimensional Data
The Pennsylvania State University（宾夕法尼亚州立大学）
L1正则化（Lasso）已被证明是一种多功能的工具，可以同时选择相关特征和估计模型系数，并已广泛应用于许多研究领域，如基因组研究，金融和生物医学成像。尽管Lasso很受欢迎，但要保证Lasso的特征选择一致性是非常具有挑战性的，特别是当数据的维数很大时。提高特征选择一致性的一种方法是选择理想的调优参数。传统的调整准则主要集中在最小化估计的预测误差或最大化后验模型概率，如交叉验证和BIC，这可能是耗时的或无法控制的错误发现率（FDR）时，特征的数量非常大。另一种方法是引入伪特征来学习原始特征的重要性。最近，提出了在执行特征选择时使用Knockoff滤波器来控制FDR。然而，其性能对预期FDR阈值的选择敏感。受这些思想的启发，我们提出了一种新的方法，使用伪特征，以获得一个理想的调谐参数。特别是，我们提出了有效的调整套索（ET-Lasso）分离活跃和不活跃的功能，通过添加置换功能作为伪功能的线性模型。伪特征被构造为本质上是不活动的，这可以用于获得截止以选择分离活动特征和不活动特征的调谐参数。仿真和实际数据应用的实验研究表明，ET-Lasso可以有效地和高效地选择活动特征下的广泛的场景
2019-05-18 cs.LG stat.ML
Correlated Feature Selection with Extended Exclusive Group Lasso
University College London（伦敦大学学院）；Aalto University（阿尔托大学）
在生物学背景下的许多高维分类或回归问题中，信息特征集的完整识别通常与预测准确性一样重要，因为这可以提供机械洞察力和概念理解。Lasso和相关算法已经被广泛使用，因为它们的稀疏解自然地识别一组信息特征。然而，当特征相关时，Lasso的性能不稳定。这限制了这些算法在生物学问题中的使用，在生物学问题中，基因等特征通常在途径中一起工作，导致高度相关的特征集。在本文中，我们研究的性能的拉索衍生物，独家组拉索，在这种设置。我们提出了快速的算法来解决排他性组Lasso，并介绍了解决方案的情况下，当潜在的组结构是未知的。该方案将稳定性选择与随机分组和引入人工特征相结合。与合成和真实世界的数据的实验突出了这种方法的优势，在全面的信息功能选择Lasso。
2020-02-27 cs.LG stat.ML
Monotone Splines Lasso
本文研究高维数据的非参数可加回归模型中的变量选择和估计问题。近年来，人们提出了几种方法来建模非线性关系时，协变量的数量超过了观察的数量，通过使用样条基函数和组惩罚。响应的非线性{ \it单调}效应在许多情况下起着核心作用，特别是在医学和生物学中。我们构造单调样条套索（MS-套索）选择变量和估计的影响，使用单调样条（I-样条）。模型中的可加性分量由其I样条基函数展开表示，分量选择变为选择I样条基函数展开中的系数组。我们使用一个最近的程序，称为合作套索，选择符号相干组，即选择组的非负或非正系数。这导致选择对响应具有非线性单调递增或递减效应的重要协变量。我们还介绍了一个自适应版本的MS-套索，大大减少了偏见和假阳性选择的数量。我们比较了MS-套索和自适应MS-套索与其他现有的方法，在高维变量选择模拟和说明的方法在两个相关的基因组数据集。结果表明，自适应MS-lasso方法在估计和选择两方面均优于其他方法，可推荐用于高维单调回归。
2013-10-04 stat.ME
Stability Selection via Variable Decorrelation
School of Mathematical and Physical Sciences, Macquarie University（麦考瑞大学数理科学学院）；School of Mathematics and Statistics, The University of Sydney（悉尼大学数学与统计学院）
本文提出在应用 Lasso 前对变量进行去相关，以提高变量选择的稳定性，并证明该方法在高维和低维数据上的有效性，开发了 DVS R 包。
2025-05-27 stat.CO stat.ME stat.ML
A critical review of LASSO and its derivatives for variable selection under dependence among covariates
我们研究了著名的LASSO回归作为一个变量选择器的局限性时，存在的协变量之间的依赖结构。我们用$n\geq p$分析了经典的情况，用$p>n$分析了高维的框架。分析了该方法在保证最优性方面的局限性以及在实际应用中的不便。这些缺点的例子显示通过广泛的模拟研究，利用不同的依赖方案。为了寻求改进，与LASSO衍生物和替代品进行了广泛的比较。最后，我们给出了一些关于什么程序在数据性质方面是最好的指导。
2020-12-21 stat.ME
Lasso based feature selection for malaria risk exposure prediction
在生命科学中，专家们通常使用经验知识来重新编码变量，选择交互作用，并通过经典方法进行选择。这项工作的目的是执行变量选择的自动学习算法，这可以导致知道专家是否可以帮助他们决策或简单地被机器取代，并提高他们的知识和结果。Lasso方法可以在一定条件下找到最优的估计和预测变量子集。在本文中，我们提出了一种新的方法，自动使用所有可用的变量和所有的相互作用。通过与Lasso的双重交叉验证，我们选择了一个最佳的变量子集，并与GLM通过一个简单的交叉验证进行预测。该算法保证了估计量的稳定性和相合性。
2015-11-04 stat.ML
Bayesian Adaptive Lasso with Variational Bayes for Variable Selection in High-dimensional Generalized Linear Mixed Models
本文介绍了一个完整的贝叶斯处理同时固定效应选择和参数估计的高维广义线性混合模型。该方法包括使用贝叶斯自适应Lasso惩罚信号级自适应收缩和快速变分贝叶斯方案估计后验模式的系数。与现有的方法相比，该方法具有自适应收缩参数的自动加入，不需要拉普拉斯近似步骤来积分出随机效应等优点。几个模拟和真实数据的例子说明了我们的方法的性能。该算法在R软件包glmmvb中实现，并可在线使用。
2016-08-30 stat.ME
Using LASSO for Variable Selection in Exponential Random Graph models
针对指数随机图模型（ERGM）的充分统计量设定问题，本文将LASSO惩罚估计方法引入网络数据分析，通过收缩参数至零实现模型选择，为网络模型提供了自动化的变量选择框架。
2024-09-12 stat.ME
Approximate Post-Selective Inference for Regression with the Group LASSO
在使用LASSO组（或广义变体，如重叠、稀疏或标准化LASSO组）进行选择后，在没有对选择偏倚进行调整的情况下，对所选参数的推断是不可靠的。在惩罚高斯回归设置，现有的方法提供了选择事件，可以表示为线性不等式的数据变量的调整。然而，这样的表示，未能举行选择与集团LASSO和实质上阻碍了范围内的后续后选择推理。关键问题的推理兴趣-例如，推理的影响，选定的变量的结果-仍然没有答案。在本文中，我们开发了一个一致的，后选择，贝叶斯方法来解决现有的差距，通过推导出一个似然调整因子和近似值，消除偏见的选择组。在模拟数据和Human Connectome Project数据上的实验表明，我们的方法可以恢复所选组内参数的影响，同时只需付出很小的代价进行偏差调整。
2022-08-13 math.ST stat.ME stat.ML
Variable Selection Incorporating Prior Constraint Information into Lasso
我们提出的变量选择过程中，将先验约束信息到套索。所提出的程序结合了样本和先验信息，并选择显着的变量的响应在一个较窄的区域中的真实参数所在。正确选择真实模型，提高了效率。所提出的方法可以通过多种约束二次规划方法来执行，并且可以通过最小二乘法或蒙特卡罗方法来找到初始估计。所提出的方法也具有良好的理论性质。此外，所提出的方法不仅用于线性模型，而且可以用于广义线性模型（{ \sl GLM}），Cox模型，分位数回归模型和许多其他的帮助下，王和冷（2007）的LSA，它改变了这些模型的近似线性模型。结合样本和先验约束信息的思想也可以用于其他修改的套索过程。一些例子用于说明的想法，将事先约束信息的变量选择过程。
2007-05-31 stat.ME
Model selection by LASSO methods in a change-point model
本文考虑了在未知时刻具有多个变点的线性回归模型。LASSO技术是非常有趣的，因为它允许参数估计，包括变点，和自动变量选择同时进行。的LASSO型（作为特殊情况下的LASSO估计）和自适应LASSO估计的渐近性质进行了研究。对于这最后一个估计的预言性质证明。在这两种情况下，提出了模型选择标准。数值例子显示的自适应LASSO估计相比，LS估计的性能。
2012-04-18 math.ST stat.TH
Selection of Sparse Vine Copulas in High Dimensions with the Lasso
我们提出了一种新的高维（d > 100）稀疏vine copula结构选择方法。目前的顺序贪婪方法的结构选择需要计算生成树在数百个维度和拟合的copula和他们的参数迭代整个结构选择过程。我们的方法使用藤蔓和结构方程模型（SEM）之间的连接。后者可以使用Lasso非常快速地估计，也是在非常高的维度上，以获得稀疏模型。因此，我们得到了一个结构估计独立于所选择的对copula和参数。此外，我们定义了新的概念的正则化路径的R-葡萄矩阵。它与稀疏的葡萄藤copula模型的独立copula的惩罚系数的结构方程模型。我们说明了我们的方法，并提供了许多数值例子。这些包括在高维的模拟和数据应用，显示出我们的方法的优越性，其他现有的方法。
2017-05-16 stat.ME
Sparse Group Selection Through Co-Adaptive Penalties
最近的工作集中在协变量数量非常大时进行线性回归的问题，可能大于样本量。为了便于实现这一点，一个有用的工具是假设模型可以通过仅涉及少量协变量的拟合来很好地近似-所谓的稀疏性假设，这导致了Lasso和其他方法。然而，在许多情况下，协变量可以被认为是结构化的，因为某些变量的选择有利于其他变量的选择-作为特殊情况，变量被组织成同时进入或离开模型的组。这种结构创建了不同形式的稀疏性。在本文中，我们提出了自适应Lasso拟合模型，以适应这种形式的“组稀疏”。自适应Lasso是快速和简单的计算，我们表明，它拥有理论优势的Lasso，表现良好的一组广泛的结论下，是非常有竞争力的经验模拟相比，以前建议的算法，如组Lasso和自适应Lasso。
2011-11-18 stat.ME
Stability Selection for Lasso, Ridge and Elastic Net Implemented with AFT Models
模型选择的不稳定性是包含大量协变量的数据集的主要问题。我们专注于稳定性的选择，这是用来作为一种技术，以提高变量的选择性能的选择方法的范围内，基于聚合的结果，应用选择程序的子样本的数据，其中的观察是受右删失。加速失效时间（AFT）模型已被证明在许多情况下是有用的，包括重删失（例如在癌症生存）和高维（例如在微阵列数据）。我们使用三种变量选择技术实现稳定性选择方法--Lasso、岭回归和弹性网应用于使用AFT模型的删失数据。我们比较了这些正则化技术的性能与稳定性选择方法与模拟研究和乳腺癌数据分析。结果表明，稳定性选择总是稳定的情况下选择的变量，并作为数据的尺寸增加的性能与稳定性选择的方法相比，没有稳定性选择的方法，不管协变量之间的共线性也提高了。
2016-04-25 stat.ME
Inference for feature selection using the Lasso with high-dimensional data
惩罚回归模型（如Lasso）已被证明在许多领域的变量选择中非常有用-特别是对于预测因子数量远远超过观测值数量的高维数据的情况。这些方法识别重要的变量并对其进行排序，但通常不提供对所选变量的任何推断。因此，选定的变量可能是“最重要的”，但不一定是重要的。我们提出了一个显着性测试的选择发现的套索。我们介绍了一个计算Lasso选择的特征的推断和p值的过程。该方法重新表述了原假设，并使用了一种随机化方法，该方法确保即使对于小样本也能控制错误率。我们证明了该算法的能力，计算$p$值的预期幅度与模拟数据使用多种方案，涉及各种影响强度和预测之间的相关性。该算法也适用于前列腺癌数据集，已在最近的论文中分析的主题。所提出的方法被发现提供了一个强大的方式，即使是小样本的特征选择的推断，当预测的数量是几个数量级大于观察的数量。该算法在R的MESS包中实现，并且可以免费获得。
2014-03-17 stat.ME
Thresholded Graphical Lasso Adjusts for Latent Variables: Application to Functional Neural Connectivity
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
在神经科学中，研究人员试图从大规模的神经记录或成像中揭示神经元的连通性;人们经常使用图形模型选择和估计技术来实现这一目的。但是，现有的技术只能记录一小部分神经元，这导致了在存在大量潜在变量的情况下图选择的挑战性问题。Anglasekaran et al.（2012）提出了一个凸规划来解决这个问题，从计算和统计的角度提出了挑战。为了解决这个问题，我们提出了一个非常简单的解决方案：将硬阈值算子应用于现有的图选择方法。概念上简单，计算上有吸引力，我们证明，阈值的图形套索，邻域选择，或CLIME估计具有优越的理论特性，在图形选择的一致性，以及更强的实证结果比现有的方法的潜在变量图形模型问题。我们还证明了我们的方法的适用性，通过神经科学案例研究钙成像数据来估计功能性神经连接。
2021-04-13 cs.LG stat.ME stat.ML
Estimation and Selection Properties of the LAD Fused Lasso Signal Approximator
融合套索算法是处理稀疏块状信号的一种重要方法。它通常与平方损失函数结合使用。然而，平方损失是不适合厚尾误差分布，也是强大的对离群值，在实践中经常出现。最小绝对偏差（LAD）损失提供了一个强大的替代平方损失。本文研究了具有LAD损失的融合Lasso估计在信号逼近中的渐近性质。我们将此估计器称为LAD融合套索信号逼近器或LAD-FLSA。我们研究了LAD-FLSA的估计相合性，并给出了LAD-FLSA是符号相合的充分条件。我们还构造了一个无偏估计量的自由度的LAD-FLSA的任何给定的调谐参数。仿真研究和实际数据分析进行说明LAD-FLSA的性能和自由度的无偏估计量的效果。
2021-04-30 stat.ME
Post-Lasso Inference for High-Dimensional Regression
在高维回归中最流行的变量选择过程中，Lasso提供了一个解决方案路径来对变量进行排名，并确定路径上的截止位置来选择变量和估计系数。本文在分析了现有文献的基础上，针对求解路径上相关变量与噪声变量不能完全区分的现象，提出了一种新的变量选择方法，即通过描述路径上第一个噪声变量和最后一个相关变量的位置，来控制噪声变量的位置，并给出了一种新的变量选择方法，该方法可以有效地控制噪声变量在路径上的位置。选择排在最后一个相关变量之后的噪声变量，同时保留排在第一个噪声变量之前的高比例相关变量。我们的程序利用最近发展的协方差检验统计量和Q统计量在后选择推断。在数值例子中，我们的方法相比，毫不逊色于其他现有的方法在选择精度和解释其结果的能力。
2018-06-16 stat.ME
The generalized hyperbolic family and automatic model selection through the multiple-choice LASSO
本文重新研究广义双曲分布族及其嵌套模型，提出多重选择LASSO惩罚方法，通过分层惩罚似然在GH族内同时实现模型选择与推断，并用模拟研究验证，提供R实现。
2023-07-11 stat.AP stat.CO stat.ME
Selection consistency of Lasso-based procedures for misspecified high-dimensional binary model and random regressors
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Warsaw University of Technology（华沙理工大学）
本文考虑了一般损失函数下二元响应的高维回归问题的随机预测变量的选择问题。重要的特殊情况是二元模型为半参数模型，并且在参数模型拟合下错误指定了响应函数。选择这样一个场景的目的是恢复支持的相关风险最小化的大概率。我们提出了一个两步选择过程，包括筛选和排序预测的Lasso方法，然后选择一个子集的预测，最小化相应的嵌套系列的模型的广义信息准则。我们证明的选择方法的条件下，允许更大的预测数量比观察的一致性。对于半参数情形，当随机预测变量的分布满足线性回归条件时，真实参数和估计参数是共线的，并且它们的公共支持度可以一致地确定。
2019-06-10 cs.LG math.ST stat.ME
A Permutation Approach for Selecting the Penalty Parameter in Penalized Model Selection
我们描述了一个简单的，高效的，基于置换的过程中选择的惩罚参数的LASSO。该程序适用于变量选择是主要焦点的应用程序，可应用于各种结构设置，包括广义线性模型。我们简要地讨论了排列选择和现有的理论之间的联系LASSO。此外，我们提出了一个模拟研究和分析的三个真实的数据集，其中排列选择比较交叉验证（CV），贝叶斯信息准则（BIC），和选择方法的基础上最近开发的测试程序的LASSO。
2014-04-08 stat.ML
Robust LassoNet: Enhancing Feature Selection in Neural Networks via Robust Loss Functions
针对神经网络特征选择对异常值敏感的问题，提出鲁棒LassoNet，通过引入Huber、Cauchy等鲁棒损失函数，在保持优化框架的同时提升污染数据下的预测与特征选择性能。
2026-10-12 cs.LG math.PR stat.ML
Bayesian Adaptive Lasso
提出了一种用于线性回归中变量选择和系数估计的贝叶斯自适应Lasso算法（BaLasso）. BaLasso通过对不同的系数采用不同的收缩率来适应信号电平。此外，我们提供了一个模型选择机械的BaLasso通过评估后验条件模式估计，动机的分层贝叶斯解释的套索。我们的配方还允许使用模型平均策略进行预测。我们讨论了这种新方法的其他变体，并提供了一个统一的框架，使用灵活的处罚变量选择。通过广泛的模拟研究和数据分析的方法的吸引力的实证证据证明。
2010-09-13 stat.CO stat.ME
Structured Lasso for convex nonparametric least squares: An application to Swedish electricity distribution networks
针对凸非参数最小二乘中传统Lasso变量选择效率低的问题，结合次梯度结构提出融合ℓ₁与ℓ∞范数的结构化Lasso及其松弛版本，经仿真和瑞典配电网数据验证，性能更优。
2025-10-30 econ.EM stat.ME
On an improvement of LASSO by scaling
Mie University（三重大学）
稀疏建模是机器学习和统计学中的一个主要课题。LASSO（Least Absolute Shrinkage and Selection Operator）是一种常用的稀疏建模方法，但它在稀疏表示时会产生意想不到的大偏差。已经有几个研究，以改善这个问题，如非凸正则化项的引入。重要的一点是，这种偏差问题直接影响应用程序中的模型选择，因为稀疏表示无法通过基于预测误差的模型选择来选择，即使它是一个很好的表示。在这篇文章中，我们考虑改善这个问题，通过引入一个扩展的LASSO估计，以补偿过度收缩，从而在LASSO估计的大偏差。我们在这里给出了缩放量的经验值。这种缩放方法有如下两个优点。由于所提出的尺度值是通过使用LASSO估计器来计算的，因此我们只需要通过快速且稳定的优化过程（例如LARS（最小角度回归））在LASSO修改或坐标下降下获得的LASSO估计器。而且，我们的缩放方法的简单性，使我们能够得到SURE（斯坦的无偏风险估计）下的修改LASSO估计与缩放。我们的缩放方法以及基于SURE的模型选择是完全经验的，不需要额外的超参数。在一个简单的数值例子中，我们验证了我们的缩放方法实际上改善了LASSO和基于SURE的模型选择标准可以稳定地选择合适的稀疏模型。
2018-08-22 cs.LG stat.ML
LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization
Stanford University School of Engineering（斯坦福大学工程学院）；Stanford University School of Medicine（斯坦福大学医学院）；Stanford University Department of Statistics（斯坦福大学统计学系）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
LLM-Lasso利用大型语言模型结合RAG提取领域知识，为Lasso回归生成特征惩罚因子，并通过内部验证缓解幻觉，实现了优于传统方法的鲁棒特征选择。
2025-08-12 cs.LG stat.ML
Square Root LASSO: Well-posedness, Lipschitz stability and the tuning trade off
本文研究平方根LASSO的适定性与参数敏感性，提出弱、中间、强三种正则性条件并刻画解映射的Lipschitz及可微性质，揭示其噪声鲁棒调参以更高调参敏感性为代价，并用数值实验验证理论结论。
2024-03-29 eess.SP math.OC stat.AP
Constructing confidence sets after lasso selection by randomized estimator augmentation
虽然近年来已有一些方法在模型选择后建立置信区间，但如何建立联合后选择推理的置信集仍然是一个悬而未决的问题。在本文中，我们发展了一种新的方法来构造置信集后，套索变量选择，其准确性和有效性的强有力的数值支持。我们的方法的一个关键组成部分是从响应$y$的条件分布中采样，给定套索活动集，这通常是非常具有挑战性的，因为条件事件的概率很小。我们克服了这一技术困难，使用估计增强模拟从这个条件分布通过马尔可夫链蒙特卡罗给定任何估计$\tildeμ$的平均值$μ_0$的$y$。然后，我们将随机化步骤的估计$\tildeμ$在我们的采样过程中，这可以被解释为模拟从后验预测分布的平均在$μ_0$的不确定性。我们的蒙特卡罗样本在构建多个参数的置信集方面具有很大的灵活性。大量的数值结果表明，我们的方法是能够构建所需的覆盖率的置信集，而且，我们的置信集的直径和体积是相当小的比较，与国家的最先进的方法。
2021-03-17 stat.ME
Multi-stage Convex Relaxation for Feature Selection
最近的一些工作研究了使用Lasso进行特征选择的有效性。已知在限制等距性质（RIP）下，由于凸松弛的松散性，Lasso一般不会导致非零系数集的精确恢复。本文研究了非凸正则化的特征选择性质，其中解是由一个多级凸松弛格式给出的。在适当的条件下，我们表明，通过这种方法获得的局部解恢复的非零系数的集合，而不遭受的Lasso松弛的偏见，这补充了参数估计结果的这种方法。
2011-12-05 stat.ML
Measurement Error in Lasso: Impact and Correction
当协变量的数量很大时，使用套索惩罚的回归是执行降维的流行工具。在套索的许多应用中，如在基因组学中，协变量受到测量误差的影响。我们研究了测量误差对具有套索惩罚的线性回归的影响，包括分析和模拟实验。然后考虑一种简单的方法来校正套索中的测量误差。在大样本限制下，校正的套索在与具有完美测量的套索非常相似的条件下产生符号一致的协变量选择，而未校正的套索对数据的协方差结构需要更严格的条件。最后，我们建议的方法来纠正测量误差在广义线性模型与套索惩罚，我们研究经验与逻辑斯谛回归的模拟实验，也适用于与微阵列数据的分类问题。我们看到，在类似的真阳性水平下，校正后的lasso选择的假阳性比标准lasso少。因此，校正的套索可以用于在基因组分析中获得更保守的协变量选择。
2014-02-14 stat.ME
Variable Selection using Inverse Survival Probability Weighting
在本文中，我们提出了两个变量选择方法调整截尾信息的生存时间，如限制平均生存时间。为了调整删失的影响，我们考虑对发生事件的受试者进行逆生存概率加权（ISPW）。我们推导出一个最小绝对收缩和选择算子（套索）型变量选择方法，该方法考虑平方损失的逆加权，和一个信息准则型变量选择方法，该方法将生存概率的逆加权应用于似然函数中每个密度函数的幂。我们证明了ISPW套索估计和最大ISPW似然估计的一致性。ISPW套索和ISPW信息标准的性能进行了评估，通过模拟研究与六个场景，然后使用两个临床研究的数据证明他们的变量选择能力。结果表明，ISPW套索和ISPW似然函数产生良好的估计精度和一致的变量选择。我们的结论是，我们提出的两种方法是有用的变量选择工具，调整生存时间分析的删失信息。
2022-12-05 stat.ME
Hierarchical Overlapping Group Lasso for GMANOVA Model
针对含多项式基个体内设计矩阵的GMANOVA模型的变量与多项式次数选择问题，提出分层重叠组Lasso方法，借助正交基解决高次多项式拟合问题，通过数值模拟验证了性能。
2025-10-22 stat.ME
Improving Lasso for model selection and prediction
已知的是，双保持Lasso（TL）、SCAD或MCP校正Lasso的固有估计偏差。在本文中，我们提出了一种替代的方法来改善Lasso的预测模型与一般的凸损失函数，其中包括正常的线性模型，逻辑斯谛回归，分位数回归或支持向量机。对于给定的惩罚，我们对Lasso非零系数的绝对值进行排序，然后通过广义信息准则从一个小的嵌套族中选择最终模型。我们推导出该方法的选择误差的指数上界。这些结果证实，至少对于正常的线性模型，我们的算法似乎是模型选择理论的基准，因为它是建设性的，计算效率高，并导致一致的模型选择弱假设。该算法的构造性意味着，与TL、SCAD或MCP相比，一致性选择不依赖于未知参数作为锥可逆因子。相反，我们的算法只需要样本量，预测的数量和噪声参数的上界。我们在合成和真实世界的数据集上的数值实验表明，我们的算法的实现比研究凹正则化的实现更准确。我们的过程包含在R包“DMRnet”中，可在CRAN库中找到。
2021-01-25 math.ST stat.ME stat.TH
Solar: $L_0$ solution path averaging for fast and accurate variable selection in high-dimensional data
University of Sydney（悉尼大学）
我们提出了一个新的变量选择算法，子样本排序最小角度回归（太阳），和它的坐标下降推广，太阳cd。Solar使用$L_0$范数重建套索路径，并对子样本之间的结果解路径求平均值。路径平均保留了信息变量的排名信息，同时平均了对高维的敏感性，提高了变量选择的稳定性，效率和准确性。我们证明：（i）以高概率，路径平均在平均$L_0$路径上完美地将信息变量与冗余变量分离;（ii）太阳变量选择是一致和准确的;以及（iii）太阳忽略弱信号的概率对于有限的样本量是可控的。我们还证明：（i）太阳能产量，在小于lasso计算负荷的$1/3$的情况下，在稀疏性方面相对于lasso有实质性改进（ii）与Lasso安全/强规则和变量筛选相比，Solar在很大程度上避免了冗余变量的选择和在存在复杂依赖结构的情况下对信息变量的拒绝;（iii）太阳能的稀疏性和稳定性保存了数据分裂假设检验的剩余自由度，提高了对具有有限$n$的弱信号的选择后推断的准确性;（iv）在自举选择中用太阳能代替套索（例如，bolasso或稳定性选择）产生多层变量排序方案，其在仅一个套索实现的计算负载的情况下改善选择稀疏性和排序准确性;以及（v）给定计算资源，太阳能自举选择比并行化自举套索的理论最大加速（由Amdahl定律确认）快得多（计算时间低98%）。
2022-05-06 cs.LG stat.ML
Group LASSO Variable Selection Method for Treatment Effect Generalization
在公共卫生领域，我们通常关注的是干预措施对一个人群的处理效应，这个人群与最初评估干预措施的实验人群在系统上是不同的。当随机对照试验中存在处理效应异质性时，将该实验人群的处理效应推广到目标人群是一个复杂的问题;它需要表征两个人群之间的处理效应异质性和基线协变量不匹配。尽管这个问题的重要性，在这种情况下的变量选择的文献是有限的。在本文中，我们提出了一组LASSO为基础的方法来变量选择的背景下，处理效应推广，与应用程序推广的处理效应非常低的尼古丁含量香烟的整体美国吸烟人口。
2023-02-08 stat.AP stat.ME
Model-based bootstrap inference for Cox models after Lasso selection
University of Augsburg（奥格斯堡大学）；TU Dortmund University（多特蒙德工业大学）
本文针对Cox-Lasso变量选择后的推断难题，提出基于模型的自助推断方法，证明其一阶有效性，模拟和实例显示该方法能改善小样本条件覆盖率，为生存分析提供可解释的不确定性量化。
2026-08-20 stat.ME
Adaptive group LASSO selection in quantile models
本文考虑了一个解释变量分组的线性模型。如果模型误差不具有零均值和有界方差，或者如果模型包含离群值，则最小二乘框架是不合适的。因此，分位数回归是一个有趣的选择。为了自动选择相关的变量组，我们提出并研究了自适应组LASSO分位数估计。在变量组个数固定和变量组个数不同两种情况下，我们证明了估计量的稀疏性和渐近正态性。通过蒙特卡罗模拟的数值研究证实了理论结果，并说明了所提出的估计的性能。
2016-07-13 math.ST stat.ME stat.TH
Model Selection Consistency of Lasso for Empirical Data
大规模的经验数据，其样本量和维数都很高，往往表现出各种各样的特征。例如，噪声项遵循未知的分布，或者模型非常稀疏，关键变量的数量是固定的，而维数随着$n$而增长。我们考虑了这类数据的Lasso模型选择问题。我们调查的理论保证和模拟，并表明套索是各种数据的鲁棒性。
2018-06-15 math.ST stat.TH
Large-scale Feature Selection of Risk Genetic Factors for Alzheimer's Disease via Distributed Group Lasso Regression
1 School of Computing, Informatics；2 Imaging Genetics Center, Institute for Neuroimaging
全基因组关联研究（GWAS）在阿尔茨海默病（AD）的遗传学研究中取得了巨大的成功。不同研究机构的合作成像遗传学研究显示了检测遗传风险因素的有效性。然而，GWAS数据的高维性对检测AD的风险SNP提出了重大挑战。选择相关特征在预测响应变量中至关重要。在这项研究中，我们提出了一种新的分布式特征选择框架（DFSF）进行大规模的成像遗传学研究在多个机构。为了加快学习过程，我们提出了一个家庭的分布式组Lasso筛选规则，以确定不相关的功能，并将它们从优化中删除。然后，我们通过在一系列参数中执行组Lasso特征选择过程来选择相关的组特征。最后，我们采用稳定性选择来对可能有助于早期检测AD的高风险SNP进行排名。据我们所知，这是第一个分布式特征选择模型集成组Lasso特征选择以及检测跨多个研究机构系统的风险遗传因素。对分布在多个机构的809名受试者进行了590万个SNP的实证研究，证明了所提出的方法的效率和有效性。
2017-04-27 cs.LG stat.ML
