Group Variable Selection via a Hierarchical Lasso and Its Oracle Property
在许多工程和科学应用中，预测变量被分组，例如，在生物应用中，其中测定的基因或蛋白质可以通过生物作用或生物途径分组。常见的统计分析方法，如方差分析，因子分析和功能建模与基集也表现出自然的变量分组。现有的成功的群体变量选择方法，如Antoniadis和Fan（2001），Yuan和Lin（2006）以及Zhao，Rocha和Yu（2009）具有以“全进全出”方式选择变量的局限性，即，当选择一组中的一个变量时，同一组中的所有其他变量也被选择。然而，在许多实际问题中，我们可能希望保持在组内选择变量的灵活性，例如在基因集选择中。在本文中，我们开发了一种新的组变量选择方法，不仅可以有效地删除不重要的群体，但也保持了选择变量的灵活性组内。我们还表明，新的方法提供了实现理论上的“预言”的性质，如在范和李（2001年）和范和彭（2004年）。
2010-08-09 stat.ME
Detection Estimation and Grid matching of Multiple Targets with Single Snapshot Measurements
在这项工作中，我们探讨的问题，检测窄带，远场目标的数量和估计其相应的方向从单快照测量。将稀疏信号恢复（SSR）原理应用于多目标的单快拍检测与估计。在SSR框架中，DoA估计问题是基于网格的，并且可以被视为套索优化问题。然而，SSR框架DoA估计引起的网格失配的问题，当未知的目标（源）是不匹配的估计网格选择的阵列导向矩阵的建设在接收机。已知块稀疏恢复框架通过使用组套索估计器联合估计目标及其来自估计网格的对应偏移来减轻网格失配问题。相应的检测问题简化为估计套索的最佳正则化参数（$τ$）（在完美网格匹配的情况下）或组套索估计问题，用于实现正确检测的所需概率（$P_c$）。我们提出了渐近和有限样本检验统计量检测所需的$P_c$在中等到高的信噪比的源的数量。一旦检测到源的数量，或者等效地估计了最佳$\hatτ$，则可以通过在$\hatτ$处求解套索或组套索问题来执行DoA的相应估计和网格匹配
2017-05-22 cs.IT math.IT stat.AP
Beyond the Oracle Property: Adaptive LASSO in Cointegrating Regressions with Local-to-Unity Regressors
Institute of Statistics and Mathematical Methods in Economics, TU Wien（维也纳工业大学统计与数学方法经济学研究所）
本文提出了一种在协整回归中适用于局部至单位回归器的自适应LASSO方法，通过构建有效且可靠的置信区间，解决了传统Oracle性质在有限样本下的局限性。
2026-03-12 econ.EM math.ST stat.ME
Cointegrated Regressors: Where Folded Concave Penalties Go Beyond LASSO
Hunan University（湖南大学）；The Chinese University of Hong Kong（香港中文大学）；University of Macau（澳门大学）
本文针对高维协整回归中LASSO凸惩罚过度抑制系数的问题，采用折叠凹惩罚（SCAD、MCP），建立两类oracle性质，经模拟和欧元区失业率预测验证，其变量选择与样本外预测性能优于LASSO。
2026-10-30 econ.EM stat.ME stat.ML
The adaptive Gril estimator with a diverging number of parameters
Cadi Ayyad University（卡迪·艾亚德大学）；Université Paris-Sud（巴黎第十一大学）
研究了参数个数随样本量而异的线性回归模型中变量的选择和估计问题。本文提出了自适应广义岭套索（\mbox{AdaGril}）算法，它是自适应弹性网的扩展。AdaGril将相关变量之间的信息冗余用于模型选择和估计。它结合了二次正则化和自适应加权Lasso收缩的优势。在本文中，我们突出了AdaCnet方法（AdaGril的一种类型）在等相关情况下的分组选择属性。在较弱的条件下，我们建立了AdaGril的预言性质，该性质确保了高维时的最优大性能。因此，它既达到了处理高维共线性问题的目的，又具有预言性质。此外，我们证明了AdaGril估计实现了一个稀疏不等式，即。例如，根据“真”回归系数的非零分量的数量的界限。这个界限是在一个类似的弱限制特征值（RE）条件下用于拉索。模拟研究表明，AdaGril的某些特定情况下优于其竞争对手。
2013-02-26 cs.LG stat.ME
Safe preselection in lasso-type problems by cross-validation freezing
提出了一种新的高维惩罚回归中安全变量预选的方法，如套索。预选--从一组可管理的协变量开始--往往在没有明确认识到其潜在偏倚的情况下实施。基于顺序实现的套索与不断增加的预测列表，我们发现了一个新的属性的一组相应的交叉验证曲线，一种模式，我们称之为冻结。它允许确定一个协变量子集，我们使用该子集获得与使用完整协变量集获得的相同的套索解。冻结以前没有被描述过，并且与最近讨论的丢弃预测因子的安全规则不同。我们通过模拟证明，通过其与结果的单变量相关性对预测因子进行排名，在大多数情况下会导致早期冻结，从而提供了一种安全有效的方法，将套索分析集中在较小且易于管理的预测因子上。我们说明了我们的策略的适用性的背景下，GWAS分析和微阵列基因组数据。冻结提供了很大的潜力，扩大适用性的惩罚回归超高维数据集。它的适用性不仅限于标准套索，而是许多惩罚方法的通用属性。
2012-12-07 stat.ME
The Symmetry of a Simple Optimization Problem in Lasso Screening
Princeton University（普林斯顿大学）
最近字典筛选已被提出作为一种有效的方法来提高求解套索问题的计算效率，这是最常用的方法之一，学习稀疏表示。为了解决当今不断增加的大型数据集，有效的筛选依赖于双套索解上的紧密区域。典型的区域边界的形式是一个球体和多个半空间的交集。收紧区域边界的一种方法是使用更多的半空间，然而，这增加了在套索筛选中求解高维优化问题的开销。本文揭示了一个有趣的性质，即优化问题只依赖于特征在半空间的法线所张成的子空间上的投影。该性质将高维优化问题转化为低维优化问题，从而降低了基于更紧区域边界的套索筛选的计算开销。
2016-08-25 cs.AI cs.CV cs.LG
On pattern recovery of the fused Lasso
研究了融合Lasso信号近似器（FLSA）估计加性噪声块状信号序列的性质。我们将FLSA转化为一个普通的Lasso问题。通过研究变换Lasso问题中设计矩阵的性质，我们发现不可表示条件可能不成立，在这种情况下，我们表明FLSA可能无法恢复信号模式。然后，我们将新开发的预处理方法- Puffer变换[Jia and Rohe，2012]应用于变换后的Lasso问题。我们称之为新的方法的预处理融合Lasso，我们给这种方法的非渐近结果。结果表明，当信号跳变强度（相邻两组间的信号差）较大且噪声水平较小时，该预处理融合Lasso估计器能够以较高的概率给出正确的方向图。理论结果给出了什么控制信号模式恢复能力的见解-它是噪声电平{而不是}序列的长度。仿真结果证实了我们的定理，并显示出显着改善的预处理融合Lasso估计香草FLSA。
2012-11-22 math.ST stat.ML stat.TH
Exponential Lasso: robust sparse penalization under heavy-tailed noise and outliers with exponential-type loss
Norwegian Institute of Public Health（挪威公共卫生研究院）
针对经典Lasso对异常值和重尾噪声敏感的问题，提出结合指数型损失的Exponential Lasso鲁棒稀疏方法，通过MM算法高效求解，兼具理想条件下的收敛率与污染场景鲁棒性，性能优于经典Lasso。
2025-11-19 cs.LG stat.ME stat.ML
Reducing bias and alleviating the influence of excess of zeros with multioutcome adaptive LAD-lasso
零膨胀解释变量在生态学和金融学等领域很常见。在本文中，我们解决的问题有多余的零值在一些解释变量，这是受多结果拉索正则化变量选择。简而言之，这个问题是由于套索型收缩方法无法识别回归系数或解释变量的相应值中出现的零值之间的任何差异。这种混杂将明显增加假阳性的数量-所有非零回归系数不一定代表真实的结果效应。我们在这里提出了用于多个结果的自适应LAD套索，它扩展了具有自适应惩罚的多变量LAD套索的早期工作。除了众所周知的属性具有较少的偏置回归系数，我们在这里展示了如何自适应也提高了方法的能力，从连续协变量中测量的零值的影响恢复。
2021-09-10 stat.ME
The Adaptive Lasso with Weighted IPW Factor and KRR Penalty Function
Beijing University of Technology（北京工业大学）
本文提出一种结合加权IPW因子与KRR惩罚的自适应Lasso，证明其具有Oracle性质，并通过数值模拟验证其性能接近极小极大最优。
2026-10-08 math.ST stat.TH
Selective inference with unknown variance via the square-root LASSO
当噪声水平已知时，模型选择后的推理最近已经有了很多工作，然而，$σ$在实践中很少知道，并且在高维设置中其估计是困难的。在这项工作中，我们建议使用的平方根LASSO（也称为缩放LASSO）进行选择性的推断系数和噪声水平的同时。平方根LASSO具有选择合理的调谐参数是无标度的性质，即它不依赖于数据中的噪声水平。我们为选择后的系数提供有效的p值和置信区间，并估计模型特定方差。我们的估计比其他估计的$σ^2$在模拟中表现得更好。
2017-02-09 math.ST stat.ME stat.TH
Bootstrap Adaptive Lasso Solution Path Unit Root Tests
University of Duisburg-Essen（杜伊斯堡-埃森大学）；RGS Econ - Ruhr Graduate School in Economics, Research Academy Ruhr（鲁尔研究生经济学院，鲁尔研究学院）
本研究提出筛野生bootstrap自适应Lasso解路径单位根检验方法，改善有限样本性质并支持非平稳波动率场景，缓解量扭曲且恢复有效推断，应用于欧元区房价发现平稳性具时期特异性。
2026-10-14 econ.EM stat.ME
Square-Root Lasso: Pivotal Recovery of Sparse Signals via Conic Programming
本文提出了一种估计高维稀疏线性回归模型的关键方法，其中回归变量总数$p$很大，可能比$n$大得多，但只有$s$回归变量是显著的.该方法是套索的一种改进，称为平方根套索。该方法是关键的，因为它既不依赖于标准差$σ$的知识，也不需要预先估计$σ$。此外，该方法不依赖于噪声的正态性或亚高斯性。它实现了接近预言机的性能，在预测范数中达到收敛速度$σ\{(s/n)\log p\}^{1/2}$，从而使套索的性能与已知的$σ$相匹配。这些性能结果是有效的高斯和非高斯误差，在一些温和的时刻限制。我们制定的平方根套索作为一个凸锥规划问题的解决方案，这使我们能够实现使用有效的算法方法，如邻域点和一阶方法的估计。
2011-12-18 math.ST stat.ME stat.TH
Adaptive sparse group LASSO in quantile regression
University Carlos III of Madrid（马德里卡洛斯三世大学）；uc3m-Santander Big Data Institute（uc3m-桑坦德大数据研究所）；Universitat Politècnica de València（瓦伦西亚理工大学）
研究将稀疏组套索引入分位数回归框架，提出自适应SGL。基于PCA和PLS等降维技术计算权重，在高维框架下研究其在合成与真实数据集上的益处，为分位数回归提供新方法。
2026-07-13 stat.AP stat.ME
A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent
Stanford University（斯坦福大学）
本研究提出基于块坐标下降的快速可扩展算法，结合Newton法与自适应二分法求解组Lasso及组弹性网正则化路径，开发的adelie包速度比同类最快工具快3-10倍，且lasso求解性能媲美glmnet。
2024-05-14 cs.LG cs.MS cs.SE
A Theoretical Analysis of Sparse Recovery Stability of Dantzig Selector and LASSO
Dantzig选择器（DS）和LASSO问题在统计学习、稀疏数据恢复和数学优化中引起了广泛的关注。在本文中，我们提供了一个理论分析的稀疏恢复稳定性的这些最优化问题在更一般的设置和从一个新的角度。在转置设计矩阵弱值域空间性质的假设下，我们建立了这些最优化问题的恢复误差界。该假设比已知的稀疏恢复条件（诸如限制等距属性（RIP）、零空间属性（NSP）或互相干性）限制性更小。事实上，我们的分析表明，这个假设是紧的，不能放松的标准DS问题，以保持其稀疏恢复的稳定性。因此，DS和LASSO的一系列新的稳定性结果已建立在各种矩阵属性，包括RIP与常数$δ_{2k}< 1/\sqrt{2}$和（无常数）的标准NSP的顺序$k.$我们证明，这些矩阵属性可以产生相同的恢复误差界DS和LASSO的稳定性系数被衡量的所谓的罗宾逊常数，而不是传统的RIP或NSP常数。据我们所知，这是第一次建立了DS和LASSO问题的稳定性结果与这样一个统一的功能。不同于标准的分析在这一领域的研究，我们的分析是确定性的，在我们的分析中使用的关键分析工具，包括线性系的误差界由于霍夫曼和罗宾逊和对称凸体的多面体近似由于巴维诺克。
2017-11-10 math.ST stat.TH
Distributional Consistency of Lasso by Perturbation Bootstrap
Tibshirani（1996）提出的最小绝对收缩和选择算子（Lasso）是多元线性回归中的一种常用估计方法，当基础设计具有稀疏结构时，因为它具有将某些回归系数精确设置为0的特性。在这篇文章中，我们发展了一个扰动自助法，并建立了它的有效性近似的异方差线性回归的Lasso分布。我们允许基础协变量是随机的或非随机的。我们表明，所提出的自举方法的工作原理与协变量的性质无关，不像Freedman（1981）的基于重采样的自举方法，它必须根据协变量的性质（随机与非随机）进行定制。仿真研究也证明了我们的方法在有限样本。
2017-10-29 math.ST stat.ME stat.TH
Greedy Variance Estimation for the LASSO
最近的研究结果证明了LASSO算法和相关算法对噪声线性回归的极大极小最优性。然而，这些结果往往依赖于效率低下的方差估计器或比LASSO本身更慢的优化。我们提出了一个有效的估计噪声方差的高维线性回归，比LASSO更快，只需要$p$矩阵向量乘法。在设计矩阵满足约束等距性的条件下，证明了该估计具有良好的收敛速率。在实践中，我们的估计器可以非常好地扩展到高维，高度并行化，并且只会产生适度的偏差。
2019-03-14 cs.IT math.IT math.ST
On Dantzig and Lasso estimators of the drift in a high dimensional Ornstein-Uhlenbeck model
本文给出了稀疏约束下高维Ornstein-Uhlenbeck模型漂移的Dantzig和Lasso估计的新的理论结果。我们的重点是甲骨文不等式的估计和误差界方面的几个规范。在Lasso估计的上下文中，我们的论文与[11]密切相关，[11]研究了行稀疏下的相同问题。我们改进了它们的速率，并证明了仅在遍历性假设下的限制特征值性质。最后，我们展示了一个数值分析，以揭示有限样本的Dantzig和Lasso估计性能。
2020-08-03 math.ST stat.TH
Bolasso: model consistent Lasso estimation through the bootstrap
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院信息学实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
我们考虑用l1范数正则化的最小二乘线性回归问题，这个问题通常被称为Lasso。在本文中，我们提出了一个详细的渐近分析的模型一致性的Lasso。对于正则化参数的各种衰减，我们计算正确模型选择的概率的渐近等价（即，变量选择）。对于一个特定的速率衰减，我们表明，Lasso选择所有的变量，应该进入模型的概率趋于一个指数快速，而它选择所有其他变量的严格正概率。我们表明，这个属性意味着，如果我们运行的Lasso的几个自举复制一个给定的样本，然后交叉的Lasso自举估计的支持，导致一致的模型选择。这种新的变量选择算法，被称为Bolasso，相比其他线性回归方法的合成数据和数据集的UCI机器学习库。
2008-04-08 cs.LG math.ST stat.ML
Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression
本文研究了稀疏高维线性回归模型下Lasso+mLS和Lasso+Ridge的渐近性质：Lasso选择预测变量，然后用修正的最小二乘（mLS）或Ridge估计其系数.首先，我们提出了一个有效的推理过程的参数估计的基础上参数残差自助Lasso+mLS和Lasso+岭。其次，我们推导了Lasso+mLS和Lasso+Ridge的渐近无偏性。更具体地说，我们表明，他们的偏见以指数速度衰减，他们可以实现预言收敛速度$s/n$（其中$s$是非零回归系数的数量和$n$是样本量）的均方误差（MSE）。第三，我们证明了Lasso+mLS和Lasso+Ridge是渐近正态的。他们有一个预言性质，在这个意义上，他们可以选择真正的预测与概率收敛到1和非零参数的估计有相同的渐近正态分布，如果零参数是已知的。事实上，我们的分析并不局限于在选择阶段采用Lasso，而是适用于选择错误模型的概率呈指数衰减率的任何其他模型选择标准。
2014-01-12 math.ST stat.TH
A comparative study of augmented inverse propensity weighted estimators using outcome-oriented covariate selection via penalization with outcome-adaptive lasso
本文比较 AIPW 估计量中 PS 模型采用 OAL、结果模型采用不同惩罚协变量选择的效果，发现两端均使用具 oracle 性质的面向结果选择时性能最佳。
2025-01-12 stat.ME
Adaptive robust variable selection
高维重尾数据在各个科学领域中普遍存在，对现代统计分析提出了巨大的挑战。解决这个问题的一个自然过程是使用带有加权$L_1$ -惩罚的惩罚分位数回归，称为加权鲁棒Lasso（WR-Lasso），其中引入权重来改善由$L_1$ -惩罚引起的偏差问题。在维数随样本量呈指数增长的超高维情形下，我们研究了模型选择的预言性质，建立了WR-Lasso的渐近正态性.我们表明，只有温和的条件模型误差分布是必要的。我们的理论结果还表明，自适应选择的权向量是必不可少的WR-Lasso享受这些好的渐近性质。为了使WR-Lasso实际可行，我们提出了一个两步的过程，称为自适应鲁棒Lasso（AR-Lasso），其中在第二步中的权向量是基于$L_1$惩罚分位数回归估计从第一步。理论上证明了这两步过程具有预言性质和渐近正态性。数值研究表明，有利的有限样本性能的AR-套索。
2014-03-21 math.ST stat.TH
Sparsity with sign-coherent groups of variables via the cooperative-Lasso
我们考虑的问题，估计和选择的参数赋予一个已知的组结构，当组被假定为是符号相干的，也就是说，收集非负，非正或空参数。为了解决这个问题，我们提出了合作Lasso惩罚。本文给出了定义广义线性模型的合作Lasso估计的最优性条件，并提出了一种适用于高维问题的有效集算法.本文研究了线性回归中估计量的渐近相合性，并导出了它的不可表示条件，它比group-Lasso的条件更温和。我们还解决了在线性回归模型选择的问题，推导出一个近似的合作Lasso估计的自由度。模拟比较所提出的估计组和稀疏组Lasso符合我们的理论结果，显示一致的改善支持恢复符号相干组。最后，我们提出了两个例子说明了广泛的适用性的合作套索：第一个顺序变量的处理，其中的惩罚作为单调性之前;第二个基因组数据的处理，其中的差异表达的探针的集合是丰富的，通过将所有的探针的微阵列相关的相应的基因。
2012-07-02 stat.AP stat.ME
Non-asymptotic Oracle Inequalities for the High-Dimensional Cox Regression via Lasso
我们考虑了正则化高维Cox回归的有限样本性质。现有的文献主要集中在线性模型或具有Lipschitz损失函数的广义线性模型，其中经验风险函数是独立同分布（iid）损失的总和。然而，截尾生存数据的负对数偏似然函数中的被加数既不是iid也不是Lipschitz。首先用iid非Lipschitz项之和逼近负对数偏似然函数，然后利用逐点变元推导了lasso惩罚Cox回归的非渐近预言不等式，解决了由于缺乏iid和Lipschitz性质而带来的困难.
2012-04-09 math.ST stat.ML stat.TH
Localized Gaussian width of $M$-convex hulls with applications to Lasso and convex aggregation
推导了$M$点的凸包与给定半径的欧氏球相交的高斯平均宽度的上界和下界。上界对任何按欧氏范数有界的极值点的集合成立。当极值点满足单侧限制等距性时，上界和下界匹配到乘法常数。然后将此界应用于研究固定设计回归中的Lasso估计、各向异性持久性问题中的经验风险最小化以及密度估计中的凸聚集问题。
2017-09-26 math.ST stat.TH
Online Hyperparameter-Free Sparse Estimation Method
在本文中，我们推导出一个在线估计稀疏参数向量，不像LASSO方法，不需要调整任何超参数。该算法是基于协方差匹配的方法，相当于一个加权版本的平方根LASSO。该估计器的计算复杂性与在线版本的正则化最小二乘（RLS）和LASSO具有相同的数量级。我们提供了一个可行的和不可行的实施LASSO和RLS的数值比较，以说明所提出的在线超参数估计的优势。
2015-05-06 math.ST stat.TH
On the Distribution of the Adaptive LASSO Estimator
我们研究了自适应LASSO估计（Zou（2006））在有限样本和大样本极限下的分布。大样本分布的情况下，自适应LASSO估计进行调整，以执行保守的模型选择，以及调整结果一致的模型选择。我们表明，有限样本以及大样本分布通常是高度非正态的，无论选择的调谐参数。一致的收敛速度也得到了，并示出慢于$n^{-1/2}$的情况下，估计器进行调整，以执行一致的模型选择。特别是，这些结果质疑邹（2006）建立的自适应LASSO估计量的“预言”属性的统计相关性。此外，我们还给出了自适应LASSO估计的分布函数估计的一个不可能性结果，并用非正交回归的Monte Carlo研究补充了正交设计回归模型的理论结果.
2008-12-16 math.ST stat.ME stat.ML
Model-Consistent Sparse Estimation through the Bootstrap
Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）
我们考虑的最小二乘线性回归问题与正则化的$\ell^1$ -范数，一个问题通常被称为套索。在本文中，我们首先提出了一个详细的渐近分析的模型一致性的Lasso在低维设置。对于正则化参数的各种衰减，我们计算正确模型选择的概率的渐近等价。对于一个特定的速率衰减，我们表明，Lasso选择所有的变量，应该进入模型的概率趋于一个指数快速，而它选择所有其他变量的严格正概率。我们表明，这个属性意味着，如果我们运行的Lasso的几个自举复制一个给定的样本，然后交叉的Lasso自举估计的支持，导致一致的模型选择。这种新的变量选择程序，被称为Bolasso，扩展到高维设置的可证明一致的两步程序。
2009-01-21 cs.LG stat.ML
Near-Ideal Behavior of Compressed Sensing Algorithms
在最近的一篇论文中，它表明，LASSO算法表现出“接近理想的行为”，在以下意义上：假设$y = Az + η$，其中$A$满足限制等距属性（RIP）与一个足够小的常数，和$\Vert η\Vert_2 \leq ε$。然后最小化服从$\Vert y - Az \Vert_2 \leq ε$的$\Vert z \Vert_1$导致估计$\hat{x}$，其误差$\Vert \hat{x} - x \Vert_2$由通用常数乘以由知道$x$的非零分量的位置的“oracle”获得的误差来限定。在优化领域，LASSO算法已经在几个方向上推广，例如组LASSO，稀疏组LASSO，没有或具有树结构重叠组，以及最近的排序LASSO。在本文中，它表明，{ \it任何算法\/}表现出接近理想的行为，在上述意义上，只提供（i）用于定义稀疏指数的规范是“可分解的”，（ii）在努力执行稀疏性最小化的惩罚规范是“$γ$ -可分解的”，和（iii）一个“压缩性条件”在一组限制等距属性是满足的。具体地，组LASSO和稀疏组LASSO（在组中具有一些允许的重叠）以及排序的$\ell_1$范数最小化都表现出接近理想的行为。显式的残余误差的界限推导出包含以前已知的结果作为特殊情况。
2014-04-21 stat.ML
Learning of Dynamical Systems under Adversarial Attacks -- Null Space Property Perspective
我们研究了线性时不变动力系统受大而稀疏的干扰建模对抗性攻击或故障的识别。在状态可测的假设下，通过求解约束拉索型优化问题，给出了系统矩阵恢复的充要条件。此外，我们提供了一个上限的估计误差时，干扰序列是一个组合的小噪声值和大的敌对值。我们的结果依赖于零空间的性质，已被广泛使用的套索文献，我们调查在什么条件下，这个属性持有线性时不变的动力系统。最后，我们进一步研究了一个特定的概率模型的条件，并通过数值实验来支持结果。
2022-10-05 cs.SY eess.SY math.ST
Variable selection via Group LASSO Approach : Application to the Cox Regression and frailty model
在补充了临床信息和高维基因表达数据的生存结局分析中，使用传统的考克斯比例风险模型（1972）无法满足生物医学研究中的一些新兴需求。首先，协变量的数量通常远大于样本量。其次，基于单个基因表达预测结果是不够的，因为多种生物过程和功能途径调节与基因相关的表达。另一个挑战是，考克斯模型假设人口是同质的，这意味着所有人都有相同的死亡风险，这是很少正确的，因为人口中的风险因素无法测量。在本文中，我们提出了一组LASSO与伽玛分布的脆弱性Cox回归变量选择，通过扩展以前的奖学金，以解释与暴露和易感性相关的组结构之间的异质性。所提出的方法的一致性性质的建立。这种方法适用于解决从遗传学到空气污染的各种研究问题。仿真分析表明，与其他方法，包括组SCAD和组MCP相比，组LASSO具有良好的性能。未来的发展方向包括使用自适应组LASSO和稀疏组LASS扩展脆弱性。
2018-02-23 stat.CO stat.ME
An Invariant Matching Property for Distribution Generalization under Intervened Response
University of Utah（犹他大学）
分布泛化的任务涉及在未知环境中对响应进行可靠的预测。结构因果模型被证明是有用的模型分布的变化，通过干预。受基本不变性原理的启发，通常假设给定其预测因子的响应的条件分布在不同环境中保持相同。然而，在实际环境中，当反应被干预时，这一假设可能会被违反。本文研究了一类具有干预反应的模型.我们确定了一种新的形式的不变性，将某些功能的估计作为额外的预测。有效地，我们证明了这种不变性相当于有一个确定性的线性匹配，使泛化成为可能。我们提供了一个明确的表征的线性匹配，并提出我们的模拟结果在各种干预设置。
2022-06-11 cs.LG stat.ME
Asymptotic Theory of the Sparse Group LASSO
本文提出了一个惩罚凸经验准则的一般框架和一个新版本的稀疏群LASSO（SGL，Simon等人，2013），称为自适应SGL，其中SGL的两个惩罚都由初步随机系数加权。我们广泛地探讨了它的渐近性质，并证明了这个估计满足所谓的预言性质（Fan和Li，2001），即基于稀疏性的估计恢复真实的底层稀疏模型，并渐近正态分布。然后，我们研究了它的渐近性质在一个双渐近框架，其中参数的数量与样本量发散。我们通过仿真表明，自适应SGL优于其他甲骨文类方法的估计精度和变量的选择。
2016-11-29 math.ST stat.TH
Robust High-Dimensional Time-Varying Coefficient Estimation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of California, Riverside（加州大学河滨分校）
提出RED-LASSO方法，结合Huber损失、截断、ℓ1正则化、去偏与阈值，利用高频数据稳健估计高维时变积分系数，并达到近最优收敛速率。
2025-09-24 stat.ME
Mind the duality gap: safer rules for the Lasso
Institut Mines-Télécom（矿业电信研究院）；Télécom ParisTech（巴黎电信学院）；CNRS LTCI（法国国家科学研究中心电信与信息处理实验室）
筛选规则允许在Lasso问题或其衍生物的优化中早期丢弃不相关的变量，使求解器更快。在本文中，我们提出了新版本的所谓的$\textit{safe rules}$的套索。基于对偶间隙的考虑，我们的新规则创建安全的测试区域，其直径收敛到零，只要一个依赖于收敛求解器。这个属性有助于筛选出更多的变量，以获得更大范围的正则化参数值。除了更快的收敛之外，我们还证明了我们可以在有限时间内正确识别解的活动集（支持）。虽然我们提出的策略可以处理任何求解器，但使用特别适用于机器学习用例的坐标下降算法来证明其性能。相对于以前的安全规则，获得显着的计算时间减少。
2015-12-03 cs.LG math.OC stat.CO
On prediction with the LASSO when the design is not incoherent
LASSO估计量是一种$\ell_1$ -范数惩罚最小二乘估计量，用于线性模型中的变量选择。当设计矩阵满足例如受限等距性质或具有小的相干指数时，已经证明LASSO估计器以高概率恢复足够稀疏的回归向量的支持和符号模式。在类似的假设下，LASSO满足各种范数的自适应预测界。本说明提供了一个预测界的基础上，一个新的指标，用于衡量如何有利的是一个设计矩阵的LASSO估计。我们研究了单位球面上具有独立随机列的矩阵的新指标的行为。使用这样一个随机矩阵（具有正确的列数）附加到一个给定的设计矩阵的简单技巧，我们表明，预测界类似于\cite [定理2.1]{CandesPlan：AnnStat 09}持有没有任何约束的设计矩阵，除了限制非奇异性。
2014-06-23 math.ST stat.TH
On Lasso refitting strategies
l_1-惩罚估计量的一个众所周知的缺点是大系数向零的系统收缩。一个简单的补救方法是将Lasso视为一个模型选择程序，并在选定的支持上执行第二个改装步骤。在这项工作中，我们正式的改装的概念，并提供Oracle边界任意改装程序的拉索解决方案。基于最小二乘的估计量修正技术是目前应用最广泛的估计量修正技术之一，但由于修正后的估计量的符号可能与原估计量的符号相反，因此存在可解释性问题。这个问题源于这样一个事实，即最小二乘重构只考虑Lasso解的支持，避免任何关于符号或振幅的信息。为此，我们定义了一个符号一致的改装作为一个任意改装过程，保持第一步Lasso解决方案的迹象，并提供Oracle不等式，这样的估计。最后，我们考虑特殊的改装策略：Bregman Lasso和Boosted Lasso。Bregman Lasso有一个富有成效的特性，可以收敛到符号最小二乘重新拟合（带符号约束的最小二乘），这提供了更好的可解释性。我们还研究了Bregman Lasso改装的正交设计的情况下，所提出的方法背后提供简单的直观。相比之下，Boosted Lasso考虑了第一个Lasso步骤的大小信息，并允许开发更好的预测预言率。最后，我们进行了广泛的数值研究，以显示在不同的合成和半真实的情况下，一种方法比其他方法的优势。
2018-11-12 math.ST stat.AP stat.TH
Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization
University of Pennsylvania Wharton School（宾夕法尼亚大学沃顿商学院）；University of Minnesota（明尼苏达大学）
本文证明LASSO正则化可稳定重建两层ReLU神经网络并识别其依赖的输入子集，样本量随维度对数增长，并提出了基于神经网络的变量选择方法。
2023-05-07 cs.LG math.ST stat.TH
Inferring gene expression networks with hubs using a degree weighted Lasso approach
基因组规模的基因网络包含称为枢纽的调控基因，这些基因有许多相互作用的伙伴。这些基因通常在基因调控和细胞过程中起重要作用。尽管最近在高通量技术方面取得了进展，但从高维数据中推断具有枢纽基因的基因网络仍然是一个具有挑战性的问题。新的统计网络推理方法需要从高维数据中有效和准确地重建枢纽网络。为了解决这一挑战，我们提出了DW-Lasso，这是一种度加权Lasso（最小绝对收缩和选择算子）方法，可以在低样本量设置下有效地推断具有枢纽的基因网络。我们的网络重建方法被制定为一个两阶段的过程：第一，网络的程度迭代估计，第二，基因调控网络重建使用度信息。所提出的方法的一个有用的属性是，它自然有利于枢纽基因周围的邻居的积累，从而有助于在假设基础网络表现出枢纽结构的情况下准确建模的高通量数据。在模拟研究中，我们证明了良好的预测性能相比，传统的Lasso型方法在推断枢纽和无标度图的方法。我们证明了我们的方法的有效性，在应用程序中的微阵列数据的\textit{E.coli}和RNA测序数据的肾透明细胞癌从癌症基因组图谱数据集。
2017-10-05 q-bio.QM stat.ME
Elastic Gradient Descent, an Iterative Optimization Method Approximating the Solution Paths of the Elastic Net
本文提出 elastic gradient descent，作为梯度下降与前向逐步回归的推广，理论上基于无穷小步长的 elastic gradient flow 进行分析；实验表明该方法能提供与弹性网相似的解路径且速度更快，相比前向逐步回归显著降低了预测与估计误差。
2023-10-26 math.OC stat.ME
Fused Multiple Graphical Lasso
Arizona State University（亚利桑那州立大学）；University of Minnesota（明尼苏达大学）
在本文中，我们考虑的问题，同时估计多个图形模型使用融合套索惩罚，这鼓励相邻的图共享相似的结构。一个鼓舞人心的例子是使用神经成像数据分析阿尔茨海默病的大脑网络。具体而言，我们可能希望估计正常对照（NC）的脑网络，轻度认知障碍（MCI）患者的脑网络，以及阿尔茨海默病患者（AD）的脑网络。我们期望NC和MCI的两个大脑网络共享共同的结构，但彼此不相同; MCI和AD的两个大脑网络也是如此。所提出的配方可以使用二阶方法求解。我们的主要技术贡献是建立了图可分解的充分必要条件。基于这个关键属性，提出了一个简单的筛选规则，它分解成小的子图，并允许多个独立的（小）子图的有效估计，大大降低了计算成本。我们在合成数据和真实数据上进行了实验，我们的结果证明了所提出的方法的有效性和效率。
2013-12-31 cs.LG stat.ML
Bayesian Variable Selection and Estimation for Group Lasso
本文重新访问贝叶斯群体套索，并使用穗和板坯先验组变量选择。在这个过程中，我们的模型与惩罚回归的连接被证明，并指出后中值阈值的作用。证明了在正交设计下，后验中位数估计对组变量的选择和估计具有预言性质，而当变量选择达到一致时，组Lasso估计具有次优的渐近估计率.接下来，我们考虑两个层次的选择问题，并提出了贝叶斯稀疏组选择再次与穗和板坯先验选择变量在组水平和组内。我们通过模拟证明，我们的尖峰和平板模型的后验中值估计具有优良的性能，无论是变量的选择和估计。
2015-12-03 math.ST stat.TH
De-biased lasso for stratified Cox models with application to the national kidney transplant data
移植受体科学登记（SRTR）系统已成为了解肾移植后移植物衰竭复杂机制的丰富资源，这是有效分配器官和实施适当护理的关键一步。由于治疗患者的移植中心可能强烈混淆移植失败，按中心分层的Cox模型可以消除其混淆效应。此外，由于接受者年龄是一个被证明的不可修改的风险因素，因此通常的做法是按接受者年龄组分别拟合模型。在某些年龄组中，相对于协变量数量，中等样本量可能导致偏倚的最大分层偏似然估计和不可靠的置信区间，即使样本数量仍然超过协变量。为了得出可靠的推断，从捐助者和接受者在SRTR的风险因素的综合清单，我们提出了一个去偏套索方法，通过二次规划拟合分层Cox模型。我们建立渐近性质，并通过模拟验证，我们的方法产生相合估计和置信区间与标称覆盖概率。考虑到SRTR中的近100个混杂因素，去偏方法检测到移植失败的危险在所有受体年龄组中随着供体的年龄而非线性增加，并且来自老年供体的器官对年轻受体的影响更大。我们的方法还描绘了移植失败和许多风险因素之间的关联，如受体的初步诊断（如多囊疾病，肾小球疾病和糖尿病）和供体-受体的人类白细胞抗原基因座在受体年龄组之间的不匹配。这些结果可为利益攸关方完善捐助方-受援方匹配标准提供参考。
2022-11-16 stat.ME
Stability Selection for Structured Variable Selection
Carnegie Mellon University（卡内基梅隆大学）
在变量或图选择问题中，找到合适大小的模型或控制误报的数量是非常困难的。最近，提出了一种称为稳定性选择的元算法，可以提供可靠的有限样本控制误报的数量。当与套索和正交匹配追踪算法结合使用时，其优点得到了证明。在本文中，我们研究的适用性稳定性选择结构化选择算法：组套索和结构化的输入输出套索。我们发现，使用稳定性选择往往会增加这两种算法的功率，但复杂结构的存在降低了稳定性选择下的错误控制的可靠性。我们给出了调整参数的设置策略，以获得一个良好的模型大小下的稳定性选择，并强调其优势和劣势相比，竞争的方法屏幕和清洁和交叉验证。我们给出了何时使用哪种错误控制方法的指导方针。
2017-12-13 cs.LG stat.ML
Multi-stage Convex Relaxation for Feature Selection
最近的一些工作研究了使用Lasso进行特征选择的有效性。已知在限制等距性质（RIP）下，由于凸松弛的松散性，Lasso一般不会导致非零系数集的精确恢复。本文研究了非凸正则化的特征选择性质，其中解是由一个多级凸松弛格式给出的。在适当的条件下，我们表明，通过这种方法获得的局部解恢复的非零系数的集合，而不遭受的Lasso松弛的偏见，这补充了参数估计结果的这种方法。
2011-12-05 stat.ML
The Adaptive $τ$-Lasso: Robustness and Oracle Properties
本文提出自适应 $τ$-Lasso 估计器，通过引入自适应 $\ell_1$-范数惩罚项处理高维污染数据，证明了其具备神谕性质与稳健性，在预测和变量选择上表现优异。
2025-04-29 cs.LG eess.SP stat.ML
C-HiLasso: A Collaborative Hierarchical Sparse Modeling Framework
University of Minnesota（明尼苏达大学）；Technion（以色列理工学院）
稀疏建模是一个强大的数据分析和处理框架。传统上，通过求解L1正则化线性回归问题（通常称为Lasso或Basis Pursuit）来执行该框架中的编码。在这项工作中，我们结合了稀疏诱导属性的套索模型在个别功能水平，与块稀疏属性的组套索模型，稀疏组的功能进行联合编码，获得稀疏模式层次结构。这就产生了层次套索（HiLasso），它显示了重要的实际建模优势。然后，我们将这种方法扩展到协作的情况下，一组同时编码的信号在较高的（组）水平上共享相同的稀疏模式，但不一定在较低的（组内）水平，获得协作HiLasso模型（C-HiLasso）。这样的信号然后共享相同的活动组或类，但不一定是相同的活动集。该模型非常适合于源识别和分离等应用。一个有效的优化过程，保证收敛到全局最优，开发这些新的模型。新的框架和优化方法的基本介绍是补充与实验的例子和理论结果的恢复保证所提出的模型。
2011-03-04 cs.CV stat.ML
Orthogonal Matching Pursuit for Text Classification
École Polytechnique（巴黎综合理工学院）；Athens University of Economics and Business（雅典经济与商业大学）
在文本分类中，由于高维数而出现过拟合问题，使得正则化变得必要。虽然经典的正则化器提供稀疏性，但它们无法返回高度准确的模型。相反，最先进的群套索正则化器以低稀疏性为代价提供了更好的结果。在本文中，我们采用贪婪的变量选择算法，称为正交匹配追踪，文本分类任务。我们还扩展了标准组OMP通过引入重叠组OMP处理重叠组的功能。实证分析表明，OMP和重叠GOMP构成强大的正则化，能够产生有效的和非常稀疏的模型。代码和数据可在线获取：https://github.com/y3nk0/OMP-for-Text-Classification。
2018-10-09 cs.CL cs.LG stat.ML
Low solution rank of the matrix LASSO under RIP with consequences for rank-constrained algorithms
Institute of Mathematics, EPFL（洛桑联邦理工学院数学研究所）
研究揭示在RIP条件下，矩阵LASSO解具有低秩性，对非凸秩约束优化方法有理论影响，证明低秩投影梯度下降可线性收敛至LASSO解，且Burer-Monteiro分解问题的非凸景观良性。
2025-04-22 math.OC math.ST stat.TH
Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables
稀疏正则化（如$\ell_1$正则化）是一种非常强大且广泛用于高维学习问题的策略。稀疏正则化的有效性已经在实践和理论上得到了一些研究的支持。然而，稀疏正则化的最大问题之一是其性能对特征之间的相关性非常敏感。常规的$\ell_1$正则化方法由于选择变量之间存在相关性，不仅会导致其泛化误差变差，而且会导致可解释性变差。在本文中，我们提出了一种新的正则化方法，“独立解释的套索”（IILasso）。我们提出的正则化抑制选择相关变量，因此每个活动变量独立地影响模型中的目标变量。因此，我们可以直观地解释回归系数，并通过避免过拟合来提高性能。分析了IILasso算法的理论性质，证明了该算法具有更好的符号恢复能力，并达到了几乎极小极大的最优收敛速度。合成和真实数据分析也表明了IILAasso的有效性。
2018-02-22 stat.ML
The Generalized Lasso with Nonlinear Observations and Generative Priors
National University of Singapore（新加坡国立大学）
在本文中，我们研究的问题，从噪声的非线性测量信号估值估计的未知$n$维信号的范围内的$L$ -Lipschitz连续生成模型与有界$k$维输入。我们假设的亚高斯测量，这是满足广泛的测量模型，如线性，逻辑，1位，和其他量化模型。此外，我们认为对抗腐败对这些测量的影响。我们的分析基于广义Lasso方法（Plan和Vershynin，2016）。我们首先提供了一个非统一的恢复保证，它指出，根据i.i.d.~高斯测量，大致$O\left(\frac{k}{ε^2}\log L\right)$样本足以恢复$ε$的$\ell_2$ -误差，并且该方案对对抗性噪声是鲁棒的。然后，我们将这一结果应用到神经网络生成模型中，并讨论了对其他模型和非独立同分布模型的各种扩展。测量.此外，我们表明，我们的结果可以扩展到均匀恢复保证下的一个所谓的本地嵌入属性的假设，这是由1位和删失Tobit模型所满足的。
2020-10-08 cs.IT cs.LG math.IT
The noise barrier and the large signal bias of the Lasso and other convex estimators
本文引入噪声壁垒和大尺度偏差两个量，证明相容性条件对Lasso实现快速预测速率不可避免，并刻画了调节参数在临界阈值处的尖锐相变，给出适用于任意设计矩阵和数据驱动调节参数的下界，结果可推广到一般凸惩罚。
2025-01-06 math.ST stat.TH
