On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）；Georgia Institute of Technology（佐治亚理工学院）
许多机器学习技术牺牲了方便的计算结构来获得估计鲁棒性和建模灵活性。然而，通过探索建模结构，我们发现这些“牺牲”并不总是需要更多的计算工作。为了揭示这种“免费午餐”现象，我们研究了平方根Lasso（SQRT-Lasso）型回归问题。具体来说，我们表明，非光滑的损失函数的SQRT-Lasso型回归缓解调整工作和增益自适应非均匀噪声，但不一定比Lasso在计算上更具挑战性。我们可以直接应用近似算法（例如近似梯度下降，近似牛顿和近似拟牛顿算法），而无需担心损失函数的非光滑性。理论上，我们证明了邻近算法结合路径优化计划享有快速收敛保证高概率。数值结果支持我们的理论。
2019-04-14 cs.LG math.OC stat.ML
The noise barrier and the large signal bias of the Lasso and other convex estimators
本文引入噪声壁垒和大尺度偏差两个量，证明相容性条件对Lasso实现快速预测速率不可避免，并刻画了调节参数在临界阈值处的尖锐相变，给出适用于任意设计矩阵和数据驱动调节参数的下界，结果可推广到一般凸惩罚。
2025-01-06 math.ST stat.TH
Some exercises with the Lasso and its compatibility constant
我们考虑将Lasso用于无噪声实验，其中具有观察值$X β^0$并使用基追踪的惩罚版本。我们计算一些特殊的设计的相容常数，一个数量密切相关的限制特征值。此外，我们显示的依赖（惩罚）预测误差的相容性常数。这个练习表明，相容性必然进入（惩罚）预测误差的界限，因此文献中的界限是紧的（直到常数）。我们还给出的条件表明，在有噪声的情况下，预测误差的主导项是由无噪声的情况下的预测误差。
2017-01-12 math.ST stat.TH
ARMAr-LASSO: Mitigating the Impact of Predictor Serial Correlation on the LASSO
Penn State University, USA（宾夕法尼亚州立大学）
ARMAr-LASSO通过预白化预测变量以减轻序列相关性影响，提升稀疏线性模型的估计和预测准确性。
2026-01-24 math.ST stat.TH
An error bound for Lasso and Group Lasso in high dimensions
Vicarious AI（维卡里亚人工智能公司）；Massachusetts Institute of Technology（麻省理工学院）
我们利用高维统计的最新进展，推导出新的L2估计上限的Lasso和组Lasso在高维。对于Lasso，我们的边界缩放为$(k^*/n) \log(p/k^*)$- $n\times p$是设计矩阵的大小，$k^*$是基础事实$\boldsymbolβ^*$的维度-并匹配最佳极大极小化率。对于组套索，我们的边界尺度为$(s^*/n) \log\left( G / s^* \right) + m^* / n$ -$G$是组的总数，$m^*$是包含$\boldsymbolβ^*$的$s^*$组中的系数的数量-并改进了现有的结果。我们还表明，当信号是强组稀疏，组Lasso优于Lasso。
2020-02-26 cs.LG math.ST stat.ML
A Comparison of Hamming Errors of Representative Variable Selection Methods
Lasso是线性模型中变量选择的一种著名方法，但当变量之间存在中等或强相关性时，Lasso方法面临挑战。这激发了替代方法，例如使用非凸惩罚，添加岭正则化或进行后Lasso阈值处理。在本文中，我们比较了Lasso与其他5种方法：弹性网络，SCAD，向前选择，阈值Lasso和向前向后选择。假设回归系数是从两点混合数据中提取的，并且Gram矩阵是块对角矩阵，我们从理论上通过期望的Hamming误差来衡量它们的性能。通过推导海明误差的收敛率和相图，我们得到了有关不同方法利弊的有用结论。
2022-03-28 math.ST stat.TH
Thresholded Lasso for high dimensional variable selection and statistical estimation
给定$n$噪声样本与$p$维度，其中$n \ll p$，我们表明，基于Lasso的多步阈值处理过程-我们称之为{ \it holded Lasso}，可以准确地估计线性模型$Y = X β+ ε$中的稀疏向量$β\in \R^p$，其中$X_{n \times p}$是一个归一化为列$\ell_2$范数$\sqrt{n}$和$ε\sim N(0, σ^2 I_n)$的设计矩阵。我们表明，在限制特征值（RE）条件下，（Bickel-Ritov-Tsybakov 09），在选择足够稀疏的模型时，可以在理想均方误差的对数因子内实现$\ell_2$损失，从而实现{ \it稀疏预言不等式};预言机将提供关于哪些坐标是非零的以及哪些坐标在噪声水平之上的完美信息。从某种意义上说，保留的Lasso恢复了$\ell_0$惩罚最小二乘估计量所做的选择，因为它选择了一个足够稀疏的模型，而不会牺牲估计$β$和预测$X β$的准确性。我们还证明了高斯-丹齐格选择器（Candès-Tao 07），如果$X$服从一致不确定性原则，并且如果真参数足够稀疏，则将实现如上所述的稀疏预言不等式，同时在最坏情况下允许模型中最多有$s_0$个无关变量，其中$s_0 \leq s$是最小整数，使得对于$λ= \sqrt{2 \log p/n}$，$\sum_{i=1}^p \min(β_i^2, λ^2 σ^2) \leq …
2010-02-11 math.ST stat.TH
Precise Error Analysis of the LASSO under Correlated Designs
在本文中，我们考虑的问题，恢复稀疏信号从噪声的线性测量使用所谓的LASSO制定。我们假设一个相关的高斯设计矩阵与加性高斯噪声。利用凸高斯最小-最大定理（CGMT），我们精确地分析了相关设计矩阵下LASSO的高维渐近性能。我们定义了适当的性能指标，如均方误差（MSE），支持恢复的概率，元素差错率（EER）和余弦相似性。通过数值模拟验证了理论分析的正确性。
2020-09-16 cs.IT math.IT math.ST
A note on sharp oracle bounds for Slope and Lasso
在本文中，我们研究了Slope和Lasso的尖锐预言界，并推广了Bellec et al.（2018）中的结果，以允许参数向量不完全稀疏的情况，并通过使用一些扩展的限制特征值类型条件，获得了具有$1\leq q\leq \infty$的$\ell_q$估计误差的最佳界。
2021-07-23 math.ST stat.TH
Bounds on the prediction error of penalized least squares estimators with convex penalty
本文研究了具有任意凸罚的罚最小二乘估计。当观测噪声为高斯噪声时，我们证明了预测误差是一个集中在其中值附近的亚高斯随机变量。我们应用这个浓度属性，得到尖锐的预言不等式的预测误差的LASSO，组LASSO和斜率估计，无论是在概率和期望。与以前的工作LASSO型方法相比，我们的预言不等式的概率得到在任何置信水平的调整参数，不依赖于置信水平的估计。这也是为什么我们能够建立稀疏预言界的预期LASSO型估计，而以前已知的技术不允许控制的预期风险。此外，我们还证明了预言不等式中的集中率比以前通常理解的要好。
2016-09-21 math.ST stat.TH
Prediction error of cross-validated Lasso
尽管关于Lasso的理论性质的文献非常丰富，但是当使用数据选择调谐参数的值时，所知甚少，即使这是实际上发生的情况。我们给出了一个一般的上界的预测误差的Lasso时，调整参数选择使用2倍交叉验证的变体。对设计矩阵的结构没有特别的假设，并且允许在任意数据相关的值集合上优化调谐参数。证明是基于一个一般的原则，可以扩展到其他种类的交叉验证以及其他惩罚回归方法。在此基础上，我们提出了一个新的高维回归误差方差估计，并证明了它在极小假设下具有良好的性质。
2016-08-31 math.PR math.ST stat.TH
Constraints and Conditions: the Lasso Oracle-inequalities
研究了高维稀疏回归模型中Lasso估计的真系数向量和设计矩阵的各种约束条件，建立了关于Lasso估计的预测误差、估计精度和变量选择的非渐近预言不等式.我们回顾了文献中的结果，我们提供了更简单和详细的推导几个有界性定理。此外，我们补充的理论与说明的例子。
2018-06-14 math.ST stat.TH
A local stochastic Lipschitz condition with application to Lasso for high dimensional generalized linear models
对于正则化估计，经验损失函数的随机Lipschitz系数的上尾行为在高维广义线性模型的Lasso误差界中起着重要的作用.对于线性模型，上尾特性是已知的，但对于非线性模型，上尾特性就不那么清楚了。建立了系数上尾的指数型不等式，并举例说明了所得结果在高维广义线性模型Lasso似然估计中的应用.
2010-09-06 math.ST stat.TH
The DFS Fused Lasso: Linear-Time Denoising over General Graphs
融合套索，也称为（各向异性）全变差去噪，被广泛用于相对于给定的无向图的分段常数信号估值。当底层图很大并且具有任意结构时，融合的套索估计计算起来是非常重要的。但对于一种特殊的图结构，即链图，融合套索--或简单地说，一维融合套索--可以在线性时间内计算。在本文中，我们建立了一个令人惊讶的连接之间的全变差的通用信号定义在任意图，和全变差的这个信号在链图引起的运行深度优先搜索（DFS）的节点的图形。具体地说，我们证明了，对于任何信号，其全变差的诱导链图是不超过两倍的全变差的原始图形。这种联系导致了一些有趣的理论和计算结论。分别用$m$和$n$表示所讨论的图的边和节点的数量，我们的结果意味着对于在图上具有全变差$t$的基础信号，融合套索实现均方误差率为\smash{$t^{2/3} n^{-2/3}$}。此外，通过在运行DFS的诱导链图上运行1d融合套索，可以实现完全相同的均方误差率。重要的是，后者估计是简单的，计算成本低，只需要$O(m)$操作用于构建DFS诱导链和$O(n)$操作用于计算该链上的一维融合套索解。此外，对于具有有界最大度的树，\smash{$t^{2/3} n^{-2/3}$}的错误率不能被改进，在这个意义上，它是在树上具有全变差$t$的信号的最小最大错误率。
2017-03-01 math.ST stat.TH
De-Biasing The Lasso With Degrees-of-Freedom Adjustment
本文研究了线性模型$y=Xβ+ε$中的Lasso去偏方案，其目标是在$a_0$方向上构建$a_0^Tβ$的置信区间，其中$X$具有iid $N(0,Σ)$行。我们表明，以前分析的命题去偏Lasso需要修改，以享受效率在全范围的稀疏性。该修改采用自由度调整的形式，该自由度调整考虑了Lasso选择的模型的尺寸。让$s_0$是真正的稀疏性。如果$Σ$是已知的，并且使用与$XΣ^{-1}a_0$成比例的理想得分向量，则先前提出的未调整的去偏置方案在$s_0\lll n^{2/3}$的情况下享有效率。然而，如果$s_0\ggg n^{2/3}$，未调整的计划不能在某些$a_0$有效：那么有必要修改现有的程序的自由度调整。当$s_0/p\to 0$和$s_0\log(p/s_0)/n \to 0$。如果$Σ$未知，则当$$\frac{s_0\log p}{n}+\min\Big\{\frac{s_Ω\log p}{n},\frac{\|Σ^{-1}a_0\|_1\sqrt{\log p}}{\|Σ^{-1/2}a_0\|_2 \sqrt n}\Big\}+\frac{\min(s_Ω,s_0)\log p}{\sqrt n}\to0$$其中$s_Ω=\|Σ^{-1}a_0\|_0$时，一般$a_0$被授予有效性，前提是使用自由度调整修改去偏估计。对$s_0,s_Ω$和$\|Σ^{-1}a_0\…
2021-07-08 math.ST stat.ML stat.TH
Asymptotically Honest Confidence Regions for High Dimensional Parameters by the Desparsified Conservative Lasso
在本文中，我们考虑保守的Lasso，我们认为它比Lasso更正确地惩罚，并展示了如何在van de Geer et al.（2014）的意义上对其进行去分解，以构建渐近诚实（均匀）的置信带。特别是，我们开发了一个预言不等式的保守Lasso只假设存在一定数量的时刻。这是通过Marcinkiewicz-Zygmund不等式完成的。我们允许异方差非亚高斯误差项和协变量。接下来，我们解parsify保守的Lasso估计，并推导出渐近分布的测试，涉及越来越多的参数。我们的模拟结果表明，去parsised保守的Lasso估计的参数比去parsised Lasso更精确，具有更好的大小属性，并产生具有优越的覆盖率的置信带。
2017-11-12 math.ST stat.TH
Generic Error Bounds for the Generalized Lasso with Sub-Exponential Data
本文在次指数数据的假设下对广义Lasso模型进行了非渐近分析。我们的主要结果继续最近的研究（子）高斯样本分布的基准情况下，从而探索什么结论仍然有效时，超越。虽然许多统计特征保持不受影响（例如，一致性和错误衰减率），关键的区别表现在如何测量假设集的复杂性。事实证明，估计误差可以通过两个复杂性参数来控制，这两个复杂性参数是从基于泛型链的证明策略中自然产生的。输出模型可以是不可实现的，而对输入向量的唯一要求是Bernstein型的一般浓度不等式，其可以针对各种子指数分布实现。这种抽象的方法使我们能够再现，统一和扩展以前已知的广义拉索的保证。特别是，我们目前的应用程序，半参数输出模型和相位恢复通过解除套索。此外，我们的研究结果进行了讨论的背景下，稀疏恢复和高维估计问题。
2023-01-15 math.ST stat.ML stat.TH
Empirical Bayes Variable Selection with Lasso Statistics in the AMP Framework
Hebrew University of Jerusalem（希伯来大学）
本文在AMP框架中提出基于经验贝叶斯的最优变量选择方法，通过估计局部假发现率来改进Lasso统计量的使用，实现显著的功率提升。
2026-02-09 math.ST stat.TH
Debiasing the Lasso under Weaker Tail Assumptions
IMPA（巴西纯数学与应用数学研究所）
该研究针对高维Lasso推断，提出通过标准化数据集的方法，在更弱假设下实现去偏Lasso类方法的有效推断，降低了对数据尾分布等强假设的要求。
2026-08-10 math.ST stat.TH
On Dantzig and Lasso estimators of the drift in a high dimensional Ornstein-Uhlenbeck model
本文给出了稀疏约束下高维Ornstein-Uhlenbeck模型漂移的Dantzig和Lasso估计的新的理论结果。我们的重点是甲骨文不等式的估计和误差界方面的几个规范。在Lasso估计的上下文中，我们的论文与[11]密切相关，[11]研究了行稀疏下的相同问题。我们改进了它们的速率，并证明了仅在遍历性假设下的限制特征值性质。最后，我们展示了一个数值分析，以揭示有限样本的Dantzig和Lasso估计性能。
2020-08-03 math.ST stat.TH
Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression
本文研究了稀疏高维线性回归模型下Lasso+mLS和Lasso+Ridge的渐近性质：Lasso选择预测变量，然后用修正的最小二乘（mLS）或Ridge估计其系数.首先，我们提出了一个有效的推理过程的参数估计的基础上参数残差自助Lasso+mLS和Lasso+岭。其次，我们推导了Lasso+mLS和Lasso+Ridge的渐近无偏性。更具体地说，我们表明，他们的偏见以指数速度衰减，他们可以实现预言收敛速度$s/n$（其中$s$是非零回归系数的数量和$n$是样本量）的均方误差（MSE）。第三，我们证明了Lasso+mLS和Lasso+Ridge是渐近正态的。他们有一个预言性质，在这个意义上，他们可以选择真正的预测与概率收敛到1和非零参数的估计有相同的渐近正态分布，如果零参数是已知的。事实上，我们的分析并不局限于在选择阶段采用Lasso，而是适用于选择错误模型的概率呈指数衰减率的任何其他模型选择标准。
2014-01-12 math.ST stat.TH
Stochastic Lipschitz continuity for high dimensional Lasso with multiple linear covariate structures or hidden linear covariates
考虑了广义线性模型的两种推广。在第一种情况下，响应变量取决于协变量的多个线性组合。在第二种情况下，仅观察到响应变量，而线性协变量缺失。我们推导出随机Lipschitz连续性结果的损失函数参与回归问题，并应用它们得到界估计误差的拉索。Rademacher复杂性的多变量比较结果作为工具，建立随机Lipschitz连续性结果。
2010-11-05 math.ST stat.TH
A Theoretical Analysis of Sparse Recovery Stability of Dantzig Selector and LASSO
Dantzig选择器（DS）和LASSO问题在统计学习、稀疏数据恢复和数学优化中引起了广泛的关注。在本文中，我们提供了一个理论分析的稀疏恢复稳定性的这些最优化问题在更一般的设置和从一个新的角度。在转置设计矩阵弱值域空间性质的假设下，我们建立了这些最优化问题的恢复误差界。该假设比已知的稀疏恢复条件（诸如限制等距属性（RIP）、零空间属性（NSP）或互相干性）限制性更小。事实上，我们的分析表明，这个假设是紧的，不能放松的标准DS问题，以保持其稀疏恢复的稳定性。因此，DS和LASSO的一系列新的稳定性结果已建立在各种矩阵属性，包括RIP与常数$δ_{2k}< 1/\sqrt{2}$和（无常数）的标准NSP的顺序$k.$我们证明，这些矩阵属性可以产生相同的恢复误差界DS和LASSO的稳定性系数被衡量的所谓的罗宾逊常数，而不是传统的RIP或NSP常数。据我们所知，这是第一次建立了DS和LASSO问题的稳定性结果与这样一个统一的功能。不同于标准的分析在这一领域的研究，我们的分析是确定性的，在我们的分析中使用的关键分析工具，包括线性系的误差界由于霍夫曼和罗宾逊和对称凸体的多面体近似由于巴维诺克。
2017-11-10 math.ST stat.TH
Precise Error Analysis of the $\ell_2$-LASSO
在许多信号处理应用中出现的经典问题要求从欠定、噪声、线性测量$y=Ax_0+z\in R^m$重建未知的$k$ -稀疏信号$x_0\in R^n$。一种标准方法是求解以下凸程序$\hat x=\arg\min_x \|y-Ax\|_2 + λ\|x\|_1$，称为$\ell_2$ -LASSO。我们假设感测矩阵$A$和噪声向量$z$的条目是具有方差$1/m$和$σ^2$的独立同分布高斯。在大系统的极限时，问题的尺寸增长到无穷大，但在恒定的速率，我们\emph{precisely}特征的归一化平方误差$\|\hat x-x_0\|^2_2/σ^2$的限制行为。我们的数值例子验证了我们的理论预测。
2015-02-17 math.OC math.ST stat.TH
Thresholded Lasso for high dimensional variable selection
针对高维线性回归中的变量选择，提出阈值化Lasso方法，在受限特征值条件下达到稀疏预言不等式，且模拟验证了理论结果。
2025-10-27 math.ST stat.TH
On Lasso estimator for the drift function in diffusion models
本文研究了扩散情形下漂移分量的Lasso估计的性质。更具体地说，我们考虑了一个多元参数扩散模型$X$连续观察到的间隔$[0,T]$和研究稀疏约束下的漂移估计。我们允许模型和参数空间的维数很大。利用扩散过程的线性泛函的浓度不等式，得到了Lasso估计的一个预言不等式，并得到了$L^2$ -距离的一个误差界.概率部分是基于经验过程理论的元素，特别是在链接方法。
2023-03-28 math.ST stat.TH
Robust-to-outliers square-root LASSO, simultaneous inference with a MOM approach
本文考虑了噪声方差未知的最小二乘回归问题，其中观测数据点允许被异常值破坏。在已知噪声方差的情况下，基于Lecue和Lerasle Ann.Statist.48（2）：906-931（2020年4月）介绍的均值中值（中位数）方法，我们提出了一种通用的均值中值方法，用于同时推断回归函数和噪声方差，仅需要噪声水平的上限。有趣的是，由于潜在的凹凸优化问题固有的正则性问题，这种推广需要小心。在一般情况下，回归函数属于凸类，我们表明，我们的同时估计实现了高概率相同的收敛速度和类似的风险范围，如果噪声水平是未知的，以及估计的噪声标准差的收敛速度。在高维稀疏线性设置中，我们的估计器产生一个强大的模拟的平方根LASSO。在弱矩条件下，它以高概率联合实现系数向量的$\ell_p$ -范数的估计的最小最大速率$s^{1/p} \sqrt{(1/n) \log(p/s)}$和噪声标准偏差的估计的速率$\sqrt{(s/n) \log(p/s)}$。这里，$n$表示样本大小，$p$表示维度，$s$表示稀疏水平。最后，我们提出了一个扩展的情况下，未知的稀疏水平$s$，提供了一个联合自适应估计$(\widetilde β, \widetilde σ, \widetilde s)$。它同时估计系数向量、噪声水平和稀疏水平，并证明这三个分量中的每一个都有很高的概率。
2021-03-18 math.ST stat.TH
Slope meets Lasso: improved oracle bounds and optimality
我们表明，两个多项式时间的方法，拉索估计自适应选择的调整参数和斜率估计，自适应实现精确的极小极大预测和$\ell_2$估计率$(s/n)\log (p/s)$在高维线性回归类的$s$ -稀疏目标向量$\mathbb R^p$。这是在Lasso的限制特征值（RE）条件下以及在对Slope的设计的稍微更多约束的假设下完成的。主要结果具有尖锐的预言不等式的形式，考虑到模型的误设定误差。当模型被很好地指定时，还得到了用$1\le q\le 2$的$\ell_q$估计误差的极小极大最优界。结果是非渐近的，并保持在概率和期望。我们对设计施加的假设是满足高概率的一个大类的随机矩阵与独立的，可能各向异性分布的行。我们给出了一个比较分析的条件下，可以得到的拉索和斜率估计的预言界。特别地，我们证明了几个已知的条件，如RE条件和稀疏特征值条件是等价的，如果回归的$\ell_2$ -范数一致有界。
2017-05-24 math.ST stat.TH
Uniformly Valid Confidence Sets Based on the Lasso
在固定维线性回归模型$p \leq n$中，基于Lasso估计，构造了未知参数向量的置信区域，该估计在有限样本下以及在渐近条件下，一致且精确地保持给定的置信区域.因此，我们量化估计的不确定性以及“后模型选择误差”的估计。更具体地说，在有限样本高斯误差和渐近的情况下，拉索估计被调整到执行保守的模型选择，我们推导出精确的公式，用于计算最小覆盖概率在整个参数空间的一大类形状的置信集，从而使有效的置信区域的建设在这些设置的基础上的拉索估计。文中还讨论了置信集形状的选择以及与基于最小二乘估计的置信椭圆的比较。此外，在调整Lasso估计器以实现一致的模型选择的情况下，我们给出了一个简单的置信区域，其最小覆盖概率收敛到1。最后，我们还处理未知误差方差的情况下，并提出了一些想法的扩展。
2018-05-14 math.ST stat.ME stat.TH
Measurement Error in Lasso: Impact and Correction
当协变量的数量很大时，使用套索惩罚的回归是执行降维的流行工具。在套索的许多应用中，如在基因组学中，协变量受到测量误差的影响。我们研究了测量误差对具有套索惩罚的线性回归的影响，包括分析和模拟实验。然后考虑一种简单的方法来校正套索中的测量误差。在大样本限制下，校正的套索在与具有完美测量的套索非常相似的条件下产生符号一致的协变量选择，而未校正的套索对数据的协方差结构需要更严格的条件。最后，我们建议的方法来纠正测量误差在广义线性模型与套索惩罚，我们研究经验与逻辑斯谛回归的模拟实验，也适用于与微阵列数据的分类问题。我们看到，在类似的真阳性水平下，校正后的lasso选择的假阳性比标准lasso少。因此，校正的套索可以用于在基因组分析中获得更保守的协变量选择。
2014-02-14 stat.ME
The Lasso error is bounded iff its active set size is bounded away from n in the proportional regime
本文在比例机制下证明 Lasso 的 L2 风险有界当且仅当其活跃变量数远离样本量 n，并利用该等价关系给出相变的简化证明，同时将分析扩展到常数阶小调节参数。
2025-01-05 math.ST stat.TH
False Discoveries Occur Early on the Lasso Path
在回归设置中，解释变量具有非常低的相关性，并且效应相对较少，每个效应的幅度都很大，我们希望Lasso能够以很少的错误找到重要的变量。本文表明，在一个政权的线性稀疏-这意味着一个非零效应的变量的分数往往是一个常数，但小-这不能真正的情况下，即使当设计变量是随机独立的。我们证明了真实特征和空特征总是散布在Lasso路径上，并且无论效应大小有多强，这种现象都会发生。我们得到了一个尖锐的渐近权衡之间的假和真的积极率，或等价地，之间的措施，第一和第二类错误沿拉索路径。（假阴性率）在临界值下，然后在Lasso路径上的任何地方，（假阳性率）将需要超过给定的阈值，使得我们永远不会同时具有低水平的两个错误。我们的分析使用近似消息传递（AMP）理论的工具以及新元素来处理Lasso正则化参数的可能自适应选择。
2016-09-15 cs.IT math.IT math.ST
Variable selection in high-dimensional linear model with possibly asymmetric or heavy-tailed errors
研究了具有非对称或重尾误差的线性模型在解释变量个数随样本量而异时的变量自动选择问题。对于这种高维模型，惩罚最小二乘法并不适用，分位数框架由于损失函数的不可微性，使得推理更加困难。我们提出并研究了一种通过自适应LASSO惩罚来惩罚期望过程的估计方法。考虑两种情况：模型参数的数量小于并且之后大于样本量，这两种情况通过所考虑的自适应惩罚而不同。对于每一种情况，我们给出了自适应LASSO期望估计的速度收敛性，并建立了预言性质。建议的估计进行评估，通过Monte Carlo模拟和自适应LASSO分位数估计相比。当参数个数大于样本量样本量时，我们也将我们的估计方法应用于遗传学中的实际数据。
2018-12-07 math.ST stat.TH
When Does More Regularization Imply Fewer Degrees of Freedom? Sufficient Conditions and Counter Examples from Lasso and Ridge Regression
正则化旨在通过移动到第二种方法来改善给定统计建模方法的预测性能，第二种方法实现更差的训练误差，但预计具有更少的自由度，即，训练和预测误差之间的更好的一致性。然而，我们在这里表明，这种预期的行为一般不成立。事实上，给出了反例，表明正则化可以在简单情况下增加自由度，包括套索和岭回归，这是最常用的正则化方法。在这种情况下，正则化增加了训练误差和自由度，因此本质上没有优点。另一方面，描述了两个重要的正则化场景，其中确实保证了自由度的预期减少：（a）所有对称线性平滑器，以及（b）线性回归与凸约束线性回归（如岭回归和套索的约束变体）。
2013-11-12 math.ST stat.ML stat.TH
De-biasing the Lasso: Optimal Sample Size for Gaussian Designs
在高维空间中进行统计推断是一个突出的挑战。困难的一个主要来源是没有精确的信息分布的高维估计。在这里，我们考虑线性回归的高维制度$p\gg n$。在此上下文中，我们想要对高维参数向量$θ^*\in{\mathbb R}^p$执行推断。在计算单一坐标$θ^*_i$的置信区间方面取得了重要进展。在这些新的方法中，一个关键的作用是发挥一定的去偏估计$\hatθ^{\rm d}$，是从拉索构造。早期的工作建立，在适当的假设下的设计矩阵，$\hatθ^{\rm d}$的坐标是渐近高斯提供$θ^*$是$s_0$ -稀疏与$s_0 = o(\sqrt{n}/\log p )$。条件$s_0 = o(\sqrt{n}/ \log p )$比一致估计的条件$s_0 = o(n/ \log p)$强。我们研究具有已知或未知总体协方差的高斯设计。在协方差已知的情况下，在近似最优条件$s_0 = o(n/ (\log p)^2)$下，证明了去偏估计是渐近高斯的。请注意，即使对于完全已知的协方差，早期的工作也仅限于$s_0 = o(\sqrt{n}/\log p)$。如果总体协方差是未知的，但可以足够好地估计，例如，在与早期工作假设的逆协方差相同的稀疏条件下，同样的结论也成立。对于中间政权，我们描述的稀疏系数和设计的逆协方差之间的权衡。我们进一步讨论了我们的结果高维推理的几个应用。特别是，我们提出了一个新的估…
2016-06-13 math.ST stat.ML stat.TH
Oracle Inequalities and Optimal Inference under Group Sparsity
我们考虑在高斯噪声模型下估计稀疏线性回归向量$β^*$的问题，用于预测和模型选择。我们假设先验知识是可用的稀疏模式，即一组变量被划分成规定的组，其中只有少数是相关的估计过程中。这个组稀疏性假设建议我们考虑将组Lasso方法作为估计$β^*$的方法。我们建立预言不等式和$\ell_2$估计误差的估计。在设计矩阵上的限制特征值条件下，这些界限成立。在更强的相干条件下，我们得到了混合$(2,p)$ -范数与$1\le p\leq \infty$的估计误差的界.当$p=\infty$时，该结果意味着Group Lasso估计器的阈值版本以高概率选择$β^*$的稀疏模式。接下来，我们证明了我们的上界的收敛速率是最优的，在极大极小意义下，对数因子，对一类组稀疏向量的所有估计。此外，我们建立下界的预测和$\ell_2$估计误差的通常Lasso估计。使用这个结果，我们证明了组Lasso可以实现的预测和估计性能的改进相比，Lasso。
2010-07-22 math.ST stat.TH
The Lasso for High-Dimensional Regression with a Possible Change-Point
本文考虑了一个高维回归模型，由于协变量阈值的存在，可能存在一个变点，并给出了回归系数和门限参数的Lasso估计。我们的Lasso估计不仅选择协变量，而且还选择线性和阈值回归模型之间的模型。在稀疏性假设下，我们得到了预测风险和回归系数的$\ell_1$估计损失的非渐近预言不等式。由于Lasso估计同时选择变量，我们证明了Oracle不等式可以在不预先检验阈值效应存在的情况下建立。此外，我们建立的条件下，未知的门限参数的估计误差可以由一个接近$n^{-1}$的因素，即使当回归的数量可以远远大于样本量（$n$）。我们说明了我们提出的估计方法的实用性，通过蒙特卡罗模拟和实际数据的应用。
2014-04-19 math.ST stat.TH
Adaptive Estimation In High-Dimensional Additive Models With Multi-Resolution Group Lasso
在含有多个非参数分量的可加模型中，已经提出了许多正则化估计，并证明了它们在稀疏性和固定光滑性条件的不同组合下可以获得不同的误差界。这些误差界中的一些与相应设置中的最小最大速率相匹配。一些速率极大极小方法是非凸的，计算量大。从这些角度来看，现有的解决方案，高维添加剂非参数回归问题是支离破碎的。在本文中，我们提出了一个多分辨率组Lasso（MR-GL）方法在一个统一的方法，同时实现或改善现有的误差界，并提供新的知识的稀疏性或光滑度的未知函数的水平。这种自适应收敛速度是在预测因子可被视为常数时建立的。此外，我们证明了预测因子，它可以有界的限制特征值或相容性系数，确实可以被视为一个常数的随机设计下的一个接近最优的样本量条件。
2020-11-13 math.ST stat.ME stat.TH
New insights for the multivariate square-root lasso
本文研究了多元平方根Lasso方法，它是一种用于拟合具有相依误差的多元响应线性回归模型的方法。该估计器最小化残差矩阵的核范数加上凸罚。与现有的方法，需要显式估计的误差精度（逆协方差）矩阵，多元平方根套索隐式占误差的依赖性，是一个凸优化问题的解决方案。我们建立误差界，揭示了像一元平方根套索，多元平方根套索是关键的未知误差协方差阵。此外，我们提出了一种变化的交替方向方法的乘子算法来计算估计，并讨论了一个加速的一阶算法，可以应用在某些情况下。在模拟研究和基因组数据的应用中，我们表明，多元平方根套索可以优于更计算密集型的方法，需要明确估计的误差精度矩阵。
2022-04-05 stat.ME
A Practical Scheme and Fast Algorithm to Tune the Lasso With Optimality Guarantees
提出了一种新的高维Lasso线性回归正则化参数选择方法。该方案受Lepski的非参数回归带宽选择方法的启发，具有最优有限样本保证和快速算法。特别地，对于任何设计矩阵，使得Lasso在正则化参数的“预言选择”下具有低的超范数误差，我们证明了我们的方法在一个小的常数因子下匹配预言性能，并且表明它可以通过沿着单个Lasso路径执行简单的测试来实现。我们发现，我们的新方案可以比标准方案（例如交叉验证）更快和更准确。
2016-11-08 math.ST stat.ME stat.TH
Consistent selection via the Lasso for high dimensional approximating regression models
在这篇文章中，我们通过流行的Lasso方法研究回归模型中选择的一致性。在这里，我们离开传统的线性回归假设，并考虑近似的回归函数$f$与给定的字典的$M$功能的元素。一致性的目标是来自该字典的那些函数的索引集，这些函数在属于以$f$为中心且半径为$r_{n,M}^2$的$L_2$球的所有线性组合中实现对$f$的最简约近似。在这个框架中，我们表明，这个指标集的一致估计可以通过$\ell_1$惩罚最小二乘法，与数据相关的罚款和调整序列$r_{n,M}>\sqrt{\log(Mn)/n}$，其中$n$是样本量。我们的结果适用于任何$1\leq M\leq n^γ$，任何$γ>0$。
2008-05-21 math.ST stat.ME stat.TH
Improved LASSO
提出了一种改进的基于Stein-rule的LASSO估计方法。我们使用初步测试，收缩和正规则收缩原理收缩经典的LASSO估计。仿真结果已经进行了各种配置的相关系数（$r$），参数向量的大小（$β$），误差方差（$σ^2$）和非零系数（$k$）在模型参数向量。几个真实数据的例子已被用来证明所提出的估计的实际用途。我们的研究表明，由LSE $>$ LASSO $>$ Stein型LASSO $>$ Stein型正规则LASSO给出的风险排序在散度参数$Δ^2$下与传统情形一致.
2015-03-17 math.ST stat.AP stat.ML
Sharp Restricted Isometry Thresholds for Global Minima of Rank-Restricted Matrix LASSO
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究确定了秩约束矩阵LASSO全局极小值处恢复的尖锐受限等距阈值，推导了对应误差界，还得到稀疏约束向量LASSO的类似结果，并证明该阈值无法改进。
2026-09-01 cs.IT cs.LG math.IT
Finite sample rates of convergence for the Bigraphical and Tensor graphical Lasso estimators
University of California, Riverside（加州大学河滨分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文改进了Bigraphical和TeraLasso估计量的收敛速率，解决了两种方式模型中有限样本误差的理论保证问题。
2025-12-20 math.ST stat.TH
Prediction Suboptimality of the Lasso in Sparse Linear Regression
Waseda University（早稻田大学）
研究Lasso在高维线性回归中选择调参方式时的预测性能次优问题，发现通过简单改进可在高概率事件和均方误差上提升性能，分析了高斯极大值在选定或局部化支撑上的作用，并讨论了设计矩阵结构因素对次优现象的影响及扩展至其他估计器和更一般噪声结构的可能性。
2026-05-18 math.ST stat.ME stat.TH
Low solution rank of the matrix LASSO under RIP with consequences for rank-constrained algorithms
Institute of Mathematics, EPFL（洛桑联邦理工学院数学研究所）
研究揭示在RIP条件下，矩阵LASSO解具有低秩性，对非凸秩约束优化方法有理论影响，证明低秩投影梯度下降可线性收敛至LASSO解，且Burer-Monteiro分解问题的非凸景观良性。
2025-04-22 math.OC math.ST stat.TH
Sampling effects on Lasso estimation of drift functions in high-dimensional diffusion processes
本文针对高维扩散过程，提出Lasso估计器用于稀疏漂移函数参数估计，证明oracle不等式并控制离散化误差，实现与连续观测相同的最优收敛速率，数值实验显示其在支持恢复上优于MLE。
2025-10-08 math.ST stat.AP stat.TH
Worst possible sub-directions in high-dimensional models
我们研究的收敛速率的Lasso估计的高维参数的低维组件。在最坏可能子方向上的$\ell_1$ -范数的界限下，这些速率具有$\sqrt {|J| \log p / n }$阶，其中$p$是参数的总数，$J \subset \{ 1, \ldots, p \}$表示参数的子集，$n$是观测的数量。我们还得到率在超规范的收敛速率在$\ell_1$ -范数。集合$J$上的不可表示条件要求最坏可能子方向的$\ell_1$ -范数充分小于1。在这种情况下，可以得到清晰的预言结果。此外，如果$J$中的系数足够小，Lasso将使这些系数为零。这扩展了已知的结果，即非活动集（系数恰好为零的集合）上的不可表示条件意味着没有误报。我们进一步表明，通过去稀疏化，在最坏可能的子方向上没有条件的情况下，在上确界范数中获得快速速率。这里的主要假设是近似稀疏性是$o (\sqrt n / \log p )$阶的。以广义线性模型和指数族为例，将所得结果推广到带$\ell_1$ -罚的M-估计.对于图形套索，这导致已知结果的扩展到精度矩阵仅近似稀疏的情况。我们提供的界限是非渐近的，但我们也提出了渐近公式，便于解释。
2014-03-27 math.ST stat.TH
Adaptive group LASSO selection in quantile models
本文考虑了一个解释变量分组的线性模型。如果模型误差不具有零均值和有界方差，或者如果模型包含离群值，则最小二乘框架是不合适的。因此，分位数回归是一个有趣的选择。为了自动选择相关的变量组，我们提出并研究了自适应组LASSO分位数估计。在变量组个数固定和变量组个数不同两种情况下，我们证明了估计量的稀疏性和渐近正态性。通过蒙特卡罗模拟的数值研究证实了理论结果，并说明了所提出的估计的性能。
2016-07-13 math.ST stat.ME stat.TH
Rademacher upper bounds for cross-validation errors with an application to the lasso
University of Sydney（悉尼大学）
我们建立了一个通用的上界$K$折交叉验证（$K$ -CV）的错误，可以适应许多$K$ -CV为基础的估计和学习算法。基于模型的拉德马赫复杂度和误差过程的Orlicz- $Ψ_ν$范数，CV误差上界适用于轻尾和重尾误差分布。我们还扩展了CV误差上限$β$ -混合数据使用的技术，独立分块。我们提供了一个Python软件包（\texttt{CVbound}，\url{https://github.com/isaac2math}），用于计算$K$ -基于CV的算法中的CV误差上限。使用套索作为一个例子，我们在模拟中证明，上界是严格的，稳定的不同的参数设置和随机种子。除了精确限制套索的CV误差外，新上限的最小值还可用作变量选择的标准。与CV-误差最小化相比，仿真结果表明，根据上界的最小化来调整套索惩罚参数会产生一个更稀疏、更稳定的模型，该模型保留了所有相关变量。
2020-07-30 cs.LG stat.ML
Comparison of the LASSO and Integrative LASSO with Penalty Factors (IPF-LASSO) methods for multi-omics data: Variable selection with Type I error control
本文比较 LASSO 与 IPF-LASSO，并结合稳定性选择控制假阳性，评估模态特异惩罚参数在独立、相关高维组学数据及乳腺癌数据中的变量选择效果。
2024-04-03 stat.AP stat.ME
Improved bounds for Square-Root Lasso and Square-Root Slope
将Bellec，Lecué和Tsybakov的结果推广到具有未知方差的稀疏高维线性回归的情形，我们证明了在设计矩阵上的一些温和条件下，两种估计量平方根Lasso和平方根Slope可以达到最优的Minimax预测率，即$(s/n) \log (p/s)$，直到某个常数.这里，$n$是样本大小，$p$是维度，$s$是稀疏性参数。我们还证明了最优的估计误差的$l_q$ -范数，与$q \in [1,2]$的平方根套索，并在$l_2$和排序$l_1$规范的平方根斜率。这两个估计器都是自适应的未知方差的噪声。“平方根斜率”也自适应于真实参数的稀疏性$s$。接下来，我们证明了任何估计依赖于$s$，达到极大极小率承认自适应$s$版本仍然达到相同的速率。我们将此结果应用于平方根套索。此外，对于这两个估计量，我们获得了广泛置信水平的有效率，并改进了浓度特性[Bellec，Lecué和Tsybakov，2017]，其中处理了已知方差的情况。我们的结果是非渐近的。
2017-12-11 math.ST stat.TH
Group Lasso for generalized linear models in high dimension
如今，越来越多的数据是可用的，我们必须处理的模型在高维（协变量的数量远远大于样本量）。在稀疏性假设下，我们有理由希望能够对回归参数做出很好的估计。这种稀疏性假设以及将协变量块结构化为具有相似行为模式的组例如在基因组学中是非常自然的。大量的科学文献存在的高斯线性模型，包括Lasso估计，也组Lasso估计，促进组稀疏下的组的先验知识。我们将此群Lasso方法推广到广义线性模型，并研究了此估计对于稀疏高维广义线性模型的收敛速度.在对协变量的假设和对设计矩阵的条件下，给出了预测误差和估计误差的预言不等式。我们证明了这种估计的能力，恢复良好的稀疏近似的真实模型。最后，我们将这些结果扩展到弹性网惩罚的情况，并将其应用于所谓的泊松回归情况，该情况与逻辑斯谛回归相反，在本文中尚未研究。
2014-01-22 math.ST stat.TH
Asymptotically Exact Error Analysis for the Generalized $\ell_2^2$-LASSO
给定未知信号$\mathbf{x}_0\in\mathbb{R}^n$和线性噪声测量$\mathbf{y}=\mathbf{A}\mathbf{x}_0+σ\mathbf{v}\in\mathbb{R}^m$，广义$\ell_2^2$-LASSO求解$\hat{\mathbf{x}}:=\arg\min_{\mathbf{x}}\frac{1}{2}\|\mathbf{y}-\mathbf{A}\mathbf{x}\|_2^2 + σλf(\mathbf{x})$。这里，$f$是凸正则化函数（例如，$\ell_1$ -范数，核范数），旨在提升$\mathbf{x}_0$的结构（例如，稀疏，低秩），并且$λ\geq 0$是正则化器参数。一个相关的优化问题，虽然不流行或众所周知，但通常被称为广义$\ell_2$-LASSO，并采用$\hat{\mathbf{x}}:=\arg\min_{\mathbf{x}}\|\mathbf{y}-\mathbf{A}\mathbf{x}\|_2 + λf(\mathbf{x})$的形式，并已在[1]中进行了分析。[1]进一步对广义$\ell_2^2$-LASSO算法的性能进行了分析。本文严格地建立了这些关系。我们用归一化平方误差$\mathrm{NSE}(σ):=\|\hat{\mathbf{x}}-\mathbf{x}_0\|_2^2/σ^2$来…
2015-02-22 cs.IT math.IT math.ST
