A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Square Root LASSO: Well-posedness, Lipschitz stability and the tuning trade off
本文研究平方根LASSO的适定性与参数敏感性，提出弱、中间、强三种正则性条件并刻画解映射的Lipschitz及可微性质，揭示其噪声鲁棒调参以更高调参敏感性为代价，并用数值实验验证理论结论。
2024-03-29 eess.SP math.OC stat.AP
On the generic uniform uniqueness of the LASSO estimator
LASSO是基于最小二乘算子的$\ell_1$惩罚的统计线性回归中的变量子集选择过程。LASSO的唯一性是一个重要的问题，特别是对于LASSO路径的研究，本文的目的是给出一个关于设计矩阵的LASSO极小元唯一的一般充分条件.与以往的作品的唯一性问题，我们的条件只依赖于设计矩阵。我们的研究是基于设计矩阵上的一般位置条件，对于大多数实验模型，该条件具有概率1。
2016-03-01 math.ST stat.CO stat.TH
Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression
本文研究了稀疏高维线性回归模型下Lasso+mLS和Lasso+Ridge的渐近性质：Lasso选择预测变量，然后用修正的最小二乘（mLS）或Ridge估计其系数.首先，我们提出了一个有效的推理过程的参数估计的基础上参数残差自助Lasso+mLS和Lasso+岭。其次，我们推导了Lasso+mLS和Lasso+Ridge的渐近无偏性。更具体地说，我们表明，他们的偏见以指数速度衰减，他们可以实现预言收敛速度$s/n$（其中$s$是非零回归系数的数量和$n$是样本量）的均方误差（MSE）。第三，我们证明了Lasso+mLS和Lasso+Ridge是渐近正态的。他们有一个预言性质，在这个意义上，他们可以选择真正的预测与概率收敛到1和非零参数的估计有相同的渐近正态分布，如果零参数是已知的。事实上，我们的分析并不局限于在选择阶段采用Lasso，而是适用于选择错误模型的概率呈指数衰减率的任何其他模型选择标准。
2014-01-12 math.ST stat.TH
On Lasso refitting strategies
l_1-惩罚估计量的一个众所周知的缺点是大系数向零的系统收缩。一个简单的补救方法是将Lasso视为一个模型选择程序，并在选定的支持上执行第二个改装步骤。在这项工作中，我们正式的改装的概念，并提供Oracle边界任意改装程序的拉索解决方案。基于最小二乘的估计量修正技术是目前应用最广泛的估计量修正技术之一，但由于修正后的估计量的符号可能与原估计量的符号相反，因此存在可解释性问题。这个问题源于这样一个事实，即最小二乘重构只考虑Lasso解的支持，避免任何关于符号或振幅的信息。为此，我们定义了一个符号一致的改装作为一个任意改装过程，保持第一步Lasso解决方案的迹象，并提供Oracle不等式，这样的估计。最后，我们考虑特殊的改装策略：Bregman Lasso和Boosted Lasso。Bregman Lasso有一个富有成效的特性，可以收敛到符号最小二乘重新拟合（带符号约束的最小二乘），这提供了更好的可解释性。我们还研究了Bregman Lasso改装的正交设计的情况下，所提出的方法背后提供简单的直观。相比之下，Boosted Lasso考虑了第一个Lasso步骤的大小信息，并允许开发更好的预测预言率。最后，我们进行了广泛的数值研究，以显示在不同的合成和半真实的情况下，一种方法比其他方法的优势。
2018-11-12 math.ST stat.AP stat.TH
Robust-to-outliers square-root LASSO, simultaneous inference with a MOM approach
本文考虑了噪声方差未知的最小二乘回归问题，其中观测数据点允许被异常值破坏。在已知噪声方差的情况下，基于Lecue和Lerasle Ann.Statist.48（2）：906-931（2020年4月）介绍的均值中值（中位数）方法，我们提出了一种通用的均值中值方法，用于同时推断回归函数和噪声方差，仅需要噪声水平的上限。有趣的是，由于潜在的凹凸优化问题固有的正则性问题，这种推广需要小心。在一般情况下，回归函数属于凸类，我们表明，我们的同时估计实现了高概率相同的收敛速度和类似的风险范围，如果噪声水平是未知的，以及估计的噪声标准差的收敛速度。在高维稀疏线性设置中，我们的估计器产生一个强大的模拟的平方根LASSO。在弱矩条件下，它以高概率联合实现系数向量的$\ell_p$ -范数的估计的最小最大速率$s^{1/p} \sqrt{(1/n) \log(p/s)}$和噪声标准偏差的估计的速率$\sqrt{(s/n) \log(p/s)}$。这里，$n$表示样本大小，$p$表示维度，$s$表示稀疏水平。最后，我们提出了一个扩展的情况下，未知的稀疏水平$s$，提供了一个联合自适应估计$(\widetilde β, \widetilde σ, \widetilde s)$。它同时估计系数向量、噪声水平和稀疏水平，并证明这三个分量中的每一个都有很高的概率。
2021-03-18 math.ST stat.TH
Computational Sufficiency, Reflection Groups, and Generalized Lasso Penalties
我们在Vu（2018，arXiv：1807.05985）引入的计算充分性框架内研究了具有广义套索惩罚的估计量。通过表示这些处罚的支撑函数zonotopes和更一般的Minkowski总和的线段和射线，我们表明，有一个自然的反射组相关的基本最优化问题。这种观点的一个结果是，对于共享相同惩罚的大类估计量，惩罚最小二乘估计量在计算上是最小的。这意味着所有这样的估计量都可以通过优化最小二乘情况下任何算法的输出来计算。一个有趣的技术组件是我们对对偶问题的坐标下降的分析。一个关键的见解是，迭代是通过反射和平均获得的，因此它们收敛到对偶可行集的一个元素，该元素相对于与惩罚相关联的组引起的排序是最小的。我们的主要应用是融合套索/全变差去噪和保序回归任意图。在那些情况下，相关联的群是置换群。
2018-09-08 math.ST stat.CO stat.TH
Robust sketching for multiple square-root LASSO problems
University of California, Berkeley（加州大学伯克利分校）
本文提出一种鲁棒框架，通过低秩近似对多个相似问题进行高效求解，减少计算量并提升统计性能。
2014-10-30 cs.LG cs.SY eess.SY
Handling correlated and repeated measurements with the smoothed multivariate square-root Lasso
Université Paris Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Univ. Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
稀疏促进范数是高维回归中常用的范数。这种Lasso型估计的一个局限性是，最佳正则化参数取决于未知的噪声水平。诸如伴随Lasso的估计器通过联合估计噪声水平和回归系数来解决这种依赖性。此外，在许多应用中，数据是通过对多个测量值取平均值来获得的：这降低了噪声方差，但它显著减少了样本量，并阻止了精细的噪声建模。在这项工作中，我们提出了一个伴随估计，可以应付复杂的噪声结构，通过使用非平均测量。由此产生的优化问题是凸的，并服从，由于平滑理论，最先进的优化技术，利用稀疏的解决方案。在玩具数据集、逼真的模拟数据和真实的神经成像数据上证明了实际益处。
2020-09-03 cs.LG math.OC stat.AP
Bounds on the prediction error of penalized least squares estimators with convex penalty
本文研究了具有任意凸罚的罚最小二乘估计。当观测噪声为高斯噪声时，我们证明了预测误差是一个集中在其中值附近的亚高斯随机变量。我们应用这个浓度属性，得到尖锐的预言不等式的预测误差的LASSO，组LASSO和斜率估计，无论是在概率和期望。与以前的工作LASSO型方法相比，我们的预言不等式的概率得到在任何置信水平的调整参数，不依赖于置信水平的估计。这也是为什么我们能够建立稀疏预言界的预期LASSO型估计，而以前已知的技术不允许控制的预期风险。此外，我们还证明了预言不等式中的集中率比以前通常理解的要好。
2016-09-21 math.ST stat.TH
Bootstrap Adaptive Lasso Solution Path Unit Root Tests
University of Duisburg-Essen（杜伊斯堡-埃森大学）；RGS Econ - Ruhr Graduate School in Economics, Research Academy Ruhr（鲁尔研究生经济学院，鲁尔研究学院）
本研究提出筛野生bootstrap自适应Lasso解路径单位根检验方法，改善有限样本性质并支持非平稳波动率场景，缓解量扭曲且恢复有效推断，应用于欧元区房价发现平稳性具时期特异性。
2026-10-14 econ.EM stat.ME
Adaptive Unit Root Inference in Autoregressions using the Lasso Solution Path
University of Duisburg-Essen（杜伊斯堡-埃森大学）；Ruhr Graduate School in Economics, Research Academy Ruhr（鲁尔经济学研究生院，鲁尔研究学院）
本文利用自适应Lasso解路径的激活结点提出免选择的单位根检验，其局部备择功效优于后选择推断，并在德国地下水位数据中拒绝随机趋势解释长期下降。
2026-10-14 stat.ME
Properties and refinements of the fused lasso
我们考虑估计一个未知的信号，块状和稀疏，这是由加性噪声损坏。我们研究了三个相互关联的最小二乘程序及其渐近性质。第一个程序是弗里德曼等人提出的融合套索。1（2007）302- 332]，我们将其修改为具有更好特性的不同估计器，称为融合自适应套索。另外两个估计，我们讨论解决最小二乘问题的筛;一个约束的最大$\ell_1$范数和最大全变差方差，和其他限制的块的数量和非零坐标的信号。我们得到的条件，真正的块分区和真正的稀疏模式的融合套索和融合自适应套索的恢复，我们得到收敛速度的筛选估计，明确的约束参数。
2009-08-31 math.ST stat.TH
Forward stagewise regression and the monotone lasso
我们考虑最小角度回归和前向阶段算法解决惩罚最小二乘回归问题。在Efron，Hastie，Johnstone & Tibshirani（2004）中，证明了最小角度回归算法，经过小的修改，解决了套索回归问题。在这里，我们给出了一个类似的结果增量向前逐步回归，表明它解决了一个版本的套索问题，强制单调性。这样做的一个结果如下：虽然lasso在减少残差平方和方面取得了最佳的进展，每单位增加$L_1$ -范数的系数$β$，向前逐步是最佳的每单位$L_1$弧长沿系数Path. We还研究了一个条件下的系数路径的lasso是单调的，因此不同的算法一致。最后，我们比较了套索和前进stagewise程序在一个模拟研究，涉及大量的相关预测。
2007-05-02 math.ST stat.TH
Online Hyperparameter-Free Sparse Estimation Method
在本文中，我们推导出一个在线估计稀疏参数向量，不像LASSO方法，不需要调整任何超参数。该算法是基于协方差匹配的方法，相当于一个加权版本的平方根LASSO。该估计器的计算复杂性与在线版本的正则化最小二乘（RLS）和LASSO具有相同的数量级。我们提供了一个可行的和不可行的实施LASSO和RLS的数值比较，以说明所提出的在线超参数估计的优势。
2015-05-06 math.ST stat.TH
Least squares after model selection in high-dimensional sparse models
在这篇文章中，我们研究后模型选择估计，适用于普通最小二乘（OLS）的第一步惩罚估计，典型的Lasso选择的模型。众所周知，Lasso可以以接近Oracle的速率估计非参数回归函数，因此很难改进。我们表明，OLS后Lasso估计执行至少以及Lasso的收敛速率方面，并具有较小的偏差的优势。值得注意的是，即使基于Lasso的模型选择“失败”，也会出现这种性能，因为它丢失了“真正”回归模型的一些组成部分。所谓“真”模型，我们指的是对预言机选择的非参数回归函数的最佳s维逼近。此外，如果基于Lasso的模型选择正确地包括“真”模型的所有分量作为子集，并且还实现了足够的稀疏性，则在收敛速度收敛速率严格更快的意义上，OLS post-Lasso估计量可以严格优于Lasso。在极端情况下，当Lasso完美地选择“真”模型时，OLS post-Lasso估计量成为oracle估计量。在我们的分析中，一个重要的成分是一个新的稀疏约束的维度选择的模型的Lasso，这保证了这个维度是在最多的相同的顺序作为“真正的”模型的维度。我们的速率结果是非渐近的，并在参数和非参数模型。此外，我们的分析不仅限于在第一步中作为选择器的Lasso估计器，而且还适用于任何其他估计器，例如，各种形式的阈值Lasso，具有良好的速率和良好的稀疏性。我们的分析涵盖了传统的阈值和一个新的实用，数据驱动的阈值方案，诱导额外的稀疏性保持…
2013-03-20 math.PR math.ST stat.ME
LASSO risk and phase transition under dependence
我们考虑从噪声观测值$\bf y={\bf X}\mbox{$ β $}_0+{\bf w}\in\mathbb{R}^n$中恢复$k$ -稀疏信号${\mbox{$ β $}}_0\in\mathbb{R}^p$的问题.最流行的方法之一是$l_1$ -正则化最小二乘法，也称为LASSO。我们分析了LASSO的均方误差的情况下，随机设计，其中每一行的${\bf X}$是从分布$N(0,{\mbox{$ <$$}})$与一般${\mbox{$ <$$}}$。我们首先推导出LASSO在$n,p\rightarrow\infty$极限下的渐近风险与$n/p\rightarrowδ$。然后，我们检查了$n$、$p$和$k$上的条件，以便LASSO在无噪声情况下精确地重建${\mbox{$ β $}}_0$。在由$0\leδ,ε\le 1$定义的相空间中精确地建立相边界$δ_c=δ(ε)$，其中$ε=k/p$。在此边界以上，LASSO以高概率完美地恢复${\mbox{$ β $}}_0$。在该边界以下，LASSO无法以高概率恢复$\mbox{$ β $}_0$。虽然${\mbox{$ β $}}_0$的非零元素的值对相变曲线没有任何影响，但我们的分析表明，对于一般的${\mbox{$ ε $}}\ne{\bf I}_p$，$δ_c$确实依赖于$\mbox{$ β $}_0$的非零值的有符号模…
2022-11-22 math.ST stat.CO stat.TH
Sharp Oracle Inequalities for Square Root Regularization
研究了高维线性回归模型的一组正则化方法。这些惩罚估计以残差平方和的平方根作为损失函数，以任何弱可分解范数作为罚函数。选择该拟合度量是因为其估计量不依赖于噪声的未知标准差的特性。另一方面，广义弱可分解范数罚函数在处理不同的稀疏结构时非常有用。我们可以根据我们想要如何解释未知参数向量$β$来选择不同的稀疏性诱导范数。Micchelli等人[18]中定义的结构稀疏范数是弱可分解范数的特殊情况，因此我们还包括平方根LASSO（Belloni等人[3]），群平方根LASSO（Bunea等人[10]）和一种称为平方根SLOPE的新方法（与Bogdan等人[6]的SLOPE类似）。对于这个集合的估计，我们的结果提供了尖锐的甲骨文不等式与Karush-Kuhn-Tucker条件。我们讨论一些估计的例子。基于仿真，我们说明了平方根斜率的一些优点。
2016-06-27 math.ST stat.TH
The Benefit of Group Sparsity in Group Inference with De-biased Scaled Group Lasso
研究了高维线性回归中变量组的置信区域和近似卡方检验。当组的大小是小的，低维投影估计的个别系数可以直接用于构建有效的置信区域和p值的组。然而，现有的分析低维投影估计不直接进行卡方为基础的推断一个大的变量组，而不膨胀的样本量的一个因素的组大小。我们建议去偏一个缩放组拉索卡方为基础的统计推断潜在的非常大的变量组。我们证明了所提出的方法捕获组稀疏的好处在适当的条件下，统计推断的噪声水平和变量组，大和小。当群体规模较大时，这种益处尤其明显。
2016-02-21 math.ST stat.ME stat.TH
Structured Lasso for convex nonparametric least squares: An application to Swedish electricity distribution networks
针对凸非参数最小二乘中传统Lasso变量选择效率低的问题，结合次梯度结构提出融合ℓ₁与ℓ∞范数的结构化Lasso及其松弛版本，经仿真和瑞典配电网数据验证，性能更优。
2025-10-30 econ.EM stat.ME
Element-wise Estimation Error of Generalized Fused Lasso
本文的主要结果是，我们得到了一般凸损失函数$ρ$的融合Lasso估计的元素级误差界。然后，我们专注于特殊情况下，当$ρ$是平方损失函数（平均回归）或分位数损失函数（分位数回归），我们得到新的逐点误差界。尽管通常的融合Lasso估计及其分位数版本的误差界已经研究过了，我们的界似乎是新的。这是因为之前的所有工作都绑定了全局损失函数，如平方误差和，或者Padilla和Chatterjee（2021）中分位数回归情况下的Huber损失之和。显然，元素明智的界限比全局损失误差界更强，因为它揭示了损失在每个点的局部行为。我们的元素明智的误差界也有一个干净的和明确的依赖于调整参数$λ$，它通知用户的一个很好的选择$λ$。此外，我们的界限是非渐近的显式常数，并能够恢复几乎所有已知的结果融合套索（均值和分位数回归），在某些情况下，额外的改进。
2022-03-18 math.ST stat.TH
Sparsity oracle inequalities for the Lasso
本文研究了随机设计下非参数回归中$\ell_1$ -惩罚最小二乘的预言性质。我们证明了惩罚最小二乘估计满足稀疏预言不等式，即，根据oracle vector的非零分量的数量来确定边界。即使当模型的维数（远）大于样本量且回归矩阵不正定时，结果也是有效的。它们可用于高维线性回归、非参数自适应回归估计和任意估计量的集结问题。
2007-05-23 math.ST stat.TH
Trust, but verify: benefits and pitfalls of least-squares refitting in high dimensions
最小二乘重构广泛用于高维回归以减少l1惩罚估计量的预测偏差（例如，Lasso和Square-Root Lasso）。我们提出的理论和数值结果，提供了新的见解的好处和陷阱的最小二乘改装。特别是，我们考虑预测和估计，我们密切关注相关性的影响，在线性回归模型的设计矩阵，因为这些相关性-虽然经常被忽视-是至关重要的线性回归的上下文中，特别是在高维环境。首先，我们证明了最小二乘改装的好处在很大程度上取决于所考虑的设置和任务：最小二乘改装可以是有益的，即使是高度相关的设计矩阵的设置，但不建议所有的设置，和最小二乘改装可以是有益的估计，但更好地进行预测。最后，我们介绍了一个标准，表明是否最小二乘改装是可取的一个特定的设置和正在考虑的任务，我们进行了一个彻底的模拟研究，包括套索，以显示这个标准的实用性。
2013-06-01 math.ST stat.ME stat.TH
High-dimensional nonconvex lasso-type $M$-estimators
本文提出了一个非凸风险和无约束区域的$\ell_1$-模惩罚高维$M$-估计的理论.在高层次的条件下，估计达到收敛速度$s_0\sqrt{\log(nd)/n}$，其中$s_0$是非零系数的参数的兴趣。我们的主要假设的充分条件，然后开发，并最终用于几个例子，包括强大的线性回归，二进制分类和非线性最小二乘。
2022-04-13 math.ST stat.TH
The Trimmed Lasso: Sparsity and Robustness
线性回归稀疏建模的非凸罚方法是近年来研究的热点。在这里，我们研究了一个家庭的非凸罚函数，我们称之为修剪套索，并提供了精确的控制所需的稀疏估计水平。我们分析了它的结构性质，并在这样做表明：1）绘制之间的相似性鲁棒统计和鲁棒优化，我们表明，修剪Lasso正则化最小二乘问题可以被看作是一个广义形式的总最小二乘在一个特定的模型的不确定性。相比之下，通过鲁棒优化透镜观察的相同的不确定性模型导致凸SLOPE（或OWL）惩罚。2)此外，在有关修剪的套索常用的稀疏诱导罚函数，我们提供了一个简洁的特征之间的连接修剪的Lasso样的方法和罚函数是坐标方式可分离的，表明修剪的处罚suburbs现有的坐标方式可分离的处罚，严格的遏制一般。3)最后，我们描述了各种精确和启发式算法，现有的和新的，修剪Lasso正则化估计问题。我们包括不同的方法和相应的算法实现之间的比较。
2017-08-15 math.OC math.ST stat.CO
Lasso Estimation of an Interval-Valued Multiple Regression Model
近年来，人们提出了一种考虑了区间的宽度和展度之间所有交叉关系的多元区间值线性回归模型。将一个带不等式约束的二次最优化问题转化为一个线性互补问题，用Lemke算法求解，实现了回归参数的最小二乘估计，由于某些交叉关系的不相关性，提出了一种替代估计方法--最小绝对收缩选择算子（LASSO）。提供了一个比较研究，显示拟议的估计之间的差异。
2016-02-07 math.ST stat.TH
The out-of-sample prediction error of the square-root-LASSO and related estimators
本文证明平方根 LASSO 等凸惩罚 Lr 估计量对应 max-sliced Wasserstein 分布鲁棒优化，分析其分布球的有限样本与渐近性质，并给出正则化参数选择及性能排序检验。
2024-04-09 math.OC math.ST stat.TH
On tight bounds for the Lasso
我们提出的Lasso的预测误差的上限和下界。对于随机高斯设计的情况下，我们表明，在温和的条件下的Lasso的预测误差是由其无噪声对应的预测误差占主导地位的较小的顺序项。然后，我们提供精确的表达式，后者的预测误差，在相容性常数。这里，我们假设底层回归函数的有效分量满足某些“betamin”条件。对于固定设计的情况下，我们提供了上限和下界，再次在兼容常数。作为例子，我们给出了带全变差惩罚的最小二乘估计的一个对数项紧界。
2018-04-03 math.ST stat.TH
The DFS Fused Lasso: Linear-Time Denoising over General Graphs
融合套索，也称为（各向异性）全变差去噪，被广泛用于相对于给定的无向图的分段常数信号估值。当底层图很大并且具有任意结构时，融合的套索估计计算起来是非常重要的。但对于一种特殊的图结构，即链图，融合套索--或简单地说，一维融合套索--可以在线性时间内计算。在本文中，我们建立了一个令人惊讶的连接之间的全变差的通用信号定义在任意图，和全变差的这个信号在链图引起的运行深度优先搜索（DFS）的节点的图形。具体地说，我们证明了，对于任何信号，其全变差的诱导链图是不超过两倍的全变差的原始图形。这种联系导致了一些有趣的理论和计算结论。分别用$m$和$n$表示所讨论的图的边和节点的数量，我们的结果意味着对于在图上具有全变差$t$的基础信号，融合套索实现均方误差率为\smash{$t^{2/3} n^{-2/3}$}。此外，通过在运行DFS的诱导链图上运行1d融合套索，可以实现完全相同的均方误差率。重要的是，后者估计是简单的，计算成本低，只需要$O(m)$操作用于构建DFS诱导链和$O(n)$操作用于计算该链上的一维融合套索解。此外，对于具有有界最大度的树，\smash{$t^{2/3} n^{-2/3}$}的错误率不能被改进，在这个意义上，它是在树上具有全变差$t$的信号的最小最大错误率。
2017-03-01 math.ST stat.TH
On the "degrees of freedom" of the lasso
我们研究的有效自由度的套索的框架内斯坦的无偏风险估计（SURE）。我们证明，非零系数的数量是套索自由度的无偏估计--这一结论不需要对预测变量进行特殊假设。此外，无偏估计是渐近相合的。有了这些结果，各种模型选择标准- $C_p$，AIC和BIC-是可用的，它与LARS算法一起，提供了一个原则和有效的方法来获得最佳套索拟合与一个普通的最小二乘拟合的计算工作。
2007-12-06 math.ST stat.TH
Asymptotic properties of adaptive group Lasso for sparse reduced rank regression
本文研究稀疏降秩回归中自适应组Lasso估计量的渐近性质，证明其在正则条件下可达到极小极大最优收敛速率并实现变量选择一致性，同时允许响应变量数、预测变量数和秩数随样本量增长至无穷。
2016-10-24 math.ST stat.TH
In Defense of the Indefensible: A Very Naive Approach to High-Dimensional Inference
近年来，对高维线性模型中的参数进行推断成为研究的热点。在本文中，我们考虑了一个简单而非常简单的两步程序来完成这项任务，其中我们（i）拟合套索模型以获得变量的子集，以及（ii）在套索选择的集合上拟合最小二乘模型。传统的统计智慧告诉我们，我们不能使用标准的统计推断工具来得到最小二乘模型（如置信区间和$p$值），因为我们偷看了两次数据：一次是在运行套索时，另一次是在拟合最小二乘模型时。然而，在本文中，我们表明，在一定的假设条件下，具有很高的概率，由套索选择的变量集是相同的无噪声套索选择的一个，因此是确定性的。因此，朴素的两步方法可以产生渐近有效的推理。我们利用这一发现开发了\emph{naïve confidence interval}，它可以用来推断套索选择的模型的回归系数，以及\emph{naïve score test}，它可以用来测试关于全模型回归系数的假设。
2020-07-01 math.ST stat.ME stat.ML
The LASSO risk for gaussian matrices
我们考虑从噪声线性观测y=Ax_0+w \in R ^n中学习系数向量x_0 \in R ^n的问题。在许多上下文中（从模型选择到图像处理），期望构造稀疏估计器x '。在这种情况下，一种流行的方法是解决L1惩罚最小二乘问题，称为LASSO或基追踪去噪（BPDN）。对于序列的矩阵A的增加的维度，独立的高斯条目，我们证明了归一化的风险的LASSO收敛到一个极限，我们得到一个明确的表达这个限制。我们的结果是第一次严格推导出一个明确的公式的渐近均方误差的随机情况下的LASSO。证明技术是基于分析AMP，最近开发的高效算法，这是从图形模型的想法启发。对真实数据矩阵的模拟表明，我们的结果可以在广泛的实际应用中是相关的。
2015-12-15 cs.IT math.IT math.ST
Risk-consistency of cross-validation with lasso-type procedures
套索和相关的稀疏诱导算法已经成为大量理论和应用研究的目标。相应地，许多结果是已知的，他们的行为为一个固定的或最佳选择的调谐参数指定为未知常数。然而，在实践中，这个oracle调优参数是不可访问的，因此必须使用数据来选择一个。通常的统计实践是使用交叉验证的变体来完成这项任务。然而，很少有人知道的理论性质的预测与这种数据依赖的方法。我们考虑具有随机设计的高维设置，其中预测因子$p$的数量随着观察值$n$的数量而增长。在典型的假设下的数据生成过程中，类似于文献中的那些，我们恢复Oracle率的对数因子时，选择的调整参数与交叉验证。在较弱的条件下，当真正的模型不一定是线性的，我们表明，套索保持风险一致相对于其线性预言。我们还将这些结果推广到组套索和平方根套索，并通过模拟研究交叉验证的预测和模型选择性能。
2016-06-21 math.ST stat.ML stat.TH
On the Prediction Performance of the Lasso
虽然Lasso已被广泛研究，但其预测性能和协变量相关性之间的关系尚未完全了解。在本文中，我们给出了新的见解，这种关系的背景下，多元线性回归。我们表明，特别是，一个简单的相关性措施纳入调整参数可以导致一个接近最佳的预测性能的套索，即使是高度相关的协变量。然而，我们还发现，对于中度相关的协变量，Lasso的预测性能可以是平庸的，无论选择的调谐参数。我们最后表明，我们的结果也导致接近最优率的最小二乘估计与全变差惩罚。
2016-11-08 math.ST stat.ML stat.TH
On prediction with the LASSO when the design is not incoherent
LASSO估计量是一种$\ell_1$ -范数惩罚最小二乘估计量，用于线性模型中的变量选择。当设计矩阵满足例如受限等距性质或具有小的相干指数时，已经证明LASSO估计器以高概率恢复足够稀疏的回归向量的支持和符号模式。在类似的假设下，LASSO满足各种范数的自适应预测界。本说明提供了一个预测界的基础上，一个新的指标，用于衡量如何有利的是一个设计矩阵的LASSO估计。我们研究了单位球面上具有独立随机列的矩阵的新指标的行为。使用这样一个随机矩阵（具有正确的列数）附加到一个给定的设计矩阵的简单技巧，我们表明，预测界类似于\cite [定理2.1]{CandesPlan：AnnStat 09}持有没有任何约束的设计矩阵，除了限制非奇异性。
2014-06-23 math.ST stat.TH
Generalized Concomitant Multi-Task Lasso for sparse multimodal regression
在高维中，通常考虑Lasso型估计来增强稀疏性。为了使标准Lasso理论成立，正则化参数应该与噪声水平成比例，但后者在实践中通常是未知的。一种可能的补救措施是考虑估计器，例如伴随/缩放Lasso，其联合优化回归系数以及噪声水平，使得正则化的选择与噪声水平无关。然而，当汇集来自不同来源的数据以增加样本量时，或者当处理多模态数据集时，噪声水平通常不同，并且需要新的专用估计器。在这项工作中，我们提供了新的统计和计算解决方案来处理这种异方差回归模型，重点是功能性脑成像结合磁和脑电图（M/EEG）信号。采用伴随Lasso型估计的公式，我们提出了一个联合凸公式来估计回归系数和噪声协方差（平方根）。当我们的框架被实例化为去相关噪声时，它导致了一种高效的算法，其计算成本不高于Lasso和Concurrently Lasso，同时解决了更复杂的噪声结构。数值实验表明，我们的估计产生改进的预测和支持识别，同时正确估计噪声（平方根）的协方差。多模态神经成像问题与M/EEG数据的结果也有报道。
2017-10-18 math.OC stat.AP stat.ML
Adaptive group LASSO selection in quantile models
本文考虑了一个解释变量分组的线性模型。如果模型误差不具有零均值和有界方差，或者如果模型包含离群值，则最小二乘框架是不合适的。因此，分位数回归是一个有趣的选择。为了自动选择相关的变量组，我们提出并研究了自适应组LASSO分位数估计。在变量组个数固定和变量组个数不同两种情况下，我们证明了估计量的稀疏性和渐近正态性。通过蒙特卡罗模拟的数值研究证实了理论结果，并说明了所提出的估计的性能。
2016-07-13 math.ST stat.ME stat.TH
Prediction Suboptimality of the Lasso in Sparse Linear Regression
Waseda University（早稻田大学）
研究Lasso在高维线性回归中选择调参方式时的预测性能次优问题，发现通过简单改进可在高概率事件和均方误差上提升性能，分析了高斯极大值在选定或局部化支撑上的作用，并讨论了设计矩阵结构因素对次优现象的影响及扩展至其他估计器和更一般噪声结构的可能性。
2026-05-18 math.ST stat.ME stat.TH
Precise Error Analysis of the LASSO under Correlated Designs
在本文中，我们考虑的问题，恢复稀疏信号从噪声的线性测量使用所谓的LASSO制定。我们假设一个相关的高斯设计矩阵与加性高斯噪声。利用凸高斯最小-最大定理（CGMT），我们精确地分析了相关设计矩阵下LASSO的高维渐近性能。我们定义了适当的性能指标，如均方误差（MSE），支持恢复的概率，元素差错率（EER）和余弦相似性。通过数值模拟验证了理论分析的正确性。
2020-09-16 cs.IT math.IT math.ST
A Component Lasso
Stanford University（斯坦福大学）
我们提出了一个新的稀疏回归方法称为组件套索，基于一个简单的想法。该方法利用样本协方差阵的连通分量结构，将问题分解为更小的问题。然后，它分别解决子问题，获得每个子问题的系数向量。然后，它使用非负最小二乘法将不同的向量重新组合成一个单一的解决方案。此步骤在选择和重新加权与响应相关的分量时非常有用。模拟和实际数据的例子表明，组件Lasso可以优于标准回归方法，如Lasso和弹性网，实现了较低的均方误差，以及更好的支持恢复。
2013-12-06 cs.LG stat.ML
Recursive $\ell_{1,\infty}$ Group lasso
我们引入了一个递归自适应组套索算法的实时惩罚最小二乘预测，产生一个时间序列的最佳稀疏预测系数向量。在每个时间索引的算法计算的最佳$\ell_{1,\infty}$惩罚递归最小二乘（RLS）预测器的精确更新。每次更新最小化一个凸但不可微的函数优化问题。我们开发了一个在线同伦方法，以减少计算复杂度。数值仿真结果表明，该算法在求解群稀疏系统辨识问题时，性能优于$\ell_1$正则化RLS算法，且实现复杂度低于直接群套索算法.
2011-01-29 stat.ME stat.ML
Estimation and Selection Properties of the LAD Fused Lasso Signal Approximator
融合套索算法是处理稀疏块状信号的一种重要方法。它通常与平方损失函数结合使用。然而，平方损失是不适合厚尾误差分布，也是强大的对离群值，在实践中经常出现。最小绝对偏差（LAD）损失提供了一个强大的替代平方损失。本文研究了具有LAD损失的融合Lasso估计在信号逼近中的渐近性质。我们将此估计器称为LAD融合套索信号逼近器或LAD-FLSA。我们研究了LAD-FLSA的估计相合性，并给出了LAD-FLSA是符号相合的充分条件。我们还构造了一个无偏估计量的自由度的LAD-FLSA的任何给定的调谐参数。仿真研究和实际数据分析进行说明LAD-FLSA的性能和自由度的无偏估计量的效果。
2021-04-30 stat.ME
Adaptive LASSO Penalized Minimum Density Power Divergence Estimation through Least Squares Approximation: Application to Bone Mineral Density Data from the SWAN Study
Indian Institute of Technology (Indian School of Mines)（印度理工学院（印度矿业学院））
针对线性混合效应面板数据模型对污染和协变量敏感的问题，提出基于最小二乘近似的自适应LASSO惩罚DPD估计方法，兼具稳健性与计算效率，模拟和SWAN骨密度数据验证了其优势。
2026-09-29 stat.AP stat.ME
Generalized Ridge Refitting for the Lasso and Prediction Improvement Bounds
Department of Pure and Applied Mathematics, Waseda University（早稻田大学纯应用数学系）
本文提出一类基于Lasso的二次校正估计器，通过闭式分解和随机项控制，给出有限样本期望界，统一解释预测改进条件。
2026-09-11 stat.ME
Thresholded Lasso for high dimensional variable selection and statistical estimation
给定$n$噪声样本与$p$维度，其中$n \ll p$，我们表明，基于Lasso的多步阈值处理过程-我们称之为{ \it holded Lasso}，可以准确地估计线性模型$Y = X β+ ε$中的稀疏向量$β\in \R^p$，其中$X_{n \times p}$是一个归一化为列$\ell_2$范数$\sqrt{n}$和$ε\sim N(0, σ^2 I_n)$的设计矩阵。我们表明，在限制特征值（RE）条件下，（Bickel-Ritov-Tsybakov 09），在选择足够稀疏的模型时，可以在理想均方误差的对数因子内实现$\ell_2$损失，从而实现{ \it稀疏预言不等式};预言机将提供关于哪些坐标是非零的以及哪些坐标在噪声水平之上的完美信息。从某种意义上说，保留的Lasso恢复了$\ell_0$惩罚最小二乘估计量所做的选择，因为它选择了一个足够稀疏的模型，而不会牺牲估计$β$和预测$X β$的准确性。我们还证明了高斯-丹齐格选择器（Candès-Tao 07），如果$X$服从一致不确定性原则，并且如果真参数足够稀疏，则将实现如上所述的稀疏预言不等式，同时在最坏情况下允许模型中最多有$s_0$个无关变量，其中$s_0 \leq s$是最小整数，使得对于$λ= \sqrt{2 \log p/n}$，$\sum_{i=1}^p \min(β_i^2, λ^2 σ^2) \leq …
2010-02-11 math.ST stat.TH
Towards the study of least squares estimators with convex penalty
惩罚最小二乘估计是高维统计中的一种常用方法。它包括LASSO，组LASSO和核范数惩罚最小二乘法等方法。这些方法的现有理论是不完全令人满意的，因为它允许人们证明预言不等式与固定的高概率，只有估计依赖于这个概率。此外，出现在预言界的兼容性因素的控制往往是不明确的。最近的一些发展表明，预言不等式理论可以用一种改进的方式进行修正。在本文中，我们提供了一个概述的想法和工具，导致这样一个改进的理论。我们表明，随着克服上述缺点，该方法扩展到希尔伯特框架，它适用于一大类凸处罚。本文件是部分简要的。特别是，我们提供了适应的证据，从其他最近的工作的一些结果。
2017-07-07 math.ST stat.TH
Don't Fall for Tuning Parameters: Tuning-Free Variable Selection in High Dimensions With the TREX
Lasso是对高维统计的一个开创性贡献，但它依赖于一个在实践中难以校准的调整参数。此问题的部分补救措施是平方根套索，因为它固有地校准噪声方差。但是，平方根套索仍然需要校准调整参数到模型的所有其他方面。在这项研究中，我们引入了TREX，这是Lasso的替代方案，对模型的各个方面都进行了固有的校准。这种对整个模型的适应使得TREX成为不需要任何调谐参数校准的估计器。我们表明，TREX可以在变量选择和计算效率方面优于交叉验证的Lasso。我们还介绍了TREX的自举版本，可以进一步改善变量选择。我们说明了TREX的合成数据和最近的高维生物数据集，认为核黄素生产在B。枯草杆菌。
2015-05-24 stat.ME stat.ML
Restricted LASSO and Double Shrinking
在多元回归模型的上下文中，假设感兴趣的向量参数β处于子空间假设Hβ= h中，其中该限制基于附加信息或先验知识。然后，限制估计器执行相当好比普通最小二乘之一。此外，当变量的数量相对于观测值而言相对较大时，建议使用最小绝对收缩和选择算子（LASSO）估计量进行变量选择。在本文中，我们定义了一个限制LASSO估计和配置三类LASSO型估计，以满足变量选择和限制估计。研究了估计量的渐近性能，并通过仿真分析了渐近相对效率。我们的结果的应用被认为是前列腺数据集的预期预测误差和风险进行比较。结果表明，本文提出的基于双收缩方法的收缩LASSO估计比经典的LASSO估计有更好的性能。
2015-05-12 math.ST stat.ME stat.TH
Oracle Inequalities for High Dimensional Vector Autoregressions
本文建立了平稳向量自回归模型中LASSO的预测误差和估计精度的非渐近预言不等式。这些不等式用于建立LASSO的一致性，即使当参数的数量比样本量大得多的数量级。我们也给出了条件下，没有相关的变量被排除在外。接下来，给出了自适应LASSO选择正确稀疏模式的非渐近概率。然后，我们给出的条件下，自适应LASSO揭示了正确的稀疏模式渐近。我们建立了非零系数的估计渐近等价于Oracle辅助最小二乘估计。这用于表明非零系数估计值的收敛速率与仅包括相关协变量的最小二乘法的收敛速度相同。
2014-05-15 math.ST stat.ML stat.TH
A path algorithm for the Fused Lasso Signal Approximator
Lasso是一个非常著名的惩罚回归模型，它在平方误差损失函数的系数上添加了一个带有参数$λ_{1}$的$L_{1}$惩罚。假定存在自然排序，融合套索还通过对相邻系数的差施加具有参数$λ_{2}$的$L_{1}$惩罚来扩展此模型。在本文中，我们开发了一个快速路径算法求解融合套索信号逼近器，计算解决方案的所有值的$λ_1$和$λ_2$。在补充中，我们还给出了一个算法的情况下，预测矩阵$\bX \in \mathds{R}^{n \times p}$与$\text{rank}(\bX)=p$的一般融合套索。
2009-10-03 stat.CO stat.ML
A significance test for the lasso
在稀疏线性回归设置中，我们考虑测试进入当前lasso模型的预测变量的显著性，在沿着lasso解决方案路径访问的模型序列中，我们提出了一个简单的基于lasso拟合值的检验统计量，称为协方差检验统计量，并表明当真实模型是线性的时，该统计量在原假设（原假设是所有真正有效的变量都包含在当前套索模型中）下具有$\operatorname {Exp}(1)$渐近分布。我们对第一个进入模型的预测变量的特殊情况（即，针对全局空值检验单个显著预测变量）仅需要对预测矩阵$X$的弱假设。另一方面，我们对套索路径中的一般步骤的证明对$X$和生成模型进行了进一步的技术假设，但仍然允许重要的高维情况$p>n$，并且不一定要求当前套索模型实现真正活跃变量的完美恢复。当然，为了检验两个嵌套线性模型之间附加变量的显著性，通常使用卡方检验，将残差平方和（RSS）的下降与$χ^2_1$分布进行比较。但是，当这个附加变量不是固定的，并且已经被自适应地或绿色地选择时，这个测试就不再合适了：自适应性使得RSS随机数的下降比原假设下的$χ^2_1$大得多。我们的分析明确说明了自适应性，因为它必须，因为套索建立一个自适应序列的线性模型作为调整参数$λ$减少。在该分析中，收缩起着关键作用：尽管自适应地选择了附加变量，但是由于$\ell_1$惩罚，套索活动变量的系数被收缩。因此，检验统计量（基于套索拟合值）在某种意义上被这两个相反的…
2014-05-26 math.ST stat.ME stat.TH
Optimistic lower bounds for convex regularized least-squares
极小极大下界本质上是悲观的：对于任何给定的估计量，极小极大下界产生最坏情况目标向量$β^*_{worst}$的存在，对于该最坏情况目标向量，给定估计量的预测误差从下面有界。然而，极小极大下界并没有阐明给定估计器对于不同于$β^*_{worst}$的目标向量的预测误差。给出了任意凸正则化最小二乘预测误差的一个特征。该特征提供了预测误差的下界和上界。这产生了适用于任何目标向量的下界，而不仅仅适用于单个最差情况$β^*_{worst}$。最后，将这些预测误差的上界应用于Lasso稀疏线性回归。我们得到一个下界涉及的兼容常数的任何调谐参数，匹配的上界和下界的普遍选择的调谐参数，和一个下界的Lasso与小调谐参数。
2017-10-06 math.ST stat.TH
Sparse Matrix Inversion with Scaled Lasso
我们提出了一种新的学习稀疏非负定目标矩阵的方法。我们的目标矩阵的主要示例是总体协方差或相关阵的逆。该算法首先通过缩放Lasso估计目标矩阵的每一列，然后调整矩阵估计器使其对称。每个列的缩放Lasso的惩罚水平完全由通过凸最小化的数据确定，而不使用交叉验证。我们证明了这种缩放的Lasso方法保证了最快的证明速度的谱范数的条件下，较弱的形式比那些在现有的分析其他$\ell_1$正则化算法的收敛速度，并具有更快的收敛速率的保证时，目标逆矩阵的$\ell_1$和谱范数的比率发散到无穷大。仿真研究表明，所提出的方法的计算可行性和优越的性能。我们的分析还为Lasso和缩放Lasso提供了新的性能界限，以保证在比以前的分析更小的阈值水平下更高的误差集中度，并允许在缩放Lasso的逐列应用中使用联合界限，而无需调整惩罚水平。此外，缩放Lasso选择后的最小二乘估计被认为是和证明，以保证性能界类似的缩放Lasso。
2013-10-14 math.ST stat.ML stat.TH
