The LASSO Estimator: Distributional Properties
最小绝对收缩和选择算子（LASSO）是一种流行的同时估计和模型选择的技术。关于LASSO估计的大样本渐近分布性质已经有很多研究，但是众所周知，渐近结果可能会给出LASSO估计的实际有限样本行为的错误图像。对于正交模型的特殊情况，LASSO估计量的有限样本分布已经在前面进行了研究。本文的目的是推广高斯噪声中实线性测量模型的LASSO估计的有限样本分布性质。本文首先导出了LASSO估计的有限样本特征函数的表达式，然后利用Fourier切片定理得到了LASSO估计的线性变换的一维分量的边缘密度函数的近似表达式。
2016-07-02 math.ST stat.AP stat.TH
Sup-norm convergence rate and sign concentration property of Lasso and Dantzig estimators
在高维线性回归模型中，在对设计的Gram矩阵作互相关假设和对噪声作两种不同的假设：高斯噪声和有限方差的一般噪声下，我们同时得到了Lasso和Dantzig估计的$l_{\infty}$的收敛速度.然后，我们证明，同时阈值的Lasso和Dantzig估计与适当的阈值选择享受一个符号集中的属性，提供的非零组件的目标向量不是太小。
2008-02-12 math.ST stat.TH
An l1-Oracle Inequality for the Lasso
在过去的几年里，套索吸引了许多作者的注意。虽然已经做了很多努力来证明，Lasso的行为就像一个变量选择过程的价格强（虽然不可避免的）假设这些变量的几何结构，少得多的注意力已经支付给Lasso作为正则化算法的性能分析。我们这里的第一个目的是在这个方向上提供一个概念上非常简单的结果。我们将证明，只要正则化参数选择得当，Lasso几乎和确定性Lasso一样有效。这个结果不需要任何假设，无论是对变量的结构还是对回归函数。我们的第二个目的是引入一个新的估计，特别适合于处理无限可数字典。该估计量被构造为Lasso估计量序列中的一个l0-惩罚估计量，该估计量序列与不断增长的截断字典的二元序列相关联。选择过程自动选择字典的最佳截断水平，以便在近似、l1正则化和稀疏性之间做出最佳权衡。从理论的角度来看，我们将提供一个预言不等式满足这个选定的Lasso估计。为Lasso和选定的Lasso估计量建立的Oracle不等式将使我们能够推导出在广泛的一类函数上的收敛速率，表明这些估计量至少与贪婪算法一样好。此外，我们将证明所选择的Lasso估计量的收敛速度是最佳的正交的情况下，从下面的极小极大风险的一些Besov机构的边界。最后，我们将在神经网络的具体框架下研究Lasso算法在无限不可数字典上的性能。本文所给出的所有预言不等式都是通过应用一个在一组非线性模型中选择模型的一般定理得到的，该定理是高斯浓度不等式的…
2010-07-27 math.ST stat.TH
On cross-validated Lasso in high dimensions
在本文中，我们推导出非渐近误差界的Lasso估计时，罚参数的估计选择使用$K$倍交叉验证。我们的边界意味着交叉验证的Lasso估计在预测、$L^2$和$L^1$范数中具有接近最优的收敛速率。例如，我们证明了在具有高斯噪声的模型中，在对罚参数的候选值集的相当一般的假设下，交叉验证的Lasso估计量的估计误差在预测范数中以$\sqrt{s\log p / n}\times \sqrt{\log(p n)}$率收敛到零，其中$n$是可用数据的样本大小，$p$是协变量的数量，并且$s$是模型中非零系数的数目。因此，交叉验证的Lasso估计量在预测范数中达到了最快的可能收敛速率，直到小的对数因子$\sqrt{\log(p n)}$，并且类似的结论适用于$L^2$和$L^1$范数中的收敛速度。重要的是，我们的结果涵盖了$p$（可能远）大于$n$的情况，也允许非高斯噪声的情况。因此，我们的论文作为一个理由，广泛传播的做法，使用交叉验证作为一种方法来选择罚参数的Lasso估计。
2020-02-06 math.ST stat.TH
Aggregation of supports along the Lasso path
在固定设计的线性回归中，我们提出了两个程序来聚合数据驱动的支持集。该集合是$2^p$可能支持的子集，其基数和元素都可以依赖于数据。该方法不需要对设计矩阵作任何假设，满足oracle不等式.然后，我们使用这些过程来聚合Lasso的正则化路径上出现的支持度，以构建一个模拟最佳Lasso估计量的估计量。如果满足设计矩阵上的约束特征值条件，则该估计器达到最优预测界。最后，我们讨论了这些程序的计算成本。
2016-05-31 math.ST stat.TH
Degrees of Freedom for Piecewise Lipschitz Estimators
对于$\mathbb{R}^n$中均值参数的一类估计，给出了类似Stein引理的自由度表示.与以前的结果相反，我们的代表持有一系列的不连续估计。它表明，即使不连续形成一个勒贝格零集，他们不能被忽略时，计算自由度。如果使用数据驱动变量选择，则在回归中自然会出现具有不连续性的估计。两个这样的例子，即最佳子集选择和lasso-OLS，本文被详细考虑。对于lasso-OLS，一般表示导致基于lasso解决方案路径的自由度估计，这反过来又可用于估计lasso-OLS的风险。一个类似的估计提出了最佳子集选择。风险估计的有用性，选择变量的数量证明通过模拟，特别侧重于拉索-OLS。
2017-02-10 math.ST stat.TH
Fused Lasso Nearly Isotonic Signal Approximation in General Dimensions
本文介绍并研究融合套索近等渗信号逼近，它是融合套索和广义近等渗回归的结合。我们展示了这三个估计是如何相互关联的，得到解决的一般问题，表明它是计算上可行的，并提供了分段单调性，稀疏性和拟合优度之间的权衡。此外，我们推导出一个无偏估计的自由度的近似。
2022-11-20 math.ST stat.TH
On prediction with the LASSO when the design is not incoherent
LASSO估计量是一种$\ell_1$ -范数惩罚最小二乘估计量，用于线性模型中的变量选择。当设计矩阵满足例如受限等距性质或具有小的相干指数时，已经证明LASSO估计器以高概率恢复足够稀疏的回归向量的支持和符号模式。在类似的假设下，LASSO满足各种范数的自适应预测界。本说明提供了一个预测界的基础上，一个新的指标，用于衡量如何有利的是一个设计矩阵的LASSO估计。我们研究了单位球面上具有独立随机列的矩阵的新指标的行为。使用这样一个随机矩阵（具有正确的列数）附加到一个给定的设计矩阵的简单技巧，我们表明，预测界类似于\cite [定理2.1]{CandesPlan：AnnStat 09}持有没有任何约束的设计矩阵，除了限制非奇异性。
2014-06-23 math.ST stat.TH
A New Sparse and Robust Adaptive Lasso Estimator for the Independent Contamination Model
信号处理中的许多问题需要找到欠定或病态的线性系方程的稀疏解。在处理真实世界的数据时，还必须考虑异常值和脉冲噪声的存在。在过去的几十年里，绝大多数稳健线性回归估计都集中在对行污染的稳健性上。即使是所谓的“高细分”估计数也依赖于这样的假设，即回归矩阵的大多数行不受离群值的影响。直到最近，才开发出第一个单元稳健回归估计方法。在本文中，我们定义了强大的预言性质，估计必须有，以执行鲁棒的模型选择欠定，或病态的线性回归模型中的回归矩阵中的单元离群值污染。我们提出并分析了一个鲁棒加权和自适应的Lasso型正则化项，该项考虑了用于模型选择的单元格离群值。建议的正则化项被集成到MM估计器的目标函数中，这产生了建议的MM-鲁棒加权自适应套索（MM-RWAL），我们证明了至少弱鲁棒预言属性。现有的强大的Lasso估计的性能比较，使用Monte Carlo实验。此外，MM-RWAL应用于确定欧洲示踪剂实验（ETEX）在源位置的时间释放。这个病态线性逆问题包含单元和行的离群值，并且在回归矩阵和参数向量中都是稀疏的。建议的RWAL惩罚不限于MM估计，但可以很容易地集成到其他鲁棒估计的目标函数。
2017-05-05 math.ST stat.TH
On the generic uniform uniqueness of the LASSO estimator
LASSO是基于最小二乘算子的$\ell_1$惩罚的统计线性回归中的变量子集选择过程。LASSO的唯一性是一个重要的问题，特别是对于LASSO路径的研究，本文的目的是给出一个关于设计矩阵的LASSO极小元唯一的一般充分条件.与以往的作品的唯一性问题，我们的条件只依赖于设计矩阵。我们的研究是基于设计矩阵上的一般位置条件，对于大多数实验模型，该条件具有概率1。
2016-03-01 math.ST stat.CO stat.TH
Autoregressive Process Modeling via the Lasso Procedure
Lasso是线性模型的一个流行的模型选择和估计程序，具有良好的理论特性。本文研究了自回归时间序列模型的Lasso估计。我们采用了一个双渐近框架，最大滞后可能会增加与样本量。我们得出的理论结果建立各种类型的一致性。特别地，我们推导出自回归系数的Lasso估计是模型选择一致、估计一致和预测一致的条件。模拟研究结果的报告。
2008-05-08 math.ST stat.TH
Smoothing $\ell_1$-penalized estimators for high-dimensional time-course data
当一系列（相关的）线性模型必须进行估计时，通常适当的做法是将不同的数据集结合起来，以构建更有效的估计量。我们使用$\ell_1$惩罚估计器，如Lasso或Adaptive Lasso，可以同时进行参数估计和模型选择。我们表明，对于高维线性模型的时间过程的Lasso和自适应Lasso的收敛速度可以通过以适当的方式结合不同的时间点来提高。此外，Adaptive Lasso仍然具有Oracle属性和一致的变量选择。所提出的方法的有限样本特性的模拟数据和一个真正的问题，在DNA序列中的基序发现说明。
2007-12-11 math.ST stat.TH
The noise barrier and the large signal bias of the Lasso and other convex estimators
本文引入噪声壁垒和大尺度偏差两个量，证明相容性条件对Lasso实现快速预测速率不可避免，并刻画了调节参数在临界阈值处的尖锐相变，给出适用于任意设计矩阵和数据驱动调节参数的下界，结果可推广到一般凸惩罚。
2025-01-06 math.ST stat.TH
Restricted LASSO and Double Shrinking
在多元回归模型的上下文中，假设感兴趣的向量参数β处于子空间假设Hβ= h中，其中该限制基于附加信息或先验知识。然后，限制估计器执行相当好比普通最小二乘之一。此外，当变量的数量相对于观测值而言相对较大时，建议使用最小绝对收缩和选择算子（LASSO）估计量进行变量选择。在本文中，我们定义了一个限制LASSO估计和配置三类LASSO型估计，以满足变量选择和限制估计。研究了估计量的渐近性能，并通过仿真分析了渐近相对效率。我们的结果的应用被认为是前列腺数据集的预期预测误差和风险进行比较。结果表明，本文提出的基于双收缩方法的收缩LASSO估计比经典的LASSO估计有更好的性能。
2015-05-12 math.ST stat.ME stat.TH
Bounds on the prediction error of penalized least squares estimators with convex penalty
本文研究了具有任意凸罚的罚最小二乘估计。当观测噪声为高斯噪声时，我们证明了预测误差是一个集中在其中值附近的亚高斯随机变量。我们应用这个浓度属性，得到尖锐的预言不等式的预测误差的LASSO，组LASSO和斜率估计，无论是在概率和期望。与以前的工作LASSO型方法相比，我们的预言不等式的概率得到在任何置信水平的调整参数，不依赖于置信水平的估计。这也是为什么我们能够建立稀疏预言界的预期LASSO型估计，而以前已知的技术不允许控制的预期风险。此外，我们还证明了预言不等式中的集中率比以前通常理解的要好。
2016-09-21 math.ST stat.TH
Uniform Consistency of the Highly Adaptive Lasso Estimator of Infinite Dimensional Parameters
考虑我们观察到随机变量的$n$独立同分布副本的情况，其中概率分布已知是指定统计模型的元素。我们感兴趣的是估计一个无限维的目标参数，最大限度地减少了指定的损失函数的期望。在\cite{generally_efficient_TMLE}中，我们定义了一个估计，最大限度地减少经验风险的所有多元实值cadlag函数的变化范数有界的一些常数$M$在参数空间中，并选择$M$与交叉验证。我们将该估计量称为高度自适应Lasso估计量，因为约束可以被公式化为非常大量的基函数的系数a的线性组合的和上的界$M$。具体地，在目标参数是条件均值的情况下，则可以使用标准LASSO回归估计器来实现。在\cite{generally_efficient_TMLE}中，我们证明了HAL-估计量是关于t.以比$n^{-1/2}$更快的速率（即，比$n^{-1/4}$ w.r.t.更快。一个范数），即使参数空间是完全非参数的。这个速率所需的唯一假设是真参数函数具有有限变差范数。基于损失的相异度通常等价于$L^2(P_0)$型范数的平方。本文证明了在弱连续条件下，HAL估计也是一致相合的。
2017-09-19 math.ST stat.TH
High-dimensional additive hazard models and the Lasso
本文考虑了非渐近情形下的一般高维可加性风险模型，包括删失数据的回归。在这种情况下，我们考虑一个完全数据驱动的$\ell_1$惩罚的Lasso估计器，它是针对手头的估计问题而调整的。我们证明了这个估计尖锐的甲骨文不等式。我们的分析涉及一个新的“数据驱动”伯恩斯坦不等式，该不等式具有独立的意义，其中可预测的变化被可选择的变化所取代。
2012-03-02 math.ST stat.TH
Regularization with the Smooth-Lasso procedure
我们考虑线性回归问题。我们提出了S-Lasso过程来估计未知的回归参数。该估计量在考虑连续协变量（或预测变量）之间的相关性的同时具有表示的稀疏性。该研究涵盖了$p\gg n$的情况，即协变量的数量远大于观察值的数量。在理论上，对于固定的$p$，我们建立了变量选择结果的渐近正态性和一致性。当$p\geq n$时，我们提供了变量选择一致性结果，并表明S-Lasso实现了稀疏不等式，即，根据oracle向量的非零分量的数量的界限。与其挑战者相比，S-Lasso似乎具有很好的变量选择特性。此外，我们提供了一个估计的有效自由度的S-Lasso估计。一项模拟研究表明，S-套索表现优于套索，就变量选择而言，特别是当连续的协变量之间存在高度相关性。这个过程似乎也是Elastic-Net的一个很好的挑战者（Zou和Hastie，2005）。
2008-10-15 math.ST stat.TH
On the Distribution, Model Selection Properties and Uniqueness of the Lasso Estimator in Low and High Dimensions
通过利用定义估计量的最优化问题的结构，我们在低维和高维线性回归模型的上下文中推导出Lasso估计量的有限样本分布的表达式。在低维情况下，我们假设回归矩阵的满秩，并给出了累积分布函数和估计量的绝对连续部分的密度的表达式。我们的结果的情况下，正态分布的错误，但不取决于这个假设，可以很容易地推广。此外，我们建立了一个明确的公式之间的对应关系的Lasso和最小二乘估计。我们推导出类似的结果分布在高维不太明确的形式，我们在回归矩阵上没有任何假设。在这种情况下，我们还研究了Lasso的模型选择属性，并表明估计器可能只选择模型的一个子集，完全独立于观察到的响应向量。最后，我们提出了一个条件的唯一性的估计，这是必要的，以及充分的。
2020-02-14 math.ST stat.ME stat.TH
Debiasing the Debiased Lasso with Bootstrap
研究了高维线性模型中回归系数的单坐标统计推断问题。近年来，去偏估计被广泛地用于构造高维模型的置信区间和假设检验。然而，一些有代表性的数值实验表明，他们往往是偏大系数，特别是当大系数的数量占主导地位的小系数的数量。本文提出了一种改进的基于自助法的去偏Lasso估计。让我们将所提出的估计量简称为BS-DB。我们证明了，在不可表示的条件和其他温和的技术条件下，在存在大比例强信号的情况下，BS-DB比去偏Lasso具有更小的偏置阶数。如果不可表示条件不成立，则保证BS-DB的性能不会比去偏Lasso渐近地更差。提出了基于BS-DB的置信区间，并在较弱的条件下证明了其渐近有效性。我们对推理问题的研究新颖地结合了Lasso关于变量选择和估计的性质。通过广泛的数值研究证明了BS-DB在去偏Lasso上的优越性能。
2020-10-17 math.ST stat.TH
Properties and refinements of the fused lasso
我们考虑估计一个未知的信号，块状和稀疏，这是由加性噪声损坏。我们研究了三个相互关联的最小二乘程序及其渐近性质。第一个程序是弗里德曼等人提出的融合套索。1（2007）302- 332]，我们将其修改为具有更好特性的不同估计器，称为融合自适应套索。另外两个估计，我们讨论解决最小二乘问题的筛;一个约束的最大$\ell_1$范数和最大全变差方差，和其他限制的块的数量和非零坐标的信号。我们得到的条件，真正的块分区和真正的稀疏模式的融合套索和融合自适应套索的恢复，我们得到收敛速度的筛选估计，明确的约束参数。
2009-08-31 math.ST stat.TH
Online Hyperparameter-Free Sparse Estimation Method
在本文中，我们推导出一个在线估计稀疏参数向量，不像LASSO方法，不需要调整任何超参数。该算法是基于协方差匹配的方法，相当于一个加权版本的平方根LASSO。该估计器的计算复杂性与在线版本的正则化最小二乘（RLS）和LASSO具有相同的数量级。我们提供了一个可行的和不可行的实施LASSO和RLS的数值比较，以说明所提出的在线超参数估计的优势。
2015-05-06 math.ST stat.TH
Rates of convergence of the Adaptive LASSO estimators to the Oracle distribution and higher order refinements by the bootstrap
邹[J].美国统计学. Assoc.101（2006）1418-1429]提出了用于同时变量选择和回归参数估计的自适应LASSO（ALASSO）方法，并建立了其预言性质。本文研究了当回归参数的维数随样本量增长到无穷大时，ALASSO估计对Oracle分布的收敛速率。结果表明，率严重依赖于罚参数和初始估计的选择，以及其他因素，和置信区间（CI）的基础上的预言极限法往往有差的覆盖精度。作为一种替代方案，我们考虑了ALASSO估计量的残差自助法，该方法最近已被证明是一致的;参见。Chatterjee和Lahiri [J. Amer. Statist. 106（2011 a）608-625]。我们表明，适用于一个合适的学生化版本的ALASSO估计的引导达到二阶正确性，即使当回归参数的维数是无界的。从一个中等规模的模拟研究结果显示，在覆盖准确性显着改善的引导CI基于Oracle的CI。
2013-07-08 math.ST stat.TH
The Lasso for High-Dimensional Regression with a Possible Change-Point
本文考虑了一个高维回归模型，由于协变量阈值的存在，可能存在一个变点，并给出了回归系数和门限参数的Lasso估计。我们的Lasso估计不仅选择协变量，而且还选择线性和阈值回归模型之间的模型。在稀疏性假设下，我们得到了预测风险和回归系数的$\ell_1$估计损失的非渐近预言不等式。由于Lasso估计同时选择变量，我们证明了Oracle不等式可以在不预先检验阈值效应存在的情况下建立。此外，我们建立的条件下，未知的门限参数的估计误差可以由一个接近$n^{-1}$的因素，即使当回归的数量可以远远大于样本量（$n$）。我们说明了我们提出的估计方法的实用性，通过蒙特卡罗模拟和实际数据的应用。
2014-04-19 math.ST stat.TH
On the Distribution of the Adaptive LASSO Estimator
我们研究了自适应LASSO估计（Zou（2006））在有限样本和大样本极限下的分布。大样本分布的情况下，自适应LASSO估计进行调整，以执行保守的模型选择，以及调整结果一致的模型选择。我们表明，有限样本以及大样本分布通常是高度非正态的，无论选择的调谐参数。一致的收敛速度也得到了，并示出慢于$n^{-1/2}$的情况下，估计器进行调整，以执行一致的模型选择。特别是，这些结果质疑邹（2006）建立的自适应LASSO估计量的“预言”属性的统计相关性。此外，我们还给出了自适应LASSO估计的分布函数估计的一个不可能性结果，并用非正交回归的Monte Carlo研究补充了正交设计回归模型的理论结果.
2008-12-16 math.ST stat.ME stat.ML
Improved bounds for Square-Root Lasso and Square-Root Slope
将Bellec，Lecué和Tsybakov的结果推广到具有未知方差的稀疏高维线性回归的情形，我们证明了在设计矩阵上的一些温和条件下，两种估计量平方根Lasso和平方根Slope可以达到最优的Minimax预测率，即$(s/n) \log (p/s)$，直到某个常数.这里，$n$是样本大小，$p$是维度，$s$是稀疏性参数。我们还证明了最优的估计误差的$l_q$ -范数，与$q \in [1,2]$的平方根套索，并在$l_2$和排序$l_1$规范的平方根斜率。这两个估计器都是自适应的未知方差的噪声。“平方根斜率”也自适应于真实参数的稀疏性$s$。接下来，我们证明了任何估计依赖于$s$，达到极大极小率承认自适应$s$版本仍然达到相同的速率。我们将此结果应用于平方根套索。此外，对于这两个估计量，我们获得了广泛置信水平的有效率，并改进了浓度特性[Bellec，Lecué和Tsybakov，2017]，其中处理了已知方差的情况。我们的结果是非渐近的。
2017-12-11 math.ST stat.TH
Group Lasso for generalized linear models in high dimension
如今，越来越多的数据是可用的，我们必须处理的模型在高维（协变量的数量远远大于样本量）。在稀疏性假设下，我们有理由希望能够对回归参数做出很好的估计。这种稀疏性假设以及将协变量块结构化为具有相似行为模式的组例如在基因组学中是非常自然的。大量的科学文献存在的高斯线性模型，包括Lasso估计，也组Lasso估计，促进组稀疏下的组的先验知识。我们将此群Lasso方法推广到广义线性模型，并研究了此估计对于稀疏高维广义线性模型的收敛速度.在对协变量的假设和对设计矩阵的条件下，给出了预测误差和估计误差的预言不等式。我们证明了这种估计的能力，恢复良好的稀疏近似的真实模型。最后，我们将这些结果扩展到弹性网惩罚的情况，并将其应用于所谓的泊松回归情况，该情况与逻辑斯谛回归相反，在本文中尚未研究。
2014-01-22 math.ST stat.TH
Uniformly Valid Confidence Sets Based on the Lasso
在固定维线性回归模型$p \leq n$中，基于Lasso估计，构造了未知参数向量的置信区域，该估计在有限样本下以及在渐近条件下，一致且精确地保持给定的置信区域.因此，我们量化估计的不确定性以及“后模型选择误差”的估计。更具体地说，在有限样本高斯误差和渐近的情况下，拉索估计被调整到执行保守的模型选择，我们推导出精确的公式，用于计算最小覆盖概率在整个参数空间的一大类形状的置信集，从而使有效的置信区域的建设在这些设置的基础上的拉索估计。文中还讨论了置信集形状的选择以及与基于最小二乘估计的置信椭圆的比较。此外，在调整Lasso估计器以实现一致的模型选择的情况下，我们给出了一个简单的置信区域，其最小覆盖概率收敛到1。最后，我们还处理未知误差方差的情况下，并提出了一些想法的扩展。
2018-05-14 math.ST stat.ME stat.TH
Triple/Double-Debiased Lasso
University of California, Los Angeles（加州大学洛杉矶分校）；University of Copenhagen（哥本哈根大学）；Aarhus Center for Econometrics (ACE)（奥胡斯计量经济学中心）；Yale University（耶鲁大学）
本文提出一种三重（或双重去偏）Lasso估计器，用于高维线性回归模型中低维参数的推断。该估计器基于满足一阶和二阶Neyman正交条件的矩函数，消除正则化引起的偏倚。通过渐近线性表示证明其余项更小，从而提升小样本推断和置信区间的准确性。
2026-03-20 econ.EM math.ST stat.TH
The Influence Function of Graphical Lasso Estimators
精度矩阵是多元分析中一个重要的研究对象，它描述了一组变量之间的条件线性依赖关系。稀疏估计程序的精度矩阵，如图形套索（Glasso）获得普及，因为它们有助于解释，从而分离的变量对是有条件的依赖从那些是独立的（给定所有其他变量）。然而，Glasso缺乏对离群值的鲁棒性。为了克服这个问题，通常应用鲁棒插件程序，其中Glasso是从鲁棒协方差估计而不是样本协方差计算的，从而提供针对离群值的保护。本文从理论上研究了这类估计，推导并比较了它们的影响函数、灵敏度曲线和渐近方差。
2023-03-08 math.ST stat.ME stat.TH
Greedy Variance Estimation for the LASSO
最近的研究结果证明了LASSO算法和相关算法对噪声线性回归的极大极小最优性。然而，这些结果往往依赖于效率低下的方差估计器或比LASSO本身更慢的优化。我们提出了一个有效的估计噪声方差的高维线性回归，比LASSO更快，只需要$p$矩阵向量乘法。在设计矩阵满足约束等距性的条件下，证明了该估计具有良好的收敛速率。在实践中，我们的估计器可以非常好地扩展到高维，高度并行化，并且只会产生适度的偏差。
2019-03-14 cs.IT math.IT math.ST
Multi-Environment GLAMP: Approximate Message Passing for Transfer Learning with Applications to Lasso-based Estimators
本文提出多环境广义长 AMP 框架以解决多数据源和分布偏移下的迁移学习问题，严格建立其状态演化，并首次精确刻画三种基于 Lasso 的估计器风险，仿真验证了显著的有限样本精度。
2025-06-29 math.ST stat.ML stat.TH
On Lasso refitting strategies
l_1-惩罚估计量的一个众所周知的缺点是大系数向零的系统收缩。一个简单的补救方法是将Lasso视为一个模型选择程序，并在选定的支持上执行第二个改装步骤。在这项工作中，我们正式的改装的概念，并提供Oracle边界任意改装程序的拉索解决方案。基于最小二乘的估计量修正技术是目前应用最广泛的估计量修正技术之一，但由于修正后的估计量的符号可能与原估计量的符号相反，因此存在可解释性问题。这个问题源于这样一个事实，即最小二乘重构只考虑Lasso解的支持，避免任何关于符号或振幅的信息。为此，我们定义了一个符号一致的改装作为一个任意改装过程，保持第一步Lasso解决方案的迹象，并提供Oracle不等式，这样的估计。最后，我们考虑特殊的改装策略：Bregman Lasso和Boosted Lasso。Bregman Lasso有一个富有成效的特性，可以收敛到符号最小二乘重新拟合（带符号约束的最小二乘），这提供了更好的可解释性。我们还研究了Bregman Lasso改装的正交设计的情况下，所提出的方法背后提供简单的直观。相比之下，Boosted Lasso考虑了第一个Lasso步骤的大小信息，并允许开发更好的预测预言率。最后，我们进行了广泛的数值研究，以显示在不同的合成和半真实的情况下，一种方法比其他方法的优势。
2018-11-12 math.ST stat.AP stat.TH
Adaptive group LASSO selection in quantile models
本文考虑了一个解释变量分组的线性模型。如果模型误差不具有零均值和有界方差，或者如果模型包含离群值，则最小二乘框架是不合适的。因此，分位数回归是一个有趣的选择。为了自动选择相关的变量组，我们提出并研究了自适应组LASSO分位数估计。在变量组个数固定和变量组个数不同两种情况下，我们证明了估计量的稀疏性和渐近正态性。通过蒙特卡罗模拟的数值研究证实了理论结果，并说明了所提出的估计的性能。
2016-07-13 math.ST stat.ME stat.TH
Asymptotic Theory of the Sparse Group LASSO
本文提出了一个惩罚凸经验准则的一般框架和一个新版本的稀疏群LASSO（SGL，Simon等人，2013），称为自适应SGL，其中SGL的两个惩罚都由初步随机系数加权。我们广泛地探讨了它的渐近性质，并证明了这个估计满足所谓的预言性质（Fan和Li，2001），即基于稀疏性的估计恢复真实的底层稀疏模型，并渐近正态分布。然后，我们研究了它的渐近性质在一个双渐近框架，其中参数的数量与样本量发散。我们通过仿真表明，自适应SGL优于其他甲骨文类方法的估计精度和变量的选择。
2016-11-29 math.ST stat.TH
Group Lasso estimation of high-dimensional covariance matrices
本文考虑加性噪声污染下随机过程协方差阵的Group Lasso估计。我们建议估计的协方差阵在高维设置的假设下，该过程具有稀疏表示在一个大的字典的基函数。使用矩阵回归模型，我们提出了一种新的方法，用于高维协方差阵估计的经验对比正则化的组Lasso惩罚。使用这样的惩罚，该方法在用于近似处理的字典中选择稀疏的基函数集合，导致协方差阵近似到低维空间中。估计的一致性研究在Frobenius和运营商的规范和稀疏PCA的应用程序提出。
2011-10-24 math.ST stat.TH
Asymptotic properties of adaptive group Lasso for sparse reduced rank regression
本文研究稀疏降秩回归中自适应组Lasso估计量的渐近性质，证明其在正则条件下可达到极小极大最优收敛速率并实现变量选择一致性，同时允许响应变量数、预测变量数和秩数随样本量增长至无穷。
2016-10-24 math.ST stat.TH
Slope meets Lasso: improved oracle bounds and optimality
我们表明，两个多项式时间的方法，拉索估计自适应选择的调整参数和斜率估计，自适应实现精确的极小极大预测和$\ell_2$估计率$(s/n)\log (p/s)$在高维线性回归类的$s$ -稀疏目标向量$\mathbb R^p$。这是在Lasso的限制特征值（RE）条件下以及在对Slope的设计的稍微更多约束的假设下完成的。主要结果具有尖锐的预言不等式的形式，考虑到模型的误设定误差。当模型被很好地指定时，还得到了用$1\le q\le 2$的$\ell_q$估计误差的极小极大最优界。结果是非渐近的，并保持在概率和期望。我们对设计施加的假设是满足高概率的一个大类的随机矩阵与独立的，可能各向异性分布的行。我们给出了一个比较分析的条件下，可以得到的拉索和斜率估计的预言界。特别地，我们证明了几个已知的条件，如RE条件和稀疏特征值条件是等价的，如果回归的$\ell_2$ -范数一致有界。
2017-05-24 math.ST stat.TH
Estimating conditional hazard functions and densities with the highly-adaptive lasso
针对多元càdlàg函数类上的条件风险函数与密度估计问题，提出基于数据自适应筛的高度自适应套索估计量，证明其收敛速度与定义明确时的经验风险最小化器相当，且基函数数量更少，还拓展至右删失数据场景与新的条件密度估计。
2024-04-17 math.ST stat.TH
Least squares after model selection in high-dimensional sparse models
在这篇文章中，我们研究后模型选择估计，适用于普通最小二乘（OLS）的第一步惩罚估计，典型的Lasso选择的模型。众所周知，Lasso可以以接近Oracle的速率估计非参数回归函数，因此很难改进。我们表明，OLS后Lasso估计执行至少以及Lasso的收敛速率方面，并具有较小的偏差的优势。值得注意的是，即使基于Lasso的模型选择“失败”，也会出现这种性能，因为它丢失了“真正”回归模型的一些组成部分。所谓“真”模型，我们指的是对预言机选择的非参数回归函数的最佳s维逼近。此外，如果基于Lasso的模型选择正确地包括“真”模型的所有分量作为子集，并且还实现了足够的稀疏性，则在收敛速度收敛速率严格更快的意义上，OLS post-Lasso估计量可以严格优于Lasso。在极端情况下，当Lasso完美地选择“真”模型时，OLS post-Lasso估计量成为oracle估计量。在我们的分析中，一个重要的成分是一个新的稀疏约束的维度选择的模型的Lasso，这保证了这个维度是在最多的相同的顺序作为“真正的”模型的维度。我们的速率结果是非渐近的，并在参数和非参数模型。此外，我们的分析不仅限于在第一步中作为选择器的Lasso估计器，而且还适用于任何其他估计器，例如，各种形式的阈值Lasso，具有良好的速率和良好的稀疏性。我们的分析涵盖了传统的阈值和一个新的实用，数据驱动的阈值方案，诱导额外的稀疏性保持…
2013-03-20 math.PR math.ST stat.ME
The Adaptive Lasso with Weighted IPW Factor and KRR Penalty Function
Beijing University of Technology（北京工业大学）
本文提出一种结合加权IPW因子与KRR惩罚的自适应Lasso，证明其具有Oracle性质，并通过数值模拟验证其性能接近极小极大最优。
2026-10-08 math.ST stat.TH
Sampling effects on Lasso estimation of drift functions in high-dimensional diffusion processes
本文针对高维扩散过程，提出Lasso估计器用于稀疏漂移函数参数估计，证明oracle不等式并控制离散化误差，实现与连续观测相同的最优收敛速率，数值实验显示其在支持恢复上优于MLE。
2025-10-08 math.ST stat.AP stat.TH
Generalization of l1 constraints for high dimensional regression problems
我们专注于高维线性回归$Y\sim\mathcal{N}(Xβ^{*},σ^{2}I_{n})$，其中$β^{*}\in\mathds{R}^{p}$是感兴趣的参数。在这种情况下，几个估计，如LASSO和Dantzig的，是已知的，以满足有趣的性质时，向量$β^{*}$是稀疏的。有趣的是，LASSO和Dantzig两个点都可以看作是0到$\mathcal{DC}(s)=\{β\in\mathds{R}^{p},\|X'(Y-Xβ)\|_{\infty}\leq s\}$的正交投影-对Dantzig点使用$\ell_{1}$距离，对LASSO使用$\ell_{2}$距离。对于精心选择的$s>0$，该集合实际上是$β^{*}$的置信区域。在本文中，我们研究的性质，估计定义为$\mathcal{DC}(s)$上的投影使用一般的距离。我们证明了所得到的估计满足接近于LASSO和Dantzig的预言性质。最重要的是，事实证明，这些估计器可以调整为利用不同的稀疏性或/和略有不同的估计目标。
2011-07-04 math.ST stat.TH
Some Two-Step Procedures for Variable Selection in High-Dimensional Linear Regression
我们研究了高维变量选择问题，通过一些两个步骤的程序。首先，我们表明，给定一些好的初始估计，这是$\ell_{\infty}$ -一致的，但不一定变量选择一致的，我们可以应用非负Garrote，自适应Lasso或硬阈值的过程，以获得一个最终的估计，估计和变量选择一致。与Lasso不同，我们的结果不需要不可表示的条件，即使对于中度$p_n$也可能容易失败（Zhao和Yu，2007），并且它还允许$p_n$几乎与$\exp(n)$一样快地生长（对于硬阈值，对$p_n$没有限制）。我们还研究了岭回归可以用作初始估计的条件。我们证明了在放松的可识别条件下，岭估计是$\ell_{\infty}$ -相容的.当使用$p_n\le n$时，通常满足这样的条件，并且不需要相关和不相关协变量之间的部分正交性，而这是单变量回归所需的（Huang et al.，2008年）。我们的数值研究表明，当使用Lasso或Ridge作为初始估计量时，两步程序具有比使用单变量回归的Lasso或自适应Lasso更高的稀疏恢复率（Huang et al.，2008年）。
2008-10-09 math.ST stat.TH
Constraints and Conditions: the Lasso Oracle-inequalities
研究了高维稀疏回归模型中Lasso估计的真系数向量和设计矩阵的各种约束条件，建立了关于Lasso估计的预测误差、估计精度和变量选择的非渐近预言不等式.我们回顾了文献中的结果，我们提供了更简单和详细的推导几个有界性定理。此外，我们补充的理论与说明的例子。
2018-06-14 math.ST stat.TH
Selective inference using randomized group lasso estimators for general models
本文针对一般分布与损失函数下的组 lasso 估计量开发了基于随机化的选择性推断方法，通过构建选择后似然进行参数估计与置信区域推断，并在真实数据与模拟中验证了其有效性。
2024-03-26 math.ST stat.ME stat.ML
Sparsity considerations for dependent observations
本文的目的是提供一个全面的介绍，在相依观测的背景下，L1-惩罚估计的研究。我们定义了一个一般的$\ell_{1}$ -惩罚估计，用于解决随机最优化问题。这个估计量是回归估计设置中的LASSO。最近的文献对LASSO的统计性能提供了强有力的理论保证，然而，他们通常只处理iid的情况。在这里，我们研究了各种依赖假设下的估计量。
2011-08-07 math.ST stat.TH
Consistent group selection in high-dimensional linear regression
在协变量可以自然分组的回归问题中，Lasso组是一种有吸引力的变量选择方法，因为它尊重数据中的分组结构。我们研究了当组数超过样本量时，高维环境下Lasso组的选择和估计性质。我们提供了充分条件，在此条件下，Lasso组选择一个模型，该模型的维数与具有高概率的基础模型相当，并且是估计一致的。但是，Lasso组通常不是选择一致的，并且倾向于选择在模型中不重要的组。为了改善选择结果，我们提出了一种自适应组Lasso方法，它是自适应Lasso的推广，需要一个初始估计。我们证明了在一定条件下，当Lasso群作为初始估计时，自适应Lasso群在群选择中是相容的。
2010-11-29 math.ST stat.TH
$χ^2$-confidence sets in high-dimensional regression
我们研究了一个高维回归模型。目的是为给定的一组回归系数构造置信集，将所有其他回归系数视为冗余参数。我们应用一个一步的过程与平方根Lasso作为初始估计和多元平方根Lasso构建一个替代Fisher信息矩阵。多元平方根Lasso基于核范数损失和$\ell_1$ -惩罚。我们表明，这个过程导致一个渐近$χ^2$分布的枢轴，与剩余项仅取决于初始估计的$\ell_1$误差。我们发现，根据$\ell_1$ -稀疏条件下的回归系数$β^0$的平方根拉索产生一致的噪声方差估计，我们建立尖锐的预言不等式表明，剩余项是小的进一步稀疏条件下的$β^0$和相容性条件的设计。
2015-09-15 math.ST stat.TH
Finite sample rates of convergence for the Bigraphical and Tensor graphical Lasso estimators
University of California, Riverside（加州大学河滨分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文改进了Bigraphical和TeraLasso估计量的收敛速率，解决了两种方式模型中有限样本误差的理论保证问题。
2025-12-20 math.ST stat.TH
Nodewise Loreg: Nodewise $L_0$-penalized Regression for High-dimensional Sparse Precision Matrix Estimation
本文提出逐节点$L_0$惩罚回归方法Nodewise Loreg，用于高维稀疏精度矩阵估计，证明其渐近无偏正态性且无需去偏，并在模拟和基因表达数据上优于多种$L_1$类方法。
2024-06-10 math.ST stat.TH
Computational Sufficiency, Reflection Groups, and Generalized Lasso Penalties
我们在Vu（2018，arXiv：1807.05985）引入的计算充分性框架内研究了具有广义套索惩罚的估计量。通过表示这些处罚的支撑函数zonotopes和更一般的Minkowski总和的线段和射线，我们表明，有一个自然的反射组相关的基本最优化问题。这种观点的一个结果是，对于共享相同惩罚的大类估计量，惩罚最小二乘估计量在计算上是最小的。这意味着所有这样的估计量都可以通过优化最小二乘情况下任何算法的输出来计算。一个有趣的技术组件是我们对对偶问题的坐标下降的分析。一个关键的见解是，迭代是通过反射和平均获得的，因此它们收敛到对偶可行集的一个元素，该元素相对于与惩罚相关联的组引起的排序是最小的。我们的主要应用是融合套索/全变差去噪和保序回归任意图。在那些情况下，相关联的群是置换群。
2018-09-08 math.ST stat.CO stat.TH
LASSO estimation for spherical autoregressive processes
本文的目的是研究一类球形函数自回归过程，以便引入和研究相应自回归核的LASSO（最小绝对收缩和选择算子）类型估计，该估计通过其谱分解定义在调和域中。证明了这些估计的一些重要性质，特别是一致性和预言不等式。
2020-07-03 math.PR math.ST stat.ME
Nonparametric inverse probability weighted estimators based on the highly adaptive lasso
逆概率加权估计量是估计因果效应的最古老且可能最常用的一类程序。通过加权机制调整选择偏差，这些程序通过构建一个伪群体来估计感兴趣的影响，其中选择偏差被消除。尽管它们易于使用，这些估计需要正确的规范的加权机制的模型，是已知的效率低下，并遭受灾难的维度。我们提出了一类非参数逆概率加权估计，其中的加权机制估计通过欠平滑的高度自适应套索，一个非参数回归函数证明收敛在$n^{-1/3}$率的真正的加权机制。我们证明了我们的估计是渐近线性的，方差收敛到非参数有效界。与双稳健估计不同，我们的方法既不需要推导有效的影响函数，也不需要指定条件结果模型。我们的理论发展具有广泛的影响，在大型统计模型和各种问题设置的有效的逆概率加权估计的建设。我们评估我们的估计在模拟研究中的实际表现，并证明使用我们提出的方法与数据从一个大规模的流行病学研究。
2021-07-03 math.ST stat.ME stat.ML
