Precise Error Analysis of the LASSO under Correlated Designs
在本文中，我们考虑的问题，恢复稀疏信号从噪声的线性测量使用所谓的LASSO制定。我们假设一个相关的高斯设计矩阵与加性高斯噪声。利用凸高斯最小-最大定理（CGMT），我们精确地分析了相关设计矩阵下LASSO的高维渐近性能。我们定义了适当的性能指标，如均方误差（MSE），支持恢复的概率，元素差错率（EER）和余弦相似性。通过数值模拟验证了理论分析的正确性。
2020-09-16 cs.IT math.IT math.ST
On the $\ell_1-\ell_q$ Regularized Regression
在本文中，我们考虑使用$\ell_1-\ell_q$正则化（$1\leq q \leq \infty$）的高维回归中的分组变量选择问题，它可以被视为$\ell_1-\ell_2$正则化（Lasso组）的自然推广。关键条件是维度$p_n$的增长速度比样本量$n$快得多，即$p_n \gg n$（在我们的例子中，$p_n$是组的数量），但相关组的数量很小。主要结论是，$\ell_1-$正则化（Lasso）的许多良好特性自然地继承到$\ell_1-\ell_q$案例（$1 \leq q \leq \infty$）中，即使每组中的变量数量也随着样本大小而增加。在固定设计下，我们证明了在不同条件下估计族的估计相合性和变量选择相合性。在一个更弱的条件下，我们还证明了随机设计的持久性结果。这些结果提供了一个统一的处理整个家庭的估计，从$q=1$（Lasso）的$q=\infty$（iCAP），$q=2$（组Lasso）作为一个特殊情况。当没有可用的组结构时，所有分析都简化为Lasso估计量（$q=1$）的当前结果。
2008-02-11 math.ST stat.ML stat.TH
Complexity of Lasso with Normalized Data, Geometry and Combinatorics
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Mathematical Institute of the Serbian Academy of Sciences and Arts（塞尔维亚科学院数学研究所）
该研究将Lasso复杂性与极值组合学、代数图论关联，推导归一化数据下Lasso解的闭式公式，证明其线段相交p维卦限的数量上界小于非归一化情况的上界。
2026-09-09 math.MG math.OC math.ST
Recursive $\ell_{1,\infty}$ Group lasso
我们引入了一个递归自适应组套索算法的实时惩罚最小二乘预测，产生一个时间序列的最佳稀疏预测系数向量。在每个时间索引的算法计算的最佳$\ell_{1,\infty}$惩罚递归最小二乘（RLS）预测器的精确更新。每次更新最小化一个凸但不可微的函数优化问题。我们开发了一个在线同伦方法，以减少计算复杂度。数值仿真结果表明，该算法在求解群稀疏系统辨识问题时，性能优于$\ell_1$正则化RLS算法，且实现复杂度低于直接群套索算法.
2011-01-29 stat.ME stat.ML
A note on sharp oracle bounds for Slope and Lasso
在本文中，我们研究了Slope和Lasso的尖锐预言界，并推广了Bellec et al.（2018）中的结果，以允许参数向量不完全稀疏的情况，并通过使用一些扩展的限制特征值类型条件，获得了具有$1\leq q\leq \infty$的$\ell_q$估计误差的最佳界。
2021-07-23 math.ST stat.TH
Slope meets Lasso: improved oracle bounds and optimality
我们表明，两个多项式时间的方法，拉索估计自适应选择的调整参数和斜率估计，自适应实现精确的极小极大预测和$\ell_2$估计率$(s/n)\log (p/s)$在高维线性回归类的$s$ -稀疏目标向量$\mathbb R^p$。这是在Lasso的限制特征值（RE）条件下以及在对Slope的设计的稍微更多约束的假设下完成的。主要结果具有尖锐的预言不等式的形式，考虑到模型的误设定误差。当模型被很好地指定时，还得到了用$1\le q\le 2$的$\ell_q$估计误差的极小极大最优界。结果是非渐近的，并保持在概率和期望。我们对设计施加的假设是满足高概率的一个大类的随机矩阵与独立的，可能各向异性分布的行。我们给出了一个比较分析的条件下，可以得到的拉索和斜率估计的预言界。特别地，我们证明了几个已知的条件，如RE条件和稀疏特征值条件是等价的，如果回归的$\ell_2$ -范数一致有界。
2017-05-24 math.ST stat.TH
Asymptotically Exact Error Analysis for the Generalized $\ell_2^2$-LASSO
给定未知信号$\mathbf{x}_0\in\mathbb{R}^n$和线性噪声测量$\mathbf{y}=\mathbf{A}\mathbf{x}_0+σ\mathbf{v}\in\mathbb{R}^m$，广义$\ell_2^2$-LASSO求解$\hat{\mathbf{x}}:=\arg\min_{\mathbf{x}}\frac{1}{2}\|\mathbf{y}-\mathbf{A}\mathbf{x}\|_2^2 + σλf(\mathbf{x})$。这里，$f$是凸正则化函数（例如，$\ell_1$ -范数，核范数），旨在提升$\mathbf{x}_0$的结构（例如，稀疏，低秩），并且$λ\geq 0$是正则化器参数。一个相关的优化问题，虽然不流行或众所周知，但通常被称为广义$\ell_2$-LASSO，并采用$\hat{\mathbf{x}}:=\arg\min_{\mathbf{x}}\|\mathbf{y}-\mathbf{A}\mathbf{x}\|_2 + λf(\mathbf{x})$的形式，并已在[1]中进行了分析。[1]进一步对广义$\ell_2^2$-LASSO算法的性能进行了分析。本文严格地建立了这些关系。我们用归一化平方误差$\mathrm{NSE}(σ):=\|\hat{\mathbf{x}}-\mathbf{x}_0\|_2^2/σ^2$来…
2015-02-22 cs.IT math.IT math.ST
Estimation And Selection Via Absolute Penalized Convex Minimization And Its Multistage Adaptive Applications
$\ell_1$惩罚方法，或Lasso，已经成为分析大型数据集的重要工具。Lasso在线性回归中得到了许多重要的结果，这些结果使人们对高维统计问题有了更深的理解。本文考虑了一般形式的凸损失函数的一类加权$\ell_1$ -惩罚估计，包括广义线性模型。我们研究的估计，预测，选择和稀疏性的加权$\ell_1$惩罚估计稀疏，高维设置的预测$p$的数量可以远远大于样本量$n$。Adaptive Lasso被认为是一种特殊情况。一个多阶段的方法开发应用自适应Lasso递归。我们提供了$\ell_q$预言不等式，一般的选择一致性定理，和上界的Lasso估计的维数。重要的模型，包括线性回归，逻辑斯谛回归和对数线性模型是用来说明一般结果的应用。
2011-12-29 math.ST stat.ML stat.TH
High-dimensional additive hazard models and the Lasso
本文考虑了非渐近情形下的一般高维可加性风险模型，包括删失数据的回归。在这种情况下，我们考虑一个完全数据驱动的$\ell_1$惩罚的Lasso估计器，它是针对手头的估计问题而调整的。我们证明了这个估计尖锐的甲骨文不等式。我们的分析涉及一个新的“数据驱动”伯恩斯坦不等式，该不等式具有独立的意义，其中可预测的变化被可选择的变化所取代。
2012-03-02 math.ST stat.TH
$χ^2$-confidence sets in high-dimensional regression
我们研究了一个高维回归模型。目的是为给定的一组回归系数构造置信集，将所有其他回归系数视为冗余参数。我们应用一个一步的过程与平方根Lasso作为初始估计和多元平方根Lasso构建一个替代Fisher信息矩阵。多元平方根Lasso基于核范数损失和$\ell_1$ -惩罚。我们表明，这个过程导致一个渐近$χ^2$分布的枢轴，与剩余项仅取决于初始估计的$\ell_1$误差。我们发现，根据$\ell_1$ -稀疏条件下的回归系数$β^0$的平方根拉索产生一致的噪声方差估计，我们建立尖锐的预言不等式表明，剩余项是小的进一步稀疏条件下的$β^0$和相容性条件的设计。
2015-09-15 math.ST stat.TH
Simultaneous analysis of Lasso and Dantzig selector
我们展示了Lasso估计和Dantzig选择器之间的近似等价性。对于这两种方法，我们推导出并行的预言不等式的预测风险的一般非参数回归模型，以及在线性模型中的$1\le p\le 2$的$\ell_p$估计损失的界限时，变量的数量可以远远大于样本量。
2010-11-09 math.ST stat.TH
Sparse Matrix Inversion with Scaled Lasso
我们提出了一种新的学习稀疏非负定目标矩阵的方法。我们的目标矩阵的主要示例是总体协方差或相关阵的逆。该算法首先通过缩放Lasso估计目标矩阵的每一列，然后调整矩阵估计器使其对称。每个列的缩放Lasso的惩罚水平完全由通过凸最小化的数据确定，而不使用交叉验证。我们证明了这种缩放的Lasso方法保证了最快的证明速度的谱范数的条件下，较弱的形式比那些在现有的分析其他$\ell_1$正则化算法的收敛速度，并具有更快的收敛速率的保证时，目标逆矩阵的$\ell_1$和谱范数的比率发散到无穷大。仿真研究表明，所提出的方法的计算可行性和优越的性能。我们的分析还为Lasso和缩放Lasso提供了新的性能界限，以保证在比以前的分析更小的阈值水平下更高的误差集中度，并允许在缩放Lasso的逐列应用中使用联合界限，而无需调整惩罚水平。此外，缩放Lasso选择后的最小二乘估计被认为是和证明，以保证性能界类似的缩放Lasso。
2013-10-14 math.ST stat.ML stat.TH
On the generic uniform uniqueness of the LASSO estimator
LASSO是基于最小二乘算子的$\ell_1$惩罚的统计线性回归中的变量子集选择过程。LASSO的唯一性是一个重要的问题，特别是对于LASSO路径的研究，本文的目的是给出一个关于设计矩阵的LASSO极小元唯一的一般充分条件.与以往的作品的唯一性问题，我们的条件只依赖于设计矩阵。我们的研究是基于设计矩阵上的一般位置条件，对于大多数实验模型，该条件具有概率1。
2016-03-01 math.ST stat.CO stat.TH
High-dimensional nonconvex lasso-type $M$-estimators
本文提出了一个非凸风险和无约束区域的$\ell_1$-模惩罚高维$M$-估计的理论.在高层次的条件下，估计达到收敛速度$s_0\sqrt{\log(nd)/n}$，其中$s_0$是非零系数的参数的兴趣。我们的主要假设的充分条件，然后开发，并最终用于几个例子，包括强大的线性回归，二进制分类和非线性最小二乘。
2022-04-13 math.ST stat.TH
The adaptive and the thresholded Lasso for potentially misspecified models
我们重新审视了自适应Lasso以及重新调整的阈值Lasso，在高维线性模型中，并研究预测误差，$\ell_q$ -误差（$q \in \{1, 2 \} $）和假阳性选择的数量。我们的理论结果为两种方法，在一个相当精细的规模，可比。差异仅表现在（最小）限制和稀疏特征值方面，有利于自适应Lasso的阈值。至于预测和估计，差异几乎可以忽略不计，但我们对自适应Lasso的误报数量的限制比阈值更大。此外，这两个两阶段的方法添加值的一阶段拉索的意义上说，在适当的限制和稀疏的特征值条件下，他们有类似的预测和估计误差的一阶段拉索，但实质上更少的误报。
2010-07-15 math.ST stat.TH
Thresholded Lasso for high dimensional variable selection and statistical estimation
给定$n$噪声样本与$p$维度，其中$n \ll p$，我们表明，基于Lasso的多步阈值处理过程-我们称之为{ \it holded Lasso}，可以准确地估计线性模型$Y = X β+ ε$中的稀疏向量$β\in \R^p$，其中$X_{n \times p}$是一个归一化为列$\ell_2$范数$\sqrt{n}$和$ε\sim N(0, σ^2 I_n)$的设计矩阵。我们表明，在限制特征值（RE）条件下，（Bickel-Ritov-Tsybakov 09），在选择足够稀疏的模型时，可以在理想均方误差的对数因子内实现$\ell_2$损失，从而实现{ \it稀疏预言不等式};预言机将提供关于哪些坐标是非零的以及哪些坐标在噪声水平之上的完美信息。从某种意义上说，保留的Lasso恢复了$\ell_0$惩罚最小二乘估计量所做的选择，因为它选择了一个足够稀疏的模型，而不会牺牲估计$β$和预测$X β$的准确性。我们还证明了高斯-丹齐格选择器（Candès-Tao 07），如果$X$服从一致不确定性原则，并且如果真参数足够稀疏，则将实现如上所述的稀疏预言不等式，同时在最坏情况下允许模型中最多有$s_0$个无关变量，其中$s_0 \leq s$是最小整数，使得对于$λ= \sqrt{2 \log p/n}$，$\sum_{i=1}^p \min(β_i^2, λ^2 σ^2) \leq …
2010-02-11 math.ST stat.TH
The Degrees of Freedom of Partly Smooth Regularizers
本文研究了正则化回归问题，其中先验正则化子是一个真的下连续凸函数，且该函数相对于黎曼子流形也是部分光滑的.这包含了几种已知的惩罚作为特殊情况，例如Lasso（$\ell^1$ -norm）、群Lasso（$\ell^1-\ell^2$ -norm）、$\ell^\infty$ -norm和核norm。这也包括所谓的分析型先验，即，前面提到的惩罚与线性算子的组合，典型的例子是全变差和融合Lasso罚函数.我们研究了任意正则化最小值对观测值扰动的敏感性，并给出了其精确的局部参数化.我们的主要灵敏度分析结果表明，预测子与正则化最小值沿同一个活动子流形局部稳定地运动观测受到小扰动。这种局部稳定性是正则化子的光滑性的结果，当被限制到活动子流形时，这反过来又起到了关键作用，以获得预测器w.r.t.的变化的封闭形式的表达。意见。我们还证明了，对于各种正则化子，包括多面体正则化子或Lasso群及其分析对应物，这个发散公式几乎处处成立（具有适当的连续分布），这使我们能够得到一个无偏估计的自由度和风险的估计量的预测。我们的结果是正确的，而不需要设计矩阵是他们概括了那些在文献中已知的问题，如Lasso问题、一般Lasso问题（分析$\ell^1$ -罚分）或Lasso组，其中后者的现有结果假设设计是满列秩的。
2016-02-10 cs.IT math.IT math.ST
Asymptotically Honest Confidence Regions for High Dimensional Parameters by the Desparsified Conservative Lasso
在本文中，我们考虑保守的Lasso，我们认为它比Lasso更正确地惩罚，并展示了如何在van de Geer et al.（2014）的意义上对其进行去分解，以构建渐近诚实（均匀）的置信带。特别是，我们开发了一个预言不等式的保守Lasso只假设存在一定数量的时刻。这是通过Marcinkiewicz-Zygmund不等式完成的。我们允许异方差非亚高斯误差项和协变量。接下来，我们解parsify保守的Lasso估计，并推导出渐近分布的测试，涉及越来越多的参数。我们的模拟结果表明，去parsised保守的Lasso估计的参数比去parsised Lasso更精确，具有更好的大小属性，并产生具有优越的覆盖率的置信带。
2017-11-12 math.ST stat.TH
A framework to characterize performance of LASSO algorithms
本文考虑求解具有稀疏解的\emph{noisy}欠定线性方程组。一个无噪声的等价物吸引了巨大的关注，在最近几年，首先，由于工作的\cite{CRT,CanRomTao06,DonohoPol}，它被证明在一个统计和大的维度的背景下，一个稀疏的未知向量（稀疏成比例的向量的长度）可以恢复从一个欠定系统通过一个简单的多项式$\ell_1$优化算法。\cite{CanRomTao06}进一步确定，即使当方程是\emph{noisy}时，也可以通过$\ell_1$的SOCP噪声等价物获得近似解，该近似解（在$\ell_2$范数意义上）不超过来自稀疏未知向量的噪声的常数倍。在我们最近的作品\cite{StojnicCSetam09,StojnicUpper10}中，我们创建了一个强大的机制，帮助我们准确地描述了$\ell_1$优化在无噪声情况下的性能（如\cite{StojnicEquiv10}所示，如果数学公理设置良好，则必须如此，\cite{StojnicCSetam09,StojnicUpper10}的结果与\cite{DonohoPol}的相应精确结果绝对一致）。在本文中，我们设计了一个机制，强大的那些从\cite{StojnicCSetam09,StojnicUpper10}，可以处理分析的LASSO类型的算法（和许多其他），可以（或通常是）用于“解决”噪声欠定系统。然后，使用该机制…
2013-03-29 cs.IT math.IT math.OC
Estimating the Penalty Level of $\ell_{1}$-minimization via Two Gaussian Approximation Methods
在本文中，我们的目的是给$\ell_{1}$ -正则化问题的惩罚水平的理论近似。与交叉验证等传统方法相比，该方法在实际应用中可以节省大量的时间。为了实现这一目标，我们开发了两个高斯近似方法，这是基于适度偏差定理和Stein的方法分别。这两种方法都给出了有效的近似，并在仿真中具有良好的性能。我们将这两种高斯近似方法应用于三种类型的超高维$\ell_{1}$惩罚回归：套索，平方根套索，加权$\ell_{1}$惩罚泊松回归。数值结果表明，我们的两种方法来估计的惩罚水平达到高的计算效率。此外，我们的预测误差优于基于10倍交叉验证。
2020-02-18 math.ST stat.TH
Recoverability of Group Sparse Signals from Corrupted Measurements via Robust Group Lasso
本文研究了从稀疏观测值$\mathbf{M} = [\mathbf{A}_{(1)}\mathbf{y}_{1}, \cdots, \mathbf{A}_{(L)}\mathbf{y}_{L}] + \mathbf{S}$中恢复一组稀疏信号矩阵$\mathbf{Y} = [\mathbf{y}_1, \cdots, \mathbf{y}_L]$的问题，其中$\mathbf{A}_{(i)}$是已知的感知矩阵，$\mathbf{S}$是未知的稀疏误差矩阵。提出了一种鲁棒群套索（RGL）模型，通过在测量约束下同时最小化$\mathbf{Y}$的$\ell_{2,1}$ -范数和$\mathbf{S}$的$\ell_1$ -范数来恢复$\mathbf{Y}$和$\mathbf{S}$.我们证明了$\mathbf{Y}$和$\mathbf{S}$可以从RGL模型中以很高的概率精确地恢复为非常一般的一类$\mathbf{A}_{(i)}$。
2015-09-28 cs.IT math.IT math.ST
From Graphical Lasso to Atomic Norms: High-Dimensional Pattern Recovery
Univ Angers（昂热大学）；Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；Warsaw University of Technology（华沙理工大学）；Tokai University（东海大学）
该研究将高维精度矩阵模式恢复分析从$\u2113_1$惩罚扩展到通用原子范数惩罚，改进原始-对偶见证方法，提出广义不可表示条件，得到更紧的理论界与统一的模型选择一致性视角。
2026-10-14 math.ST stat.TH
Coordinate descent algorithms for lasso penalized regression
施加套索惩罚会将参数估计值缩小到零，并执行连续的模型选择。Lasso惩罚回归能够处理预测因子的数量远远超过案例数量的线性回归问题。本文测试了两个非常快速的算法估计回归系数与套索惩罚。先前已知的$\ell_2$算法基于循环坐标下降。我们的新的$\ell_1$算法是基于贪婪坐标下降和Edgeworth算法的普通$\ell_1$回归。每个算法都依赖于一个可以通过交叉验证选择的调优常数。在某些回归问题中，很自然地对参数进行分组，并对参数分组进行惩罚，而不是单独进行。如果组惩罚与组参数的欧几里德范数成比例，则可以优化范数并将参数估计减少到具有套索惩罚的$\ell_2$回归。因此，现有的算法可以扩展到新的设置。每一个讨论的算法是通过模拟或真实数据或两者兼而有之。附录证明了贪婪形式的$\ell_2$算法收敛于目标函数的最小值。
2008-03-27 stat.AP
Support union recovery in high-dimensional multivariate regression
在多元回归中，$K$维响应向量根据一组常见的$p$协变量进行回归，回归系数矩阵为$B^*\in\mathbb{R}^{p\times K}$。我们研究的多元组拉索，其中块正则化的基础上的$\ell_1/\ell_2$规范用于支持工会恢复，或恢复的一组$s$行的$B^*$是非零的行为。在高维尺度下，我们表明，多变量组Lasso表现出一个阈值的恢复的确切的行模式与高概率的随机设计和噪声，指定的样本复杂性参数$θ(n,p,s):=n/[2ψ(B^*)\log(p-s)]$。这里，$n$是样本量，而$ψ(B^*)$是稀疏重叠函数，测量构成模型的$K$ -回归系数向量的稀疏和重叠的组合。我们证明了多变量组拉索成功的问题序列$(n,p,s)$，使$θ(n,p,s)$超过一个临界水平$θ_u$，并失败的序列，使$θ(n,p,s)$低于一个临界水平$θ_{\ell}$。对于标准高斯系综的特殊情况，我们表明，$θ_{\ell}=θ_u$，使表征是尖锐的。稀疏重叠函数$ψ(B^*)$表明，如果设计在活动行上不相关，则多元回归的$\ell_1/\ell_2$正则化相对于普通Lasso方法永远不会损害性能，并且当系数向量适当正交时，可以在样本复杂性方面产生实质性改进（高达$K$的因子）。对于更一般的设计，普通Lasso有可能优于多变量组Lasso。我们补充我们的分析与模拟，证明我们的理论结果的尖锐性，即使…
2011-03-07 math.ST stat.ML stat.TH
The Generalized Lasso Problem and Uniqueness
我们研究了广义套索问题的唯一性，其中罚函数是矩阵$D$乘以系数向量的$\ell_1$范数。我们得到了一个广泛的结果的唯一性，把弱假设的预测矩阵$X$和惩罚矩阵$D$ ;这意味着，如果$D$是固定的并且它的零空间不是太大（其零空间的维数至多为样本个数），并且$X$和响应向量$y$共同遵循绝对连续分布，则无论预测器的数目相对于样本的样本个数如何，广义套索问题几乎肯定具有唯一解。这有效地推广了以前的唯一性结果的套索问题（对应于特殊情况$D=I$）。进一步，我们将我们的研究扩展到损失由广义线性模型的负对数似然给出的情况。除了唯一性的结果，我们得出的结果，局部稳定性的广义拉索解决方案，可能会感兴趣的自己的权利。
2019-05-11 math.ST stat.TH
Transductive versions of the LASSO and the Dantzig Selector
当训练数据集由大量未标记观测和少量标记观测组成时，直推方法在预测问题中很有用。在本文中，我们提出了一种方法，用于开发能够利用高维线性回归的稀疏性的转导预测程序。更确切地说，我们定义了LASSO和Dantzig的转换版本。这些过程将训练数据集的标记和未标记的观测值组合起来，以产生对未标记观测值的预测。我们提出了一个实验研究的转导估计，这表明，他们提高了LASSO和Dantzig的在许多情况下，特别是在高维问题时，预测相关。然后，我们为这些估计方法提供了非渐近的理论保证。有趣的是，我们的理论结果表明，Transductive LASSO和Dantzig的满足稀疏性不等式的假设下，比“原始”LASSO所需的。
2010-05-05 math.ST stat.TH
On Model Selection Consistency of Lasso for High-Dimensional Ising Models
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文从理论上分析了高维Ising模型中最小绝对收缩选择算子（Lasso）的模型选择一致性，包括有无后阈值处理。对于大小为$p$、节点度为$d$、耦合度为$θ_0$的随机正则（RR）图，严格证明了Lasso \textit{without post-thresholding}在整个顺磁相是模型选择一致的，且样本复杂性阶数$n=Ω{(d^3\log{p})}$与$\ell_1$ -正则化逻辑斯谛回归（$\ell_1$ -LogR）相同.这一结果与Meng、Obuchi和Kabashima 2021中使用统计物理学的非严格复制方法的猜想一致，从而用严格的证明对其进行了补充。对于一般的树型图，证明了在依赖条件和不相干条件的适当假设下，可以得到与RR图相同的结果。此外，我们提供了一个严格的证明模型选择一致性的Lasso后阈值一般树状图在顺磁阶段的依赖性和不相干条件没有进一步的假设。实验结果与理论分析相吻合。
2023-02-17 cs.LG math.ST stat.ML
On prediction with the LASSO when the design is not incoherent
LASSO估计量是一种$\ell_1$ -范数惩罚最小二乘估计量，用于线性模型中的变量选择。当设计矩阵满足例如受限等距性质或具有小的相干指数时，已经证明LASSO估计器以高概率恢复足够稀疏的回归向量的支持和符号模式。在类似的假设下，LASSO满足各种范数的自适应预测界。本说明提供了一个预测界的基础上，一个新的指标，用于衡量如何有利的是一个设计矩阵的LASSO估计。我们研究了单位球面上具有独立随机列的矩阵的新指标的行为。使用这样一个随机矩阵（具有正确的列数）附加到一个给定的设计矩阵的简单技巧，我们表明，预测界类似于\cite [定理2.1]{CandesPlan：AnnStat 09}持有没有任何约束的设计矩阵，除了限制非奇异性。
2014-06-23 math.ST stat.TH
The solution path of the generalized lasso
给出了广义套索问题的一个路径算法。这个问题惩罚矩阵D乘以系数向量的$\ell_1$范数，并且具有广泛的应用范围，这取决于D的选择。我们的算法是基于求解广义lasso的对偶，这大大简化了路径的计算，对于$D=I$（通常的lasso），我们将我们的方法与著名的LARS算法联系起来。对于任意的D，我们推导出广义套索拟合的自由度的无偏估计。这个估计在许多应用中是非常直观的。
2012-11-20 math.ST stat.CO stat.TH
Generalization of l1 constraints for high dimensional regression problems
我们专注于高维线性回归$Y\sim\mathcal{N}(Xβ^{*},σ^{2}I_{n})$，其中$β^{*}\in\mathds{R}^{p}$是感兴趣的参数。在这种情况下，几个估计，如LASSO和Dantzig的，是已知的，以满足有趣的性质时，向量$β^{*}$是稀疏的。有趣的是，LASSO和Dantzig两个点都可以看作是0到$\mathcal{DC}(s)=\{β\in\mathds{R}^{p},\|X'(Y-Xβ)\|_{\infty}\leq s\}$的正交投影-对Dantzig点使用$\ell_{1}$距离，对LASSO使用$\ell_{2}$距离。对于精心选择的$s>0$，该集合实际上是$β^{*}$的置信区域。在本文中，我们研究的性质，估计定义为$\mathcal{DC}(s)$上的投影使用一般的距离。我们证明了所得到的估计满足接近于LASSO和Dantzig的预言性质。最重要的是，事实证明，这些估计器可以调整为利用不同的稀疏性或/和略有不同的估计目标。
2011-07-04 math.ST stat.TH
Optimal designs for Lasso and Dantzig selector using Expander Codes
研究了利用非平衡膨胀图的邻接矩阵的高维回归问题。在这个框架中，我们证明了$\ell_{2}$ -预测误差和$\ell_{1}$ -风险的套索和Dantzig选择器是最佳的显式乘法常数。因此，我们可以估计一个高维目标向量的误差项类似于在一个已知的情况下，其中一个最大的坐标的支持提前获得。此外，我们证明了这些设计矩阵有一个明确的限制特征值。精确地说，它们满足约束特征值假设和具有显式常数的相容条件。最后，我们利用最近的建设不平衡的扩展图由于Guruswami，乌曼斯，和Vadhan，提供一个确定性的多项式时间这些设计矩阵的建设。
2014-07-22 cs.IT math.IT math.PR
Properties and refinements of the fused lasso
我们考虑估计一个未知的信号，块状和稀疏，这是由加性噪声损坏。我们研究了三个相互关联的最小二乘程序及其渐近性质。第一个程序是弗里德曼等人提出的融合套索。1（2007）302- 332]，我们将其修改为具有更好特性的不同估计器，称为融合自适应套索。另外两个估计，我们讨论解决最小二乘问题的筛;一个约束的最大$\ell_1$范数和最大全变差方差，和其他限制的块的数量和非零坐标的信号。我们得到的条件，真正的块分区和真正的稀疏模式的融合套索和融合自适应套索的恢复，我们得到收敛速度的筛选估计，明确的约束参数。
2009-08-31 math.ST stat.TH
The Lasso for High-Dimensional Regression with a Possible Change-Point
本文考虑了一个高维回归模型，由于协变量阈值的存在，可能存在一个变点，并给出了回归系数和门限参数的Lasso估计。我们的Lasso估计不仅选择协变量，而且还选择线性和阈值回归模型之间的模型。在稀疏性假设下，我们得到了预测风险和回归系数的$\ell_1$估计损失的非渐近预言不等式。由于Lasso估计同时选择变量，我们证明了Oracle不等式可以在不预先检验阈值效应存在的情况下建立。此外，我们建立的条件下，未知的门限参数的估计误差可以由一个接近$n^{-1}$的因素，即使当回归的数量可以远远大于样本量（$n$）。我们说明了我们提出的估计方法的实用性，通过蒙特卡罗模拟和实际数据的应用。
2014-04-19 math.ST stat.TH
New Error Analysis for Lasso
Lasso是高维线性回归中参数估计和变量选择的重要方法之一。其成功的核心是有吸引力的收敛速度的结果，即使当$p$，问题的维度，是远远大于样本大小$n$。特别是，Bickel等人（2009）表明，根据$\ell_1$范数，对于稀疏指数$s$，该比率为$s\sqrt{(\log p)/n}$。本文利用模型的分布信息，得到了一个新的收敛速度界。在正态或亚高斯假设下，对于某些设计矩阵，速率可以提高到接近$s/\sqrt{n}$。我们进一步概述了一个一般的分区技术，有助于获得更清晰的收敛速度的套索。该结果适用于许多适合于高维数据分析的协方差阵。
2019-08-08 math.ST stat.TH
The Lasso, correlated design, and improved oracle inequalities
我们研究高维线性模型和$\ell_1$ -惩罚最小二乘估计，也称为Lasso估计。在文献中，预言不等式已经在限制特征值或相容性条件下得到。在本文中，我们补充说，熵条件，允许一个改进的对偶范数界，并演示了如何导致新的预言不等式。新的预言不等式表明，一个较小的选择的调整参数和$\ell_1$ -范数和小的兼容常数之间的权衡是可能的。这意味着，特别是相关的设计，改进的界限的Lasso估计的预测误差相比，基于限制的特征值或兼容性条件的方法。
2011-07-01 stat.ME
Multi-Environment GLAMP: Approximate Message Passing for Transfer Learning with Applications to Lasso-based Estimators
本文提出多环境广义长 AMP 框架以解决多数据源和分布偏移下的迁移学习问题，严格建立其状态演化，并首次精确刻画三种基于 Lasso 的估计器风险，仿真验证了显著的有限样本精度。
2025-06-29 math.ST stat.ML stat.TH
Lasso-type recovery of sparse representations for high-dimensional data
Lasso是一种用于高维数据的正则化和变量选择的有吸引力的技术，其中预测变量$p_n$的数量可能远大于样本$n$的数量。然而，最近发现，稀疏模式的Lasso估计只能渐近相同的真实稀疏模式，如果设计矩阵满足所谓的不可表示的条件。在存在高度相关的变量时，后一个条件很容易被违反。在这里，我们检查的行为的拉索估计，如果放松的不可表示的条件。即使Lasso不能恢复正确的稀疏模式，我们表明，估计仍然是一致的，在固定的设计条件下的$\ell_2$ -范数意义上（a）的数量$s_n$的非零组件的矢量$β_n$和（b）的最小奇异值的设计矩阵，通过选择小的变量子集。此外，通过适当选择平滑参数，获得了关于$\ell_2$误差的收敛速率结果。在最大和最小稀疏特征值有界的条件下，该速率是最优的。我们的研究结果意味着，以高概率，所有重要的变量被选中。选定的变量集是对原始变量集的有意义的缩减。最后，我们的结果说明了检测密切相邻的频率，天体物理学中遇到的一个问题。
2009-03-02 math.ST stat.ME stat.TH
The Trimmed Lasso: Sparse Recovery Guarantees and Practical Optimization by the Generalized Soft-Min Penalty
Weizmann Institute of Science（魏茨曼科学研究所）
我们提出了一种新的方法来解决稀疏近似或最佳子集选择问题，即找到一个$k$ -稀疏向量${\bf x}\in\mathbb{R}^d$，最小化$\ell_2$残差$\lVert A{\bf x}-{\bf y} \rVert_2$。我们考虑一种正则化的方法，由此该残差被非凸的$\textit{trimmed lasso}$惩罚，定义为${\bf x}$的$\ell_1$ -范数，不包括其$k$最大幅度的条目。我们证明了修剪套索有几个有吸引力的理论性质，特别是稀疏恢复保证假设成功优化的惩罚目标。接下来，我们根据经验表明，直接优化这一目标可能非常具有挑战性。相反，我们提出了一种替代修剪套索，称为$\textit{generalized soft-min}$。该惩罚在经典套索和修剪套索之间平滑地插值，同时考虑所有可能的$k$稀疏模式。广义软最小罚函数涉及到$\binom{d}{k}$项的求和，但我们推导了一个多项式时间算法来计算它，这反过来又为原始稀疏近似问题提供了一个实用的方法。通过模拟，我们证明了其竞争力的表现相比，目前的最先进的。
2021-06-17 cs.LG math.OC stat.ML
Oracle Inequalities and Optimal Inference under Group Sparsity
我们考虑在高斯噪声模型下估计稀疏线性回归向量$β^*$的问题，用于预测和模型选择。我们假设先验知识是可用的稀疏模式，即一组变量被划分成规定的组，其中只有少数是相关的估计过程中。这个组稀疏性假设建议我们考虑将组Lasso方法作为估计$β^*$的方法。我们建立预言不等式和$\ell_2$估计误差的估计。在设计矩阵上的限制特征值条件下，这些界限成立。在更强的相干条件下，我们得到了混合$(2,p)$ -范数与$1\le p\leq \infty$的估计误差的界.当$p=\infty$时，该结果意味着Group Lasso估计器的阈值版本以高概率选择$β^*$的稀疏模式。接下来，我们证明了我们的上界的收敛速率是最优的，在极大极小意义下，对数因子，对一类组稀疏向量的所有估计。此外，我们建立下界的预测和$\ell_2$估计误差的通常Lasso估计。使用这个结果，我们证明了组Lasso可以实现的预测和估计性能的改进相比，Lasso。
2010-07-22 math.ST stat.TH
Some Two-Step Procedures for Variable Selection in High-Dimensional Linear Regression
我们研究了高维变量选择问题，通过一些两个步骤的程序。首先，我们表明，给定一些好的初始估计，这是$\ell_{\infty}$ -一致的，但不一定变量选择一致的，我们可以应用非负Garrote，自适应Lasso或硬阈值的过程，以获得一个最终的估计，估计和变量选择一致。与Lasso不同，我们的结果不需要不可表示的条件，即使对于中度$p_n$也可能容易失败（Zhao和Yu，2007），并且它还允许$p_n$几乎与$\exp(n)$一样快地生长（对于硬阈值，对$p_n$没有限制）。我们还研究了岭回归可以用作初始估计的条件。我们证明了在放松的可识别条件下，岭估计是$\ell_{\infty}$ -相容的.当使用$p_n\le n$时，通常满足这样的条件，并且不需要相关和不相关协变量之间的部分正交性，而这是单变量回归所需的（Huang et al.，2008年）。我们的数值研究表明，当使用Lasso或Ridge作为初始估计量时，两步程序具有比使用单变量回归的Lasso或自适应Lasso更高的稀疏恢复率（Huang et al.，2008年）。
2008-10-09 math.ST stat.TH
Within Group Variable Selection through the Exclusive Lasso
许多数据集由具有固有组结构的变量组成。组选择问题已经得到了很好的研究，但在本文中，我们试图做相反的事情：我们的目标是在预测回归建模的背景下从每组中选择至少一个变量。这个问题是NP-困难的，但我们研究最严格的凸松弛：一个复合惩罚，是一个组合的$\ell_1$和$\ell_2$规范。我们所谓的Exclusive Lasso方法通过确保从每个组中选择至少一个变量来执行结构化变量选择。我们研究了我们的方法的统计特性，并开发了计算可扩展的算法，以适应独家套索。我们研究了我们的方法的有效性，通过模拟以及使用NMR光谱数据。在这里，我们使用Exclusive Lasso从生物样品中每个分子的可能化学位移字典中选择适当的化学位移。
2015-05-28 stat.ME
The Lasso Problem and Uniqueness
套索是稀疏线性回归的流行工具，特别是对于变量数量p超过观测数量n的问题。但是当p>n时，Lasso准则不是严格凸的，因此它可能没有唯一的最小值。一个重要的问题是：什么时候套索解是明确的（唯一的）？我们回顾了文献中的结果，这表明，如果预测变量是从一个连续的概率分布，那么有一个独特的套索解决方案的概率为1，无论大小的n和p。我们还表明，这一结果很容易扩展到$\ell_1$惩罚最小化问题在广泛的损失函数。第二个重要的问题是：我们如何处理套索解的非唯一性？根据上述结果，这种情况实际上仅在一些预测变量是离散的时，或者在对连续预测变量测量执行了一些后处理时出现。虽然我们当然不能声称对这样一个广泛的问题提供了一个完整的答案，但我们确实在理解非独特性的某些方面取得了进展。首先，我们扩展了LARS算法计算套索解决方案的路径，以涵盖非唯一的情况下，使此路径算法适用于任何预测矩阵。接下来，我们推导出一个简单的方法来计算组件明智的不确定性在套索解决方案的任何给定的问题的情况下，基于线性规划。最后，我们回顾了一些统一的性质的套索解决方案的文献中的结果，也指出了特殊形式的解决方案，具有独特的属性。
2012-11-04 math.ST stat.TH
Sparsity oracle inequalities for the Lasso
本文研究了随机设计下非参数回归中$\ell_1$ -惩罚最小二乘的预言性质。我们证明了惩罚最小二乘估计满足稀疏预言不等式，即，根据oracle vector的非零分量的数量来确定边界。即使当模型的维数（远）大于样本量且回归矩阵不正定时，结果也是有效的。它们可用于高维线性回归、非参数自适应回归估计和任意估计量的集结问题。
2007-05-23 math.ST stat.TH
MAGIC: a general, powerful and tractable method for selective inference
选择性推理是近年来的一个研究课题，它试图在利用数据选择合理的统计模型后进行有效的推理。我们提出了MAGIC，一种新的选择性推理方法，它是通用的，强大的和易处理的。MAGIC是一种在解决具有光滑损失和$\ell_1$惩罚的凸最优化问题后进行选择性推理的方法。随机化被并入到最优化问题中以提高统计功效。通过重新参数化，MAGIC将问题简化为一个具有简单约束的采样问题。MAGIC适用于许多$\ell_1$惩罚最优化问题，包括图模型中的Lasso，Logistic Lasso和邻域选择，所有这些我们都在本文中考虑。
2016-07-09 math.ST stat.TH
Structured Lasso for convex nonparametric least squares: An application to Swedish electricity distribution networks
Faculty of Business and Management, Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院商业管理学院）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
针对凸非参数最小二乘中传统Lasso变量选择效率低的问题，结合次梯度结构提出融合ℓ₁与ℓ∞范数的结构化Lasso及其松弛版本，经仿真和瑞典配电网数据验证，性能更优。
2025-10-30 econ.EM stat.ME
Weighted Lasso Estimates for Sparse Logistic Regression: Non-asymptotic Properties with Measurement Error
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Central China Normal University（华中师范大学）
当我们对高维系统感兴趣并关注分类性能时，$\ell_{1}$惩罚的逻辑斯谛回归变得越来越重要和流行。然而，当不同系数的惩罚都相同并且与数据无关时，Lasso估计可能会有问题。利用McDiarmid不等式给出了两类依赖于协变量的加权Lasso估计。在给定样本量$n$和协变量维数$p$的情况下，我们所提出的方法的有限样本行为由非渐近预言不等式（如$\ell_{1}$ -未知参数的估计误差和平方预测误差）来说明.我们在模拟数据上比较了我们的方法和以前的加权估计的性能，然后将这些方法应用于实际数据的分析。
2020-06-11 cs.LG stat.ML
Uniformly Valid Confidence Sets Based on the Lasso
在固定维线性回归模型$p \leq n$中，基于Lasso估计，构造了未知参数向量的置信区域，该估计在有限样本下以及在渐近条件下，一致且精确地保持给定的置信区域.因此，我们量化估计的不确定性以及“后模型选择误差”的估计。更具体地说，在有限样本高斯误差和渐近的情况下，拉索估计被调整到执行保守的模型选择，我们推导出精确的公式，用于计算最小覆盖概率在整个参数空间的一大类形状的置信集，从而使有效的置信区域的建设在这些设置的基础上的拉索估计。文中还讨论了置信集形状的选择以及与基于最小二乘估计的置信椭圆的比较。此外，在调整Lasso估计器以实现一致的模型选择的情况下，我们给出了一个简单的置信区域，其最小覆盖概率收敛到1。最后，我们还处理未知误差方差的情况下，并提出了一些想法的扩展。
2018-05-14 math.ST stat.ME stat.TH
Performance of $\ell_1$ Regularization for Sparse Convex Optimization
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文证明 Group LASSO 在向量值特征的稀疏凸优化中可获得恢复保证，并将其与 OMP、弱子模性及 Sequential Attention 联系起来，还推广到一般损失下的列子集选择。
2023-07-14 cs.DS cs.LG math.ST
Worst possible sub-directions in high-dimensional models
我们研究的收敛速率的Lasso估计的高维参数的低维组件。在最坏可能子方向上的$\ell_1$ -范数的界限下，这些速率具有$\sqrt {|J| \log p / n }$阶，其中$p$是参数的总数，$J \subset \{ 1, \ldots, p \}$表示参数的子集，$n$是观测的数量。我们还得到率在超规范的收敛速率在$\ell_1$ -范数。集合$J$上的不可表示条件要求最坏可能子方向的$\ell_1$ -范数充分小于1。在这种情况下，可以得到清晰的预言结果。此外，如果$J$中的系数足够小，Lasso将使这些系数为零。这扩展了已知的结果，即非活动集（系数恰好为零的集合）上的不可表示条件意味着没有误报。我们进一步表明，通过去稀疏化，在最坏可能的子方向上没有条件的情况下，在上确界范数中获得快速速率。这里的主要假设是近似稀疏性是$o (\sqrt n / \log p )$阶的。以广义线性模型和指数族为例，将所得结果推广到带$\ell_1$ -罚的M-估计.对于图形套索，这导致已知结果的扩展到精度矩阵仅近似稀疏的情况。我们提供的界限是非渐近的，但我们也提出了渐近公式，便于解释。
2014-03-27 math.ST stat.TH
The $\infty$-S test via regression quantile affine LASSO
University of Geneva（日内瓦大学）；Charles University Prague（布拉格查理大学）；National University of Defense and Technology（国防科技大学）；École Normale Supérieure Paris-Saclay（巴黎萨克雷高等师范学院）
本文提出基于仿射LASSO估计的新型检验方法，利用双变量符号进行评分，用于检验原假设。
2025-12-21 stat.ME
Thresholded Lasso for high dimensional variable selection
University of California, Riverside（加州大学河滨分校）
针对高维线性回归中的变量选择，提出阈值化Lasso方法，在受限特征值条件下达到稀疏预言不等式，且模拟验证了理论结果。
2025-10-27 math.ST stat.TH
The distribution of the Lasso: Uniform control over sparse balls and adaptive parameter tuning
Lasso是一种用于高维问题的流行回归方法，其中参数的数量$θ_1,\dots,θ_N$大于样本的数量$n$：$N>n$。一个有用的解析法将Lasso估计器的统计特性与简单的软阈值去噪器的统计特性相关联，在去噪问题中，在高斯噪声中观察到参数$(θ_i)_{i\le N}$，具有仔细调整的方差。早期的工作在极限$n,N\to\infty$、参数$θ$和正则化参数的值中逐点证实了这一点。在这里，我们考虑一个标准的随机设计模型，并证明其经验分布在高斯去噪模型提供的预测周围的指数集中。最重要的是，我们的结果是统一的$θ$属于$\ell_q$球，$q\in [0,1]$，并相对于正则化参数。这允许导出各种数据驱动程序的性能的尖锐结果，以调整正则化。我们的证明利用高斯比较不等式，特别是一个版本的戈登极小极大定理开发的Thrampoulidis，Oymak，和Hassibi，它控制的最佳值的拉索最优化问题。最重要的是，我们证明了Wasserstein距离的极小值的稳定性，这使得它可以表征极小值本身的性质。
2018-11-03 math.ST stat.TH
The Lasso error is bounded iff its active set size is bounded away from n in the proportional regime
本文在比例机制下证明 Lasso 的 L2 风险有界当且仅当其活跃变量数远离样本量 n，并利用该等价关系给出相变的简化证明，同时将分析扩展到常数阶小调节参数。
2025-01-05 math.ST stat.TH
Accelerate the Warm-up Stage in the Lasso Computation via a Homotopic Approach
Merck & Co., Inc（默沙东公司）；Georgia Institute of Technology（佐治亚理工学院）
在优化中，众所周知，当目标函数是严格凸的且条件良好时，基于梯度的方法可能非常有效，例如，实现指数收敛率。另一方面，由于绝对函数在原点处的不期望行为，现有的Lasso型估计一般不能达到最优速率。同伦方法是使用一系列替代函数来近似用于Lasso型估计量的$\ell_1$惩罚。代理函数将收敛到Lasso估计量中的$\ell_1$惩罚。同时，每个代理函数都是严格凸的，这使得可以证明更快的数值收敛速度。在本文中，我们证明，通过精心定义的代理函数，可以证明一个更快的数值收敛速度比任何现有的方法在计算的拉索型估计。也就是说，国家的最先进的算法只能保证$O(1/ε)$或$O(1/\sqrtε)$收敛速度，而我们可以证明一个$O([\log(1/ε)]^2)$的新提出的算法。我们的数值模拟表明，新算法也表现得更好的经验。
2023-03-07 cs.LG stat.CO stat.ML
