Group Lasso for generalized linear models in high dimension
如今，越来越多的数据是可用的，我们必须处理的模型在高维（协变量的数量远远大于样本量）。在稀疏性假设下，我们有理由希望能够对回归参数做出很好的估计。这种稀疏性假设以及将协变量块结构化为具有相似行为模式的组例如在基因组学中是非常自然的。大量的科学文献存在的高斯线性模型，包括Lasso估计，也组Lasso估计，促进组稀疏下的组的先验知识。我们将此群Lasso方法推广到广义线性模型，并研究了此估计对于稀疏高维广义线性模型的收敛速度.在对协变量的假设和对设计矩阵的条件下，给出了预测误差和估计误差的预言不等式。我们证明了这种估计的能力，恢复良好的稀疏近似的真实模型。最后，我们将这些结果扩展到弹性网惩罚的情况，并将其应用于所谓的泊松回归情况，该情况与逻辑斯谛回归相反，在本文中尚未研究。
2014-01-22 math.ST stat.TH
The Mismatch Principle: The Generalized Lasso Under Large Model Uncertainties
我们研究了广义Lasso的估计能力，即，最小二乘最小化与（凸）结构约束相结合。虽然Lasso型估计量最初是为噪声线性回归问题设计的，但最近发现，它们实际上对各种类型的模型不确定性和误设定具有鲁棒性，最值得注意的是，非线性失真的观测模型。这项工作为这个有些惊人的现象提供了更多的理论证据。我们分析的核心是失配原理，这是建立广义Lasso理论误差界的一个简单方法。相关的估计保证是独立的利益，并制定在一个相当一般的设置，允许任意的亚高斯数据，可能与强相关的功能设计，特别是，我们不假设一个特定的观察模型连接的输入和输出变量。虽然失配原理是基于统计学习理论的思想构思的，但其实际应用领域是半参数模型的（高维）估计任务。在这种情况下，不匹配原则的好处证明了各种流行的问题类，如单指标模型，广义线性模型，变量选择。除此之外，我们的研究结果也与量化和分布式压缩感知的最新进展有关。
2019-09-11 math.ST stat.ML stat.TH
Model Selection for High-Dimensional Regression under the Generalized Irrepresentability Condition
Stanford University（斯坦福大学）
在高维回归模型中，响应变量与$p$协变量线性相关，但样本量$n$小于$p$。我们假设只有一小部分协变量是“活跃的”（即，相应的系数是非零的），并考虑识别有效协变量的模型选择问题。一种流行的方法是通过Lasso（$\ell_1$ -正则化最小二乘）估计回归系数。这是已知的正确识别活动集，只有当不相关的协变量大致正交的相关，通过所谓的“不可代表性”条件量化。在本文中，我们研究的'高斯-套索'选择器，一个简单的两阶段的方法，首先解决了套索，然后进行普通的最小二乘法限制到套索活动集。我们制定“广义不可表示性条件”（GIC），一个假设，是大大弱于不可表示性。我们证明，在GIC下，高斯-套索正确地恢复活动集。
2013-05-02 cs.IT cs.LG math.IT
Stability of a Generalized Debiased Lasso with Applications to Resampling-Based Variable Selection
Department of Statistics, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计系）；Department of Electrical and Computer Engineering, the Grainger College of Engineering（格拉inger工程学院电子与计算机工程系）
提出基于稳定性原理的广义去偏Lasso估计量，通过设计矩阵单列扰动下的简单更新公式，在比例增长机制下实现渐近精确近似，显著降低重抽样变量选择的计算成本。
2026-06-15 cs.IT cs.LG math.IT
Isotropically Random Orthogonal Matrices: Performance of LASSO and Minimum Conic Singular Values
最近，广义LASSO算法从压缩噪声测量中恢复结构化信号的精确性能，通过i.i.d.高斯矩阵，已被特征化。该分析是基于一个框架引入Stojnic和严重依赖于使用戈登的高斯最小-最大定理（GMT），高斯过程的比较原则。其结果是，相应的表征测量矩阵的其他合奏尚未开发。在这项工作中，我们分析了各向同性随机正交（i.r.o.）测量.我们考虑广义LASSO的约束版本，并推导出其归一化平方误差在大系统极限的尖锐表征。当它的高斯对应相比，我们的结果分析证实了在性能的i.r.o.合奏。我们的第二个结果，得出了一个渐近下界的最小锥奇异值的i.r.o.矩阵这个界大于高斯矩阵的相应界。为了证明我们的结果，我们表示i.r.o.矩阵的高斯和显示，经过一些修改，GMT框架仍然适用。
2015-03-24 cs.IT math.IT math.ST
Robust Lasso with missing and grossly corrupted observations
本文研究了从严重损坏的线性测量值$y = X β^{\star} + e^{\star} + w$中精确恢复稀疏向量$β^{\star}$的问题，其中$e^{\star}$是一个稀疏差错向量，其非零项可能是无界的，而$w$是一个有界噪声。我们提出了一个所谓的扩展Lasso优化，它考虑到稀疏先验信息的$β^{\star}$和$e^{\star}$。我们的第一个结果表明，扩展的Lasso可以忠实地恢复回归以及腐败向量。我们的分析依赖于设计矩阵$X$的扩展限制特征值的概念。我们的第二组结果适用于一般类的高斯设计矩阵$X$与i.i.d行$\oper N(0, Σ)$，我们可以建立一个令人惊讶的结果：扩展的Lasso可以恢复确切的有符号支持$β^{\star}$和$e^{\star}$仅从$Ω(k \log p \log n)$的意见，即使腐败的分数是任意接近一。我们的分析还表明，实现精确符号支持所需的观测量确实是最优的。
2011-12-06 cs.IT math.IT math.ST
Generic Error Bounds for the Generalized Lasso with Sub-Exponential Data
本文在次指数数据的假设下对广义Lasso模型进行了非渐近分析。我们的主要结果继续最近的研究（子）高斯样本分布的基准情况下，从而探索什么结论仍然有效时，超越。虽然许多统计特征保持不受影响（例如，一致性和错误衰减率），关键的区别表现在如何测量假设集的复杂性。事实证明，估计误差可以通过两个复杂性参数来控制，这两个复杂性参数是从基于泛型链的证明策略中自然产生的。输出模型可以是不可实现的，而对输入向量的唯一要求是Bernstein型的一般浓度不等式，其可以针对各种子指数分布实现。这种抽象的方法使我们能够再现，统一和扩展以前已知的广义拉索的保证。特别是，我们目前的应用程序，半参数输出模型和相位恢复通过解除套索。此外，我们的研究结果进行了讨论的背景下，稀疏恢复和高维估计问题。
2023-01-15 math.ST stat.ML stat.TH
Degrees of freedom in lasso problems
我们推导出套索拟合的自由度，对预测矩阵$X$不做任何假设。如邹，Hastie和Tibshirani [Ann. Statistist. 35（2007）2173-2192]给出了当$X$具有满列秩时套索拟合的自由度，我们用套索解的有效集来表达我们的结果。我们将这一结果扩展到覆盖任意预测矩阵$X$（和任意惩罚矩阵$D$）的广义套索拟合的自由度。虽然我们的重点是自由度，我们建立一些中间结果的套索和广义套索，可能是有趣的。
2012-07-24 math.ST stat.TH
Using the LASSO's Dual for Regularization in Sparse Signal Reconstruction from Array Data
来自隐藏在加性噪声中的稀疏源集合的波由传感器阵列观测。我们把稀疏源集的估计作为一个广义复值LASSO问题。给出了相应的对偶问题，并证明了当源数目给定时，该对偶解对于选择LASSO的正则化参数是有用的。分析了复值LASSO的求解路径。对于给定数目的源，相应的正则化参数确定的顺序递归算法和两个迭代算法的基础上进一步的近似。利用这个正则化参数，可以估计所有源的到达角。
2015-09-02 cs.IT math.IT math.ST
Element-wise Estimation Error of Generalized Fused Lasso
本文的主要结果是，我们得到了一般凸损失函数$ρ$的融合Lasso估计的元素级误差界。然后，我们专注于特殊情况下，当$ρ$是平方损失函数（平均回归）或分位数损失函数（分位数回归），我们得到新的逐点误差界。尽管通常的融合Lasso估计及其分位数版本的误差界已经研究过了，我们的界似乎是新的。这是因为之前的所有工作都绑定了全局损失函数，如平方误差和，或者Padilla和Chatterjee（2021）中分位数回归情况下的Huber损失之和。显然，元素明智的界限比全局损失误差界更强，因为它揭示了损失在每个点的局部行为。我们的元素明智的误差界也有一个干净的和明确的依赖于调整参数$λ$，它通知用户的一个很好的选择$λ$。此外，我们的界限是非渐近的显式常数，并能够恢复几乎所有已知的结果融合套索（均值和分位数回归），在某些情况下，额外的改进。
2022-03-18 math.ST stat.TH
Computational Sufficiency, Reflection Groups, and Generalized Lasso Penalties
我们在Vu（2018，arXiv：1807.05985）引入的计算充分性框架内研究了具有广义套索惩罚的估计量。通过表示这些处罚的支撑函数zonotopes和更一般的Minkowski总和的线段和射线，我们表明，有一个自然的反射组相关的基本最优化问题。这种观点的一个结果是，对于共享相同惩罚的大类估计量，惩罚最小二乘估计量在计算上是最小的。这意味着所有这样的估计量都可以通过优化最小二乘情况下任何算法的输出来计算。一个有趣的技术组件是我们对对偶问题的坐标下降的分析。一个关键的见解是，迭代是通过反射和平均获得的，因此它们收敛到对偶可行集的一个元素，该元素相对于与惩罚相关联的组引起的排序是最小的。我们的主要应用是融合套索/全变差去噪和保序回归任意图。在那些情况下，相关联的群是置换群。
2018-09-08 math.ST stat.CO stat.TH
Generalized Linear Models via the Lasso: To Scale or Not to Scale?
本文针对广义线性模型提出一种新型特征迭代重新缩放方法，在Lasso计算过程中持续迭代缩放直至收敛，数值实验表明该方法能显著提升Lasso估计量的统计性能且无显著额外计算成本。
2023-11-19 stat.CO stat.ME
Efficient Implementations of the Generalized Lasso Dual Path Algorithm
AT&T Labs Research（AT&T实验室研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们考虑Tibshirani和Taylor（2011）的广义lasso双路径算法的有效实现。我们首先描述一个通用的方法，涵盖任何惩罚矩阵D和任何（全列秩）矩阵X的预测变量。然后，我们描述了快速实现的特殊情况下的趋势过滤问题，融合套索问题，稀疏融合套索问题，与X=I和一般矩阵X。这些专门的实现提供了一个相当大的改进，无论是在数值稳定性和效率的解决方案路径计算的通用实现。这些算法都可以在genlasso R包中使用，可以在CRAN存储库中找到。
2014-11-03 cs.LG stat.CO stat.ML
Generalized Ridge Refitting for the Lasso and Prediction Improvement Bounds
Department of Pure and Applied Mathematics, Waseda University（早稻田大学纯应用数学系）
本文提出一类基于Lasso的二次校正估计器，通过闭式分解和随机项控制，给出有限样本期望界，统一解释预测改进条件。
2026-09-11 stat.ME
The generalized hyperbolic family and automatic model selection through the multiple-choice LASSO
本文重新研究广义双曲分布族及其嵌套模型，提出多重选择LASSO惩罚方法，通过分层惩罚似然在GH族内同时实现模型选择与推断，并用模拟研究验证，提供R实现。
2023-07-11 stat.AP stat.CO stat.ME
Fused Lasso Nearly Isotonic Signal Approximation in General Dimensions
本文介绍并研究融合套索近等渗信号逼近，它是融合套索和广义近等渗回归的结合。我们展示了这三个估计是如何相互关联的，得到解决的一般问题，表明它是计算上可行的，并提供了分段单调性，稀疏性和拟合优度之间的权衡。此外，我们推导出一个无偏估计的自由度的近似。
2022-11-20 math.ST stat.TH
A data-dependent weighted LASSO under Poisson noise
稀疏线性逆问题出现在各种设置中，但通常不能准确地将噪声污染观测描述为由高斯分布限定或产生。特别是泊松观测是几个现实世界的应用程序的一个功能。以前的工作稀疏泊松逆问题遇到了一些限制性的技术障碍。本文介绍了一种新的替代分析方法，稀疏泊松逆问题，（a）回避了以前的工作中的技术挑战，（b）承认估计，可以很容易地计算使用现成的LASSO算法，（c）暗示在稀疏线性逆问题的广泛类别的噪声的一般框架。这种新方法的核心是一个加权LASSO估计，其数据相关的权重是基于泊松浓度不等式。与以前的加权LASSO分析不同，所提出的分析取决于可以检查或显示在一般设置中具有高概率的条件。
2018-02-13 cs.IT math.IT math.ST
The Trimmed Lasso: Sparse Recovery Guarantees and Practical Optimization by the Generalized Soft-Min Penalty
Weizmann Institute of Science（魏茨曼科学研究所）
我们提出了一种新的方法来解决稀疏近似或最佳子集选择问题，即找到一个$k$ -稀疏向量${\bf x}\in\mathbb{R}^d$，最小化$\ell_2$残差$\lVert A{\bf x}-{\bf y} \rVert_2$。我们考虑一种正则化的方法，由此该残差被非凸的$\textit{trimmed lasso}$惩罚，定义为${\bf x}$的$\ell_1$ -范数，不包括其$k$最大幅度的条目。我们证明了修剪套索有几个有吸引力的理论性质，特别是稀疏恢复保证假设成功优化的惩罚目标。接下来，我们根据经验表明，直接优化这一目标可能非常具有挑战性。相反，我们提出了一种替代修剪套索，称为$\textit{generalized soft-min}$。该惩罚在经典套索和修剪套索之间平滑地插值，同时考虑所有可能的$k$稀疏模式。广义软最小罚函数涉及到$\binom{d}{k}$项的求和，但我们推导了一个多项式时间算法来计算它，这反过来又为原始稀疏近似问题提供了一个实用的方法。通过模拟，我们证明了其竞争力的表现相比，目前的最先进的。
2021-06-17 cs.LG math.OC stat.ML
Majorization-Minimization Dual Stagewise Algorithm for Generalized Lasso
University of Pennsylvania（宾夕法尼亚大学）；University of Connecticut（康涅狄格大学）
针对广义 lasso 在非高斯、非线性模型下完整解路径计算困难的问题，提出 MM-DUST 算法，借助二次优化子与对偶小步长逐坐标更新实现精度和效率权衡，并证明其复杂度与路径一致收敛性。
2025-01-04 cs.LG stat.CO stat.ML
The LASSO with Non-linear Measurements is Equivalent to One With Linear Measurements
考虑从$m$测量值$y_i=g_i(a_i^Tx_0)$估计未知但结构化的信号$x_0\in R^n$，其中$a_i$是已知测量矩阵$A$的行，并且$g$是（潜在未知的）非线性和随机链接函数。这样的测量功能可能出现在测量设备具有非线性和不确定性的应用中。它也可以通过设计产生，例如，$g_i(x)=\text{sign}(x+z_i)$对应于有噪声的1比特量化测量。受Brillinger的经典工作以及Plan和Vershynin最近的工作的启发，我们通过求解某些正则化参数$λ>0$和某些（通常为非光滑）凸结构诱导正则化函数的广义LASSO来估计$x_0$。虽然这种方法似乎天真地忽略了非线性函数$g$，但Brillinger（在非约束情况下）和Plan和Vershynin都表明，当$A$的条目是iid标准正态时，这是$x_0$的良好估计，直到比例常数$μ$，它只取决于$g$。在这项工作中，我们大大加强了这些结果得到明确的表达式的平方误差，为\emph{regularized} LASSO，这是渐进的\emph{precise}当$m$和$n$增长大。主要结果是，非线性观测广义LASSO的估计性能为\emph{asymptotically the same}，其观测值为线性$y_i=μa_i^Tx_0 + σz_i$，具有$μ= Eγg(γ)$和$σ^2 = E(g(γ)-μγ)^2$，…
2015-06-06 cs.IT math.IT math.ST
Tensor decomposition with generalized lasso penalties
我们提出了一种惩罚张量分解（PTD）的方法，估计多路数据中平滑变化的潜在因素。这概括了现有的工作稀疏张量分解和惩罚矩阵分解，在回归和平滑问题的广义套索平行的方式。我们的方法提出了许多不平凡的挑战，在建模和计算的交叉点，这是详细研究。提出了一种求解（PTD）问题的有效坐标优化算法，并给出了其收敛性质。该方法适用于模拟数据和真实数据在得克萨斯州的流感住院治疗。这些结果表明，我们的惩罚张量分解可以提供现有的方法进行分析，表现出平滑的空间或时间特征的多路数据的重大改进。
2016-05-13 stat.CO stat.ME stat.ML
Bayesian Adaptive Lasso with Variational Bayes for Variable Selection in High-dimensional Generalized Linear Mixed Models
本文介绍了一个完整的贝叶斯处理同时固定效应选择和参数估计的高维广义线性混合模型。该方法包括使用贝叶斯自适应Lasso惩罚信号级自适应收缩和快速变分贝叶斯方案估计后验模式的系数。与现有的方法相比，该方法具有自适应收缩参数的自动加入，不需要拉普拉斯近似步骤来积分出随机效应等优点。几个模拟和真实数据的例子说明了我们的方法的性能。该算法在R软件包glmmvb中实现，并可在线使用。
2016-08-30 stat.ME
SIGLE: a valid procedure for Selective Inference with the Generalized Linear Lasso
本文针对广义线性 lasso 变量选择后的统计推断问题，提出 SIGLE 框架，通过基于模拟退火的条件采样方法，在稀疏逻辑回归等场景中实现比现有 PSI 方法更高效且有效的选择性推断。
2023-07-10 math.ST stat.ME stat.TH
Transductive versions of the LASSO and the Dantzig Selector
当训练数据集由大量未标记观测和少量标记观测组成时，直推方法在预测问题中很有用。在本文中，我们提出了一种方法，用于开发能够利用高维线性回归的稀疏性的转导预测程序。更确切地说，我们定义了LASSO和Dantzig的转换版本。这些过程将训练数据集的标记和未标记的观测值组合起来，以产生对未标记观测值的预测。我们提出了一个实验研究的转导估计，这表明，他们提高了LASSO和Dantzig的在许多情况下，特别是在高维问题时，预测相关。然后，我们为这些估计方法提供了非渐近的理论保证。有趣的是，我们的理论结果表明，Transductive LASSO和Dantzig的满足稀疏性不等式的假设下，比“原始”LASSO所需的。
2010-05-05 math.ST stat.TH
The Generalized Lasso with Nonlinear Observations and Generative Priors
National University of Singapore（新加坡国立大学）
在本文中，我们研究的问题，从噪声的非线性测量信号估值估计的未知$n$维信号的范围内的$L$ -Lipschitz连续生成模型与有界$k$维输入。我们假设的亚高斯测量，这是满足广泛的测量模型，如线性，逻辑，1位，和其他量化模型。此外，我们认为对抗腐败对这些测量的影响。我们的分析基于广义Lasso方法（Plan和Vershynin，2016）。我们首先提供了一个非统一的恢复保证，它指出，根据i.i.d.~高斯测量，大致$O\left(\frac{k}{ε^2}\log L\right)$样本足以恢复$ε$的$\ell_2$ -误差，并且该方案对对抗性噪声是鲁棒的。然后，我们将这一结果应用到神经网络生成模型中，并讨论了对其他模型和非独立同分布模型的各种扩展。测量.此外，我们表明，我们的结果可以扩展到均匀恢复保证下的一个所谓的本地嵌入属性的假设，这是由1位和删失Tobit模型所满足的。
2020-10-08 cs.IT cs.LG math.IT
Stochastic Lipschitz continuity for high dimensional Lasso with multiple linear covariate structures or hidden linear covariates
考虑了广义线性模型的两种推广。在第一种情况下，响应变量取决于协变量的多个线性组合。在第二种情况下，仅观察到响应变量，而线性协变量缺失。我们推导出随机Lipschitz连续性结果的损失函数参与回归问题，并应用它们得到界估计误差的拉索。Rademacher复杂性的多变量比较结果作为工具，建立随机Lipschitz连续性结果。
2010-11-05 math.ST stat.TH
Generalized Invariant Matching Property via LASSO
University of Utah（犹他大学）
分布变化下的学习是一项具有挑战性的任务。一种原则性的方法是通过结构因果模型来利用不变性原理。然而，当响应被干预时，不变性原则被违反，使其成为一个困难的设置。在最近的一项工作中，不变匹配属性已经被开发出来，以阐明这种情况下，并显示出有前途的性能。在这项工作中，通过制定一个高维的问题与内在的稀疏性，我们推广了不变的匹配属性的一个重要的设置时，只有目标是干预。我们提出了一个更强大的和计算效率的算法，利用Lasso的变体，改进现有的算法。
2023-03-11 cs.LG stat.ME
The Degrees of Freedom of the Group Lasso
本文研究了超定线性回归模型的块/组Lasso解对观测值的敏感性。这样的正则化被称为促进稀疏模式结构的非重叠组的系数。我们的主要贡献提供了一个局部参数化的解决方案的意见。作为一个副产品，我们给一个无偏估计的自由度的组拉索。在这些结果的其他应用中，可以通过模型选择标准以原则和客观的方式选择Lasso的正则化参数。
2012-05-07 math.ST stat.TH
Generalized Concomitant Multi-Task Lasso for sparse multimodal regression
在高维中，通常考虑Lasso型估计来增强稀疏性。为了使标准Lasso理论成立，正则化参数应该与噪声水平成比例，但后者在实践中通常是未知的。一种可能的补救措施是考虑估计器，例如伴随/缩放Lasso，其联合优化回归系数以及噪声水平，使得正则化的选择与噪声水平无关。然而，当汇集来自不同来源的数据以增加样本量时，或者当处理多模态数据集时，噪声水平通常不同，并且需要新的专用估计器。在这项工作中，我们提供了新的统计和计算解决方案来处理这种异方差回归模型，重点是功能性脑成像结合磁和脑电图（M/EEG）信号。采用伴随Lasso型估计的公式，我们提出了一个联合凸公式来估计回归系数和噪声协方差（平方根）。当我们的框架被实例化为去相关噪声时，它导致了一种高效的算法，其计算成本不高于Lasso和Concurrently Lasso，同时解决了更复杂的噪声结构。数值实验表明，我们的估计产生改进的预测和支持识别，同时正确估计噪声（平方根）的协方差。多模态神经成像问题与M/EEG数据的结果也有报道。
2017-10-18 math.OC stat.AP stat.ML
Algorithms for Fitting the Constrained Lasso
我们比较其他的计算策略解决约束套索问题。顾名思义，约束套索扩展了广泛使用的套索来处理线性约束，这允许用户将先验信息合并到模型中。除了二次规划，我们采用交替方向的乘数法（ADMM），也得到一个有效的解决方案的路径算法。通过模拟和真实数据示例，我们比较了不同的算法，并在各种数据大小的效率和准确性方面提供了实用的建议。我们还表明，对于任意的惩罚矩阵，广义套索可以转化为一个约束套索，而反之则不然。因此，我们的方法也可以用于估计广义套索，这具有广泛的应用。实现算法的代码可以在Matlab工具箱SparseReg中免费获得。
2016-10-28 stat.CO stat.ML
More Powerful Conditional Selective Inference for Generalized Lasso by Parametric Programming
Nagoya Institute of Technology（名古屋工业大学）；RIKEN（理化学研究所）
条件选择性推理作为一种新的数据驱动假设的统计推断框架，已经得到了广泛的研究。条件SI的基本概念是使推理以选择事件为条件，这使得即使在基于数据选择假设时也能够进行准确和有效的统计推断。条件SI主要是在模型选择的背景下研究的，如香草套索或广义套索。现有方法的主要限制是由于过度调节而导致的低统计功效，这是计算易处理性所需的。在这项研究中，我们提出了一个更强大的和一般的条件SI方法的一类问题，可以转化为二次参数规划，其中包括广义套索。该方法的核心思想是计算最优解在所选检验统计量方向上的连续路径，并根据该路径识别出与模型选择事件相对应的数据空间子集，从而避免了上述过度条件化的主要缺点，同时在多个方面提高了SI的性能和实用性.我们进行了几个实验来证明我们所提出的方法的有效性和效率。
2021-05-11 cs.LG stat.ML
The Degrees of Freedom of Partly Smooth Regularizers
本文研究了正则化回归问题，其中先验正则化子是一个真的下连续凸函数，且该函数相对于黎曼子流形也是部分光滑的.这包含了几种已知的惩罚作为特殊情况，例如Lasso（$\ell^1$ -norm）、群Lasso（$\ell^1-\ell^2$ -norm）、$\ell^\infty$ -norm和核norm。这也包括所谓的分析型先验，即，前面提到的惩罚与线性算子的组合，典型的例子是全变差和融合Lasso罚函数.我们研究了任意正则化最小值对观测值扰动的敏感性，并给出了其精确的局部参数化.我们的主要灵敏度分析结果表明，预测子与正则化最小值沿同一个活动子流形局部稳定地运动观测受到小扰动。这种局部稳定性是正则化子的光滑性的结果，当被限制到活动子流形时，这反过来又起到了关键作用，以获得预测器w.r.t.的变化的封闭形式的表达。意见。我们还证明了，对于各种正则化子，包括多面体正则化子或Lasso群及其分析对应物，这个发散公式几乎处处成立（具有适当的连续分布），这使我们能够得到一个无偏估计的自由度和风险的估计量的预测。我们的结果是正确的，而不需要设计矩阵是他们概括了那些在文献中已知的问题，如Lasso问题、一般Lasso问题（分析$\ell^1$ -罚分）或Lasso组，其中后者的现有结果假设设计是满列秩的。
2016-02-10 cs.IT math.IT math.ST
Least Angle Regression in Tangent Space and LASSO for Generalized Linear Models
Hokkaido University（北海道大学）
提出了广义线性模型的稀疏估计方法，在统计模型流形的切空间上运行最小角度回归（LARS）和最小绝对收缩选择算子（LASSO）。本研究近似统计模型，随后使用精确计算。LARS算法是一种有效的正态线性模型参数估计和变量选择算法。LARS算法描述在欧几里德几何的相关性作为度量的参数空间。由于LARS算法只适用于欧氏空间，我们将统计模型的流形变换到原点的切空间。在广义线性回归中，这种转换允许我们对广义线性模型运行原始LARS算法。所提出的方法是有效的，表现良好。实际数据分析表明，所提出的方法输出类似的结果的$l_1$正则化极大似然估计的上述模型。数值实验表明，我们的方法工作得很好，他们可能是优于$l_1$ -正则化的推广，参数估计，模型选择。
2020-07-17 cs.LG stat.ML
Spike-and-Slab Group Lassos for Grouped Regression and Sparse Generalized Additive Models
本文介绍了分组变量线性回归中贝叶斯估计和变量选择的钉板组套索算法。我们进一步将SSGL扩展到稀疏广义可加模型（GAM），从而引入了钉板套索方法的第一个非参数变体。我们的模型同时进行组选择和估计，而我们的混合比例的完全贝叶斯处理允许模型复杂性控制和自动自适应不同水平的稀疏性。我们开发的理论，唯一地描述了全球后验模式下的SSGL，并介绍了一个高效的块坐标上升算法的最大后验概率（MAP）估计。我们进一步采用去偏置方法来提供我们估计的不确定性量化。因此，我们的模型的实施避免了计算密集的马尔可夫链蒙特卡罗（MCMC）在高维。当协变量的数量随着样本量以接近指数的速度增长时，我们推导出分组线性回归和稀疏GAM的后验集中率。最后，我们通过大量的模拟和数据分析来说明我们的方法。
2020-03-03 stat.ME
Ultra high dimensional generalized additive model: Unified Theory and Methods
广义可加模型是一种功能强大的统计学习和预测建模工具，已得到广泛的应用。在处理高吞吐量数据（如遗传数据分析）的背景下，对高维加法建模的需求是突出的。本文研究了超高维广义可加模型的两步选择和估计方法。第一步在函数的扩展基础上应用group lasso。这很有可能选择所有非零函数，而不会有太多的过度选择。第二步使用自适应组套索与任何初始估计，包括组套索估计，满足一些常规条件。自适应组套索估计被证明是选择一致的改进的收敛速度。本文还讨论了调整参数的选择，并证明了在GIC过程中，调整参数的选择是一致的。理论性质得到了广泛的数值研究的支持。
2020-08-15 stat.ME
Non-asymptotic Oracle Inequalities for the High-Dimensional Cox Regression via Lasso
我们考虑了正则化高维Cox回归的有限样本性质。现有的文献主要集中在线性模型或具有Lipschitz损失函数的广义线性模型，其中经验风险函数是独立同分布（iid）损失的总和。然而，截尾生存数据的负对数偏似然函数中的被加数既不是iid也不是Lipschitz。首先用iid非Lipschitz项之和逼近负对数偏似然函数，然后利用逐点变元推导了lasso惩罚Cox回归的非渐近预言不等式，解决了由于缺乏iid和Lipschitz性质而带来的困难.
2012-04-09 math.ST stat.ML stat.TH
An Alternating Direction Method of Multipliers Algorithm for the Weighted Fused LASSO Signal Approximator
针对加权广义融合 LASSO 信号逼近器（wFLSA）转化为广义 LASSO 后单次迭代复杂度高达 $O(p^4)$ 的问题，提出专为 wFLSA 等价问题定制的 ADMM 算法，将复杂度降至 $O(p^2)$，并通过 R 包 wflsa 公开。
2024-07-25 stat.ME
The LASSO risk for gaussian matrices
我们考虑从噪声线性观测y=Ax_0+w \in R ^n中学习系数向量x_0 \in R ^n的问题。在许多上下文中（从模型选择到图像处理），期望构造稀疏估计器x '。在这种情况下，一种流行的方法是解决L1惩罚最小二乘问题，称为LASSO或基追踪去噪（BPDN）。对于序列的矩阵A的增加的维度，独立的高斯条目，我们证明了归一化的风险的LASSO收敛到一个极限，我们得到一个明确的表达这个限制。我们的结果是第一次严格推导出一个明确的公式的渐近均方误差的随机情况下的LASSO。证明技术是基于分析AMP，最近开发的高效算法，这是从图形模型的想法启发。对真实数据矩阵的模拟表明，我们的结果可以在广泛的实际应用中是相关的。
2015-12-15 cs.IT math.IT math.ST
A Generalized Ridge Regression and Convolutional LASSO
Nagoya Mathematical and Information Science Research（名古屋数学与信息科学研究）
该研究推导Hodrick-Prescott滤波的对偶理论，构建两种趋势表示，提出闭式C³卷积LASSO，经数值验证和基准测试，成功分离NVIDIA股价增长区间断点。
2026-09-01 stat.ME
Transductive versions of the LASSO and the Dantzig Selector
我们考虑线性回归问题，其中协变量的数量$p$可能大于观测值的数量$n$ $(x_{i},y_{i})_{i\leq i \leq n}$，稀疏假设。一方面，已经成功地提出了几种方法来执行此任务，例如LASSO或Dantzig方法。另一方面，考虑新值$(x_{i})_{n+1\leq i \leq m}$。如果要估计相应的$y_{i}$，应该考虑专门用于此任务的特定估计器，Vapnik称之为“转换”估计器。该估计器可以不同于被设计用于更一般的任务“在整个域上估计”的估计器。在这项工作中，我们提出了一个广义版本的LASSO和Dantzig的，基于几何评论的LASSO在以前的作品。“通常的”LASSO和Dantzig的，以及新的估计解释为LASSO的转导版本，出现作为特殊情况。这些估计是有趣的，至少从理论的角度来看：我们可以给这些估计的假设下，放松版本的假设所需的文件中的“通常”LASSO的理论保证。这些估计也可以有效地计算，与LASSO的结果相媲美。
2009-06-06 math.ST stat.TH
The Squared-Error of Generalized LASSO: A Precise Analysis
我们考虑的问题估计一个未知的信号$x_0$从噪声线性观测$y = Ax_0 + z\in R^m$。在许多实际情况下，$x_0$具有可以由结构诱导凸函数$f(\cdot)$捕获的特定结构。例如，$\ell_1$范数可以用于鼓励稀疏解。为了估计$x_0$与援助的$f(\cdot)$，我们认为著名的LASSO方法，并提供其性能的尖锐表征。我们假设测量矩阵$A$和噪声向量$z$的项分别具有方差为$1$和$σ^2$的零均值正态分布。对于LASSO估计器$x^*$，我们尝试计算归一化平方误差（NSE），其定义为$\frac{\|x^*-x_0\|_2^2}{σ^2}$，作为噪声水平$σ$、观测数$m$和信号结构的函数。我们表明，信号$x_0$的结构和选择的功能$f(\cdot)$进入的误差公式，通过总结参数$D(cone)$和$D(λ)$，这被定义为高斯平方距离的次微分锥和$λ$缩放的次微分，分别。第一个LASSO估计器假设$f(x_0)$的先验知识，由$\arg\min_{x}\{{\|y-Ax\|_2}~\text{subject to}~f(x)\leq f(x_0)\}$给出。我们证明，当$σ\rightarrow 0$和集中在$\frac{D(cone)}{m-D(cone)}$周围时，达到最差情况NSE。其次，我们考虑$\arg\min_{x}\{\|y-Ax\|_2+λf(x)…
2013-11-06 cs.IT math.IT math.OC
Assumptionless consistency of the Lasso
Lasso是Robert Tibshirani发明的一种流行的统计工具，用于当协变量的数量大于或与观测值的数量相当时的线性回归。本说明的目的是强调一个简单的事实（注意到在一些较早的文件在各种伪装），即损失函数考虑在Tibshirani的原始文件，拉索是一致的，几乎没有任何假设。
2014-06-26 math.PR math.ST stat.TH
Adaptive Multi-Prior Lasso for High-Dimensional Generalized Linear Models
University of Science and Technology of China（中国科学技术大学）；Xiamen University（厦门大学）；Yale School of Public Health（耶鲁公共卫生学院）
本文提出自适应多先验Lasso方法，通过自适应权重整合可靠先验信息，提升高维广义线性模型的估计、预测和变量选择性能。
2026-04-16 stat.ME
Spike-and-Slab LASSO Generalized Additive Models and Scalable Algorithms for High-Dimensional Data Analysis
有建议，扩展经典的广义可加模型（GAM），以适应高维数据（$p>>n$）使用组稀疏正则化。然而，稀疏正则化在估计平滑函数时可能会导致过度收缩，从而损害预测性能。此外，大多数这些GAM考虑一个“全进全出”的方法进行功能选择，使他们难以回答，如果非线性效应是必要的。虽然一些贝叶斯模型可以解决这些缺点，但使用马尔可夫链蒙特卡罗算法进行模型拟合会带来新的挑战，即可扩展性。因此，我们提出贝叶斯分层广义可加模型作为解决方案：我们考虑通过重新参数化的曲线插值适当收缩的平滑惩罚。一种新的两部分尖峰和平板LASSO前光滑函数的开发，以解决信号的稀疏性，同时提供额外的灵活性，以选择的线性或非线性分量的光滑函数。一个可扩展的和确定性的算法，EM坐标下降，在一个开源的R包BHAM实现。模拟研究和代谢组学数据分析表明，与最先进的模型相比，预测和计算性能有所改善。功能选择的表现表明权衡存在的影响层次假设。
2022-05-16 stat.ME stat.ML
On the Complexity of the Weighted Fused Lasso
对于$n$维输入，1D融合套索的解路径与$\mathcal{O}(n)$段是分段线性的（Hoefling等人，2010年和Tibshirani等人，2011年）。然而，现有的证明，这一界不举行加权融合套索。同时，广义lasso（加权融合lasso是其特例）的结果允许$Ω(3^n)$节段（Mairal等人，2012）。在本文中，我们证明了加权融合套索的解决方案的路径中的段数是$\mathcal{O}(n^2)$，并在某些情况下，它是$Ω(n^2)$。我们也给了一个新的，非常简单的，证明的$\mathcal{O}(n)$绑定的融合套索。
2018-04-19 cs.CC cs.LG math.OC
Sparse Sliced Inverse Regression Via Lasso
对于多指标模型，最近的研究表明，当且仅当$ρ=\lim\frac{p}{n}=0$，其中$p$是维数，$n$是样本量，切片逆回归（SIR）对于估计充分降维（SDR）空间是一致的.因此，当$p$具有与$n$相同或更高阶时，必须施加诸如稀疏性的附加假设，以便确保SIR的一致性。通过构造由估计的条件协方差阵的顶部特征向量组成的人工响应变量，我们引入了一个简单的Lasso回归方法来获得SDR空间的估计。由此产生的算法，Lasso-SIR，被证明是一致的，并在一定的稀疏条件下达到最佳的收敛速度时，$p$是为了$o(n^2λ^2)$，其中$λ$是广义信噪比。我们还证明了优越的性能Lasso-SIR与现有的方法相比，通过广泛的数值研究和几个实际数据的例子。
2018-06-17 math.ST stat.ME stat.TH
The Accessible Lasso Models
关于套索的一系列新研究利用了一个美丽的几何事实，即套索拟合是将响应向量$y$投影到某个凸多胞体上的残差。该几何图形还允许对给定设计矩阵的可访问套索模型的集合进行精确的几何描述，即，可以通过$y$的某些选择来实现系数的符号的配置。特别地，可访问的套索模型是对应于所有特征向量的凸包的面以及它们的否定的那些套索模型。然后，该凸包表示允许可访问的套索模型的数量的枚举和定界，这反过来提供了当真实模型的大小大于观测数量的大于一半时模型选择不一致的直接证明。
2016-06-09 math.ST stat.TH
Asymptotic Analysis of LASSOs Solution Path with Implications for Approximate Message Passing
本文关注的性能的LASSO（也称为基追踪去噪）恢复稀疏信号从欠采样，随机，噪声测量。我们考虑从$n$随机和噪声线性观测值$y= Ax_o + w$中恢复信号$x_o \in \mathbb{R}^N$，其中$A$是测量矩阵，$w$是噪声。LASSO估计由用$\hat{x}_λ = \arg \min_x \frac{1}{2} \|y-Ax\|_2^2 + λ\|x\|_1$求解优化问题$x_o$给出。尽管在理论分析的LASSO解决方案的重大进展，很少有人知道它的行为作为一个函数的正则化参数PDMATHAMT。在本文中，我们研究了两个问题的渐近设置（即，其中$N \rightarrow \infty$，$n \rightarrow \infty$，而比率$n/N$收敛到$(0,1)$中的固定数）：（i）活动集$\|\hat{x}_λ\|_0/N$的大小如何表现为$λ$的函数，以及（ii）均方误差$\|\hat{x}_λ - x_o\|_2^2/N$如何表现为$λ$的函数？然后，我们采用这些结果在一个新的，可靠的算法解决LASSO的基础上近似消息传递（AMP）。
2013-09-23 cs.IT math.IT math.ST
Approximate Post-Selective Inference for Regression with the Group LASSO
在使用LASSO组（或广义变体，如重叠、稀疏或标准化LASSO组）进行选择后，在没有对选择偏倚进行调整的情况下，对所选参数的推断是不可靠的。在惩罚高斯回归设置，现有的方法提供了选择事件，可以表示为线性不等式的数据变量的调整。然而，这样的表示，未能举行选择与集团LASSO和实质上阻碍了范围内的后续后选择推理。关键问题的推理兴趣-例如，推理的影响，选定的变量的结果-仍然没有答案。在本文中，我们开发了一个一致的，后选择，贝叶斯方法来解决现有的差距，通过推导出一个似然调整因子和近似值，消除偏见的选择组。在模拟数据和Human Connectome Project数据上的实验表明，我们的方法可以恢复所选组内参数的影响，同时只需付出很小的代价进行偏差调整。
2022-08-13 math.ST stat.ME stat.ML
Measurement Error in Lasso: Impact and Correction
当协变量的数量很大时，使用套索惩罚的回归是执行降维的流行工具。在套索的许多应用中，如在基因组学中，协变量受到测量误差的影响。我们研究了测量误差对具有套索惩罚的线性回归的影响，包括分析和模拟实验。然后考虑一种简单的方法来校正套索中的测量误差。在大样本限制下，校正的套索在与具有完美测量的套索非常相似的条件下产生符号一致的协变量选择，而未校正的套索对数据的协方差结构需要更严格的条件。最后，我们建议的方法来纠正测量误差在广义线性模型与套索惩罚，我们研究经验与逻辑斯谛回归的模拟实验，也适用于与微阵列数据的分类问题。我们看到，在类似的真阳性水平下，校正后的lasso选择的假阳性比标准lasso少。因此，校正的套索可以用于在基因组分析中获得更保守的协变量选择。
2014-02-14 stat.ME
Convex Fused Lasso Denoising with Non-Convex Regularization and its use for Pulse Detection
我们提出了一个凸公式的融合套索信号逼近问题的非凸罚函数。融合套索信号模型的目的是从噪声观测中估计稀疏的分段常数信号。最初，$\ell_1$范数被用作融合套索信号近似问题的稀疏诱导凸罚函数。然而，$\ell_1$范数低估了信号值。非凸稀疏诱导罚函数更好地估计信号值。在本文中，我们展示了如何确保凸的融合套索信号逼近问题的非凸罚函数。我们进一步推导出一个计算效率高的算法，使用优化最小化技术。我们应用建议的融合套索方法检测脉冲。
2015-12-07 math.OC math.ST stat.TH
Anopheles number prediction on environmental and climate variables using Lasso and stratified two levels cross validation
本文讨论了利用环境和气候变量预测按蚊数量的问题。变量选择采用基于Lasso和分层两级交叉验证的自动机器学习方法。对选定的变量进行去偏处理，并采用简单的GLM（广义线性模型）进行预测。最后，结果显示，在选择，预测和CPU时间的观点比B-GLM方法得到的定性更好。
2016-08-04 stat.AP
Direction of arrival estimation using robust complex Lasso
Lasso（最小绝对收缩和选择算子）是一种流行的同时进行线性回归估计和变量选择的技术。在本文中，我们提出了一种新的鲁棒Lasso方法，遵循M-估计的精神。我们定义$M$ -Lasso估计的回归和规模的解决方案，广义零次梯度方程。本文的另一个独特之处是，我们考虑复值测量和回归参数，这需要仔细的数学表征的问题。提出了一种用于计算$M$ -Lasso解的显式且有效的算法，该算法具有与用于计算Lasso解的最新算法相当的计算复杂度。在单次快拍的情况下，说明了$M$ -Lasso方法的波达方向（DoA）估计。
2016-05-12 stat.CO stat.ME
Regularization with the Smooth-Lasso procedure
我们考虑线性回归问题。我们提出了S-Lasso过程来估计未知的回归参数。该估计量在考虑连续协变量（或预测变量）之间的相关性的同时具有表示的稀疏性。该研究涵盖了$p\gg n$的情况，即协变量的数量远大于观察值的数量。在理论上，对于固定的$p$，我们建立了变量选择结果的渐近正态性和一致性。当$p\geq n$时，我们提供了变量选择一致性结果，并表明S-Lasso实现了稀疏不等式，即，根据oracle向量的非零分量的数量的界限。与其挑战者相比，S-Lasso似乎具有很好的变量选择特性。此外，我们提供了一个估计的有效自由度的S-Lasso估计。一项模拟研究表明，S-套索表现优于套索，就变量选择而言，特别是当连续的协变量之间存在高度相关性。这个过程似乎也是Elastic-Net的一个很好的挑战者（Zou和Hastie，2005）。
2008-10-15 math.ST stat.TH
