Convex Fused Lasso Denoising with Non-Convex Regularization and its use for Pulse Detection
我们提出了一个凸公式的融合套索信号逼近问题的非凸罚函数。融合套索信号模型的目的是从噪声观测中估计稀疏的分段常数信号。最初，$\ell_1$范数被用作融合套索信号近似问题的稀疏诱导凸罚函数。然而，$\ell_1$范数低估了信号值。非凸稀疏诱导罚函数更好地估计信号值。在本文中，我们展示了如何确保凸的融合套索信号逼近问题的非凸罚函数。我们进一步推导出一个计算效率高的算法，使用优化最小化技术。我们应用建议的融合套索方法检测脉冲。
2015-12-07 math.OC math.ST stat.TH
Sparsity oracle inequalities for the Lasso
本文研究了随机设计下非参数回归中$\ell_1$ -惩罚最小二乘的预言性质。我们证明了惩罚最小二乘估计满足稀疏预言不等式，即，根据oracle vector的非零分量的数量来确定边界。即使当模型的维数（远）大于样本量且回归矩阵不正定时，结果也是有效的。它们可用于高维线性回归、非参数自适应回归估计和任意估计量的集结问题。
2007-05-23 math.ST stat.TH
On Dantzig and Lasso estimators of the drift in a high dimensional Ornstein-Uhlenbeck model
本文给出了稀疏约束下高维Ornstein-Uhlenbeck模型漂移的Dantzig和Lasso估计的新的理论结果。我们的重点是甲骨文不等式的估计和误差界方面的几个规范。在Lasso估计的上下文中，我们的论文与[11]密切相关，[11]研究了行稀疏下的相同问题。我们改进了它们的速率，并证明了仅在遍历性假设下的限制特征值性质。最后，我们展示了一个数值分析，以揭示有限样本的Dantzig和Lasso估计性能。
2020-08-03 math.ST stat.TH
Hierarchical Sparse Modeling: A Choice of Two Group Lasso Formulations
在估计模型中要求稀疏性已成为统计学中的常规做法。在许多情况下，我们希望要求获得的稀疏模式尊重某些特定问题的约束。分层稀疏建模（HSM）是指这些约束指定一组参数设置为零时，另一组参数设置为零的情况。近年来，许多论文针对这种形式的稀疏结构开发了凸正则化器，这种形式的稀疏结构出现在许多统计领域，包括交互建模、时间序列分析和协方差估计。在本文中，我们观察到，这些方法分为两个框架，组套索（GL）和潜在的重叠组套索（GL），这还没有系统地比较的背景下，HSM。本文的目的是提供一个并排比较这两个框架的HSM在其统计特性和计算效率。我们呼吁特别注意GL的更积极的收缩参数的层次结构中，属性不共享的。在计算方面，我们引入了一个有限步算法，精确地解决了近似算子的最接近的一个简单的HSM结构，我们后来利用这一点开发一种新的基于路径的块坐标下降计划一般的HSM结构。这两种算法都大大提高了迭代算法的计算性能。最后，我们在协方差估计的背景下比较了这两种方法，在这里我们引入了一个新的稀疏带估计器，我们表明，它实现了现有的基于GL的方法的统计优势，但更简单的表达和更有效的计算。
2017-11-29 math.ST stat.CO stat.ME
Sharp minimax optimality of LASSO and SLOPE under double sparsity assumption
本文在双重稀疏结构下不依赖 RIP，提出基于稀疏组归一化与新型 RE 条件的严格框架，证明 LASSO 和 SLOPE 的尖锐极小极大最优性、随机矩阵高概率成立性及随机设计最优样本复杂度。
2023-08-18 math.ST stat.TH
LassoNet: A Neural Network with Feature Sparsity
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Gematria Technologies（Gematria科技公司）
为了使神经网络更具可解释性，最近已经做了很多工作，一个明显的方法是安排网络只使用可用特征的子集。在线性模型中，Lasso（或$\ell_1$正则化）回归将零权重分配给最不相关或冗余的特征，并广泛用于数据科学。但是，Lasso仅适用于线性模型。在这里，我们介绍LassoNet，一个具有全局特征选择的神经网络框架。我们的方法强制执行一个层次结构：特别是一个功能可以参与一个隐藏的单位，只有当它的线性代表是活跃的。与其他神经网络的特征选择方法不同，我们的方法使用了一个修改后的目标函数的约束条件，所以集成的特征选择与参数学习直接。因此，它提供了一个完整的正则化路径的解决方案与一系列的特征稀疏。在系统实验中，LassoNet在特征选择和回归方面的表现明显优于最先进的方法。LassoNet方法使用投影近端梯度下降，并直接推广到深度网络。它可以通过向标准神经网络添加几行代码来实现。
2021-06-16 cs.LG stat.ML
Oracle Inequalities and Optimal Inference under Group Sparsity
我们考虑在高斯噪声模型下估计稀疏线性回归向量$β^*$的问题，用于预测和模型选择。我们假设先验知识是可用的稀疏模式，即一组变量被划分成规定的组，其中只有少数是相关的估计过程中。这个组稀疏性假设建议我们考虑将组Lasso方法作为估计$β^*$的方法。我们建立预言不等式和$\ell_2$估计误差的估计。在设计矩阵上的限制特征值条件下，这些界限成立。在更强的相干条件下，我们得到了混合$(2,p)$ -范数与$1\le p\leq \infty$的估计误差的界.当$p=\infty$时，该结果意味着Group Lasso估计器的阈值版本以高概率选择$β^*$的稀疏模式。接下来，我们证明了我们的上界的收敛速率是最优的，在极大极小意义下，对数因子，对一类组稀疏向量的所有估计。此外，我们建立下界的预测和$\ell_2$估计误差的通常Lasso估计。使用这个结果，我们证明了组Lasso可以实现的预测和估计性能的改进相比，Lasso。
2010-07-22 math.ST stat.TH
Least squares after model selection in high-dimensional sparse models
在这篇文章中，我们研究后模型选择估计，适用于普通最小二乘（OLS）的第一步惩罚估计，典型的Lasso选择的模型。众所周知，Lasso可以以接近Oracle的速率估计非参数回归函数，因此很难改进。我们表明，OLS后Lasso估计执行至少以及Lasso的收敛速率方面，并具有较小的偏差的优势。值得注意的是，即使基于Lasso的模型选择“失败”，也会出现这种性能，因为它丢失了“真正”回归模型的一些组成部分。所谓“真”模型，我们指的是对预言机选择的非参数回归函数的最佳s维逼近。此外，如果基于Lasso的模型选择正确地包括“真”模型的所有分量作为子集，并且还实现了足够的稀疏性，则在收敛速度收敛速率严格更快的意义上，OLS post-Lasso估计量可以严格优于Lasso。在极端情况下，当Lasso完美地选择“真”模型时，OLS post-Lasso估计量成为oracle估计量。在我们的分析中，一个重要的成分是一个新的稀疏约束的维度选择的模型的Lasso，这保证了这个维度是在最多的相同的顺序作为“真正的”模型的维度。我们的速率结果是非渐近的，并在参数和非参数模型。此外，我们的分析不仅限于在第一步中作为选择器的Lasso估计器，而且还适用于任何其他估计器，例如，各种形式的阈值Lasso，具有良好的速率和良好的稀疏性。我们的分析涵盖了传统的阈值和一个新的实用，数据驱动的阈值方案，诱导额外的稀疏性保持…
2013-03-20 math.PR math.ST stat.ME
Gap Safe screening rules for sparsity enforcing penalties
在高维回归设置中，稀疏强制惩罚已被证明有助于正则化数据拟合项。最近引入的一种称为筛选规则的技术建议忽略优化中的一些变量，利用解决方案的预期稀疏性，从而导致更快的求解器。当过程保证不会错误地丢弃变量时，这些规则被称为安全的。在这项工作中，我们提出了一个统一的框架，广义线性模型正则化与标准的稀疏执行处罚，如$\ell_1$或$\ell_1/\ell_2$规范。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量，特别是对于低正则化参数。我们提出的间隙安全规则（所谓的，因为它们依赖于对偶间隙计算）可以应付任何迭代求解器，但特别适合（块）坐标下降方法。应用于许多标准学习任务，Lasso，稀疏组Lasso，多任务Lasso，二进制和多项式逻辑斯谛回归等，我们在所有测试数据集上报告了与先前提出的安全规则相比的显著加速。
2017-12-27 cs.LG math.OC stat.CO
Sparsity-Agnostic Lasso Bandit
Seoul National University（首尔大学）；Columbia University（哥伦比亚大学）
我们考虑一个随机上下文强盗问题的特征向量的维度$d$是潜在的大，但是，只有一个稀疏的子集的基数$s_0 \ll d$的功能影响的奖励函数。基本上，所有现有的稀疏强盗算法需要稀疏指数$s_0$的值的先验知识。这方面的知识几乎从来没有在实践中，这个参数的错误指定可能会导致现有方法的性能严重恶化。本文的主要贡献是提出了一种算法，不需要先验知识的稀疏性指标$s_0$，并建立严格的遗憾界，其性能在温和的条件下。我们还全面评估了我们提出的算法的数值，并表明它始终优于现有的方法，即使正确的稀疏性指数显示给他们，但保持隐藏从我们的算法。
2021-04-28 cs.LG stat.ML
Efficient Smoothed Concomitant Lasso Estimation for High Dimensional Regression
LTCI, CNRS, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学 法国国家科学研究中心 巴黎高科电信学院 LTCI实验室）；Université Paris-Est, Cermics (ENPC)（巴黎东大学 国立路桥学校应用数学与科学计算研究中心）
在高维环境中，稀疏结构对于效率至关重要，无论是在存储器，计算还是性能方面。通常考虑$\ell_1$惩罚以在这种情况下实施稀疏性。稀疏强制方法，Lasso是一个典型的例子，是解决高维问题的热门候选人。为了提高效率，他们依赖于调整参数交易数据拟合与稀疏。对于Lasso理论来说，这个调谐参数应该与噪声电平成比例，但后者在实践中通常是未知的。一种可能的补救措施是联合优化回归参数以及噪声水平。这在文献中被认为有几个名称：例如Scaled-Lasso，Square-root Lasso，Concurrently Lasso estimation，并且可能对置信集或不确定性量化感兴趣。在这项工作中，说明了平滑伴随套索公式的数值困难后，我们提出了一个修改，我们创造了平滑伴随套索，旨在增加数值稳定性。我们提出了一个高效和准确的求解器，导致计算成本不超过一个套索膨胀。我们利用快速Lasso解算器成功背后的标准成分：坐标下降算法，结合安全筛选规则，通过消除早期不相关的特征来实现速度效率。
2016-06-08 cs.LG math.OC stat.ML
Sparse Sliced Inverse Regression Via Lasso
对于多指标模型，最近的研究表明，当且仅当$ρ=\lim\frac{p}{n}=0$，其中$p$是维数，$n$是样本量，切片逆回归（SIR）对于估计充分降维（SDR）空间是一致的.因此，当$p$具有与$n$相同或更高阶时，必须施加诸如稀疏性的附加假设，以便确保SIR的一致性。通过构造由估计的条件协方差阵的顶部特征向量组成的人工响应变量，我们引入了一个简单的Lasso回归方法来获得SDR空间的估计。由此产生的算法，Lasso-SIR，被证明是一致的，并在一定的稀疏条件下达到最佳的收敛速度时，$p$是为了$o(n^2λ^2)$，其中$λ$是广义信噪比。我们还证明了优越的性能Lasso-SIR与现有的方法相比，通过广泛的数值研究和几个实际数据的例子。
2018-06-17 math.ST stat.ME stat.TH
Sparsity with sign-coherent groups of variables via the cooperative-Lasso
我们考虑的问题，估计和选择的参数赋予一个已知的组结构，当组被假定为是符号相干的，也就是说，收集非负，非正或空参数。为了解决这个问题，我们提出了合作Lasso惩罚。本文给出了定义广义线性模型的合作Lasso估计的最优性条件，并提出了一种适用于高维问题的有效集算法.本文研究了线性回归中估计量的渐近相合性，并导出了它的不可表示条件，它比group-Lasso的条件更温和。我们还解决了在线性回归模型选择的问题，推导出一个近似的合作Lasso估计的自由度。模拟比较所提出的估计组和稀疏组Lasso符合我们的理论结果，显示一致的改善支持恢复符号相干组。最后，我们提出了两个例子说明了广泛的适用性的合作套索：第一个顺序变量的处理，其中的惩罚作为单调性之前;第二个基因组数据的处理，其中的差异表达的探针的集合是丰富的，通过将所有的探针的微阵列相关的相应的基因。
2012-07-02 stat.AP stat.ME
Tree-guided group lasso for multi-response regression with structured sparsity, with an application to eQTL mapping
我们考虑的问题估计稀疏的多响应回归函数，与应用表达数量性状位点（eQTL）定位，其目标是发现影响基因表达水平的遗传变异。特别是，我们调查的收缩技术能够捕捉到一个给定的层次结构的响应，如层次聚类树与叶节点的响应和内部节点的集群相关的响应在多个粒度，我们试图利用这种结构来恢复协变量相关的每个层次定义的集群的响应。我们提出了一个树引导组套索，或树套索，估计多响应回归下，采用一种新的惩罚函数从树构造的结构稀疏。我们描述了一个系统的加权方案，重叠的组中的树罚，使每个回归系数被惩罚在一个平衡的方式，尽管不均匀的多重性的组成员的回归系数，由于组之间的重叠。为了有效的优化，我们采用了一个平滑的近端梯度方法，最初开发的一般类的结构稀疏诱导处罚。使用模拟和酵母数据集，我们证明了我们的方法在预测误差和恢复真实稀疏模式方面表现出优越的性能，与其他学习多变量响应回归的方法相比。
2012-09-28 q-bio.GN q-bio.QM stat.AP
Transductive versions of the LASSO and the Dantzig Selector
当训练数据集由大量未标记观测和少量标记观测组成时，直推方法在预测问题中很有用。在本文中，我们提出了一种方法，用于开发能够利用高维线性回归的稀疏性的转导预测程序。更确切地说，我们定义了LASSO和Dantzig的转换版本。这些过程将训练数据集的标记和未标记的观测值组合起来，以产生对未标记观测值的预测。我们提出了一个实验研究的转导估计，这表明，他们提高了LASSO和Dantzig的在许多情况下，特别是在高维问题时，预测相关。然后，我们为这些估计方法提供了非渐近的理论保证。有趣的是，我们的理论结果表明，Transductive LASSO和Dantzig的满足稀疏性不等式的假设下，比“原始”LASSO所需的。
2010-05-05 math.ST stat.TH
A lasso for hierarchical interactions
我们添加了一组凸约束的套索，以产生稀疏的相互作用模型，荣誉的层次结构的限制，一个相互作用只包括在一个模型中，如果一个或两个变量是微不足道的重要。我们给出了一个精确的表征这个层次约束的效果，证明层次持有概率为1，并推导出一个无偏估计的自由度，我们的估计。此估计的界限揭示了层次约束“节省”的拟合量。我们区分参数稀疏性-非零系数的数量-和实际稀疏性-必须测量以进行新预测的原始变量的数量。层次结构侧重于后者，后者与成本、时间和努力等重要的数据收集问题联系更紧密。我们开发了一个算法，可在R包hierNet，并进行实证研究，我们的方法。
2013-06-19 math.ST stat.ME stat.ML
Lasso-type recovery of sparse representations for high-dimensional data
Lasso是一种用于高维数据的正则化和变量选择的有吸引力的技术，其中预测变量$p_n$的数量可能远大于样本$n$的数量。然而，最近发现，稀疏模式的Lasso估计只能渐近相同的真实稀疏模式，如果设计矩阵满足所谓的不可表示的条件。在存在高度相关的变量时，后一个条件很容易被违反。在这里，我们检查的行为的拉索估计，如果放松的不可表示的条件。即使Lasso不能恢复正确的稀疏模式，我们表明，估计仍然是一致的，在固定的设计条件下的$\ell_2$ -范数意义上（a）的数量$s_n$的非零组件的矢量$β_n$和（b）的最小奇异值的设计矩阵，通过选择小的变量子集。此外，通过适当选择平滑参数，获得了关于$\ell_2$误差的收敛速率结果。在最大和最小稀疏特征值有界的条件下，该速率是最优的。我们的研究结果意味着，以高概率，所有重要的变量被选中。选定的变量集是对原始变量集的有意义的缩减。最后，我们的结果说明了检测密切相邻的频率，天体物理学中遇到的一个问题。
2009-03-02 math.ST stat.ME stat.TH
Group Lasso for generalized linear models in high dimension
如今，越来越多的数据是可用的，我们必须处理的模型在高维（协变量的数量远远大于样本量）。在稀疏性假设下，我们有理由希望能够对回归参数做出很好的估计。这种稀疏性假设以及将协变量块结构化为具有相似行为模式的组例如在基因组学中是非常自然的。大量的科学文献存在的高斯线性模型，包括Lasso估计，也组Lasso估计，促进组稀疏下的组的先验知识。我们将此群Lasso方法推广到广义线性模型，并研究了此估计对于稀疏高维广义线性模型的收敛速度.在对协变量的假设和对设计矩阵的条件下，给出了预测误差和估计误差的预言不等式。我们证明了这种估计的能力，恢复良好的稀疏近似的真实模型。最后，我们将这些结果扩展到弹性网惩罚的情况，并将其应用于所谓的泊松回归情况，该情况与逻辑斯谛回归相反，在本文中尚未研究。
2014-01-22 math.ST stat.TH
Sparsity considerations for dependent observations
本文的目的是提供一个全面的介绍，在相依观测的背景下，L1-惩罚估计的研究。我们定义了一个一般的$\ell_{1}$ -惩罚估计，用于解决随机最优化问题。这个估计量是回归估计设置中的LASSO。最近的文献对LASSO的统计性能提供了强有力的理论保证，然而，他们通常只处理iid的情况。在这里，我们研究了各种依赖假设下的估计量。
2011-08-07 math.ST stat.TH
Regularization with the Smooth-Lasso procedure
我们考虑线性回归问题。我们提出了S-Lasso过程来估计未知的回归参数。该估计量在考虑连续协变量（或预测变量）之间的相关性的同时具有表示的稀疏性。该研究涵盖了$p\gg n$的情况，即协变量的数量远大于观察值的数量。在理论上，对于固定的$p$，我们建立了变量选择结果的渐近正态性和一致性。当$p\geq n$时，我们提供了变量选择一致性结果，并表明S-Lasso实现了稀疏不等式，即，根据oracle向量的非零分量的数量的界限。与其挑战者相比，S-Lasso似乎具有很好的变量选择特性。此外，我们提供了一个估计的有效自由度的S-Lasso估计。一项模拟研究表明，S-套索表现优于套索，就变量选择而言，特别是当连续的协变量之间存在高度相关性。这个过程似乎也是Elastic-Net的一个很好的挑战者（Zou和Hastie，2005）。
2008-10-15 math.ST stat.TH
The sparsity and bias of the Lasso selection in high-dimensional linear regression
Meinshausen和Buhlmann [Ann. Statistist. 34（2006）1436- 1462]表明，对于高斯图形模型中的邻域选择，在邻域稳定性条件下，LASSO是一致的，即使当变量的数量比样本量更高阶时。Zhao和Yu [（2006）J. Machine Learning Research 7 2541--2567]在线性回归的上下文中将邻域稳定性条件形式化为强不可表示条件。该论文表明，在这种条件下，LASSO精确地选择非零回归系数的集合，只要这些系数以一定的速率远离零。本文假设理想模型外的回归系数很小，但不一定为零。在稀疏Riesz条件下的设计变量的相关性，我们证明了LASSO选择一个模型的正确顺序的维度，控制的水平所确定的小回归系数和阈值偏差的贡献所选择的模型的偏差，并选择所有系数的更大的顺序比所选择的模型的偏差。此外，由于这种速率一致性的LASSO模型选择，它被证明是误差平方和的平均响应和$\ell_α$ -损失的回归系数收敛在最佳可能的速率在给定的条件下。我们的结果的一个有趣的方面是，变量的数量的对数可以是相同的顺序为某些随机相关设计的样本量。
2008-08-07 math.ST stat.TH
Fused Lasso Nearly Isotonic Signal Approximation in General Dimensions
本文介绍并研究融合套索近等渗信号逼近，它是融合套索和广义近等渗回归的结合。我们展示了这三个估计是如何相互关联的，得到解决的一般问题，表明它是计算上可行的，并提供了分段单调性，稀疏性和拟合优度之间的权衡。此外，我们推导出一个无偏估计的自由度的近似。
2022-11-20 math.ST stat.TH
Sparse Group Selection Through Co-Adaptive Penalties
最近的工作集中在协变量数量非常大时进行线性回归的问题，可能大于样本量。为了便于实现这一点，一个有用的工具是假设模型可以通过仅涉及少量协变量的拟合来很好地近似-所谓的稀疏性假设，这导致了Lasso和其他方法。然而，在许多情况下，协变量可以被认为是结构化的，因为某些变量的选择有利于其他变量的选择-作为特殊情况，变量被组织成同时进入或离开模型的组。这种结构创建了不同形式的稀疏性。在本文中，我们提出了自适应Lasso拟合模型，以适应这种形式的“组稀疏”。自适应Lasso是快速和简单的计算，我们表明，它拥有理论优势的Lasso，表现良好的一组广泛的结论下，是非常有竞争力的经验模拟相比，以前建议的算法，如组Lasso和自适应Lasso。
2011-11-18 stat.ME
Adaptive Estimation In High-Dimensional Additive Models With Multi-Resolution Group Lasso
在含有多个非参数分量的可加模型中，已经提出了许多正则化估计，并证明了它们在稀疏性和固定光滑性条件的不同组合下可以获得不同的误差界。这些误差界中的一些与相应设置中的最小最大速率相匹配。一些速率极大极小方法是非凸的，计算量大。从这些角度来看，现有的解决方案，高维添加剂非参数回归问题是支离破碎的。在本文中，我们提出了一个多分辨率组Lasso（MR-GL）方法在一个统一的方法，同时实现或改善现有的误差界，并提供新的知识的稀疏性或光滑度的未知函数的水平。这种自适应收敛速度是在预测因子可被视为常数时建立的。此外，我们证明了预测因子，它可以有界的限制特征值或相容性系数，确实可以被视为一个常数的随机设计下的一个接近最优的样本量条件。
2020-11-13 math.ST stat.ME stat.TH
Graphical lasso for extremes
Erasmus University Rotterdam（伊拉斯姆斯大学鹿特丹）
本文研究高维多元向量尾部区域稀疏依赖结构的估计，通过嵌入Hüsler-Reiss分布的极值图模型进行建模，提出极值图拉索方法以估计尾部依赖的稀疏性，并通过模拟和实际数据验证其一致性与准确性。
2026-04-14 math.ST stat.ME stat.TH
The Smooth-Lasso and other $\ell_1+\ell_2$-penalized methods
我们考虑一个线性回归问题，在高维设置的协变量$p$的数量可以远远大于样本量$n$。在这种情况下，通常假设回归向量\textit的稀疏性，即，回归向量包含许多零分量。我们提出了一个基于两个惩罚项的Lasso型估计量$\hatβ^{Quad}$（其中“$Quad$”代表二次）。第一个是回归系数的$\ell_1$范数，用于利用Lasso估计器所做的回归的稀疏性，而第二个是二次惩罚项，用于捕获关于问题设置的一些附加信息。我们详细介绍两种特殊情况：Elastic-Net $\hatβ^{EN}$，处理变量之间可能存在相关性的稀疏问题; Smooth-Lasso $\hatβ^{SL}$，响应已知连续回归系数变化缓慢的稀疏问题（在某些情况下，这也可以解释为连续变量之间的相关性）。从理论的角度来看，我们建立了变量选择一致性结果，并表明$\hatβ^{Quad}$实现了稀疏不等式，即\textit，一个边界的数量方面的非零组件的“真正的”回归向量。这些结果是在一个比Lasso所用的更弱的Gram矩阵假设下提供的。在某些情况下，这保证了一个显着的改善，套索。仿真结果表明，S-Lasso $\hatβ^{SL}$算法在估计精度上优于Lasso算法、Elastic-Net $\hatβ^{EN}$算法和Fused-Lasso算法。当回归向量是“平滑的”，即\textit，当回归的未知参数的连续系数之间的…
2011-10-07 math.ST stat.TH
Multi-task Highly Adaptive Lasso
Harvard University（哈佛大学）；University of California at Berkeley（加州大学伯克利分校）；University of California at San Francisco（加州大学旧金山分校）；Preva Group（Preva集团）
我们提出了一种新的，完全非参数的多任务学习方法，多任务高度自适应套索（MT-HAL）。MT-HAL同时学习对通用模型重要的特征、样本和任务关联，同时在类似任务之间施加共享的稀疏结构。给定多个任务，我们的方法会自动找到一个稀疏的共享结构。所提出的MTL算法获得了强大的无量纲收敛速度的$o_p(n^{-1/4})$或更好。我们发现，MT-HAL优于基于稀疏的MTL竞争对手在广泛的模拟研究，包括设置与非线性和线性关系，不同水平的稀疏性和任务相关性，以及不同数量的协变量和样本量。
2023-01-27 cs.LG stat.ME stat.ML
Oracle Inequalities for High Dimensional Vector Autoregressions
本文建立了平稳向量自回归模型中LASSO的预测误差和估计精度的非渐近预言不等式。这些不等式用于建立LASSO的一致性，即使当参数的数量比样本量大得多的数量级。我们也给出了条件下，没有相关的变量被排除在外。接下来，给出了自适应LASSO选择正确稀疏模式的非渐近概率。然后，我们给出的条件下，自适应LASSO揭示了正确的稀疏模式渐近。我们建立了非零系数的估计渐近等价于Oracle辅助最小二乘估计。这用于表明非零系数估计值的收敛速率与仅包括相关协变量的最小二乘法的收敛速度相同。
2014-05-15 math.ST stat.ML stat.TH
Adaptive group LASSO selection in quantile models
本文考虑了一个解释变量分组的线性模型。如果模型误差不具有零均值和有界方差，或者如果模型包含离群值，则最小二乘框架是不合适的。因此，分位数回归是一个有趣的选择。为了自动选择相关的变量组，我们提出并研究了自适应组LASSO分位数估计。在变量组个数固定和变量组个数不同两种情况下，我们证明了估计量的稀疏性和渐近正态性。通过蒙特卡罗模拟的数值研究证实了理论结果，并说明了所提出的估计的性能。
2016-07-13 math.ST stat.ME stat.TH
A General Framework for Structured Sparsity via Proximal Optimization
University College London（伦敦大学学院）
我们研究了结构稀疏性的一个广义框架。它扩展了著名的Lasso和Group Lasso方法，将变量的额外约束作为凸优化问题的一部分。该框架提供了一种直接的方式，有利于规定的稀疏模式，如排序，连续区域和重叠组，等等。现有的优化方法仅限于特定的约束集，往往不能很好地扩展样本大小和维度。我们提出了一种新的一阶近似方法，它建立在不动点和逐次逼近的结果。该算法可以应用于一般类的圆锥曲线和范数约束集，并依赖于一个邻近算子的子问题，可以显式计算。在不同的回归问题上的实验证明了该优化算法的有效性及其随问题规模的扩展性。它们还展示了最先进的统计性能，比Lasso和StructOMP有所改进。
2011-06-26 cs.LG stat.ML
Handling correlated and repeated measurements with the smoothed multivariate square-root Lasso
Université Paris Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Univ. Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
稀疏促进范数是高维回归中常用的范数。这种Lasso型估计的一个局限性是，最佳正则化参数取决于未知的噪声水平。诸如伴随Lasso的估计器通过联合估计噪声水平和回归系数来解决这种依赖性。此外，在许多应用中，数据是通过对多个测量值取平均值来获得的：这降低了噪声方差，但它显著减少了样本量，并阻止了精细的噪声建模。在这项工作中，我们提出了一个伴随估计，可以应付复杂的噪声结构，通过使用非平均测量。由此产生的优化问题是凸的，并服从，由于平滑理论，最先进的优化技术，利用稀疏的解决方案。在玩具数据集、逼真的模拟数据和真实的神经成像数据上证明了实际益处。
2020-09-03 cs.LG math.OC stat.AP
The Degrees of Freedom of the Group Lasso
本文研究了超定线性回归模型的块/组Lasso解对观测值的敏感性。这样的正则化被称为促进稀疏模式结构的非重叠组的系数。我们的主要贡献提供了一个局部参数化的解决方案的意见。作为一个副产品，我们给一个无偏估计的自由度的组拉索。在这些结果的其他应用中，可以通过模型选择标准以原则和客观的方式选择Lasso的正则化参数。
2012-05-07 math.ST stat.TH
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Learning the hub graphical Lasso model with the structured sparsity via an efficient algorithm
School of Mathematics, Southwest Jiaotong University（西南交通大学数学学院）；School of Computer and Computing Science, Zhejiang University City College（浙江大学城市学院计算机与计算科学学院）；Engineering Systems and Design, Singapore University of Technology and Design（新加坡科技设计大学工程系统与设计）
针对高维数据下带 hub 节点图模型拟合的计算难题，提出两阶段算法，结合 ADMM 与基于 SSN 的 ALM 挖掘稀疏结构，在保证高估计质量的同时大幅节省执行时间。
2025-05-02 cs.LG cs.NA math.NA
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania（宾夕法尼亚大学）
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是，神经可加模型（NAM）为黑盒深度学习提供了可解释性，并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力，我们提出了稀疏神经添加模型（SNAM），该模型采用组稀疏正则化（例如Group LASSO），其中每个特征由子网络学习，该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性，采用新的技术来处理非参数真理，从而扩展了经典的稀疏线性模型，如LASSO，它只适用于参数真理。具体来说，我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$，和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM，类似于LASSO，可以有精确的支持恢复，即完美的特征选择，适当的正则化。此外，我们表明，SNAM可以很好地推广，并保持“可识别性”，恢复每个功能的效果。通过大量的实验验证了我们的理论，并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
Adaptive Sparse Group Lasso Penalized Quantile Regression via Dual ADMM
Hebei University of Technology（河北工业大学）；University of Connecticut（康涅狄格大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种自适应稀疏组Lasso惩罚分位数回归方法，通过交替方向乘子法优化参数，实现组内和组间稀疏性，经模拟和实证验证其有效性与计算效率。
2026-04-22 stat.CO
On Lasso and Slope drift estimators for Lévy-driven Ornstein--Uhlenbeck processes
研究了高维Lévy驱动的Ornstein-Uhlenbeck过程在稀疏约束下的漂移参数估计问题.结果表明，Lasso和斜率估计实现极小极大最优收敛速率（数值常数），调谐参数选择独立的置信水平，这提高了以前获得的结果为标准的Ornstein-Uhlenbeck过程。结果是非渐近的，并举行的概率和条件期望类似的限制特征值条件的事件。
2022-05-16 math.ST stat.TH
Localized Lasso for High-Dimensional Regression
Kyoto University（京都大学）；NTT Communication Science Laboratories（NTT通信科学实验室）；University College London（伦敦大学学院）；Aalto University（阿尔托大学）
我们引入了本地化的Lasso，它适用于学习模型，这些模型在高维$d$和小样本量$n$的问题中既可解释又具有高预测能力。更具体地说，我们考虑由局部稀疏模型定义的函数，每个数据点一个。我们引入了样本网络正则化来借用模型之间的强度，以及样本排他性组稀疏性（也称为，$\ell_{1,2}$范数）以将多样性引入局部模型中的特征集的选择中。局部模型的稀疏模式的相似性方面的解释。成本函数是凸的，因此具有全局最优解。此外，我们提出了一个简单而有效的基于迭代最小二乘的局部Lasso优化过程，它不需要一个调整参数，并保证收敛到全局最优解。经验表明，该解决方案优于模拟和基因组个性化医学数据的替代方案。
2016-10-14 cs.LG stat.ME stat.ML
Safe Feature Identification Rule for Fused Lasso by An Extra Dual Variable
本文针对高维 Fused Lasso 计算耗时问题，引入额外对偶变量提出安全特征识别规则，可剔除零系数特征并识别同系数相邻特征，实验证明其能有效缩短计算时间。
2024-04-16 math.OC stat.CO
Improved bounds for Square-Root Lasso and Square-Root Slope
将Bellec，Lecué和Tsybakov的结果推广到具有未知方差的稀疏高维线性回归的情形，我们证明了在设计矩阵上的一些温和条件下，两种估计量平方根Lasso和平方根Slope可以达到最优的Minimax预测率，即$(s/n) \log (p/s)$，直到某个常数.这里，$n$是样本大小，$p$是维度，$s$是稀疏性参数。我们还证明了最优的估计误差的$l_q$ -范数，与$q \in [1,2]$的平方根套索，并在$l_2$和排序$l_1$规范的平方根斜率。这两个估计器都是自适应的未知方差的噪声。“平方根斜率”也自适应于真实参数的稀疏性$s$。接下来，我们证明了任何估计依赖于$s$，达到极大极小率承认自适应$s$版本仍然达到相同的速率。我们将此结果应用于平方根套索。此外，对于这两个估计量，我们获得了广泛置信水平的有效率，并改进了浓度特性[Bellec，Lecué和Tsybakov，2017]，其中处理了已知方差的情况。我们的结果是非渐近的。
2017-12-11 math.ST stat.TH
Weakly decomposable regularization penalties and structured sparsity
在文献中已经表明，Lasso估计，或l1-惩罚最小二乘估计，享有良好的预言性质。本文探讨了哪些特殊性质的l1罚允许尖锐的预言结果，然后将这种情况扩展到一般的范数为基础的罚款，满足弱分解条件。
2012-12-10 math.ST stat.TH
On the sign recovery by LASSO, thresholded LASSO and thresholded Basis Pursuit Denoising
基追踪（BP）、基追踪去噪（BPDN）和LASSO是用于在高维线性回归模型（即，当设计矩阵X的行数小于列数时）中识别重要预测因子的流行方法。根据定义，如果没有噪声并且向量b在所有向量s中具有最小的L1范数，使得Xb=Xs（可识别性条件），则BP唯一地恢复回归系数b的向量。此外，LASSO仅在更强的不可表示性条件下才能恢复b的符号。同时，它是已知的，模型选择性质的LASSO可以改善其估计的硬阈值。本文通过证明阈值LASSO、阈值BPDN和阈值BP在有噪声和无噪声的情况下恢复b的符号当且仅当b是可识别的并且足够大来支持这些发现。特别地，如果X具有iid高斯项并且预测因子的数量随着样本量线性增长，则当信号稀疏性渐近地低于Donoho-Tanner过渡曲线时，这些阈值估计器可以恢复b的符号。这与常规LASSO相反，常规LASSO仅在信号稀疏度趋于0时才渐近恢复b的符号。数值实验表明，与不可表示性条件不同，可识别性条件似乎不受$X$矩阵中相关结构的影响.
2021-08-31 stat.ME
On Lasso estimator for the drift function in diffusion models
本文研究了扩散情形下漂移分量的Lasso估计的性质。更具体地说，我们考虑了一个多元参数扩散模型$X$连续观察到的间隔$[0,T]$和研究稀疏约束下的漂移估计。我们允许模型和参数空间的维数很大。利用扩散过程的线性泛函的浓度不等式，得到了Lasso估计的一个预言不等式，并得到了$L^2$ -距离的一个误差界.概率部分是基于经验过程理论的元素，特别是在链接方法。
2023-03-28 math.ST stat.TH
$χ^2$-confidence sets in high-dimensional regression
我们研究了一个高维回归模型。目的是为给定的一组回归系数构造置信集，将所有其他回归系数视为冗余参数。我们应用一个一步的过程与平方根Lasso作为初始估计和多元平方根Lasso构建一个替代Fisher信息矩阵。多元平方根Lasso基于核范数损失和$\ell_1$ -惩罚。我们表明，这个过程导致一个渐近$χ^2$分布的枢轴，与剩余项仅取决于初始估计的$\ell_1$误差。我们发现，根据$\ell_1$ -稀疏条件下的回归系数$β^0$的平方根拉索产生一致的噪声方差估计，我们建立尖锐的预言不等式表明，剩余项是小的进一步稀疏条件下的$β^0$和相容性条件的设计。
2015-09-15 math.ST stat.TH
Logistic regression and Ising networks: prediction and estimation when violating lasso assumptions
伊辛模型最初是为了在统计物理学中模拟固体的磁化而开发的。作为一个二进制变量的网络，成为“活跃”的概率只取决于直接的邻居，伊辛模型似乎适合于许多其他过程。例如，它最近被应用于心理学，以模拟精神障碍的共同发生。它已被证明，在伊辛网络中的变量（节点）之间的连接可以估计与一系列的逻辑斯谛回归。这自然会导致这样的模型如何预测新的观察和如何以及伊辛模型的参数可以使用逻辑斯谛回归估计的问题。在这里，我们专注于高维设置更多的参数比观察，并考虑违反假设的套索。特别是，我们确定的后果时，稀疏性和限制特征值假设不满足预测和估计。我们解释使用的想法连接副本（极端多重共线性）的事实，即预测变得更好时，稀疏性或多重共线性不满意。我们用模拟来说明这些结果。
2018-07-28 math.ST stat.TH
A Trace Lasso Regularized L1-norm Graph Cut for Highly Correlated Noisy Hyperspectral Image
ATDC, IIT Kharagpur（印度理工学院卡拉格普尔分校ATDC）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
本文提出了一种基于自适应跟踪Lasso正则化L1范数的高光谱图像降维方法，称为“跟踪Lasso-L1图割”（TL-L1 GC）。该方法的基本思想是通过同时考虑数据样本的稀疏性和相关性来生成最优投影矩阵。目标函数中使用的常规L2范数对噪声和离群值敏感。因此，在这项工作中，L1-范数被用作L2-范数的鲁棒替代。此外，为了进一步改善结果，我们使用了一个惩罚函数的跟踪套索与L1 GC方法。它通过考虑数据的相关性和稀疏性，同时自适应地平衡L2-范数和L1-范数。我们得到最佳的投影矩阵，通过最大化的类间色散类内色散的比例，使用L1范数与跟踪套索作为惩罚。此外，该TL-L1 GC方法的迭代过程中提出了解决的优化函数。在两个基准HSI数据集上对该方法的有效性进行了评估。
2018-07-22 cs.CV cs.LG stat.ML
Bad estimation, good prediction: the Lasso in dense regimes
针对高维组学数据中Lasso在稀疏性假设被违反时仍具强预测性能的现象，本文证明稠密的高维联合潜变量模型下Lasso可生成具良好预测误差界的稀疏预测规则，且预测界随预测变量数增加而减小，为解释稀疏预测规则提供了理论依据。
2025-02-11 stat.AP stat.ME
C-HiLasso: A Collaborative Hierarchical Sparse Modeling Framework
University of Minnesota（明尼苏达大学）；Technion（以色列理工学院）
稀疏建模是一个强大的数据分析和处理框架。传统上，通过求解L1正则化线性回归问题（通常称为Lasso或Basis Pursuit）来执行该框架中的编码。在这项工作中，我们结合了稀疏诱导属性的套索模型在个别功能水平，与块稀疏属性的组套索模型，稀疏组的功能进行联合编码，获得稀疏模式层次结构。这就产生了层次套索（HiLasso），它显示了重要的实际建模优势。然后，我们将这种方法扩展到协作的情况下，一组同时编码的信号在较高的（组）水平上共享相同的稀疏模式，但不一定在较低的（组内）水平，获得协作HiLasso模型（C-HiLasso）。这样的信号然后共享相同的活动组或类，但不一定是相同的活动集。该模型非常适合于源识别和分离等应用。一个有效的优化过程，保证收敛到全局最优，开发这些新的模型。新的框架和优化方法的基本介绍是补充与实验的例子和理论结果的恢复保证所提出的模型。
2011-03-04 cs.CV stat.ML
Joint Variable Selection for Data Envelopement Analysis via Group Sparsity
本研究发展一个资料驱动的群组变数选择方法，以应用于资料分析（DEA），一个非参数线性规划方法来估计生产边界。所提出的方法扩展组Lasso（最小绝对收缩和选择算子）设计变量选择（通常预定义的）组变量的线性回归模型的DEA模型。特别是，一个特殊的约束版本的组Lasso的损失函数适用于DEA模型中的变量选择推导和求解的一个新的定制算法的基础上的交替方向法的乘数（ADMM）。本研究进一步进行了深入的评估，提出的方法对两个广泛使用的变量选择方法-效率贡献的措施（ECM）的方法和基于回归（RB）的测试-在DEA通过蒙特卡洛模拟。仿真结果表明，我们的方法提供了更有利的性能相比，其基准。
2014-02-16 math.OC stat.ME
Error Bounds for Compressed Sensing Algorithms With Group Sparsity: A Unified Approach
在压缩感知中，为了从可能有噪声的测量中恢复稀疏或近似稀疏的向量，最流行的方法是$\ell_1$ -范数最小化。[1]中给出了真实向量和估计向量之间误差的$\ell_2$范数的上界，[2]中进行了回顾，而[3]中给出了$\ell_1$范数的界。当未知向量不是常规稀疏而是“组稀疏”时，在文献中已经提出了$\ell_1$ -范数的各种替代方案，包括组LASSO、稀疏组LASSO和具有树结构重叠组的组LASSO。然而，这些修改后的目标函数中的任何一个都没有误差界限。本文基于可分解范数和$γ$ -可分解范数的概念，给出了一种统一的方法来推导真向量与其逼近之间的误差上界。给出的边界覆盖了上面提到的所有规范，也为将来选择规范以适应稀疏性的替代形式提供了指导。
2015-12-29 stat.ML
Theoretical Properties of the Overlapping Groups Lasso
在线性回归环境中，我们给出了两组关于Jacob，Obozinski和Vert（2009）重叠的分组套索的理论结果。该方法允许在稀疏回归中联合选择预测因子，允许编码为一组组的预测因子的复杂结构稀疏性。这个灵活的框架表明，任意复杂的结构可以用一组复杂的组进行编码。我们的研究结果表明，这种策略的结果在意想不到的理论后果的程序。特别地，我们给出了两组结果：（1）预测和估计的有限样本界，（2）渐近分布和选择。这两组结果都深入了解了选择一组越来越复杂的组进行该过程的后果，以及当该组无法恢复真正的稀疏模式时会发生什么。此外，这些结果证明了分组套索手术（有和无重叠组）之间的差异和相似性。我们的分析表明，必须谨慎选择组集-过于复杂的组集会破坏分析。
2011-11-09 stat.ML
Robust Fused Lasso Penalized Huber Regression with Nonasymptotic Property and Implementation Studies
对于现实中的一些特殊数据，如基因数据，相邻的基因可能具有相似的功能。因此，确保相邻基因之间的平滑性是非常必要的。但是，在这种情况下，标准的套索惩罚似乎不再合适了。另一方面，在高维统计中，一些数据集很容易被离群值污染或包含重尾分布的变量，这使得许多传统的方法不足。为了解决这两个问题，本文提出了一种用于稳健估计和推理的自适应Huber回归，其中，融合套索惩罚用于鼓励系数的稀疏性以及它们的差的稀疏性，即，系数分布的局部恒定性。理论上，我们建立了它的非渐近估计误差界下的$\ell_2$ -范数在高维设置。所提出的估计方法被公式化为一个凸的、非光滑的和可分离的优化问题，因此，可以采用交替方向的乘子方法。最后，我们进行了模拟研究和实际癌症数据的研究，这表明所提出的估计方法是更强大的和预测。
2022-09-28 stat.ME
The Lasso error is bounded iff its active set size is bounded away from n in the proportional regime
本文在比例机制下证明 Lasso 的 L2 风险有界当且仅当其活跃变量数远离样本量 n，并利用该等价关系给出相变的简化证明，同时将分析扩展到常数阶小调节参数。
2025-01-05 math.ST stat.TH
An Efficient Augmented Lagrangian Based Method for Constrained Lasso
Department of Systems Engineering and Engineering Management, the Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）
变量选择是统计学和机器学习中最重要的任务之一。为了包含更多关于回归系数的先验信息，文献中提出了约束Lasso模型。本文提出了一种求解线性等式约束Lasso问题的不精确增广拉格朗日方法。通过充分利用问题的二阶稀疏性，我们能够大大降低计算成本，并获得高效的实现。仿真数据和实际数据的数值结果表明，该算法在运行时间和求解精度方面均优于现有的一阶方法。
2019-03-12 cs.LG math.OC stat.ML
