The non-overlapping statistical approximation to overlapping group lasso
University of Virginia（弗吉尼亚大学）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文提出一种可分离惩罚来近似重叠组 lasso，证明其是最紧可分离松弛且估计量统计等价，同时大幅提升大规模高维问题中的计算效率。
2024-02-20 cs.LG stat.ML
The Group Lasso for Design of Experiments
本文介绍了群套索在实验设计中的一个应用。请注意，我们并不试图解释套索组的试验设计。相反，我们解释了如何在试验设计中使用群体套索的思想，表明构造最优设计矩阵的问题可以转化为群体套索问题。在一些数值例子中，我们表明，我们可以得到的正交表作为群体套索问题的解决方案。
2018-02-23 stat.ML
Sparse group lasso and high dimensional multinomial classification
University of Copenhagen（哥本哈根大学）
使用坐标梯度下降算法来解决稀疏群套索优化问题。该算法适用于广泛的一类凸损失函数。证明了该算法的收敛性，并将其应用于多项式稀疏群Lasso分类器的性能研究。在三个不同的实际数据的例子中，多项式组套索明显优于多项式套索在实现的分类错误率方面，并在包括更少的分类功能。我们的稀疏组套索实现的运行时间与R包glmnet中实现的多项式套索算法具有相同的数量级。我们的实现可以很好地适应问题的大小。考虑的高维例子之一是具有10k特征的50类分类问题，这相当于估计500k参数。该实现可作为R包msgl获得。
2013-02-06 cs.LG stat.CO stat.ML
Dynamic Screening: Accelerating First-Order Algorithms for the Lasso and Group-Lasso
最近的计算策略的基础上筛选测试已被提出来加速算法解决惩罚稀疏回归问题，如套索。这种方法建立在这样的想法上，即值得投入一些小的计算工作来定位不活跃的原子并在预处理阶段将它们从字典中移除，使得与较小的字典一起工作的回归算法随后将更快地收敛到初始问题的解决方案。我们相信有一种更有效的方法来筛选字典并获得更大的加速：在回归算法的每次迭代中，可以利用算法计算来免费获得新的筛选测试，并在迭代过程中增加筛选效果。从此以后，在第一次迭代之前，字典被动态地筛选，而不是被静态地、一劳永逸地筛选。我们正式这个动态筛选原则，在一个通用的算法方案，并应用它通过嵌入在一些一阶算法适应现有的筛选测试，以解决套索或新的筛选测试，以解决组套索。在大量的合成数据以及真实世界的声音和图像实验中评估了计算增益。它们显示了筛选效率和运行时间方面的增益。
2014-12-12 cs.LG stat.ML
Proximal methods for the latent group lasso penalty
Istituto Italiano di Tecnologia（意大利技术研究院）；MIT（麻省理工学院）；Università di Genova（热那亚大学）
我们考虑一个正则化的最小二乘问题，正则化的结构稀疏诱导规范，它扩展了通常的$\ell_1$和组套索惩罚，允许子集重叠。这样的正则化导致非光滑的问题，难以优化，我们在本文中提出了一个合适的版本的加速邻近方法来解决这些问题。我们证明了一个嵌套的过程，获得了一个加速的邻近方法与内部算法计算的邻近算子的收敛性。通过利用罚函数的几何性质，设计了一种新的有效集策略，使得内迭代速度较快，从而保证了整个算法的良好计算性能.我们的方法允许处理高维问题，而无需进行降维预处理，从而使最先进的方法具有更好的计算和预测性能，如在玩具和真实数据上的经验所示。
2012-09-03 cs.LG math.OC stat.ML
Exact block-wise optimization in group lasso and sparse group lasso for linear regression
组套索是一种惩罚回归方法，用于回归问题，其中协变量被划分为组以促进组水平的稀疏性。现有的方法用于找到组套索估计要么使用梯度投影方法来更新整个系数向量同时在每一步，或更新一组系数的时间使用不精确的线搜索，以近似的最佳值为该组系数时，所有其他组的系数是固定的。我们提出了一种新的计算方法的组套索在线性回归的情况下，单线搜索（SLS）算法，它通过计算精确的最佳值为每个组（当所有其他系数是固定的）与一个单变量线搜索。我们进行模拟表明，SLS算法往往比现有的计算方法更有效。我们还通过符号单线搜索（SSLS）算法将SLS算法推广到稀疏群套索问题，并给出了支持这两种算法的理论结果。
2010-11-11 stat.ML
Classification with Sparse Overlapping Groups
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在高维机器学习的应用中，具有稀疏性约束的分类问题扮演着重要的角色。在一些情况下，特征可以被分组在一起，使得可以选择或不选择特征的整个子集。然而，在许多应用中，这可能限制性太大。在本文中，我们感兴趣的结构化稀疏特征选择的限制较少的形式：我们假设，而功能可以根据一些概念的相似性进行分组，而不是所有的功能在一个组需要选择手头的任务。当组由不相交的特征集组成时，这有时被称为“稀疏组”套索，并且它允许使用比传统组套索方法更丰富的模型类别。我们的框架进一步推广传统的稀疏组套索允许重叠的群体，在许多应用中需要额外的灵活性，并提出了进一步的挑战。本文的主要贡献是一个新的程序称为稀疏重叠组（SOG）套索，凸优化程序，自动选择相似的功能，在高维分类。我们建立了一个相当一般的设置下SOGlasso分类问题的模型选择误差界。特别是，误差界是第一个这样的结果，使用稀疏组套索分类。此外，一般SOGlasso约束专门用于套索和群套索的结果，其中一些是已知的，一些是新的。SOGlasso的动机是多学科功能磁共振成像研究，其中功能活动是使用脑体素作为特征，脑磁图（MEG）中的源定位问题，并在微阵列数据分析中分析基因激活模式进行分类。使用真实数据和合成数据的实验证明了SOGlasso与Lasso和Group Lasso相比的优势。
2014-09-04 cs.LG stat.ML
A Communication-Efficient Parallel Method for Group-Lasso
Tsinghua University（清华大学）
Group-Lasso（gLasso）通过考虑输入变量的分组结构来识别预测响应变量的重要解释因子。然而，大多数现有的gLasso算法都不能扩展到处理大规模数据集，这在许多应用程序中正在成为一种常态。在本文中，我们提出了一个分而治之的并行算法（DC-gLasso），以扩大gLasso的回归与分组结构的任务。DC-gLasso只需要两次迭代来收集和聚合数据子集上的局部估计，并且在某些条件下可以证明是正确的，以恢复真实模型。我们进一步扩展它来处理组之间的重叠。在广泛的合成和真实世界数据集上的实证结果表明，DC-gLasso可以在不牺牲回归精度的情况下显着提高时间效率。
2016-12-07 cs.LG stat.ML
A note on the group lasso and a sparse group lasso
我们考虑了线性模型的群套索罚。我们注意到，用于解决该问题的标准算法假设每组中的模型矩阵是标准正交的。在这里，我们考虑一个更一般的惩罚，混合套索（L1）与群套索（“两范数”）。这种惩罚产生的解决方案是稀疏的组和个人的功能水平。我们推导出一个有效的算法产生的凸问题的基础上坐标下降。该算法也可用于求解具有非正交模型矩阵的群套索的一般形式。
2010-01-05 math.ST stat.TH
Non-asymptotic Oracle Inequalities for the Lasso and Group Lasso in high dimensional logistic model
研究了逻辑斯谛回归模型中函数$f\_{0}$的估计问题。我们建议估计这个函数$f\_{0}$的稀疏近似建立作为一个给定的字典的$p$功能的元素的线性组合。该稀疏近似由Lasso或Group Lasso过程选择。在此背景下，我们在\cite{BRT}中引入的限制特征值假设下，给出了Lasso和群Lasso的非渐近预言不等式。
2015-05-20 math.ST stat.AP stat.TH
Large-scale Feature Selection of Risk Genetic Factors for Alzheimer's Disease via Distributed Group Lasso Regression
1 School of Computing, Informatics；2 Imaging Genetics Center, Institute for Neuroimaging
全基因组关联研究（GWAS）在阿尔茨海默病（AD）的遗传学研究中取得了巨大的成功。不同研究机构的合作成像遗传学研究显示了检测遗传风险因素的有效性。然而，GWAS数据的高维性对检测AD的风险SNP提出了重大挑战。选择相关特征在预测响应变量中至关重要。在这项研究中，我们提出了一种新的分布式特征选择框架（DFSF）进行大规模的成像遗传学研究在多个机构。为了加快学习过程，我们提出了一个家庭的分布式组Lasso筛选规则，以确定不相关的功能，并将它们从优化中删除。然后，我们通过在一系列参数中执行组Lasso特征选择过程来选择相关的组特征。最后，我们采用稳定性选择来对可能有助于早期检测AD的高风险SNP进行排名。据我们所知，这是第一个分布式特征选择模型集成组Lasso特征选择以及检测跨多个研究机构系统的风险遗传因素。对分布在多个机构的809名受试者进行了590万个SNP的实证研究，证明了所提出的方法的效率和有效性。
2017-04-27 cs.LG stat.ML
Lasso Screening Rules via Dual Polytope Projection
Arizona State University（亚利桑那州立大学）
Lasso是一种广泛使用的回归技术，用于寻找稀疏表示。当特征空间的维数和样本数量非常大时，解决Lasso问题仍然具有挑战性。为了提高解决大规模Lasso问题的效率，El Ghaoui和他的同事们提出了SAFE规则，该规则能够快速识别不活跃的预测因子，即，在解向量中具有$0$分量的预测变量。然后，可以从优化问题中移除不活动的预测因子或特征以减小其规模。通过将标准Lasso变换为其对偶形式，可以表明非活动预测器包括对最优对偶解的非活动约束的集合。在本文中，我们提出了一个高效和有效的筛选规则，通过对偶多面体投影（DPP），这主要是基于最佳对偶解的唯一性和非扩张性，由于事实上，在对偶空间中的可行集是凸的和封闭的多面体。此外，我们表明，我们的筛选规则可以扩展到确定组拉索中的非活性组。据我们所知，目前没有“确切”的筛选规则组拉索。我们已经评估了我们的筛选规则，使用合成和真实的数据集。结果表明，我们的规则是更有效地识别不活跃的预测比现有的国家的最先进的Lasso筛选规则。
2014-10-15 cs.LG stat.ML
Adaptive Lasso and group-Lasso for functional Poisson regression
高维Poisson回归已成为分析海量数据集的标准框架。在这项工作中，我们估计强度函数的泊松回归模型，通过使用字典的方法，它概括了经典的基础方法，结合一个Lasso或一组Lasso程序。选择取决于需要校准的惩罚权重。由于异方差性，在高斯框架下开发的标准方法不能直接应用于泊松模型。在这里，我们提供了数据驱动的Lasso和组Lasso来自适应泊松情况下的集中不等式的权重。我们表明，相关的Lasso和组Lasso程序理论上是最优的Oracle方法。模拟用于评估我们的程序的经验性能，并提供了新一代测序数据分析的原始应用程序。
2014-12-26 math.ST stat.ME stat.TH
Recursive $\ell_{1,\infty}$ Group lasso
我们引入了一个递归自适应组套索算法的实时惩罚最小二乘预测，产生一个时间序列的最佳稀疏预测系数向量。在每个时间索引的算法计算的最佳$\ell_{1,\infty}$惩罚递归最小二乘（RLS）预测器的精确更新。每次更新最小化一个凸但不可微的函数优化问题。我们开发了一个在线同伦方法，以减少计算复杂度。数值仿真结果表明，该算法在求解群稀疏系统辨识问题时，性能优于$\ell_1$正则化RLS算法，且实现复杂度低于直接群套索算法.
2011-01-29 stat.ME stat.ML
A Brief Introduction to the Temporal Group LASSO and its Potential Applications in Healthcare
时间组LASSO是用于预测随时间变化的响应变量的多任务、正则化回归方法的示例。这项工作的目的是向读者介绍时间组LASSO及其相关方法背后的概念，以及该方法在医疗保健环境中的潜在应用类型。我们认为，该方法是有吸引力的，因为它能够减少过度拟合，选择预测因子，随着时间的推移学习平滑效应模式，最后，它的简单性
2017-04-12 stat.ML
Identifying Genetic Risk Factors via Sparse Group Lasso with Group Graph Structure
Arizona State University（亚利桑那州立大学）；Baidu Research（百度研究院）；University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
全基因组关联研究（GWA研究或GWAS）研究遗传变异（如单核苷酸多态性（SNP））与个体性状之间的关系。最近，在GWA研究中将生物先验知识与机器学习方法结合起来引起了越来越多的关注。然而，在现实世界中，核苷酸水平的生物先验尚未得到很好的研究。另外，在基因水平上的研究，例如，蛋白质-蛋白质相互作用和途径，是更严格和合法的，它是潜在的有益的，利用这样的基因水平的先验GWAS。在本文中，我们提出了一种新的两级结构稀疏模型，称为稀疏组套索与组级图结构（SGLGG），GWAS。它可以被认为是一个稀疏组Lasso以及一个组级图Lasso。从本质上讲，SGLGG惩罚核苷酸水平的稀疏性，并利用基因水平的先验（基因组和网络），以识别表型相关的风险SNP。采用乘子算法中的交替方向法对模型进行优化。我们对阿尔茨海默病神经影像计划全基因组序列数据和神经影像数据的实验证明了SGLGG的有效性。作为一个回归模型，它是有竞争力的国家的最先进的稀疏模型;作为一个变量选择方法，SGLGG是有前途的识别阿尔茨海默病相关的风险SNPs。
2017-09-12 cs.LG q-bio.GN stat.ML
Automatic Node Selection for Deep Neural Networks using Group Lasso Regularization
Doshisha University（同志社大学）；Advanced Telecommunications Research Institute International（国际高级电信研究所）
我们通过将DNN-HMM混合语音识别器应用于TED Talks语音数据来检查组Lasso（gLasso）正则化器在选择深度神经网络（DNN）隐藏层的显着节点时的效果。我们测试了两种类型的gLasso正则化，一种用于传出权重向量，另一种用于传入权重向量，以及两种大小的DNN：2048个隐藏层节点和4096个节点。此外，我们比较了gLasso和L2正则化器。我们的实验结果表明，我们的DNN训练（其中嵌入了gLasso正则化器）成功地选择了实现高分类能力所必需且足够的隐藏层节点。
2016-11-17 cs.CL cs.LG stat.ML
The Benefit of Group Sparsity
本文提出了一个群Lasso的理论，它使用了一个叫做强群稀疏性的概念。我们的结果表明，组Lasso是优于标准Lasso的强组稀疏信号。这提供了一个令人信服的理论理由，使用组稀疏正则化时，底层组结构与数据一致。此外，该理论预测了一些限制的组Lasso制定的模拟研究证实。
2009-03-17 math.ST stat.ML stat.TH
Complexity Analysis of the Lasso Regularization Path
University of California, Berkeley（加州大学伯克利分校）
Lasso的正则化路径可以被证明是分段线性的，使得可以“跟随”并显式地计算整个路径。本文分析了这种流行的策略，并证明了其最坏情况下的复杂性是指数变量的数量。然后，我们反对这个悲观的结果（乐观）近似分析：我们表明，近似路径最多O（1/sqrt（λ））线性段总是可以得到的，其中路径上的每个点都保证是最优的相对ε-对偶差距。我们完成了我们的理论分析与实际算法来计算这些近似路径。
2012-05-19 cs.LG math.OC stat.ML
Efficient Clustering of Correlated Variables and Variable Selection in High-Dimensional Linear Models
Indian Statistical Institute（印度统计研究所）
本文提出了一种自适应聚类Lasso（ACL）方法，用于变量强相关的高维稀疏回归模型的变量选择。为了处理相关变量，聚类或分组变量，然后追求模型拟合的概念被广泛接受。当维数很高时，找到一个合适的群结构和原来的问题一样困难。ACL是一个三阶段的过程，在第一阶段，我们使用Lasso（或其自适应或阈值版本）进行初始选择，然后我们还包括那些未被Lasso选择但与Lasso选择的变量密切相关的变量。在第二阶段，我们集群的变量的基础上减少预测集，并在第三阶段，我们进行稀疏估计，如Lasso集群代表或组Lasso的基础上产生的结构聚类过程。我们表明，我们的程序是一致的和有效的，在寻找真正的底层人口群体结构（假设不可表示和β-min条件下）。我们还研究了我们的方法的组选择的一致性，我们使用模拟和伪真实数据集的例子来支持理论。
2016-03-11 cs.LG stat.ML
Theoretical Properties of the Overlapping Groups Lasso
在线性回归环境中，我们给出了两组关于Jacob，Obozinski和Vert（2009）重叠的分组套索的理论结果。该方法允许在稀疏回归中联合选择预测因子，允许编码为一组组的预测因子的复杂结构稀疏性。这个灵活的框架表明，任意复杂的结构可以用一组复杂的组进行编码。我们的研究结果表明，这种策略的结果在意想不到的理论后果的程序。特别地，我们给出了两组结果：（1）预测和估计的有限样本界，（2）渐近分布和选择。这两组结果都深入了解了选择一组越来越复杂的组进行该过程的后果，以及当该组无法恢复真正的稀疏模式时会发生什么。此外，这些结果证明了分组套索手术（有和无重叠组）之间的差异和相似性。我们的分析表明，必须谨慎选择组集-过于复杂的组集会破坏分析。
2011-11-09 stat.ML
The Degrees of Freedom of the Group Lasso
本文研究了超定线性回归模型的块/组Lasso解对观测值的敏感性。这样的正则化被称为促进稀疏模式结构的非重叠组的系数。我们的主要贡献提供了一个局部参数化的解决方案的意见。作为一个副产品，我们给一个无偏估计的自由度的组拉索。在这些结果的其他应用中，可以通过模型选择标准以原则和客观的方式选择Lasso的正则化参数。
2012-05-07 math.ST stat.TH
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
An ADMM Algorithm for a Generic $\ell_0$ Sparse Overlapping Group Lasso Problem
本文提出一种 ADMM 算法求解任意重叠结构的通用 $\ell_0$ 稀疏组 Lasso 问题，并给出 $\ell_1$ 与 $\ell_0$ 稀疏组 Lasso 问题的上下界及其计算算法。
2023-10-29 math.ST stat.TH
An algorithm for the multivariate group lasso with covariance estimation
本文研究了考虑相关误差项的多元线性回归模型的一个组Lasso估计。一个块坐标下降算法被用来计算这个估计。我们用分类数据和多变量时间序列数据进行了模拟研究，这些数据是预测变量之间自然分组的典型设置。我们的模拟研究表明，所提出的组套索估计的替代估计相比，具有良好的性能。我们说明了一个基因表达的时间序列数据集的方法。
2015-12-16 stat.CO stat.ME
From safe screening rules to working sets for faster Lasso-type solvers
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高等电信学院LTCI实验室）
凸稀疏促进正则化在现代统计学习中无处不在。通过构造，它们产生具有少数非零系数的解，这对应于对偶优化公式中的饱和约束。工作集（WS）策略是通用的优化技术，包括在解决简单的问题，只考虑一个子集的约束，其索引形式的WS。工作集方法，因此涉及两个嵌套的迭代：外循环对应的定义的WS和内循环调用一个求解器的子问题。对于Lasso估计器，WS是一组特征，而对于Group Lasso，它指的是一组组。在实践中，WS在这种情况下通常很小，因此相关联的特征Gram矩阵可以适合存储器。在这里，我们表明，高斯-Southwell规则（贪婪的块坐标下降技术的策略）导致快速求解器在这种情况下。结合工作集策略的基础上积极使用所谓的间隙安全筛选规则，我们提出了一个求解器实现国家的最先进的性能稀疏学习问题。结果在Lasso和多任务Lasso估计器上呈现。
2017-05-01 cs.LG math.OC stat.CO
Sparse Overlapping Sets Lasso for Multitask Learning and its Application to fMRI Analysis
当对一项任务有用的功能对其他任务也有用时，多任务学习可能会有效，并且组套索是选择公共功能子集的标准方法。在本文中，我们感兴趣的是一种限制较少的多任务学习形式，其中（1）可用的特征可以根据相似性的概念组织成子集，（2）在一个任务中有用的特征与最适合其他任务的特征相似，但不一定相同。本文的主要贡献是一个新的过程称为稀疏重叠集（SOS）套索，凸优化，自动选择相关的学习任务相似的功能。误差界SOSlasso推导出其一致性建立平方误差损失。特别是，SOSlasso的动机是多学科功能磁共振成像研究，其中功能活动是使用大脑体素作为特征进行分类的。使用真实数据和合成数据进行的实验证明了SOSlasso与lasso和group lasso相比的优势。
2013-11-22 cs.LG stat.ML
Improving Group Lasso for high-dimensional categorical data
即使对于中等数量的变量，稀疏建模或分类数据的模型选择也具有挑战性，因为编码一个类别或水平大致需要一个参数。Group Lasso是一种众所周知的用于选择连续或分类变量的高效算法，但与所选因子相关的所有估计值通常不同。因此，拟合的模型可能不是稀疏的，这使得模型解释困难。为了获得稀疏的解决方案的组套索，我们提出了以下两个步骤的过程：首先，我们降低数据的维数使用组套索，然后选择最终的模型，我们使用一个小家庭的模型，通过聚类水平的个别因素的信息标准。我们调查选择正确性的算法在稀疏的高维场景。我们还在合成数据集和真实数据集上测试了我们的方法，并表明它在预测精度或模型维度方面优于最先进的算法。
2022-11-11 stat.ME stat.ML
Approximate Post-Selective Inference for Regression with the Group LASSO
在使用LASSO组（或广义变体，如重叠、稀疏或标准化LASSO组）进行选择后，在没有对选择偏倚进行调整的情况下，对所选参数的推断是不可靠的。在惩罚高斯回归设置，现有的方法提供了选择事件，可以表示为线性不等式的数据变量的调整。然而，这样的表示，未能举行选择与集团LASSO和实质上阻碍了范围内的后续后选择推理。关键问题的推理兴趣-例如，推理的影响，选定的变量的结果-仍然没有答案。在本文中，我们开发了一个一致的，后选择，贝叶斯方法来解决现有的差距，通过推导出一个似然调整因子和近似值，消除偏见的选择组。在模拟数据和Human Connectome Project数据上的实验表明，我们的方法可以恢复所选组内参数的影响，同时只需付出很小的代价进行偏差调整。
2022-08-13 math.ST stat.ME stat.ML
Oracle Efficient Estimation of Structural Breaks in Cointegrating Regressions
在本文中，我们提出了一个自适应组套索过程，有效地估计协整回归的结构突变。众所周知，在结构突变背景下，群Lasso估计不同时具有估计相容性和模型选择相容性。因此，我们使用第一步组套索估计的发散数目的断点候选人，以产生第二自适应组套索估计的权重。我们证明了参数变化的估计一致的组套索和显示的估计休息的数量是大于真实的数字，但仍然足够接近它，然后，我们使用这些结果，并证明了自适应组套索具有预言性质，如果权重从我们的第一步估计。仿真结果表明，该估计器提供了预期的结果。美国长期货币需求函数的经济应用表明了这种方法的实际意义。
2021-04-20 econ.EM stat.ML
Consistent group selection in high-dimensional linear regression
在协变量可以自然分组的回归问题中，Lasso组是一种有吸引力的变量选择方法，因为它尊重数据中的分组结构。我们研究了当组数超过样本量时，高维环境下Lasso组的选择和估计性质。我们提供了充分条件，在此条件下，Lasso组选择一个模型，该模型的维数与具有高概率的基础模型相当，并且是估计一致的。但是，Lasso组通常不是选择一致的，并且倾向于选择在模型中不重要的组。为了改善选择结果，我们提出了一种自适应组Lasso方法，它是自适应Lasso的推广，需要一个初始估计。我们证明了在一定条件下，当Lasso群作为初始估计时，自适应Lasso群在群选择中是相容的。
2010-11-29 math.ST stat.TH
A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent
Stanford University（斯坦福大学）
本研究提出基于块坐标下降的快速可扩展算法，结合Newton法与自适应二分法求解组Lasso及组弹性网正则化路径，开发的adelie包速度比同类最快工具快3-10倍，且lasso求解性能媲美glmnet。
2024-05-14 cs.LG cs.MS cs.SE
The Complete Lasso Tradeoff Diagram
高维回归中的一个基本问题是理解I型和II型错误之间的权衡，或者等价地，变量选择中的错误发现率（FDR）和功率。为了解决这个重要的问题，我们提供了第一个完整的权衡图，区分所有对的FDR和电源，可以渐近实现的套索与一些选择其罚参数从剩余的对，在一个政权的线性稀疏随机设计。无论信号有多强，我们的图所表征的FDR和功率之间的权衡都成立。特别是，我们的研究结果提高了早期的Lasso权衡图arXiv：1511.01957通过识别两个简单的，但基本的限制对FDR和电源。当回归问题在Donoho-Tanner相变之上时，改进更显著。最后，我们提出了广泛的模拟研究，以确认完整的套索权衡图的清晰度。
2020-10-29 cs.IT math.IT math.ST
Consistent feature selection for neural networks via Adaptive Group Lasso
University of Delaware（特拉华大学）；Dalhousie University（达尔豪斯大学）
在医学和工程科学中广泛使用深度学习的一个主要障碍是其可解释性。虽然神经网络模型是进行预测的强大工具，但它们通常很少提供有关哪些特征在影响预测准确性方面起重要作用的信息。为了克服这个问题，已经提出了许多用于利用神经网络学习的正则化过程以丢弃非重要特征。不幸的是，由于缺乏理论结果，人们对此类管道的适用性产生了怀疑。在这项工作中，我们提出并建立了一个理论保证使用自适应组套索选择重要功能的神经网络。具体来说，我们表明，我们的特征选择方法是一致的单输出前馈神经网络与一个隐藏层和双曲正切激活函数。我们证明了它的适用性，使用模拟和数据分析。
2021-12-03 cs.LG math.ST stat.ML
Efficient Path Algorithms for Clustered Lasso and OSCAR
The Institute of Statistical Mathematics（统计数学研究所）
在高维回归中，根据其对结果的影响进行特征聚类通常与特征选择一样重要。为此，聚类Lasso和八角形收缩和回归聚类算法（OSCAR）被用来自动生成特征组，分别由成对$L_1$范数和成对$L_\infty$范数。本文提出了有效的路径算法聚类Lasso和OSCAR的正则化参数来构建解决方案的路径。尽管穷举成对正则化中的项太多，但通过使用这些项的对称性来降低其计算成本。利用图论的有关理论，导出了检验各特征组次梯度方程的简单等价条件。数值实验结果表明，所提出的算法比现有的算法更有效。
2020-06-16 cs.LG stat.CO stat.ML
Fast projections onto mixed-norm balls with applications
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
联合稀疏性为特征选择提供了强有力的结构线索，特别是对于预期表现出“分组”行为的变量。这种行为通常通过组套索，多任务套索和相关方法来建模，其中特征选择通过混合范数来实现。几种基于混合范数的稀疏模型受到了广泛的关注，并且在某些情况下也可以使用高效的算法。令人惊讶的是，几个约束稀疏模型似乎缺乏可扩展的算法。我们通过提出批处理和在线（随机梯度）优化方法来解决这一缺陷，这两种方法都依赖于有效的预测到混合范数球。我们说明我们的方法，将其应用到多任务套索。最后，我们提出一些悬而未决的问题。
2012-04-06 cs.LG math.OC stat.ML
The log-linear group-lasso estimator and its asymptotic properties
在多项抽样方案下，我们定义了表示多层对数线性模型的指数分布族的自然参数的群Lasso估计。这样的估计出现作为基于组套索罚的凸惩罚似然最优化问题的解决方案。我们说明了如何有可能构建一个估计的基础日志线性模型使用块的非零系数恢复组套索过程。我们调查的渐近性质的组套索估计作为一个模型选择方法在一个双渐近的框架，其中的样本量和模型的复杂性同时增长。我们提供的条件，保证组套索估计是模型选择一致的，在这个意义上说，压倒性的概率作为样本量的增加，它正确地识别所有的非零变量之间的相互作用。如果真实基础模型的序列足够稀疏，即使细胞数量增长大于样本量，恢复也是可能的。最后，我们得到了log-线性群-lasso估计的中心极限型结果.
2012-07-30 math.ST stat.TH
Selective inference using randomized group lasso estimators for general models
本文针对一般分布与损失函数下的组 lasso 估计量开发了基于随机化的选择性推断方法，通过构建选择后似然进行参数估计与置信区域推断，并在真实数据与模拟中验证了其有效性。
2024-03-26 math.ST stat.ME stat.ML
A Sparse-Group Pliable Lasso
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Calgary（卡尔加里大学）
该研究提出稀疏组柔性Lasso（SGPL）模型及分块坐标下降算法，经模拟与真实数据验证，其预测性能优、交互项估计误差小，可用于微生物组与癌症基因组相关研究。
2026-08-25 math.ST stat.ME stat.TH
Detecting Structural Breaks in Foreign Exchange Markets by using the group LASSO technique
本文提出了一种参数几乎不跳变的线性时间序列模型断点检测的估计方法。它的基本思想归功于群LASSO（群最小绝对收缩和选择算子）。该方法实际上提供了这种模型的时变参数的估计。算例表明，该方法能准确地检测出每个结构断点的时间和大小。
2022-02-07 econ.EM stat.AP
Localization and Estimation of Unknown Forced Inputs: A Group LASSO Approach
本文研究了线性动力系统在初态未知的情况下，从噪声测量中定位一组稀疏强迫输入的问题。这个问题与检测电力网络中的强迫振动特别相关。我们将测量表示为包括初态和随时间分组的输入的加性模型，两者都根据基函数进行扩展（即，冲激响应系数）。使用这个模型，与概率保证，我们恢复的位置，同时估计的初态和强迫输入使用一个变体的组LASSO（线性绝对收缩和选择算子）方法。具体来说，我们提供了一个严格的上界：（i）的概率，组LASSO估计错误地识别源位置，和（ii）的$\ell_2$ -范数的估计误差。我们的界限明确地依赖于测量范围的长度，噪声统计，输入和传感器的数量，以及冲激响应矩阵的奇异值。我们的理论分析是第一个提供一个完整的治疗组LASSO估计的线性动力系统下的输入输出延迟的假设。最后，我们验证了我们的结果的合成模型和IEEE 68总线，16机系统。
2022-01-19 math.OC stat.ME
Adaptive group LASSO selection in quantile models
本文考虑了一个解释变量分组的线性模型。如果模型误差不具有零均值和有界方差，或者如果模型包含离群值，则最小二乘框架是不合适的。因此，分位数回归是一个有趣的选择。为了自动选择相关的变量组，我们提出并研究了自适应组LASSO分位数估计。在变量组个数固定和变量组个数不同两种情况下，我们证明了估计量的稀疏性和渐近正态性。通过蒙特卡罗模拟的数值研究证实了理论结果，并说明了所提出的估计的性能。
2016-07-13 math.ST stat.ME stat.TH
Near-Ideal Behavior of Compressed Sensing Algorithms
在最近的一篇论文中，它表明，LASSO算法表现出“接近理想的行为”，在以下意义上：假设$y = Az + η$，其中$A$满足限制等距属性（RIP）与一个足够小的常数，和$\Vert η\Vert_2 \leq ε$。然后最小化服从$\Vert y - Az \Vert_2 \leq ε$的$\Vert z \Vert_1$导致估计$\hat{x}$，其误差$\Vert \hat{x} - x \Vert_2$由通用常数乘以由知道$x$的非零分量的位置的“oracle”获得的误差来限定。在优化领域，LASSO算法已经在几个方向上推广，例如组LASSO，稀疏组LASSO，没有或具有树结构重叠组，以及最近的排序LASSO。在本文中，它表明，{ \it任何算法\/}表现出接近理想的行为，在上述意义上，只提供（i）用于定义稀疏指数的规范是“可分解的”，（ii）在努力执行稀疏性最小化的惩罚规范是“$γ$ -可分解的”，和（iii）一个“压缩性条件”在一组限制等距属性是满足的。具体地，组LASSO和稀疏组LASSO（在组中具有一些允许的重叠）以及排序的$\ell_1$范数最小化都表现出接近理想的行为。显式的残余误差的界限推导出包含以前已知的结果作为特殊情况。
2014-04-21 stat.ML
Adaptive Sparse Group Lasso Penalized Quantile Regression via Dual ADMM
Hebei University of Technology（河北工业大学）；University of Connecticut（康涅狄格大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种自适应稀疏组Lasso惩罚分位数回归方法，通过交替方向乘子法优化参数，实现组内和组间稀疏性，经模拟和实证验证其有效性与计算效率。
2026-04-22 stat.CO
Within Group Variable Selection through the Exclusive Lasso
许多数据集由具有固有组结构的变量组成。组选择问题已经得到了很好的研究，但在本文中，我们试图做相反的事情：我们的目标是在预测回归建模的背景下从每组中选择至少一个变量。这个问题是NP-困难的，但我们研究最严格的凸松弛：一个复合惩罚，是一个组合的$\ell_1$和$\ell_2$规范。我们所谓的Exclusive Lasso方法通过确保从每个组中选择至少一个变量来执行结构化变量选择。我们研究了我们的方法的统计特性，并开发了计算可扩展的算法，以适应独家套索。我们研究了我们的方法的有效性，通过模拟以及使用NMR光谱数据。在这里，我们使用Exclusive Lasso从生物样品中每个分子的可能化学位移字典中选择适当的化学位移。
2015-05-28 stat.ME
The Group Square-Root Lasso: Theoretical Properties and Fast Algorithms
介绍并研究了具有群结构的高维稀疏回归模型的群平方根Lasso（GSRL）估计方法。新的估计量最小化的平方根的残差平方和加上惩罚项成比例的回归参数向量的欧几里德范数组的总和。与现有的组套索（GL）型程序相比，该方法的净优势在于惩罚项中使用的比例因子的形式，对于GSRL，该比例因子与误差项的方差无关。当估计噪声的方差变得和原来的问题一样困难时，这在参数多于样本量的模型中是至关重要的。我们证明了GSRL估计适应于回归向量的未知稀疏性，并且在模型上相同的极小条件下，具有与GL估计相同的最优估计和预测精度。这扩展了最近建立的平方根套索，稀疏回归没有组结构的结果。此外，作为一种新的类型的结果平方根Lasso方法，有或没有组，我们研究正确的模式恢复，并表明它可以实现类似的条件下所需要的Lasso或Group-Lasso型方法，但与一个简化的调整策略。我们通过一个新的算法实现我们的方法，证明了收敛性，这与现有的方法不同，尺度以及问题的维度。我们的模拟研究有力地支持了我们的理论研究结果。
2013-07-31 math.ST stat.CO stat.TH
Sparse Group Fused Lasso for Model Segmentation
本文介绍了稀疏组融合套索（SGFL）作为一个统计框架分割稀疏回归模型与多元时间序列。为了计算SGFL，一个非光滑和不可分离的凸规划的解决方案，我们开发了一种混合优化方法，该方法是快速的，不需要调整参数的选择，并保证收敛到全局最小值。在数值实验中，混合方法相比，有利的国家的最先进的技术方面的计算时间和数值精度，好处是特别大的高维。该方法在恢复非零回归系数方面具有令人满意的统计性能，在变点检测方面也具有优异的性能。空气质量数据的应用。混合方法在作者的Github页面上的R包sparseGFL中实现。
2020-10-08 math.OC stat.CO stat.ME
Efficient First Order Methods for Linear Composite Regularizers
Toyota Technological Institute at Chicago, University of Chicago（芝加哥大学丰田理工学院）；University at Albany（奥尔巴尼大学）；City University of Hong Kong（香港城市大学）；University College London（伦敦大学学院）；Syracuse University（雪城大学）
在机器学习和统计学中，一类广泛的正则化问题使用正则化项，该正则化项通过将简单的凸函数ω与线性变换组合而获得。此设置包括Group Lasso方法、Fused Lasso和其他全变差方法、多任务学习方法等等。在本文中，我们提出了一种计算这类正则化子的邻近算子的一般方法，假设函数ω的邻近算子是已知的。我们的方法建立在最佳一阶优化方法的最新研究路线，并使用不动点迭代数值计算的邻近算子。它比目前的方法更一般，正如我们所示的数值模拟，计算效率比现有的一阶方法，没有达到最佳的速度。特别是，我们的方法优于最先进的O（1/T）方法重叠组Lasso和匹配最佳O（1/T^2）方法融合Lasso和树结构组Lasso。
2011-04-07 cs.LG math.OC stat.ME
Exact Hybrid Covariance Thresholding for Joint Graphical Lasso
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文考虑了从由不同类组成的$p$维数据集中估计多个相关高斯图模型的问题。我们的工作是基于制定这个问题作为组图形套索。本文提出了一种新的混合协方差阈值算法，可以有效地识别零元素的精度矩阵和分裂一个大的联合图形套索问题分解成小的子问题。我们的混合协方差阈值方法优于现有的统一阈值方法，因为我们的方法可以使用不同的划分方案将每个类别的精度矩阵拆分，从而将组图形套索拆分为更小的子问题，每个子问题都可以非常快速地解决。此外，本文建立了我们的混合协方差阈值算法的必要条件和充分条件。我们的阈值方法的优越性能进行了深入的分析，并通过模拟数据和真实的基因表达数据的几个实验说明。
2015-06-18 cs.AI cs.LG stat.ML
Improved Support Recovery Guarantees for the Group Lasso With Applications to Structural Health Monitoring
本文考虑了从带噪线性测量中估计未知高维信号的问题，{当}假设信号在{已知的，}固定字典中具有\emph{group-sparse}结构。我们考虑根据自然概率模型生成的信号，并建立新的条件下，一组指数的非零组的信号（称为组级支持）可以准确地估计通过组拉索。我们的研究结果加强了现有的基于一致性的分析，表现出众所周知的“平方根”瓶颈，允许可恢复的非零组的数量几乎是一样大的组的总数。我们还建立了一个充分的恢复条件有关的非零组的数量和信噪比（量化的非零组的平方欧几里德范数和随机加性{测量}噪声的方差的比率），并验证这一趋势的经验。最后，我们研究的影响，我们的研究结果的背景下，结构健康监测的应用程序，其中组拉索的方法有利于分层的传播声波场，通过扫描激光多普勒测振仪在材料表面上获得，成对立的组件，其中之一表示内部材料缺陷的位置。
2018-05-19 cs.IT math.IT stat.ML
Sparsity with sign-coherent groups of variables via the cooperative-Lasso
我们考虑的问题，估计和选择的参数赋予一个已知的组结构，当组被假定为是符号相干的，也就是说，收集非负，非正或空参数。为了解决这个问题，我们提出了合作Lasso惩罚。本文给出了定义广义线性模型的合作Lasso估计的最优性条件，并提出了一种适用于高维问题的有效集算法.本文研究了线性回归中估计量的渐近相合性，并导出了它的不可表示条件，它比group-Lasso的条件更温和。我们还解决了在线性回归模型选择的问题，推导出一个近似的合作Lasso估计的自由度。模拟比较所提出的估计组和稀疏组Lasso符合我们的理论结果，显示一致的改善支持恢复符号相干组。最后，我们提出了两个例子说明了广泛的适用性的合作套索：第一个顺序变量的处理，其中的惩罚作为单调性之前;第二个基因组数据的处理，其中的差异表达的探针的集合是丰富的，通过将所有的探针的微阵列相关的相应的基因。
2012-07-02 stat.AP stat.ME
Efficient Group Lasso Regularized Rank Regression with Simulation-Based Tuning
Engineering Systems and Design, Singapore University of Technology and Design, Singapore（新加坡科技设计大学工程系统与设计系）；School of Mathematics and Statistics, Henan University（河南大学数学与统计学院）；School of Mathematics and Statistics & Center for Applied Mathematics of Henan Province, Henan University（河南大学数学与统计学院及河南省应用数学中心）
针对高维回归受重尾噪声和异常值影响的问题，提出基于非光滑威尔科克森得分秩目标与组稀疏正则化的方法，引入模拟调优规则并建立误差界，开发近端增广拉格朗日方法，实验证明该方法的鲁棒性、有效性、效率及可扩展性。
2026-07-14 cs.LG math.OC math.ST
Asymptotic properties of adaptive group Lasso for sparse reduced rank regression
本文研究稀疏降秩回归中自适应组Lasso估计量的渐近性质，证明其在正则条件下可达到极小极大最优收敛速率并实现变量选择一致性，同时允许响应变量数、预测变量数和秩数随样本量增长至无穷。
2016-10-24 math.ST stat.TH
A Note on Coding and Standardization of Categorical Variables in (Sparse) Group Lasso Regression
分类回归变量通常通过引入一组指标变量来处理，并施加线性约束以确保在存在截距的情况下的可识别性，或者等效地，使用各种编码方案之一。如Yuan和Lin [J. R.中央集权主义者Soc. B，68（2006），49-67]，组套索是在具有分类协变量的设置中执行变量选择的自然且计算上方便的方法。正如Simon和Tibshirani所指出的那样[Stat.罪恶22（2011），983-1001]，借助于列子矩阵的逐块正交归一化的“标准化”，每个列子矩阵对应于一组变量，可以显著提高性能。在这篇笔记中，我们详细研究了分类预测变量的特殊情况下的标准化方面。主要结果是，正交归一化是不需要的;列的设计矩阵的缩放，然后重新缩放和居中的系数被证明具有完全相同的效果。在相互作用的情况下可以实现类似的减少。扩展到所谓的稀疏组套索，它还促进组内稀疏，被认为是。适当的标准化的重要性说明通过广泛的模拟。
2018-05-17 stat.CO stat.ME stat.ML
