Local Adaptive Grouped Regularization and its Oracle Properties for Varying Coefficient Regression
变系数回归是一种灵活的数据建模技术，其中系数是某些影响修改参数的函数，通常是某个域中的时间或位置。在变系数回归模型中，变量选择的方法有很多种，但现有的方法大多是全局选择，包括或排除整个域上的每个协变量。提出了一种新的局部自适应分组正则化方法，用于空间变系数线性和广义线性回归中局部变量的选择。LAGR选择与空间中任何点的响应相关的协变量，并通过使用局部线性系数估计值对自适应组Lasso进行调整，以获得局部回归模型，从而同时估计这些协变量的系数。在局部线性回归和局部广义线性回归条件下，证明了该方法的预言性质。在模拟研究中评估了LAGR的有限样本性质，并以波士顿房价数据集为例进行了分析。
2014-11-20 stat.ME
The composite absolute penalties family for grouped and hierarchical variable selection
从高维数据中提取有用的信息是当今统计研究和实践的重要焦点。惩罚损失函数最小化已被证明是有效的，这一任务的理论和经验。由于具有正则化和稀疏性的优点，$L_1$ -惩罚平方误差最小化方法Lasso在回归模型和其他模型中很受欢迎。本文将包括$L_1$在内的不同范数组合起来，形成一种智能惩罚，以便在回归或分类模型的拟合中加入边信息，从而获得合理的估计。具体来说，我们引入了复合绝对惩罚（CAP）家庭，它允许给定的分组和层次关系的预测要表达的。CAP惩罚是通过定义群体并在跨群体和群体内水平上结合规范惩罚的属性来构建的。分组选择用于不重叠的组。通过定义具有特定重叠模式的组来实现分层变量选择。我们建议使用BLASSO和交叉验证来计算CAP估计。对于只涉及$L_1$和$L_{\infty}$范数的CAP估计的子类，我们引入iCAP算法来跟踪分组选择问题的整个正则化路径。在这个子族中，自由度（df）的无偏估计推导出来，使得正则化参数的选择没有交叉验证。CAP在一系列模拟实验中，包括$p\gg n$和可能错误指定分组的情况下，显示出对LASSO的预测性能的改善。当模型的复杂性被正确计算时，iCAP在实验中被认为是吝啬的。
2009-09-02 math.ST stat.TH
Beyond False Discovery Rate: A Stepdown Group SLOPE Approach for Grouped Variable Selection
本文提出分步组SLOPE方法，通过整合Lehmann-Romano分步规则，实现对k-FWER和FDP的有限样本保证，并在分组结构下提升统计效力。
2026-03-01 cs.AI stat.ME
Bayesian Variable Selection Under High-dimensional Settings With Grouped Covariates
针对高维分组协变量回归，提出扩展g先验的贝叶斯变量选择方法，并设计GSIS筛选与GiVSA搜索算法，理论证明一致性并验证性能。
2023-09-03 math.ST stat.ME stat.TH
Spike-and-Slab Group Lassos for Grouped Regression and Sparse Generalized Additive Models
本文介绍了分组变量线性回归中贝叶斯估计和变量选择的钉板组套索算法。我们进一步将SSGL扩展到稀疏广义可加模型（GAM），从而引入了钉板套索方法的第一个非参数变体。我们的模型同时进行组选择和估计，而我们的混合比例的完全贝叶斯处理允许模型复杂性控制和自动自适应不同水平的稀疏性。我们开发的理论，唯一地描述了全球后验模式下的SSGL，并介绍了一个高效的块坐标上升算法的最大后验概率（MAP）估计。我们进一步采用去偏置方法来提供我们估计的不确定性量化。因此，我们的模型的实施避免了计算密集的马尔可夫链蒙特卡罗（MCMC）在高维。当协变量的数量随着样本量以接近指数的速度增长时，我们推导出分组线性回归和稀疏GAM的后验集中率。最后，我们通过大量的模拟和数据分析来说明我们的方法。
2020-03-03 stat.ME
The BerHu penalty and the grouped effect
Huber准则是稳健回归的一种有效方法。自适应最小绝对收缩和选择算子（lasso）是一种流行的同时进行估计和变量选择的技术。在小样本量和协变量数较大的情况下，这种罚函数不是很令人满意的变量选择方法。在本文中，我们引入了一个自适应的反向版本的Huber准则作为一个罚函数。我们称这种惩罚为适应性Berhu惩罚。对于弹性净惩罚，小系数将其$\ell_1$范数贡献给该惩罚，而较大系数导致其二次增长（如岭回归）。证明了与普通最小二乘准则或Huber准则结合自适应Berhu罚的估计量具有预言性质。此外，这一程序还促进了群体效应。该方法与自适应弹性网络正则化进行了比较。广泛的仿真研究表明，令人满意的有限样本的性能，这样的程序。为了说明的目的，一个真实的例子进行了分析。关键词：自适应Berhu罚;伴随尺度;弹性网罚; Huber准则;预言性质;稳健估计。
2012-07-30 math.ST stat.ME stat.TH
Penalized model-based clustering with cluster-specific diagonal covariance matrices and grouped variables
聚类分析是在许多新兴领域如微阵列数据分析中最广泛使用的统计工具之一。对于微阵列和其他高维数据，许多噪声变量的存在可能掩盖潜在的聚类结构。因此，通过变量选择去除噪声变量是必要的。对于同时进行变量选择和参数估计的问题，现有的基于模型的聚类分析中的惩罚似然方法都假设聚类之间的对角协方差阵是公共的，但这在实际中可能并不成立。为了分析高维数据，特别是那些样本量相对较低的数据，本文介绍了一种新的方法，该方法在更一般的情况下使用特定于聚类的（对角）协方差阵来缩小方差和均值。此外，通过包含或排除一组变量来选择分组变量是通过特定形式的惩罚来允许的，这有助于结合主题知识，例如用于疾病亚型发现的聚类微阵列样品中的基因功能。为了实现，期望最大化算法推导出参数估计，其中的M-步骤清楚地表明收缩和阈值的影响。数值例子，包括应用于急性白血病亚型发现与微阵列基因表达数据，提供证明所提出的方法的实用性和优势。
2008-03-26 math.ST stat.ML stat.TH
Sparse-group boosting -- Unbiased group and variable selection
本文提出稀疏组提升方法，通过同时使用逐分量和逐组梯度提升并调整自由度，实现组内与组间稀疏性，在模拟、基因和农业数据上相比逐分量提升具有更低变量选择偏差和更高预测能力。
2024-04-07 stat.ME stat.ML
Selective inference using randomized group lasso estimators for general models
本文针对一般分布与损失函数下的组 lasso 估计量开发了基于随机化的选择性推断方法，通过构建选择后似然进行参数估计与置信区域推断，并在真实数据与模拟中验证了其有效性。
2024-03-26 math.ST stat.ME stat.ML
Group Variable Selection via a Hierarchical Lasso and Its Oracle Property
在许多工程和科学应用中，预测变量被分组，例如，在生物应用中，其中测定的基因或蛋白质可以通过生物作用或生物途径分组。常见的统计分析方法，如方差分析，因子分析和功能建模与基集也表现出自然的变量分组。现有的成功的群体变量选择方法，如Antoniadis和Fan（2001），Yuan和Lin（2006）以及Zhao，Rocha和Yu（2009）具有以“全进全出”方式选择变量的局限性，即，当选择一组中的一个变量时，同一组中的所有其他变量也被选择。然而，在许多实际问题中，我们可能希望保持在组内选择变量的灵活性，例如在基因集选择中。在本文中，我们开发了一种新的组变量选择方法，不仅可以有效地删除不重要的群体，但也保持了选择变量的灵活性组内。我们还表明，新的方法提供了实现理论上的“预言”的性质，如在范和李（2001年）和范和彭（2004年）。
2010-08-09 stat.ME
Adaptive group LASSO selection in quantile models
本文考虑了一个解释变量分组的线性模型。如果模型误差不具有零均值和有界方差，或者如果模型包含离群值，则最小二乘框架是不合适的。因此，分位数回归是一个有趣的选择。为了自动选择相关的变量组，我们提出并研究了自适应组LASSO分位数估计。在变量组个数固定和变量组个数不同两种情况下，我们证明了估计量的稀疏性和渐近正态性。通过蒙特卡罗模拟的数值研究证实了理论结果，并说明了所提出的估计的性能。
2016-07-13 math.ST stat.ME stat.TH
Fast projections onto mixed-norm balls with applications
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
联合稀疏性为特征选择提供了强有力的结构线索，特别是对于预期表现出“分组”行为的变量。这种行为通常通过组套索，多任务套索和相关方法来建模，其中特征选择通过混合范数来实现。几种基于混合范数的稀疏模型受到了广泛的关注，并且在某些情况下也可以使用高效的算法。令人惊讶的是，几个约束稀疏模型似乎缺乏可扩展的算法。我们通过提出批处理和在线（随机梯度）优化方法来解决这一缺陷，这两种方法都依赖于有效的预测到混合范数球。我们说明我们的方法，将其应用到多任务套索。最后，我们提出一些悬而未决的问题。
2012-04-06 cs.LG math.OC stat.ML
Theoretical Properties of the Overlapping Groups Lasso
在线性回归环境中，我们给出了两组关于Jacob，Obozinski和Vert（2009）重叠的分组套索的理论结果。该方法允许在稀疏回归中联合选择预测因子，允许编码为一组组的预测因子的复杂结构稀疏性。这个灵活的框架表明，任意复杂的结构可以用一组复杂的组进行编码。我们的研究结果表明，这种策略的结果在意想不到的理论后果的程序。特别地，我们给出了两组结果：（1）预测和估计的有限样本界，（2）渐近分布和选择。这两组结果都深入了解了选择一组越来越复杂的组进行该过程的后果，以及当该组无法恢复真正的稀疏模式时会发生什么。此外，这些结果证明了分组套索手术（有和无重叠组）之间的差异和相似性。我们的分析表明，必须谨慎选择组集-过于复杂的组集会破坏分析。
2011-11-09 stat.ML
DiscoVars: A New Data Analysis Perspective -- Application in Variable Selection for Clustering
提出一种基于变量依赖网络和图中心性度量的无监督变量选择新方法，并开发了Shiny应用界面，方便用户进行聚类等学习任务的变量选择与比较。
2023-04-08 cs.LG stat.ML
Grouping effects of sparse CCA models in variable selection
University of Pennsylvania（宾夕法尼亚大学）
稀疏典型相关分析（SCCA）是一种双多变量关联模型，它可以找到两组变量的稀疏线性组合，这些变量彼此之间的相关性最大。除了标准的SCCA模型之外，简化的SCCA准则由于其计算简单而在文献中广泛使用，该准则最大化一对典型变量之间的互协方差而不是它们的互相关性。然而，这两个模型的解的行为/性质在理论上仍然未知。本文分析了标准SCCA模型和简化SCCA模型在变量选择上的分组效应。在高维环境中，变量通常形成具有高组内相关性和低组间相关性的组。我们的理论分析表明，对于分组变量选择，简化SCCA联合选择或取消选择一组变量在一起，而标准SCCA随机选择几个主导变量从每个相关组的相关变量。对人工合成数据和真实成像遗传学数据的实验结果验证了我们的理论分析结果。
2020-08-07 cs.LG stat.ME
Variational approximate penalized credible regions for Bayesian grouped regression
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
本文提出一种基于变分近似和惩罚可信区域的贝叶斯分组回归方法，通过高效计算实现高维变量选择与预测。
2026-07-27 stat.CO stat.ME
cmenet: a new method for bi-level variable selection of conditional main effects
本文介绍了一种新的方法来选择主效应和一组重新参数化的效应称为条件主效应（CME），它捕获的条件效应的一个因素在另一个因素的固定水平。CME代表了可解释的，特定领域的现象，在工程，社会科学和基因组学的广泛应用。关键的挑战是在变量选择程序本身内纳入CME的隐式分组结构。我们提出了一种新的方法，cmenet，它采用了两个原则，称为CME耦合和CME减少有效地导航的选择算法。仿真研究表明，改进的CME选择性能的cmenet更通用的选择方法。应用于苍蝇翅膀形状的基因关联研究，cmenet不仅产生了更简约的模型和改进的预测性能比标准的双因素相互作用分析方法，但也揭示了基因激活行为的重要见解，这可以用来指导进一步的实验。我们的算法的有效实现可在CRAN的R包cmenet。
2017-11-18 stat.ME
Fixed effects Selection in high dimensional Linear Mixed Models
我们考虑线性混合模型，其中的观察分组。将随机效应视为缺失值，得到对数似然模型的固定效应系数，并提出了L1惩罚.一个多目标ECM算法用于解决优化问题，它可以与任何变量选择方法开发的线性模型。该算法允许参数p的数量大于观测的总数n;它比lmmLasso（Schelldorfer，2011）更快，因为没有n*n矩阵需要求逆。我们证明了当随机效应和残差的方差已知时，Schelldorfer（2011）的理论结果适用于我们的方法。该算法与变量选择方法（Rohart 2011）的组合在估计相关固定效应系数集以及估计方差方面显示出良好的结果;在常见情况下（p< n）和高维情况下（p > n），它都优于lmmLasso。
2013-01-27 stat.CO
Model selection consistency from the perspective of generalization ability and VC theory with an application to Lasso
School of Economics, University of Sydney（悉尼大学经济系）
本文从泛化能力视角探讨模型选择一致性，结合SRM与VC理论，证明Lasso在类似OLS假设下具有L2一致性，并提出新的过拟合度量GR2，通过模拟验证CV-Lasso在模型选择与过拟合控制中的有效性。
2016-06-01 econ.GN q-fin.EC stat.CO
Gene-Environment Interaction: A Variable Selection Perspective
基因-环境相互作用对阐明复杂疾病的遗传基础具有重要意义，而不仅仅是多个遗传因素及其相互作用（或上位性）的联合作用。过去，G $\times$ E相互作用主要在遗传关联研究的框架内进行。由于环境影响的复杂形式和包括基因表达和SNP在内的大量遗传因素的存在，G $\times$ E相互作用的高维性促使了最近开发用于剖析G $\times$ E相互作用的惩罚变量选择方法，这在大多数已发表的遗传相互作用研究综述中被忽视。在这篇文章中，我们首先调查现有的基因-环境和基因-基因相互作用的概述。然后，在简要介绍变量选择方法之后，我们分别回顾了各种概念模型下的边际范式和联合范式中的惩罚和相关变量选择方法。讨论的优势和局限性，以及为G $\times$ E研究量身定制的变量选择方法的计算方面也已提供。
2020-03-05 stat.AP stat.ME
Group variable selection via convex Log-Exp-Sum penalty with application to a breast cancer survivor study
在许多科学和工程应用中，协变量被自然地分组。当协变量之间存在组结构时，人们通常对识别重要组和所选组中的重要变量感兴趣。在现有的成功的组变量选择方法中，有些方法不能进行组内选择。有些方法可以进行组内和组内选择，但相应的目标函数是非凸的。这种非凸性可能需要额外的数值工作。在本文中，我们提出了一种新的Log-Exp-Sum（LES）惩罚组变量的选择。LES惩罚是严格凸的。它可以识别重要的组以及选择组中的重要变量。我们开发了一个有效的组级坐标下降算法来拟合模型。我们还推导出非渐近误差界和渐近组选择的一致性，我们的方法在高维设置的协变量的数量可以远远大于样本量。数值结果表明，我们的方法在变量选择和预测的良好性能。我们将所提出的方法应用于美国癌症协会乳腺癌幸存者数据集。这些发现具有临床意义，并立即导致可检验的临床假设。
2013-06-19 stat.ME
A Variational Spike-and-Slab Approach for Group Variable Selection
本文提出带通用尖峰-板条先验的分组变量高维线性回归方法，利用CAVI与参数扩展提升推断和计算效率，并建立后验收缩率理论。
2023-09-28 math.ST stat.ME stat.TH
Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection
Department of Mathematics, Washington State University（数学系，华盛顿州立大学）；Department of Statistics, University of Connecticut（统计系，康涅狄格大学）；Department of Industrial and Systems Engineering, University of Wisconsin-Madison（工业与系统工程系，威斯康星大学麦迪逊分校）
本文从锥优化视角探讨变量选择问题，证明MCP和反Huber惩罚函数可视为视角松弛的特例，并通过半定松弛解决，结合Goemans-Williamson方法获得近似解。
2015-10-20 cs.LG cs.NA math.NA
Consistent group selection in high-dimensional linear regression
在协变量可以自然分组的回归问题中，Lasso组是一种有吸引力的变量选择方法，因为它尊重数据中的分组结构。我们研究了当组数超过样本量时，高维环境下Lasso组的选择和估计性质。我们提供了充分条件，在此条件下，Lasso组选择一个模型，该模型的维数与具有高概率的基础模型相当，并且是估计一致的。但是，Lasso组通常不是选择一致的，并且倾向于选择在模型中不重要的组。为了改善选择结果，我们提出了一种自适应组Lasso方法，它是自适应Lasso的推广，需要一个初始估计。我们证明了在一定条件下，当Lasso群作为初始估计时，自适应Lasso群在群选择中是相容的。
2010-11-29 math.ST stat.TH
A Transparent and Nonlinear Method for Variable Selection
本文提出一种透明且非线性的变量选择方法，通过三步启发式搜索将输入预测因子分为相关、无信息、冗余和条件独立四个子集，并引入非线性偏相关系数识别非线性依赖关系，在预测精度和可解释性上优于基线方法。
2023-07-01 stat.ME
Multivariate Bayesian variable selection with application to multi-trait genetic fine mapping
针对多个相关且异质响应的变量选择问题，提出一种结合分组结构、多层次选择和先验生物知识的多元贝叶斯方法，并用于多性状遗传精细定位。
2024-03-01 stat.ME
An Iterative Algorithm for Fitting Nonconvex Penalized Generalized Linear Models with Grouped Predictors
高维数据对统计学习和建模提出了挑战。有时，预测因子可以自然地分组，其中追求组间稀疏性是期望的。共线性可能发生在现实世界的高维应用中，其中流行的$l_1$技术遭受选择不一致和预测不准确。此外，感兴趣的问题往往超出高斯模型。针对这些问题，研究了具有分组预测的非凸惩罚广义线性模型，并提出了一种简单的计算算法。严格的理论结果保证了它的收敛性，并提供了严格的初步缩放。该框架允许分组预测和非凸罚，包括离散$l_0$和"$l_0+l_2$"类型罚。研究了非凸罚函数的罚函数设计和参数调整问题。超分辨率谱估计在信号处理和生物信息学中结合基因选择的癌症分类中的应用表明，非凸惩罚估计可以提高性能。
2011-11-10 stat.ME stat.ML
An exploration of sequential Bayesian variable selection -- A comment on García-Donato et al. (2025). "Model uncertainty and missing data: An objective Bayesian perspective"
本文针对含缺失数据的客观贝叶斯模型不确定性方法，提出在数据序贯累积场景下引入序贯模型置信集进行变量选择，以实现持续证据监测并稳定推断。
2025-09-30 math.ST stat.ME stat.TH
Bayesian Sparse Global-Local Shrinkage Regression for Selection of Grouped Variables
惩罚线性回归的大多数估计可以被视为适当选择先验分布的后验模式。贝叶斯收缩方法，特别是马蹄估计，近年来在估计稀疏、高维线性模型的问题中引起了极大的关注。本文扩展了这些想法，并提出了一个贝叶斯分组模型与连续的全局-局部收缩先验来处理复杂的组层次结构，包括重叠和多级组结构。由于后验均值从来不是线性模型系数的稀疏估计，我们将最近提出的解耦收缩和选择（DSS）技术的问题，从后验样本中选择变量组。为了选择一个最终的，稀疏的模型，我们还适应广义信息标准的方法的DSS框架。为了确保稀疏组，其中只有少数预测是活跃的，可以有效地识别，我们提供了一个替代度的自由估计稀疏贝叶斯线性模型，考虑到收缩的影响模型系数。模拟和实际数据分析，使用我们提出的方法显示出良好的性能，在正确识别的活动和不活动的群体，预测，与贝叶斯分组板和穗的方法相比。
2017-11-03 stat.ME
Feature Selection via Block-Regularized Regression
识别具有内部结构的非常高维特征空间中的共变因果元素，例如，在统计学习中，具有多达数百万个线性排序特征的空间（如在诸如全基因组关联（WGA）映射的问题中通常遇到的）仍然是一个开放的问题。我们提出了一个用于高维空间中稀疏变量选择的块正则化回归模型，其中协变量是线性排序的，并且可能受到局部统计联系（例如，块结构）。我们的目标是确定相关协变量的一个小子集，这些协变量不仅来自排序中的随机位置，而且来自大量有序协变量的连续块。在一个典型的线性回归框架之间的功能和响应，我们提出的模型采用了稀疏执行拉普拉斯先验的回归系数，增强了一阶马尔可夫过程沿特征序列，“激活”的回归系数在一个耦合的方式。我们描述了一个基于采样的学习算法，并证明了我们的方法在模拟和生物数据下的标记识别WGA的性能。
2012-06-13 stat.ME
The adaptive Gril estimator with a diverging number of parameters
Cadi Ayyad University（卡迪·艾亚德大学）；Université Paris-Sud（巴黎第十一大学）
研究了参数个数随样本量而异的线性回归模型中变量的选择和估计问题。本文提出了自适应广义岭套索（\mbox{AdaGril}）算法，它是自适应弹性网的扩展。AdaGril将相关变量之间的信息冗余用于模型选择和估计。它结合了二次正则化和自适应加权Lasso收缩的优势。在本文中，我们突出了AdaCnet方法（AdaGril的一种类型）在等相关情况下的分组选择属性。在较弱的条件下，我们建立了AdaGril的预言性质，该性质确保了高维时的最优大性能。因此，它既达到了处理高维共线性问题的目的，又具有预言性质。此外，我们证明了AdaGril估计实现了一个稀疏不等式，即。例如，根据“真”回归系数的非零分量的数量的界限。这个界限是在一个类似的弱限制特征值（RE）条件下用于拉索。模拟研究表明，AdaGril的某些特定情况下优于其竞争对手。
2013-02-26 cs.LG stat.ME
Nonparametric Group Variable Selection with Multivariate Response for Connectome-Based Modeling of Cognitive Scores
在这篇文章中，我们使用多响应非参数回归模型来研究结构连接体和认知特征之间的关联。结构连接体由无向图表示。这些图的连通性属性是可用的节点属性。节点中心性的集合可以编码大脑网络中不同的连接模式。在本文中，我们为每个大脑区域考虑了九个这样的属性，这些节点图度量可以自然地为每个节点分组在一起，激励我们引入组稀疏度进行特征选择。我们提出了高斯RBF网络与一个新的组稀疏诱导之前建模的未知均值函数。多元响应的协方差结构的特征在于线性因子建模框架。对于后验计算，我们提出了一种有效的马尔可夫链蒙特卡罗采样算法。我们表明，所提出的方法比它的所有竞争对手表现得更好。将我们提出的方法应用于人类连接组计划（HCP）数据集，我们识别了认知功能的重要大脑区域和节点属性，并在认知相关测试分数中识别出有趣的低维依赖结构。保留字：因子模型;组变量选择;高维;人类连接组计划;马尔可夫链蒙特卡罗;神经网络;非参数推断;径向基网络;尖峰-平板先验;变量选择。
2022-12-04 stat.ME
Grouped variable importance with random forests and application to multiple functional data analysis
被认为是使用随机森林算法的分组变量的选择。首先，提出了一种新的适用于变量组的重要性度量。理论上的见解，这一标准的添加剂回归模型。其次，开发了一种基于分组变量重要性测度的函数变量选择方法。使用小波基，它建议重组所有的小波系数为一个给定的功能变量，并使用这些群体的包装选择算法。提出了利用小波基的频率和时间局部化的各种其他分组。进行了广泛的模拟研究，以说明在这种情况下使用的分组的重要性措施。该方法被应用到一个现实生活中的问题来自航空安全。
2015-05-19 stat.ME
Classification with Sparse Overlapping Groups
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在高维机器学习的应用中，具有稀疏性约束的分类问题扮演着重要的角色。在一些情况下，特征可以被分组在一起，使得可以选择或不选择特征的整个子集。然而，在许多应用中，这可能限制性太大。在本文中，我们感兴趣的结构化稀疏特征选择的限制较少的形式：我们假设，而功能可以根据一些概念的相似性进行分组，而不是所有的功能在一个组需要选择手头的任务。当组由不相交的特征集组成时，这有时被称为“稀疏组”套索，并且它允许使用比传统组套索方法更丰富的模型类别。我们的框架进一步推广传统的稀疏组套索允许重叠的群体，在许多应用中需要额外的灵活性，并提出了进一步的挑战。本文的主要贡献是一个新的程序称为稀疏重叠组（SOG）套索，凸优化程序，自动选择相似的功能，在高维分类。我们建立了一个相当一般的设置下SOGlasso分类问题的模型选择误差界。特别是，误差界是第一个这样的结果，使用稀疏组套索分类。此外，一般SOGlasso约束专门用于套索和群套索的结果，其中一些是已知的，一些是新的。SOGlasso的动机是多学科功能磁共振成像研究，其中功能活动是使用脑体素作为特征，脑磁图（MEG）中的源定位问题，并在微阵列数据分析中分析基因激活模式进行分类。使用真实数据和合成数据的实验证明了SOGlasso与Lasso和Group Lasso相比的优势。
2014-09-04 cs.LG stat.ML
Extending Statistical Boosting - An Overview of Recent Methodological Developments
在过去的十年里，在统计模型中同时估计和选择预测因子效应的提升算法已经引起了人们的极大兴趣。这篇综述文章的目的是强调最近的方法学发展，特别是针对生物医学研究相关的主题，提高算法的统计建模。我们提出了一个统一的框架，梯度提升和基于似然的提升（统计提升），到目前为止，在文献中已经严格分开。统计增强算法已被适配为在拟合过程中进行无偏变量选择和自动模型选择，并且现在可以结合大量不同类型的预测效应应用于几乎任何可能类型的回归设置。在过去十年中，统计提升方法的发展可以分为三个不同的研究方向：（一）努力确保变量选择导致稀疏模型，（二）关于不同类型的预测效应及其选择（模型选择）的发展，（三）将统计提升框架扩展到新的回归设置的方法。
2014-11-18 stat.ME
High-dimensional variable selection with heterogeneous signals: A precise asymptotic perspective
本文研究异质微弱信号下高维稀疏回归的精确支撑恢复，证明BSS可达信息论最优阈值而边际筛选会失效，并提出计算高效且具模型一致性的两阶段ETS框架。
2023-07-17 math.ST stat.TH
Time-to-event prediction for grouped variables using Exclusive Lasso
针对高维多组学数据的事件时间预测问题，提出使用 Exclusive Lasso 正则化进行组内特征选择，在真实癌症数据集上提升了生存预测性能。
2025-04-02 stat.CO stat.ME stat.ML
The Group R2D2 Shrinkage Prior for Sparse Linear Models with Grouped Covariates
本文提出组R2D2先验，用于处理具有分组协变量的稀疏线性模型，通过狄利克雷分布实现灵活的收缩，提升估计精度和预测性能。
2025-12-13 stat.ME
Bayesian High-dimensional Grouped-regression using Sparse Projection-posterior
North Carolina State University（北卡罗来纳州立大学）
提出一种基于稀疏投影后验的贝叶斯高维分组回归方法，通过三种投影映射实现组变量选择和估计，并证明模型选择一致性和最优后验收缩率。
2026-05-22 stat.ME
Nonlinear Causal Discovery for Grouped Data
Department of Mathematics（数学系）；TUM School of Computation, Information and Technology（技术大学计算、信息与技术学院）；Technical University of Munich（慕尼黑技术大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；University of Applied Sciences Kempten（克姆滕应用技术大学）；Faculty of Mechanical Engineering（机械工程学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文将非线性加性噪声模型扩展到随机向量，提出先推断向量间因果顺序再进行模型选择的因果图学习方法，并在模拟和真实装配线数据上验证了有效性。
2025-06-05 cs.LG stat.ME stat.ML
Subset selection for linear mixed models
线性混合模型（Linear mixed models，LMM）用于具有结构化相关性的回归分析，如分组、聚类或多级数据。然而，在考虑这种结构性依赖的同时，在协变量中进行选择仍然是一个挑战。我们介绍了一个贝叶斯决策分析的子集选择与LIFE。使用Mahalanobis损失函数，其中包括结构化的依赖，我们得到最佳的线性系数（i）任何给定的变量子集和（ii）满足基数约束的所有变量子集。至关重要的是，这些估计继承了基础贝叶斯模型的收缩或正则化和不确定性量化，并适用于任何指定的贝叶斯LMM。更广泛地说，我们的决策分析策略不再强调单个“最佳”子集的作用，而倾向于一组接近最佳的子集，因为单个“最佳”子集通常不稳定且信息量有限。此集合按关键成员子集和特定于变量的重要性度量进行汇总。定制的子集搜索和样本外近似算法提供了更可扩展的计算。这些工具应用于模拟数据和纵向身体活动数据集，并表现出出色的预测，估计和选择能力。
2022-04-18 stat.CO stat.ME stat.ML
Inference for $L_2$-Boosting
LMU Munich（慕尼黑大学）；Humboldt University of Berlin（柏林洪堡大学）
我们提出了一个统计推断框架的组件明智的功能梯度下降算法（CFGD）下的模型误差的正态性假设，也被称为$L_2$ -Boosting。CFGD是最通用的数据分析工具之一，因为它可以很好地扩展到高维数据集，允许非常灵活地定义加法回归模型，并包含内置变量选择。由于变量的选择，我们建立在最近的建议后选择推理。然而，组件式提升的迭代性质，可以重复选择相同的组件进行更新，需要对现有方法进行调整和扩展。我们提出了测试和置信区间的线性，分组和惩罚添加剂模型组件选择的$L_2$ -提升。我们的概念也转移到更普遍的慢学习算法，以及其他选择技术，这些技术将响应空间限制在比多面体更复杂的集合上。我们将我们的框架应用于住宅公寓销售价格的添加剂模型，并在模拟研究中研究我们的概念的属性。
2019-06-04 cs.LG stat.CO stat.ME
Doubly structured sparsity for grouped multivariate responses with application to functional outcome score modeling
这项工作的动机是需要准确地模拟向量的响应相关的儿科功能状态使用行政健康数据住院康复访问。答复的各个组成部分具有已知的结构化相互关系。为了在建模中利用这些关系，我们开发了一种双管齐下的正则化方法来借用响应中的信息。我们的方法的第一个组成部分，鼓励联合选择的影响，每个变量可能重叠的群体相关的反应和第二个组成部分，鼓励收缩的影响相互相关的反应。由于在我们的激励研究的反应是不正态分布，我们的方法不依赖于假设的多元正态性的反应。我们表明，我们的惩罚的自适应版本，我们的方法的结果在相同的渐近分布的估计，如果我们已经提前知道哪些变量是非零的，哪些变量在某些结果具有相同的影响。我们证明了我们的方法在广泛的数值研究中的性能，并在一个大型儿童医院的神经损伤或疾病的儿童人群中使用行政健康数据预测儿科患者的功能状态的应用。
2023-02-22 stat.ME
Algorithmic Bayesian Group Gibbs Selection
贝叶斯模型选择，在George和McCulloch（1993）和Abramovich等人（1998）中有先例，支持与模型不确定性相关的可信度度量，但当稀疏先验近似时，计算成本可能很高。我们设计了一个适合高斯噪声，t分布噪声和逻辑学习的精确选择引擎，受益于坐标下降套索的数据结构。吉布斯采样器链以与等能量（Equi-Energy）兼容的压缩二进制格式存储（Kou等人，2006）回火。我们实现了一个分组效应选择模型，类似于组套索的设置，以确定进入模型的系数的共同输入。我们推导出一个函数的群包含被积函数，并引入一个新的MCMC开关步骤，以避免数值积分。定理表明该步具有指数收敛到目标分布。我们证明了群体选择的作用，以告知遗传分解的dilemma实验，并确定潜在的数量性状基因座在p > 40 K异质股票单倍型/表型研究。
2023-03-10 stat.CO stat.ME
Decoupling shrinkage and selection in Bayesian linear models: a posterior summary perspective
为线性模型选择变量子集仍然是一个活跃的研究领域。本文回顾了许多最近的贡献贝叶斯模型选择和收缩先前的文献。提出了一种后验变量选择方法，该方法将回归系数的后验分布提取为稀疏线性预测变量序列。
2014-08-03 stat.ME
A significance test for forward stepwise model selection
我们将Lockhart et al.（2013）和Taylor et al.（2013）开发的惩罚回归显著性检验方法应用于前向逐步模型选择。二次不等式描述的选择过程的一般框架包括一个变量的逐步向前分组变量，使我们能够处理分类变量和因子模型。我们提供了一个算法来计算一个新的统计量与一个确切的零分布条件的模型选择过程的结果。这个新的统计量，我们表示为$Tχ$，在全局空值下具有截断的$χ$分布。我们在每一步之后的残差上逐步迭代地向前应用该测试。所得到的方法具有逐步选择的计算优势，并解决了由于模型选择而导致的无效检验统计量的问题。我们说明了这种方法的灵活性，通过将其应用到几个专业的应用程序，包括一个分层的相互作用模型和最近描述的添加剂模型，自适应地选择线性和非线性效应之间的每个变量。
2014-05-15 stat.ME
Review on Ranking and Selection: A New Perspective
本文简要回顾了排序与选择（R&S）在过去70年中的发展，特别是近20年来的理论成果和实际应用。与Kim和Nelson（2006 b）和Chick（2006）在其综述文章中采用的频率论和贝叶斯分类不同，我们将现有的R&S程序分为固定精度和固定预算程序，如Hunter和Nelson（2017）。我们表明，这两类程序本质上不同的基本方法的配方，即，它们分别建立在假设检验和动态编程的基础上。鉴于这种变化，我们详细回顾了文献中的一些众所周知的程序，并展示了它们如何适合这两种配方。此外，我们还讨论了R&S程序在解决各种实际问题中的应用，并提出了我们认为该领域中重要的研究问题。
2021-03-14 math.OC stat.ME
Bayesian Quantile Regression with Subset Selection: A Decision Analysis Perspective
从贝叶斯决策分析视角提出针对分位数回归的估计、不确定性量化与子集选择方法，引入以分位数为中心的平方误差损失实现高效闭式计算，在模拟和真实数据中显著提升了估计精度与变量选择表现。
2024-11-16 math.ST stat.AP stat.CO
Bayesian model selection of vine copulas: a loss-based perspective
Università Cattolica del Sacro Cuore（天主教撒科鲁尔圣心大学）；University of Turin（都灵大学）；University of Exeter（埃克塞特大学）；King’s College London（伦敦国王学院）；Duke Kunshan University（杜克昆山大学）
针对贝叶斯藤蔓Copula模型选择计算成本高的问题，提出结合基于损失的模型先验与散弹随机搜索策略的新框架，实现稀疏性、快速结构选择及联合推断。
2026-06-23 stat.ME stat.ML
Functional and variables selection in extreme value models for regional flood frequency analysis
本文针对区域洪水频率分析，提出结合贝叶斯P样条与分组马蹄先验的GEV模型，实现协变量非线性效应建模及功能与变量选择，并通过交叉验证证明其能降低未测站预测不确定性且保持校准性能。
2023-06-28 stat.AP stat.ME
Model Selection for Mixture Models - Perspectives and Strategies
确定有限混合分布的分量数G是一个重要而困难的推理问题。这是一个非常重要的问题，因为关于所得模型的统计推断对G值高度敏感。选择错误的G值可能会产生较差的密度估计。这也是从理论角度来看最困难的问题，因为它涉及到混合模型的不可识别性问题。从实践的角度来看，这是一个最相关的问题，因为分量G的数量的含义与混合分布的建模目的密切相关。在本章中，我们区分了在第2节中选择G作为密度估计问题和在第3节中选择G作为基于模型的聚类框架。这两个部分都讨论了频率论和贝叶斯方法。我们在这里提出了一些贝叶斯解决方案，以不同的解释选择“正确”的数量的成分在混合物中，在结论上的不适定性质的问题。
2018-12-24 stat.CO stat.ME
Adaptive elastic-net selection in a quantile model with diverging number of variable groups
在线性模型的实际应用中，解释变量通常是自然分组的，最常见的例子是多元方差分析。本文考虑了具有结构群的分位数模型，结构群的个数随样本量而异。为了提高参数估计的精度，我们引入并研究了自适应弹性网群估计器。该方法允许以概率收敛于1的方式自动选择显著性组，且非零参数估计量是渐近正态的。本文还得到了自适应弹性网分组分位数估计的收敛速度，该收敛速度依赖于分组数。为了将该估计方法应用于实际，提出并实现了一种基于次梯度法的估计算法。Monte Carlo模拟结果表明，自适应弹性网分组分位数估计比文献中已有的分组估计精度更高。此外，数值研究证实了理论结果和所提出的估计方法的实用性。
2019-03-12 math.ST stat.ME stat.TH
Adaptive treatment allocation and selection in multi-arm clinical trials: a Bayesian perspective
临床试验是一种基于精心设计的实验证据做出明智决策的工具。在这里，我们主要从多组II期临床试验的角度考虑适应性设计，其中将一种或多种实验治疗与对照进行比较。假设个体试验受试者的治疗分配根据固定区组随机化进行，尽管有一个重要的扭曲：在每个测量结果后，根据相应模型参数的后验分布评估每个治疗组的性能。然后根据预定义的标准并使用关节后部作为此类评估的基础，将不同的治疗组相互比较。如果发现治疗明显劣于当前最佳候选治疗，则可以暂时或永久关闭该治疗，不再增加参与者。后一种可能性提供了一种适应性治疗选择的方法，包括提前停止试验。本文的主要发展是在二元结果方面，但也讨论了一些扩展，特别是处理事件发生时间数据。列报方式在很大程度上是比较性和暂时性的。
2021-08-30 stat.ME
Model Selection for SLOPE Models: A Bayesian Perspective
Imperial College London（帝国理工学院）
提出贝叶斯方法BGSLOPE和BSGS，通过嵌入spike-and-slab框架控制FDR，并引入两步正交变换TSO，在合成和真实数据中优于交叉验证等方法。
2026-06-07 stat.ME
