clustvarsel: A Package Implementing Variable Selection for Model-based Clustering in R
有限混合模型为基于简约高斯混合模型的聚类分析提供了一个框架。在只有可用变量的子集提供聚类信息的情况下，变量或特征选择特别重要。这使得能够选择更简约的模型，产生更有效估计，更清晰的解释，并经常改进聚类分区。本文介绍了R包clustvarsel，它执行基于模型的聚类的子集选择。Raftery和Dean（2006）的方法的改进版本在包的新版本2中实现，以找到数据集中具有组/聚类信息的变量的（局部）最优子集。使用逐步贪婪搜索或直接算法在解空间上进行搜索。调整加速这些算法进行了讨论，以及逐步搜索的并行实现。通过对几个数据实例的讨论，介绍了该软件包的使用方法。
2014-11-03 stat.CO
Stepwise regression revisited
本文指出在线性回归中仅增加自变量即会加剧近似多重共线性，并提出调整后的方差膨胀因子以补偿大量自变量的影响，为逐步回归和多元线性回归提供新的变量选择决策准则。
2025-03-06 stat.ME
Improving the Predictive Performances of $k$ Nearest Neighbors Learning by Efficient Variable Selection
Rochester Institute of Technology（罗切斯特理工学院）
本文计算证明了一个急剧改善的预测性能$k$最近的邻居由于一个有效的前向选择的预测变量。我们展示了模拟和真实世界的数据，这种新的方法反复优于逐步选择下的回归模型
2022-11-04 cs.LG stat.ML
Smooth Information Criterion for Variable Selection in Generalised Linear Models
School of Medicine, University of Limerick（利默里克大学医学院）
针对广义线性模型变量选择，提出平滑信息准则（SIC），以可微近似替代离散模型维度项，在模拟和真实数据中紧密复现穷举BIC选择，计算高效且性能有竞争力。
2026-09-25 stat.ME
Post-Selection Inference for Sparse Estimation
本文综述了稀疏估计中模型选择后的选择性推断，涵盖Lasso、前向逐步法和LARS的多面体与截断分布，并介绍Lasso显著性检验和LARS间距检验。
2023-10-10 math.ST stat.ME stat.TH
"Pre-conditioning" for feature selection and regression in high-dimensional problems
我们考虑回归问题的预测的数量大大超过观察的数量。我们提出了一种变量选择的方法，首先估计的回归函数，产生一个“预处理”的响应变量。用于此初始回归的主要方法是监督主成分。然后，我们应用一个标准的程序，如前向逐步选择或LASSO的预处理的反应变量。在许多模拟和真实数据的例子中，这个两步过程优于向前逐步选择或通常的LASSO（直接应用于原始结果）。我们还表明，在一定的高斯潜变量模型下，应用LASSO的预条件响应变量是一致的预测和观察的数量增加。当观测噪声较大时，本文方法比LASSO方法能给出更精确的估计。我们说明我们的方法在一些实际问题上，包括生存分析与微阵列数据。
2007-03-28 math.ST stat.TH
On the Optimality of Backward Regression: Sparse Recovery and Subset Selection
稀疏恢复和子集选择是信号处理、统计学和机器学习等领域的基本问题。在这里，我们专注于这些问题的一个重要的贪婪算法：向后逐步回归。我们提出了新的保证算法，提出了一个有效的，数值稳定的实现，并提出了逐步回归与替换（SRR），一个新的家庭的两阶段算法，采用前向和后向步骤的压缩感知问题。以前的工作向后算法已经证明了其最优的子集选择问题，提供与最优解是足够小的残差。然而，现有的剩余幅度的界限是NP-难计算。与此相反，我们的主要理论结果包括一个界，可以在多项式时间内计算，主要取决于最小的奇异值的矩阵，也扩展到幅度修剪的方法。此外，我们报告的数值实验突出了前向和后向贪婪算法之间的关键差异，并比较SRR对流行的两阶段算法的压缩感知。值得注意的是，SRR算法通常保持良好的稀疏恢复性能的相干字典。此外，特定的SRR算法具有优于子空间追踪的优势。
2021-06-06 cs.IT cs.NA math.IT
Estimating the False Discovery Rate of Variable Selection
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
本文提出了一种通用的虚发现率估计方法，用于评估变量选择过程中的预测误差与变量选择准确性之间的权衡。
2026-02-24 stat.ME
Variable Selection with Copula Entropy
Hitachi (China) Research & Development Corporation（日立（中国）研究开发有限公司）
在要求可解释性的机器学习和统计应用中,变量选择对分类和回归任务十分重要. 本文提出了一种基于Copula熵的变量选择方法,利用Copula熵值的阶次选择变量. 本方法既是模型无关的又是参数无关的.在UCI心脏病数据上，将该方法与传统的变量选择方法（距离相关法、希尔伯特-施密特独立准则法、逐步选择法、正则化广义线性模型法和自适应LASSO法）进行了对比实验。实验结果表明，与传统方法相比，基于CE的方法能够在不牺牲精度的情况下，更有效地选择出“正确”的变量，并得到更好的可解释结果。我们相信，基于CE的变量选择有助于建立更可解释的模型。
2020-07-29 cs.LG stat.ME stat.ML
A significance test for forward stepwise model selection
我们将Lockhart et al.（2013）和Taylor et al.（2013）开发的惩罚回归显著性检验方法应用于前向逐步模型选择。二次不等式描述的选择过程的一般框架包括一个变量的逐步向前分组变量，使我们能够处理分类变量和因子模型。我们提供了一个算法来计算一个新的统计量与一个确切的零分布条件的模型选择过程的结果。这个新的统计量，我们表示为$Tχ$，在全局空值下具有截断的$χ$分布。我们在每一步之后的残差上逐步迭代地向前应用该测试。所得到的方法具有逐步选择的计算优势，并解决了由于模型选择而导致的无效检验统计量的问题。我们说明了这种方法的灵活性，通过将其应用到几个专业的应用程序，包括一个分层的相互作用模型和最近描述的添加剂模型，自适应地选择线性和非线性效应之间的每个变量。
2014-05-15 stat.ME
Pruning variable selection ensembles
Xi’an Jiaotong University（西安交通大学）；University of Waterloo（滑铁卢大学）
在变量选择的背景下，集成学习由于其在提高选择精度和降低错误发现率方面的巨大潜力而受到越来越多的关注。为了获得更小但更精确的集成，本文设计了一种新的基于排序的选择性集成学习策略。特别是，提出了一个贪婪的排序策略，重新安排的顺序，其中的成员被纳入集成过程。通过提前停止融合过程，可以获得较小的子系综，具有较高的选择精度。更重要的是，顺序包含标准揭示了集成成员之间的基本强度多样性权衡。以稳定性选择（StabSel）算法为例，通过仿真和实际数据对算法的性能进行了验证。实验结果表明，与StabSel和其他几种基准方法相比，剪枝StabSel具有更高的选择准确率和更低的错误发现率.
2017-04-26 cs.LG stat.ML
Variable Selection for Clustering and Classification
随着数据集的规模和复杂性不断增长，需要有效和高效的技术来定位变量空间中的重要特征。通常与聚类算法一起使用的许多变量选择技术是基于以逐步方式根据模型拟合确定最佳变量子空间。这些技术通常是计算密集型的，并且可能需要很长的时间来运行;事实上，对于高维数据，有些技术在计算上非常昂贵。在本文中，一种新的变量选择技术被引入用于聚类和分类分析，这是既直观又计算效率高。我们主要关注基于混合模型的学习中的应用，但该技术可以适用于各种其他聚类/分类方法。我们的方法说明了模拟和真实的数据，突出对比其性能与其他可比的变量选择技术的真实数据集。
2013-03-21 stat.CO
An ensemble learning method for variable selection: application to high dimensional data and missing values
在线性模型中选择变量的标准方法并不适合于正确处理高维和不完整的数据。目前，专门用于高维数据的方法处理缺失值的ad-hoc策略，如完整的情况下分析或单插补，而专门用于缺失值的方法，主要是基于多重插补，不讨论插补方法使用高维数据。因此，这两种方法对于许多现代应用来说似乎都是有限的。受集成方法的启发，提出了一种新的变量选择方法。它扩展了经典的变量选择方法的情况下，高维数据有或没有缺失数据。理论特性进行了研究，并通过模拟研究，以及通过应用程序的模型规格顺序多重插补的实际利益。在低维情况下，该程序改善了对误差风险的控制，尤其是第一类错误，即使逐步、套索或敲除方法没有缺失值。在缺失值的情况下，该方法的性能优于基于多重插补的参考选择方法。相似的性能得到在高维的情况下，有或没有缺失值。
2021-06-08 stat.ME
Bayesian variable selection in sample selection models using spike-and-slab priors
Durham University（杜伦大学）；University College London（伦敦大学学院）
本文提出两种尖峰- slab先验家族，用于样本选择模型中的贝叶斯变量选择，以解决传统方法在小样本中的不足，通过模拟研究和实际数据应用验证了方法的有效性。
2026-03-24 stat.CO stat.ME
False Variable Selection Rates in Regression
最近有兴趣将错误发现率（FDR）的思想扩展到回归设置中的变量选择。传统上，在这些设置中的FDR已经根据全回归模型的系数来定义。最近的论文一直在努力控制这个数量时，预测相关。本文表明，这个完整的模型定义的FDR遭受不直观的和潜在的不良行为的存在相关的预测。我们提出了一个新的错误选择错误的标准，错误的可变率（FVR），避免了这些问题，并表现在一个更直观的方式。我们讨论了这个标准的行为，以及它如何与传统的FDR相比，以及提出的指导方针，以确定在特定的环境中是适当的。最后，我们提出了一个简单的估计程序FVR逐步变量选择。我们分析了这种估计的性能，并在文献中最近的估计连接。
2013-02-10 stat.ME
Variable selection for mixed data clustering: a model-based approach
我们提出了两种方法来选择潜在类分析中的变量（即，混合模型假设内组件独立），这是常见的基于模型的混合数据聚类方法。第一种方法包括用期望最大化算法的修改版本优化BIC。这种方法同时执行模型选择和参数推断。第二种方法包括在最大限度地提高MICL，它认为聚类任务，交替优化算法。该方法在进行模型选择时不需要进行模型比较的最大似然估计，然后对唯一选择的模型进行参数推断。因此，这两种方法的好处是避免了为每个模型比较计算最大似然估计。此外，它们还避免了使用用于变量选择的标准算法，这些算法通常是次优的（例如逐步方法）并且计算昂贵。还讨论了缺失值数据的情况。这两个建议的标准的兴趣显示在模拟和真实的数据。
2017-03-07 stat.CO
High-dimensional variable selection
本文探讨了这样一个问题：在高维模型中进行变量选择时，可以给出什么样的统计保证？特别是，我们看看的差错率和权力的一些多阶段回归方法。在第一阶段，我们拟合一组候选模型。在第二阶段，我们通过交叉验证选择一个模型。在第三阶段，我们使用假设检验来消除一些变量。我们称前两个阶段为“筛选”，最后一个阶段为“清洗”。“我们考虑了三种筛选方法：套索、边缘回归和向前逐步回归。我们的方法在一定条件下给出了一致的变量选择。
2009-08-20 math.ST stat.ML stat.TH
Multi-Model Subset Selection
针对高维回归中稀疏方法可解释但精度低、集成方法精度高但黑盒的问题，提出兼具可解释性与高精度的多模型回归集成方法，拓展L0优化实现联合求解，在模拟与真实数据上性能优于现有方法，且算法已公开实现。
2024-10-30 stat.ME
Evolutionary shift detection with ensemble variable selection
1.环境的突然变化会导致性状进化中的进化转变。识别这些变化是理解表型进化历史的重要一步。2.我们提出了一个集成变量选择方法（R包ELPASO）的进化转移检测任务，并比较它与现有的方法（R包l1ou和PhylogeneticEM）在几种情况下。3.方法的性能高度依赖于选择标准。当信号大小较小时，使用贝叶斯信息准则（BIC）的方法具有更好的性能。并且当信号大小足够大时，使用系统发育贝叶斯信息准则（pBIC）的方法（Khabbazian等人，2016年，取得了更好的成绩。此外，性能受到测量误差和树重建误差的严重影响。4. Entrance方法+ pBIC往往比l1ou + pBIC执行得更不保守，Entrance方法+ BIC比l1ou + BIC更保守。PhylogeneticEM在小信号大小的情况下甚至更保守，并且在大信号大小的情况下落在llou + pBIC和Entrance方法+ BIC之间。不同方法的结果可能不同，但没有一种方法明显优于其他方法。通过将多种方法应用于单个数据集，我们可以基于方法之间的一致性来访问每个检测到的偏移的鲁棒性。
2022-04-12 q-bio.PE stat.ME
Robust Variable and Interaction Selection for Logistic Regression and Multiple Index Models
本文提出了判别分析（SODA）的逐步协方差似然变量选择方法，用于检测逻辑斯谛回归和二次判别分析（QDA）模型中的主效应和二次交互效应。在前向阶段，SODA加入重要的预测评估的基础上，他们的整体贡献，而在后向阶段SODA删除不重要的条款，以优化扩展贝叶斯信息准则（EBIC）。与现有的QDA变量选择方法相比，SODA可以处理预测变量远大于样本量的高维数据，且不需要对预测变量进行联合正态性假设，鲁棒性大大增强.我们进一步扩展SODA进行变量选择和模型拟合的多指标模型。与现有的基于切片逆回归（SIR）（Li 1991）的变量选择方法相比，SODA既不需要线性也不需要恒定方差条件，并且更鲁棒。我们的理论分析建立了变量选择的一致性SODA在高维设置，我们的模拟研究以及实际数据的应用表明，在处理非高斯设计矩阵的分类问题和多指标模型的SODA的优越性能。
2017-05-29 stat.ME
Delete or merge regressors for linear model selection
我们考虑一个同时存在连续和分类预测变量的线性模型选择问题。可行模型由数值变量的子集和因素水平的划分组成。提出了一种称为删除或合并回归（DMR）的新算法，该算法是一个逐步向后的过程，包括根据平方t统计量对预测因子进行排序，并选择最小化BIC的最终模型。在这篇文章中，我们证明了DMR的一致性时，预测因子的数量趋于无穷大的样本量，并描述了一个模拟研究使用相关的R包。结果表明，显着的优势，我们的算法在时间复杂度和选择精度的Lasso为基础的方法在文献中描述。此外，还提出了一种适用于广义线性模型的DMR。
2015-05-15 stat.AP
Variable selection for model-based clustering using the integrated complete-data likelihood
聚类分析中的变量选择是一个重要而又具有挑战性的问题。它可以通过正则化方法来实现，该方法通过使用拉索型惩罚来实现聚类精度和所选变量数量之间的权衡。然而，惩罚项的校准可能会受到批评。模型选择方法是一种有效的替代方法，但它们需要对涉及组合问题的信息准则进行困难的优化。首先，大多数这些优化算法是基于一个次优的过程（例如逐步的方法）。其次，算法通常是贪婪的，因为它们需要多次调用期望最大化算法。在这里，我们建议使用一个新的信息标准的基础上集成的完整数据的可能性。它不需要任何估计，其最大化是简单和计算效率。我们的方法的原始贡献是执行模型选择，而不需要任何参数估计。然后，仅需要对唯一选择的模型进行参数推断。该方法用于条件独立假设下的高斯混合模型的变量选择。在模拟数据集和基准数据集上的数值实验表明，该方法的性能优于两种经典的变量选择方法。
2015-06-18 stat.ME
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT（麻省理工学院）；Cornell（康奈尔大学）；Stanford（斯坦福大学）
ControlBurn是一个Python包，用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合，优先考虑具有少量特征的基函数，然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此，ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性：例如，它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径（任何数量的选定特征的预测误差）。对于较大的数据集，运行时在样本和特征的数量上线性缩放（最多为对数因子），并且包支持使用草图加速。此外，ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的：它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Efficient Test-based Variable Selection for High-dimensional Linear Models
变量选择在高维数据分析中起着基础性的作用。近年来，已经开发了各种方法用于变量选择。众所周知的例子是前向逐步回归（FSR）和最小角度回归（LARS）等。这些方法通常将变量逐个添加到模型中。对于这样的选择过程，找到一个控制模型复杂性的停止准则是至关重要的。为此，最常用的技术之一是交叉验证（CV），尽管它很受欢迎，但它有两个主要缺点：昂贵的计算成本和缺乏统计解释。为了克服这些缺点，我们引入了一个灵活和高效的基于测试的变量选择方法，可以纳入任何顺序选择程序。该测试是对剩余非活动变量中的总体信号的测试，其基于非活动变量与给定活动变量的响应之间的最大绝对偏相关。当维数在样本量中均匀趋于无穷大时，我们得到了所提出的检验统计量的渐近零分布。我们还表明，测试是一致的。使用此测试，在选择的每个步骤中，当且仅当$p$值低于某个预定义水平时，才包括新变量。数值研究表明，该方法提供了非常有竞争力的性能相比，CV变量选择精度和计算复杂度。
2018-01-31 stat.ME
An Ensemble Approach toward Automated Variable Selection for Network Anomaly Detection
Texas A&M University（得克萨斯农工大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；ETRI（电子通信研究院）
虽然变量选择对于通过对特征进行优先级排序来优化学习复杂性是必不可少的，但自动化选择过程是首选，因为它需要进行大量的分析。然而，由于几个原因，实现自动化并不是一件容易的任务。首先，选择技术通常需要一个条件来终止约简过程，例如，通过使用阈值或特征的数量来停止，并且搜索适当的停止条件是非常具有挑战性的。其次，不确定减少的变量集是否会很好地工作;我们的初步实验结果表明，众所周知的选择技术产生不同的变量集作为减少的结果（即使具有相同的终止条件），并且很难估计其中哪一个在未来的测试中工作得最好。在本文中，我们展示了我们的方法的选择过程，结合知名的选择方法，识别重要变量的自动化的潜在力量。我们对两个公共网络流量数据（UNSW-NB 15和IDS 2017）的实验结果表明，我们提出的方法识别了少量的核心变量，使用这些变量可以近似于具有全部变量的性能。
2019-10-28 cs.LG cs.NI stat.ML
ControlBurn: Feature Selection by Sparse Forests
Cornell University（康奈尔大学）
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制，这降低了可解释性并使特征选择复杂化。在本文中，我们提出了ControlBurn，一个特征选择算法，使用加权LASSO为基础的特征选择方法修剪不必要的功能，从树系综，就像低强度火灾减少过度生长的植被。像线性LASSO一样，ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外，与基于迭代包装器的特征选择方法不同，该算法高效且仅需要一次训练迭代即可运行。我们表明，ControlBurn的性能大大优于特征选择方法，在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Replica Analysis for Ensemble Techniques in Variable Selection
本文利用统计力学的副本方法，系统分析了高维线性模型中基于集成学习的变量选择方法（SS与dKO）的性能，证明dKO优于普通knockoff和标准SS，且提高SS的重采样率可增强检测功效。
2024-08-29 cond-mat.dis-nn cond-mat.stat-mech cs.IT
A MOM-based ensemble method for robustness, subsampling and hyperparameter tuning
超参数调整和模型选择是机器学习中的重要步骤。不幸的是，经典的超参数校准和模型选择程序是敏感的离群值和重尾数据。在这项工作中，我们构建了一个选择过程，可以被看作是一个强大的替代交叉验证，是基于平均值的原则。使用这个过程，我们还建立了一个集成方法，该方法使用算法和损坏的重尾数据进行训练，选择一个算法，使用一个大的未损坏的子样本进行训练，并自动调整其超参数。该构造依赖于分而治之的方法，使得该方法在给定损坏的数据库的情况下可以轻松地扩展为autoML。该方法是用LASSO测试的，已知LASSO对离群值高度敏感。
2019-05-21 math.ST stat.TH
Investigating consumers' store-choice behavior via hierarchical variable selection
本文基于扫描面板数据建立了一个商店选择模型，用于研究消费者的商店选择行为。我们的商店选择模型使我们能够评估的影响，消费者/产品属性不仅对消费者的商店选择，但也对他/她的购买量。此外，我们采用了混合整数优化（MIO）的方法来选择最佳的解释变量与构建一个商店选择模型。我们设计了两个层次变量选择的MIO模型，其中产品类别的层次结构被用来提高变量选择的可靠性和计算效率。我们通过对实际扫描仪面板数据的计算实验来评估我们的MIO模型的有效性。这些实验的重点是消费者在日本的三种类型的商店中的选择：便利店，药店和杂货超市。计算结果表明，我们的方法有几个优点比常用的变量选择方法，即逐步方法和$L_1$ -正则化回归。此外，我们的分析表明，有家庭的妇女往往选择便利店是因为方便，选择药店是为了以低价购买特定产品，选择杂货超市是为了购买保健食品。
2017-04-03 stat.AP
Exact Post-Selection Inference for Sequential Regression Procedures
我们提出了新的推理工具，向前逐步回归，最小角度回归，和套索。假设一个高斯模型的观察向量y，我们首先描述了一个一般的计划，以执行有效的推理后，任何选择事件，可以被描述为y落入一个多面体集。这个框架允许我们在前向逐步回归或最小角度回归的任何一步，或者沿着套索正则化路径的任何一步推导出条件（后选择）假设检验，因为事实证明，这些过程的选择事件可以表示为y上的多面体约束。在有限样本中，与这些检验相关的p值在零分布下完全均匀，得到精确的第一类错误控制。检验也可以反向以产生适当的潜在回归参数的置信区间。R包“selectiveInference”在CRAN库中免费提供，实现了本文中描述的新推理工具。
2015-10-11 stat.ME
An Ensemble EM Algorithm for Bayesian Variable Selection
我们研究了线性回归中变量选择的贝叶斯方法。受到Rockova和George（2014）最近工作的启发，我们提出了一种期望最大化算法，该算法返回相关变量集的MAP估计。由于其特定的更新方案，我们的算法可以有效地实现，而无需在每次迭代中对大矩阵进行求逆，因此可以通过大数据进行扩展。我们还表明，MAP估计返回我们的期望最大化算法实现变量选择的一致性，即使当$p$分歧与$n$。在实践中，我们的算法可能会陷入局部模式，这是期望最大化算法的一个常见问题。为了解决这个问题，我们提出了一个集成期望最大化算法，在该算法中，我们重复应用期望最大化算法的一个子集的样本与一个子集的协变量，然后聚合的变量选择结果在这些自助重复。实验研究表明，集成期望最大化算法具有较好的性能。
2016-03-14 stat.CO stat.ME
Estimating model evidence using ensemble-based data assimilation with localization - The model selection problem
近年来，人们越来越关注将原本用于状态估计的数据同化（DA）方法应用于模型选择问题。在这种情况下，Carrassi等人（2017）介绍了模型证据（CME）的上下文公式，并表明CME可以使用基于集合的DA程序的层次结构有效地计算。尽管Carrassi等人（2017）分析了全球最常用于业务大气和海洋预测的DA方法，但他们没有结合特定领域的本地化来研究这些方法。然而，任何应用集成DA方法，以现实的地球物理模型，需要实现某种形式的本地化。本研究扩展了估计CME的理论，集成DA方法与域本地化。本文发展的区域局部CME（DL-CME）的模型选择测试与两个模式：（i）洛伦兹40变量中纬度大气动力学模式（L95）和（ii）简化的全球大气SPEEDY模式。将CME与均方根误差（RMSE）进行比较，作为模型选择的度量。实验表明，CME系统地提高了RMSE，并且通过使用DL-CME在CME的估计中应用本地化来进一步增强这种技能提高。CME和DL-CME作为模型选择度量的潜在用途和应用范围也进行了讨论。
2018-10-09 stat.CO stat.ME
Interpretable random forest models through forward variable selection
随机森林是一种处理高维协变量的流行预测方法。然而，它往往成为不可行的解释所获得的高维和非参数模型。为了获得一个可解释的预测模型，我们开发了一个向前的变量选择方法，使用连续排序概率得分（CRPS）作为损失函数。我们的逐步程序导致一组最小的变量，通过在每一步对CRPS风险显著降低进行假设检验来优化CRPS风险。我们提供的数学动机，我们的方法证明，在人口意义上的方法达到最优集。此外，我们表明，测试是一致的，提供了一个分位数函数的随机森林估计是一致的。在模拟研究中，我们比较了我们的方法与现有的变量选择方法的性能，不同的样本量和协变量的不同相关强度。我们的方法被观察到具有低得多的假阳性率。我们还展示了我们的方法在荷兰的每日最高温度预报的统计后处理的应用。我们的方法选择了大约10%的协变量，同时保留了相同的预测能力。
2020-05-11 stat.ME stat.ML
An iterative algorithm for joint covariate and random effect selection in mixed effects models
我们考虑一般混合效应模型中固定效应和随机效应的联合选择。估计的混合效应模型的解释是具有挑战性的，因为改变一组效应的结构可能导致模型中重要协变量的不同选择。我们提出了一个逐步选择算法来执行固定和随机效应的同时选择。它是基于BIC型标准，其处罚适用于混合效应模型。所提出的程序执行模型选择在线性和非线性模型。它应用于低维设置，其中协变量数量和随机效应数量相对于观察总数而言是中等的。该算法的性能进行评估，通过模拟研究，其中也包括一个比较研究的替代品时，在文献中。该方法的使用说明在抗生素剂动力学的临床研究。
2020-02-25 stat.ME
Fast selection of nonlinear mixed effect models using penalized likelihood
非线性混合效应模型是一种隐变量模型，在药物计量学等领域有着广泛的应用。在这样的模型中，隐变量的分布特征可以通过包括几个参数来指定，例如必须选择的协变量或相关性。药物基因组学的最新发展带来了平均/高维问题的非线性混合效应建模领域的标准协变量选择技术，如逐步方法是不太适合。提出了使用惩罚似然法选择协变量和相关参数的方法。惩罚似然问题的解决使用随机邻近梯度算法，以避免内外迭代。使用分量自适应梯度步长提高了邻近梯度算法的收敛速度。使用模拟的实际实施和调整的近端梯度算法进行了探讨。正则化参数的校准是通过使用粒子群优化（零阶优化过程）最小化贝叶斯信息准则来执行的。热重启和并行化的使用使得计算时间显著减少。与传统的网格搜索策略相比，所提出的方法的性能进行了探索，使用模拟数据。最后，提供了两个药代动力学研究的实际数据的应用程序，一个研究抗纤维蛋白溶解和其他研究抗生素。
2021-10-17 stat.CO stat.ME
A User-Guided Bayesian Framework for Ensemble Feature Selection in Life Science Applications (UBayFS)
Norwegian University of Life Sciences（挪威生命科学大学）
特征选择是一种降低高维数据集复杂性并深入了解数据系统变化的方法。这方面在依赖模型可解释性的领域（如生命科学）中特别重要。我们提出了UBayFS，集成特征选择技术嵌入在贝叶斯统计框架。我们的方法考虑两个信息来源：数据和领域知识。我们建立了一个元模型，从一个合奏的基本特征选择器和聚合这些信息在一个多项式的可能性。用户通过加权特征和惩罚特定特征块或组合来指导UBayFS，通过Dirichlet型先验分布和正则化项实现。在定量评估中，我们证明了我们的框架（a）允许用户知识和数据观测之间的平衡权衡，（b）实现了具有竞争力的性能与最先进的方法。
2021-12-11 cs.LG stat.ME
Ensemble Method for Cluster Number Determination and Algorithm Selection in Unsupervised Learning
无监督学习，更具体地说是聚类，需要该领域的专业知识才能派上用场。研究人员必须对给定数据集使用哪种算法和哪组超参数做出谨慎和明智的决定。此外，研究人员可能需要确定数据集中的聚类数量，不幸的是，这本身就是大多数聚类算法的输入。所有这些都是在开始他们实际的主题工作之前。在量化算法和超参数选择的影响后，我们提出了一个集成聚类框架，可以利用最少的输入。它可用于确定数据集中的聚类数以及用于给定数据集的合适算法选择。为了便于集成，在结论中包含了一个代码库。
2021-12-23 cs.LG q-bio.QM stat.ME
Posterior Summarization for Variable Selection in Bayesian Tree Ensembles
Northwestern University（西北大学）；Rice University（莱斯大学）
针对贝叶斯树集成变量选择的后验汇总问题，提出VC-度量及聚类阈值，该方法适配BART变体，在大规模基准测试中提升F1值，与DART结合后平衡了召回率、精度与效率。
2026-08-25 stat.ME
Growth Mixture Modeling with Measurement Selection
生长混合模型是研究重复测量数据中群体结构的重要工具。与传统的聚类方法不同，它们显式地对观测的重复测量进行建模，并且它们所基于的统计框架允许使用模型选择方法来选择聚类的数量。然而，基本增长混合模型假设数据中的所有测量都具有分组信息/分离聚类。在其他聚类上下文中，已经表明，在聚类过程中包括非聚类变量可能导致在聚类数量和聚类成员/参数方面对组结构的估计不佳。在本文中，我们提出了一个扩展的增长混合模型，允许纳入逐步变量选择的基础上所做的工作Maugis等。（2009）和Raftery和Dean（2006）。仿真研究结果表明，该方法在正确选择聚类变量和提高恢复的集群结构相比，基本的增长混合模型。本文还提出了一个应用模型的临床研究数据集，并得出结论，在这一领域的未来工作的方向进行了讨论和建议。
2017-10-18 stat.ME
