Generalizing Gain Penalization for Feature Selection in Tree-based Models
Hamilton Institute（汉密尔顿研究所）；Maynooth University（梅努斯大学）
我们开发了一种新的方法，通过在基于树的模型中的增益惩罚的特征选择。首先，我们表明，以前的方法没有执行足够的正则化，往往表现出次优的样本外的性能，特别是当相关的功能存在。相反，我们开发了一个新的增益惩罚的想法，表现出一般的局部-全局正则化基于树的模型。新方法允许在选择特定特征的重要性权重时具有更大的灵活性。我们验证了我们的方法在模拟和真实的数据，并实现作为一个流行的R包测距仪的扩展。
2020-06-12 cs.IR cs.LG stat.ML
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island（罗德岛大学）
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则，称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同，贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外，该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制，并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例，说明了算法和参数的选取。最后，使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
FoLDTree: A ULDA-Based Decision Tree Framework for Efficient Oblique Splits and Feature Selection
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出LDATree和FoLDTree两种基于ULDA的决策树框架，实现高效斜切分、特征选择与多类分类，性能优于传统斜树，准确率媲美随机森林。
2025-05-23 cs.LG stat.ME stat.ML
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT（麻省理工学院）；Cornell（康奈尔大学）；Stanford（斯坦福大学）
ControlBurn是一个Python包，用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合，优先考虑具有少量特征的基函数，然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此，ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性：例如，它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径（任何数量的选定特征的预测误差）。对于较大的数据集，运行时在样本和特征的数量上线性缩放（最多为对数因子），并且包支持使用草图加速。此外，ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的：它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Selecting the Best in GANs Family: a Post Selection Inference Framework
Carnegie Mellon University（卡内基梅隆大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Nagoya Institute of Technology（名古屋工业大学）；Institute of Statistical Mathematics（统计数学研究所）
“哪种生成对抗网络（GANs）生成最合理的图像？“一直是研究人员经常问的问题。为了解决这个问题，我们首先提出了一个\emph{incomplete} U-统计估计的最大平均差异$\mathrm{MMD}_{inc}$来衡量生成的图像和真实图像之间的分布差异。$\mathrm{MMD}_{inc}$具有渐近正态性、计算效率和模型不可知性等优点。然后，我们提出了一个GANs分析框架，选择和测试“最好的”成员在GANs家庭使用后选择推理（PSI）与$\mathrm{MMD}_{inc}$。在实验中，我们采用所提出的框架对7个GANs变体，并比较它们的$\mathrm{MMD}_{inc}$分数。
2018-06-23 cs.LG stat.ML
End-to-end Feature Selection Approach for Learning Skinny Trees
MIT（麻省理工学院）
提出Skinny Trees端到端树集成特征选择方法，通过分组$\ell_0$-正则化器同时训练可微树并控制特征数量，在15个数据集上实现高压缩率与加速推理，且性能优于现有工具包。
2025-04-06 cs.LG
Feature Importance in Gradient Boosting Trees with Cross-Validation Feature Selection
Tel Aviv University（特拉维夫大学）
梯度提升机（GBM）是表格数据的常用算法之一，它在许多预测任务中产生最先进的结果。尽管GBM框架很受欢迎，但它的基础学习器存在一个根本性的缺陷。具体地，大多数实现利用通常偏向于具有大基数的分类变量的决策树。这种偏差的影响多年来被广泛研究，主要是在预测性能方面。在这项工作中，我们扩大了范围，并研究了有偏见的基础学习GBM特征重要性（FI）措施的影响。我们表明，虽然这些实施表现出高度竞争力的预测性能，他们仍然，令人惊讶的是，遭受偏见FI。通过利用交叉验证（CV）无偏基础学习器，我们以相对较低的计算成本修复了这个缺陷。我们在各种合成和现实世界的设置中展示了建议的框架，在所有GBM FI措施中显示出显着的改善，同时保持相对相同的预测准确度。
2021-09-12 cs.LG stat.ML
Sensor Selection by Linear Programming
我们从训练数据中学习传感器树，以最大限度地减少测试期间的传感器获取成本。我们的系统自适应地选择传感器在每个阶段，如果有必要，使一个有信心的分类。我们提出的问题，经验风险最小化的选择树和节点的决策规则。我们分解的问题，这是已知的是棘手的，组合（树结构）和连续的部分（节点决策规则），并建议分别解决它们。使用训练数据，我们greenhouse解决的组合树结构和连续的部分，这是一个非凸的多线性目标函数，我们推导出凸代理损失函数是分段线性的。所得到的问题可以作为一个线性规划，并具有保证收敛性，全局最优性，可重复性和计算效率的优点。我们表明，我们提出的方法优于国家的最先进的一些基准数据集。
2015-09-09 cs.LG stat.ML
Non-uniform Feature Sampling for Decision Tree Ensembles
EPFL（洛桑联邦理工学院）；IBM Research Lab, Zurich（IBM苏黎世研究实验室）
研究了非均匀随机特征选择在决策树分类中的有效性。我们实验评估两种特征选择方法，从提供的数据集提取的信息的基础上：$(i)$ \emph{leverage scores-based}和$(ii)$ \emph{norm-based}特征选择。对所提出的特征选择技术的实验评估表明，与朴素的均匀特征选择相比，这种方法可能更有效，而且与随机森林算法[3]具有相当的性能。
2014-03-24 cs.IT cs.LG math.IT
Superfast Selection for Decision Tree Algorithms
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出Superfast Selection方法，通过降低时间复杂度并消除预编码需求加速决策树分割选择，集成至CART构建UDT，实现高效训练与超参数调优。
2024-06-04 cs.LG
Explainable Adaptive Tree-based Model Selection for Time Series Forecasting
Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）；TU Dortmund University（多特蒙德工业大学）
针对在线时间序列预测中树模型易过拟合的问题，提出基于 TreeSHAP 的自适应模型选择框架，通过漂移检测在线选择模型并提供多层级可解释性，在真实数据集上表现优异。
2024-01-02 cs.AI cs.LG
Just add noise: Debiasing tree-based variable importance in mixed data
Duke University（杜克大学）
针对树模型变量重要性偏向连续变量的问题，提出添加噪声的简单去偏方法，并结合稳定性选择实现混合数据变量选择与错误发现控制。
2026-09-15 cs.LG stat.ME stat.ML
Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference
J.P. Morgan AI Research（摩根大通AI研究）
针对在线决策树分裂选择缺乏有效统计保证的问题，提出基于随时有效推断的方法，实现任意数据流下错误分裂的随时有效控制、预测优势下的有限承诺时间，并在平稳独立同分布数据下保证风险单调递减且每次分裂严格改善。
2026-05-29 cs.AI cs.LG stat.ML
Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization
Nanjing University（南京大学）
贝叶斯优化（BO）是一类流行的昂贵的黑箱优化方法，并已被广泛应用于许多场景。然而，BO受到维数灾难的影响，将其扩展到高维问题仍然是一个挑战。本文提出了一种基于蒙特卡罗树搜索（MCTS）的变量选择方法MCTS-VS，用于迭代地选择和优化一个变量子集。也就是说，MCTS-VS通过MCTS构造低维子空间，并在子空间中使用任何BO算法进行优化。我们给出了一般变量选择方法的理论分析，以揭示它是如何工作的。高维合成函数和真实世界问题的实验（即，NAS-bench问题和MuJoCo运动任务）表明，配备适当BO优化器的MCTS-VS可以实现最先进的性能。
2022-11-16 cs.AI cs.LG
Trees versus Neural Networks for enhancing tau lepton real-time selection in proton-proton collisions
School of Physics and Astronomy, Tel Aviv university（特拉维夫大学物理与天文学院）；School of Electrical Engineering, Tel Aviv university（特拉维夫大学电气工程学院）
本文研究质子-质子碰撞中tau轻子实时触发选择，通过对比决策树与深度学习模型，发现其能显著提升性能并降低能量阈值，从而提高新现象搜索灵敏度，并分析了两种方法的适用场景。
2024-04-22 cs.LG hep-ex physics.ins-det
Information criteria for structured parameter selection in high dimensional tree and graph models
Université libre de Bruxelles（布鲁塞尔自由大学）
本文针对高维模型中参数选择易产生假阳性过估计的问题，提出在假阳性和假阴性间取得平衡的改进信息准则，为无收缩估计量开发了适用于树和图模型结构化选择的校正Mallows's Cp准则。
2023-06-24 cs.LG math.ST stat.TH
Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning
该研究提出一种分层可解释关键实例选择模型，结合邻近树、斜树与集成学习扩展数据无关的模型，在多类型数据集上性能优于同类策略，实现了可解释性与预测效果的平衡。
2026-07-31 cs.AI cs.LG
Efficient Optimal Selection for Composited Advertising Creatives with Tree Structure
Alibaba Group（阿里巴巴集团）
广告创意是在线电子商务广告的主要媒介之一。具有令人愉快的视觉外观的广告创意可以增加产品的点击率（CTR）。广告创意通常由广告商手工制作，然后交付给广告平台用于广告。近年来，广告平台能够即时合成具有任意指定的每种成分的元素的广告创意，因此广告主只需要提供基本材料。在方便广告商的同时，可以合成大量潜在的广告创意，使得在给定有限的实时反馈的情况下难以准确地估计针对它们的CTR。为此，我们提出了一种基于树结构的自适应和高效的广告创意选择（AES）框架。合成成分的树结构使动态规划能够在CTR的基础上进行有效的广告创意选择。由于有限的反馈，CTR估计器通常具有高方差。基于Thompson抽样的探索技术被广泛用于减小CTR估计器的方差，减轻反馈稀疏性。在树结构的基础上，采用动态规划对Thompson抽样进行调整，从而有效地挖掘具有最大点击率的潜在广告创意。最后，我们评估所提出的算法在合成数据集和真实世界的数据集。结果表明，我们的方法可以优于竞争基线的收敛速度和整体CTR。
2021-03-02 cs.IR cs.LG
Feature Selection on Sentinel-2 Multi-spectral Imagery for Efficient Tree Cover Estimation
Lahore University of Management Sciences（拉合尔管理科学大学）
针对城市树木覆盖率估算问题，提出结合光谱指数滤除建成区与特征选择的多光谱随机森林分类器，在Sentinel-2影像的LUMS指定区域实验中，性能优于传统方法及现有先进方案。
2023-05-31 cs.CV cs.LG eess.IV
Collapsing the Decision Tree: the Concurrent Data Predictor
通过消除属性顺序求值的限制，从决策树分类器中导出了一类并发数据预测器。通过并发地评估属性，决策树折叠成扁平结构。实验结果表明，该方法提高了预测精度。
2021-08-09 cs.LG
Unleashing the Power of Extra-Tree Feature Selection and Random Forest Classifier for Improved Survival Prediction in Heart Failure Patients
Bangladesh Atomic Energy Regulatory Authority（孟加拉国原子能监管局）；Northumbria University（诺森比亚大学）；Summit Communications Limited（顶峰通信有限公司）
本文提出结合额外树特征选择与随机森林分类器，在UCL心力衰竭生存数据集上实现98.33%的最高生存预测准确率。
2023-08-09 cs.AI cs.LG
On the utility of feature selection in building two-tier decision trees
如今，当存在由于过拟合而导致的性能下降的风险时或者当计算资源有限时，特征选择被频繁地用于机器学习。在特征选择过程中，选择最相关和最少冗余的特征子集。近年来，人们逐渐认识到，除了相关性和冗余性之外，特征的互补性也必须被考虑。非正式地说，如果这些特征分别是目标变量的弱预测因子，而组合时是强预测因子，则它们是互补的。本文证明了在构造两层决策树时，互补特征的协同效应会被另一特征干扰，从而导致性能下降。通过对合成和真实数据集、回归和分类进行交叉验证，证明了去除或消除干扰特征可以将性能提高24倍。人们还发现，学习的领域越少，性能的提高就越大。更正式地说，它表明，有一个统计上显着的负秩相关性的数据集上的性能之前，消除干扰功能和性能增长后，消除干扰功能。它的结论是，这拓宽了范围的特征选择方法的情况下，数据和计算资源是足够的。
2022-12-29 cs.AI cs.LG
Sample Complexity of Tree Search Configuration: Cutting Planes and Beyond
Carnegie Mellon University（卡内基梅隆大学）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）
在过去的几十年里，割平面方法在整数规划中取得了显着的成功。最先进的求解器集成了无数的切割平面技术，以加快用于找到最佳解决方案的底层树搜索算法。在本文中，我们证明了第一个保证学习高性能的切割选择政策，适合手头的实例分布使用样本。我们首先从Chvátal-Gomory割的规范族中学习割平面的样本复杂度。我们的边界处理任何数量的波的任何数量的削减和微调的约束系数的大小。接下来，我们证明了样本复杂性界限更复杂的切割选择政策，使用评分规则的组合，从一个家庭的削减选择。最后，超越了整数规划的切割平面的领域，我们开发了一个通用的抽象树搜索，捕获关键组件，如节点选择和变量选择。对于这种抽象，我们限制了学习一个好的策略来构建搜索树的样本复杂性。
2021-06-08 cs.AI cs.LG
Symbolic Integration Algorithm Selection with Machine Learning: LSTMs vs Tree LSTMs
Coventry University（考文垂大学）；Maplesoft（Maplesoft公司）
本研究探讨利用机器学习指导计算机代数系统中的符号积分子算法选择，比较了LSTM与TreeLSTM模型，发现编码树结构的TreeLSTM表现更优且超越Maple现有元算法。
2024-04-23 cs.LG cs.MS cs.SC
L1 logistic regression as a feature selection step for training stable classification trees for the prediction of severity criteria in imported malaria
École Centrale Paris（巴黎中央理工学院）；Institut HyperCube（超立方体研究所）；Hopital Bichat-Claude Bernard（比沙-克洛德·贝尔纳医院）
使用解释性和预测性模型的多变量分类方法是必要的，根据他们的风险特征来表征患者的亚组。流行的方法包括逻辑回归和分类树，其性能根据数据集的性质和特征而变化。在输入性疟疾的背景下，我们的目的是根据异质性患者人群的严重程度标准进行分类。我们研究了这些方法，通过实施两种不同的策略：L1逻辑回归（L1 LR），模型一个单一的全球解决方案和分类树，模型多个本地解决方案对应的判别子区域的特征空间。对于每种策略，我们建立了一个标准的模型，和一个稀疏的版本。作为一种替代修剪，我们探索了一种有前途的方法，首先约束树模型与L1 LR为基础的特征选择，一种方法，我们称之为L1 LR树。其目的是通过删除与不稳定的局部现象相对应的变量，减少其易受小数据变化影响的程度。我们的研究是双重的：i）从方法学的角度，比较以往三种方法，即L1 LR、分类树和L1 LR-Tree，在严重输入性疟疾分类方面的表现和稳定性，和ii）从应用的角度来看，通过确定更加个性化的特征，根据临床诊断排除的变量预测几种临床标准，疾病的定义。主要的方法学结果表明，组合方法L1 LR树建立稀疏和稳定的模型，显着预测不同的严重性标准，并优于所有其他方法的准确性。
2015-11-20 cs.LG q-bio.QM stat.AP
