Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization
Nanjing University(南京大学)
贝叶斯优化(BO)是一类流行的昂贵的黑箱优化方法,并已被广泛应用于许多场景。然而,BO受到维数灾难的影响,将其扩展到高维问题仍然是一个挑战。本文提出了一种基于蒙特卡罗树搜索(MCTS)的变量选择方法MCTS-VS,用于迭代地选择和优化一个变量子集。也就是说,MCTS-VS通过MCTS构造低维子空间,并在子空间中使用任何BO算法进行优化。我们给出了一般变量选择方法的理论分析,以揭示它是如何工作的。高维合成函数和真实世界问题的实验(即,NAS-bench问题和MuJoCo运动任务)表明,配备适当BO优化器的MCTS-VS可以实现最先进的性能。
2022-11-16 cs.AI cs.LG
Non-uniform Feature Sampling for Decision Tree Ensembles
EPFL(洛桑联邦理工学院);IBM Research Lab, Zurich(IBM苏黎世研究实验室)
研究了非均匀随机特征选择在决策树分类中的有效性。我们实验评估两种特征选择方法,从提供的数据集提取的信息的基础上:$(i)$ \emph{leverage scores-based}和$(ii)$ \emph{norm-based}特征选择。对所提出的特征选择技术的实验评估表明,与朴素的均匀特征选择相比,这种方法可能更有效,而且与随机森林算法[3]具有相当的性能。
2014-03-24 cs.IT cs.LG math.IT
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT(麻省理工学院);Cornell(康奈尔大学);Stanford(斯坦福大学)
ControlBurn是一个Python包,用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合,优先考虑具有少量特征的基函数,然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此,ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性:例如,它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径(任何数量的选定特征的预测误差)。对于较大的数据集,运行时在样本和特征的数量上线性缩放(最多为对数因子),并且包支持使用草图加速。此外,ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的:它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Efficient Optimal Selection for Composited Advertising Creatives with Tree Structure
Alibaba Group(阿里巴巴集团)
广告创意是在线电子商务广告的主要媒介之一。具有令人愉快的视觉外观的广告创意可以增加产品的点击率(CTR)。广告创意通常由广告商手工制作,然后交付给广告平台用于广告。近年来,广告平台能够即时合成具有任意指定的每种成分的元素的广告创意,因此广告主只需要提供基本材料。在方便广告商的同时,可以合成大量潜在的广告创意,使得在给定有限的实时反馈的情况下难以准确地估计针对它们的CTR。为此,我们提出了一种基于树结构的自适应和高效的广告创意选择(AES)框架。合成成分的树结构使动态规划能够在CTR的基础上进行有效的广告创意选择。由于有限的反馈,CTR估计器通常具有高方差。基于Thompson抽样的探索技术被广泛用于减小CTR估计器的方差,减轻反馈稀疏性。在树结构的基础上,采用动态规划对Thompson抽样进行调整,从而有效地挖掘具有最大点击率的潜在广告创意。最后,我们评估所提出的算法在合成数据集和真实世界的数据集。结果表明,我们的方法可以优于竞争基线的收敛速度和整体CTR。
2021-03-02 cs.IR cs.LG
Scalable Feature Selection for (Multitask) Gradient Boosted Trees
Amazon(亚马逊)
梯度提升决策树(GBDTs)被广泛用于在搜索和推荐中建立排名和相关性模型。延迟和可解释性等考虑因素要求使用尽可能少的特征来训练这些模型。GBDT模型中的特征选择通常涉及按重要性对特征进行排序并选择前几个,或者通过执行完全向后特征消除例程。先前提出的动态特征选择方法随着特征的数量而次优地缩放,这在高维设置中可能是令人生畏的。我们开发了一个可扩展的前向特征选择变体GBDT,通过一个新的组测试程序,在高维工作良好,并享有良好的理论性能和计算保证。我们通过对公共和专有数据集的广泛实验表明,所提出的方法在训练时间上提供了显着的加速,同时在模型性能指标方面与现有的GBDT方法一样具有竞争力。我们还将该方法扩展到多任务设置,允许从业者选择跨任务的共同特征,以及选择特定于任务的特征。
2021-09-05 cs.LG stat.ML
Unleashing the Power of Extra-Tree Feature Selection and Random Forest Classifier for Improved Survival Prediction in Heart Failure Patients
Bangladesh Atomic Energy Regulatory Authority(孟加拉国原子能监管局);Northumbria University(诺森比亚大学);Summit Communications Limited(顶峰通信有限公司)
本文提出结合额外树特征选择与随机森林分类器,在UCL心力衰竭生存数据集上实现98.33%的最高生存预测准确率。
2023-08-09 cs.AI cs.LG
E2E-FS: An End-to-End Feature Selection Method for Neural Networks
CITIC Research Center(CITIC研究中心);Universidade da Coruña(拉科鲁尼亚大学)
经典的嵌入式特征选择算法通常分为两大类:基于树的算法和套索变体。这两种方法都集中在不同的方面:虽然基于树的算法提供了一个明确的解释,哪些变量被用来触发某个输出,套索般的方法牺牲了详细的解释,有利于提高其准确性。在本文中,我们提出了一种新的嵌入式特征选择算法,称为端到端特征选择(E2 E-FS),旨在以一种巧妙的方式提供准确性和可解释性。尽管有非凸正则化项,我们的算法,类似于套索方法,解决了梯度下降技术,引入了一些限制,迫使模型专门选择最大数量的功能,将随后使用的分类器。虽然这些是硬限制,但获得的实验结果表明,该算法可以与使用梯度下降算法训练的任何学习模型一起使用。
2020-12-14 cs.LG
On the utility of feature selection in building two-tier decision trees
如今,当存在由于过拟合而导致的性能下降的风险时或者当计算资源有限时,特征选择被频繁地用于机器学习。在特征选择过程中,选择最相关和最少冗余的特征子集。近年来,人们逐渐认识到,除了相关性和冗余性之外,特征的互补性也必须被考虑。非正式地说,如果这些特征分别是目标变量的弱预测因子,而组合时是强预测因子,则它们是互补的。本文证明了在构造两层决策树时,互补特征的协同效应会被另一特征干扰,从而导致性能下降。通过对合成和真实数据集、回归和分类进行交叉验证,证明了去除或消除干扰特征可以将性能提高24倍。人们还发现,学习的领域越少,性能的提高就越大。更正式地说,它表明,有一个统计上显着的负秩相关性的数据集上的性能之前,消除干扰功能和性能增长后,消除干扰功能。它的结论是,这拓宽了范围的特征选择方法的情况下,数据和计算资源是足够的。
2022-12-29 cs.AI cs.LG
Sample Complexity of Tree Search Configuration: Cutting Planes and Beyond
Carnegie Mellon University(卡内基梅隆大学);Optimized Markets, Inc.(Optimized Markets公司);Strategic Machine, Inc.(Strategic Machine公司);Strategy Robot, Inc.(Strategy Robot公司)
在过去的几十年里,割平面方法在整数规划中取得了显着的成功。最先进的求解器集成了无数的切割平面技术,以加快用于找到最佳解决方案的底层树搜索算法。在本文中,我们证明了第一个保证学习高性能的切割选择政策,适合手头的实例分布使用样本。我们首先从Chvátal-Gomory割的规范族中学习割平面的样本复杂度。我们的边界处理任何数量的波的任何数量的削减和微调的约束系数的大小。接下来,我们证明了样本复杂性界限更复杂的切割选择政策,使用评分规则的组合,从一个家庭的削减选择。最后,超越了整数规划的切割平面的领域,我们开发了一个通用的抽象树搜索,捕获关键组件,如节点选择和变量选择。对于这种抽象,我们限制了学习一个好的策略来构建搜索树的样本复杂性。
2021-06-08 cs.AI cs.LG
Feature Selection on Sentinel-2 Multi-spectral Imagery for Efficient Tree Cover Estimation
Lahore University of Management Sciences(拉合尔管理科学大学)
针对城市树木覆盖率估算问题,提出结合光谱指数滤除建成区与特征选择的多光谱随机森林分类器,在Sentinel-2影像的LUMS指定区域实验中,性能优于传统方法及现有先进方案。
2023-05-31 cs.CV cs.LG eess.IV
Feature Importance in Gradient Boosting Trees with Cross-Validation Feature Selection
Tel Aviv University(特拉维夫大学)
梯度提升机(GBM)是表格数据的常用算法之一,它在许多预测任务中产生最先进的结果。尽管GBM框架很受欢迎,但它的基础学习器存在一个根本性的缺陷。具体地,大多数实现利用通常偏向于具有大基数的分类变量的决策树。这种偏差的影响多年来被广泛研究,主要是在预测性能方面。在这项工作中,我们扩大了范围,并研究了有偏见的基础学习GBM特征重要性(FI)措施的影响。我们表明,虽然这些实施表现出高度竞争力的预测性能,他们仍然,令人惊讶的是,遭受偏见FI。通过利用交叉验证(CV)无偏基础学习器,我们以相对较低的计算成本修复了这个缺陷。我们在各种合成和现实世界的设置中展示了建议的框架,在所有GBM FI措施中显示出显着的改善,同时保持相对相同的预测准确度。
2021-09-12 cs.LG stat.ML
Explainable AI Integrated Feature Selection for Landslide Susceptibility Mapping using TreeSHAP
East Delta University(东三角洲大学);Islamic University of Technology (IUT)(伊斯兰技术大学(IUT))
本研究利用TreeSHAP解释XgBoost等机器学习模型,从15个因素中选出9个关键滑坡致灾因素,在特征减少40%的情况下提升了滑坡易发性预测性能,F1和AUC分数分别达95.01%和97%。
2023-06-27 cs.LG
ControlBurn: Feature Selection by Sparse Forests
Cornell University(康奈尔大学)
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制,这降低了可解释性并使特征选择复杂化。在本文中,我们提出了ControlBurn,一个特征选择算法,使用加权LASSO为基础的特征选择方法修剪不必要的功能,从树系综,就像低强度火灾减少过度生长的植被。像线性LASSO一样,ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外,与基于迭代包装器的特征选择方法不同,该算法高效且仅需要一次训练迭代即可运行。我们表明,ControlBurn的性能大大优于特征选择方法,在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Network Intrusion Detection Using Wrapper-based Decision Tree for Feature Selection
School of Computer Science and Technology, Changchun University of Science and Technology(长春理工大学计算机科学与技术学院)
基于机器学习(ML)的入侵检测系统(IDS)面临的主要挑战之一是昂贵的计算复杂性,这在很大程度上是由于IDS数据集中包含冗余、不完整和不相关的特征。为了克服这一挑战,保证建立高效、准确的入侵检测模型,许多研究者在混合建模方法中使用了归一化和特征选择等预处理技术。在这项工作中,我们提出了一个混合IDS建模方法与算法的特征选择(FS)和另一个用于建立一个IDS。FS算法是一个基于包装器的决策树作为特征评估器。提出的FS方法与一些选定的ML算法结合使用,使用UNSW-NB 15数据集构建IDS模型。有些IDS模型是作为基线在一个单一的建模方法使用数据集的全部功能。我们评估我们提出的方法的有效性,通过比较它与基线模型,也与国家的最先进的作品。我们的方法实现了97.95%的最佳DR,并且与最先进的作品相比非常有效。因此,我们建议使用它,特别是在IDS建模与UNSW-NB 15数据集。
2020-08-11 cs.CR cs.LG
Efficient Detection of Botnet Traffic by features selection and Decision Trees
Universidad de León(莱昂大学);INCIBE(西班牙国家网络与信息安全技术研究所)
本文通过信息增益和基尼重要性进行特征选择,并在CTU-13衍生的QB-CTU13和EQB-CTU13数据集上评估决策树、随机森林和k近邻模型,发现五特征决策树以85%的宏平均F1分数和0.78微秒的单样本分类时间实现最佳僵尸网络流量检测性能。
2021-06-30 cs.CR cs.LG
L1 logistic regression as a feature selection step for training stable classification trees for the prediction of severity criteria in imported malaria
École Centrale Paris(巴黎中央理工学院);Institut HyperCube(超立方体研究所);Hopital Bichat-Claude Bernard(比沙-克洛德·贝尔纳医院)
使用解释性和预测性模型的多变量分类方法是必要的,根据他们的风险特征来表征患者的亚组。流行的方法包括逻辑回归和分类树,其性能根据数据集的性质和特征而变化。在输入性疟疾的背景下,我们的目的是根据异质性患者人群的严重程度标准进行分类。我们研究了这些方法,通过实施两种不同的策略:L1逻辑回归(L1 LR),模型一个单一的全球解决方案和分类树,模型多个本地解决方案对应的判别子区域的特征空间。对于每种策略,我们建立了一个标准的模型,和一个稀疏的版本。作为一种替代修剪,我们探索了一种有前途的方法,首先约束树模型与L1 LR为基础的特征选择,一种方法,我们称之为L1 LR树。其目的是通过删除与不稳定的局部现象相对应的变量,减少其易受小数据变化影响的程度。我们的研究是双重的:i)从方法学的角度,比较以往三种方法,即L1 LR、分类树和L1 LR-Tree,在严重输入性疟疾分类方面的表现和稳定性,和ii)从应用的角度来看,通过确定更加个性化的特征,根据临床诊断排除的变量预测几种临床标准,疾病的定义。主要的方法学结果表明,组合方法L1 LR树建立稀疏和稳定的模型,显着预测不同的严重性标准,并优于所有其他方法的准确性。
2015-11-20 cs.LG q-bio.QM stat.AP
$L_0$ Feature Selection via Monte Carlo Tree Search in High-Dimensional Financial Regression
LAMSADE, Université Paris Dauphine-PSL, CNRS(LAMSADE,巴黎多芬大学-PSL,法国国家科学研究中心)
本研究针对高维金融回归的特征选择问题,提出基于蒙特卡洛树搜索与GNRPA的框架,在纳斯达克100指数周度收益解释任务上,其样本外$R^2$优于Lasso,为金融领域稀疏解释性特征选择提供了实用替代方案。
2026-10-12 cs.LG q-fin.CP q-fin.ST
Conditional Inference Trees and Forests for Feature Selection
Amazon Web Services(亚马逊云服务)
研究条件推理树和森林作为top-k特征排序方法,通过实验验证其性能,发现Bonferroni校正和自适应停止对运行时间影响显著,而森林特征采样可能遗漏重要特征。
2026-07-03 cs.LG stat.ML
FREEtree: A Tree-based Approach for High Dimensional Longitudinal Data With Correlated Features
Southern University of Science and Technology(南方科技大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California Institute of Technology(加州理工学院);The University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Sichuan University(四川大学)
本文提出了一种基于树的高维纵向数据相关特征提取方法FREEtree。流行的机器学习方法,如随机森林,通常用于变量选择,当存在相关特征时表现不佳,并且不考虑随时间观察到的数据。FREEtree采用分段随机效应模型处理纵向数据。它还利用网络结构的功能,首先聚类使用加权相关网络分析,即WGCNA。然后,它在每个特征集群内进行筛选步骤,并在幸存的特征中进行选择步骤,这提供了一种相对公正的选择特征的方法。FREEtree在每个叶节点上使用主成分作为回归变量,在分裂节点上使用原始特征作为分裂变量,保持了FREEtree的可解释性,提高了计算效率。仿真结果表明,FREEtree优于其他基于树的方法在预测精度,特征选择精度,以及恢复底层结构的能力。
2020-06-17 cs.LG stat.ML
Feature Selection Methods for Cost-Constrained Classification in Random Forests
TU Dortmund(多特蒙德工业大学);LMU Munich(慕尼黑大学)
成本敏感的特征选择描述了一个特征选择问题,其中特征提高了包含在模型中的个体成本。这些成本允许在模型选择过程中纳入不受欢迎的特征方面,例如测量器械的故障率或患者伤害。随机森林定义了特征选择的一个特别具有挑战性的问题,因为特征通常纠缠在多棵树的集合中,这使得事后删除特征是不可行的。因此,特征选择方法通常要么专注于简单的预过滤方法,要么需要沿着其优化路径进行许多随机森林评估,这大大增加了计算复杂度。为了解决这两个问题,我们提出了浅树选择,一种新的快速和多变量的特征选择方法,从小树结构中选择特征。此外,我们还通过为每种方法引入超参数控制的效益成本比标准(BCR),将三种标准特征选择算法用于成本敏感学习。在一个广泛的模拟研究中,我们评估这一标准,并比较所提出的方法,以多个基于性能的基线替代四个人工数据设置和七个真实世界的数据设置。我们表明,所有的方法使用超参数化的BCR标准优于基线的替代品。在所提出的方法之间的直接比较中,每种方法都表明了某些设置中的优势,但不存在一刀切的解决方案。在全球平均水平上,我们可以在基于BCR的方法中确定更好的选择。尽管如此,我们得出的结论是,实用分析永远不应仅依赖单一方法,而应始终比较不同的方法以获得最佳结果。
2020-08-17 cs.LG stat.ML
A Debiased MDI Feature Importance Measure for Random Forests
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
像随机森林这样的树集合在各种各样的应用中取得了令人印象深刻的经验成功。为了理解这些模型是如何进行预测的,人们通常会求助于从树集合中计算出的特征重要性度量。长期以来,人们一直知道,平均减少杂质(MDI),最广泛使用的特征重要性的措施之一,不正确地分配高重要性的噪声特征,导致系统性偏见的特征选择。在本文中,我们从理论和方法的角度来解决MDI的特征选择偏差。基于Breiman等人对MDI的原始定义。对于单树,我们推导出噪声特征的MDI重要性的预期偏差的严格非渐近界,表明深树比浅树具有更高的(预期)特征选择偏差。然而,目前还不清楚如何减少MDI使用其现有的分析表达式的偏差。我们推导出一个新的MDI的分析表达式,并基于这个新的表达式,我们能够提出一个去偏置MDI功能的重要性措施,使用袋外样本,称为MDI-OOB。对于模拟数据和基因组ChIP数据集,MDI-oob在深度树和浅树的随机森林特征选择中实现了最先进的性能。
2019-10-26 cs.LG stat.ML
LLM-FS: Zero-Shot Feature Selection for Effective and Interpretable Malware Detection
Department of Computer Science and Engineering(计算机科学与工程系);National Institute of Technology Calicut, India(印度卡利卡特国立理工学院)
本文探讨了利用大语言模型进行零样本特征选择在恶意软件检测中的应用,通过对比传统方法,展示了其在准确性和可解释性上的优势。
2026-02-10 cs.CR cs.LG
Best of many worlds: Robust model selection for online supervised learning
UC Berkeley(加州大学伯克利分校)
我们介绍了在线,全信息预测的算法,具有竞争力的上下文树专家未知的复杂性,在概率和对抗性设置。我们表明,通过将结构风险最小化的概率框架到现有的自适应算法,我们可以鲁棒地学习不仅存在的随机结构时,它的存在(导致常数,而不是$\mathcal{O}(\sqrt{T})$遗憾),但也正确的模型顺序。因此,我们获得的遗憾界的竞争力与遗憾的最佳算法,拥有强大的边信息的复杂性的最佳上下文树专家和生成数据的过程是否是随机的或对抗性的。这些是第一个建设性的保证,同时适应模型和随机性的存在。
2018-05-22 cs.LG stat.ML
Hybrid Parameter Search and Dynamic Model Selection for Mixed-Variable Bayesian Optimization
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
针对含连续、整数和分类变量的贝叶斯优化问题,提出 hybridM,将 MCTS/UCTS 与 GP 结合,并引入动态在线核选择,实验验证其优越性。
2024-01-19 cs.LG math.ST stat.ML
Tree-Guided Rare Feature Selection and Logic Aggregation with Electronic Health Records Data
University of Connecticut(康涅狄格大学);University of Connecticut Health Center (UCHC)(康涅狄格大学健康中心);Weill Cornell Medical College, Cornell University(康奈尔大学威尔医学院)
本文针对EHR中稀有二元特征的高维稀疏问题,提出树引导的特征选择与逻辑聚合方法,利用疾病分类层次结构实现可解释降维,并在自杀风险预测中提升预测性能与临床解释性。
2024-02-26 cs.LG stat.AP stat.ME
On Model Selection Consistency of Lasso for High-Dimensional Ising Models
The University of Tokyo(东京大学);Kyoto University(京都大学)
本文从理论上分析了高维Ising模型中最小绝对收缩选择算子(Lasso)的模型选择一致性,包括有无后阈值处理。对于大小为$p$、节点度为$d$、耦合度为$θ_0$的随机正则(RR)图,严格证明了Lasso \textit{without post-thresholding}在整个顺磁相是模型选择一致的,且样本复杂性阶数$n=Ω{(d^3\log{p})}$与$\ell_1$ -正则化逻辑斯谛回归($\ell_1$ -LogR)相同.这一结果与Meng、Obuchi和Kabashima 2021中使用统计物理学的非严格复制方法的猜想一致,从而用严格的证明对其进行了补充。对于一般的树型图,证明了在依赖条件和不相干条件的适当假设下,可以得到与RR图相同的结果。此外,我们提供了一个严格的证明模型选择一致性的Lasso后阈值一般树状图在顺磁阶段的依赖性和不相干条件没有进一步的假设。实验结果与理论分析相吻合。
2023-02-17 cs.LG math.ST stat.ML
Policy Trees for Prediction: Interpretable and Adaptive Model Selection for Machine Learning
Sloan School of Management(斯隆管理学院);Massachusetts Institute of Technology(麻省理工学院);Operations Research Center(运筹学中心)
本文提出了一种基于树的规范性方法OP2T,用于在机器学习中实现可解释和自适应的模型选择与预测拒绝,该方法仅依赖模型输出,适用于结构化和非结构化数据,并在真实数据集上展现出强劲性能与实用见解。
2024-05-30 cs.LG
Interactive Reinforcement Learning for Feature Selection with Decision Tree in the Loop
Department of Computer Science, University of Central Florida(中佛罗里达大学计算机科学系);Business Intelligence Lab, Baidu Research(百度研究院商业智能实验室);Eller College of Management, University of Arizona(亚利桑那大学埃勒管理学院);Rutgers University(罗格斯大学)
研究了自动特征选择中有效性和效率的平衡问题。在探索了许多特征选择方法之后,我们发现了一个计算困境:1)传统的特征选择大多数是有效的,但难以识别最佳子集; 2)新兴的增强特征选择自动导航到最佳子集,但通常效率低下。我们能否在自动化下弥合有效性和效率之间的差距?出于这种困境,我们的目标是开发一种新的特征空间导航方法。在我们的初步工作中,我们利用交互式强化学习通过外部训练器-代理交互来加速特征选择。在这个期刊版本中,我们提出了一种新的交互式和闭环架构,以同时建模交互式强化学习(IRL)和决策树反馈(DTF)。具体来说,IRL是创建一个交互式特征选择循环,DTF是将结构化特征知识反馈给循环。首先,利用决策树的树结构特征层次来改进状态表示。特别是,我们表示所选择的特征子集作为一个无向图的特征-特征的相关性和有向树的决策功能。我们提出了一种新的嵌入方法,能够授权图卷积网络,以共同学习状态表示的图和树。其次,利用树结构的特征层次来开发一种新的奖励方案。特别是,我们个性化的奖励分配代理的基础上决策树功能的重要性。此外,观察Agent的行为可以得到反馈,我们设计了另一种奖励方案,根据历史行为记录中的特征选择频率比来加权和分配奖励。最后,我们在现实世界的数据集上进行了广泛的实验,以显示改进的性能。
2020-10-02 cs.LG stat.ML
Explainable Adaptive Tree-based Model Selection for Time Series Forecasting
Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所);TU Dortmund University(多特蒙德工业大学)
针对在线时间序列预测中树模型易过拟合的问题,提出基于 TreeSHAP 的自适应模型选择框架,通过漂移检测在线选择模型并提供多层级可解释性,在真实数据集上表现优异。
2024-01-02 cs.AI cs.LG
Optimal trees selection for classification via out-of-bag assessment and sub-bagging
Abdul Wali Khan University Mardan(阿卜杜勒·瓦利·汗大学马尔丹分校);University of Essex(埃塞克斯大学);Shaheed Benazir Bhutto Women University Peshawar(白沙瓦贝娜齐尔·布托女子大学);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学)
训练数据大小对机器学习方法的影响在过去的二十年中得到了很好的研究。基于树的机器学习方法的预测性能通常随着训练数据大小的增加而以降低的速率提高。我们在最优树集成(OTE)中研究了这一点,由于内部验证,该方法无法从一些训练观察中学习。改进的树选择方法,从而提出了OTE,以满足内部验证中的训练观察的损失。在第一种方法中,相应的袋外(OOB)的意见,用于个人和集体的性能评估每棵树。树基于它们在OOB观测上的单独性能进行排名。选择一定数量的排名靠前的树,并从最准确的树开始,逐个添加后续树,并通过使用从正在添加的树的自举样本中遗漏的OOB观察来记录其影响。如果树提高了集合的预测精度,则选择该树。在第二种方法中,树是在训练数据的随机子集上生长的,而不是引导样本(用替换)。与第一种方法类似,每个样本的其余观测值用于每个相应树的单独和集体评估。对21个基准数据集和模拟研究的分析表明,与OTE和其他最先进的方法相比,改进后的方法性能有所提高。
2020-12-30 cs.LG stat.ML
An Outlier Detection-based Tree Selection Approach to Extreme Pruning of Random Forests
Robert Gordon University(罗伯特戈登大学)
随机森林(RF)是Breiman在十多年前开发的一种集成分类技术。通过与其他集成技术的比较,证明了该方法的准确性和优越性。然而,许多研究人员认为,在预测准确性方面,仍有提高和改善其性能的空间。这就解释了为什么在过去的十年里,RF有许多扩展,每个扩展都采用了各种技术和策略来改进RF的某些方面。由于它已被经验证明,合奏往往会产生更好的结果时,有一个显着的多样性之间的组成模型,本文的目的是双重的。首先,它研究了如何使用无监督学习技术,即局部离群因子(LOF)来识别RF中的不同树。其次,具有最高LOF分数的树然后被用于产生RF的扩展,称为LOFB-DRF,其在尺寸上比RF小得多,并且至少表现得与RF一样好,但是在准确性方面大多表现出更高的性能。后者指的是一种称为整体修剪的已知技术。在10个真实数据集上的实验结果证明了我们提出的扩展比传统RF的优越性。在提高集成预测准确性的同时,达到了前所未有的99%的修剪水平。显着的高修剪水平,使该技术的实时应用程序的一个很好的候选人。
2015-03-17 cs.LG
Trees versus Neural Networks for enhancing tau lepton real-time selection in proton-proton collisions
School of Physics and Astronomy, Tel Aviv university(特拉维夫大学物理与天文学院);School of Electrical Engineering, Tel Aviv university(特拉维夫大学电气工程学院)
本文研究质子-质子碰撞中tau轻子实时触发选择,通过对比决策树与深度学习模型,发现其能显著提升性能并降低能量阈值,从而提高新现象搜索灵敏度,并分析了两种方法的适用场景。
2024-04-22 cs.LG hep-ex physics.ins-det
Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning
该研究提出一种分层可解释关键实例选择模型,结合邻近树、斜树与集成学习扩展数据无关的模型,在多类型数据集上性能优于同类策略,实现了可解释性与预测效果的平衡。
2026-07-31 cs.AI cs.LG
Information criteria for structured parameter selection in high dimensional tree and graph models
Université libre de Bruxelles(布鲁塞尔自由大学)
本文针对高维模型中参数选择易产生假阳性过估计的问题,提出在假阳性和假阴性间取得平衡的改进信息准则,为无收缩估计量开发了适用于树和图模型结构化选择的校正Mallows's Cp准则。
2023-06-24 cs.LG math.ST stat.TH
Model family selection for classification using Neural Decision Trees
Centre Borelli(博雷利中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Universite Paris-Saclay(巴黎萨克雷大学)
模型选择包括根据要优化的度量来比较几个候选模型。这个过程通常涉及网格搜索等,以及交叉验证,这可能很耗时,并且不会提供有关数据集本身的太多信息。在本文中,我们提出了一种方法来减少任务所需的探索范围。其思想是量化需要偏离给定家族的训练实例、具有“刚性”决策边界的参考模型(例如决策树)的程度,以便获得等效或更好的模型。在我们的方法中,这是通过逐步放宽初始决策树(RM)的决策边界来实现的,只要这在分析数据集上测量的性能方面是有益的。更具体地,通过利用神经决策树来执行该松弛,神经决策树是从DT构建的神经网络。我们的方法产生的最终模型带有非线性决策边界。测量最终模型的性能,以及它与其种子RM的一致性,可以帮助用户确定他应该关注哪一系列模型。
2020-06-20 cs.LG stat.ML
Sensor Selection by Linear Programming
我们从训练数据中学习传感器树,以最大限度地减少测试期间的传感器获取成本。我们的系统自适应地选择传感器在每个阶段,如果有必要,使一个有信心的分类。我们提出的问题,经验风险最小化的选择树和节点的决策规则。我们分解的问题,这是已知的是棘手的,组合(树结构)和连续的部分(节点决策规则),并建议分别解决它们。使用训练数据,我们greenhouse解决的组合树结构和连续的部分,这是一个非凸的多线性目标函数,我们推导出凸代理损失函数是分段线性的。所得到的问题可以作为一个线性规划,并具有保证收敛性,全局最优性,可重复性和计算效率的优点。我们表明,我们提出的方法优于国家的最先进的一些基准数据集。
2015-09-09 cs.LG stat.ML
Dependency Parsing as Head Selection
University of Edinburgh(爱丁堡大学)
传统的基于图的依赖性解析器在训练和推理期间都保证树结构。相反,我们将依存句法分析形式化为独立选择句子中每个单词的头部的问题。我们的模型,我们称之为\textsc{DeNSe}(简称为{ \bf De}pendency { \bf N}eural { \bf Se}lection),使用从双向递归神经网络获得的特征为每个单词在可能的头部上产生分布。在训练期间不强制结构约束的情况下,\textsc{DeNSe}(在推理时)为绝大多数句子生成树,而非树输出可以使用最大生成树算法进行调整。我们评估\textsc{DeNSe}四种语言(英语,中文,捷克语和德语)不同程度的非投射。尽管这种方法很简单,但我们的解析器与最先进的解析器不相上下。
2016-12-22 cs.CL cs.LG
Symbolic Integration Algorithm Selection with Machine Learning: LSTMs vs Tree LSTMs
Coventry University(考文垂大学);Maplesoft(Maplesoft公司)
本研究探讨利用机器学习指导计算机代数系统中的符号积分子算法选择,比较了LSTM与TreeLSTM模型,发现编码树结构的TreeLSTM表现更优且超越Maple现有元算法。
2024-04-23 cs.LG cs.MS cs.SC
Just add noise: Debiasing tree-based variable importance in mixed data
Duke University(杜克大学)
针对树模型变量重要性偏向连续变量的问题,提出添加噪声的简单去偏方法,并结合稳定性选择实现混合数据变量选择与错误发现控制。
2026-09-15 cs.LG stat.ME stat.ML
Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference
J.P. Morgan AI Research(摩根大通AI研究)
针对在线决策树分裂选择缺乏有效统计保证的问题,提出基于随时有效推断的方法,实现任意数据流下错误分裂的随时有效控制、预测优势下的有限承诺时间,并在平稳独立同分布数据下保证风险单调递减且每次分裂严格改善。
2026-05-29 cs.AI cs.LG stat.ML
Sub-Setting Algorithm for Training Data Selection in Pattern Recognition
Iowa State University(爱荷华州立大学)
现代模式识别任务使用复杂的算法,这些算法利用大型数据集进行比传统算法更准确的预测,例如决策树或k最近邻更适合描述简单结构。虽然提高准确性通常至关重要,但降低复杂性也有价值。本文提出了一种训练数据选择算法,识别多个子集与简单的结构。在这样的子集上训练的学习算法可以以比传统学习算法更好的准确性对属于该子集的实例进行分类。换句话说,虽然现有的模式识别算法试图学习一个全局映射函数来表示整个数据集,但我们认为,简单的局部模式的集合可能更好地描述数据。因此,子集算法通过识别实例的邻域中的相似实例来识别具有简单局部模式的多个子集。这种动机与梯度提升树有相似之处,但侧重于模型的可解释性,而这是提升树所缺少的。因此,所提出的算法通过识别具有简单结构的有限数量的子集来平衡准确性和可解释的机器学习。我们将所提出的算法应用于国际中风数据集,以预测生存概率。我们的自下而上的子设置算法比在整个数据集上学习的自上而下的决策树平均好15%。在识别的子集上学习的不同决策树使用整个数据集决策树先前未使用的一些特征,并且每个子集表示不同的数据群体。
2021-10-13 cs.LG stat.ML
Optimal Decision Trees for the Algorithm Selection Problem: Integer Programming Based Approaches
Federal University of Ouro Preto(欧鲁普雷图联邦大学);KU Leuven(鲁汶大学);Federal University of Lavras(拉夫拉斯联邦大学)
尽管众所周知,对于大多数相关的计算问题,不同的算法可能会在不同类别的问题实例上表现得更好,但大多数研究人员仍然专注于基于聚合结果(如平均值)来确定单个最佳算法配置。在本文中,我们提出了一种基于规划的方法来建立决策树的算法选择问题。这些技术允许自动化三个关键决策:(i)辨别最重要的问题特征以确定问题类别;(ii)将问题分组到类别中;以及(iii)为每个类别选择最佳算法配置。为了评估这种新方法,广泛的计算实验执行使用的线性规划算法中实现的COIN-OR分支和切割求解器在一组全面的实例,包括所有MIPLIB基准实例。结果超出了我们的预期。虽然在所有实例中选择单个最佳参数设置将总运行时间减少了22%,但我们的方法在10倍交叉验证实验中平均将总运行时间减少了40%。这些结果表明,我们的方法推广得很好,并没有过拟合。
2019-09-24 cs.DM cs.DS cs.LG
Probability Distribution on Full Rooted Trees
Waseda University(早稻田大学);Gunma University(群马大学);Shonan Institute of Technology(湘南工科大学)
全根树的递归和分层结构适用于表示各种领域中的统计模型,例如数据压缩、图像处理和机器学习。在大多数情况下,完全有根树不是随机变量;因此,避免过拟合的模型选择变得有问题。解决这一问题的一种方法是假设满根树的先验分布。这使得基于贝叶斯决策理论的最优模型选择成为可能。例如,通过将低先验概率分配给复杂模型,最大后验概率估计器防止选择复杂模型。此外,我们可以平均所有模型的加权后验。在本文中,我们提出了一个概率分布上的一组满根树。它的参数表示适合于使用递归函数计算我们的分布的性质,例如众数、期望和后验分布。虽然在以前的研究中已经提出了这样的分布,但它们只适用于特定的应用。因此,我们提取了它们的数学本质成分,并导出了新的广义方法来计算期望、后验分布等。
2022-01-23 cs.DM cs.LG stat.ML
A reinforcement learning application of guided Monte Carlo Tree Search algorithm for beam orientation selection in radiation therapy
UT Southwestern Medical Center(德克萨斯大学西南医学中心)
由于大的组合问题,当前用于放射治疗的射束取向优化算法(诸如列生成(CG))本质上通常是启发式的或贪婪的,导致次优解。我们提出了一种强化学习策略,使用蒙特卡洛树搜索能够找到一个优越的波束方向集,并在更短的时间比CG。我们利用了强化学习结构,涉及监督学习网络指导蒙特卡洛树搜索(GTS)探索波束方向选择问题的决策空间。我们之前已经训练了一个深度神经网络(DNN),该网络接受患者解剖结构,器官重量和当前射束,然后近似射束适应值,指示下一个最佳射束添加。该DNN用于概率性地引导遍历蒙特卡洛决策树的分支,以向计划添加新射束。为了测试该算法的可行性,我们使用13名测试前列腺癌患者解决了5束计划,不同于最初训练DNN的57名训练和验证患者。为了展示GTS相对于其他搜索方法的优势,还提供了其他三种搜索方法(包括引导搜索、均匀树搜索和随机搜索算法)的性能。平均而言,GTS优于所有其他方法,它平均在237秒内找到比CG更好的解决方案,而CG需要360秒,并且在不到1000秒内找到具有较低目标函数值的解决方案方面优于所有其他方法。使用我们的引导树搜索(GTS)方法,我们能够保持类似的计划靶体积(PTV)覆盖率在1%的误差内,并降低身体、直肠、左右股骨头的危险器官(OAR)平均剂量,但膀胱平均剂量略有增加1%。
2020-04-14 cs.CV cs.LG eess.IV
GrASP: Gradient-Based Affordance Selection for Planning
University of Michigan(密歇根大学);DeepMind(深度思维)
用学习模型进行规划可以说是智能的一个关键组成部分。在大规模强化学习(RL)问题中实现这样的组件存在若干挑战。一个这样的挑战是在使用树搜索规划时有效地处理连续动作空间(例如,即使仅在树的根结点考虑每个动作也是不可行的)。在本文中,我们提出了一种方法,用于选择启示有用的规划-学习的行动/选项,从一个连续的空间的行动/选项,以考虑在树扩展过程中,在规划的小数目。我们考虑的启示是目标和状态条件映射到动作/选项,以及无条件的启示,简单地选择在所有状态下可用的动作/选项。我们的选择方法是基于梯度的:我们通过规划过程计算梯度,以更新表示示能表示的函数的参数。我们的实证研究表明,学习选择连续行动和选项启示是可行的,同时学习选择启示和规划与学习价值等价模型可以优于无模型强化学习。
2022-02-08 cs.AI cs.LG
Feature graphs for interpretable unsupervised tree ensembles: centrality, interaction, and application in disease subtyping
University of Urbino(乌尔比诺大学);Medical University of Graz(格拉茨医科大学)
本研究提出从无监督随机森林构建特征图并据此进行特征选择的方法,通过特征中心性和边权重评估特征相关性,在合成与组学数据中有效提升了聚类性能与可解释性。
2024-04-27 cs.AI cs.LG
Towards a Unified Framework for Uncertainty-aware Nonlinear Variable Selection with Theoretical Guarantees
Harvard University(哈佛大学);Google Research(谷歌研究院)
我们为非线性变量选择开发了一个简单而统一的框架,该框架将不确定性纳入预测函数,并与各种机器学习模型(例如,树集合、核方法、神经网络等)。特别是,对于学习的非线性模型$f(\mathbf{x})$,我们考虑使用积分偏导数$Ψ_j = \Vert \frac{\partial}{\partial \mathbf{x}^j} f(\mathbf{x})\Vert^2_{P_\mathcal{X}}$量化输入变量$\mathbf{x}^j$的重要性。然后,我们(1)提供了一个原则性的方法来量化变量选择的不确定性,通过推导其后验分布,(2)表明,该方法是可推广的,甚至不可微的模型,如树集成。严格的贝叶斯非参数定理,以保证所提出的方法的后验一致性和渐近不确定性。在医疗基准数据集上的大量仿真和实验证实了该算法优于现有的经典和最近的变量选择方法。
2022-05-27 cs.LG stat.ML
Auto-Surprise: An Automated Recommender-System (AutoRecSys) Library with Tree of Parzens Estimator (TPE) Optimization
Trinity College Dublin(都柏林圣三一学院)
我们介绍Auto-Surprise,一个自动推荐系统库。Auto-Surprise是Surprise推荐系统库的扩展,简化了算法选择和配置过程。与开箱即用的Surprise库相比,Auto-Surprise在使用MovieLens,Book Crossing和Jester Datasets进行评估时表现更好。它还可能导致选择具有显著较低运行时间的算法。与Surprise的网格搜索相比,Auto-Surprise在RMSE方面表现同样好或略好,并且在寻找最佳超参数方面明显更快。
2020-08-19 cs.IR cs.LG stat.ML
Robust Model Selection of Gaussian Graphical Models
Arizona State University(亚利桑那州立大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
本文研究噪声污染下高斯图模型的稳健结构选择,刻画一般图不可避免的等价类,提出可恢复局部聚类与全局连接的算法,并给出高维有限样本保证与仿真验证。
2024-05-08 cs.LG math.ST stat.ML