Better Trees: An empirical study on hyperparameter tuning of classification decision tree induction algorithms
Federal Technology University, Paraná(巴拉那联邦技术大学);Pavol Jozef Šafárik University(帕沃尔·约瑟夫·沙法里克大学);ELTE Eötvös Loránd University(厄特沃什·罗兰大学);São Paulo State University (Unesp)(圣保罗州立大学);Federal University of São Carlos(圣卡洛斯联邦大学);University of Trieste (UniTS)(的里雅斯特大学);Eindhoven University of Technology (TU/e)(埃因霍温理工大学);Institute of Mathematics and Computer Sciences (ICMC), University of São Paulo (USP)(圣保罗大学数学与计算机科学研究所)
本研究针对CART和C4.5两种决策树归纳算法,基于94个OpenML分类数据集开展超参数调优实证,发现调优对CART提升更显著,IRACE是最优调优技术,且调优少量超参数即可实现最优性能。
2023-12-21 cs.LG stat.ML
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University(南洋理工大学)
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势,主要是通过最近的方法,如Gumbel LSTM和有序神经元(ON-LSTM)推广。本文提出了FASTTREES,一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同,我们的工作探索了并行树归纳的概念,即,以一种可并行的、非自回归的方式,将我们的模型与分层归纳偏差相结合。为此,我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能,即,语言建模、逻辑推理、情感分析和自然语言推理。此外,我们表明,FASTTREES模块可以应用于增强Transformer模型,实现三个序列转导任务(机器翻译,主谓一致性和数学语言理解)的性能增益,铺平了道路,模块化树归纳模块。总体而言,我们在逻辑推理任务上的表现优于现有的最先进模型+4%,在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
CART-ELC: Oblique Decision Tree Induction via Exhaustive Search
University of Wisconsin-Superior(威斯康星大学-优胜者)
本文提出CART-ELC算法,通过在受限超平面集合上穷举搜索归纳斜决策树,在小数据集上取得统计显著的分类准确率提升,并生成更浅、更简单、更可解释的树。
2025-05-08 cs.AI cs.DS cs.LG
Decision Tree Induction Through LLMs via Semantically-Aware Evolution
DAMTP, University of Cambridge(剑桥大学 DAMTP)
针对传统决策树归纳易次优或计算昂贵的问题,提出融合 LLM 语义先验的 GP 框架 LLEGO,通过适应度引导交叉与多样性引导变异提升搜索效率和泛化性能。
2025-03-18 cs.LG
Universal guarantees for decision tree induction via a higher-order splitting criterion
Stanford(斯坦福大学);MIT(麻省理工学院)
我们提出了一个简单的扩展自顶向下的决策树学习算法,如ID3,C4.5,和CART。我们的算法实现了可证明的保证,所有的目标函数$f: \{-1,1\}^n \to \{-1,1\}$的均匀分布,规避不可能的结果表明,现有的算法票价差,即使是简单的目标函数。我们的扩展的关键是一个新的分裂标准,考虑到$f$和它的属性的小子集之间的相关性。与此相反,现有的遗传学的分裂标准(如基尼不纯和信息增益),是完全基于$f$和它的个人属性之间的相关性。我们的算法满足以下保证:对于所有的目标函数$f : \{-1,1\}^n \to \{-1,1\}$,大小$s\in \mathbb{N}$,和错误参数$ε$,它构造一个决策树的大小$s^{\tilde{O}((\log s)^2/ε^2)}$,实现错误$\le O(\mathsf{opt}_s) + ε$,其中$\mathsf{opt}_s$表示的最佳大小$s$决策树的错误。推动我们分析的一个关键技术概念是$f$的噪声稳定性,这是一种经过充分研究的平滑度度量。
2020-10-16 cs.DS cs.LG stat.ML
GENESIM: genetic extraction of a single, interpretable model
Ghent University - imec, IDLab(根特大学 - imec, IDLab)
通过决策树归纳技术获得的模型具有很好的可解释性,但它们容易出现过拟合,从而导致预测性能低下。包围盒技术能够达到更高的精度。然而,这是以失去结果模型的可解释性为代价的。这使得集成技术在决策支持而不是决策制定至关重要的应用中不切实际。为了弥补这一差距,我们提出了GENESIM算法,通过使用遗传算法将决策树的集合转换为具有增强预测性能的单个决策树。我们比较GENESIM流行的决策树归纳和集成技术,使用12个公开的数据集。结果表明,GENESIM实现了更好的预测性能比决策树归纳技术和集成技术在同一数量级的预测性能在大多数这些数据集。此外,GENESIM产生的模型具有非常低的复杂性,使其非常可解释,与集成技术相比。
2016-11-17 cs.LG stat.ML
"Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models
University of Applied Sciences Berlin(柏林应用科学大学);Charité - Universitätsmedizin Berlin(柏林夏里特医学院);University of Birmingham(伯明翰大学)
本研究提出利用大语言模型零样本生成可解释决策树,无需训练数据,在小型表格数据集上性能可超越数据驱动树,并可作为低数据场景下的知识驱动基线。
2025-05-27 cs.AI cs.CL cs.LG
Adaptive Multi-Branching for Shallow Decision Tree Induction
Pusan National University(釜山大学)
提出带自适应剪枝的多分岔神经决策树(MBNDT),在21个OpenML二分类基准的受深度约束单树中获最佳平均排名与平衡准确率,多分支分裂是性能提升关键。
2026-09-01 cs.AI cs.LG
Talking Trees: Reasoning-Assisted Induction of Decision Trees for Tabular Data
Yandex;HSE University(俄罗斯高等经济大学)
本文提出利用具备推理能力的LLM诱导小规模表格数据的决策树,生成轻量级树结构,优于CART和非贪心树学习器,并在低资源表格问题中与树集成竞争。
2026-05-15 cs.LG
Provable guarantees for decision tree induction: the agnostic setting
Stanford University(斯坦福大学)
我们对广泛使用的和经验上成功的{ \sl自上而下的决策树学习算法}的性能给出了加强的可证明的保证。虽然以前的作品集中在可实现的设置,我们认为更现实和具有挑战性的{ \sl不可知}设置。我们发现,对于所有单调函数$f$和参数$s\in \mathbb{N}$,这些算法构造一个大小为$s^{\tilde{O}((\log s)/\varepsilon^2)}$的决策树,该决策树达到错误$\le \mathsf{opt}_s + \varepsilon$,其中$\mathsf{opt}_s$表示$f$的最佳大小- $s$决策树的错误。以前,这种保证是不知道是通过任何算法,即使是一个不是基于自上而下的算法实现。我们补充我们的算法保证与近匹配的$s^{\tildeΩ(\log s)}$下限。
2020-06-01 cs.CC cs.DS cs.LG
Evolutionary algorithms for constructing an ensemble of decision trees
Yandex;National Research University Higher School of Economics(俄罗斯国立高等经济研究大学)
大多数决策树归纳算法是基于一个贪婪的自顶向下递归划分策略的树生长。本文提出了几种基于进化算法的决策树及其集成的归纳方法。我们的方法的主要区别是使用实值向量表示的决策树,允许使用大量不同的优化算法,以及优化整个树或集成,以避免局部最优。选择差分进化和演化策略作为优化算法,因为它们在强化学习问题中具有良好的效果。我们使用几个公开的UCI数据集测试了这些方法的预测性能,所提出的方法表现出比经典方法更好的质量。
2020-02-03 cs.LG cs.NE stat.ML
Literati: Towards Anytime Optimal Shape Generalized Trees via AO*
University of Toronto(多伦多大学)
Literati是首个通过AO*算法实现最优形状广义树归纳的方法,联合优化树结构和形状函数复杂度,在24个数据集上超越现有树方法。
2026-11-04 cs.LG
Induction of Decision Trees based on Generalized Graph Queries
通常,决策树归纳算法仅限于处理非关系数据。给定一个记录,它们不考虑其他对象属性,即使它们可以为学习任务提供有价值的信息。在本文中,我们提出了GGQ-ID 3,一个多关系决策树学习算法,使用广义图论(GGQ)作为谓词的决策节点。GGQ允许表达复杂的模式(包括循环),并且可以逐步细化。此外,它们还可以评估结构(不仅是单个记录)并执行常规模式匹配。GGQ在GGQ-ID 3树构建过程中动态构建(模式挖掘)。我们将展示如何使用GGQ-ID 3来执行多关系机器学习,从而控制复杂性。最后给出了一些自动获得分类树和语义模式的实例。- Normalmente,los algoritmos de inducción de árboles de decisionón trabajan con datos no relacionales.在登记册上,没有任何关于其他对象的资料,因为这些资料是为了使学生能够获得适当的信息。本文介绍了GGQ-ID 3算法,它是一种利用广义图论(GGQ)进行多关系决策的算法。GGQs允许快递提供完整的服务(包括包裹),并可以进行一次又一次的改进。另外,可以评估结构(没有单独的寄存器),然后进行常规模式匹配。在GGQ-ID 3中,GGQ在构建Arbol的过程中进行模式挖掘。此外,我们还可以自动获取多种关系分类和赞助人的实际数据。
2017-08-18 cs.AI cs.LG
Efficient algorithms for decision tree cross-validation
交叉验证是机器学习中经常采用的有用且普遍适用的技术,包括决策树归纳。直接实现该技术的一个重要缺点是其计算开销。在本文中,我们表明,对于决策树,交叉验证的计算开销可以显着降低集成的交叉验证与正常的决策树归纳过程。我们将讨论如何现有的决策树算法可以适应这一目标,并提供这些适应可能产生的加速比的分析。实验结果支持了分析。
2001-10-17 cs.LG
Anytime Induction of Low-cost, Low-error Classifiers: a Sampling-based Approach
Technion–Israel Institute of Technology(以色列理工学院)
机器学习技术在为具有非均匀测试和误分类成本的复杂现实世界应用产生广泛的分类器中越来越流行。这些应用程序的复杂性不断增加,对学习和分类过程中的资源管理提出了真正的挑战。在这项工作中,我们介绍ACT(随时成本敏感的树学习器),一种新的框架,在这样复杂的环境中运行。ACT是一种随时算法,它允许增加学习时间以降低分类成本。它自上而下地构建一棵树,并利用额外的时间资源来获得对不同候选拆分的效用的更好估计。使用抽样技术,ACT近似每个候选分割下的子树的成本,并倾向于具有最小成本的子树。作为一种随机算法,ACT预计能够摆脱局部最小值,而贪婪方法可能会陷入局部最小值。在各种数据集上进行了实验,将ACT与最先进的成本敏感树学习器进行比较。结果表明,对于大多数域ACT产生显着成本较低的树。ACT也表现出良好的随时行为,收益递减。
2014-01-15 cs.LG
A Decision Tree Approach to Predicting Recidivism in Domestic Violence
University of Moratuwa(莫拉图瓦大学);The Australian National University(澳大利亚国立大学)
家庭暴力是一个高度性别化的全球性社会和公共卫生问题。能够准确预测家庭暴力的再犯率,即,对以前被定罪的犯罪人重新犯罪的调查可以加快和改善警察和一线机构的风险评估程序,更好地保护家庭暴力受害者,并有可能防止家庭暴力今后再次发生。以前的工作在DV累犯采用了不同的分类技术,包括决策树(DT)归纳和逻辑回归,其中的主要重点是实现高的预测精度。因此,即使是经过培训的DT的图表,由于其大小和复杂性,也往往难以解释,这使得决策具有挑战性。鉴于模型准确性和可解释性之间经常存在权衡,在这项工作中,我们的目标是采用DT归纳来获得可解释的树以及高预测准确性。具体来说,我们实现和评估不同的方法来处理类不平衡以及特征选择。与以前采用逻辑回归的DV累犯预测工作相比,我们的方法可以通过仅使用11个可用特征中的3个并生成仅包含4个叶节点的可理解的决策树来实现可比较的ROC曲线下面积结果。
2018-03-27 cs.LG stat.ML
Top-down induction of decision trees: rigorous guarantees and inherent limitations
Stanford University(斯坦福大学)
考虑以下为函数$f : \{0,1\}^n \to \{\pm 1\}$构建决策树的启发式方法。将$f$的最有影响力的变量$x_i$放在根上,并分别递归左、右子树上的子函数$f_{x_i=0}$和$f_{x_i=1}$;一旦树是$f$的$\varepsilon$ -近似,就终止。我们分析这个启发式的质量,获得接近匹配的上限和下限:$\circ$上限:对于每个$f$与决策树大小$s$和每个$\varepsilon \in (0,\frac1{2})$,这个启发式建立一个决策树的大小最多$s^{O(\log(s/\varepsilon)\log(1/\varepsilon))}$。$\circ$下限:对于每个$\varepsilon \in (0,\frac1{2})$和$s \le 2^{\tilde{O}(\sqrt{n})}$,存在具有决策树大小$s$的$f$,使得该试探法构建大小为$s^{\tildeΩ(\log s)}$的决策树。我们还得到了单调函数$s^{O(\sqrt{\log s}/\varepsilon)}$和$s^{\tildeΩ(\sqrt[4]{\log s } )}$的上下界。这个下界反驳了Fiat and Pechyony(2004)和Lee(2009)的推论。我们的上界产生新的算法正确学习决策树下的均匀分布。我们表明,这些算法-我们的下界揭示了这些逻辑学的…
2019-11-18 cs.CC cs.DS cs.LG
Are Pre-trained Language Models Aware of Phrases? Simple but Strong Baselines for Grammar Induction
Seoul National University(首尔国立大学);University of Chicago(芝加哥大学)
随着预训练语言模型(LM)在自然语言处理中的成功和流行,人们越来越多地努力了解其内部工作原理。在这样的兴趣,我们提出了一种新的方法,帮助我们在何种程度上预先训练的LM捕获的句法概念的选区调查。我们的方法提供了一种有效的方法提取选区树从预先训练的LM没有训练。此外,我们在诱导树中报告了有趣的发现,包括预先训练的LM在正确划分句子中的副词短语方面优于其他方法。
2020-01-30 cs.AI cs.CL cs.LG
Boosted and Differentially Private Ensembles of Decision Trees
Data61(数据61中心);the Australian National University(澳大利亚国立大学)
决策树(DT)分类器的提升集成在国际竞争中非常受欢迎,然而据我们所知,关于如何使它们成为\textit{also}差分私有(DP),还没有正式的知识,直到随机森林目前在DP阶段占据主导地位。我们的论文首先证明了DT的隐私与提升图片涉及一个显着和一般的技术权衡:对于任何适当的损失,敏感性往往会随着损失的提升率而增加。DT归纳算法从根本上是迭代的,我们的发现意味着非平凡的选择,选择或调整损失,以平衡噪声对效用分裂节点。为了解决这个问题,我们制定了一个新的参数化的适当的损失,称为M $α$ -损失,这,正如我们所示,允许微调的灵敏度与提升保证的完整频谱的权衡。然后,我们引入了\textit{objective calibration}作为一种方法,在DT诱导过程中自适应地调整权衡,以限制隐私预算的花费,同时正式能够以高概率在有限深度节点上保持符合提升的收敛。在19个UCI域上的广泛实验表明,即使在无DP设置中,客观校准也具有很强的竞争力。我们的方法往往非常显着击败随机森林,特别是在高DP制度($\varepsilon \leq 0.1$),甚至与提升合奏包含十倍少的树,这可能是至关重要的保持DT模型的一个关键特征下差分隐私:可解释性。
2020-02-03 cs.LG stat.ML
Towards Interpretable-AI Policies Induction using Evolutionary Nonlinear Decision Trees for Discrete Action Systems
Michigan State University(密歇根州立大学);Ford Motor Company(福特汽车公司)
黑盒人工智能归纳方法,如深度强化学习(DRL),越来越多地用于为给定的控制任务找到最佳策略。虽然使用黑盒AI表示的策略能够有效地执行底层控制任务并实现最佳闭环性能,但开发的控制规则通常很复杂,既不可解释也不可解释。在本文中,我们使用最近提出的非线性决策树(NLDT)的方法来找到一个分层的控制规则集,试图最大限度地提高开环性能近似和解释的预先训练的黑盒DRL(Oracle)代理使用标记的状态-动作数据集。非线性优化方法的最新进展,使用演化计算,便于找到一个分层的一组非线性控制规则的状态变量的函数,使用一个计算快速的双层优化程序在每个节点的建议NLDT。此外,我们提出了一个重新优化的过程,以提高闭环性能的一个已经派生的NLDT。我们评估我们提出的方法(开环和闭环NLDTs)对不同的控制问题有多个离散的行动。在所有这些问题中,我们提出的方法能够找到相对简单和可解释的规则,每个规则涉及一到四个非线性项,同时与训练有素的黑盒DRL代理相比,实现了同等的闭环性能。本文还提出了一种简化NLDT的后处理方法。所获得的结果是鼓舞人心的,因为他们建议更换复杂的黑盒DRL政策,涉及数千个参数(使他们无法解释)与相对简单的可解释的政策。结果是令人鼓舞的,激励追求进一步的应用所提出的方法在解决更复杂的控制任务。
2021-04-06 cs.LG cs.NE cs.SY
Representation of binary classification trees with binary features by quantum circuits
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);BASF SE(巴斯夫股份公司)
我们提出了一个量子表示的二进制分类树的二进制特征的基础上的概率方法。通过使用量子计算机作为概率分布的处理器,可以经由量子线路的测量来实现决策树的概率遍历。我们描述了如何树归纳和预测的类标签的查询数据可以集成到这个框架。按需采样方法使预测具有恒定数量的经典内存插槽,独立于树的深度。我们使用量子计算模拟器和实际的IBM量子硬件来实验研究我们的方法。据我们所知,这是在量子设备上首次实现决策树分类器。
2022-03-23 cs.LG quant-ph stat.ML
Generalizing Gain Penalization for Feature Selection in Tree-based Models
Hamilton Institute(汉密尔顿研究所);Maynooth University(梅努斯大学)
我们开发了一种新的方法,通过在基于树的模型中的增益惩罚的特征选择。首先,我们表明,以前的方法没有执行足够的正则化,往往表现出次优的样本外的性能,特别是当相关的功能存在。相反,我们开发了一个新的增益惩罚的想法,表现出一般的局部-全局正则化基于树的模型。新方法允许在选择特定特征的重要性权重时具有更大的灵活性。我们验证了我们的方法在模拟和真实的数据,并实现作为一个流行的R包测距仪的扩展。
2020-06-12 cs.IR cs.LG stat.ML
Neurosymbolic Decision Trees
Örebro University(厄勒布鲁大学);KU Leuven(鲁汶大学)
本文提出神经符号决策树(NDTs)及结构学习算法 NeuID3,将决策树归纳与神经概率逻辑结合,以支持符号与亚符号数据并利用背景知识,实验表明其优于纯数据驱动的神经网络学习方法。
2025-03-11 cs.AI cs.LG cs.LO
RIFF: Inducing Rules for Fraud Detection from Decision Trees
Feedzai(Feedzai公司);Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院)
针对金融欺诈检测中规则系统依赖专家且需保持低假阳性率的问题,提出RIFF算法,直接从决策树中提取低FPR规则集,在保持或提升性能的同时降低复杂性并优于专家手调规则。
2024-08-23 cs.AI cs.LG
HHCART: An Oblique Decision Tree
University of Canterbury(坎特伯雷大学);University of Wyoming(怀俄明大学)
决策树是统计数据分类中的一种流行技术。它们递归地将特征空间划分为不相交的子区域,直到每个子区域相对于特定的类变得均匀。基本的分类和回归树(CART)算法使用轴平行分裂来划分特征空间。当真正的决策边界与特征轴不对齐时,这种方法会产生复杂的边界结构。斜决策树使用斜决策边界来潜在地简化边界结构。这种方法的主要局限性是树归纳算法计算量大。在这篇文章中,我们提出了一个新的决策树算法,称为HHCART。该方法利用一系列Householder矩阵来反映树构建过程中每个节点处的训练数据。每个反射基于来自每个类别的协方差阵的特征向量的方向。在反射的训练数据中考虑轴平行分裂提供了在未反射的训练数据中找到倾斜分裂的有效方式。实验结果表明,HHCART树的精度和大小与文献中的一些基准方法相当。HHCART的吸引人的特点是,它可以处理定性和定量的特点,在同一斜分裂。
2015-04-14 cs.LG stat.ML
An Extensive Experimental Evaluation of Automated Machine Learning Methods for Recommending Classification Algorithms (Extended Version)
本文提出了一个实验比较四个自动机器学习(AutoML)方法推荐最好的分类算法为一个给定的输入数据集。其中三种方法是基于进化算法(EA),另一种是Auto-WEKA,一种基于组合算法选择和超参数优化(CASH)方法的着名AutoML方法。基于EA的方法从单个机器学习范例构建分类算法:决策树归纳、规则归纳或贝叶斯网络分类。Auto-WEKA结合了算法选择和超参数优化,从多个范例中推荐分类算法。我们进行了受控实验,其中这四个AutoML方法被赋予相同的运行时限制,用于此限制的不同值。总的来说,三种最佳AutoML方法的预测准确性差异没有统计学意义。然而,EA进化决策树归纳算法的优势在于,与Auto-WEKA推荐的其他学习范式的许多算法相比,它可以生成可解释的分类模型,并且更适合于大型数据集。我们还观察到,Auto-WEKA已经显示出元过拟合,这是元学习水平而不是基础学习水平的一种过拟合形式。
2020-09-16 cs.LG cs.NE stat.ML
Regularized impurity reduction: Accurate decision trees with complexity guarantees
KTH Royal Institute of Technology(瑞典皇家理工学院)
决策树是一种流行的分类模型,它提供了高精度和直观的解释。然而,随着树的大小的增长,模型的可解释性恶化。传统的树归纳算法,如C4.5和CART,依赖于杂质减少函数,以提高每个分裂的区分能力。因此,尽管这些传统方法在实践中是准确的,但没有理论保证它们会产生小树。在本文中,我们证明了使用一般家庭的杂质功能,包括熵和基尼指数的流行功能,在场景中,小树是可取的,通过显示一个简单的增强可以装备他们的复杂性保证。我们考虑一个一般的设置,其中要分类的对象是从一个任意的概率分布,分类可以是二进制或多类,和分裂测试与非均匀的成本。作为树的复杂性的一种度量,我们采用期望成本来分类从输入分布中提取的对象,在均匀成本的情况下,这是预期的测试次数。我们提出了一个树归纳算法,给出了一个对数近似保证树的复杂性。这个近似因子在温和的假设下紧到常数因子。该算法递归地选择一个测试,最大化贪婪的标准定义为三个组件的加权和。前两个组件鼓励选择的测试,提高平衡和成本效益的树,分别,而第三个杂质减少组件鼓励选择更多的歧视性测试。正如我们的经验评估中所示,与原始算法相比,增强的算法在预测精度和树复杂度之间取得了很好的平衡。
2022-08-23 cs.DS cs.LG
Towards Efficient and Scalable Acceleration of Online Decision Tree Learning on FPGA
Hong Kong University of Science and Technology(香港科技大学);Indian Institute of Technology (IIT) Goa(印度理工学院果阿分校)
决策树是各种应用场景中常用的机器学习模型。在大数据时代,传统的决策树归纳算法由于对数据存储的严格要求而不适合学习大规模数据集。在线决策树学习算法已被设计来解决这个问题,同时训练与传入的样本,并提供推理结果。然而,即使是最新的在线树学习算法仍然遭受高内存使用或高计算强度与依赖性和长延迟,使它们具有挑战性的硬件实现。为了克服这些困难,我们引入了一个新的基于分位数的算法,以改善归纳的Hoeffding树,一个国家的最先进的在线学习模型。所提出的算法是轻量级的内存和计算需求,同时仍然保持较高的泛化能力。从硬件的角度研究了一系列针对该算法的优化技术,包括粗粒度和细粒度并行、动态和基于内存的资源共享、带数据转发的流水线等。我们进一步提出了一个高性能,硬件高效和可扩展的在线决策树学习系统的现场可编程门阵列(FPGA)与系统级优化技术。实验结果表明,我们提出的算法优于国家的最先进的Hoeffding树学习方法,导致0.05%至12.3%的提高推理精度。完整学习系统在FPGA上的实际实现表明,与最先进的设计相比,执行时间加快了384倍至1581倍。
2020-09-03 cs.DC cs.LG
Hard-ODT: Hardware-Friendly Online Decision Tree Learning Algorithm and System
Peng Cheng Laboratory(鹏城实验室);Hong Kong University of Science and Technology(香港科技大学)
决策树是各种应用场景中常用的机器学习模型。在大数据时代,传统的决策树归纳算法由于对数据存储的严格要求而不适合学习大规模数据集。在线决策树学习算法已被设计来解决这个问题,同时训练与传入的样本,并提供推理结果。然而,即使是最新的在线树学习算法仍然遭受高内存使用或高计算强度与依赖性和长延迟,使它们具有挑战性的硬件实现。为了克服这些困难,我们引入了一个新的基于分位数的算法,以改善归纳的Hoeffding树,一个国家的最先进的在线学习模型。所提出的算法是轻量级的内存和计算需求,同时仍然保持较高的泛化能力。从硬件的角度研究了一系列针对该算法的优化技术,包括粗粒度和细粒度并行、动态和基于内存的资源共享、带数据转发的流水线等。在此之后,我们提出了Hard-ODT,一个高性能,硬件效率和可扩展的在线决策树学习系统的现场可编程门阵列(FPGA)与系统级优化技术。性能和资源利用率为完整的学习系统建模,以早期和快速分析各种设计指标之间的权衡。最后,我们提出了一个设计流程,其中所提出的学习系统应用于FPGA运行时的电源监控作为一个案例研究。
2020-12-11 cs.AR cs.LG
X-TREPAN: a multi class regression and adapted extraction of comprehensible decision tree in artificial neural networks
Chongqing University(重庆大学)
在这项工作中,TREPAN算法的增强和扩展提取决策树的神经网络。我们经验性地评估了一组数据库从现实世界中的事件的算法的性能。这种基准测试增强是通过采用单测试TREPAN和C4.5决策树归纳算法来分析数据集而实现的。然后将模型与X-TREPAN进行比较,以获得可理解性和分类准确性。此外,我们通过应用统计方法来验证实验。最后,将改进算法扩展到多类回归问题,并实现了对广义前馈网络的理解能力。
2015-08-30 cs.LG cs.NE
A New Method for Classification of Datasets for Data Mining
Faculty of Engineering & Technology, Mody Institute of Technology & Science(Mody科技学院工程与技术学院)
决策树是归纳研究和数据采掘的重要方法,主要用于模型分类和预测。ID 3算法是迄今为止决策树中应用最广泛的算法。针对ID 3算法倾向于选择多值属性的缺点,提出了一种新的决策树算法,该算法是ID 3算法的改进。在我们提出的算法中,属性被分成组,然后我们对这些组应用选择度量5。如果信息增益不好,则再次将属性值分组。完成这些步骤,直到我们获得良好的分类/误分类比率。所提出的算法分类的数据集更准确,更有效。
2016-12-01 cs.DB cs.LG stat.ML
Probability trees and the value of a single intervention
Technical University of Denmark(丹麦技术大学)
统计因果关系中最基本的问题是从有限的数据中确定因果关系。概率树,结合先验因果结构与贝叶斯更新,已被建议作为一种可能的解决方案。在这项工作中,我们量化的信息增益从一个单一的干预,并表明,预期的信息增益,之前进行干预,并从干预的预期收益有简单的表达式。这导致了一种主动学习方法,该方法简单地选择具有最高预期增益的干预,我们通过几个例子来说明。我们的工作展示了概率树及其参数的贝叶斯估计如何提供一种简单而可行的快速因果归纳方法。
2022-05-18 cs.LG stat.ME
Feature Selection via Regularized Trees
Intuit(财捷集团);Arizona State University(亚利桑那州立大学)
我们提出了一个树正则化框架,使许多树模型,以执行特征选择有效。正则化框架的关键思想是当其增益(例如信息增益)与先前分裂中使用的特征相似时,惩罚选择新特征进行分裂。正则化框架在这里被应用于随机森林和提升树,并且可以很容易地应用于其他树模型。实验结果表明,正则化树可以选择高质量的特征子集的强,弱分类器。由于树模型可以自然地处理分类和数值变量、缺失值、变量之间的不同尺度、相互作用和非线性等,树正则化框架为许多实际问题提供了有效且高效的特征选择解决方案。
2012-03-21 cs.LG stat.ME stat.ML
A Novel Memetic Strategy for Optimized Learning of Classification Trees
University of Florence(佛罗伦萨大学)
提出一种结合局部搜索的模因进化算法来归纳分类树,能处理数千点数据集,获得与最先进方法竞争的泛化能力。
2023-05-13 cs.LG stat.CO
Efficient non-greedy optimization of decision trees
University of Toronto(多伦多大学);Microsoft Research(微软研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
决策树和随机森林广泛应用于计算机视觉和机器学习。用于决策树归纳的标准算法根据某些分裂准则每次一个节点地优化分裂函数。这种贪婪的过程往往导致次优的树。在本文中,我们提出了一种算法,优化的分裂功能在各级的树联合叶参数,基于一个全局目标。我们发现,寻找最佳的线性组合(斜)分裂决策树的问题是与结构化预测的潜在变量,我们制定了一个凹凸上界树的经验损失。计算所提出的代理目标相对于每个训练样本的梯度的运行时间在树深度上是二次的,因此训练深度树是可行的。使用随机梯度下降进行优化可以实现对大型数据集的有效训练。在几个分类基准上的实验表明,所得到的非贪婪决策树优于贪婪决策树基线。
2015-11-12 cs.CV cs.LG
CLARITree: Cholesky and Lookahead Accelerations for Regression with Interpretable Piecewise Linear Trees
Department of Computer Science, Duke University, Durham, USA(杜克大学计算机科学系,美国达勒姆);Department of Computer Science, University of British Columbia, Vancouver, Canada(不列颠哥伦比亚大学计算机科学系,加拿大温哥华)
提出一种结合前瞻搜索和秩一Cholesky更新的算法,用于构建近最优稀疏分段线性回归树,在计算效率、预测精度和稀疏性之间取得良好平衡。
2026-06-12 cs.LG
Zero-Shot Decision Tree Construction via Large Language Models
University of Chile(智利大学);National Center for Artificial Intelligence (CENIA)(国家人工智能中心(CENIA))
本文提出一种基于CART原则利用大语言模型预训练知识构建零样本决策树的新算法,无需训练数据即可执行属性离散化和Gini指数计算,在表格数据集上性能优于基线零样本方法且媲美有监督方法,为低数据机器学习提供了可解释的知识驱动新基线。
2025-01-27 cs.CL cs.LG
CO2 Forest: Improved Random Forest by Continuous Optimization of Oblique Splits
University of Toronto(多伦多大学);Microsoft Research(微软研究院)
提出了一种新的算法,用于优化多变量线性阈值函数作为决策树的分裂函数,以创建改进的随机森林分类器。标准的树归纳方法采用抽样和穷举搜索来找到好的单变量分裂函数。相比之下,我们的方法在每个节点上计算特征的线性组合,并通过采用潜变量SVM公式的变体来优化线性组合(斜)分裂函数的参数。我们开发了一个一级决策树的分类损失的凹凸上界,并在树的每个内部节点的随机梯度下降优化边界。创建了多达1000个连续优化的倾斜(CO2)决策树的森林,其性能显著优于使用单变量分裂和先前用于构建倾斜树的技术的随机森林。实验结果报告多类分类基准和野生(LFW)数据集上的标签脸。
2015-06-24 cs.CV cs.LG
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees
Stanford University(斯坦福大学)
本文提出MAPTree算法,通过贝叶斯最大后验推断和AND/OR搜索构建决策树,在16个真实数据集上优于或媲美基线且树更小,在合成数据上更鲁棒,并能提供最优性证书。
2023-12-20 cs.AI cs.LG