Handling Missing Data in Decision Trees: A Probabilistic Approach
University of California Los Angeles(加利福尼亚大学洛杉矶分校)
决策树是一个流行的家庭模型,由于其有吸引力的属性,如解释性和处理异构数据的能力。同时,缺失数据是阻碍机器学习模型性能的普遍现象。因此,处理决策树中的缺失数据是一个很好的研究问题。在本文中,我们解决这个问题,采取概率的方法。在部署时,我们使用易处理的密度估计器来计算模型的“预期预测”。在学习时,我们通过最小化它们的“预期预测损失”w.r.t.来微调已经学习的树的参数。我们的密度估计器。我们提供了简短的实验,展示了我们的方法相比,几个基线的有效性。
2020-06-29 cs.AI cs.LG stat.ML
Adaptively Pruning Features for Boosted Decision Trees
Northeastern University(东北大学)
提升决策树在各种应用中很受欢迎;然而,对于大规模数据集,在每轮中训练决策树的成本可能非常昂贵。受多臂强盗文献的启发,我们开发了一种高效的算法来计算精确的贪婪最优决策树,性能优于最先进的Quick Boost方法。我们进一步开发了一个框架,用于导出适用于广泛的家庭的任务(包括我们的算法和快速升压)的算法的问题的下限,我们证明经验上的各种数据集,我们的算法是接近最佳的算法在这个家庭。我们还推导出一个适用于任何算法解决任务的下限,我们证明了我们的算法凭经验达到接近这个最佳可实现的下限的性能。
2018-05-19 cs.AI cs.LG stat.ML
The Max-Cut Decision Tree: Improving on the Accuracy and Running Time of Decision Trees
University of California, Berkeley(加州大学伯克利分校)
决策树是一种广泛使用的分类方法,无论是其本身还是作为多种不同集成学习方法的构建块。最大切割决策树涉及到一个标准的新的修改,分类决策树建设的基线模型,准确地说,CART基尼。一种修改涉及另一种分裂度量,最大切割,基于最大化属于不同类别和阈值的不同侧的所有观测对之间的距离。另一个修改是从使用主成分分析(PCA)在每个节点本地构造的输入特征的线性组合中选择决策特征。我们的实验表明,这种基于节点的局部PCA与新的分裂修改可以显着提高分类,同时也显着减少计算时间相比,基线决策树。此外,我们的结果是最显着的数据集进行评估时,具有更高的维度,或更多的类;其中,例如数据集CIFAR-100,使49%的准确性提高,同时减少94%的CPU时间。这些引入的修改大大提高了决策树的能力,难以分类的任务。
2020-06-25 cs.LG stat.ML
dtControl: Decision Tree Learning Algorithms for Controller Representation
Technical University of Munich(慕尼黑工业大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Ludwig Maximilian University of Munich(慕尼黑大学)
决策树学习是机器学习应用中最常用的流行分类技术。最近的工作表明,决策树可以用来表示证明正确的控制器简洁。与使用查找表或二元决策图的表示相比,决策树更小,更易于解释。我们提出dtControl,一个易于扩展的工具,用于表示无记忆控制器作为决策树。我们给出了一个综合评价的各种决策树学习算法适用于10个案例研究所产生的正确的建设控制器合成。这些算法包括两个新的技术,一个是使用任意线性二进制分类器的决策树学习,和一个新的方法来确定控制器在决策树建设。特别是后者被证明是非常有效的,产生决策树与一位数的决策节点的5个案例研究。
2020-02-12 cs.AI cs.LG cs.SY
Extremely Fast Decision Tree
Monash University(莫纳什大学)
我们介绍了一种新的增量决策树学习算法,Hoeffding任意时间树,这是统计上更有效的比目前的国家的最先进的,Hoeffding树。我们证明了Hoeffding Anytime Tree的实现-“极快决策树“,对Hoeffding Tree的MOA实现的微小修改-在UCI存储库中最大的分类数据集上获得了显着优越的prequential准确性。Hoeffding Anytime Tree在极限下产生渐近批处理树,对概念漂移具有自然弹性,并且在大多数情况下可以用作Hoeffding Tree的更高精度替代品,只需少量额外的计算成本。
2018-02-24 cs.LG stat.ML
Decision Machines: Congruent Decision Trees
针对决策树缺乏参数化表示易过拟合的问题,提出Decision Machines,将布尔测试嵌入二值向量空间并以矩阵表示树结构,实现矩阵计算的交错遍历,同时探讨其与注意力机制的同构性以优化预测能力。
2024-11-16 cs.LG math.OC stat.ML
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees
Stanford University(斯坦福大学)
本文提出MAPTree算法,通过贝叶斯最大后验推断和AND/OR搜索构建决策树,在16个真实数据集上优于或媲美基线且树更小,在合成数据上更鲁棒,并能提供最优性证书。
2023-12-20 cs.AI cs.LG
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK(计算与工程学院贝德福德郡大学,卢顿,英国)
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树,建立了理性承诺阈值的完整非渐近理论,回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
Gradient Boosted Decision Tree Neural Network
Netflix(奈飞)
在本文中,我们提出了一种方法来建立一个神经网络,类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后,我们放松这个网络的一些属性,如阈值和激活函数,训练一个近似等价的决策树集成。最后一个模型Hammock非常简单:一个完全连接的两层神经网络,其中输入被量化和独热编码。在大数据集和小数据集上的实验表明,这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
Decision Tree Design for Classification in Crowdsourcing Systems
Syracuse University(雪城大学)
在本文中,我们提出了一种新的顺序范式分类在众包系统。考虑到工人是不可靠的,他们执行的测试与错误,我们研究了决策树的建设,以尽量减少错误分类的概率。利用决策树各级熵与误分类概率之间的关系,提出了两种决策树设计算法。此外,工人分配问题进行了研究时,工人可以被分配到不同的测试的决策树,以提供分类成本和所产生的错误性能之间的权衡。数值结果是为了说明。
2018-05-01 cs.LG stat.ML
Tree in Tree: from Decision Trees to Decision Graphs
EPFL(洛桑联邦理工学院);Cornell University(康奈尔大学)
决策树由于其轻量级和可解释的决策过程而被广泛用作许多机器学习应用中的分类器。本文介绍了树中树决策图(TnT),一个框架,扩展了传统的决策树更一般和强大的有向无环图。TnT通过在内部或叶节点内递归地生长决策树来构建决策图,而不是贪婪训练。TnT的时间复杂度与图中的节点数呈线性关系,可以在大数据集上构造决策图。与决策树相比,我们表明,TnT实现了更好的分类性能,减少了模型大小,无论是作为一个独立的分类器,并作为一个基本的估计装袋/AdaBoost集成。我们提出的模型是一种新的,更有效的,和准确的替代广泛使用的决策树。
2021-10-29 cs.LG
A Bayesian Decision Tree Algorithm
UBS(瑞银集团(UBS))
贝叶斯决策树以其概率可解释性而闻名。然而,它们的建造有时可能是昂贵的。在这篇文章中,我们提出了一个通用的贝叶斯决策树算法适用于回归和分类问题。该算法不应用马尔可夫链蒙特卡罗,不需要修剪步骤。虽然可以构造一个加权概率树空间,但我们发现一个特定的树,贪婪模态树(GMT),解释了数值示例中包含的大部分信息。这种方法似乎与随机森林类似。
2020-09-22 cs.LG stat.ML
Oblique Decision Trees from Derivatives of ReLU Networks
我们展示了如何神经模型可以用来实现分段常数函数,如决策树。所提出的架构,我们称之为局部常数网络,建立在分段线性的ReLU网络上,因此它们相对于输入的相关梯度是局部常数。我们正式建立了局部常数网络类和决策树类之间的等价关系。此外,我们强调了局部常数网络的几个有利特性,包括它们如何实现跨分支/叶子共享参数的决策树。实际上,只有$M$神经元才足以隐式地对具有$2^M$叶节点的倾斜决策树进行建模。神经表示还使我们能够采用为深度网络开发的许多工具(例如,DropConnect(Wan等人,2013)),同时隐式地训练决策树。我们证明,我们的方法优于替代技术训练斜决策树的分子属性分类和回归任务的背景下。
2020-05-03 cs.LG stat.ML
Improving Stability in Decision Tree Models
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心)
本文针对决策树模型的不稳定性问题,提出新的距离度量与稳定训练方法,在医疗保健案例中实现以4.6%的预测能力下降换取38%的稳定性提升。
2023-05-26 cs.AI cs.LG math.OC
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology(代尔夫特理工大学)
针对强化学习策略可解释性难题,提出基于混合整数线性规划的OMDT方法,直接为MDP优化尺寸受限决策树以最大化期望折扣回报,发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
Bayesian Decision Trees via Tractable Priors and Probabilistic Context-Free Grammars
Stanford University(斯坦福大学)
决策树是当今最流行的机器学习模型之一,因为它们具有开箱即用的性能和可解释性。通常,决策树模型是通过启发式搜索标准(如基尼不纯或熵)以自上而下的方式构建的。然而,以这种方式构建的树对训练数据中的微小波动敏感,并且易于过拟合。相比之下,贝叶斯方法树建设制定的选择过程作为一个后验推理问题,这种方法更稳定,并提供更大的理论保证。然而,生成贝叶斯决策树通常需要从复杂的多模态后验分布中采样。目前基于马尔可夫链蒙特卡罗的贝叶斯决策树抽样方法容易出现模式坍塌和混合时间过长的问题,这使得它们不切实际。本文提出了一种新的贝叶斯决策树训练准则。我们的标准产生BCART-PCFG,它可以有效地采样决策树的后验分布的树木给定的数据,并找到最大后验(MAP)树。学习后验和训练采样器可以在数据集大小的多项式时间内完成。一旦学习了后验,就可以有效地对树进行采样(在节点数量上呈线性)。在我们的方法的核心是一个减少后采样采样的概率上下文无关文法的推导。我们发现,通过BCART-PCFG采样树执行类似或更好的贪婪构造的决策树在几个数据集上的分类精度。此外,通过BCART-PCFG采样的树要小得多-有时高达20倍。
2023-02-15 cs.AI cs.LG
Emergent and Unspecified Behaviors in Streaming Decision Trees
University of Waikato(怀卡托大学);Monash University(莫纳什大学)
Hoeffding树是决策树学习中最先进的数据流演化方法。这些非常快速的决策树被用于许多实际应用中,其中由于其效率而实时创建数据。在这项工作中,我们摆脱解释为什么这些流决策树算法的固定和非固定流(HoeffdingTree和HoeffdingAdaptiveTree)的工作,以及他们做的。在这样做的过程中,我们确定了13个独特的未指定的设计决策的理论结构和它们的实现与预测准确性的实质性和后果性的影响-设计决策,而不一定改变算法的本质,驱动算法的性能。我们开始一个更大的对话,不仅是模型的可解释性,而且是算法成功的过程。
2020-10-16 cs.AI cs.LG
On Tackling Explanation Redundancy in Decision Trees
University of Toulouse(图卢兹大学);Monash University(莫纳什大学);IRIT(图卢兹信息学研究所);CNRS(法国国家科学研究中心)
决策树是机器学习模型可解释性的理想体现。决策树的可解释性通过所谓的内在可解释性激发了可解释性方法,并且它是最近在高风险应用中应用可解释ML模型的建议的核心。对DT可解释性的信念是合理的,因为DT预测的解释通常被期望是简洁的。事实上,在DT的情况下,解释对应于DT路径。由于决策树在理想情况下是浅的,因此路径包含的特征比特征总数少得多,DT中的解释应该是简洁的,因此是可解释的。本文从理论和实验两方面论证了只要决策树的可解释性等同于解释的简洁性,那么决策树就不应该被认为是可解释的。本文引入了逻辑上严格的路径解释和路径解释冗余,证明了存在决策树必须显示具有任意大解释冗余的路径的函数。本文还证明了,只有一个非常有限的功能类可以表示与DT表现出没有解释冗余。此外,本文包括实验结果证实,路径解释冗余观察无处不在的决策树,包括使用不同的树学习算法,但也在广泛的公开可用的决策树。本文还提出了多项式时间算法消除路径解释冗余,这在实践中需要微不足道的时间来计算。因此,这些算法用于间接地获得不可约的,因此简洁的,决策树的解释。
2022-09-30 cs.AI cs.LG
Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
University of Pisa(比萨大学);ISTI-CNR
该研究提出基于TTVAE的TREVIS方法,将决策树映射至潜在空间实现梯度优化,所获决策树兼具与近优算法相当的预测性能及更优结构稀疏性。
2026-09-02 cs.AI cs.LG
Dive into Decision Trees and Forests: A Theoretical Demonstration
基于决策树,近年来许多领域都取得了巨大的进展。简单地说,决策树使用“分而治之”的策略将输入特征与标签之间的依赖关系这一复杂问题分解为较小的问题。虽然决策树有很长的历史,但最近的进展大大提高了它们在计算广告、推荐系统、信息检索等方面的性能。贝叶斯CART,贝叶斯回归样条)和训练技术(例如,混合整数规划、交替优化、梯度下降)。一路上,我们强调基于树的模型的概率特性,并解释其实际和理论上的好处。除了机器学习和数据采掘之外,本文还试图从统计学和运筹学等其他领域展示树型模型的理论进展。我们在每个方法的末尾列出了可重复的资源。
2021-01-20 cs.LG stat.ML
Distributed Decision Trees
Cornell University(康奈尔大学);Boğaziçi University(海峡大学)
最近提出的萌芽树是一种决策树算法,其中每个节点是部分内部节点和部分叶子。这允许在连续参数空间中表示每个决策树,因此萌芽树可以与反向传播联合训练,就像神经网络一样。尽管这种连续性允许它用于分层表示学习,但学习的表示是局部的:激活在树中的所有根到叶路径中进行软选择。在这项工作中,我们扩展了萌芽树,并提出了分布式树的孩子使用不同的和独立的分裂,因此在一棵树中的多条路径可以在同一时间遍历。这种组合多个路径的能力提供了分布式表示的能力,就像传统的感知器层一样。我们发现,分布式树的分类和回归任务的表现比萌芽和传统的硬树。
2014-12-19 cs.LG stat.ML
Fast Sparse Decision Tree Optimization via Reference Ensembles
University of British Columbia(不列颠哥伦比亚大学);Duke University(杜克大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
稀疏决策树优化自诞生以来一直是人工智能中最基本的问题之一,也是可解释机器学习的核心挑战。稀疏决策树优化在计算上是困难的,并且尽管自20世纪60年代以来一直在努力,但仅在过去几年中才在该问题上取得突破,主要是在寻找最佳稀疏决策树的问题上。然而,当前最先进的算法通常需要不切实际的计算时间和内存量来为一些真实世界的数据集找到最优或接近最优的树,特别是那些具有多个连续值特征的数据集。考虑到这些决策树优化问题的搜索空间是巨大的,我们实际上能希望找到一棵稀疏的决策树,在准确性上与黑盒机器学习模型竞争吗?我们解决这个问题,通过智能猜测策略,可以适用于任何最佳的分支和边界为基础的决策树算法。我们表明,通过使用这些猜测,我们可以减少多个数量级的运行时间,同时提供边界上产生的树可以偏离黑盒的准确性和表达能力。我们的方法使猜测如何箱连续的功能,树的大小,以及最佳决策树的错误的下限。我们的实验表明,在许多情况下,我们可以快速构建稀疏的决策树匹配的黑盒模型的准确性。总结一下:当你在优化时遇到困难,就猜猜看。
2022-07-06 cs.AI cs.LG
Extracting Interpretable Concept-Based Decision Trees from CNNs
University of Southern California(南加州大学)
为了更深入地了解卷积神经网络(CNN)如何对人类可理解的概念进行推理,我们提出了一种从隐藏层激活中推断标记概念数据并通过浅层决策树解释概念的方法。决策树可以提供关于模型认为哪些概念重要的信息,以及提供对概念如何彼此交互的理解。实验表明,所提取的决策树能够准确地表示原始CNN的分类在低树深度,从而鼓励人类在回路中的歧视性概念的理解。
2019-06-16 cs.LG stat.ML
Improved Information Gain Estimates for Decision Tree Induction
Microsoft Research Cambridge(微软研究院剑桥分部)
分类树和回归树的集合仍然是流行的机器学习方法,因为它们定义了灵活的非参数模型,这些模型在训练和测试期间预测良好,并且计算效率高。在决策树的归纳过程中,我们的目标是找到关于预测目标的最大信息的谓词。为了选择好的谓词,大多数方法估计信息理论的评分函数,信息增益,分类和回归问题。我们指出,共同的估计程序是有偏见的,并表明,通过取代它们与改进的离散和微分熵的估计,我们可以得到更好的决策树。实际上,我们的修改产生了改进的预测性能,并且易于在任何决策树代码中实现。
2012-06-18 cs.LG stat.ML
Automatic Induction of Neural Network Decision Tree Algorithms
Faculty of Engineering and Information Technology(工程与信息技术学院);University of Technology Sydney(悉尼科技大学)
本文提出了一种基于神经网络结构的非贪婪决策树的自动归纳方法。这种构造可以用于在增长或修剪决策树时转移权重,允许非贪婪决策树算法自动学习和适应理想架构。在这项工作中,我们研究了集成建模和贝叶斯模型平均的基础思想,使我们的神经网络通过权重转移渐近接近理想的体系结构。实验结果表明,该方法提高了决策树模型和决策森林模型在固定的超参数集的模型。
2019-04-25 cs.LG stat.ML
Trinary Decision Trees for handling missing data
Stockholm University(斯德哥尔摩大学)
本文提出三元决策树,不假设缺失值含响应信息,在完全随机缺失场景下优于现有算法,并与MIA方法结合形成TrinaryMIA树以提升各类缺失场景下的稳健性和准确性。
2024-01-11 cs.LG stat.ML
A Rectification-Based Approach for Distilling Boosted Trees into Decision Trees
Univ. Artois(阿诺学校);CNRS(国家科学研究中心);CRIL(认知与语言研究所);Institut Universitaire de France(法国国家科学院)
本研究提出一种基于校正的提升树到决策树的蒸馏方法,以在预测性能与可解释性间取得可接受折中,实验显示其效果优于重训练式蒸馏方法。
2025-10-21 cs.AI cs.LG
Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);University of Toronto(多伦多大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
决策树因其易用性和可解释性而在机器学习中无处不在。然而,这些模型通常不用于强化学习,因为它们不能通过随机梯度下降在线更新。我们克服了这一限制,允许在整个树,提高样本的复杂性,提供可解释的政策提取梯度更新。首先,我们包括政策梯度学习的需要,通过检查梯度下降的性质可微决策树的理论动机。其次,我们证明了我们的方法在所有领域都等同于或优于神经网络,并且可以在线学习离散的决策树,其平均奖励比批量训练的决策树高出7倍。第三,我们进行了一项用户研究,以量化决策树,规则列表和神经网络的可解释性与统计上显着的结果($p < 0.001$)。
2020-06-25 cs.LG stat.ML
An Interpretable Client Decision Tree Aggregation process for Federated Learning
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所)
针对联邦学习中决策树难以聚合且易损失可解释性与精度的问题,提出一种聚合多决策路径的客户端决策树流程,适用于 ID3 和 CART,并在四个数据集上验证其优于局部模型和现有方法。
2024-04-03 cs.AI cs.LG
Interpretable Decision Trees Through MaxSAT
Universitat de Lleida(莱里达大学)
我们提出了一种方法来提高机器学习(ML)决策树(DT)的准确性和可解释性的权衡。特别是,我们应用最大可满足性技术来计算最小纯DT(MPDT)。我们改进了以前方法的运行时间,并表明这些MPDT可以优于使用ML框架sklearn生成的DT的准确性。
2022-07-14 cs.AI cs.LG
RL-LLM-DT: An Automatic Decision Tree Generation Method Based on RL Evaluation and LLM Enhancement
提出RL-LLM-DT方法,结合强化学习评估与大型语言模型增强,自动迭代改进决策树,在冰壶游戏中取得排名第一的成绩,实现游戏AI策略的自动化优化。
2024-12-17 cs.AI cs.LG
Generalized and Scalable Optimal Sparse Decision Trees
University of British Columbia(不列颠哥伦比亚大学);Duke University(杜克大学)
从计算的角度来看,决策树优化是非常困难的,但对于可解释的机器学习领域来说是必不可少的。尽管在过去的40年里一直在努力,但直到最近才取得了优化突破,使实用算法能够找到最佳决策树。这些新技术有可能引发范式转变,其中可以构建稀疏决策树来有效地优化各种目标函数,而不依赖于贪婪分裂和修剪算法,这些算法通常会导致次优解。在这项工作中的贡献是提供一个通用的框架决策树优化,解决了两个重要的开放问题,在该地区:不平衡数据的处理和充分优化连续变量。我们提出的技术,产生最佳的决策树在各种目标,包括F-分数,AUC,和部分区域下的ROC凸包。我们还介绍了一个可扩展的算法,产生可证明的最佳结果,在连续变量的存在下,并加快了决策树建设的几个数量级相对于最先进的。
2022-11-22 cs.LG stat.ML
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法,如流行的Hoeffding树算法。从统计学的角度来看,在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清,一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白,推导出准确的置信区间估计分裂增益决策树学习的三个标准:熵,基尼指数,和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置,其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率,分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明,我们的树确实比其他技术生成的具有相同数量叶子的树更准确,并且我们的主动学习模块允许节省标记成本。此外,比较我们的标签策略与最近的方法,我们表明,我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
Towards Interpretable ANNs: An Exact Transformation to Multi-Class Multivariate Decision Trees
University of New South Wales(新南威尔士大学)
一方面,人工神经网络(ANN)通常被标记为黑箱,缺乏可解释性;这一问题阻碍了人类对ANN行为的理解。需要产生一个有意义的顺序逻辑的人工神经网络解释一个特定的输出的生产过程。另一方面,决策树由于其表示语言和将树转换为规则的有效算法的存在而表现出更好的可解释性和表达能力。然而,基于可用数据生长决策树可能会产生比必要的树更大的树或不能很好地泛化的树。在本文中,我们介绍了两个新的多变量决策树(MDT)算法的规则提取的人工神经网络:一个精确转换决策树(EC-DT)和扩展的C-网算法。这两种方法都是将具有整流线性单元激活函数的神经网络转化为一棵代表树,进而提取多元规则进行推理。虽然EC-DT以逐层的方式转换ANN以精确地表示由网络的隐藏层隐式地学习的决策边界,但扩展的C-Net将EC-DT的分解方法与C5树学习算法相结合以形成决策规则。结果表明,虽然EC-DT是优越的,在保持结构和保真度的人工神经网络,扩展C-网络生成最紧凑和高效的树从人工神经网络。这两个建议MDT算法生成的规则,包括多个属性的组合,用于精确的解释决策。
2021-11-17 cs.LG stat.ML
Prediction Algorithms Achieving Bayesian Decision Theoretical Optimality Based on Decision Trees as Data Observation Processes
Waseda University(早稻田大学);Gunma University(群马大学)
针对决策树预测难保证统计最优、易过拟合且贝叶斯最优预测计算不可行的问题,研究将决策树作为数据观测过程,用步长自适应的马尔可夫链蒙特卡洛方法求解划分轴组合求和,实现贝叶斯决策理论最优预测。
2023-06-12 cs.LG stat.ML
An Experimental Comparison of Old and New Decision Tree Algorithms
University of California, Merced(加利福尼亚大学默塞德分校)
本文提出了一个详细的比较,最近提出的算法优化决策树,树交替优化(TAO),与其他流行的,建立算法。我们比较了它们在不同复杂度、不同大小和维度的分类和回归数据集上的性能,这些数据集涉及不同的性能因素:准确性和树的大小(根据叶子的数量或树的深度)。我们发现,TAO在几乎所有的数据集上都达到了更高的准确性,而且往往是大幅度的。
2020-03-20 cs.LG stat.ML
Deep Neural Decision Trees
The University of Edinburgh(爱丁堡大学)
深度神经网络已被证明在处理图像和音频等感知数据方面非常强大。然而,对于表格数据,基于树的模型更受欢迎。基于树的模型的一个很好的特性是它们的自然可解释性。在这项工作中,我们提出了深度神经决策树(DNDT)-由神经网络实现的树模型。DNDT本质上是可解释的,因为它是一棵树。然而,由于它也是一个神经网络(NN),它可以很容易地在NN工具包中实现,并使用梯度下降而不是贪婪分裂进行训练。我们在几个表格数据集上评估了DNDT,验证了它的有效性,并研究了DNDT和香草决策树之间的异同。有趣的是,DNDT在分割和特征级别都进行了自修剪。
2018-06-19 cs.LG stat.ML
SPOT: Scalable Policy Optimization with Trees for Markov Decision Processes
Shanghai Jiao Tong University(上海交通大学);University of South Florida(佛罗里达州立大学)
针对马尔可夫决策过程中决策树策略优化难的问题,提出将优化建模为混合整数线性规划、用约简空间分支定界解耦动力学与树约束的SPOT方法,实现了可解释性与可扩展性兼具的高质量策略,速度比现有方法快一个数量级。
2025-10-22 cs.AI cs.LG
Global Evaluation for Decision Tree Learning
Boston University(波士顿大学);University of Konstanz(康斯坦茨大学)
我们将聚类上的距离转移到决策树的构建过程中,并因此扩展了经典的ID 3算法,以根据树到地面真实值的全局距离进行修改-而不是考虑单个叶子。接下来,我们将评估这个想法与原始版本的比较,并讨论出现的问题,以及全局方法的优势。在此基础上,我们通过确定其他情况下,全球评估是值得的。
2022-08-09 cs.AI cs.LG
Learning Optimal Decision Trees from Large Datasets
Computer Research Institute of Montreal(蒙特利尔计算机研究所)
从给定的数据集推断决策树是机器学习中的经典问题之一。这个问题包括建筑物,从一个标记的数据集,一棵树,使得每个节点对应于一个类和路径之间的树根和叶子对应于一个连接的功能,以满足在这个类。遵循简约原则,我们希望推断出与数据集一致的最小树。不幸的是,推断一个最佳的决策树是已知的NP完全的几个定义的最优性。因此,大多数现有的方法依赖于推理,而对于少数精确推理方法,它们不适用于大数据集。本文提出了一种基于布尔公式增量生成的最小深度决策树推断方法。实验结果表明,它的规模足够好,运行时间随着数据集的大小缓慢增长。
2019-04-12 cs.LG stat.ML
"Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models
University of Applied Sciences Berlin(柏林应用科学大学);Charité - Universitätsmedizin Berlin(柏林夏里特医学院);University of Birmingham(伯明翰大学)
本研究提出利用大语言模型零样本生成可解释决策树,无需训练数据,在小型表格数据集上性能可超越数据驱动树,并可作为低数据场景下的知识驱动基线。
2025-05-27 cs.AI cs.CL cs.LG
Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees
University of Pennsylvania(宾夕法尼亚大学);University of California, San Francisco(加利福尼亚大学旧金山分校);University of Maryland Medical Center(马里兰大学医学中心)
加法模型,例如由梯度提升产生的,以及全交互模型,例如分类和回归树(CART),是广泛使用的算法,这些算法在很大程度上被孤立地研究。我们表明,这些模型存在于一个频谱,揭示了这两种方法之间前所未有的联系。本文介绍了一种新的技术,称为树结构的提升,用于创建一个单一的决策树,并表明,这种方法可以产生模型相当于CART或梯度提升树桩在极端情况下,通过改变一个参数。虽然树结构提升的设计主要是为了提供模型的可解释性和高风险应用(如医学)所需的预测性能,但它也可以产生由CART和提升的树桩之间的混合模型表示的决策树,这些混合模型可以优于这些方法。
2017-11-18 cs.LG stat.ML
HHCART: An Oblique Decision Tree
University of Canterbury(坎特伯雷大学);University of Wyoming(怀俄明大学)
决策树是统计数据分类中的一种流行技术。它们递归地将特征空间划分为不相交的子区域,直到每个子区域相对于特定的类变得均匀。基本的分类和回归树(CART)算法使用轴平行分裂来划分特征空间。当真正的决策边界与特征轴不对齐时,这种方法会产生复杂的边界结构。斜决策树使用斜决策边界来潜在地简化边界结构。这种方法的主要局限性是树归纳算法计算量大。在这篇文章中,我们提出了一个新的决策树算法,称为HHCART。该方法利用一系列Householder矩阵来反映树构建过程中每个节点处的训练数据。每个反射基于来自每个类别的协方差阵的特征向量的方向。在反射的训练数据中考虑轴平行分裂提供了在未反射的训练数据中找到倾斜分裂的有效方式。实验结果表明,HHCART树的精度和大小与文献中的一些基准方法相当。HHCART的吸引人的特点是,它可以处理定性和定量的特点,在同一斜分裂。
2015-04-14 cs.LG stat.ML
Learning a Decision Tree Algorithm with Transformers
UC San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文提出基于Transformer的模型MetaTree,通过元学习直接生成决策树,使其能自适应模拟贪心和全局优化算法,从而解决传统局部划分难以实现全局泛化的问题,显著提升泛化性能。
2024-08-23 cs.AI cs.CL cs.LG
Contextual Decision Trees
Università degli Studi di Firenze(佛罗伦萨大学)
针对随机森林,我们提出了一个多臂上下文强盗推荐框架,用于基于特征选择学习集合的单个浅树。在随机森林之上工作的经过训练的系统动态地识别负责提供最终输出的基本预测器。通过这种方式,我们通过观察推荐树的规则来获得本地解释。实验结果表明,该方法的预测性能优于一个独立的拟合CART决策树和整个黑盒随机森林。
2022-07-13 cs.LG stat.ML
Analyzing decision tree bias towards the minority class
University of Western Ontario(西安大略大学)
本文分析了决策树对少数类的偏见问题,指出在特定条件下决策树可能偏向少数类,并提出通过正则化方法减少偏见,对随机森林等树基模型的应用有启示。
2026-01-28 cs.LG stat.ML
Big Data Classification Using Augmented Decision Trees
Chennai Mathematical Institute(金奈数学研究所)
我们提出了一个算法,分类任务的大数据。作为本研究的一部分进行的实验表明,该算法可以准确集成方法,如随机森林或梯度提升树。与集成方法不同,该算法产生的模型可以很容易地解释。该算法是基于分而治之的战略,包括两个步骤。第一步是使用决策树来分割大型数据集。通过构造,决策树试图在其叶节点中创建均匀的类分布。然而,通常会产生非均匀的叶节点。该算法的第二步包括使用合适的分类器来确定非同质叶节点的类标签。决策树分段提供粗略的分段简档,而叶级分类器可以提供关于影响分段内的标签的属性的信息。
2017-10-26 cs.LG stat.ML
Optimal Sparse Decision Trees
Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);The University of British Columbia(不列颠哥伦比亚大学)
针对传统决策树缺乏最优性保证的问题,本文提出首个面向二值变量的实用最优稀疏决策树算法 OSDT,通过解析界与位向量等系统技术协同优化搜索,在可扩展性、速度和最优性证明上表现更优。
2023-09-26 cs.LG stat.ML
Adaptive Multi-Branching for Shallow Decision Tree Induction
Pusan National University(釜山大学)
提出带自适应剪枝的多分岔神经决策树(MBNDT),在21个OpenML二分类基准的受深度约束单树中获最佳平均排名与平衡准确率,多分支分裂是性能提升关键。
2026-09-01 cs.AI cs.LG
QUBO Decision Tree: Annealing Machine Extends Decision Tree Splitting
Hitachi Ltd.(日立有限公司)
本文提出了一种基于二次无约束二元优化(QUBO)的回归树扩展方法。回归树是非常流行的预测模型,可以用表格数据集进行训练,但由于决策规则过于简单,因此其准确性不足。该方法将决策树中的决策规则扩展到多维边界。由于计算限制,这种扩展通常无法实现,然而,所提出的方法将训练过程转换为QUBO,这使得退火机能够解决这个问题。
2023-03-17 cs.LG physics.data-an
Decision Trees for Decision-Making under the Predict-then-Optimize Framework
Amazon(亚马逊)
我们考虑使用决策树的预测,然后优化框架下的决策问题。也就是说,我们希望首先使用决策树来预测优化问题的未知输入参数,然后通过使用预测的参数解决优化问题来做出决策。该框架中的自然损失函数是测量由预测的输入参数引起的决策的次优性,而不是使用输入参数预测误差来测量损失。这种自然的损失函数在文献中被称为智能预测然后优化(SPO)损失,我们提出了一种易于处理的方法,称为SPO树(SPOTs),用于在这种损失下训练决策树。SPOT受益于决策树的可解释性,提供了一个可解释的上下文特征分割成组,具有不同的最佳解决方案的优化问题的兴趣。我们进行了几个数值实验的合成和真实的数据,包括预测旅行时间的最短路径问题和预测点击概率的新闻文章推荐。我们在这些数据集上证明,SPOT同时提供了比其他机器学习方法(例如,CART)训练以最小化预测误差。
2020-06-18 cs.LG math.OC stat.ML
Extracting PAC Decision Trees from Black Box Binary Classifiers: The Gender Bias Case Study on BERT-based Language Models
Universitetet i Oslo, Norway(奥斯陆大学);Universita degli Studi di Padova, Italy(帕多瓦大学);Universitetet i Bergen, Norway(卑尔根大学)
本研究利用PAC框架为从BERT语言模型中提取的决策树提供保真度理论保证,通过调整决策树算法实现二分类任务的PAC保证,实验揭示模型中存在职业性别偏见。
2025-10-06 cs.AI cs.LG
Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
可解释性和有效性是在现实中采用机器学习方法的两个基本且不可或缺的要求。在本文中,我们提出了一个知识蒸馏为基础的决策树扩展,被称为整流决策树(ReDT),探索同时满足这些要求的可能性。具体来说,我们扩展了标准决策树的分裂标准和结束条件,允许使用软标签进行训练,同时保留确定性的分裂路径。然后,我们训练的ReDT的基础上的软标签从一个训练有素的教师模型通过一种新的基于折刀的方法。因此,ReDT保留了决策树的优秀可解释性,同时具有相对良好的性能。本文还从理论和实证两方面分析了采用软标签替代硬标签的有效性。令人惊讶的是,实验表明,软标签的引入也减少了模型的大小相比,标准的决策树从总节点和规则的方面,这是一个意想不到的礼物,从“暗知识”从教师模型蒸馏。
2020-08-21 cs.LG stat.ML
Soft Decision Tree classifier: explainable and extendable PyTorch implementation
KI Research Institute(KI研究所)
本文提出了一种可解释且可扩展的软决策树分类器,通过PyTorch实现,并在模拟和临床数据集上验证了其性能,与XGBoost和随机森林相比表现出相似的分类效果。
2025-12-03 cs.AI cs.CV cs.LG