A Theory of Probabilistic Boosting, Decision Trees and Matryoshki
我们提出了一个提升概率分类器的理论。我们把自己的用户只提供一个停止参数和一个概率弱学习器/分类器的情况下，并比较三种类型的提升算法：概率Adaboost，决策树，树的树。我们称之为俄罗斯套娃“嵌套树”、“嵌入树”和“递归树”也是该算法的恰当名称，这是我们的贡献之一。我们的另一个贡献是算法的理论分析，其中我们给出了训练误差界。这一分析表明，俄罗斯套娃利用概率弱分类器比简单的决策树更有效。
2006-07-25 cs.LG
Batched Lazy Decision Trees
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）
我们介绍了一个批处理懒惰算法的监督分类使用决策树。它避免了不必要的访问不相关的节点时，它是用来进行预测，无论是热切或懒惰训练决策树。实验结果表明，该算法在计算时间和内存消耗方面均优于传统的和惰性的决策树算法，且不影响算法的准确性.
2016-03-08 cs.LG
Yet Another Representation of Binary Decision Trees: A Mathematical Demonstration
本文提出一种基于位向量矩阵的决策树数值表示，将逻辑与运算转为算术运算，实现遍历，并统一扩展多种决策树。
2024-11-06 cs.LG
Divide, Conquer, Combine Bayesian Decision Tree Sampling
本文提出DCC-Tree方法，通过将每个树结构与唯一决策参数关联，解决了贝叶斯决策树采样中结构与参数耦合难题，提升了采样效率与一致性。
2024-03-26 cs.LG
Genetic Adversarial Training of Decision Trees
University of Padova（帕多瓦大学）
我们提出了一种新的学习方法集成的决策树的遗传算法的基础上，它是能够训练的决策树，以最大限度地提高其准确性和鲁棒性对抗扰动。这种学习算法内部利用了一个完整的形式化验证技术的鲁棒性的决策树的基础上抽象的解释，一个众所周知的静态程序分析技术。我们在一个名为Meta-Silencer（MS）的工具中实现了这种遗传对抗训练算法，并在对抗训练中使用的一些参考数据集上进行了实验评估。实验结果表明，MS是能够训练强大的模型，竞争，并经常改善目前的最先进的对抗训练的决策树，而更紧凑，因此可解释和有效的树模型。
2020-12-21 cs.LG
A Reinforcement Learning Approach to Online Learning of Decision Trees
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
在线决策树学习算法通常检查新数据点的所有特征以更新模型参数。我们提出了一种新的替代方案，基于强化学习的决策树（RLDT），它使用强化学习（RL）主动检查数据点的最小数量的特征，以高精度对其进行分类。此外，RLDT优化了长期回报，提供了一个更好的替代传统的短视贪婪的方法来增长决策树。我们证明，这种方法执行以及批处理学习算法和其他在线决策树学习算法，同时使显着更少的查询的数据点的功能。我们还表明，RLDT可以有效地处理概念漂移。
2015-07-24 cs.LG
Simple is better: Making Decision Trees faster using random sampling
AI Labs, American Express（美国运通AI实验室）
近年来，梯度提升的决策树在大数据上构建鲁棒的机器学习模型中变得流行。使这些算法成功的主要技术是在构建决策树的同时分布计算。分布式决策树的构建，反过来，已经通过构建大数据集的分位数和从这些分位数集中选择候选分裂点来实现。例如，在XGBoost中，采用复杂的分位数构建算法来识别决策树的候选分裂点。当计算是分布式的时，这种方法通常会产生更好的结果。在本文中，我们消除的概念，这些方法提供了更准确和可扩展的方法，以分布式的方式建立决策树。在一个显着的贡献，我们从理论上和经验表明，随机选择均匀的分裂点提供了相同的，甚至更好的性能方面的准确性和计算效率。因此，与更复杂的方法相比，点的简单随机选择足以用于决策树构建。
2021-08-19 cs.LG
CDT: Cascading Decision Trees for Explainable Reinforcement Learning
Borealis AI（极光人工智能研究院）
深度强化学习（Deep Reinforcement Learning，DRL）最近在各个领域取得了重大进展。然而，由于几个因素，解释RL代理的策略仍然是一个悬而未决的问题，其中之一是解释神经网络决策的复杂性。最近，一组作品已经使用基于决策树的模型来学习可解释的策略。软决策树（SDTs）和离散可微决策树（DDTs）已被证明可以实现良好的性能，并分享具有可解释的政策的好处。在这项工作中，我们进一步提高了基于树的可解释强化学习的性能和可解释性的结果。我们的建议，级联决策树（CDTs）的决策路径上应用表示学习，以允许更丰富的表达。实证结果表明，在这两种情况下，当CDTs被用作政策函数逼近器或模仿学习器来解释黑箱政策，CDTs可以实现更好的性能与更简洁和可解释的模型比SDTs。作为第二个贡献，我们的研究揭示了通过基于树的可解释模型的模仿学习来解释黑盒策略的局限性，这是由于其固有的不稳定性。
2021-03-30 cs.LG
Decision Stream: Cultivating Deep Decision Trees
Russian Research Center of Huawei Technologies（华为技术俄罗斯研究中心）；ETH Zurich（苏黎世联邦理工学院）
决策树的各种修改由于其高效率和可解释性在过去的几年中得到了广泛的应用。基于相关特征选择的决策树节点划分是决策树学习的关键步骤，同时也是其主要缺点：递归节点划分导致叶节点数据量几何减少，导致模型复杂度过高和数据过拟合。在本文中，我们提出了一种新的架构-决策流，-旨在克服这个问题。在学习过程中，我们提出了合并节点从不同的分支，而不是建立一个树结构的基础上，他们的相似性，估计与两个样本的测试统计，这导致生成的决策规则，可以包括数百个级别的深度有向无环图。为了评估所提出的解决方案，我们在几个常见的机器学习问题上进行了测试-信用评分，twitter情感分析，飞机飞行控制，MNIST和CIFAR图像分类，合成数据分类和回归。我们的实验结果表明，所提出的方法在回归和分类任务上都显着优于标准的决策树学习方法，预测误差降低高达35%。
2017-09-03 cs.LG
Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
University of Mannheim（曼海姆大学）；Boehringer Ingelheim（勃林格殷格翰）
本文提出 ReMeDe Trees，一种带内部记忆机制的循环决策树架构，通过梯度下降学习硬性轴对齐决策规则，以解决传统决策树难以直接捕获序列数据中长期依赖的问题，并在合成基准上验证了其有效性。
2025-02-06 cs.LG
Efficient algorithms for decision tree cross-validation
交叉验证是机器学习中经常采用的有用且普遍适用的技术，包括决策树归纳。直接实现该技术的一个重要缺点是其计算开销。在本文中，我们表明，对于决策树，交叉验证的计算开销可以显着降低集成的交叉验证与正常的决策树归纳过程。我们将讨论如何现有的决策树算法可以适应这一目标，并提供这些适应可能产生的加速比的分析。实验结果支持了分析。
2001-10-17 cs.LG
Leveraging Predictive Equivalence in Decision Trees
Duke University（杜克大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出一种无预测等价性的决策树布尔逻辑表示，忠实于决策边界，用于改善模型选择、鲁棒性分析、变量重要性量化及预测成本优化。
2025-10-13 cs.LG
Decision Concept Lattice vs. Decision Trees and Random Forests
National Research University Higher School of Economics（国立研究型高等经济学院）
决策树及其集成是有监督机器学习中非常流行的模型。在本文中，我们合并的思想潜在的决策树，他们的合奏和FCA提出了一个新的监督机器学习模型，可以在多项式时间，适用于分类和回归问题。具体来说，我们首先提出了一个多项式时间的算法来构建的概念格的一部分，是基于决策树。其次，我们描述了一种基于概念格的预测方案，用于解决分类和回归任务，其预测质量可与最先进的模型相媲美。
2021-06-01 cs.LG
Extracting useful rules through improved decision tree induction using information entropy
分类是数据采掘领域中广泛使用的一种技术，而可扩展性和效率是大型数据库分类算法中亟待解决的问题。我们建议改进现有的C4.5决策树算法。本文将面向属性的归纳（AOI）和相关性分析与概念层次知识和HeightBalancePriority算法相结合，构造决策树并进行多层次挖掘。属性优先级的分配是通过评估不同抽象级别的信息熵来完成的，以便使用HeightBalancePriority算法构建决策树。使用改进的DMQL查询来理解和探索C4. 5分类器生成的决策树在教育数据集上的不足，并将结果与所提出的方法进行比较。
2013-02-11 cs.LG
Fairness-guided SMT-based Rectification of Decision Trees and Random Forests
National University of Singapore（新加坡国立大学）；University of British Columbia（不列颠哥伦比亚大学）；University College London（伦敦大学学院）
随着各种机器学习模型的流行，数据驱动的决策制定越来越突出。不幸的是，机器学习训练中使用的真实数据可能会捕捉到人类的偏见，因此学习的模型可能会导致不公平的决策。在本文中，我们提供了一个解决这个问题的决策树和随机森林。我们的方法将任何决策树或随机森林转换成一个公平的一个关于一个特定的数据集，公平性标准，和敏感属性。基于我们的方法构建的\emph{FairRepair}工具受到传统程序的自动程序修复技术的启发。它使用SMT求解器来决定决策树中的哪些路径可以翻转其结果，以提高模型的公平性。我们在加州大学欧文分校著名的成人数据集上的实验表明，FairRepair可以扩展到现实的决策树和随机森林。此外，FairRepair还提供了关于查找修复的可靠性和完整性的正式保证。由于我们的公平指导修复技术修复从给定的（不公平的）数据集获得的决策树和随机森林，它可以帮助识别和纠正组织决策中的偏见。
2020-11-22 cs.LG
Mixture of Decision Trees for Interpretable Machine Learning
University of Münster（明斯特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；Dresden University of Technology（德累斯顿工业大学）；University of Stuttgart（斯图加特大学）
本文介绍了一种新的可解释的机器学习方法--混合决策树（MoDT）。它构成了混合专家模型集成体系结构的一个特殊情况，它利用线性模型作为门函数和决策树作为专家。我们提出的方法是理想的适合于问题，不能令人满意地学习由一个单一的决策树，但可以分为子问题。每个子问题都可以从单个决策树中很好地学习。因此，MoDT可以被认为是一种提高性能的方法，同时通过使每个决策都可以被人类理解和追踪来保持可解释性。我们的工作是伴随着一个Python的实现，它使用了一个可解释的门控功能，一个快速的学习算法，和一个直接的接口微调可解释的可视化方法。实验证实，实施工作，更重要的是，显示我们的方法相比，单一的决策树和随机森林类似的复杂性的优越性。
2022-11-26 cs.LG
Multiple Instance Learning with Trainable Decision Tree Ensembles
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种新的基于随机森林的小数据量多实例学习模型--软树枚举多实例学习模型（SoftTreeEnseminationMIL，STE-MIL）。本文提出了一种新的软决策树，它类似于著名的软斜树，但具有较少的可训练参数。为了训练树，建议将它们转换为特定形式的神经网络，该网络逼近树函数。还提出了通过使用注意力机制来聚合实例和包嵌入（输出向量）。整个STE-MIL模型，包括软决策树，神经网络，注意力机制和分类器，在一个端到端的方式进行训练。表格数据集的数值实验说明了STE-MIL。实现该模型的相应代码是公开的。
2023-02-13 cs.LG
Talking Trees: Reasoning-Assisted Induction of Decision Trees for Tabular Data
Yandex；HSE University（俄罗斯高等经济大学）
本文提出利用具备推理能力的LLM诱导小规模表格数据的决策树，生成轻量级树结构，优于CART和非贪心树学习器，并在低资源表格问题中与树集成竞争。
2026-05-15 cs.LG
Breiman meets Bellman: Non-Greedy Decision Trees with MDPs
UMR 9189 - CRIStAL Université de Lille CNRS, Inria, Centrale Lille（UMR 9189 - CRIStAL 威廉王大学 CNRS、Inria、Centrale Lille）
本文提出动态规划决策树（DPDT）框架，通过马尔可夫决策过程与启发式分裂生成构建近最优决策树，在显著降低计算复杂度的同时实现优于 CART 和最优决策树的泛化性能。
2025-06-01 cs.LG
Optimization of Decision Tree Evaluation Using SIMD Instructions
决策森林（决策树集成）是最流行的机器学习算法之一。为了在大数据上使用大型模型，例如使用学习排名模型的文档评分，我们需要有效地评估这些模型。在本文中，我们探讨了流行的CatBoost库的祖先MatrixNet。这两个库都使用SSE指令集对CPU进行评分。本文研究了AVX指令集提供的更有效地评估模型的机会。我们在二进制化阶段（节点条件比较）实现了35%的加速，在排名模型的树应用阶段实现了20%的加速。
2022-05-15 cs.LG
A Communication-Efficient Parallel Algorithm for Decision Tree
Peking University（北京大学）；Microsoft Research（微软研究院）；Chinese Academy of Mathematics and Systems Science（中国科学院数学与系统科学研究院）
决策树（及其扩展，如梯度提升决策树和随机森林）是一种广泛使用的机器学习算法，由于其实际有效性和模型可解释性。随着大数据的出现，越来越需要并行化决策树的训练过程。然而，沿着这条线的大多数现有尝试遭受高通信成本。在本文中，我们提出了一种新的算法，称为\emph{Parallel Voting Decision Tree (PV-Tree)}，以解决这一挑战。在将训练数据划分成多个（例如，$M$）机器，该算法在每次迭代中执行局部投票和全局投票。对于本地投票，根据每台计算机的本地数据从每台计算机中选择顶级$k$属性。然后，通过在这些局部候选中的多数投票来确定全局最佳$2k$属性。最后，从本地机器收集全局顶级$2k$属性的全粒度直方图，以识别最佳（信息量最大）属性及其分割点。PV-Tree可以实现非常低的通信成本（与属性总数无关），因此可以很好地扩展。理论分析表明，该算法能够以较大的概率找到最优的属性，从而能够学习出接近最优的决策树。我们在真实数据集上的实验表明，PV-Tree在准确性和效率之间的权衡上明显优于现有的并行决策树算法。
2016-11-04 cs.LG
DT+GNN: A Fully Explainable Graph Neural Network using Decision Trees
ETH Zurich（苏黎世联邦理工学院）
提出了完全可解释的决策树图神经网络（DT+GNN）结构。与现有的黑箱GNN和事后解释方法相比，DT+GNN的推理可以在每一步进行检查。为了实现这一点，我们首先构建了一个可微的GNN层，它使用节点和消息的分类状态空间。这允许我们将GNN中训练的MLP转换为决策树。这些树使用我们新提出的方法修剪，以确保它们很小，易于解释。我们也可以使用决策树来计算传统的解释。我们在真实世界的数据集和综合GNN可解释性基准上证明，这种架构与传统GNN一样有效。此外，我们利用DT+ GNN的可解释性来发现许多这些数据集的有趣见解，并获得了一些令人惊讶的结果。我们还提供了一个互动的网络工具来检查DT+GNN的决策。
2022-05-26 cs.LG
Deep neural network initialization with decision trees
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Texas A & M University（得克萨斯农工大学）；University of Notre Dame（圣母大学）
在这项工作中，提出了一种基于决策树构建和初始化深度前馈神经网络的新的自动化过程。所提出的算法将在数据上训练的决策树的集合映射到初始化的神经网络的集合，其中网络的结构由树的结构确定。树通知初始化充当神经网络训练过程的热启动，从而产生有效训练的准确网络。这些模型被称为“深度联合信息神经网络“（DJINN），对各种回归和分类数据集表现出高预测性能，并以较低的计算成本显示出与贝叶斯超参数优化相当的性能。通过将决策树模型的用户友好特性与深度神经网络的灵活性和可扩展性相结合，DJINN是一种有吸引力的算法，用于在广泛的复杂数据集上训练预测模型。
2018-07-03 cs.LG
POETREE: Interpretable Policy Learning with Adaptive Decision Trees
ETH AI Center（ETH人工智能中心）；ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Cambridge Centre for AI in Medicine（剑桥人工智能医学中心）；The Alan Turing Institute（艾伦·图灵研究所）
根据观察到的行为建立人类决策模型对于更好地理解、诊断和支持临床护理等现实政策至关重要。由于既定的策略学习方法仍然侧重于模仿绩效，它们无法解释演示的决策过程。通过决策树进行策略提取（POETREE）是一种用于可解释策略学习的新框架，与完全离线和部分可观察的临床决策环境兼容-并基于患者的观察和病史构建确定医生行为的概率树策略。完全可微的树架构在优化期间递增地增长，以使其复杂性适应建模任务，并通过递归学习患者历史的表示，从而产生随着时间的推移适应患者信息的决策树策略。这种策略学习方法在理解、量化和评估观察到的行为以及准确复制方面，都优于真实和合成医疗数据集的最新技术水平，并有可能改善未来的决策支持系统。
2022-09-30 cs.LG
Neural Networks are Decision Trees
AAC Technologies（AAC科技）
在本文中，我们证明了任何具有任何激活函数的神经网络都可以表示为一棵决策树。这种表示是等价的而不是近似的，因此保持了神经网络的准确性。我们相信，这项工作提供了更好的理解神经网络，并铺平了道路，以解决其黑箱性质。我们分享一些神经网络的等价树，并表明，除了提供可解释性，树表示也可以实现一些计算的优势，为小型网络。该分析适用于完全连接和卷积网络，它们可能也可能不包括跳过连接和/或归一化。
2022-10-25 cs.LG
QUBO Decision Tree: Annealing Machine Extends Decision Tree Splitting
Hitachi Ltd.（日立有限公司）
本文提出了一种基于二次无约束二元优化（QUBO）的回归树扩展方法。回归树是非常流行的预测模型，可以用表格数据集进行训练，但由于决策规则过于简单，因此其准确性不足。该方法将决策树中的决策规则扩展到多维边界。由于计算限制，这种扩展通常无法实现，然而，所提出的方法将训练过程转换为QUBO，这使得退火机能够解决这个问题。
2023-03-17 cs.LG physics.data-an
Succinct Explanations With Cascading Decision Trees
Yale University（耶鲁大学）；Barnard College（巴纳德学院）
决策树是20世纪80年代以来最流行和最经典的机器学习模型之一。然而，在许多实际应用中，决策树往往会生成深度过大的决策路径。长的决策路径通常会导致过拟合问题，并使模型难以解释。由于决策路径较长，当数据包含缺失值时，推理也更有可能失败。在这项工作中，我们提出了一个新的树模型称为级联决策树，以减轻这个问题。级联决策树的核心思想是将决策路径和解释路径分开，实验结果表明，级联决策树生成的解释路径平均缩短了63.38%，避免了过拟合，从而获得了更高的测试精度。我们还实证表明，级联决策树的优势，对缺失值的鲁棒性。
2022-11-29 cs.AI cs.LG
Proper decision trees: An axiomatic framework for solving optimal decision tree problems with arbitrary splitting rules
Peking University（北京大学）；University of Birmingham（伯明翰大学）
本文提出公理化框架分析决策树算法，聚焦Proper决策树，证明其可唯一刻画为K-排列，并开发通用动态规划方法精确求解最优决策树问题，同时澄清记忆化空间复杂度的矛盾，并扩展至多种非Proper决策树。
2025-10-23 cs.DS cs.LG
Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees
本研究提出一种基于提升的序列元树集成构建方法，旨在解决决策树过拟合问题，并通过实验证明其优于传统决策树集成。
2024-02-09 cs.LG stat.ML
The Max-Cut Decision Tree: Improving on the Accuracy and Running Time of Decision Trees
University of California, Berkeley（加州大学伯克利分校）
决策树是一种广泛使用的分类方法，无论是其本身还是作为多种不同集成学习方法的构建块。最大切割决策树涉及到一个标准的新的修改，分类决策树建设的基线模型，准确地说，CART基尼。一种修改涉及另一种分裂度量，最大切割，基于最大化属于不同类别和阈值的不同侧的所有观测对之间的距离。另一个修改是从使用主成分分析（PCA）在每个节点本地构造的输入特征的线性组合中选择决策特征。我们的实验表明，这种基于节点的局部PCA与新的分裂修改可以显着提高分类，同时也显着减少计算时间相比，基线决策树。此外，我们的结果是最显着的数据集进行评估时，具有更高的维度，或更多的类;其中，例如数据集CIFAR-100，使49%的准确性提高，同时减少94%的CPU时间。这些引入的修改大大提高了决策树的能力，难以分类的任务。
2020-06-25 cs.LG stat.ML
Extremely Fast Decision Tree
Monash University（莫纳什大学）
我们介绍了一种新的增量决策树学习算法，Hoeffding任意时间树，这是统计上更有效的比目前的国家的最先进的，Hoeffding树。我们证明了Hoeffding Anytime Tree的实现-“极快决策树“，对Hoeffding Tree的MOA实现的微小修改-在UCI存储库中最大的分类数据集上获得了显着优越的prequential准确性。Hoeffding Anytime Tree在极限下产生渐近批处理树，对概念漂移具有自然弹性，并且在大多数情况下可以用作Hoeffding Tree的更高精度替代品，只需少量额外的计算成本。
2018-02-24 cs.LG stat.ML
Decision Machines: Congruent Decision Trees
针对决策树缺乏参数化表示易过拟合的问题，提出Decision Machines，将布尔测试嵌入二值向量空间并以矩阵表示树结构，实现矩阵计算的交错遍历，同时探讨其与注意力机制的同构性以优化预测能力。
2024-11-16 cs.LG math.OC stat.ML
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees
Stanford University（斯坦福大学）
本文提出MAPTree算法，通过贝叶斯最大后验推断和AND/OR搜索构建决策树，在16个真实数据集上优于或媲美基线且树更小，在合成数据上更鲁棒，并能提供最优性证书。
2023-12-20 cs.AI cs.LG
On Learning and Testing Decision Tree
Technion（以色列理工学院）；Guangdong Technion Israel Institute of Technology (GTIIT)（广东以色列理工学院）
在本文中，我们研究学习和测试的决策树的大小和深度，显着小于$n$的属性数。我们的主要结果解决问题的聚$(n,1/ε)$时间算法与聚$(s,1/ε)$查询复杂性（独立的$n$），区分功能，是决策树的大小$s$从功能$ε$ -远离任何决策树的大小$ϕ(s,1/ε)$，对于一些功能$ϕ> s$。最著名的结果是最近由Blank，Lange和Tan得出的~ \cite{BlancLT20}，它给出了$ϕ(s,1/ε)=2^{O((\log^3s)/ε^3)}$。本文给出了一种实现$ϕ(s,1/ε)=2^{O(\log^2 (s/ε))}$的新算法。此外，我们还研究了深度$d$决策树的可测试性，并给出了一个{ \it distribution free}测试器，该测试器可以区分深度$d$决策树和$ε$ -far from depth $d^2$决策树.特别地，对于大小为$s$的决策树，当树深度为$O(\log(s/ε))$时，上述结果在无分布模型中成立。我们还给出了其他新的结果，学习和测试的大小- $s$决策树和深度- $d$决策树，遵循文献中的结果和一些结果，我们证明了本文。
2021-08-10 cs.DS cs.LG
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK（计算与工程学院贝德福德郡大学，卢顿，英国）
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树，建立了理性承诺阈值的完整非渐近理论，回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
FedGA-Tree: Federated Decision Tree using Genetic Algorithm
Northwestern University（西北大学）
针对联邦学习中决策树研究不足且现有方法受差分隐私限制的问题，本文提出FedGA-Tree，利用遗传算法构建支持类别型与数值型数据、分类与回归任务的个性化决策树，实验证明其优于本地训练树和基准算法。
2025-06-09 cs.LG cs.NE
Zero-Shot Decision Tree Construction via Large Language Models
University of Chile（智利大学）；National Center for Artificial Intelligence (CENIA)（国家人工智能中心（CENIA））
本文提出一种基于CART原则利用大语言模型预训练知识构建零样本决策树的新算法，无需训练数据即可执行属性离散化和Gini指数计算，在表格数据集上性能优于基线零样本方法且媲美有监督方法，为低数据机器学习提供了可解释的知识驱动新基线。
2025-01-27 cs.CL cs.LG
Gradient Boosted Decision Tree Neural Network
Netflix（奈飞）
在本文中，我们提出了一种方法来建立一个神经网络，类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后，我们放松这个网络的一些属性，如阈值和激活函数，训练一个近似等价的决策树集成。最后一个模型Hammock非常简单：一个完全连接的两层神经网络，其中输入被量化和独热编码。在大数据集和小数据集上的实验表明，这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
Decision Tree Design for Classification in Crowdsourcing Systems
Syracuse University（雪城大学）
在本文中，我们提出了一种新的顺序范式分类在众包系统。考虑到工人是不可靠的，他们执行的测试与错误，我们研究了决策树的建设，以尽量减少错误分类的概率。利用决策树各级熵与误分类概率之间的关系，提出了两种决策树设计算法。此外，工人分配问题进行了研究时，工人可以被分配到不同的测试的决策树，以提供分类成本和所产生的错误性能之间的权衡。数值结果是为了说明。
2018-05-01 cs.LG stat.ML
Efficient non-greedy optimization of decision trees
University of Toronto（多伦多大学）；Microsoft Research（微软研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
决策树和随机森林广泛应用于计算机视觉和机器学习。用于决策树归纳的标准算法根据某些分裂准则每次一个节点地优化分裂函数。这种贪婪的过程往往导致次优的树。在本文中，我们提出了一种算法，优化的分裂功能在各级的树联合叶参数，基于一个全局目标。我们发现，寻找最佳的线性组合（斜）分裂决策树的问题是与结构化预测的潜在变量，我们制定了一个凹凸上界树的经验损失。计算所提出的代理目标相对于每个训练样本的梯度的运行时间在树深度上是二次的，因此训练深度树是可行的。使用随机梯度下降进行优化可以实现对大型数据集的有效训练。在几个分类基准上的实验表明，所得到的非贪婪决策树优于贪婪决策树基线。
2015-11-12 cs.CV cs.LG
A Bayesian Decision Tree Algorithm
UBS（瑞银集团（UBS））
贝叶斯决策树以其概率可解释性而闻名。然而，它们的建造有时可能是昂贵的。在这篇文章中，我们提出了一个通用的贝叶斯决策树算法适用于回归和分类问题。该算法不应用马尔可夫链蒙特卡罗，不需要修剪步骤。虽然可以构造一个加权概率树空间，但我们发现一个特定的树，贪婪模态树（GMT），解释了数值示例中包含的大部分信息。这种方法似乎与随机森林类似。
2020-09-22 cs.LG stat.ML
Oblique Decision Trees from Derivatives of ReLU Networks
我们展示了如何神经模型可以用来实现分段常数函数，如决策树。所提出的架构，我们称之为局部常数网络，建立在分段线性的ReLU网络上，因此它们相对于输入的相关梯度是局部常数。我们正式建立了局部常数网络类和决策树类之间的等价关系。此外，我们强调了局部常数网络的几个有利特性，包括它们如何实现跨分支/叶子共享参数的决策树。实际上，只有$M$神经元才足以隐式地对具有$2^M$叶节点的倾斜决策树进行建模。神经表示还使我们能够采用为深度网络开发的许多工具（例如，DropConnect（Wan等人，2013）），同时隐式地训练决策树。我们证明，我们的方法优于替代技术训练斜决策树的分子属性分类和回归任务的背景下。
2020-05-03 cs.LG stat.ML
The Improvement of Decision Tree Construction Algorithm Based On Quantum Heuristic Algorithms
Kazan Federal University（喀山联邦大学）
这项工作涉及到量子模拟器上的决策树构造算法的实现。在这里，我们考虑一个基于二进制标准的算法。此外，我们还研究了量子启发式QAOA的改进能力。我们实现了这个算法的经典和量子版本来比较构建的树。
2022-12-28 cs.LG quant-ph
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology（代尔夫特理工大学）
针对强化学习策略可解释性难题，提出基于混合整数线性规划的OMDT方法，直接为MDP优化尺寸受限决策树以最大化期望折扣回报，发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
Bayesian Decision Trees via Tractable Priors and Probabilistic Context-Free Grammars
Stanford University（斯坦福大学）
决策树是当今最流行的机器学习模型之一，因为它们具有开箱即用的性能和可解释性。通常，决策树模型是通过启发式搜索标准（如基尼不纯或熵）以自上而下的方式构建的。然而，以这种方式构建的树对训练数据中的微小波动敏感，并且易于过拟合。相比之下，贝叶斯方法树建设制定的选择过程作为一个后验推理问题，这种方法更稳定，并提供更大的理论保证。然而，生成贝叶斯决策树通常需要从复杂的多模态后验分布中采样。目前基于马尔可夫链蒙特卡罗的贝叶斯决策树抽样方法容易出现模式坍塌和混合时间过长的问题，这使得它们不切实际。本文提出了一种新的贝叶斯决策树训练准则。我们的标准产生BCART-PCFG，它可以有效地采样决策树的后验分布的树木给定的数据，并找到最大后验（MAP）树。学习后验和训练采样器可以在数据集大小的多项式时间内完成。一旦学习了后验，就可以有效地对树进行采样（在节点数量上呈线性）。在我们的方法的核心是一个减少后采样采样的概率上下文无关文法的推导。我们发现，通过BCART-PCFG采样树执行类似或更好的贪婪构造的决策树在几个数据集上的分类精度。此外，通过BCART-PCFG采样的树要小得多-有时高达20倍。
2023-02-15 cs.AI cs.LG
Emergent and Unspecified Behaviors in Streaming Decision Trees
University of Waikato（怀卡托大学）；Monash University（莫纳什大学）
Hoeffding树是决策树学习中最先进的数据流演化方法。这些非常快速的决策树被用于许多实际应用中，其中由于其效率而实时创建数据。在这项工作中，我们摆脱解释为什么这些流决策树算法的固定和非固定流（HoeffdingTree和HoeffdingAdaptiveTree）的工作，以及他们做的。在这样做的过程中，我们确定了13个独特的未指定的设计决策的理论结构和它们的实现与预测准确性的实质性和后果性的影响-设计决策，而不一定改变算法的本质，驱动算法的性能。我们开始一个更大的对话，不仅是模型的可解释性，而且是算法成功的过程。
2020-10-16 cs.AI cs.LG
On Tackling Explanation Redundancy in Decision Trees
University of Toulouse（图卢兹大学）；Monash University（莫纳什大学）；IRIT（图卢兹信息学研究所）；CNRS（法国国家科学研究中心）
决策树是机器学习模型可解释性的理想体现。决策树的可解释性通过所谓的内在可解释性激发了可解释性方法，并且它是最近在高风险应用中应用可解释ML模型的建议的核心。对DT可解释性的信念是合理的，因为DT预测的解释通常被期望是简洁的。事实上，在DT的情况下，解释对应于DT路径。由于决策树在理想情况下是浅的，因此路径包含的特征比特征总数少得多，DT中的解释应该是简洁的，因此是可解释的。本文从理论和实验两方面论证了只要决策树的可解释性等同于解释的简洁性，那么决策树就不应该被认为是可解释的。本文引入了逻辑上严格的路径解释和路径解释冗余，证明了存在决策树必须显示具有任意大解释冗余的路径的函数。本文还证明了，只有一个非常有限的功能类可以表示与DT表现出没有解释冗余。此外，本文包括实验结果证实，路径解释冗余观察无处不在的决策树，包括使用不同的树学习算法，但也在广泛的公开可用的决策树。本文还提出了多项式时间算法消除路径解释冗余，这在实践中需要微不足道的时间来计算。因此，这些算法用于间接地获得不可约的，因此简洁的，决策树的解释。
2022-09-30 cs.AI cs.LG
Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
University of Pisa（比萨大学）；ISTI-CNR
该研究提出基于TTVAE的TREVIS方法，将决策树映射至潜在空间实现梯度优化，所获决策树兼具与近优算法相当的预测性能及更优结构稀疏性。
2026-09-02 cs.AI cs.LG
Dive into Decision Trees and Forests: A Theoretical Demonstration
基于决策树，近年来许多领域都取得了巨大的进展。简单地说，决策树使用“分而治之”的策略将输入特征与标签之间的依赖关系这一复杂问题分解为较小的问题。虽然决策树有很长的历史，但最近的进展大大提高了它们在计算广告、推荐系统、信息检索等方面的性能。贝叶斯CART，贝叶斯回归样条）和训练技术（例如，混合整数规划、交替优化、梯度下降）。一路上，我们强调基于树的模型的概率特性，并解释其实际和理论上的好处。除了机器学习和数据采掘之外，本文还试图从统计学和运筹学等其他领域展示树型模型的理论进展。我们在每个方法的末尾列出了可重复的资源。
2021-01-20 cs.LG stat.ML
Distributed Decision Trees
Cornell University（康奈尔大学）；Boğaziçi University（海峡大学）
最近提出的萌芽树是一种决策树算法，其中每个节点是部分内部节点和部分叶子。这允许在连续参数空间中表示每个决策树，因此萌芽树可以与反向传播联合训练，就像神经网络一样。尽管这种连续性允许它用于分层表示学习，但学习的表示是局部的：激活在树中的所有根到叶路径中进行软选择。在这项工作中，我们扩展了萌芽树，并提出了分布式树的孩子使用不同的和独立的分裂，因此在一棵树中的多条路径可以在同一时间遍历。这种组合多个路径的能力提供了分布式表示的能力，就像传统的感知器层一样。我们发现，分布式树的分类和回归任务的表现比萌芽和传统的硬树。
2014-12-19 cs.LG stat.ML
Fast Sparse Decision Tree Optimization via Reference Ensembles
University of British Columbia（不列颠哥伦比亚大学）；Duke University（杜克大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
稀疏决策树优化自诞生以来一直是人工智能中最基本的问题之一，也是可解释机器学习的核心挑战。稀疏决策树优化在计算上是困难的，并且尽管自20世纪60年代以来一直在努力，但仅在过去几年中才在该问题上取得突破，主要是在寻找最佳稀疏决策树的问题上。然而，当前最先进的算法通常需要不切实际的计算时间和内存量来为一些真实世界的数据集找到最优或接近最优的树，特别是那些具有多个连续值特征的数据集。考虑到这些决策树优化问题的搜索空间是巨大的，我们实际上能希望找到一棵稀疏的决策树，在准确性上与黑盒机器学习模型竞争吗？我们解决这个问题，通过智能猜测策略，可以适用于任何最佳的分支和边界为基础的决策树算法。我们表明，通过使用这些猜测，我们可以减少多个数量级的运行时间，同时提供边界上产生的树可以偏离黑盒的准确性和表达能力。我们的方法使猜测如何箱连续的功能，树的大小，以及最佳决策树的错误的下限。我们的实验表明，在许多情况下，我们可以快速构建稀疏的决策树匹配的黑盒模型的准确性。总结一下：当你在优化时遇到困难，就猜猜看。
2022-07-06 cs.AI cs.LG
Extracting Interpretable Concept-Based Decision Trees from CNNs
University of Southern California（南加州大学）
为了更深入地了解卷积神经网络（CNN）如何对人类可理解的概念进行推理，我们提出了一种从隐藏层激活中推断标记概念数据并通过浅层决策树解释概念的方法。决策树可以提供关于模型认为哪些概念重要的信息，以及提供对概念如何彼此交互的理解。实验表明，所提取的决策树能够准确地表示原始CNN的分类在低树深度，从而鼓励人类在回路中的歧视性概念的理解。
2019-06-16 cs.LG stat.ML
Improved Information Gain Estimates for Decision Tree Induction
Microsoft Research Cambridge（微软研究院剑桥分部）
分类树和回归树的集合仍然是流行的机器学习方法，因为它们定义了灵活的非参数模型，这些模型在训练和测试期间预测良好，并且计算效率高。在决策树的归纳过程中，我们的目标是找到关于预测目标的最大信息的谓词。为了选择好的谓词，大多数方法估计信息理论的评分函数，信息增益，分类和回归问题。我们指出，共同的估计程序是有偏见的，并表明，通过取代它们与改进的离散和微分熵的估计，我们可以得到更好的决策树。实际上，我们的修改产生了改进的预测性能，并且易于在任何决策树代码中实现。
2012-06-18 cs.LG stat.ML
Automatic Induction of Neural Network Decision Tree Algorithms
Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）
本文提出了一种基于神经网络结构的非贪婪决策树的自动归纳方法。这种构造可以用于在增长或修剪决策树时转移权重，允许非贪婪决策树算法自动学习和适应理想架构。在这项工作中，我们研究了集成建模和贝叶斯模型平均的基础思想，使我们的神经网络通过权重转移渐近接近理想的体系结构。实验结果表明，该方法提高了决策树模型和决策森林模型在固定的超参数集的模型。
2019-04-25 cs.LG stat.ML
