Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
University of Pisa（比萨大学）；ISTI-CNR
该研究提出基于TTVAE的TREVIS方法，将决策树映射至潜在空间实现梯度优化，所获决策树兼具与近优算法相当的预测性能及更优结构稀疏性。
2026-09-02 cs.AI cs.LG
Fast Sparse Decision Tree Optimization via Reference Ensembles
University of British Columbia（不列颠哥伦比亚大学）；Duke University（杜克大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
稀疏决策树优化自诞生以来一直是人工智能中最基本的问题之一，也是可解释机器学习的核心挑战。稀疏决策树优化在计算上是困难的，并且尽管自20世纪60年代以来一直在努力，但仅在过去几年中才在该问题上取得突破，主要是在寻找最佳稀疏决策树的问题上。然而，当前最先进的算法通常需要不切实际的计算时间和内存量来为一些真实世界的数据集找到最优或接近最优的树，特别是那些具有多个连续值特征的数据集。考虑到这些决策树优化问题的搜索空间是巨大的，我们实际上能希望找到一棵稀疏的决策树，在准确性上与黑盒机器学习模型竞争吗？我们解决这个问题，通过智能猜测策略，可以适用于任何最佳的分支和边界为基础的决策树算法。我们表明，通过使用这些猜测，我们可以减少多个数量级的运行时间，同时提供边界上产生的树可以偏离黑盒的准确性和表达能力。我们的方法使猜测如何箱连续的功能，树的大小，以及最佳决策树的错误的下限。我们的实验表明，在许多情况下，我们可以快速构建稀疏的决策树匹配的黑盒模型的准确性。总结一下：当你在优化时遇到困难，就猜猜看。
2022-07-06 cs.AI cs.LG
A Rectification-Based Approach for Distilling Boosted Trees into Decision Trees
Univ. Artois（阿诺学校）；CNRS（国家科学研究中心）；CRIL（认知与语言研究所）；Institut Universitaire de France（法国国家科学院）
本研究提出一种基于校正的提升树到决策树的蒸馏方法，以在预测性能与可解释性间取得可接受折中，实验显示其效果优于重训练式蒸馏方法。
2025-10-21 cs.AI cs.LG
An Interpretable Client Decision Tree Aggregation process for Federated Learning
University of Granada（格拉纳达大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）
针对联邦学习中决策树难以聚合且易损失可解释性与精度的问题，提出一种聚合多决策路径的客户端决策树流程，适用于 ID3 和 CART，并在四个数据集上验证其优于局部模型和现有方法。
2024-04-03 cs.AI cs.LG
Interpretable Decision Trees Through MaxSAT
Universitat de Lleida（莱里达大学）
我们提出了一种方法来提高机器学习（ML）决策树（DT）的准确性和可解释性的权衡。特别是，我们应用最大可满足性技术来计算最小纯DT（MPDT）。我们改进了以前方法的运行时间，并表明这些MPDT可以优于使用ML框架sklearn生成的DT的准确性。
2022-07-14 cs.AI cs.LG
RL-LLM-DT: An Automatic Decision Tree Generation Method Based on RL Evaluation and LLM Enhancement
提出RL-LLM-DT方法，结合强化学习评估与大型语言模型增强，自动迭代改进决策树，在冰壶游戏中取得排名第一的成绩，实现游戏AI策略的自动化优化。
2024-12-17 cs.AI cs.LG
SPOT: Scalable Policy Optimization with Trees for Markov Decision Processes
Shanghai Jiao Tong University（上海交通大学）；University of South Florida（佛罗里达州立大学）
针对马尔可夫决策过程中决策树策略优化难的问题，提出将优化建模为混合整数线性规划、用约简空间分支定界解耦动力学与树约束的SPOT方法，实现了可解释性与可扩展性兼具的高质量策略，速度比现有方法快一个数量级。
2025-10-22 cs.AI cs.LG
Global Evaluation for Decision Tree Learning
Boston University（波士顿大学）；University of Konstanz（康斯坦茨大学）
我们将聚类上的距离转移到决策树的构建过程中，并因此扩展了经典的ID 3算法，以根据树到地面真实值的全局距离进行修改-而不是考虑单个叶子。接下来，我们将评估这个想法与原始版本的比较，并讨论出现的问题，以及全局方法的优势。在此基础上，我们通过确定其他情况下，全球评估是值得的。
2022-08-09 cs.AI cs.LG
Tree in Tree: from Decision Trees to Decision Graphs
EPFL（洛桑联邦理工学院）；Cornell University（康奈尔大学）
决策树由于其轻量级和可解释的决策过程而被广泛用作许多机器学习应用中的分类器。本文介绍了树中树决策图（TnT），一个框架，扩展了传统的决策树更一般和强大的有向无环图。TnT通过在内部或叶节点内递归地生长决策树来构建决策图，而不是贪婪训练。TnT的时间复杂度与图中的节点数呈线性关系，可以在大数据集上构造决策图。与决策树相比，我们表明，TnT实现了更好的分类性能，减少了模型大小，无论是作为一个独立的分类器，并作为一个基本的估计装袋/AdaBoost集成。我们提出的模型是一种新的，更有效的，和准确的替代广泛使用的决策树。
2021-10-29 cs.LG
Adaptive Multi-Branching for Shallow Decision Tree Induction
Pusan National University（釜山大学）
提出带自适应剪枝的多分岔神经决策树（MBNDT），在21个OpenML二分类基准的受深度约束单树中获最佳平均排名与平衡准确率，多分支分裂是性能提升关键。
2026-09-01 cs.AI cs.LG
A Novel Hyperparameter-free Approach to Decision Tree Construction that Avoids Overfitting by Design
IMDEA Networks Institute（IMDEA网络研究所）
决策树是一种非常流行的机器学习技术。不幸的是，过拟合在决策树仍然是一个开放的问题，有时会阻止实现良好的性能。在这项工作中，我们提出了一种新的方法来构建决策树，避免过度拟合的设计，而不会失去准确性。我们的算法的一个显着特点是，它既不需要优化任何超参数，也不使用正则化技术，从而显着减少了决策树的训练时间。此外，我们的算法产生更小，更浅的树比传统算法，促进所产生的模型的可解释性。
2019-06-04 cs.AI cs.LG stat.ML
"Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models
University of Applied Sciences Berlin（柏林应用科学大学）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）；University of Birmingham（伯明翰大学）
本研究提出利用大语言模型零样本生成可解释决策树，无需训练数据，在小型表格数据集上性能可超越数据驱动树，并可作为低数据场景下的知识驱动基线。
2025-05-27 cs.AI cs.CL cs.LG
Learning a Decision Tree Algorithm with Transformers
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文提出基于Transformer的模型MetaTree，通过元学习直接生成决策树，使其能自适应模拟贪心和全局优化算法，从而解决传统局部划分难以实现全局泛化的问题，显著提升泛化性能。
2024-08-23 cs.AI cs.CL cs.LG
Soft Decision Tree classifier: explainable and extendable PyTorch implementation
KI Research Institute（KI研究所）
本文提出了一种可解释且可扩展的软决策树分类器，通过PyTorch实现，并在模拟和临床数据集上验证了其性能，与XGBoost和随机森林相比表现出相似的分类效果。
2025-12-03 cs.AI cs.CV cs.LG
Collapsing the Decision Tree: the Concurrent Data Predictor
通过消除属性顺序求值的限制，从决策树分类器中导出了一类并发数据预测器。通过并发地评估属性，决策树折叠成扁平结构。实验结果表明，该方法提高了预测精度。
2021-08-09 cs.LG
An Algorithmic Framework for Constructing Multiple Decision Trees by Evaluating Their Combination Performance Throughout the Construction Process
提出一种同时构造并全程评估组合性能的决策树构建框架，通过迭代候选生成与择优，优于传统装袋和提升方法。
2024-02-09 cs.LG
CART-ELC: Oblique Decision Tree Induction via Exhaustive Search
University of Wisconsin-Superior（威斯康星大学-优胜者）
本文提出CART-ELC算法，通过在受限超平面集合上穷举搜索归纳斜决策树，在小数据集上取得统计显著的分类准确率提升，并生成更浅、更简单、更可解释的树。
2025-05-08 cs.AI cs.DS cs.LG
GPTree: Towards Explainable Decision-Making via LLM-powered Decision Trees
University of Oxford（牛津大学）；Vela Research（维拉研究院）
提出GPTree框架，结合决策树可解释性与LLM推理能力，通过动态样本划分和专家在环反馈机制，在识别独角兽初创企业任务中精确率达7.8%，超越gpt-4o和人类决策者。
2024-11-13 cs.AI cs.CE cs.LG
Interfering Paths in Decision Trees: A Note on Deodata Predictors
提出了一种提高决策树预测精度的技术。它包括在多个路径上并行评估树的分支。该技术使预测与deodata算法的最近邻域变体生成的预测更加一致。该技术还使杂交的决策树算法与最近的邻域变量。
2022-02-24 cs.LG
Unifying Decision Trees Split Criteria Using Tsallis Entropy
Tsinghua University（清华大学）
由于决策树的简单性和灵活性，构造高效的决策树仍然是机器学习中的一个关键课题。人们提出了许多启发式算法来构造近似最优决策树。ID3、C4.5和CART是经典的决策树算法，它们分别采用了Shannon熵、增益比和Gini指数作为分割准则。所有的分裂准则看起来是独立的，实际上，它们可以统一在一个Tsallis熵框架中。Tsallis熵是Shannon熵的一种推广，通过引入可调参数$q$，为提高决策树的性能提供了一种新的途径。提出了一种Tsallis熵准则（TEC）算法，将Shannon熵、增益比和Gini指数统一起来，推广了决策树的分裂准则。更重要的是，我们揭示了不同$q$的Tsallis熵与其他分裂准则之间的关系。UCI数据集上的实验结果表明，TEC算法取得了统计上显着的改善，比经典算法。
2016-08-23 cs.AI cs.LG stat.ML
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对强化学习中神经网络策略缺乏可解释性的问题，提出决策树策略优化（DTPO）算法，利用策略梯度直接优化完整决策树，实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Backtrack Tie-Breaking for Decision Trees: A Note on Deodata Predictors
提出了一种在决策树中选择预测类或结果的平局打破方法。该方法是用于deodata预测器的类似技术的适应。
2022-02-09 cs.LG
QUBO Decision Tree: Annealing Machine Extends Decision Tree Splitting
Hitachi Ltd.（日立有限公司）
本文提出了一种基于二次无约束二元优化（QUBO）的回归树扩展方法。回归树是非常流行的预测模型，可以用表格数据集进行训练，但由于决策规则过于简单，因此其准确性不足。该方法将决策树中的决策规则扩展到多维边界。由于计算限制，这种扩展通常无法实现，然而，所提出的方法将训练过程转换为QUBO，这使得退火机能够解决这个问题。
2023-03-17 cs.LG physics.data-an
A Theory of Probabilistic Boosting, Decision Trees and Matryoshki
我们提出了一个提升概率分类器的理论。我们把自己的用户只提供一个停止参数和一个概率弱学习器/分类器的情况下，并比较三种类型的提升算法：概率Adaboost，决策树，树的树。我们称之为俄罗斯套娃“嵌套树”、“嵌入树”和“递归树”也是该算法的恰当名称，这是我们的贡献之一。我们的另一个贡献是算法的理论分析，其中我们给出了训练误差界。这一分析表明，俄罗斯套娃利用概率弱分类器比简单的决策树更有效。
2006-07-25 cs.LG
dtControl: Decision Tree Learning Algorithms for Controller Representation
Technical University of Munich（慕尼黑工业大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Ludwig Maximilian University of Munich（慕尼黑大学）
决策树学习是机器学习应用中最常用的流行分类技术。最近的工作表明，决策树可以用来表示证明正确的控制器简洁。与使用查找表或二元决策图的表示相比，决策树更小，更易于解释。我们提出dtControl，一个易于扩展的工具，用于表示无记忆控制器作为决策树。我们给出了一个综合评价的各种决策树学习算法适用于10个案例研究所产生的正确的建设控制器合成。这些算法包括两个新的技术，一个是使用任意线性二进制分类器的决策树学习，和一个新的方法来确定控制器在决策树建设。特别是后者被证明是非常有效的，产生决策树与一位数的决策节点的5个案例研究。
2020-02-12 cs.AI cs.LG cs.SY
Batched Lazy Decision Trees
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）
我们介绍了一个批处理懒惰算法的监督分类使用决策树。它避免了不必要的访问不相关的节点时，它是用来进行预测，无论是热切或懒惰训练决策树。实验结果表明，该算法在计算时间和内存消耗方面均优于传统的和惰性的决策树算法，且不影响算法的准确性.
2016-03-08 cs.LG
Multiple decision trees
University of Sydney（悉尼大学）
本文介绍了实验，在两个领域，调查的影响，平均多个决策树的预测，而不是使用一个单一的树。其他作者指出了倾向于多树方法的理论和常识原因。理想情况下，我们会考虑所有树的预测，并根据它们的概率进行加权。然而，存在大量不同的树，很难估计每棵树的概率。我们避开了估计问题，使用修改版本的ID 3算法来构建良好的树，并平均只在这些树。我们的成果令人鼓舞。对于每个域，我们设法产生少量的好树。我们发现，最好是在具有不同结构的树的集合之间取平均值;这通常比任何组成树（包括ID 3树）提供更好的性能。
2013-03-27 cs.AI cs.LG stat.ML
Yet Another Representation of Binary Decision Trees: A Mathematical Demonstration
本文提出一种基于位向量矩阵的决策树数值表示，将逻辑与运算转为算术运算，实现遍历，并统一扩展多种决策树。
2024-11-06 cs.LG
Exploring Loss Design Techniques For Decision Tree Robustness To Label Noise
Auton Lab, Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所Auton实验室）
本研究探讨深度学习损失设计思想能否提升决策树对标签噪声的鲁棒性，发现标准方法无效，需探索新方向。
2024-05-27 cs.AI cs.LG stat.ML
Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
School of Computation, Information and Technology, Technical University of Munich, Germany（慕尼黑技术大学计算、信息与技术学院，德国）；Munich center for machine learning (MCML)（慕尼黑机器学习中心（MCML））
本文通过建立层次决策树与扩散过程之间的数学对应关系，统一了决策树和扩散模型，揭示了共同的优化原则'全局轨迹得分匹配'，并提出了两种实用应用：treeflow在表格数据生成中表现优异，且计算速度更快；dsmtree将层次决策逻辑转移到神经网络中，在多个基准上与教师模型表现相近。
2026-05-21 cond-mat.stat-mech cs.AI cs.LG
Proper decision trees: An axiomatic framework for solving optimal decision tree problems with arbitrary splitting rules
Peking University（北京大学）；University of Birmingham（伯明翰大学）
本文提出公理化框架分析决策树算法，聚焦Proper决策树，证明其可唯一刻画为K-排列，并开发通用动态规划方法精确求解最优决策树问题，同时澄清记忆化空间复杂度的矛盾，并扩展至多种非Proper决策树。
2025-10-23 cs.DS cs.LG
A short note on the decision tree based neural turing machine
grusoft（格鲁软件）
图灵机和决策树独立发展了很长时间。近年来随着可微模型的发展，它们之间出现了交叉。神经图灵机（NTM）为记忆网络打开了大门。它采用微分注意力机制来读写外部存储体。可微森林给经典决策树带来了可微的性质。在这个简短的说明中，我们展示了这两个模型之间的深层联系。即：可微森林是NTM的一个特例。可区分森林实际上是基于决策树的神经图灵机。基于这种深层联系，我们提出了一个响应增强差分森林（RaDF）。RaDF的控制器是可微森林，外部存储器是响应向量，可由叶子节点读写。
2020-10-27 cs.AI cs.LG cs.NE
Divide, Conquer, Combine Bayesian Decision Tree Sampling
本文提出DCC-Tree方法，通过将每个树结构与唯一决策参数关联，解决了贝叶斯决策树采样中结构与参数耦合难题，提升了采样效率与一致性。
2024-03-26 cs.LG
Enhance Learning Efficiency of Oblique Decision Tree via Feature Concatenation
College of Computer Science and Software Engineering, Hohai University（河海大学计算机与软件学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence and Information Technology, Nanjing University of Chinese Medicine（南京中医药大学人工智能与信息技术学院）
提出FC-ODT方法，通过特征拼接实现模型内特征转换以传递线性投影，解决了斜决策树参数浪费问题，在有限树深度下泛化性能优于现有决策树。
2025-02-01 cs.AI cs.LG stat.ML
Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees
本研究提出一种基于提升的序列元树集成构建方法，旨在解决决策树过拟合问题，并通过实验证明其优于传统决策树集成。
2024-02-09 cs.LG stat.ML
Genetic Adversarial Training of Decision Trees
University of Padova（帕多瓦大学）
我们提出了一种新的学习方法集成的决策树的遗传算法的基础上，它是能够训练的决策树，以最大限度地提高其准确性和鲁棒性对抗扰动。这种学习算法内部利用了一个完整的形式化验证技术的鲁棒性的决策树的基础上抽象的解释，一个众所周知的静态程序分析技术。我们在一个名为Meta-Silencer（MS）的工具中实现了这种遗传对抗训练算法，并在对抗训练中使用的一些参考数据集上进行了实验评估。实验结果表明，MS是能够训练强大的模型，竞争，并经常改善目前的最先进的对抗训练的决策树，而更紧凑，因此可解释和有效的树模型。
2020-12-21 cs.LG
Decision Machines: Congruent Decision Trees
针对决策树缺乏参数化表示易过拟合的问题，提出Decision Machines，将布尔测试嵌入二值向量空间并以矩阵表示树结构，实现矩阵计算的交错遍历，同时探讨其与注意力机制的同构性以优化预测能力。
2024-11-16 cs.LG math.OC stat.ML
Conservative Q-Improvement: Reinforcement Learning for an Interpretable Decision-Tree Policy
Carnegie Mellon University（卡内基梅隆大学）；University of South Carolina（南卡罗来纳大学）
在强化学习（以及一般的机器学习）领域，人们越来越希望从黑箱模型转向更“可解释的人工智能”。“我们通过提高通过强化学习学习的决策树策略的效用来提高强化学习的可解释性。这些策略由状态空间上的决策树组成，与传统的策略表示相比，它需要更少的参数来表示。用于经由强化学习创建决策树策略的现有方法集中于在训练期间准确地表示动作-价值函数，但是这导致比否则所需的树大得多的树。为了解决这一缺点，我们提出了一种新的算法，只有当估计的整体政策的折扣未来奖励将增加足够的金额时，才增加树的大小。通过在模拟环境中的评估，我们表明，它的性能相当或优于传统的基于树的方法，它产生一个更简洁的政策。此外，我们还讨论了调整参数，以控制优化较小的树大小或整体奖励之间的权衡。
2019-07-02 cs.AI cs.LG cs.RO
A Reinforcement Learning Approach to Online Learning of Decision Trees
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
在线决策树学习算法通常检查新数据点的所有特征以更新模型参数。我们提出了一种新的替代方案，基于强化学习的决策树（RLDT），它使用强化学习（RL）主动检查数据点的最小数量的特征，以高精度对其进行分类。此外，RLDT优化了长期回报，提供了一个更好的替代传统的短视贪婪的方法来增长决策树。我们证明，这种方法执行以及批处理学习算法和其他在线决策树学习算法，同时使显着更少的查询的数据点的功能。我们还表明，RLDT可以有效地处理概念漂移。
2015-07-24 cs.LG
Simple is better: Making Decision Trees faster using random sampling
AI Labs, American Express（美国运通AI实验室）
近年来，梯度提升的决策树在大数据上构建鲁棒的机器学习模型中变得流行。使这些算法成功的主要技术是在构建决策树的同时分布计算。分布式决策树的构建，反过来，已经通过构建大数据集的分位数和从这些分位数集中选择候选分裂点来实现。例如，在XGBoost中，采用复杂的分位数构建算法来识别决策树的候选分裂点。当计算是分布式的时，这种方法通常会产生更好的结果。在本文中，我们消除的概念，这些方法提供了更准确和可扩展的方法，以分布式的方式建立决策树。在一个显着的贡献，我们从理论上和经验表明，随机选择均匀的分裂点提供了相同的，甚至更好的性能方面的准确性和计算效率。因此，与更复杂的方法相比，点的简单随机选择足以用于决策树构建。
2021-08-19 cs.LG
Geometric Decision Tree
本文提出了一种学习斜决策树的新算法。目前的大多数决策树算法依赖于杂质措施，以评估在每个节点的超平面的优良性，同时学习决策树在自顶向下的方式。这些杂质测量不能正确地捕获数据中的几何结构。受此启发，我们的算法使用一种策略来评估超平面，以这样一种方式，即考虑到数据中的几何结构。在决策树的每个节点上，我们找到两个类的聚类超平面，并在该节点上使用它们的角平分线作为分割规则。我们通过实证研究表明，这种想法导致小决策树和更好的性能。我们还提出了一些分析表明，角平分线的聚类超平面，我们使用的分裂规则在每个节点上，是一个有趣的优化问题的解决方案，因此认为这是一个原则性的学习方法的决策树。
2012-10-13 cs.LG
CDT: Cascading Decision Trees for Explainable Reinforcement Learning
Borealis AI（极光人工智能研究院）
深度强化学习（Deep Reinforcement Learning，DRL）最近在各个领域取得了重大进展。然而，由于几个因素，解释RL代理的策略仍然是一个悬而未决的问题，其中之一是解释神经网络决策的复杂性。最近，一组作品已经使用基于决策树的模型来学习可解释的策略。软决策树（SDTs）和离散可微决策树（DDTs）已被证明可以实现良好的性能，并分享具有可解释的政策的好处。在这项工作中，我们进一步提高了基于树的可解释强化学习的性能和可解释性的结果。我们的建议，级联决策树（CDTs）的决策路径上应用表示学习，以允许更丰富的表达。实证结果表明，在这两种情况下，当CDTs被用作政策函数逼近器或模仿学习器来解释黑箱政策，CDTs可以实现更好的性能与更简洁和可解释的模型比SDTs。作为第二个贡献，我们的研究揭示了通过基于树的可解释模型的模仿学习来解释黑盒策略的局限性，这是由于其固有的不稳定性。
2021-03-30 cs.LG
Decision Stream: Cultivating Deep Decision Trees
Russian Research Center of Huawei Technologies（华为技术俄罗斯研究中心）；ETH Zurich（苏黎世联邦理工学院）
决策树的各种修改由于其高效率和可解释性在过去的几年中得到了广泛的应用。基于相关特征选择的决策树节点划分是决策树学习的关键步骤，同时也是其主要缺点：递归节点划分导致叶节点数据量几何减少，导致模型复杂度过高和数据过拟合。在本文中，我们提出了一种新的架构-决策流，-旨在克服这个问题。在学习过程中，我们提出了合并节点从不同的分支，而不是建立一个树结构的基础上，他们的相似性，估计与两个样本的测试统计，这导致生成的决策规则，可以包括数百个级别的深度有向无环图。为了评估所提出的解决方案，我们在几个常见的机器学习问题上进行了测试-信用评分，twitter情感分析，飞机飞行控制，MNIST和CIFAR图像分类，合成数据分类和回归。我们的实验结果表明，所提出的方法在回归和分类任务上都显着优于标准的决策树学习方法，预测误差降低高达35%。
2017-09-03 cs.LG
The Max-Cut Decision Tree: Improving on the Accuracy and Running Time of Decision Trees
University of California, Berkeley（加州大学伯克利分校）
决策树是一种广泛使用的分类方法，无论是其本身还是作为多种不同集成学习方法的构建块。最大切割决策树涉及到一个标准的新的修改，分类决策树建设的基线模型，准确地说，CART基尼。一种修改涉及另一种分裂度量，最大切割，基于最大化属于不同类别和阈值的不同侧的所有观测对之间的距离。另一个修改是从使用主成分分析（PCA）在每个节点本地构造的输入特征的线性组合中选择决策特征。我们的实验表明，这种基于节点的局部PCA与新的分裂修改可以显着提高分类，同时也显着减少计算时间相比，基线决策树。此外，我们的结果是最显着的数据集进行评估时，具有更高的维度，或更多的类;其中，例如数据集CIFAR-100，使49%的准确性提高，同时减少94%的CPU时间。这些引入的修改大大提高了决策树的能力，难以分类的任务。
2020-06-25 cs.LG stat.ML
Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
University of Mannheim（曼海姆大学）；Boehringer Ingelheim（勃林格殷格翰）
本文提出 ReMeDe Trees，一种带内部记忆机制的循环决策树架构，通过梯度下降学习硬性轴对齐决策规则，以解决传统决策树难以直接捕获序列数据中长期依赖的问题，并在合成基准上验证了其有效性。
2025-02-06 cs.LG
Efficient algorithms for decision tree cross-validation
交叉验证是机器学习中经常采用的有用且普遍适用的技术，包括决策树归纳。直接实现该技术的一个重要缺点是其计算开销。在本文中，我们表明，对于决策树，交叉验证的计算开销可以显着降低集成的交叉验证与正常的决策树归纳过程。我们将讨论如何现有的决策树算法可以适应这一目标，并提供这些适应可能产生的加速比的分析。实验结果支持了分析。
2001-10-17 cs.LG
Leveraging Predictive Equivalence in Decision Trees
Duke University（杜克大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出一种无预测等价性的决策树布尔逻辑表示，忠实于决策边界，用于改善模型选择、鲁棒性分析、变量重要性量化及预测成本优化。
2025-10-13 cs.LG
Decision Concept Lattice vs. Decision Trees and Random Forests
National Research University Higher School of Economics（国立研究型高等经济学院）
决策树及其集成是有监督机器学习中非常流行的模型。在本文中，我们合并的思想潜在的决策树，他们的合奏和FCA提出了一个新的监督机器学习模型，可以在多项式时间，适用于分类和回归问题。具体来说，我们首先提出了一个多项式时间的算法来构建的概念格的一部分，是基于决策树。其次，我们描述了一种基于概念格的预测方案，用于解决分类和回归任务，其预测质量可与最先进的模型相媲美。
2021-06-01 cs.LG
Improving Stability in Decision Tree Models
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）
本文针对决策树模型的不稳定性问题，提出新的距离度量与稳定训练方法，在医疗保健案例中实现以4.6%的预测能力下降换取38%的稳定性提升。
2023-05-26 cs.AI cs.LG math.OC
Extremely Fast Decision Tree
Monash University（莫纳什大学）
我们介绍了一种新的增量决策树学习算法，Hoeffding任意时间树，这是统计上更有效的比目前的国家的最先进的，Hoeffding树。我们证明了Hoeffding Anytime Tree的实现-“极快决策树“，对Hoeffding Tree的MOA实现的微小修改-在UCI存储库中最大的分类数据集上获得了显着优越的prequential准确性。Hoeffding Anytime Tree在极限下产生渐近批处理树，对概念漂移具有自然弹性，并且在大多数情况下可以用作Hoeffding Tree的更高精度替代品，只需少量额外的计算成本。
2018-02-24 cs.LG stat.ML
Extracting useful rules through improved decision tree induction using information entropy
分类是数据采掘领域中广泛使用的一种技术，而可扩展性和效率是大型数据库分类算法中亟待解决的问题。我们建议改进现有的C4.5决策树算法。本文将面向属性的归纳（AOI）和相关性分析与概念层次知识和HeightBalancePriority算法相结合，构造决策树并进行多层次挖掘。属性优先级的分配是通过评估不同抽象级别的信息熵来完成的，以便使用HeightBalancePriority算法构建决策树。使用改进的DMQL查询来理解和探索C4. 5分类器生成的决策树在教育数据集上的不足，并将结果与所提出的方法进行比较。
2013-02-11 cs.LG
Fairness-guided SMT-based Rectification of Decision Trees and Random Forests
National University of Singapore（新加坡国立大学）；University of British Columbia（不列颠哥伦比亚大学）；University College London（伦敦大学学院）
随着各种机器学习模型的流行，数据驱动的决策制定越来越突出。不幸的是，机器学习训练中使用的真实数据可能会捕捉到人类的偏见，因此学习的模型可能会导致不公平的决策。在本文中，我们提供了一个解决这个问题的决策树和随机森林。我们的方法将任何决策树或随机森林转换成一个公平的一个关于一个特定的数据集，公平性标准，和敏感属性。基于我们的方法构建的\emph{FairRepair}工具受到传统程序的自动程序修复技术的启发。它使用SMT求解器来决定决策树中的哪些路径可以翻转其结果，以提高模型的公平性。我们在加州大学欧文分校著名的成人数据集上的实验表明，FairRepair可以扩展到现实的决策树和随机森林。此外，FairRepair还提供了关于查找修复的可靠性和完整性的正式保证。由于我们的公平指导修复技术修复从给定的（不公平的）数据集获得的决策树和随机森林，它可以帮助识别和纠正组织决策中的偏见。
2020-11-22 cs.LG
Mixture of Decision Trees for Interpretable Machine Learning
University of Münster（明斯特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；Dresden University of Technology（德累斯顿工业大学）；University of Stuttgart（斯图加特大学）
本文介绍了一种新的可解释的机器学习方法--混合决策树（MoDT）。它构成了混合专家模型集成体系结构的一个特殊情况，它利用线性模型作为门函数和决策树作为专家。我们提出的方法是理想的适合于问题，不能令人满意地学习由一个单一的决策树，但可以分为子问题。每个子问题都可以从单个决策树中很好地学习。因此，MoDT可以被认为是一种提高性能的方法，同时通过使每个决策都可以被人类理解和追踪来保持可解释性。我们的工作是伴随着一个Python的实现，它使用了一个可解释的门控功能，一个快速的学习算法，和一个直接的接口微调可解释的可视化方法。实验证实，实施工作，更重要的是，显示我们的方法相比，单一的决策树和随机森林类似的复杂性的优越性。
2022-11-26 cs.LG
On Learning and Testing Decision Tree
Technion（以色列理工学院）；Guangdong Technion Israel Institute of Technology (GTIIT)（广东以色列理工学院）
在本文中，我们研究学习和测试的决策树的大小和深度，显着小于$n$的属性数。我们的主要结果解决问题的聚$(n,1/ε)$时间算法与聚$(s,1/ε)$查询复杂性（独立的$n$），区分功能，是决策树的大小$s$从功能$ε$ -远离任何决策树的大小$ϕ(s,1/ε)$，对于一些功能$ϕ> s$。最著名的结果是最近由Blank，Lange和Tan得出的~ \cite{BlancLT20}，它给出了$ϕ(s,1/ε)=2^{O((\log^3s)/ε^3)}$。本文给出了一种实现$ϕ(s,1/ε)=2^{O(\log^2 (s/ε))}$的新算法。此外，我们还研究了深度$d$决策树的可测试性，并给出了一个{ \it distribution free}测试器，该测试器可以区分深度$d$决策树和$ε$ -far from depth $d^2$决策树.特别地，对于大小为$s$的决策树，当树深度为$O(\log(s/ε))$时，上述结果在无分布模型中成立。我们还给出了其他新的结果，学习和测试的大小- $s$决策树和深度- $d$决策树，遵循文献中的结果和一些结果，我们证明了本文。
2021-08-10 cs.DS cs.LG
