Fuzzy Knowledge Representation Based on Possibilistic and Necessary Bayesian Networks
在本文提出的框架内，我们解决的问题，扩展某些网络的模糊某些网络，以应付现有模型的不精确和不确定的知识下的决策的复杂性和局限性。本文提出了一个框架，结合两个学科发挥各自的优势，在不确定和不精确的知识表示问题。该框架是一个基于可能性逻辑的框架，其中贝叶斯节点及其属性由局部必要值知识库表示。属性中的数据被解释为一组赋值公式。在我们的贡献可能性贝叶斯网络有一个定性的部分和定量的一部分，代表当地的知识库。总体思路是研究如何融合这两种形式主义将允许表示紧凑的方式来有效地解决问题的知识表示。我们展示了如何将可能性和必要性度量应用于大规模数据的知识表示问题。另一方面，将明确的确定性程度模糊化为模糊变量，提高了网络的质量，并往往带来网络性能的平滑性和鲁棒性。总体目标是提供一种新的不确定性决策方法，该方法结合了三种方法：贝叶斯网络确定性分布和模糊逻辑。
2012-06-05 cs.AI
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology（代尔夫特理工大学）
针对强化学习策略可解释性难题，提出基于混合整数线性规划的OMDT方法，直接为MDP优化尺寸受限决策树以最大化期望折扣回报，发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
SPOT: Scalable Policy Optimization with Trees for Markov Decision Processes
Shanghai Jiao Tong University（上海交通大学）；University of South Florida（佛罗里达州立大学）
针对马尔可夫决策过程中决策树策略优化难的问题，提出将优化建模为混合整数线性规划、用约简空间分支定界解耦动力学与树约束的SPOT方法，实现了可解释性与可扩展性兼具的高质量策略，速度比现有方法快一个数量级。
2025-10-22 cs.AI cs.LG
Decision Making with Partially Consonant Belief Functions
Siemens Medical Solutions（西门子医疗系统公司）；University of Kansas School of Business（堪萨斯大学商学院）
本文研究了Walley部分协调信念函数的决策问题。在印刷电路板中，焦点的集合被划分。在每个分区中，焦点是嵌套的。pcb类包括概率函数和可能性函数作为极端情况。与早先的建议，决策理论的信念功能，我们采用了公理化的方法。我们采用了一个公理系统类似的精神冯诺依曼-摩根斯坦的线性效用理论的偏好关系的PCB彩票。我们证明了这个关系的一个表示定理。pcb彩票的效用是概率彩票的线性效用和可能性彩票的二元效用的组合。
2012-10-19 cs.AI
A New Pruning Method for Solving Decision Trees and Game Trees
本文的主要目标是描述一种新的剪枝方法来求解决策树和博弈树。决策树的修剪方法是决策树的一个微小变体，我们称之为情景树。在场景树中，我们不需要从机会节点发出的每条边的条件概率。相反，我们需要从根结点到叶节点的每条路径的联合概率。我们比较了剪枝方法和传统的回滚方法的决策树和博弈树。对于需要贝叶斯概率修正的问题，使用剪枝方法的情景树表示比使用回滚方法的决策树表示更有效。对于博弈树，剪枝方法比回滚方法更有效。
2013-02-20 cs.AI
Exploring the Decision Forest: An Empirical Investigation of Occam's Razor in Decision Tree Induction
我们报告了一系列的实验中，所有的决策树一致的训练数据构建。运行这些实验是为了了解一致决策树集合的属性以及影响各个树的准确性的因素。特别地，我们研究了与一些训练数据一致的决策树的大小与树对测试数据的准确性之间的关系。实验在大规模并行Maspar计算机上进行。几个人工和两个现实世界的问题上的实验结果表明，对于许多问题的调查，较小的一致性决策树的平均准确性比稍大的树的平均准确性。
1994-03-01 cs.AI
On Quantum Decision Trees
量子决策系统正越来越多地被考虑用于人工智能应用。经典节点和量子节点可以根据它们状态中的某些相关性来区分。本文研究了决策树结构中状态的一些性质。考虑这些相关性如何映射到决策树。经典的树表示和量子态的近似。
2017-03-08 cs.AI
Greedy Algorithm for Inference of Decision Trees from Decision Rule Systems
Computer, Electrical and Mathematical Sciences & Engineering Division（计算机、电气与数学科学与工程学部）；Computational Bioscience Research Center（计算生物科学研究中心）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文研究从决策规则系统到决策树的逆变换问题，提出一种贪心多项式时间算法，在给定属性值元组上模拟决策树运行，为两类可解释模型的关系提供新方法。
2024-01-08 cs.AI
The New Approach on Fuzzy Decision Trees
Hankuk Academy of Foreign Studies（韩国外国语大学）
决策树在机器学习中得到了广泛的应用。然而，由于种种原因，现实世界中的数据采集往往包含着模糊性和不确定性。决策树应该能够处理这样的模糊数据。提出了一种构造模糊决策树的方法。提出了一种鸢尾花数据集的模糊决策树归纳方法，通过平均值与特定值之间的距离来获取信息熵。最后给出了实验结果，与原ID3算法相比，该算法具有更高的精度。
2014-08-13 cs.AI
A System for Induction of Oblique Decision Trees
本文介绍了一个新的系统，斜决策树的归纳。该系统OC 1将确定性爬山与两种形式的随机化相结合，以在决策树的每个节点处找到良好的斜分裂（以超平面的形式）。倾斜决策树方法特别针对属性为数值的域进行了调整，尽管它们可以适用于符号或混合符号/数值属性。我们提出了广泛的实证研究，使用真实的和人工的数据，分析OC 1的能力，构建斜树，更小，更准确的比他们的轴平行的同行。我们还研究了斜决策树的建设随机化的好处。
1994-08-01 cs.AI
Decision Tree Induction Systems: A Bayesian Analysis
N.S.W. Institute of Technology（新南威尔士理工学院）；Macquarie University（麦考瑞大学）；Centre for Advanced Computing Sciences（高级计算科学中心）
决策树归纳系统被用于噪声域中的知识获取。本文开发了一个主观贝叶斯解释的任务处理这些系统和他们使用的探试法。有人认为，决策树系统隐含地包含一个先验信念，即两个假设中较简单的（就决策树复杂性而言）是优选的，所有其他条件都是相等的，并且它们执行对决策规则空间的贪婪搜索以找到其中有强后验信念的一个。然后对这些系统提出了一些改进建议。
2013-03-27 cs.AI
Temporal Decision Trees: Model-based Diagnosis of Dynamic Systems On-Board
基于领域模型的离线推理的决策树的自动生成是在技术领域中使用基于模型的方法的优点和嵌入式应用所施加的约束之间的合理折衷。在本文中，我们扩展的方法来处理时间信息。我们引入了时间决策树的概念，它的目的是利用相关的信息，只要它被收购，我们提出了一个算法，编译这样的树基于模型的推理系统。
2011-06-26 cs.AI
Construction of Decision Trees and Acyclic Decision Graphs from Decision Rule Systems
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
本文针对决策规则系统到决策树及无环决策图的逆向转换难题，研究了其构建复杂度，并探讨了针对给定输入仅描述决策树计算路径的方案，丰富了两类可解释模型间的转换研究。
2023-05-02 cs.AI cs.CC
Succinct Explanations With Cascading Decision Trees
Yale University（耶鲁大学）；Barnard College（巴纳德学院）
决策树是20世纪80年代以来最流行和最经典的机器学习模型之一。然而，在许多实际应用中，决策树往往会生成深度过大的决策路径。长的决策路径通常会导致过拟合问题，并使模型难以解释。由于决策路径较长，当数据包含缺失值时，推理也更有可能失败。在这项工作中，我们提出了一个新的树模型称为级联决策树，以减轻这个问题。级联决策树的核心思想是将决策路径和解释路径分开，实验结果表明，级联决策树生成的解释路径平均缩短了63.38%，避免了过拟合，从而获得了更高的测试精度。我们还实证表明，级联决策树的优势，对缺失值的鲁棒性。
2022-11-29 cs.AI cs.LG
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees
Stanford University（斯坦福大学）
本文提出MAPTree算法，通过贝叶斯最大后验推断和AND/OR搜索构建决策树，在16个真实数据集上优于或媲美基线且树更小，在合成数据上更鲁棒，并能提供最优性证书。
2023-12-20 cs.AI cs.LG
A Comparison Between Decision Trees and Decision Tree Forest Models for Software Development Effort Estimation
University of Western Ontario（西安大略大学）；Applied Science University（应用科学大学）；NFA Estimation Inc.（NFA Estimation 公司）
准确的软件工作量估计一直是许多软件从业者和项目经理的挑战。低估导致项目估计成本和交付中断。另一方面，高估会导致出价过高和商业上的财务损失。存在许多软件评估模型;然而，没有一个被证明在所有情况下都是最好的。本文将决策树森林（DTF）模型与传统的决策树（DT）模型以及多元线性回归模型（MLR）进行了比较。评估使用ISBSG和Desharnais工业数据集进行。结果表明，DTF模型是有竞争力的，可以作为一种替代的软件工作量预测。
2015-08-28 cs.AI cs.SE
Bayesian Decision Trees via Tractable Priors and Probabilistic Context-Free Grammars
Stanford University（斯坦福大学）
决策树是当今最流行的机器学习模型之一，因为它们具有开箱即用的性能和可解释性。通常，决策树模型是通过启发式搜索标准（如基尼不纯或熵）以自上而下的方式构建的。然而，以这种方式构建的树对训练数据中的微小波动敏感，并且易于过拟合。相比之下，贝叶斯方法树建设制定的选择过程作为一个后验推理问题，这种方法更稳定，并提供更大的理论保证。然而，生成贝叶斯决策树通常需要从复杂的多模态后验分布中采样。目前基于马尔可夫链蒙特卡罗的贝叶斯决策树抽样方法容易出现模式坍塌和混合时间过长的问题，这使得它们不切实际。本文提出了一种新的贝叶斯决策树训练准则。我们的标准产生BCART-PCFG，它可以有效地采样决策树的后验分布的树木给定的数据，并找到最大后验（MAP）树。学习后验和训练采样器可以在数据集大小的多项式时间内完成。一旦学习了后验，就可以有效地对树进行采样（在节点数量上呈线性）。在我们的方法的核心是一个减少后采样采样的概率上下文无关文法的推导。我们发现，通过BCART-PCFG采样树执行类似或更好的贪婪构造的决策树在几个数据集上的分类精度。此外，通过BCART-PCFG采样的树要小得多-有时高达20倍。
2023-02-15 cs.AI cs.LG
Emergent and Unspecified Behaviors in Streaming Decision Trees
University of Waikato（怀卡托大学）；Monash University（莫纳什大学）
Hoeffding树是决策树学习中最先进的数据流演化方法。这些非常快速的决策树被用于许多实际应用中，其中由于其效率而实时创建数据。在这项工作中，我们摆脱解释为什么这些流决策树算法的固定和非固定流（HoeffdingTree和HoeffdingAdaptiveTree）的工作，以及他们做的。在这样做的过程中，我们确定了13个独特的未指定的设计决策的理论结构和它们的实现与预测准确性的实质性和后果性的影响-设计决策，而不一定改变算法的本质，驱动算法的性能。我们开始一个更大的对话，不仅是模型的可解释性，而且是算法成功的过程。
2020-10-16 cs.AI cs.LG
On Tackling Explanation Redundancy in Decision Trees
University of Toulouse（图卢兹大学）；Monash University（莫纳什大学）；IRIT（图卢兹信息学研究所）；CNRS（法国国家科学研究中心）
决策树是机器学习模型可解释性的理想体现。决策树的可解释性通过所谓的内在可解释性激发了可解释性方法，并且它是最近在高风险应用中应用可解释ML模型的建议的核心。对DT可解释性的信念是合理的，因为DT预测的解释通常被期望是简洁的。事实上，在DT的情况下，解释对应于DT路径。由于决策树在理想情况下是浅的，因此路径包含的特征比特征总数少得多，DT中的解释应该是简洁的，因此是可解释的。本文从理论和实验两方面论证了只要决策树的可解释性等同于解释的简洁性，那么决策树就不应该被认为是可解释的。本文引入了逻辑上严格的路径解释和路径解释冗余，证明了存在决策树必须显示具有任意大解释冗余的路径的函数。本文还证明了，只有一个非常有限的功能类可以表示与DT表现出没有解释冗余。此外，本文包括实验结果证实，路径解释冗余观察无处不在的决策树，包括使用不同的树学习算法，但也在广泛的公开可用的决策树。本文还提出了多项式时间算法消除路径解释冗余，这在实践中需要微不足道的时间来计算。因此，这些算法用于间接地获得不可约的，因此简洁的，决策树的解释。
2022-09-30 cs.AI cs.LG
Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
University of Pisa（比萨大学）；ISTI-CNR
该研究提出基于TTVAE的TREVIS方法，将决策树映射至潜在空间实现梯度优化，所获决策树兼具与近优算法相当的预测性能及更优结构稀疏性。
2026-09-02 cs.AI cs.LG
Fast Sparse Decision Tree Optimization via Reference Ensembles
University of British Columbia（不列颠哥伦比亚大学）；Duke University（杜克大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
稀疏决策树优化自诞生以来一直是人工智能中最基本的问题之一，也是可解释机器学习的核心挑战。稀疏决策树优化在计算上是困难的，并且尽管自20世纪60年代以来一直在努力，但仅在过去几年中才在该问题上取得突破，主要是在寻找最佳稀疏决策树的问题上。然而，当前最先进的算法通常需要不切实际的计算时间和内存量来为一些真实世界的数据集找到最优或接近最优的树，特别是那些具有多个连续值特征的数据集。考虑到这些决策树优化问题的搜索空间是巨大的，我们实际上能希望找到一棵稀疏的决策树，在准确性上与黑盒机器学习模型竞争吗？我们解决这个问题，通过智能猜测策略，可以适用于任何最佳的分支和边界为基础的决策树算法。我们表明，通过使用这些猜测，我们可以减少多个数量级的运行时间，同时提供边界上产生的树可以偏离黑盒的准确性和表达能力。我们的方法使猜测如何箱连续的功能，树的大小，以及最佳决策树的错误的下限。我们的实验表明，在许多情况下，我们可以快速构建稀疏的决策树匹配的黑盒模型的准确性。总结一下：当你在优化时遇到困难，就猜猜看。
2022-07-06 cs.AI cs.LG
Inapproximability of sufficient reasons for decision trees
Centro Nacional de Inteligencia Artificial（国家人工智能中心）；Instituto de Ingeniería Matemática y Computacional, Universidad Católica de Chile（智利天主教大学数学与计算工程学院）；Instituto Milenio Fundamentos de los Datos（千禧年数据基础研究所）
本文证明了计算决策树$δ$-充分理由最小规模问题的近似困难性。
2023-04-05 cs.AI cs.CC
A Rectification-Based Approach for Distilling Boosted Trees into Decision Trees
Univ. Artois（阿诺学校）；CNRS（国家科学研究中心）；CRIL（认知与语言研究所）；Institut Universitaire de France（法国国家科学院）
本研究提出一种基于校正的提升树到决策树的蒸馏方法，以在预测性能与可解释性间取得可接受折中，实验显示其效果优于重训练式蒸馏方法。
2025-10-21 cs.AI cs.LG
An Interpretable Client Decision Tree Aggregation process for Federated Learning
University of Granada（格拉纳达大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）
针对联邦学习中决策树难以聚合且易损失可解释性与精度的问题，提出一种聚合多决策路径的客户端决策树流程，适用于 ID3 和 CART，并在四个数据集上验证其优于局部模型和现有方法。
2024-04-03 cs.AI cs.LG
Interpretable Decision Trees Through MaxSAT
Universitat de Lleida（莱里达大学）
我们提出了一种方法来提高机器学习（ML）决策树（DT）的准确性和可解释性的权衡。特别是，我们应用最大可满足性技术来计算最小纯DT（MPDT）。我们改进了以前方法的运行时间，并表明这些MPDT可以优于使用ML框架sklearn生成的DT的准确性。
2022-07-14 cs.AI cs.LG
RL-LLM-DT: An Automatic Decision Tree Generation Method Based on RL Evaluation and LLM Enhancement
提出RL-LLM-DT方法，结合强化学习评估与大型语言模型增强，自动迭代改进决策树，在冰壶游戏中取得排名第一的成绩，实现游戏AI策略的自动化优化。
2024-12-17 cs.AI cs.LG
Explaining Tree Model Decisions in Natural Language for Network Intrusion Detection
University of Notre Dame（圣母大学）
本文研究利用大语言模型为网络入侵检测中的决策树模型生成自然语言解释，并提出基于自动生成测验问题的人工评估框架，证明LLM解释在可读性、质量和背景知识运用上与人类评分高度相关，同时提升对决策边界的理解。
2023-10-30 cs.AI cs.CL
Global Evaluation for Decision Tree Learning
Boston University（波士顿大学）；University of Konstanz（康斯坦茨大学）
我们将聚类上的距离转移到决策树的构建过程中，并因此扩展了经典的ID 3算法，以根据树到地面真实值的全局距离进行修改-而不是考虑单个叶子。接下来，我们将评估这个想法与原始版本的比较，并讨论出现的问题，以及全局方法的优势。在此基础上，我们通过确定其他情况下，全球评估是值得的。
2022-08-09 cs.AI cs.LG
A Novel Hyperparameter-free Approach to Decision Tree Construction that Avoids Overfitting by Design
IMDEA Networks Institute（IMDEA网络研究所）
决策树是一种非常流行的机器学习技术。不幸的是，过拟合在决策树仍然是一个开放的问题，有时会阻止实现良好的性能。在这项工作中，我们提出了一种新的方法来构建决策树，避免过度拟合的设计，而不会失去准确性。我们的算法的一个显着特点是，它既不需要优化任何超参数，也不使用正则化技术，从而显着减少了决策树的训练时间。此外，我们的算法产生更小，更浅的树比传统算法，促进所产生的模型的可解释性。
2019-06-04 cs.AI cs.LG stat.ML
"Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models
University of Applied Sciences Berlin（柏林应用科学大学）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）；University of Birmingham（伯明翰大学）
本研究提出利用大语言模型零样本生成可解释决策树，无需训练数据，在小型表格数据集上性能可超越数据驱动树，并可作为低数据场景下的知识驱动基线。
2025-05-27 cs.AI cs.CL cs.LG
Learning a Decision Tree Algorithm with Transformers
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文提出基于Transformer的模型MetaTree，通过元学习直接生成决策树，使其能自适应模拟贪心和全局优化算法，从而解决传统局部划分难以实现全局泛化的问题，显著提升泛化性能。
2024-08-23 cs.AI cs.CL cs.LG
Lossless fitness inheritance in genetic algorithms for decision trees
当使用遗传算法来进化决策树时，关键树质量参数可以被递归地计算并且在部分相似的决策树的各代之间被重用。简单地将实例索引存储在叶子上就足以以无损方式分段计算适应度。我们的推导（实质性）预期的加速两个边界的情况下的问题和跟踪无损健身继承的分而治之的性质的决策树的吸引力。理论结果得到了实验证据的支持。
2009-03-10 cs.AI cs.DS cs.NE
Soft Decision Tree classifier: explainable and extendable PyTorch implementation
KI Research Institute（KI研究所）
本文提出了一种可解释且可扩展的软决策树分类器，通过PyTorch实现，并在模拟和临床数据集上验证了其性能，与XGBoost和随机森林相比表现出相似的分类效果。
2025-12-03 cs.AI cs.CV cs.LG
A Tight Analysis of Greedy Yields Subexponential Time Approximation for Uniform Decision Tree
Stanford University（斯坦福大学）
决策树是主动学习的经典公式：给定$n$假设，其非负权重总和为1，以及一组测试，每个测试划分假设，使用提供的测试输出决策树，该测试唯一地识别每个假设并具有最小（加权）平均深度。已有的研究表明，贪婪算法对该问题具有$O(\log n)$逼近比，且优于$O(\log n)$逼近，解决了问题的复杂性。然而，对于均匀决策树，即具有均匀权重的决策树，情况更加微妙。贪婪算法的$O(\log n)$近似比是最有名的，但已知的NP-难的最大近似比是$4-\varepsilon$。我们证明了贪婪算法给出了均匀决策树的$O(\frac{\log n}{\log C_{OPT}})$近似，其中$C_{OPT}$是最优树的成本，并表明这是贪婪算法的最佳可能。作为一个推论，我们解决了一个猜想的Kaju，Przytycka，和Borgstrom。利用这一结果，对于所有的$α\in(0,1)$，我们展示了一个$\frac{9.01}α$近似算法均匀决策树运行在次指数时间$2^{\tilde O(n^α)}$。作为推论，在指数时间假设下，在均匀决策树上实现任何超常数逼近比都不是NP难的。因此，这项工作增加了近似均匀决策树的自然问题，有次指数时间算法，但没有已知的多项式时间算法的一个小列表。所有的结果都适用于权值不太均匀的决策树。我们的工作的一个关键技术贡献是一致决策树和最小和集覆盖的贪婪算法之间的连接。
2019-10-21 cs.AI cs.CC cs.DS
CART-ELC: Oblique Decision Tree Induction via Exhaustive Search
University of Wisconsin-Superior（威斯康星大学-优胜者）
本文提出CART-ELC算法，通过在受限超平面集合上穷举搜索归纳斜决策树，在小数据集上取得统计显著的分类准确率提升，并生成更浅、更简单、更可解释的树。
2025-05-08 cs.AI cs.DS cs.LG
dtControl: Decision Tree Learning Algorithms for Controller Representation
Technical University of Munich（慕尼黑工业大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Ludwig Maximilian University of Munich（慕尼黑大学）
决策树学习是机器学习应用中最常用的流行分类技术。最近的工作表明，决策树可以用来表示证明正确的控制器简洁。与使用查找表或二元决策图的表示相比，决策树更小，更易于解释。我们提出dtControl，一个易于扩展的工具，用于表示无记忆控制器作为决策树。我们给出了一个综合评价的各种决策树学习算法适用于10个案例研究所产生的正确的建设控制器合成。这些算法包括两个新的技术，一个是使用任意线性二进制分类器的决策树学习，和一个新的方法来确定控制器在决策树建设。特别是后者被证明是非常有效的，产生决策树与一位数的决策节点的5个案例研究。
2020-02-12 cs.AI cs.LG cs.SY
GPTree: Towards Explainable Decision-Making via LLM-powered Decision Trees
University of Oxford（牛津大学）；Vela Research（维拉研究院）
提出GPTree框架，结合决策树可解释性与LLM推理能力，通过动态样本划分和专家在环反馈机制，在识别独角兽初创企业任务中精确率达7.8%，超越gpt-4o和人类决策者。
2024-11-13 cs.AI cs.CE cs.LG
Unifying Decision Trees Split Criteria Using Tsallis Entropy
Tsinghua University（清华大学）
由于决策树的简单性和灵活性，构造高效的决策树仍然是机器学习中的一个关键课题。人们提出了许多启发式算法来构造近似最优决策树。ID3、C4.5和CART是经典的决策树算法，它们分别采用了Shannon熵、增益比和Gini指数作为分割准则。所有的分裂准则看起来是独立的，实际上，它们可以统一在一个Tsallis熵框架中。Tsallis熵是Shannon熵的一种推广，通过引入可调参数$q$，为提高决策树的性能提供了一种新的途径。提出了一种Tsallis熵准则（TEC）算法，将Shannon熵、增益比和Gini指数统一起来，推广了决策树的分裂准则。更重要的是，我们揭示了不同$q$的Tsallis熵与其他分裂准则之间的关系。UCI数据集上的实验结果表明，TEC算法取得了统计上显着的改善，比经典算法。
2016-08-23 cs.AI cs.LG stat.ML
Multiple decision trees
University of Sydney（悉尼大学）
本文介绍了实验，在两个领域，调查的影响，平均多个决策树的预测，而不是使用一个单一的树。其他作者指出了倾向于多树方法的理论和常识原因。理想情况下，我们会考虑所有树的预测，并根据它们的概率进行加权。然而，存在大量不同的树，很难估计每棵树的概率。我们避开了估计问题，使用修改版本的ID 3算法来构建良好的树，并平均只在这些树。我们的成果令人鼓舞。对于每个域，我们设法产生少量的好树。我们发现，最好是在具有不同结构的树的集合之间取平均值;这通常比任何组成树（包括ID 3树）提供更好的性能。
2013-03-27 cs.AI cs.LG stat.ML
Exploring Loss Design Techniques For Decision Tree Robustness To Label Noise
Auton Lab, Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所Auton实验室）
本研究探讨深度学习损失设计思想能否提升决策树对标签噪声的鲁棒性，发现标准方法无效，需探索新方向。
2024-05-27 cs.AI cs.LG stat.ML
Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
School of Computation, Information and Technology, Technical University of Munich, Germany（慕尼黑技术大学计算、信息与技术学院，德国）；Munich center for machine learning (MCML)（慕尼黑机器学习中心（MCML））
本文通过建立层次决策树与扩散过程之间的数学对应关系，统一了决策树和扩散模型，揭示了共同的优化原则'全局轨迹得分匹配'，并提出了两种实用应用：treeflow在表格数据生成中表现优异，且计算速度更快；dsmtree将层次决策逻辑转移到神经网络中，在多个基准上与教师模型表现相近。
2026-05-21 cond-mat.stat-mech cs.AI cs.LG
Improving Stability in Decision Tree Models
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）
本文针对决策树模型的不稳定性问题，提出新的距离度量与稳定训练方法，在医疗保健案例中实现以4.6%的预测能力下降换取38%的稳定性提升。
2023-05-26 cs.AI cs.LG math.OC
